Объясните как и почему именно так преобразовалась скобка (2n+5) в этом выражении: m^4-(2n+5)^2=(m^2-2n-5)(m^2+2n+5).

Как уже сказали в комментариях, это разность квадратов.

Пусть m^2 = a, а 2n+5 = b, тогда:

a^2 - b^2 = (a - b)(a + b) = (m^2 - (2n + 5))(m^2 + 2n + 5) = (m^2 - 2n - 5)(m^2 + 2n + 5)