(у^2+6у)^2-у^2(6+5у)(6-5у)-у^2(12у-у^2)

Вроде так должно быть!

Держи! Вообще, советую научиться, если лень самому решать, забивать такие выражения в математические вычислители типа Wolfram или Matlab. Их компьютер легко решит и покажет решение, человек не нужен :) И в будущем пригодится уметь таким пользоваться.