(х в квадрате - 2х) все в квадрате + (х в квадрате - 2х) = 12

(x^2 - 2x)^2 + (x^2 - 2x) - 12 = 0

Замена переменной (x^2 - 2x) = a (или любая буква которая нравится)

Получаем

а^2 + a - 12 = 0

D= b^2 - 4ac = 1 - 4*(-12) = 49

a1= (-1 + 7)/2=3

a2= (-1 - 7)/2=-4

Обратная замена 

(x^2 - 2x)=3

x^2 - 2x - 3=0

D=4 + 12=16

x1= (2 + 4)/2=3

x2=(2-4)/2=-1

или

(x^2 - 2x)=-4

x^2 - 2x +4=0

D=4-16 < 0 - нет корней

ответ -1 и 3