Нужно решить систему x^2-2xy+y^2=1 x^2+xy-4y^2=2

Так. Значит выражаем из первого выражения x:
(x-y)^2=1
Такое может быть, только если x-y = 1 => x=y+1;
Подставляем под второе выражение: (y+1)^2+y(y+1)-4y^2=2
y^2+2y+1+y^2+y-4y^2-2=0
2y^2-3y+2=0
D = 9-8=1
y=(3±1)/2 = 2 или 1
Подставляем в x=y+1 => x=3 или 2