Ивсе это под системой решить систему

X^2+y^2=10
xy=3

Выражаем из второго уравнения либо х, либо y и подставляем в первое
9/y^2+y^2=10
x=3/y

y^4-10y^2+9=0
x=3/y

Делаем замену t=y^2, t>0 и решаем квадратное уравнение
t^2-10t+9=0
t1+t2=10
t1*t2=9
t1=1
t2=9

y1=1, y2=-1, y3=3, y4=-3
x1=3, x2=-3, x3=1, x4=-1