Объясните как возвести в квадрат √2-1. должно получиться 3-2√3

Ну, 3-2 у Вас никак не получится, это не возможно. Там будет корень из 2)
Итак, чтобы возвести √2-1 в квадрат, надо помнить формулу . В данном случае а=√2, b=1. Таким образом,