При каком значении m векторы a{1; 3m; 3n} b{m^2; 6; -2} образуют угол 90

Ты уверена,что там переменная n-есть?если a*b=90градусов,то a*b=0,тогда составляем уравнение ab=x1*x2+y1*y2+z1*z2,подставь и реши!