Найти косинус угла между векторами а и b, если вектора m=3a-b и n=a+5b перпендикулярны, а модуль а=5 и модуль b=3

А(5;0)
b(x;y)
x² + y² = 3²
x² + y² = 9
m(15-x;-y)
n(5+5x;5y)
cos(m^n) = m·n/(|m||n|) =0
m·n = 0
(15-x)(5+5x) - 5y² = 0
(15-x)(1+x) - y² = 0
15 + 15x - x - x² - y² = 0
15 + 14x - (x² + y²) = 0
15 + 14x - 9 = 0
14x = -6
x = -3/7
y₁ = +√(9-(3/7)²) = √(9-9/49) = √(432/49) = √(144*3/49) = 12√3/7
y₂ = -12√3/7
---
cos(a^b) = a·b/(|a||b|) = a·b/15 = (5*x + 0*y)/15 = 5x/15 = x/3
Как видно, значение компоненты y не играет никакой роли. 
cos(a^b) = -3/7/3 = -1/7