Как обозначается гипотенуза прямоугольного треугольника

Как правило, буквой "с", а его катеты "а" и "б".
Соответственно, по теореме Пифагора: длина квадрата гипотенузы равна сумме квадратов катетов (или та формула, что написана в прикреплённом файле)