Есть прямая, есть координаты ее начала и конца. " - давайте будем аккуратнее со словами, скажем, что не координаты начала и конца, а просто двух точек, лежащих на этой прямой. Я так понимаю, речь идёт о плоскости (потому что такая задача имеет смысл только на плоскости) и координаты - декартовы прямоугольные - уравнение прямой Ax+Bу+С=0, подставляя в него последовательно сначала координаты одной точки, потом второй, получим систему из 2-х уравнений - из неё находим А, В и С - в итоге получаем уравнение прямой, коэффициенты определяются неоднозначно, но две переменные можно выразить через третью - выберите так, чтобы B (коэффициент при у) было ПОЛОЖИТЕЛЬНЫМ (из-за этого и возникают у Вас противоречивые результаты - Вы это не учли) - и тогда, если подставите координаты точки, не лежащей на прямой в уравнение этой прямой, Ax+Bу+С>0 если точка лежит выше прямой и Ax+Bу+С<0, если ниже
