Векторный критерий принадлежности точки плоскости, определенной тремя другими точками.

Ну, прямо так один критерий! Тут таких уж умных правил нет.

Смотрите, на 4 точках можно построить 3 вектора. Если все точки лежат в одной плоскости, то эти три вектора линейно зависимы - один является линейной комбинацией других. Это может по разному выражаться. Например, смешанное произведение этих векторов равно нулю. (Смешанное произведение - это скалярное произведение одного вектора на векторное произведение двух других). Его можно представить, как определитель 3x3, составленный из координат трех векторов.

a1,a2,a3

b1,b2,b3

c1,c2,c3

Если такой определитель равен нулю, то вектора компланарны. (Между прочим, это равносильные утверждения- определитель равен нулю, если строки - или столбцы - линейно зависимы). А координаты векторов через координаты точек выражаются так

a1 = x1 - x0; a2 = y1 -y0; a3 = z1 - z0;

b1 = x2 - x0; b2 = y2 -y0; b3 = z2 - z0;

c1 = x3 - x0; c2 = y3 -y0; c3 = z3 - z0;

При этом плоскость задана точками (x1,y1,z1) (x2,y2,z2) (x3,y3,z3) 

а точка 0 (x0,y0,z0) 

Вы составляете определитель по схеме

x1 - x0; y1 -y0; z1 - z0;

x2 - x0; y2 -y0; z2 - z0;

x3 - x0; y3 -y0; z3 - z0;

И если он равен нулю - точка 0 лежит в плоскости точек 1, 2 и 3