Может ли разность двух смешанных чисел с целыми частями 5 и 1 иметь целую часть 3?

Да, если числитель у числа с целой частью 5 будет меньше числителя у числа с целой частью 1. Например:
5 1/3 - 1 2/3 = 4 4/3 - 1 2/3 = 3 2/3