Подскажите, как кратко оформить (записать) ответ: "при y = 0 x = либо 2, либо 5, либо 8. при y = 5 х = либо 0, либо 3" и подобные писать кучу фигурных скобок внутри квадратной не хочу, может можно по-другому как-то?

Я думаю так, что у вас решение системы уравнений (или неравенств). В вашем случае две переменные икс и игрек, так вот. У вас решение - это множество точек (на координатной плоскости). То есть решение у вас - это точки (2; 0), (5; 0), (8; 0), (0; 5), (3; 5).
На первом месте в паре (x;y) координата икс, на втором координата игрек (точки).
Также в математике множество (чего либо, например точек) обозначается с фигурных скобок {..}, между которыми нужно перечислить указанные точки (это один из задания множества). То есть ответ в вашем случае будет таким.
ответ. { (2; 0), (5; 0), (8; 0), (0; 5), (3; 5) }.