Объясни, почему количественные и порядковые числительные объединяются в одну часть речи.

Потому что, это числительные. Они обозначают определённое количество чего или кого - либо. Например,
Количественные: один, два, три.
Порядковые: первый, второй, третий.
То есть, обозначают точное число.