За тонкостями это к "Русской грамматике" :).
А если просто по памяти, то раньше на этом месте был так называемый редуцированный звук. То есть: берем формы слова "рот - рта". Почему не "рота" - потому что так было раньше: ръта, действовал так называемый закон открытого слога - на его конце всегда стоял гласный (очень удобно, кстати :)), потом [ъ] или его сосед [ь] выпал, и мы имеем то, что имеем :). Причем где-то эти звуки выпали, где-то остались на местах и перешли в [о] , [е].