Родился 2 апреля 743 г. Старший сын короля Пипина Короткого, считающегося основателем династии Каролингов (по имени Карла). От отца Карл унаследовал северные и западные области королевства с центром в Нуайоне.
В 769 г., подавив мятеж на юге страны (Аквитания), он обеспечил себе влияние в этой области. В 771 г., после смерти брата Карломана, Карл захватил его владения. Это послужило толчком к началу распри с королём лангобардов Дезидерием.
В 776 г. он полностью покорил Северную и Среднюю Италию.

г.

В 778 г. Карл вторгся в арабскую Испанию, воспользовавшись распрями среди мавров. Война оказалась неудачной. Арьергард уходящих франков во главе с маркграфом (правитель пограничного округа — марки) Хруотландом (Роландом) был истреблён горцами-басками. Лишь начиная с 796 г. Карлу удалось перейти здесь в наступление. К 810 г. были завоёваны обширные земли на севере Испании.
Карл умер 28 января 814 г. в Ахене, оставив престол своему сыну Людовику, королю Аквитании.