Karel werd samen met zijn vader en zijn broer Karloman in 754 door paus Stefanus II (III) tot koning gewijd. Bij dezelfde gelegenheid ontving hij de titel van Patricius Romanorum, die hem tot bescherming van de kerk van Rome verplichtte. De paus was voor deze drievoudige kroning persoonlijk naar het Frankische Rijk gekomen. Na de dood van Pippijn III (768) begon de regering van Karel, aanvankelijk slechts over een deel van het rijk, later, na de dood van zijn broer Karloman (771) en de uitsluiting van diens kinderen uit de erfopvolging, over het gehele rijk der Franken. Karel zocht aanvankelijk toenadering tot de Longobarden in Noord-Italië en huwde de dochter van de Longobardische koning Desiderius. Later verstootte hij deze eerste gemalin en huwde hij (771) de Alamaanse Hildegard (gest. 783), die hem drie zoons schonk, Karel (gest. 811), Pippijn (gest. 810) en Lodewijk de Vrome (gest. 840). De verslechtering van de betrekkingen met de Longobarden en de vraag om hulp van paus Adrianus I, die door hen werd bedreigd, leidden tot een Frankische inval en de verovering van het rijk der Longobarden. Dit laatste werd niet ingelijfd, maar bleef als koninkrijk met eigen identiteit, recht en instellingen voortbestaan, echter met het Frankische Rijk door een personele unie verbonden, daar Karel koning van de Longobarden werd (774). Bij dezelfde gelegenheid begaf Karel zich naar Rome en vestigde daar een protectoraat over de pauselijke staat (773–774).

Aan de oostgrenzen had Karel te kampen met de Beieren en de Saksen. Hij zocht eerst toenadering tot Tassilo III, hertog van Beieren, maar moest later tegen hem optreden en hem in 788 afzetten, wat het einde van de Beierse onafhankelijkheid betekende. Tegen de niet-christelijke Saksen ondernam Karel vanaf 772 een reeks tochten en richtte hij een mark, d.w.z. een grensgebied onder militair gezag, in. Ook ondernam hij de hardhandige kerstening van deze Germanen. De Saksen werden nu weer roerig en plunderden het Rijnland. Karel bond de strijd tegen hen aan en na een bloedige zevenjarige oorlog werd het land veroverd en in 785 aan een terreurregime onderworpen om het politieke gezag van de Franken en de heerschappij van de kerk te verzekeren. Ook tegen de Friezen werd oorlog gevoerd en Oost-Friesland werd bezet. De Elbe was voortaan de oostgrens van het rijk. Meer zuidelijk kwam Karel in botsing met de Avaren. In 791 ondernam hij een tocht tegen hen. Vanaf 785 begon de verovering van het noordoosten van Spanje, waar naderhand zoals in andere grenszones een mark, nl. de Marca Hispanica, werd opgericht.

In het multiraciale imperium van Karel bestonden stromingen ten gunste van regionale autonomie, vnl. in Italië en Aquitanië. Met het oog hierop en ook ter bevordering van een zekere decentralisatie werden de jongste twee zonen van Karel, Pippijn en Lodewijk, tot koningen van resp. Italië en Aquitanië aangesteld. De jaren 792–793 werden gekenmerkt door opstanden in Saksen en in Italië, invallen van de Saracenen in Zuid-Gallië, hongersnood en een samenzwering geleid door Pippijn met de Bult, een bastaardzoon van Karel. Deze laatste kwam de crisis te boven en consolideerde zijn gezag in Saksen en versloeg de Avaren in 795–796, voorgoed een einde makend aan hun macht. Het westen van hun land werd een oostmark van Beieren (het latere Oostenrijk), de rest van het rijk der Avaren, vnl. bestaande uit onderworpen Slaven, werd onder Frankisch protectoraat geplaatst.