Начнем с тектонического строения. Кавказ располагается на Евразиатской литосферной плите. Она движется на юг и дает давление на Африканскую плиту, следовательно идет образование гор на севере Африки и на юге Евразии. Далее, мы видим, что на территории Кавказа преобладает молодая складчатость-Кайнозойская.(обычно она показана желтым или оранжевым цветом на карте). Так как она молодая, то очевидно, что внешние силы  не успели разрушить горы. Поэтому территория высокая.