Первой мечетью была Кааба. По словам пророка Мухаммеда после Каабы была построена мечеть аль-Акса в Кудсе (Иерусалиме). Эти две мечети, а также мечеть Пророка в Медине являются местами паломничества мусульман. В первые годы зарождения ислама мусульмане совершали молитвы в специально отведенных для этого местах и зданиях в отдаленных районах Мекки. Сам Пророк совершал молитвы и в окрестностях Каабы. Затем центром мусульманской общины Мекки был дом аль-Аркама. После того, как Умар ибн аль-Хаттаб принял ислам мусульмане получили возможность совершения намазов у Каабы.
Однако первой мечетью в Мекке считается дом сподвижника пророка Аммара ибн Ясира. Вторую мекканскую мечеть основал Абу Бакр. После совершения хиджры пророк Мухаммад распорядился построить в пригороде Медины Кубе мечеть, относительно которой был ниспослан следующий аят Корана: «…мечеть, основанная на богобоязненности с первого дня, — достойнее, чтобы ты в ней стоял». После неё была построена мечеть Пророка в Медине