Композиция поэмы – свободная. В первой части автор описывает жизнь цыганского табора, а в эпилоге рассказывает о том, как сам жил среди цыган, наблюдал за их традициями и бытом, поэт с грустью отмечал «Но счастья нет и между вами…». В поэме органично сочетаются разные типы повествования: описательный и повествовательный – о жизни цыган, рассказы старика, отступления автора и его размышления.

Внесюжетные части помогают раскрыть характеры героев.

Рассказ старого цыгана об Овидии-изгнаннике. А. С. Пушкин, говоря устами Старика, ставит акцент на неколебимом мужестве и великих страданиях отверженного римского поэта-изгнанника. Алеко, оценивает повествование цыгана исходя из своих ценностных установок, укрепляясь в мысли о неправедности гонений. Так же он воспринимает рассказ цыгана о самом себе.

Поэма рассказывает о любви цыганки Земфиры и юноши Алеко, который оставил «неволю душных городов» ради степного приволья. На протяжении двух лет он кочует по степи вместе с вольными цыганами и своей любимой. Наконец, песня Земфиры и вещий сон открывают ему глаза на её неверность. Старый отец девушки предлагает Алеко не препятствовать счастью девушки, приводя в пример свои отношения с матерью Земфиры — Мариулой. Детям степей чуждо стремление европейца вмешиваться в естественный ход событий и пытаться контролировать его. В другом рассказе старик пересказывает предание о заброшенном в степь поэте; Алеко не без удивления узнаёт в нём Овидия, некогда изгнанного из Древнего Рима на черноморский берег.

Застав Земфиру во время свидания с молодым цыганом, Алеко пренебрегает советом старика и закалывает их обоих. Цыганы не могут понять его эгоистичного стремления обладать любимой ценой её жизни: «Оставь нас, гордый человек!»