В 1759-1761 гг. на угловом участке был возведен двухэтажный дворец в стиле барокко, принадлежавший сначала генералу А. Н. Вильбоа, а затем (с 1766) генерал-фельдмаршалу князю А. М. Голицыну - архитектор Ф. Б. Растрелли.
С 1772 г. по 1789 г. в доме находилась церковь вел. кн. Александра Невского.
В 1799 году дом купил купец-миллионер М. С. Кусовников.

Сразу после покупки дома Голицыных Кусовников передал его своей дочери Ольге Михайловне. Она же в свою очередь первое время сдавала помещения Петербургскому филармоническому обществу. Здесь устраивались симфонические концерты, в программе были Франц Иосиф Гайдн, Людвиг ван Бетховен, Вольфганг Амадей Моцарт. На первом этаже в 1823-1829 годах работала книжная лавка издателя И. В. Сленина. Её посещали А. С. Пушкин, В. А. Жуковский, И. А. Крылов, П. А. Вяземский, К. Ф. Рылеев.


Ольга Михайловна была одной из самых выгодных партий для петербургских женихов. В 1828 году она вышла замуж за барона-миллионера Василия Васильевича Энгельгардта. (1785-1837).

В 1829-1832 годах для семьи Энгельгардт дом перестраивался по проекту П. П. Жако, был надстроен новым этажом. Архитектором был изменён не только фасад, но и планировка особняка. Среди новых помещений особо выделялся концертный зал с прекрасной акустикой. Энгельгардт продолжал устраивать здесь музыкальные вечера и балы-маскарады. Василий Васильевич был известным меценатом, дружил с А. С. Пушкиным, В. А. Жуковским, М. И. Глинкой, П. А. Вяземским, А. И. Тургеневым, не редко посещавшими увеселительные мероприятия в этом доме.
Наследники князя сдали дом французскому антрепренёру И. Лиону. В это время в доме проводятся балы и маскарады, популярные в Петербурге. События драмы М. Ю. Лермонтова «Маскарад» происходят именно в этом доме.