Родилась 20 (31) июля 1768 года в Ярославской губернии[* 2], в семье кузнеца Ивана Степановича Горбунова (известен также как Кузнецов, Ковалёв), перешедшей в собственность к Петру Шереметеву с приданым его супруги, Варвары Алексеевны Черкасской.

В возрасте семи лет была взята на воспитание княгиней Марфой Михайловной Долгорукой в Кусково, подмосковную усадьбу Шереметевых. У девочки рано обнаружились способности к музыке, и её начали готовить для труппы крепостного театра. Дебютировала 22 июня 1779 года в роли служанки в опере Андре Гретри «Опыт дружбы». На следующий год вышла на сцену в роли Белинды в опере Антонио Саккини «Колония, или Новое поселение» уже под именем Жемчуговой