М. М. Сперанского обвинили в подрыве сложившихся государственных устоев. Против него выступила целая армия из числа чиновников и дворян - они давали негативные оценки Сперанскому. Эти люди знали о мнительности Александра I, поэтому с целью защитить себя они воздействовали на императора нелестными отзывами о Михаиле Михайловиче. Они обвиняли его даже в масонстве, хотя Сперанский сам негативно относился к этому течению. И вот здесь враги Михаила Михайловича попали точно в цель - император боялся возможных революционных действий масонов. Однако на падении авторитета Сперанского оказал влияние и удар по самолюбию Александра I - император видел, с каким усердием Михаил Михайлович решает дела, например, связанные с подготовкой к войне с Францией. К тому же вся столица была полна разговорами об измене М. М. Сперанского своему Отечеству - его даже называли французским шпионом. В связи со всем перечисленным, Александр I решил дать отставку выдающемуся государственному деятелю XIX столетия.

Сперанскому сразу не удалось оправдаться перед Александром I. 17 марта 1812 года Михаила Михайловича вызвали во дворец, а ночью того же числа он уже был в пути в ссылку в Нижний Новгород. М. М. Сперанский расценивал случившееся как интригу. Он отправлял Александру I письма, надеясь на оправдание - просил разрешить ему жить в своем имении. Однако такого разрешения не последовало - Сперанского отправили в пермскую ссылку; на новое место к Михаилу Михайловичу перебралась и его семья.