В 1844 по завершении гимназического курса Афанасьев едет в Москву и поступает на юридический факультет университета, выдержав вступительные экзамены «с грехом пополам» (по его собственной оценке). Среди преподавателей, лекции которых посещал Афанасьев, были знаменитые историки К. Д. Кавелин, С. М. Соловьев и Т. Н. Грановский. Годы, проведенные в гимназии, а затем в университете, Афанасьев живо описал позднее в своих воспоминаниях. Благополучная карьера Афанасьева неожиданно оборвалась в 1862. Как установил Н. Я. Эйдельман, Афанасьев и ряд близких к нему сотрудников «Библиографических записок» были тайными корреспондентами А. И. Герцена. Те материалы, которые не могли быть опубликованы в России или публиковались здесь в обезображенном цензурой виде, переправлялись за границу и позднее появлялись в «Полярной звезде» и других неподцензурных изданиях. В результате Афанасьев был уволен со службы по обвинению «в сношениях с лондонскими пропагандистами».