Дворня не принимала Герасима, потому что они был не таким, как они. Внешне это выражалось в том, что он был глухонемым. Но не только этим Герасим отличался, есть более глубокое отличие: Герасим превосходил их силой - не только физической. но и моральной. Он был способен на такие поступки, которые им не по плечу: бескорыстная любовь, милосердие, способность к протесту. Герасима побаивались за эту силу. 
Прототипом героя был немой дворник, который служил у матери Тургенева. Но не только поэтому писатель делает своего героя глухонемым: тем самым он подчеркивает бессловесность крепостного человека, его полную зависимость от хозяина, невозможность ему возразить. Немота - это символ крепостничества у Тургенева.