Почему герасим уходит обратно в деревню?

Потому что он привык к тому месту, ему казалось что другие его не примут и он боялся, так же он чувствовал себя там с покойным другом.