что означает в контексте рассказа слова ямщика: "не отдал вовремя-пеняй на себя"?

По моему мнению, эта фраза означает, что Ямщик не намерен больше иметь с кем-то дело или означает, что кто-то провинился и теперь ему может не поздоровится.