Имхо - это сказать прямо (а ещё лучше всегда так делать, в спорных ситуациях).
Может, он найдёт чем объяснить своё поведение (типа чё попал в ЧС), и эти объяснения тебя удовлетворят. В любом случае, честность всегда импонирует.

У меня была подобная ситуация, когда я девушке 3 или 4 раза позвонил, а она по какой-то причине меня буквально динамила. Первый раз сказала позвонить через час, потом завтра и тп. Может дело было не во мне, а в чём-нить ещё, и тогда скажи она это, я б понял (но не успокоился ))))