Думаю, лучший вариант: это брать трубку и говорить примерно следующее: "Извините, я сейчас в другом месте (загородом, в городе таком-то, на даче и так далее). Вернусь через неделю. Извините, пожалуйста."
Если он начинает грузить и говорить не по существу на дрочерские темы, то отвечать: "Извините, мне неудобно говорить, вокруг меня люди или я в общественном месте".
Главное: побольше извиняться. Типа "я бы очень и очень хотела с вами встретиться, но не судьба, увы, в ближайшую неделю".
После этого вы можете сохранять его под любым условным именем из серии "не брать".
Если он будет перезванивать через неделю, то уже не берите трубку.Как будто вы засиделись где-нибудь на даче или не можете подойти.
Можно придумать и другие варианты ответов, но главное: не идти на конфликт, быть черезмерно вежливой и никого не злить.