дабы не получить отказ "при народе" (в лифте, коридоре, за обедом и т.п.) я бы подваливал как раз во время работы, когда сидит на рабочем месте и приглашал отобедать вместе - очень нейтральное предложение (я так понял, что вы обедаете и так в одном месте)