Вы уже сами всё решили, когда написали сюда.
Выше вам уже всё правильно ответили.
Откажитесь от него. Чем бы вы не занимались, если мужчина считает возможным вас этим попрекать, то он вас не уважает, и уже тем более, не любит.

Морально вам с ним тяжело, сексом он вас врятли привлекает, по материальной поддержке тоже не дотягивает.

Минусы вы сами тут обозначали, а плюсов я не увидел.
Посчитайте плюсы и минусы и удалите его из своей жизни.
Морально тяжело избавляться от привычек, особенно от вредных, но вам это нужно сделать, иначе бы вы тут не писали.

По тексту видно, как вы пишете и описываете ситуацию, и что вы адекватная женщина.
Искренне желаю, чтобы у вас всё в жизни улучшилось.