Мне кажется, что все дело в приоритетах. Что важно в семейной жизни? Разве секс? Не думаю, что в шкале ценностей счастливой семейной жизни, кто-либо поставит секс на первое место.
Секс важен в начале отношений, на первом этапе, так сказать... Но ведь вы этот этап уже прошли? Пусть этот этап был не так ярок, но, тем не менее, в графе "секс-романтика-влюбленность" можно поставить жирную галку. Поэтому, на мой взгляд, не стоит по этому поводу переживать.

Совсем другое дело, если на физическом уровне вам этот человек неприятен. Я имею в виду - раздражают его прикосновения, запах, голос, движения. Если вам неприятно с ним валяться в кровате, дотрагиваться до него, да и просто спать (спать - в смысле спать и видеть сны))- то гармонии и душевного комфорта от этих отношений вряд ли можно ожидать.
Но я не думаю, что у вас это так. Скорее всего, вам с ним просто спокойно, даже можно сказать "ни как". Если это так - то это большое преимущество. Лично я очень ценю такие отношения, когда в присутствии друг друга снимаются все маски, будто бы мы не вместе, а наедине сами с собой.

Если вы чувствуете умиротворенную и комфортную атмосферу когда он рядом - не раздумывайте!

К тому же вы сказали, что вы с ним как за каменной стеной. Это очень важно и ценно. А если плюс ко всему вы испытываете к нему уважение, если он вам интересен как личность - то это просто подарок судьбы!

Поэтому, лично я однозначно голосую "ЗА"! За ваши отношения, за ваше супружество и за ваше счастье.

P.S. Здесь добавлю немного оптимизма - не стариться вместе - а молодеть! Старость - это всего лишь потеря мышечного тонуса. Старость рождается в голове и живет в цифрах. И кстати, если молодеть по тибетской системе омоложения - то от секса нужно вовсе отказаться))) Удачи, любви и счастья Вам!!!