Что Вам делать?
А чего хотите-то? Можно и дальше "жить и надеятся", что всё само станет хорошо, или просто не замечать того, что есть. Так живут очень многие. Можно расстаться с этим мужчиной, развестись, и предоставить ему счастье жить с тем, к кому его тянет.

Его позиция понятная и житейски распространённая: жить с женой (к которой привык - удобно, сытно, тепло, обстиран и ухожен) и не упускать "радостей" на стороне, быть "крутым мужиком".
Нормальная такая, среднестатистическая житейская позиция. Очень распространённая, к сожалению.
Только не нормальная с точки зрения семьи и Любви.
Любить - значит жертвовать своим эгоизмом. Не готов - не хрен семью создавать. Подрастёшь, созреешь - пожалуйста.

Да, ошибиться может каждый, не вопрос. Но ошибся - признай, что ошибся, меняй свои приоритеты. Похоже, однако, что Ваш мужчина этот этап не прошёл. Не понимает он, ЧЕГО может лишиться, ЧЕМ играет. Он ведь, видимо, рассуждает, что так, мол, поступает большинство, а значит, это - естественно и "небезобразно".

Но это, увы, безобразно и убивает любовь. И большинство как раз без любви и живёт.
Так что можете поставить его перед выбором: или у нас любовь, или развод, но такой "обычной" жизни, просто сожительство узаконенное, с шашнями на стороне - НЕТ.