Проблемы с мужем

Всем здравствуйте. Хотелось бы услышать совет или просто мнение со стороны.
Предыстория:
С мужем в браке 5 лет, в целом, живем хорошо, работаем, строим дом. Но вот проблема, у нас нет с мужем досуга. Никакого. Т.Е совместное времяпровождение сводится к поездкам в магазин и просмотру ютуба дома. На мои попытки выманить его погулять, в кино или в кафе я получала один ответ «я устаю на работе, я хочу отдохнуть», при этом когда его выходные совпадают с выходными его отца он едет за 100км в другой город, что бы поделать «дела» с отцом, отпуск так же, а я сижу дома одна. Так же последние два года я просила мужа съездить со мной на море, на что так же получала отказы.
Теперь ситуация:

Недавно узнала о беременности, стала реветь по всяким пустякам. Пару дней назад общалась с коллегой, та похвасталась что в отпуск полетит на море, и тут меня накрыла такая зависть, что я разревелась. Муж соответсвенно это увидел, спросил в чем дело, я и сказала, что завидно, тоже хочется на море. И все, муж вспылил, сказал раз он такой хреновый и не возит меня на море, пусть я делаю аборт, развожусь с ним и езжу со знакомыми куда хочу. Я просто в шоке с его слов была. рассказала свекрови, получила ответ в духе «я тоже много хочу, но я лучше детям деньгами помогу.
Сейчас не разговариваем, я живу у мамы. Не знаю как быть дальше.
Порой проскакивает мысль о том, что может муж действительно прав. Мама говорит если так сделаю буду дурой.