Помогите пожалуйста советом

Здравствуйте, помогите пожалюйста советом. У нас квартира двух комнатная по 1/4 на 4 человека сын, дочь, я и моя мама( мама недавно выкупила одну долю у бывшего моего мужа мы с ним развелись 8 лет назад) теперь мы собираемся продать квартиру и купить дом где детям будит выделено по 1/2 доли. Для продажи долей детей в квартите нужно разрешение отца . Он категорически отказывается его давать мативирует тем что если вдруг дом сгорит ему придется выделять им долю в опеку не является письменно отказ не давал, а в опеке говорят что они бессильны отправляют в суд(муж бывший еще говорит что если мы будем покупать квартиру он еще подумает дать ли нам согласие на продажу пожно сказать что диктует свои условия) хотя в прошлом квартира была заработана моим отцом когда жили приватизировали ее на четверых. Подскажите пожалуйста посоветуйте как мне лучше сделать? Выиграю ли я в суде это дело? Муж аллименты платит исправно( работает в органах) , но в жизни детей никак не учавствует.