Поменяться жильем

Здравствуйте!

Ситуация такая, 2 года назад похоронили маму. Мы с мужем и нашей дочкой переехали к отцу, его поддержать. Мама в наследство оставила мне дом, у папы ничего нет. Прожили с отцом год, он постоянно на работе, а вечером в силу возраста приходит ворчать на нас) мы с мужем и дочкой и братом переехали к мужу в однушку. (отец дал добро на проживание брата со мной под опекой, потому что дома только спит, со смертью матери не может заниматься ребенком, срывается постоянно). Прожили год, отец от горя отошёл. Живёт один в доме, поняли с мужем что места не хватает, думаем о расширении. Отец за дом платит не в полной мере, Я собственник. Хочу предложить отцу купить однокомнатную квартиру и переехать с мужем в дом. Боюсь реакции отца, боюсь будет злиться, что я выгоняют. Дети спят на двухярусной кровати, мы на диване. Места нет совсем. Переживаю , что будет слишком нагло по отношению к папе. Он живёт один, домой все также спать приезжает, хозяйством не занимается. Как быть?