Как помочь ребенку и как вообще быть?

Девочки ,с бывшим мужем я разошлась 3 года назад.Расходились плохо,со скандалом,я уходила ни с чем-с долгами,которые он мне оставил,без работы,без жилья-уходила жить к подруге в съемную квартиру.Дочке тогда было 1,5 года.Дочь я отправила тогда к родителям,сама устроилась на работу и начала строить жизнь заново.В течение трех лет дочь жила то со мной,то с моими родителями.Я же рассчитывалась с долгами ,зарабатывала на всю семью деньги итд.Бывший муж видел ее за 3 года один раз,деньгами не помогал,а потом и вовсе сел в тюрьму на 1,5 года.Сейчас у меня появился мужчина,хочет жениться итд-встречаемся год,предложение сделано. Я выбила наконец то для дочки место в саду и готова ее забрать к себе уже насовсем.Дочке 4,5 года-больше времени в своей короткой жизни она провела с дедушкой и бабушкой,которых очень любит,но и меня очень любит,как и я ее.Вот собираюсь ее в ближайшем времени привезти,знакомить со своим женихом,который ждет не дождется ее,да и вообще детей любит-вижу по его отношению к его сыну от первого брака.И тут выходит из тюрьмы мой бывший муж и требует ребенка.Хочет видеться и участвовать в воспитании.Я против-я уже мысленно попрощалась с ним навсегда.Тут даже не мои личные обиды на него играют роль,а то,что человек 3 раза судим,пусть и по экономической статье-доигрался до лишения свободы и вообще у него вечные аферы и материальные проблемы.Я не хочу,чтобы вообще этот человек терся рядом с нашей семьей,которую я так по кускам собирала и выстраивала.И самое главное-очень переживаю за ребенка.Что ей говорить про моего мужчину?Она иногда спрашивает про папу-что говорить.Увидела у меня на телефоне фотку моего мужчины и спросила-это же папа,почему он не приезжает?То есть у нее память уже не осталась особо.В общем,посоветуйте,что делать?Я и так перед своим ребенком очень виновата,не хочу ей еще проблемы создать своими руками.