Имею ли я право не пускать отца ребенка к себе домой?

Девочки, история такая. Развели нас в ноябре месяце. Алименты платит исправно каждый месяц. С дочерью видется несколько раз в неделю, у меня дома. Но тут сложилась такая ситуация , что несколько месяцев подряд приезжал только по-будням после работы (19-40 до 21-00 прримерно сидел). а в выходные не мог(пьянки , гулянки...) НУ ТЕРПЕЛА Я ЭТО гдето м-ца три.Потом сказала что мне так не удобно, приезжай по выходным.А ему 2 раза в неделю мало мол забывает она его. Вобщемто грозит судом , лишением родительских прав. суть еще в чем пока, она маленькая он не рвется ее увезти, а как немного подрастет хочет увозить ее к свом родственникам(я против и он это знает). что мне делать могу ли я ограничиться прогулками с ним по выходным??? И сколько времени ему могут выделить в неделю если будет суд?