Как быть с неадекватым мужем?

Мы в разводе, приезжает он ооочень редко к нам. Но когда такое бывает, он каждый раз говорит - хочу взять ребёнка к себе на день. Но извините, ребенок его не знает и не помнит. Это тоже самое что на день соседу сына отдать. И вот теперь он начал мне угражать, мол что он подаст в суд и т.д. Еще и всем врет, что я не даю ребенка видеть. Я уже пить успокоительные начала, так нервов не хватает. Вот что мне делать? Имеет ли он право забрать ребёнка,потому что ему так хочется??