Боюсь ребенка оставлять с отцом. Как поступить с юридической точки зрения?

Сыну 3 месяца, кормлю грудью. С отцом плохие отношения еще до рождения ребенка. Когда он приходит, выносит мозг (были проблемы с молоком из-за этого) и неаккуратно обращается с ребенком (на мои поправки, чтобы головку поддерживал и не оставлял на пеленальном столике одного и т.п., отмахивается и говорит, что я больная).
Сейчас будем разводится. Он сказал что будет приезжать каждое воскресенье, а я должна уходить (как себе это представить...ведь ребенок грудной). Я очень переживаю.