Posso fazer com que o pai do meu filho visite ele na minha casa?

Oi, eu tenho um filho de 6 meses com meu ex namorado, moramos em cidades diferentes mais bem proximas uma da outra.Desde de que meu bebe tinha 3 meses eu deixava ele ir visitar os avós com o pai dele. Mas ele sempre trouxe o nenem muito tarde (sai as 8 da manha e volta as 7 da noite), faz o bebe tomar nam e não dá os remedios direito. Estou muito preocupada com a saude do meu filho, mais eu acho importante a aproximação do pai. Eu posso fazer com que o pai só visite o bebe aqui em casa? pelo menos ate ele desmamar, ele é um bebe doentinho, tem refluxo e alergia a tudo industrializado... Não sei o que fazer...