O pai da minha filha pode leva-la a pra casa dele, se eu não quiser?

Minha flha tem um ano e o pai dela vive me ameaçando, se acha no direito de estar na minha casa a hora que bem entende, não me respeita e a família dele me expulsou da casa deles, me acusando de querer o dinheiro deles, sendo que a única ajuda deles é o plano de saúde e 200 reais(isso quando dão). Estou cansada deles quererem direitos e não deveres.