Posso perder a guarda da minha filha...

Boa noite, O caso é o seguinte, tenho uma filha de dois anos de idade e não estou mais casada com o pai da criança, deixei ele pois me apaixonei por outra pessoa, porém essa outra pessoa é uma mulher e minha familia é contra. Ele frequenta a minha casa todos os dias com o intuito de ver a minha filha, por mais que eu diga pra ele não ir e avisar um dia ou final de semana para pegar a menina ele fala que vai sim porque a casa não é minha e sim da minha vó. E como a minha familia não aceita a minha opção dão razão a ele. Agora ele veio me ameaçar de tirar a menina de mim se eu levar ela a casa da minha namorada, quero deixa claro desde já que respeito muito a minha filha e nunca fiz nada na frente dela, nem se quer um contato... E a elas (a minha filha e a minha namorada) se dão muito bem... Gostaria de saber se ele tem direito de tirar ela de mim apenas pela minha opção.? PS. Ele trabalha o dia inteiro e mora com a mãe que também trabalha, ou seja, se ele tirasse ela de mim a menina teria que ficar em uma creche ou com uma baba. Por favor respondam a minha duvida, pois já não sei mais o que fazer. Agradeço desde já :)