Guarda do filho recem-nascido pode ser so do pai?

Moro com o pai da minha filha a 3 anos... Nao somos casados nem temos registro algum de uniao estavel, moramos juntos apenas. Minha filha tem dois meses e eu quero deixar o pai dela. Ele é medico ginecologista e eu sou estudante de direito. Nao trabalho e nao tenho casa propria mas tenho pai, mae e irmao que trablham registrados, tem residencia fixa e pode me ajudar na criaçao de minha filha.... Mas tenho medo de que ele tire a bebe de mim, conforme ja ameaçou uma vez, dizendo que gasta oq tiver mas tira a bebe de mim. Nao houve traiçao de nenhuma das partes, nao houve nada de muito serio, so nao quero mais morar com ele por sermos pessoas de intersses diferentes... Ele gosta de festa e cervejada todo final de semana em casa, nao tenho quem me ajuda com a bebe e nem com a limpeza da casa, alem ser muito bagunceiro , desorganizado e algumas vezes bebe muito.... Entao nao quero mais... Ser que ele pode tirar a bebe de mim?