Sou mãe solteira, enfrentei minha gravidez sozinha.

Qualquer um pode requerer na justiça um direito que julga que é seu, mas se vai conseguir ou não é outra história. No seu caso, se você comprovar que cuida da criança, que a educa, ou seja cumpre o seu papel de mãe de forma normal, e pelo histórico do seu marido, é muito difícil ele conseguir essa guarda, visto também que a justiça é geralmente mais favorável à mãe nesses casos. Pode também entrar com um pedido de reconhecimento de paternidade, e pedido de pensão alimentícia se achar que o que o avô dá não é suficiente, utilizando inclusive como prova o fato do pai dele dar uma ajuda a você. Fique tranquila se você já cuida direitinho da criança dificilmente ele vai tirar ela de você, é só fazer a sua parte direitinho.