Duvida na guarda compartilhada do meu filho

Bom dia. Estou em um relacionamento a 2 anos e quando conheci minha mulher ela estava grávida de um outro relacionamento, até ai então tudo bem, o pai da criança nunca deu atenção e nunca apoiou em nada na gestação. Depois que a criança nasceu o pai dele registrou em certidão mas também não tava nem ai para o bebê e eu incentivei minha mulher a correr atrás dos direitos da criança, fomos em uma defensoria e resolvemos tudo, durante 3 meses ele pagou a pensão e depois veio uma carta falando que o acordo que tinha feito não era mais válido pois o pai da criança não compareceu por 3x seguidas na defensoria. Não liguei muito, eu tinha sido promovido no emprego e falei que dali para frente seria somente ela, eu e nosso filho. Agora esses dias atrás o pai da criança veio de novo para acertar sobra a pensão e falar que quer ver o filho dele todo fim de semana, ele deve ter visto essa lei de guarda compartilhada, entrou em acordo com minha mulher para pagar a pensão e pegar a criança todo sábado e domingo. Ninguém gostou da atitude dele, mas com essa nova lei não tinha mos o que fazer além de aceitar. Fiquei pensando no que aconteceu e lembrei-me dos meus pais, que também só podem ver o neto nos fim de semana. Então ai que vem a dúvida, teria alguma forma de fazer com que esses finais de semana possam ser divididos ou até mesmo evitar que ele leve o menino? Pois quem deu tudo para a criança fui eu. Ele pode ter registrado, mas eu penso em registrar ele também, e se essa lei é valida só para quem recebe pensão ou para quem não é casado no papel? Se tiver alguma forma de evitar isso, pois o pai da criança não para em emprego e não é um bom exemplo de pessoa. Eu só penso no meu filho agora. Desculpa pelo texto enorme e pelos erros de gramática e português, estou desesperado e queria pelo menos achar uma forma de se esquivar.