Acompanho Vso. caso vide pergunta:
https://advogadoonline.consultaprocesso.com.br/preciso-de-orientacao-sobre-guarda-de-filho/
Percebo boa-fé em suas atitudes, preferiu agir consensualmente com ex-companheira para conciliarem data de visita e necessidades econômicas.
O atual companheiro não pode restringir suas visitas, embora tenha direito de lhe proibir ingressar em imóvel que tenha posse ou propriedade.
Busque nova conciliação, informando que é Vso. direito acompanhar o crescimento do filho, peça para estar com a mãe fora desse local junto à criança, já que a mesma é recem-nascida. Interrompa o sustento econômico até que haja acordo, uma vez que a lei apenas lhe exige em caráter cogente, após sentença transitada em julgado, deferimento de liminar ou antecipação tutelar.
Tenha cautela no valor que vem ofertando em pecunia para Vso. filho, pois a mãe poderá utilizar-se desse, como parametro para que demandar no futuro. (evite depositar em conta ou deixar fontes probatórias contra Vso. favor).
Se ainda assim não houver acordo, poderá seguir minhas recomendações na resposta do link, acima citado.
Não tema sofrer demanda processual de pensão alimentícia, uma vez que apenas será arbitrado o valor que puder "realmente" oferecer.