Qual responsabilidade de buscar o Menor

Olá boa tarde! Minha dúvida é referente a quem deve buscar o menor que está na guarda da mãe? Meu ex companheiro não pega a criança desde da separação, nem faz ligações, isso ocorre desde 15/09/2015, no primeiro ano eu ligava e perguntava se ele não poderia pegar o filho, pois estava sentido falta dele, mas sempre ele rude ao telefone dizendo se eu quisesse que ele pegasse a criança, era para eu levá-lo na casa da irmã dele em outro Município, e que nunca iria na minha casa por que ele tem o orgulho dele. Agora disse que vai entrar na justiça pedindo o direito da irmã dele ir até minha residência buscar a criança ao invés dele, pois vai alegar que não tem tempo o que não é verdade. A justiça passa a responsabilidade para outros pegarem a criança ao invés do pai em outro Município?