Solicitar o cancelamento da dívida junto à Receita Federal

Bom dia! Em 2004 tentei fazer a declaração de isento, porém como tinha uma empresa em meu nome, porem nunca foi ativa, não pude fazer a declaração de isento. E na época eu tinha que ter o documento e acabei fazendo a declaração de IRPF com valores zerados. Declaração de alguns anos. A receita me cobrou multa por entrega de declaração em atraso, não paguei e estou com divida ativa na união. Porem esses anos em que as declarações foram feitas, eu não tinha renda para tal. Apenas fiz por que tinha que ter o documento. Haveria possibilidade de solicitar o cancelamento dessa divida junto a receita federal, já que nem tinha renda suficiente para declaração? Eu era isenta? Em minha carteira de trabalho consta os valores de salário que possuía e que eram baixos. Ano passado a receita reteve minha restituição e ainda nem consta isso nos extratos da divida.