Podem demolir uma Construção Irregular Pronta

Olá, construi uma garagem ao lado da minha casa, não fiz projeto nem regularizei nada com a prefeitura, simplesmente construí, e no momento ela está pronta e estou usando ela já faz alguns meses. Agora, recebi um aviso dizendo que tenho que regularizar a construção pois não tenho projeto. O problema ainda não é este, pois me informei que o projeto propriamente dito custará próximo aos 500 reais e posso pagar. Porém sei que o projeto não será aprovado pois ultrapassei o limite de recuo estabelecido pelo plano diretor. A pergunta é: Podem mandar demolir a minha garagem? Sabendo que mesmo que quisesse fazer o projeto, não seria aprovado. Posso alegar que a garagem já está em uso e deveriam ter vistoriado antes???