Compra de lotes ou terreno abandonado

Olá! Um rapaz cercou alguns lotes que seus devidos donos haviam abandonado e está vendendo alguns. Gostaria de saber se caso eu compre e passe o IPTU para meu nome e começo a pagar direitinho, construir minha casa e tudo mais, e mais tarde o tal dono que havia abandonado o lote aparecer alegando que é dele, ele terá direito de pegar? Eu irei perder o terreno mesmo pagando o IPTU, que estará no meu nome, tudo em dia? Agradeço desde já.