Direito de Moradia concedida por ente falecido

Minha avó me concedeu o direito de morar na frente de sua casa o quanto fosse necessário. Ela faleceu vai fazer 2 anos. Meu avô na época tinha a saúde mental plena, hoje sofre de alzaimer. Ele não tem mais ideia de nada, certo ou errado, cedo ou tarde. Etc... Minha avo tem 2 filhos minha mae e seu irmão. O mesmo quer que eu sai de qualquer forma da casa para ele alugar. Porem minha mãe esta mevautorizando. Ele tem o direito de me tirar da casa?