meu chefe quer o dinheiro do almoço de volta

Boa tarde. Sou de SP e trabalho na rua e meu chefe deposita um valor todo dia na minha conta para que eu possa almoçar. Ele solicita a nota do que eu almocei. Porém, certo dia não almocei, nesse caso não tenho nota. Tenho que devolver o dinheiro ou é meu direito? Já procurei em diversos locais uma resposta, mas não consigo saber se tenho ou não que devolver. Pedi pra que ele aguardasse que iria verificar se tinha que devolver ou não. Meu chefe diz que tenho que devolver porque não é obrigação dele me dar dinheiro pra comer e se ele me deu e eu não comi é um problema meu e eu tenho que devolver. Porém não comi, pois estava em um cliente e não deu tempo.