Demissão do Trabalho - Acordo Ilegal

Fui demitido recentemente do meu trabalho. Meu patrão fez uma especie de acordo comigo, sendo que eu não sabia exatamente do que se tratava, ele só não queria mais que eu trabalhasse na empresa e queria devolução de 40% dos meus direitos, que, segundo ele, era uma multa que deveria ser paga. Aceitei normalmente, pois foi meu primeiro trabalho e eu não sabia ao certo do que se tratava. Depois que ele me mandou embora, permaneci trabalhando na empresa, até que no dia 27/12/11 o enviei o seguinte email: "Não irei mais trabalhar, foi ótimo o tempo em que trabalhei com você, apesar dos contratempos eu aprendi muito e cresci bastante! Na segunda te ligo pra perguntar que horas é o exame médico dia 03/01 e no dia 05/01 ao fazer o acerto já passo na loja, te deixo seus 40% relativos ao acordo e pago o que ainda te devo!" Depois disso, conversando com a minha família, soube que a devolução de 40% ou de qualquer quantia quando se é demitido, é ilegal, não existe esse acordo, porém, fiquei calado com o meu patrão e fui fazer o acerto normalmente no dia 02/01/2012 e mantive a história do acordo. Após receber meus direitos na "Caixa Econômica Federal" ele entrou em contato por email comigo duas vezes me pedindo pra passar na loja (local em que trabalhei) pedindo o valor relativo aos 40%, porém eu não tinha olhado meu email e hoje, dia 17/01/2012 ele veio na minha casa e eu falei com ele que eu não devolveria o valor, devido as irregularidades que eu soube, ele se stressou e de forma ameaçadora me chamou pra fora de casa em alto tom e também disse que por eu não ter cumprido com a minha palavra ele me jogaria na justiça por eu não devolver o valor que tínhamos combinado. O que ele pode fazer contra mim? Eu devo ou não devolver este valor? Por favor, mesmo com a minha família dizendo que ele não pode fazer nada, estou preocupado. Me ajudem!