punição por saída para ir ao médico

Senhores. Hoje pela manhã precisei ir ao medico, pois, não estava em condições de continuar minhas atividades, pois, estava com conjuntivite. Sendo assim após alguns minutos de dar início a minha jornada de trabalho pedi a um colega que avisasse meu superior que estaria me ausentando para ir ao médico. No entanto meu chefe diz não estar sabendo de nada e que eu sai da empresa sem autorização e pretende me punir por isso. Isto esta correto? Devo ser punido mesmo estando com o atestado médico em mãos?