ReLU e Não Linearidade

A função de ativação que viabilizou o treinamento de redes profundas — simples, eficiente e poderosa

Definição

g(z) = max(0, z)

Rectified Linear Unit — ReLU

⛔

Zera ativações negativas

Qualquer valor z < 0 vira 0. O neurônio "não dispara".

✅

Preserva ativações positivas

Para z > 0, a saída é igual à entrada. Gradiente sempre igual a 1 na região ativa.

🚀

Viabiliza redes profundas

Evita o problema de gradientes muito pequenos (vanishing gradient) que afeta sigmoide e tangente hiperbólica em redes profundas.

💡

Em CNNs, a ReLU é aplicada após cada convolução e antes do pooling: Conv → ReLU → MaxPool.

Gráfico interativo — passe o mouse para inspecionar valores

z ∈ [−4, 4] · g(z) ∈ [−4, 4]

eixo x: – eixo y: –

Mova o mouse sobre o gráfico → z = — ReLU = —

Por que não usar sigmoide em redes profundas?

Função

Derivada (máx.)

Vanishing gradient

ReLU

1 (constante)

Não

Sigmoide

0.25 (máx.)

Sim, em redes profundas

ℹ️

Na sigmoide, a derivada máxima é 0,25. Em 10 camadas, o gradiente pode encolher para menos de 0,25¹⁰ ≈ 10⁻⁶. Com ReLU, o gradiente na região ativa é sempre 1.