Síntese: ResNets e Redes Muito Profundas

Skip connections resolvem o vanishing gradient e abrem caminho para centenas de camadas.

A Fórmula Fundamental

H(x) = F(x) + x

H(x) transformação desejada

F(x) resíduo aprendido pelas camadas

x identidade (atalho)

Em vez de aprender H(x) do zero, a rede aprende apenas o resíduo F(x) = H(x) − x.

💡

"Se não for preciso mudar nada, F(x) → 0 e a saída é simplesmente x — a rede apenas mantém a entrada."

O que isso resolve

✅

Vanishing Gradient

O atalho garante caminho direto para o gradiente — as primeiras camadas voltam a aprender.

🏗️

Redes Muito Profundas

Possibilita treinar centenas de camadas — algo impossível sem skip connections.

⚡

Treinamento Estável

Gradientes chegam fortes a todas as camadas, tornando o treinamento mais rápido e estável.

🎯

Melhor Acurácia

Redes mais profundas aprendem representações mais ricas e generalizam melhor.

Sem vs. Com Skip Connections

❌ Sem Skip Connections

✅ Com Skip Connections

Gradiente desaparece nas primeiras camadas

Gradiente chega a todas as camadas

Profundidade útil limitada a ~20 camadas

Funciona com 100s de camadas

Rede mais funda pode ser pior que rasa

Maior profundidade → melhor desempenho

Família ResNet

ResNet-18

18 camadas ✅

ResNet-34

34 camadas ✅

ResNet-50

50 camadas ✅

ResNet-101

101 camadas ✅

ResNet-152

152 camadas ✅

🏆

ResNet-152 tem 152 camadas convolucionais — mais de 7× a profundidade de arquiteturas anteriores. Tudo habilitado por uma ideia simples: saída = x + F(x).