Conexões Residuais: Atalhos para o Gradiente
Bloco Residual Interativo
x (entrada)
0.75
F(x) (caminho conv)
+0.50
x + F(x) (saída)
1.25
Backpropagation com Atalhos
O gradiente tem dois caminhos para voltar:
pelo caminho longo (camadas) e pelo atalho (identidade).
O sinal sempre chega — mesmo em redes muito profundas.
Caminho longo (pelas camadas)
O gradiente passa por cada camada e é multiplicado. Com muitas camadas,
torna-se muito fraco.
≈ 0.03
Caminho curto (identidade)
O atalho transmite o gradiente diretamente, sem multiplicação adicional.
O sinal chega forte.
≈ 1.00
🔗
"O gradiente não precisa atravessar tudo — ele pode 'pular' camadas."
Aprende o resíduo, não a transformação
Em vez de aprender H(x) do zero, a rede aprende F(x) = H(x) − x. Muito mais fácil quando H(x) ≈ x.
Se nada precisar mudar, F(x) → 0
A rede pode "passar x adiante" sem alteração — o atalho garante isso naturalmente.