Por que Redes Profundas São Difíceis de Treinar?
O Problema: Vanishing Gradient
Durante o backpropagation, o gradiente é multiplicado em cada camada pela regra da cadeia. Com valores < 1 repetidos, o produto converge para zero.
◄ Direção do Backpropagation
⚠️
As primeiras camadas quase não recebem sinal de gradiente — elas param de aprender.
Mensagem Central
Em redes muito profundas, o gradiente enfraquece ao voltar.
Conexões residuais criam atalhos que preservam esse sinal.
Gradiente × Gradiente × Gradiente…
A regra da cadeia multiplica gradientes a cada camada. Com muitas camadas e valores < 1, o produto tende a zero.
Profundidade traz expressividade
Redes mais profundas podem aprender hierarquias de features mais ricas — mas o treinamento fica instável sem cuidados especiais.
Solução: atalhos no grafo
Conexões diretas entre camadas permitem que o gradiente "pule" etapas e chegue forte às primeiras camadas.
Onde estamos na aula
✅ CNNs
Bl. 1–6
→
✅ Backp.
Bl. 7
→
✅ Limit.
Bl. 8
→
🔗 Skip
Bl. 9