O Problema do Vanishing Gradient
📉 Simulador de Decaimento
Magnitude relativa do gradiente por passo temporal
Quanto menor α, mais rápido o gradiente desaparece
⚠️ Por Que Isso é um Problema?
O que é α?
α representa o fator de escala pelo qual o gradiente é multiplicado a cada passo temporal — corresponde à norma espectral do Jacobiano ∂hₜ/∂h_{t-1}. Se α < 1, o gradiente diminui; se α > 1, explode.
Multiplicação em cadeia
A cada passo temporal, o gradiente é multiplicado por derivadas e matrizes com magnitude < 1.
Desvanecimento
Depois de muitos passos, o gradiente chega quase a zero — mesmo com α = 0,9.
Dependências curtas
Estados distantes quase não recebem sinal de correção — a rede aprende dependências curtas.
⚠️
Existe também o exploding gradient (fatores > 1), mas o foco aqui é o desvanecimento, por ser a motivação da LSTM.
➡️
Precisamos de uma arquitetura que garanta um caminho mais estável para o gradiente — é aí que entra a LSTM.