Input Gate e Conteúdo Candidato
🧠 LSTM — Input Gate e Candidato em Destaque
iₜ = σ(Wi · xₜ + Ui · hₜ₋₁ + bi)
c̃ₜ = tanh(Wc · xₜ + Uc · hₜ₋₁ + bc)
📐 Exemplo Numérico (dim = 2)
dim 1
dim 2
c̃ₜ =
0.60
0.70
iₜ =
0.40
0.80
iₜ ⊙ c̃ₜ =
0.24
0.56
dim 1: 0.40 × 0.60 = 0.24 | dim 2: 0.80 × 0.70 = 0.56
💡 Quanto Escrever e O Quê Escrever
Input gate iₜ — intensidade
Controla quanto de cada dimensão do candidato é absorvido. Valores em [0,1]. No exemplo: dim 1 absorve 40%, dim 2 absorve 80%.
Candidato c̃ₜ — conteúdo
Propõe o conteúdo a ser escrito. Saída de tanh, valores em [−1, 1]. Calculado com as mesmas entradas que iₜ (xₜ e hₜ₋₁).
Papéis distintos
iₜ decide quanto entrar; c̃ₜ decide o quê entrar. Um candidato rico pode ser bloqueado por uma porta fechada.
Por dimensão
Cada dimensão do vetor tem sua própria intensidade de entrada (iₜ) e seu próprio conteúdo candidato (c̃ₜ).
🔗
Juntos, iₜ ⊙ c̃ₜ determina a nova informação a incorporar à memória — no exemplo: [0.24, 0.56].
➡️ Com fₜ ⊙ cₜ₋₁ e iₜ ⊙ c̃ₜ calculados, podemos agora atualizar a memória cₜ.