Atualização do Cell State

A nova memória é refinada, não completamente substituída

🧠 LSTM — Atualização de cₜ em Destaque

cₜ = fₜ ⊙ cₜ₋₁ + iₜ ⊙ c̃ₜ

📐 Exemplo Numérico (dim = 2) — mesmos valores anteriores

dim 1

dim 2

fₜ ⊙ cₜ₋₁ =

0.72 −0.15

iₜ ⊙ c̃ₜ =

0.24 0.56

cₜ =

0.96 0.41

dim 1: 0.72 + 0.24 = 0.96 | dim 2: −0.15 + 0.56 = 0.41

⚖️ Refinamento da Memória

⚖️

Duas parcelas

fₜ ⊙ cₜ₋₁ preserva parte da memória antiga; iₜ ⊙ c̃ₜ acrescenta nova informação. Cada dimensão de cₜ é atualizada independentemente.

➕

Hadamard + soma

⊙ = produto elemento a elemento. A soma combina passado filtrado com novo conteúdo filtrado.

🌊

Caminho estável

O caminho aditivo do cell state favorece o fluxo do gradiente, evitando o problema do gradiente que desaparece.

            💚
            No exemplo: dim 1 era 0.80, é esquecida a 72% e recebe 0.24 → cₜ[1] = 0.96. dim 2 era −0.50, é esquecida a 30% e recebe 0.56 → cₜ[2] = 0.41.
          

            ➡️
            Mas ainda falta decidir o que dessa memória será exposto como estado oculto hₜ.
          