Redes Neurais Recorrentes Prof. Anderson Rocha Tavares Bloco 7 · Slide 1 / 1

Backpropagation Through Time (BPTT)

Propagação do gradiente de volta no tempo (tarefa many-to-one)

▶ Passo a Passo — Clique para Avançar

Clique para começar
t=1 t=2 t=3 t=4 x₁ x₂ x₃ x₄ h₁ h₂ h₃ o₄ L ∂h₄/∂h₃ ∂h₃/∂h₂ ∂h₂/∂h₁

📋 Passos do BPTT

  • 1Forward: h₁ = φ(U·x₁ + bₕ)
  • 2Forward: h₂ = φ(U·x₂ + V·h₁ + bₕ)
  • 3Forward: h₃ = φ(U·x₃ + V·h₂ + bₕ)
  • 4Forward: h₄, o₄ = ψ(W·h₄), L = ℓ(o₄, ŷ)
  • 5Backward: ∂L/∂h₄ via ∂L/∂o₄ · ∂o₄/∂h₄
  • 6Backward: ∂L/∂h₃ = ∂L/∂h₄ · Vᵀ·φ′(·)
  • 7Backward: ∂L/∂h₂ = ∂L/∂h₃ · Vᵀ·φ′(·)
  • 8Backward: ∂L/∂h₁ = ∂L/∂h₂ · Vᵀ·φ′(·)
🔀 Em many-to-one apenas h₄ recebe gradiente direto de L. Os estados anteriores recebem gradiente apenas via conexões recorrentes (Vᵀ).