Transformers Prof. Anderson Rocha Tavares Bloco 15 · Slide 18 / 19

Geração Autoregressiva

Como o decoder gera tokens um a um

🔵 Encoder processou: Ela saiu só → Aenc fixo (K, V)
🟣 Entrada do decoder (tokens gerados até agora)
Pressione "Próximo passo" para iniciar
🟠 Masked
Self-Attn
→
⚖️ Add&Norm
→
🟣 Cross-
Attention
→
⚖️ Add&Norm
→
🟩 FFN
→
📊 Linear
+Softmax
Passo 0 / 4
Token gerado neste passo
—
Top-3 probabilidades (softmax)
Aguardando próximo passo…