Estrutura do Decoder
Pipeline do Decoder — clique em uma sublayer
🔵 Encoder
Aenc
K e V →
Cross-Attn
Aenc
K e V →
Cross-Attn
▼ Entrada deslocada à direita (tokens do decoder) 👆
Masked Self-Attention
máscara causal (triangular)
Add & Norm
LayerNorm(x + sublayer(x))
Cross-Attention
Q←decoder · K,V←encoder
Add & Norm
LayerNorm(x + sublayer(x))
Feed-Forward Network
FFN(x) = ReLU(W₁·x+b₁)·W₂+b₂
Add & Norm
LayerNorm(x + sublayer(x))
▼ Linear + Softmax → token 👆
👆 Clique em uma das três sublayers à esquerda para ver sua descrição e fórmula
Máscara causal: ao prever o próximo token, o modelo
não pode usar informações vindas de posições futuras.