Encoder como Pilha de Blocos
🏗 Construção do Encoder
H¹ ↑ saída
Input: X = E + P
Ela · saiu · só
embeddings + positional encoding
embeddings + positional encoding
📊 Representação Atual
H¹ (após camada 1)
| token | d₁ | d₂ |
|---|
Entrada X (referência)
| token | d₁ | d₂ |
|---|
Camada 1: representações contextuais — cada token "viu" os demais.
✅ Limite de camadas atingido (máximo de 3 camadas para visualização)
Camadas: 0 / 3
↺ Reiniciar
Camadas adicionadas:
O encoder não é um único bloco de atenção.
É uma pilha de camadas que recalcula e refina sucessivamente as representações contextuais.
📌 Modelos como BERT (N=12) e GPT-3 (N=96) usam dezenas de camadas.
Cada camada contribui com uma perspectiva diferente sobre a sequência.