ViT Prof. Anderson Rocha Tavares Bloco 5 · Slide 2 / 2

Bloco Encoder do ViT

LN → MHA → ⊕ → LN → MLP → ⊕ — repetido L vezes para cada token

Clique para ver a descrição:
Layer Norm Multi-Head Attention Resíduo ⊕ MLP / FFN
repetido L vezes
entrada x (sequência de tokens) resíduo 1 Layer Norm (LN₁) Multi-Head Attention ⊕ resíduo 2 Layer Norm (LN₂) MLP / Feed-Forward ⊕ saída x' (mesma forma que entrada)
←

Clique em um bloco do diagrama
para ver a explicação detalhada

LN₁ MHA ⊕₁ LN₂ MLP ⊕₂
Fórmula compacta: x'  = x  + MHA(LN(x)) x'' = x' + MLP(LN(x')) — aplicado a todos os tokens (inclusive [CLS]) em paralelo
🧠
"Cada bloco encoder refina a representação de todos os tokens — incluindo [CLS] — combinando atenção global (MHA) e transformação não-linear por token (MLP). As conexões residuais garantem que o gradiente flua mesmo em redes com dezenas de camadas."