Token [CLS] e Multi-Head Attention

[CLS] participa da atenção como qualquer patch — ao final, concentra a informação global

🟣

[CLS] é um vetor aprendível inserido na posição 0 da sequência — sem conteúdo visual. Ele também projeta Q, K, V e presta atenção a todos os patches, acumulando uma representação global da imagem ao longo do encoder.

Cabeça:

[C] = linha do token [CLS] nas matrizes

head_r = softmax(Q_rK_r^T / √d_k) V_r

MultiHead = Concat(head₁,…,head_h) W^O

🧠

"O [CLS] não impõe nenhuma restrição sobre o que aprender — ele simplesmente participa da atenção como mais um token. A linha do [CLS] na matriz de atenção mostra o quanto ele "ouve" cada patch. Após L blocos, esse vetor é usado diretamente para classificação."