Multi-Head Attention no ViT

Várias cabeças em paralelo — cada uma detecta relações diferentes entre patches

Cabeça:

head_r = softmax(Q_rK_r^T / √d_k) V_r

MultiHead(Q,K,V) = Concat(head₁,…,head_h) W^O

🧠

"No ViT, cada cabeça aprende a projetar os patches em um subespaço diferente. O que cada cabeça captura emerge do treinamento — não é definido manualmente. O resultado final combina todas as representações via Concat · W^O."