Multi-Head Attention

Várias atenções em paralelo, cada uma em seu próprio subespaço

Cabeça:

Frase:

head_r = softmax(Q_rK_r^T / √d_k) V_r

MultiHead(Q,K,V) = Concat(head₁,…,head_h) W^O

🧠

"Cada cabeça aprende um espaço de projeção diferente. Em termos matriciais, é como executar várias atenções em paralelo, cada uma com seu próprio tipo de alinhamento."