Transformers Prof. Anderson Rocha Tavares Bloco 8 · Slide 8 / 11

QKᵀ — Matriz de Alinhamento

Cada entrada (i,j) é o produto interno entre qᵢ e kⱼ

Frase:
Passo:
1 / 3
🎓
Transpor K alinha as colunas de K com as linhas de Q — cada célula (i,j) do resultado é o produto interno entre a query do token i e a key do token j: quanto token i "busca" o que token j "oferece".