Transformers Prof. Anderson Rocha Tavares Bloco 10 · Slide 10 / 11

A = SV — Combinação Ponderada

Os pesos de atenção combinam os values para gerar embeddings contextuais

Frase:
Clique em uma célula de A para ver os elementos de S e V envolvidos.
A = S · V
🎓
Cada célula A(i,j) é o produto interno da linha i de S pela coluna j de V: os pesos de atenção determinam quanto cada token contribui para a dimensão j do embedding contextual do token i.