Projeções Lineares: Q, K, V
A entrada X
Frase:
|
|
Q — Query
K — Key
V — Value
Token selecionado:
Q, K e V vêm da mesma matriz X — mas projetadas de formas diferentes para papéis distintos no cálculo da atenção.
📌 Nota: Neste exemplo, d_model = 2. Na prática, embeddings têm centenas de dimensões (ex.: 768 no BERT), e WQ, WK, WV são matrizes aprendidas com valores não-triviais.
📌 Nota: Neste exemplo, d_model = 2. Na prática, embeddings têm centenas de dimensões (ex.: 768 no BERT), e WQ, WK, WV são matrizes aprendidas com valores não-triviais.