Projeções Q, K, V nos Patches
Os patch embeddings X
Imagem:
illusion.png — dividida em 4 patches
|
|
Imagem dividida em 4 patches (grade 2×2)
Q — Query
K — Key
V — Value
Patch selecionado:
Q, K e V vêm da mesma matriz X de patch embeddings — mas projetadas de formas diferentes para papéis distintos no cálculo da atenção.
📌 Nota: Neste exemplo, d_model = 2 (2 valores por patch). Na prática, embeddings têm centenas de dimensões (ex.: 768 no ViT-Base), e WQ, WK, WV são matrizes aprendidas com shape d_model × d_k.
📌 Nota: Neste exemplo, d_model = 2 (2 valores por patch). Na prática, embeddings têm centenas de dimensões (ex.: 768 no ViT-Base), e WQ, WK, WV são matrizes aprendidas com shape d_model × d_k.