Por que a posição dos patches importa?
Selecione um patch
Número de patches:
⚠️
Sem posição: cada patch mantém conteúdo local, mas a imagem perde sua estrutura espacial.
✅
Precisamos de embedding posicional — assim como no Transformer de texto!
Embedding posicional
Pipeline de embedding
achatar + projetar → somar posição
Patches sem posição
O Transformer trata a sequência sem ordem implícita — patches poderiam estar em qualquer lugar.
Codificando localização
Cada posição recebe um vetor único somado ao patch embedding. O modelo aprende a interpretar essas posições.
Aprendido em ViT
No ViT original, os embeddings posicionais são aprendidos — não fixos como no Transformer de texto.