Positional Encoding
A equação da entrada
Frase:
Ela saiu só
E — léxico
P — posição
X = E + P — entrada
💡 Alterne entre as frases para ver o que muda e o que permanece igual.
O que muda ao trocar a frase?
P: estático ou aprendível
No artigo original, P usa funções seno e cosseno de frequências variadas — cada posição recebe um "endereço" determinístico. Variantes modernas aprendem P durante o treino.
Posição 1 é sempre a mesma
p₁ é idêntico para qualquer frase — o que muda é qual token está nessa posição, logo X muda.
X = léxico + posição
A linha i de X combina o vetor léxico do token com o vetor posicional — o modelo recebe ambas as informações fundidas em uma única representação.
"O Transformer não recebe só quais palavras apareceram. Ele recebe uma matriz
em que cada linha já combina a identidade do token com sua
posição na sequência."