Embeddings Contextuais
As mesmas palavras, ordens diferentes
Clique em "só" em qualquer frase para ver como o significado muda conforme a posição.
Frase 1
Ela
saiu
só
Frase 2
Só
ela
saiu
Frase 3
Ela
só
saiu
— clique em "só" para ver a leitura semântica —
A posição de um token determina seu papel semântico.
Por que isso importa?
RNNs: contexto implícito
O contexto chega pelo estado oculto ht. O vetor base de "só" é sempre o mesmo — o contexto pode se perder em sequências longas.
Necessidade: embeddings contextuais
Cada token é representado levando em conta todos os outros. O vetor final de "só" muda conforme sua posição e os tokens vizinhos.
Transformers: a solução
Transformers geram embeddings contextuais e processam toda a sequência em paralelo — sem dependência temporal. Os próximos blocos detalham como isso funciona.
"Estas frases usam as mesmas palavras, mas a ordem muda o significado.
O modelo precisa tratar posição e interação entre tokens de forma explícita."