Texto como Sequência

Processamento token a token nas RNNs e embeddings estáticos

Pipeline: frase → RNN

Frase:

⏳

RNN: dependência temporal

h_t depende de h_t-1. O processamento é inerentemente sequencial — não paralelizável.

📉

Gargalo em sequências longas

O contexto distante precisa "atravessar" muitos passos, sendo comprimido no vetor h_t. Informação se perde.

🎯

"A ordem existe e o modelo acumula contexto, mas o processamento é sequencial. Além disso, os embeddings de entrada são estáticos — não há modelagem explícita de embeddings contextuais, onde o significado de uma palavra depende do contexto em que aparece."

Embeddings Estáticos

IDs de tokens — cada palavra é mapeada para um índice inteiro no vocabulário do modelo. Ex.: "Ela" → 42, "saiu" → 98, "só" → 17. Esses IDs são a entrada real da rede: números, não texto.

Modelos como Word2Vec (2013) e GloVe (2014) aprendem vetores densos para cada palavra a partir de co-ocorrências em grandes corpora. Cada palavra recebe um único vetor, independente do contexto.

📐

Aritmética de vetores

Os vetores capturam relações semânticas: rei - homem + mulher ≈ rainha. Direções no espaço codificam analogias.

🔒

Limitação: sem contexto

"banco" (assento) e "banco" (financeiro) compartilham o mesmo vetor. O significado não muda conforme a frase.

Mapa de Embeddings 2D

As setas mostram: rei − homem ≈ rainha − mulher (direção "realeza")