Famílias de Transformers
Encoder-only
Entende a entrada, não gera texto
▼ Clique para expandir
Input Tokens
▼
Encoder × N
▼
Representações A
Atenção bidirecional: cada token vê todos os outros. Isso produz representações ricas do contexto completo, ideais para entender — mas não para gerar sequências novas.
Tarefas
Classificação de texto
Reconhecimento de entidades (NER)
Análise de sentimentos
Extração de relações
Modelos
BERT
RoBERTa
XLM-R
ALBERT
Decoder-only
Gera texto autoregressivamente
▼ Clique para expandir
Input Tokens
▼
Decoder × N
(Masked Self-Attn)
(Masked Self-Attn)
▼
Linear + Softmax
Atenção causal (mascarada): cada token só vê os anteriores. O modelo aprende a prever o próximo token — fonte e saída ficam na mesma sequência, separadas por um delimitador especial.
Tarefas
Geração de texto livre
Continuação de histórias
Chatbots e assistentes
Geração de código
Modelos
GPT-2
GPT-4
LLaMA
Mistral
Encoder-Decoder
Transforma uma sequência em outra
▼ Clique para expandir
Encoder × N
→
Decoder × N
▼
Linear + Softmax
Cross-attention: o decoder recebe os vetores do encoder via uma camada de atenção extra. Cada token gerado pode se alinhar a qualquer posição da entrada — separação explícita entre compreender a fonte e gerar a saída.
Tarefas
Tradução automática
Sumarização de textos
Pergunta-Resposta (QA)
Reescrita e paráfrase
Modelos
T5
BART
mT5
Flan-T5
⚖️ Decoder-only consegue gerar texto — por que usar Encoder-Decoder?
Decoder-only
Fonte e saída na mesma sequência (
[fonte] → [geração]) Escala bem: um único stack de pesos
Contexto da fonte compete com o da saída por posições de atenção
Encoder processa a fonte com atenção causal — menos rico para tarefas de transformação
Encoder-Decoder
Encoder lê a fonte com atenção bidirecional completa — representação mais rica
Cross-attention permite ao decoder se alinhar explicitamente a qualquer parte da entrada a cada passo
Fonte processada uma vez; geração independente — mais eficiente em tradução longa
Mais parâmetros; dois stacks para treinar
Resumo: quando a tarefa é transformar uma sequência em outra (tradução, sumarização), a separação explícita entre compreensão bidirecional da fonte e geração autogressiva da saída tende a ser mais eficiente e mais interpretável. Quando a tarefa é geração aberta sem fonte definida, o decoder-only é suficiente — e mais simples de escalar.
"A ideia central que estudamos hoje é a atenção como cálculo matricial de alinhamentos entre tokens.
É isso que sustenta as principais famílias modernas de Transformers."
— Prof. Anderson Rocha Tavares