Difusão Prof. Anderson Rocha Tavares Bloco 5 · Slide 1 / 1
Como a IA sabe o que gerar?
Bloco 5 — Condicionamento por Texto (Prompting)
🗺️ Pipeline: Texto → Imagem
📝
Prompt de Texto
"um cachorro na praia ao pôr do sol"
↓
🔤
Encoder de Texto (CLIP)
Tokeniza e projeta cada palavra num espaço vetorial semântico compartilhado com imagens.
↓
🔢
Sequência de Embeddings
Cada token vira um vetor de 768 d. O conjunto captura semântica e relações entre os termos.
↓
🧠
U-Net + Cross-Attention
A cada passo de denoising, o embedding alimenta o cross-attention: patches da imagem consultam tokens de texto para decidir qual ruído remover e onde.
cross-
attention
↓
🎨
Denoising Guiado (T → 0)
A cada passo, o ruído é removido em direção ao conceito do prompt. O texto age como bússola em todo o processo.
→
→
→
🐶
📚 Teoria do Condicionamento
📝
Alinhamento Texto-Imagem

O modelo é treinado com pares (descrição, imagem). Um encoder de texto (similar ao CLIP) converte o texto em um vetor de embedding.

🧭
O Texto como Bússola

Durante o denoising, o embedding guia cada passo de remoção de ruído. A rede não remove ruído aleatoriamente — ela o remove em direção aos padrões associados ao texto.

🔗
Cross-Attention na U-Net

A U-Net mantém sua estrutura convolucional (blocos ResNet + downsampling/upsampling). Em cada resolução, um Spatial Transformer Block é inserido entre as convoluções:

  1. O mapa de features 2D é achatado em sequência de patches (tokens visuais)
  2. Q = projeção dos tokens visuais  |  K, V = projeção do embedding de texto
  3. Atenção: softmax(QKᵀ/√d)·V — idêntica ao transformer clássico
  4. O resultado é reformatado para 2D e devolvido ao fluxo convolucional

As convoluções capturam estrutura espacial local; o cross-attention injeta contexto semântico global do texto a cada resolução.

🎯
Classifier-Free Guidance (CFG)

Durante o treino, o modelo aprende dois modos: com prompt e sem prompt (texto vazio). Na geração, as duas predições são combinadas:

ε̂ = ε∅ + w · (εtexto − ε∅)

O fator w (guidance scale) amplifica o quanto o prompt influencia. Maior w → mais fiel ao texto, menos diversidade.

✨
Texto + Imagem + Difusão = a receita por trás de Stable Diffusion, DALL-E e Midjourney.