Deep Learning · UFRGS

Aprendizado Multimodal

CLIP, treino contrastivo, zero-shot e recuperação multimodal — como texto e imagem aprendem a se entender.

Bloco 1 — O Problema
Slide 01
❓
O que significa ser multimodal?
Explore o desafio: quando encoders são treinados separadamente, imagens e textos ficam em espaços não-relacionados — mesmo referindo-se ao mesmo conceito.
interativo
Bloco 2 — CLIP
Slide 02
🌐
CLIP: um espaço compartilhado
O CLIP mapeia imagens e textos para o mesmo espaço semântico usando milhões de pares da internet.
conceito
Bloco 3 — Treino Contrastivo
Slide 03
📊
A matriz de similaridade
Matriz N×N com encoder de imagem e encoder de texto; cada célula é a similaridade de cosseno entre os embeddings.
interativo
Slide 04
🎯
Perda contrastiva
A função InfoNCE/NT-Xent: maximizar diagonal, minimizar fora dela — em ambas as direções ao mesmo tempo.
interativo
Bloco 4 — Aplicações
Slide 05
🎲
Classificação zero-shot
Diagrama Radford-style: embedding de imagem comparado com embeddings de textos candidatos — sem treino específico para as classes.
interativo
Slide 06
🔍
Recuperação multimodal
Mapa cartesiano 2D: escolha uma imagem ou texto como consulta e veja os alvos mais próximos sendo recuperados.
interativo
Bloco 5 — Aplicações Avançadas
Slide 07
🚀
Aplicações multimodais
Diagramas visuais de Captioning, VQA e Assistentes Multimodais — aplicações que constroem sobre o CLIP.
interativo