Aplicações multimodais
Aplicações: clique para ver
Captioning
VQA
Construindo sobre o CLIP
Captioning
Combina um encoder visual (como ViT) com um decoder de texto para gerar descrições automáticas de imagens.
VQA (Visual Question Answering)
Responde perguntas sobre imagens combinando compreensão visual e linguística.
⚡ Custo de treinamento
Modelos como GPT-4V são treinados com bilhões de pares imagem–texto, requerendo centenas a milhares de GPUs por semanas — custo de dezenas de milhões de dólares.
Fine-tuning com dados menores (ex.: LLaVA) é muito mais acessível e produz modelos competitivos.
🚪 Esta aula é apenas uma porta de entrada — o campo multimodal avança rapidamente com novos modelos a cada mês.
🔗 Todos estes modelos constroem sobre a ideia do CLIP: representações visuais e textuais no mesmo espaço semântico.