CLIP: um espaço compartilhado
O grande avanço: CLIP (2021)
O objetivo
O CLIP busca mapear imagens e textos no MESMO espaço semântico: textos relacionados a uma imagem ficam próximos a ela nesse espaço.
De onde vem a supervisão?
Das centenas de milhões de imagens da internet com suas descrições, captions e alt texts. Esse dado já existe naturalmente!
A ideia central
Dois encoders (um para imagem, outro para texto) são treinados para gerar embeddings comparáveis — pares corretos ficam próximos, errados ficam distantes.
💡 CLIP não precisa de anotações manuais — usa a supervisão natural que já existe na web.
Espaço de embeddings CLIP
○ Imagem □ Texto | ■ cão/cachorro ■ praia/mar ■ cidade