Classificação zero-shot
Diagrama de classificação
🐕
cachorro
🐱
gato
🚗
carro
🦋
borboleta
👆 Clique em uma imagem acima para classificar
Como funciona o zero-shot
Passo 1: Encode a imagem
A imagem passa pelo encoder visual e gera um embedding de alta dimensão.
Passo 2: Encode os textos candidatos
Cada descrição candidata ("a photo of a dog", etc.) passa pelo encoder de texto.
Passo 3: Calcule similaridades
Computa-se a similaridade de cosseno entre o embedding da imagem e cada embedding de texto.
Passo 4: Softmax → Argmax
As similaridades são normalizadas via softmax para obter probabilidades por classe. A classe com maior probabilidade é a predição.
🚀 Zero-shot: o modelo nunca viu estas classes durante o treino de classificação! Basta criar descrições das classes em texto.
💡 Prompt engineering: "a photo of a {class}" funciona melhor que apenas "{class}" — contextualizar o texto melhora os resultados.