A matriz de similaridade
Encoders + Matriz
🐕🏖️🌆
→
Encoder Visual 🔷
→
v₁, v₂, v₃
cão praia cidade
→
Encoder Textual 🔶
→
t₁, t₂, t₃
| cão | praia | cidade |
|---|
Clique em uma célula para ver o cálculo
Como funciona a matriz
Batch de N pares
Em cada passo de treino, usamos N pares (imagem, texto). Criamos uma matriz N×N de similaridades.
Diagonal = pares corretos
A célula (i,i) representa a similaridade entre a imagem i e seu texto correspondente — deve ser alta.
Fora da diagonal = pares errados
As células (i,j) com i≠j são pares não-correspondentes — devem ter similaridade baixa.
Similaridade de cosseno
cos_sim(a,b) = (a·b)/(|a|·|b|) — mede o ângulo entre os vetores, independente da magnitude.
🎯 O objetivo é fazer com que os encoders saibam gerar embeddings parecidos quando texto e imagem correspondem — e distintos quando não correspondem. Não há obrigação de usar uma arquitetura específica — qualquer encoder diferenciável serve!