O que significa ser multimodal?
Modalidades e alinhamento
Modalidades: texto, imagem, áudio, vídeo
Cada modalidade é um tipo de dado com estrutura e representação diferente.
Foco: texto + imagem
Queremos que a descrição de uma imagem e a imagem em si sejam semanticamente próximas.
O desafio central
Arquiteturas que trabalham com cada modalidade geram representações em espaços não-relacionados.
🧠 Para um humano é fácil associar imagem e descrição — para um modelo, é um grande desafio de aprendizado.
Atividade: emparelhe imagem e texto
Imagens
🐕
Imagem 1
🐶
Imagem 2
🏖️
Imagem 3
🌊
Imagem 4
🌆
Imagem 5
🏙️
Imagem 6
Textos
cão
cachorro
praia
água do mar
cidade
urbano