O que faz um Transformer ser um Transformer?

Bloco 1 — Retomada

Transformer é uma arquitetura para sequências de tokens — não apenas para linguagem.

Tokens de entrada

O gato dorme

pos 0 pos 1 pos 2

[0.23, -0.51, 0.84…] [0.67, 0.12, -0.39…] [-0.18, 0.74, 0.55…]

Pipeline Transformer

Tokens

→

Embeddings

→

Posição

→

Self-Attention

A mesma estrutura funciona para qualquer "coisa" modelada como token

        🤔
        Pergunta guia: Como transformar outras "coisas" em tokens?