Transformers e GNNs são Primos
⚡ Transformer Self-Attention
T₁
T₂
T₃
T₄
Attention(Q,K,V) = softmax(QKᵀ/√d)·V
↳ Cada token atende a TODOS os outros tokens (O(n²))
🕸️ GNN com Atenção (GAT)
v₁
v₂
v₃
v₄
hv = Σu∈N(v) αvu W hu
↳ Cada nó atende apenas aos seus VIZINHOS (inductive bias)
🔗
Transformer ~ GAT em grafo completo
GNN ~ Transformer com estrutura esparsa (inductive bias relacional). A esparsidade reduz O(n²) para O(E), onde E é o número de arestas.
GNN ~ Transformer com estrutura esparsa (inductive bias relacional). A esparsidade reduz O(n²) para O(E), onde E é o número de arestas.