Feedforward com Janela de Contexto
🪟 Ideia: Janela Deslizante
janela de tamanho 3
💡
Arraste o controle: com janela maior, capturamos mais histórico — mas o problema é que precisamos escolher antes de treinar.
⚠️ Problemas da Janela Fixa
Tamanho definido a priori problema central
O tamanho da janela é um hiperparâmetro fixado antes do treinamento. Se a dependência relevante estiver fora da janela, a rede nunca a verá.
Janela grande → mais parâmetros
Dobrar o tamanho da janela dobra o número de entradas — e portanto os pesos da primeira camada crescem linearmente.
Dependências de longo alcance ignoradas
Em linguagem, o sujeito de uma oração pode estar dezenas de palavras antes do verbo. Uma janela curta perde essa relação.
Sem compartilhamento de parâmetros no tempo
A rede aprende pesos diferentes para cada posição da janela — não há generalização automática de padrões que se repetem em instantes diferentes.
Queremos um modelo que decida sozinho quanto do passado preservar — sem necessidade de fixar a janela antes de ver os dados.