Imagine que você contrata o assistente mais lido do mundo. Ele absorveu bibliotecas inteiras, cita Borges e Bengio com a mesma desenvoltura e responde em segundos. Tem apenas uma condição: pode enxergar, de cada vez, só algumas poucas páginas do que vocês estão conversando. Todo o resto (o que você disse dez minutos atrás, o documento que lhe passou no início) vai se desvanecendo pela borda da mesa. Não é que seja esquecido por descuido. É que a escrivaninha dele, simplesmente, tem um tamanho.
Essa escrivaninha tem um nome técnico: janela de contexto. É uma dessas ideias que, uma vez que você a vê, reorganiza tudo o que julgava entender sobre por que a inteligência artificial se comporta como se comporta. E quase ninguém explica isso direito.
01 · A unidadeAntes de tudo: o modelo não lê palavras
Para uma pessoa, a frase “a memória tem limites” são quatro palavras. Para um modelo de linguagem são uma tira de tokens: fragmentos de texto, às vezes uma palavra inteira, às vezes um pedaço. O tokenizador parte o idioma em peças frequentes e atribui um número a cada uma. Tudo o que a IA lê ou escreve passa primeiro por esse triturador.
Isso importa porque o limite da janela de contexto não se mede em palavras nem em caracteres, mas em tokens. Quando você lê que um modelo tem uma “janela de 128.000 tokens”, está dizendo quantas dessas peças ele pode ter à vista (entre o que você lhe dá e o que ele lhe responde) num mesmo instante.
02 · A formaUma janela que desliza sobre um rio
A palavra “janela” é exata, e convém levá-la a sério. Pense num texto longuíssimo passando por baixo de uma moldura rígida. O modelo só pode prestar atenção ao que cai dentro da moldura agora mesmo. Se a conversa cresce mais do que a janela, o início começa a ficar fora da moldura: tecnicamente continua existindo, mas o modelo já não consegue enxergá-lo. Daí aquela sensação de que “ele esqueceu” o que combinaram no começo.
Por baixo do capô, o que ocorre dentro da moldura é um mecanismo chamado atenção, introduzido em 2017 no trabalho que fundou a era atual, “Attention Is All You Need”. Cada token olha para todos os demais dentro da janela e decide a quais dar atenção. É potentíssimo e caro: o custo cresce com o quadrado do número de tokens. Dobrar a janela não dobra o custo: quadruplica. Essa é a razão econômica, não caprichosa, de as janelas terem sido durante anos tão pequenas.
Uma janela maior não é só “mais memória”. É uma fatura que cresce ao quadrado.
03 · O crescimentoDe um cartão-postal a um livro inteiro
A boa notícia é que essa fatura ficou pagável a uma velocidade vertiginosa. Em poucos anos passamos de modelos que mal sustentavam uma conversa curta a modelos que engolem um livro inteiro de uma só vez.
| Modelo (ano) | Janela de contexto | ≈ equivale a |
|---|---|---|
| GPT-3 (2020) | 2.048 tokens | ~1.500 palavras · um artigo curto |
| GPT-4 (2023) | 8.192 tokens | ~6.000 palavras · um capítulo |
| GPT-4 Turbo (2023) | 128.000 tokens | ~96.000 palavras · uma novela curta |
| Claude 3 (2024) | 200.000 tokens | ~150.000 palavras · um livro grosso |
| Gemini 1.5 Pro (2024) | 1-2 milhões | ~1,5 milhão de palavras · uma saga inteira |
04 · A armadilhaTer a página não é tê-la lido
E aqui está a nuance que quase ninguém menciona. Que um modelo possa colocar um livro inteiro em sua janela não significa que preste a mesma atenção a tudo. Em 2023, um estudo com um título memorável (“Lost in the Middle”) mostrou que os modelos lembram muito bem o que está no início e no fim do contexto, e deixam escapar o do meio. Igual a nós numa reunião de duas horas.
Encher a janela até o topo nem sempre melhora a resposta; às vezes a piora. Enterrar o dado-chave no meio de um contexto gigantesco é uma forma quase certa de fazer o modelo passar por cima dele. Mais contexto não é mais compreensão.
Por isso os sistemas sérios não despejam tudo no modelo e rezam. Fazem algo mais astuto: guardam o conhecimento fora, numa memória organizada, e a cada pergunta recuperam só os poucos fragmentos relevantes e os colocam (frescos, curtos, bem postos) dentro da janela. Essa técnica se chama geração aumentada por recuperação (RAG), e nasceu em 2020 [4]. É, no fundo, a resposta de engenharia à limitação que este artigo descreve: se a mesa é pequena, não amontoe; traga só a folha de que você precisa, quando precisa.
A inteligência não está só no modelo. Está no que você põe diante dele, e quando.
05 · O que você levaTrês ideias para não esquecer
A janela de contexto é a memória de trabalho da IA: mede-se em tokens e tem uma borda real. Ampliá-la custa, ao quadrado, e por isso foi pequena durante tanto tempo e por isso sua recente expansão é uma proeza. Mas o mais contraintuitivo é que enchê-la não é entendê-la: o que decide a qualidade de uma resposta não é quanto texto cabe, mas qual texto, bem escolhido, cai dentro da moldura.
Da próxima vez que uma IA “perder o fio da meada”, você já não vai lê-lo como uma falha misteriosa. Vai vê-lo pelo que é: uma mesa de certo tamanho, um rio de palavras passando por baixo, e a arte, ainda muito humana, de decidir o que merece estar sobre a mesa.
Fontes
- Vaswani, A. et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS).
- Fichas técnicas e notas de lançamento da OpenAI (GPT-3, GPT-4, GPT-4 Turbo), Anthropic (Claude 3) e Google DeepMind (Gemini 1.5), 2020-2024.
- Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the Association for Computational Linguistics.
- Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS.