Quando as pessoas dizem "tem que dar contexto para a IA", falam como se fosse uma coisa só. Não é. Gerenciar o contexto é uma escada de seis degraus, e cada um resolve um problema diferente: desde colar um arquivo no chat até treinar um modelo dedicado. Subir um degrau a mais custa dinheiro e complexidade. Ficar aquém faz o seu assistente improvisar. Aqui eu mostro a escada completa, para que você saiba exatamente em qual degrau parar.
A resposta curta, para quem tem pressa: a maioria das pessoas e equipes vive feliz entre o nível 1 e o 4. Você só chega a bancos vetoriais ou a modelos dedicados quando o volume de informação deixa de caber na cabeça do modelo. E quase nunca vale a pena começar pelo topo.
01 · o degrauOs seis níveis, num relance
Antes de descer ao detalhe, guarde a escada inteira. Cada degrau não substitui o anterior: ele o abraça. Um bom sistema de nível 5 continua usando prompts (nível 1) por baixo.
02 · o chãoNível 1: um prompt, um arquivo
O ponto de partida é colar informação diretamente na conversa: um prompt longo, ou um arquivo anexado. Aqui há uma regra que quase ninguém te conta: o formato importa. Um arquivo de texto simples ou Markdown (.md) é o ideal, porque o modelo o lê como está, limpo. Um PDF, um Word ou uma foto acrescentam ruído: é preciso extrair o texto, e no caminho aparecem erros de reconhecimento óptico (OCR), colunas mal ordenadas, tabelas quebradas. Você está alimentando o modelo com terra ainda grudada.
O outro limite do nível 1 aparece quando a conversa cresce. Muita gente acredita que "o modelo esquece" ou "se cansa". Não é isso. O modelo não perde seus pesos base, aquela gigantesca rede de conhecimento com a qual foi treinado segue intacta. O que se degrada são as instruções que você colocou no contexto: à medida que a conversa se alonga, essas indicações se diluem entre milhares de palavras novas.
O modelo não esquece o que sabe. O que se dilui é o que você acabou de dizer.
Há inclusive um fenômeno com nome próprio: lost in the middle ("perdido no meio"). Os modelos prestam mais atenção ao que está no começo e no fim do contexto, e menos ao que ficou no centro [1]. Assim, um dado-chave enterrado no meio de um documento longo pode passar despercebido, mesmo que tecnicamente esteja "dentro" da janela.
Se algo é crítico, coloque no começo ou no fim da sua mensagem, não no meio de um bloco enorme. E quando puder, entregue a fonte em Markdown limpo em vez de um PDF escaneado. Você poupa o modelo de um trabalho de decifração em que se cometem erros.
03 · o projetoNíveis 2 e 3: chats que nascem treinados e agentes que se instanciam
O nível 2 aparece quando você passa de um chat solto para um projeto. Ferramentas como Claude Projects ou os projetos do ChatGPT deixam você carregar vários arquivos e umas instruções fixas, de modo que cada chat novo nasce já treinado com esse material. Você não precisa colar o contexto de novo a cada vez: ele vive no projeto e acompanha todas as conversas que você abrir dentro dele.
O nível 3 eleva a aposta: são IAs que já não apenas conversam, mas que programam e instanciam outras. Surgem os agentes (um assistente com uma missão e ferramentas), os subagentes (agentes que outro agente lança para tarefas concretas) e as skills (pacotes de instruções e capacidades reutilizáveis). Aqui o contexto deixa de ser um arquivo colado e passa a ser uma arquitetura: quem sabe o quê, quem delega a quem. E, atenção, tudo isso continua sendo feito com Markdown: os arquivos .md são a linguagem comum com que se descrevem agentes e skills.
04 · a bagunçaNível 4: quando 20 arquivos enchem a sua janela
Chega um momento incômodo. Você tem, digamos, vinte arquivos sem uma estrutura clara, e juntos eles enchem a janela de contexto. O modelo se afoga: informação demais competindo por sua atenção, e de novo o problema do "perdido no meio". Enfiar tudo de uma vez deixa de funcionar.
A solução do nível 4 não é mais memória, é melhor organização. Três peças-chave:
Skills e baús. Em vez de carregar tudo sempre, você agrupa o conhecimento em módulos que se ativam quando fazem falta. O baú é o depósito; a skill é a instrução que sabe quando abri-lo.
Cabeçalhos-resumo por arquivo. Em cada documento você coloca no topo um resumo curto do que ele contém. Assim o modelo pode ler só os cabeçalhos, decidir quais arquivos lhe servem, e abrir a fundo apenas esses. É o que se chama de divulgação progressiva (progressive disclosure): mostrar primeiro o mínimo, e aprofundar só sob demanda.
Não se trata de o modelo ler mais. Trata-se de ele ler o suficiente, na ordem certa.
05 · a memória externaNível 5: bancos vetoriais, sem mágica e sem SQL
Quando a informação é tanta que nem sequer cabe em índices e resumos, ela é retirada do contexto e guardada fora, num banco vetorial. Este é o coração do que chamam de RAG (geração aumentada por recuperação). Vamos por partes, porque aqui abundam as explicações confusas.
Primeiro se faz o chunking: partir os documentos em pedaços gerenciáveis (parágrafos, seções). Depois, para cada pedaço se calcula um embedding: uma lista de números que representa seu significado. Textos que dizem coisas parecidas têm embeddings próximos nesse espaço numérico, mesmo que usem palavras diferentes.
Quando você faz uma pergunta, sua pergunta também é convertida em um embedding, e o sistema busca os pedaços cujos vetores mais se parecem com ele. Essa comparação é feita por similaridade: tipicamente a do cosseno (o ângulo entre dois vetores) ou uma busca de vizinhos mais próximos. Vamos esclarecer um mal-entendido comum: isto não é "SQL mais equações" no sentido literal de um banco de dados tradicional. É uma busca por semelhança semântica, não por coincidência exata de campos.
Um detalhe técnico útil: esses vetores nem sempre são guardados crus. Eles são comprimidos, com técnicas de quantização (guardar os números com menos precisão) ou de redução de dimensão (usar menos números por vetor). Perde-se um tiquinho de fidelidade em troca de a busca ser muito mais rápida e barata em grande escala.
Um banco vetorial é uma memória externa que recupera por significado. Em vez de entregar ao modelo todos os documentos, você lhe dá só os três ou quatro pedaços que mais se parecem com a pergunta. A janela se mantém leve e a resposta se apoia em fontes reais.
06 · o modelo próprioNível 6: fine-tuning, e por que quase nunca é a primeira opção
O último degrau é o fine-tuning: continuar treinando um modelo com seus próprios dados para obter um dedicado. Soa como a solução definitiva, mas convém um detalhe que economiza muito dinheiro: o fine-tuning ajusta o comportamento mais do que injeta conhecimento. Serve para fixar um tom, um formato, um estilo de resposta ou uma tarefa muito específica. Não é o melhor caminho para "enfiar" dados frescos ou mutáveis, porque cada vez que a informação muda seria preciso retreinar.
Para conhecimento que muda, primeiro RAG. O fine-tuning é para moldar como responde, não o que sabe.
Por isso a recomendação prática, quase um mantra na indústria, é RAG antes de fine-tune: se o seu problema é que o modelo precisa de dados que não tinha, um banco vetorial (nível 5) costuma resolver melhor, mais barato e sem retreinar. O fine-tuning entra quando o que falha é o comportamento, não o conhecimento.
07 · o tetoA fronteira: aumentar a janela rende cada vez menos
E por que não simplesmente fazer janelas de contexto gigantes e enfiar tudo dentro? Porque é aí que está a fronteira real do campo, e não é de graça. Otimizar um sistema de IA é um equilíbrio entre três coisas: o serving (servir as respostas rápido e a muitos usuários), o tamanho da janela e o poder de cálculo disponível. Os três puxam em direções opostas.
E aumentar a janela tem rendimentos decrescentes. Dobrar o contexto não dobra a qualidade: o custo de cálculo cresce rápido, e reaparecem os velhos problemas (o perdido no meio, a diluição de instruções). Por isso a resposta a "preciso de mais contexto" quase nunca é "uma janela maior", e sim "um melhor gerenciamento do contexto": a escada que acabamos de percorrer.
08 · a práticaOnde a Qirava se encaixa na escada
Tudo isso não é teoria de laboratório: é exatamente o problema que enfrenta qualquer um que queira que sua IA lembre do seu trabalho. A Qirava foi pensada para acompanhar essa escada de forma ordenada, sem saltos bruscos. Começa onde você começa, com o baú (nível 4): um lugar onde seu conhecimento vive organizado, com cabeçalhos-resumo para que a IA leia o suficiente. À medida que esse conhecimento cresce, o caminho natural é somar resumos mais finos e, quando o volume pede, dar o passo para a recuperação vetorial (nível 5).
Ela não te promete um modelo dedicado nem mágica de nível 6 desde o primeiro dia, porque quase ninguém precisa disso ao começar e prometer isso seria te vender fumaça. Ela te promete algo mais útil: subir a escada um degrau de cada vez, quando realmente faz falta, sem pagar a mais por complexidade que você não vai usar. Essa é, no fim, a única forma saudável de dar contexto a uma IA.
Fontes
- Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F. & Liang, P. (2024). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the Association for Computational Linguistics (TACL), vol. 12, pp. 157-173. ACL Anthology: aclanthology.org/2024.tacl-1.9.
- Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS) 33, pp. 9459-9474. (Origem da abordagem RAG.)
- Anthropic (2024). Introducing Contextual Retrieval. anthropic.com/news/contextual-retrieval. (Chunking, embeddings e recuperação na prática.)
- Ouyang, L., Wu, J., Jiang, X. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS 35. (O fine-tuning ajusta comportamento mais que conhecimento.)