Imagine um leitor que passou diante de quase toda a biblioteca do mundo. Ele não memorizou os livros; seria absurdo. O que fez foi algo mais sutil e mais inquietante: internalizou o modo como as palavras perseguem umas às outras. Aprendeu que depois de "era uma vez" raramente vem "termostato", que as perguntas costumam terminar em ponto de interrogação, que um parágrafo sobre luto tem uma cadência diferente de um sobre impostos. Não leu para acumular dados. Leu para absorver padrões. Esse leitor, imaginário, estatístico, feito de números, é o mais próximo que temos de um modelo de linguagem grande.
01 · o mecanismoAdivinhar a próxima palavra, um milhão de vezes
Sob toda a sofisticação aparente, um LLM faz uma única coisa, obsessivamente: prever o próximo token. Um token é uma unidade de texto: às vezes uma palavra, às vezes um fragmento como "prev-" ou um sinal de pontuação. Dado um trecho de texto, o modelo calcula, sobre todo o seu vocabulário, qual token tem maior probabilidade de vir a seguir, e depois o próximo, e o próximo, tecendo assim uma resposta.
Soa modesto, quase trivial. Mas há uma grande ideia escondida aí. Para prever bem a palavra que segue "O teorema de Pitágoras relaciona os catetos com a…", o modelo precisa ter capturado, de algum modo, algo parecido com a geometria. Prever bem exige comprimir o mundo. A tarefa é simples; o que é preciso para resolvê-la, não.
A tarefa é humilde (qual palavra vem a seguir?); o que é necessário para cumpri-la acaba se parecendo suspeitosamente com o conhecimento.
02 · o aprendizadoNinguém lhe disse as respostas
O notável é como ele aprende. Não há um exército de humanos rotulando exemplos corretos. O texto rotula a si mesmo: toma-se uma frase, oculta-se a última palavra e pede-se ao modelo que a adivinhe. Se erra, ajustam-se ligeiramente seus números internos para que da próxima vez erre um pouco menos. Isso é a auto-supervisão: a resposta correta já está no texto, basta cobri-la. Repita esse exercício sobre uma porção enorme do que a humanidade escreveu (livros, artigos, código, conversas) trilhões de vezes.
Esses "números internos" que se ajustam são os parâmetros, também chamados de pesos. São, literalmente, os botões de ajuste do sistema: valores que determinam quanto cada sinal influencia o seguinte. Aprender nada mais é que encontrar, entre bilhões desses botões, uma configuração que preveja bem. Os modelos atuais giram, de forma muito aproximada, de alguns bilhões até centenas de bilhões de parâmetros. Não são fatos guardados; são a memória destilada do treinamento, dissolvida em aritmética.
03 · a arquiteturaPrestar atenção, e quase nada mais
Como o modelo decide qual parte do texto importa para prever o que vem a seguir? Aqui entra a peça que mudou tudo. Em 2017, um grupo de pesquisadores publicou um artigo com um título quase arrogante: Attention Is All You Need. Propunham uma arquitetura, o transformer, cujo coração é um mecanismo chamado atenção.1
A atenção permite que, ao processar cada palavra, o modelo pondere todas as demais e decida quais são relevantes. Em "o gato que perseguia o rato estava cansado", para saber quem estava cansado, o modelo "atende" a gato, não a rato. Faz isso para cada palavra, em paralelo, em muitas camadas empilhadas. Cada camada refina o sentido. Essa capacidade de olhar o contexto inteiro de uma vez, em vez de ler em fila indiana, palavra por palavra, foi o que permitiu treinar modelos enormes com eficiência.
A atenção não é uma metáfora poética: é uma operação matemática que decide, para cada palavra, quanto pesa cada outra palavra do contexto.
Quando escalamos esses modelos (mais dados, mais parâmetros, mais processamento) surgem habilidades que ninguém programou explicitamente: traduzir, resumir, raciocinar em etapas, escrever código. Não foram ensinadas uma a uma; emergiram do treinamento em grande escala. É a observação mais desconcertante da área: a quantidade, passado certo limiar, se transforma em algo que parece qualidade.
04 · o limiteO que não é
Convém desmontar dois mal-entendidos, porque deles nascem expectativas equivocadas. O primeiro: um LLM não entende como você. Não tem crenças, intenções nem uma vivência do que diz. Manipula padrões estatísticos com uma destreza assombrosa, e essa destreza às vezes é indistinguível da compreensão, mas o mecanismo é outro. Confundir fluência com consciência é a miragem central desta tecnologia.
O segundo: quando responde, o modelo não consulta um banco de dados nem busca na internet. Tudo o que "sabe" está codificado em seus pesos, comprimido durante o treinamento. Por isso pode errar com aplomo: não está recuperando um fato arquivado, está gerando a continuação mais plausível. Quando o plausível coincide com o verdadeiro, acerta; quando não, alucina com a mesma segurança. O modelo não distingue entre os dois casos, porque para ele são a mesma operação.
Um LLM não busca a verdade. Busca a continuação mais provável. Que muitas vezes coincidam é fortuna nossa, não propósito seu.
E, ainda assim, e aqui volto ao leitor do início, há algo genuinamente novo em tudo isto. Uma máquina que, sem entender, destilou tanto da nossa linguagem que pode nos acompanhar no pensamento. Não é uma mente. É um espelho estatístico de tudo o que escrevemos, polido até começar a falar. Tratá-la como um oráculo é ingênuo; tratá-la como um instrumento afiado, com seus fios e seus limites, é começar a usá-la bem.
Fontes
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., e Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS) 30. A publicação que introduziu a arquitetura transformer e o mecanismo de atenção no qual se baseiam os LLMs atuais.
- Sobre a emergência de capacidades com a escala, veja a literatura de pesquisa sobre scaling e comportamentos emergentes em modelos de linguagem (2020-2022), que documenta como certas habilidades aparecem apenas ao ultrapassar determinados limiares de tamanho e processamento.