Por que a IA alucina: inventa dados com total segurança

Pedi a um modelo a referência de um estudo que eu lembrava pela metade. Ele me deu em um segundo: autor com sobrenome crível, revista prestigiosa, ano, número de página. A citação era perfeita. Também era inexistente. Nem o paper, nem o volume, nem aquela página. O modelo não hesitou, não titubeou, não pôs um "acho que". Olhou nos meus olhos, por assim dizer, e me inventou uma fonte com a mesma serenidade com que uma criança te explica para onde foi o gato depois de quebrar o vaso.

A isso chamamos alucinação: quando um sistema de IA produz informação que soa plausível e é, simplesmente, falsa. E a palavra confunde, porque sugere uma avaria, um curto-circuito, algo que deu errado. Não é isso. A alucinação não é uma falha do sistema. É o sistema fazendo exatamente o que sabe fazer, aplicado a um terreno onde não tem em que se apoiar.

01 · o hábitoPor que a IA alucina: prevê, não consulta

Para entender por que a IA alucina é preciso largar uma ideia muito enraizada: a de que o modelo "busca" a resposta em algum arquivo interno, como quem abre uma gaveta. Não há gaveta. Um modelo de linguagem não guarda fatos em fichas organizadas; guarda um enorme senso estatístico de qual palavra tende a seguir quais outras. Diante da sua pergunta, não recupera um dado: prevê a continuação mais provável, palavra por palavra.

É um hábito, não uma consulta. Como o amigo que sempre tem uma anedota pronta para qualquer assunto: ele não está mentindo de propósito, está completando a conversa com o que a experiência lhe diz que "cai bem ali". Quando de fato viveu aquela anedota, acerta. Quando não, constrói com retalhos de outras, e conta com a mesma desenvoltura. O modelo faz justamente isso, em escala industrial e sem o incômodo de corar.

O modelo não busca a verdade. Busca a continuação mais provável. Às vezes coincidem. Às vezes não.

02 · o ponto cegoO modelo não sabe o que ignora

Aqui está o coração da questão, e é mais incômodo do que parece. Um modelo não tem um medidor interno que se acenda quando entra em terreno desconhecido. Não distingue "isto eu sei bem" de "isto estou improvisando". Para sua maquinaria, gerar um dado que memorizou mil vezes e gerar um que nunca viu são a mesma operação: escolher palavras prováveis. A confiança com que responde não mede quanto sabe; mede quão fluida a frase saiu.

Por isso uma alucinação soa tão convincente. Não vem marcada com uma etiqueta de dúvida porque, para o sistema, não houve dúvida. O aprumo não é uma máscara que oculta a ignorância: é que a ignorância, ali dentro, não se sente diferente do conhecimento. É um ponto cego estrutural, não uma má atitude.

Um trabalho muito citado de Ji e colegas revisou centenas de estudos e propôs uma distinção útil [1]. Há a alucinação intrínseca, quando o modelo contradiz a própria fonte que lhe foi dada (você passa um texto e ele resume dizendo o contrário). E há a extrínseca, quando afirma algo que não se pode verificar contra nenhuma fonte: a citação inventada da minha anedota. A segunda é a mais traiçoeira, porque não há nada no texto com que apanhá-la no ato.

03 · o terreno escorregadioQuando é mais provável que invente

Nem toda pergunta carrega o mesmo risco. A alucinação cresce justamente onde o padrão estatístico se afina: dados muito específicos e pouco frequentes (uma data exata, um número, um número de página), temas de nicho com pouca presença no treinamento, fatos posteriores ao corte de conhecimento do modelo, e aquelas perguntas cuja premissa já é falsa: se você pedir que explique um acontecimento que nunca ocorreu, ele explicará de bom grado, porque seu trabalho é continuar, não auditar sua premissa.

Há uma regra de criação que se aplica igualmente aos modelos: o terreno onde mais inventam é aquele onde você mais quer uma resposta e menos dados há para dá-la. As citações acadêmicas são o caso perfeito. Têm uma forma muito regular (sobrenome, ano, título, revista) que o modelo imita à perfeição, e um conteúdo muito específico que quase nunca memorizou. Forma sólida, fundo oco: a receita exata de uma invenção convincente.

04 · a coleiraComo reduzir que o ChatGPT invente dados

A boa notícia, seguindo a analogia da criação, é que a um modelo se pode pôr coleira sem lhe tirar a utilidade. Nada disso elimina a alucinação por completo (convém desconfiar de quem lhe prometa isso), mas baixa muito a frequência e, sobretudo, lhe dá com que apanhá-la.

Dê a fonte, não peça que a lembre. A técnica mais eficaz se chama RAG, geração aumentada por recuperação: em vez de confiar na memória do modelo, o sistema primeiro busca documentos reais e lhe entrega esse material para que responda apoiando-se nele [2]. É a diferença entre perguntar a alguém de memória e lhe dar o livro aberto na página certa. O modelo segue prevendo, mas agora prevê sobre um texto que de fato existe.

Peça que cite e verifique a citação. Quando exigir uma afirmação com fonte, não se contente com que ela "tenha forma de fonte": confira que o link abra e que diga o que o modelo afirma. Uma citação bem formatada não é uma citação verdadeira.

Deixe que duvide em voz alta. Instruir o modelo a responder "não sei" quando não tiver base, e a separar o que sabe do que supõe, reduz o aprumo automático. Não o cura do ponto cego, mas lhe ensina a levantar a mão.

Não peça à IA que lembre o dado. Dê o dado e peça que trabalhe com ele.

No fim, entender por que a IA alucina muda a relação que você tem com ela. Deixa de ser um oráculo que às vezes falha e passa a ser o que de fato é: um preditor assombrosamente fluido, útil de sobra, que não distingue entre o que sabe e o que improvisa. Esse é seu ponto cego. E como com qualquer companheiro brilhante e um tanto fabulador, a regra é simples e velha como o mundo: no que importa, confie, mas verifique.