Cómo funciona por dentro · Lectura de 8 min

Por qué la IA alucina: inventa datos con total seguridad

Te da una cita, un autor, una fecha. Todo falso, todo con aplomo. No miente: predice. Y a veces la predicción es un invento.

Le pedí a un modelo la referencia de un estudio que yo recordaba a medias. Me la dio en un segundo: autor con apellido creíble, revista prestigiosa, año, número de página. La cita era perfecta. También era inexistente. Ni el paper, ni el volumen, ni esa página. El modelo no dudó, no titubeó, no puso un "creo que". Me miró a los ojos, por así decirlo, y me inventó una fuente con la misma serenidad con la que un niño te explica dónde fue el gato después de romper el jarrón.

A eso lo llamamos alucinación: cuando un sistema de IA produce información que suena plausible y es, sencillamente, falsa. Y la palabra confunde, porque sugiere una avería, un cortocircuito, algo que salió mal. No es eso. La alucinación no es un fallo del sistema. Es el sistema haciendo exactamente lo que sabe hacer, aplicado a un terreno donde no tiene con qué sostenerse.

01 · el hábitoPor qué la IA alucina: predice, no consulta

Para entender por qué la IA alucina hay que soltar una idea muy arraigada: que el modelo "busca" la respuesta en algún archivo interno, como quien abre un cajón. No hay cajón. Un modelo de lenguaje no guarda hechos en fichas ordenadas; guarda un enorme sentido estadístico de qué palabra tiende a seguir a cuáles otras. Ante tu pregunta, no recupera un dato: predice la continuación más probable, palabra por palabra.

Es un hábito, no una consulta. Como el amigo que siempre tiene una anécdota lista para cualquier tema: no está mintiendo a propósito, está completando la conversación con lo que su experiencia le dice que "va bien ahí". Cuando de verdad vivió esa anécdota, acierta. Cuando no, la construye con retazos de otras, y la cuenta con la misma soltura. El modelo hace justo eso, a escala industrial y sin la molestia de sonrojarse.

El modelo no busca la verdad. Busca la continuación más probable. A veces coinciden. A veces no.

Figura 1 · dos preguntas, la misma maquinaria
Pregunta con patrón fuerte en los datos "¿Capital de Francia?" París correcto Pregunta con patrón débil o inexistente "Cita un paper de 2019 sobre X" Autor · Revista · pág. 42 inventado
La maquinaria es idéntica en los dos casos: predecir la continuación más probable. Cuando el patrón está bien representado en el entrenamiento, la predicción coincide con el hecho. Cuando el patrón es débil, la misma predicción produce algo con la forma de una respuesta correcta y ninguno de sus contenidos.

02 · el punto ciegoEl modelo no sabe lo que ignora

Aquí está el corazón del asunto, y es más incómodo de lo que parece. Un modelo no tiene un medidor interno que se encienda cuando entra en terreno desconocido. No distingue "esto lo sé bien" de "esto lo estoy improvisando". Para su maquinaria, generar un dato que memorizó mil veces y generar uno que nunca vio son la misma operación: elegir palabras probables. La confianza con la que responde no mide cuánto sabe; mide cuán fluida le salió la frase.

Por eso una alucinación suena tan convincente. No viene marcada con una etiqueta de duda porque, para el sistema, no hubo duda. El aplomo no es una máscara que oculta la ignorancia: es que la ignorancia, ahí dentro, no se siente distinta del conocimiento. Es un punto ciego estructural, no una mala actitud.

Un trabajo muy citado de Ji y colegas revisó cientos de estudios y propuso una distinción útil [1]. Está la alucinación intrínseca, cuando el modelo contradice la propia fuente que se le dio (le pasas un texto y lo resume diciendo lo contrario). Y está la extrínseca, cuando afirma algo que no se puede verificar contra ninguna fuente: la cita inventada de mi anécdota. La segunda es la más traicionera, porque no hay nada en el texto con qué atraparla en el acto.

Por qué "alucinación" es media palabra prestada

El término viene de la psiquiatría y sugiere una percepción falsa. Varios investigadores prefieren llamarlo confabulación o directamente error factual, porque el modelo no "percibe" nada: rellena huecos con material plausible, igual que una persona con ciertas lesiones de memoria completa lo que no recuerda sin darse cuenta de que lo hace. La etiqueta importa poco; el mecanismo, mucho.

03 · el terreno resbaladizoCuándo es más probable que invente

No todas las preguntas tienen el mismo riesgo. La alucinación crece justo donde el patrón estadístico se adelgaza: datos muy específicos y poco frecuentes (una fecha exacta, una cifra, un número de página), temas de nicho con poca presencia en el entrenamiento, hechos posteriores al corte de conocimiento del modelo, y esas preguntas cuya premisa ya es falsa: si le pides que te explique un suceso que nunca ocurrió, te lo explicará encantado, porque su trabajo es continuar, no auditar tu premisa.

Hay una regla de crianza que aplica igual a los modelos: el terreno donde más inventan es aquel donde más quieres una respuesta y menos datos hay para darla. Las citas académicas son el caso perfecto. Tienen una forma muy regular (apellido, año, título, revista) que el modelo imita a la perfección, y un contenido muy específico que casi nunca memorizó. Forma sólida, fondo hueco: la receta exacta de una invención convincente.

Figura 2 · dónde sube el riesgo de invención
Situaciones ordenadas por riesgo de alucinación, con la señal que las delata y una defensa práctica.
SituaciónRiesgoCómo defenderte
Cita, DOI o número de página exactosMuy altoVerifica la fuente antes de usarla
Hecho posterior al corte del modeloAltoDale la fuente o usa recuperación (RAG)
Tema de nicho, poco documentadoAltoPide que marque su nivel de certeza
Pregunta con premisa falsaAltoRevisa tú la premisa antes de preguntar
Conocimiento general y frecuenteBajoAun así, contrasta lo que importe
Fuente: elaboración propia a partir de la taxonomía de alucinación de Ji et al. (2023) [1] y de la documentación de OpenAI sobre límites de los modelos [3]. El patrón se repite: a más especificidad y menos frecuencia en los datos, mayor probabilidad de invención.

04 · la correaCómo reducir que ChatGPT invente datos

La buena noticia, siguiendo la analogía de la crianza, es que a un modelo se le puede poner correa sin quitarle utilidad. Nada de esto elimina la alucinación por completo (conviene desconfiar de quien te prometa eso), pero sí baja mucho la frecuencia y, sobre todo, te da con qué atraparla.

Dale la fuente, no le pidas que la recuerde. La técnica más eficaz se llama RAG, generación aumentada por recuperación: en lugar de confiar en la memoria del modelo, el sistema primero busca documentos reales y le entrega ese material para que responda apoyándose en él [2]. Es la diferencia entre preguntarle a alguien de memoria y darle el libro abierto en la página correcta. El modelo sigue prediciendo, pero ahora predice sobre un texto que sí existe.

Pide que cite y verifica la cita. Cuando exijas una afirmación con fuente, no te quedes en que "tenga forma de fuente": comprueba que el enlace abra y que diga lo que el modelo afirma. Una cita bien formateada no es una cita verdadera.

Deja que dude en voz alta. Instruir al modelo para que responda "no lo sé" cuando no tenga base, y para que separe lo que sabe de lo que supone, reduce el aplomo automático. No lo cura del punto ciego, pero le enseña a levantar la mano.

No le pidas a la IA que recuerde el dato. Dale el dato y pídele que trabaje con él.

Al final, entender por qué la IA alucina cambia la relación que tienes con ella. Deja de ser un oráculo que a veces falla y pasa a ser lo que de verdad es: un predictor asombrosamente fluido, útil de sobra, que no distingue entre lo que sabe y lo que improvisa. Ese es su punto ciego. Y como con cualquier compañero brillante y un poco fabulador, la regla es simple y vieja como el mundo: en lo que importa, confía, pero verifica.

Fuentes

  1. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 55(12), art. 248. DOI: 10.1145/3571730. Disponible en arXiv:2202.03629.
  2. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS) 33. arXiv:2005.11401.
  3. OpenAI. Models | Limitations. Documentación oficial sobre los límites de conocimiento y la posibilidad de respuestas incorrectas de los modelos. platform.openai.com/docs.

Aprende más sobre IA

Ver todo Aprende IA