La máquina que leyó demasiado

Imagina a un lector que ha pasado por delante de casi toda la biblioteca del mundo. No memorizó los libros; sería absurdo. Lo que hizo fue algo más sutil y más inquietante: internalizó la forma en que las palabras se persiguen unas a otras. Aprendió que después de "érase una vez" rara vez viene "termostato", que las preguntas suelen terminar en interrogación, que un párrafo sobre duelo tiene una cadencia distinta a uno sobre impuestos. No leyó para acumular datos. Leyó para absorber patrones. Ese lector, imaginario, estadístico, hecho de números, es lo más cercano que tenemos a un modelo de lenguaje grande.

01 · el mecanismoAdivinar la siguiente palabra, un millón de veces

Bajo toda la sofisticación aparente, un LLM hace una sola cosa, obsesivamente: predecir el siguiente token. Un token es una unidad de texto: a veces una palabra, a veces un fragmento como "predec-" o un signo de puntuación. Dado un trozo de texto, el modelo calcula, sobre su vocabulario entero, qué token es más probable que venga a continuación, y luego el siguiente, y el siguiente, hilando así una respuesta.

Suena modesto, casi trivial. Pero hay una idea grande escondida ahí. Para predecir bien la palabra que sigue a "El teorema de Pitágoras relaciona los catetos con la…", el modelo tiene que haber capturado, de algún modo, algo parecido a la geometría. Predecir bien exige comprimir el mundo. La tarea es simple; lo que se necesita para resolverla, no.

La tarea es humilde (¿qué palabra sigue?); lo que hace falta para cumplirla acaba pareciéndose sospechosamente al conocimiento.

02 · el aprendizajeNadie le dijo las respuestas

Lo notable es cómo aprende. No hay un ejército de humanos etiquetando ejemplos correctos. El texto se etiqueta a sí mismo: se toma una frase, se oculta la última palabra y se le pide al modelo que la adivine. Si falla, se ajustan ligeramente sus números internos para que la próxima vez falle un poco menos. Esto es la auto-supervisión: la respuesta correcta ya está en el texto, solo hay que taparla. Repite este ejercicio sobre una porción enorme de lo escrito por la humanidad (libros, artículos, código, conversaciones) billones de veces.

Esos "números internos" que se ajustan son los parámetros, también llamados pesos. Son, literalmente, los diales del sistema: valores que determinan cuánto influye cada señal sobre la siguiente. Aprender no es más que encontrar, entre miles de millones de esos diales, una configuración que prediga bien. Los modelos actuales rondan, de forma muy aproximada, desde algunos miles de millones hasta cientos de miles de millones de parámetros. No son hechos guardados; son la memoria destilada del entrenamiento, disuelta en aritmética.

03 · la arquitecturaPrestar atención, y casi nada más

¿Cómo decide el modelo qué parte del texto importa para predecir lo que sigue? Aquí entra la pieza que lo cambió todo. En 2017, un grupo de investigadores publicó un artículo con un título casi arrogante: Attention Is All You Need. Proponían una arquitectura, el transformer, cuyo corazón es un mecanismo llamado atención.¹

La atención permite que, al procesar cada palabra, el modelo pondere todas las demás y decida cuáles son relevantes. En "el gato que perseguía al ratón estaba cansado", para saber quién estaba cansado, el modelo "atiende" a gato, no a ratón. Hace esto para cada palabra, en paralelo, en muchas capas apiladas. Cada capa refina el sentido. Esa capacidad de mirar el contexto entero a la vez, en lugar de leer en fila india, palabra por palabra, fue lo que permitió entrenar modelos enormes con eficiencia.

La atención no es una metáfora poética: es una operación matemática que decide, para cada palabra, cuánto pesa cada otra palabra del contexto.

04 · el límiteLo que no es

Conviene desmontar dos malentendidos, porque de ellos nacen expectativas equivocadas. El primero: un LLM no entiende como tú. No tiene creencias, intenciones ni una vivencia de lo que dice. Manipula patrones estadísticos con una destreza asombrosa, y esa destreza a veces es indistinguible de la comprensión, pero el mecanismo es otro. Confundir fluidez con conciencia es el espejismo central de esta tecnología.

El segundo: cuando responde, el modelo no consulta una base de datos ni busca en internet. Todo lo que "sabe" está codificado en sus pesos, comprimido durante el entrenamiento. Por eso puede equivocarse con aplomo: no está recuperando un hecho archivado, está generando la continuación más plausible. Cuando lo plausible coincide con lo verdadero, acierta; cuando no, alucina con la misma seguridad. El modelo no distingue entre ambos casos, porque para él son la misma operación.

Un LLM no busca la verdad. Busca la continuación más probable. Que a menudo coincidan es fortuna nuestra, no propósito suyo.

Y sin embargo, y aquí vuelvo al lector del principio, hay algo genuinamente nuevo en todo esto. Una máquina que, sin entender, ha destilado tanto de nuestro lenguaje que puede acompañarnos en el pensamiento. No es una mente. Es un espejo estadístico de todo lo que hemos escrito, pulido hasta que empieza a hablar. Tratarla como un oráculo es ingenuo; tratarla como un instrumento afilado, con sus filos y sus límites, es empezar a usarla bien.