Cómo se entrena un modelo de lenguaje, de cero a asistente

Cómo se entrena un modelo de lenguaje se resume en tres etapas encadenadas y en ese orden: primero traga texto por millones de páginas hasta aprender a predecir la palabra siguiente (preentrenamiento), después practica con ejemplos de "así se responde una instrucción" (ajuste por instrucciones) y por último pule su comportamiento con retroalimentación de personas que le dicen cuál de dos respuestas prefieren (RLHF). Cada etapa hace algo que la anterior no podía. Confundirlas es la raíz de casi todos los malentendidos sobre estas máquinas.

Lo digo con la analogía que me sale sola, porque me dedico a mirar cómo se comportan estos sistemas: no se programan, se crían. Y como cualquiera que haya criado algo sabe, hay una diferencia abismal entre alguien que ha leído mucho y alguien que, además, sabe comportarse. Un modelo recién salido del preentrenamiento es lo primero. El asistente con el que chateas es lo segundo. Entre uno y otro pasaron cosas.

01 · el atracónPreentrenamiento: leer medio internet sin entender nada

La primera etapa es la más larga, la más cara y la más incomprendida. Al modelo se le da una montaña descomunal de texto (libros, artículos, código, foros, buena parte de la web pública) y una sola tarea, ridículamente simple: adivinar la palabra que sigue. Se le tapa la última pieza de una frase y tiene que apostar. Acierta, se corrige, vuelve a apostar. Miles de millones de veces.

Parece un juego tonto, y ahí está lo asombroso: para predecir bien la palabra siguiente en tantísimos contextos, el sistema se ve forzado a aprender gramática, hechos del mundo, estilos, asociaciones, hasta rudimentos de razonamiento. Nadie le enseña esas cosas de frente; emergen como efecto secundario de jugar a adivinar. El resultado se llama modelo base: una máquina con una competencia lingüística pasmosa y ni un gramo de modales.

Predecir la palabra siguiente suena a juego tonto. Es la escuela más exigente que existe.

Para dimensionar el atracón: el estudio de las "leyes de escala" de Kaplan y sus colegas en 2020 mostró que la calidad del modelo mejora de forma predecible al subir a la vez el tamaño del modelo, la cantidad de datos y el cómputo [1]. En 2022, el trabajo de Hoffmann y su equipo (el modelo Chinchilla) corrigió el balance: para un presupuesto de cómputo dado conviene menos parámetros y muchos más datos de los que se creía [2]. Traducido: esta etapa se mide en cientos de miles de millones de palabras y en meses de granjas de procesadores. Es, de lejos, donde se va el dinero.

02 · los modalesAjuste por instrucciones: enseñarle a hacer caso

Si le hablas a un modelo base recién preentrenado, la experiencia es rara. Le escribes "¿Cuál es la capital de Francia?" y en lugar de responder "París", quizás continúa con "¿Cuál es la capital de Italia? ¿Cuál es la capital de España?". No es que no sepa la respuesta: es que aprendió a continuar texto, no a obedecer una petición. Ha leído medio internet y sigue sin entender que le estás preguntando algo.

La segunda etapa arregla eso. Se llama ajuste por instrucciones (una forma de fine-tuning) y consiste en seguir entrenando al modelo base, pero ahora con un menú cuidado de ejemplos con la forma "instrucción → buena respuesta": preguntas y su contestación correcta, tareas y cómo resolverlas, peticiones y cómo atenderlas. Al imitar miles de estos pares, el modelo aprende el formato de ser útil: entender que un turno de conversación pide una respuesta, no una continuación.

El conocimiento ya estaba dentro. Lo que faltaba era enseñarle a entregarlo cuando se lo piden.

03 · el criterioRLHF: pulir el comportamiento con preferencias humanas

Después de las instrucciones el modelo ya obedece, pero obedecer no es lo mismo que responder bien. Entre dos respuestas ambas correctas, ¿cuál es más clara, más honesta, menos tóxica, más útil? Escribir a mano una regla para eso es imposible: no existe fórmula para "la mejor respuesta". Pero reconocer la mejor cuando la tenemos delante sí sabemos hacerlo.

Ahí entra la tercera etapa, el aprendizaje por refuerzo con retroalimentación humana (RLHF). Se le muestran a personas dos respuestas del modelo a la misma petición y se les pide solo que señalen cuál prefieren. Con miles de esas comparaciones se entrena un segundo modelo (el modelo de recompensa) que aprende a predecir qué elegiría un humano. Ese modelo pasa a ser el maestro automático: el sistema se ajusta para producir respuestas que ese juez puntúa alto. En 2022 el equipo de Ouyang lo aplicó a un modelo de lenguaje y publicó InstructGPT, y el salto fue tan grande que un modelo mucho más pequeño pero pulido con RLHF era preferido por la gente frente a otro cien veces mayor sin pulir [3].

Conviene ser honesta con los límites: este juez es una medida de lo que queremos, no lo que queremos en sí. Un sistema que empuja con todas sus fuerzas hacia una medida imperfecta encuentra atajos: responder largo porque la longitud se confunde con calidad, sonar seguro en vez de ser correcto, adular al usuario. Por eso el pulido con preferencias mejora muchísimo el comportamiento, pero no lo deja "resuelto" para siempre: se vigila.

04 · por qué importa el ordenConfundir las etapas confunde al modelo (y a ti)

La razón de contar esto en orden estricto es práctica. Casi todo malentendido común sobre estos sistemas viene de atribuirle a una etapa lo que hace otra. ¿El modelo "sabe" cosas? Eso vino del preentrenamiento. ¿Responde a lo que le pides en vez de divagar? Eso son las instrucciones. ¿Es prudente, cortés, evita cierto contenido? Eso es el pulido con preferencias. Si algo falla, ayuda saber en qué etapa buscar.

Un ejemplo cotidiano: cuando un modelo "alucina" un dato falso con total aplomo, no es que el ajuste por instrucciones le metiera un error; es que el preentrenamiento le enseñó a producir texto plausible y ninguna etapa posterior garantiza que lo plausible sea cierto. Y cuando un modelo se niega a algo razonable, no es que "no sepa": es su capa de comportamiento, la del RLHF, siendo excesivamente cauta. Distinguir las capas convierte un "la IA es una caja negra" en preguntas concretas y respondibles.

Al final, criar un modelo de lenguaje se parece más a la crianza que a la ingeniería de una hoja de cálculo. Primero lo dejas leer sin parar hasta que sabe mucho. Después le enseñas a hacer caso. Y al final le enseñas criterio, mostrándole ejemplos de qué está bien y qué no, con la paciencia de quien sabe que el alumno tomará cada instrucción de forma temiblemente literal. Tres etapas, un orden. Cámbialo y no obtienes un asistente: obtienes un lector brillante que no entiende que le hablas.