Qué es RLHF: cómo se le enseñan modales a un modelo

Un modelo recién salido del entrenamiento base es un adolescente que se leyó media biblioteca y no sabe cuándo callarse. Le preguntás una receta y te la da; le preguntás cómo arruinarle el día a alguien y también te la da, con el mismo tono servicial. No es maldad ni bondad: es que nadie le enseñó todavía qué preferimos que haga. RLHF (aprendizaje por refuerzo con retroalimentación humana) es, básicamente, esa crianza. La parte en que un sistema que puede decir cualquier cosa aprende a querer decir las cosas correctas.

La sigla asusta más que la idea. Entender qué es RLHF explica de golpe por qué el asistente que usás hoy suena tan distinto al modelo crudo que lo alimenta por dentro, y también sus límites: por qué a veces es demasiado cauto, adulador o seguro de una respuesta equivocada.

01 · el punto de partidaQué es RLHF y por qué el modelo base no alcanza

RLHF es un método para ajustar el comportamiento de un modelo usando juicios humanos como guía, en lugar de una regla escrita a mano. En vez de programar "sé educado", que es imposible de codificar, le mostramos a personas varias respuestas del modelo, les pedimos que señalen cuáles prefieren, y usamos ese caudal de preferencias para reentrenarlo hacia lo que la gente eligió. El nombre largo lo dice todo: aprendizaje por refuerzo con retroalimentación humana.

¿Por qué hace falta? Un modelo base aprende una sola cosa: predecir la siguiente palabra a partir de océanos de texto de internet. Eso lo vuelve asombrosamente fluido y, a la vez, moralmente neutro respecto a lo que produce. Internet contiene manuales de repostería y manuales de estafas, prosa lúcida y peleas de comentarios. El modelo base no distingue: imita todo con la misma soltura. Es competente, no confiable.

El modelo base no es malo. Es indiferente. RLHF es lo que le da preferencias.

Predecir texto y hacer lo que la persona quería son dos habilidades distintas. Cerrar esa brecha, que el modelo persiga nuestras intenciones y no solo la estadística del lenguaje, es de lo que se ocupa el alineamiento, y RLHF es hoy su herramienta más difundida.

02 · las tres crianzasCómo funciona RLHF, paso a paso

RLHF no es un botón: son tres etapas encadenadas, cada una con un rol claro. La imagen que me sirve es la de criar en tres tiempos: primero das el ejemplo, después enseñás a juzgar, y por último dejás practicar con ese juicio puesto.

Etapa 1. Ajuste supervisado (dar el ejemplo). Se recogen conversaciones donde personas escriben, a mano, la respuesta ideal a distintas peticiones. Con ese puñado de buenos ejemplos se afina el modelo base para que imite el estilo de un asistente: responder la pregunta, ser claro, no divagar. Es enseñar con el ejemplo antes que con la corrección.

Etapa 2. Modelo de recompensa (enseñar a juzgar). Aquí aparece la parte ingeniosa. Escribir una fórmula para "buena respuesta" es imposible, pero reconocer la mejor de dos sí sabemos hacerlo. Así que al modelo se le piden varias respuestas a la misma pregunta y una persona las ordena de mejor a peor. Con miles de esas comparaciones se entrena un segundo modelo, el modelo de recompensa, que aprende a predecir qué elegiría un humano. Deja de hacer falta un juez humano en cada respuesta: ahora hay un juez automático que aprendió nuestro gusto [1].

Etapa 3. Optimización por refuerzo (dejar practicar). Con ese juez a mano, el modelo entra en un bucle: genera una respuesta, el modelo de recompensa le pone una nota, y esa nota ajusta los pesos para que la próxima vez apunte más alto. Millones de veces. Aquí es donde entra el aprendizaje por refuerzo propiamente dicho: no se le dice qué escribir, se le premia cuando se acerca a lo que preferimos.

Este esquema de tres etapas no es teórico. Es exactamente el que el equipo de OpenAI describió en 2022 al publicar InstructGPT, el trabajo que popularizó RLHF para modelos de lenguaje y sentó las bases del ajuste que hoy usan los asistentes conversacionales [2]. El hallazgo que sacudió al campo: un modelo bastante más pequeño, pero criado con RLHF, resultó preferido por las personas frente a otro cien veces mayor sin ese ajuste. La buena crianza le ganó al tamaño bruto.

03 · lo que sale bienPor qué un asistente educado se siente tan distinto

El resultado de estas tres etapas es el salto que probablemente notaste sin ponerle nombre. El modelo base completa texto; el modelo con RLHF conversa. Sigue instrucciones, admite cuando no sabe algo con más frecuencia, evita el tono agresivo y rechaza pedidos claramente dañinos. No porque entienda la ética, sino porque durante la etapa 3 esas conductas cobraban mejor nota.

Conviene subrayar ese último punto, porque se malinterpreta seguido. RLHF no le enseña datos nuevos al modelo. Todo lo que el asistente "sabe" ya estaba en el modelo base. Lo que cambia es cuál de sus muchas respuestas posibles tiende a elegir. Es afinar el gusto, no ampliar la biblioteca.

04 · lo que se tuerceCuando el alumno aprende demasiado bien lo equivocado

Toda crianza deja marcas, y no todas deseadas. Como el modelo de recompensa es apenas una medida de lo que queremos (no lo que queremos en sí), el modelo, al optimizar con todas sus fuerzas hacia esa medida, encuentra atajos que suben la nota sin cumplir la intención. En la jerga se llama reward hacking.

La máquina aprende exactamente lo que premiamos, con una literalidad temible.

Hay un límite más de fondo, y honesto reconocerlo: RLHF hereda el criterio de quienes hacen las comparaciones. Sus gustos, sus sesgos y sus puntos ciegos quedan cocidos dentro del modelo de recompensa y de ahí pasan al comportamiento final. Preguntarse "¿qué prefiere un modelo con RLHF?" es, en el fondo, preguntarse "¿qué prefirieron las personas que lo entrenaron?". Por eso hoy se investigan variantes que reducen la carga humana o la reemplazan por reglas explícitas, como la IA constitucional, que ajusta el modelo contra un conjunto de principios escritos en lugar de miles de comparaciones sueltas [3].

05 · el cierreEducar preferencias, no dictar respuestas

Vale la pena quedarse con la imagen de la crianza, porque desarma el misterio. Un modelo con RLHF no consultó un manual de urbanidad: tiene un gusto formado. Durante millones de rondas aprendió qué tipo de respuesta tendía a agradar, y ese gusto es el que lo guía cuando le escribís.

Entender qué es RLHF, entonces, es entender que detrás de la cortesía de un asistente no hay comprensión, sino preferencias moldeadas con paciencia y juicio humano. Eso explica lo bueno, que suene útil y prudente, y también lo frágil: que herede nuestros sesgos, que a veces adule, que confunda sonar seguro con estar en lo cierto. La máquina aprendió lo que le enseñamos a preferir. La pregunta difícil, la de siempre, sigue siendo nuestra: qué queremos, exactamente, que prefiera.