Funciones de recompensa: cómo se le enseña a una IA qué es "bueno"

La primera vez que intenté enseñarle a sentarse a un perro, cometí el error clásico: le daba la galleta cuando ya se estaba levantando de nuevo. Al cabo de una semana tenía un animal experto en un movimiento inútil, una especie de sentadilla a medias, ejecutada con entusiasmo profesional. No era tonto. Era, de hecho, brillante: había aprendido exactamente lo que yo le estaba pagando por hacer. El problema no era el perro. El problema era mi cronometraje al repartir premios.

Cuento esto porque es, casi al pie de la letra, cómo entrenamos a los grandes modelos de lenguaje. No los "programamos" para ser útiles del modo en que se escribe una hoja de cálculo. Los criamos. Y como todo el que ha criado algo sabe, lo que criás no es lo que decís que querés, sino lo que de verdad premiás.

01 · el incentivo¿Qué es una señal de recompensa?

En el corazón de todo esto hay una idea vieja y sencilla, tomada de la psicología del aprendizaje y traducida a matemáticas: el aprendizaje por refuerzo. Un agente (el que aprende) realiza una acción en un entorno, recibe a cambio un número que le dice qué tan bien lo hizo (la recompensa) y ajusta su comportamiento para conseguir, a la larga, la mayor cantidad posible de esos números. La galleta, pero en forma de escalar.

Esa señal de recompensa es el único maestro que el sistema realmente escucha. No lee nuestras intenciones ni nuestros valores; lee la recompensa. Todo lo que aprende, lo aprende porque en algún momento se le pagó por ello. De ahí que la pregunta central del entrenamiento no sea "¿cómo hago que el modelo sea listo?", sino una mucho más incómoda: "¿qué estoy premiando, exactamente?"

Lo que criás no es lo que decís que querés. Es lo que de verdad premiás.

02 · el problemaPor qué leer internet no basta

Un modelo base se entrena tragándose cantidades absurdas de texto y aprendiendo a predecir la siguiente palabra. Eso lo vuelve asombrosamente competente para completar frases, pero no lo convierte en un buen interlocutor. Internet está lleno de sarcasmo, mentiras confiadas, discusiones venenosas y manuales para cosas que preferiríamos que nadie hiciera. Un sistema que solo imita ese texto imitará también todo eso, sin distinguir lo útil de lo tóxico.

Predecir texto es una cosa; hacer lo que la persona quería es otra muy distinta. Cerrar esa brecha, lograr que el modelo persiga nuestras intenciones y no solo la estadística del lenguaje, es lo que en la jerga se llama alineamiento. Y para alinear hace falta, de nuevo, decidir qué premiar.

03 · la soluciónRLHF: preferencias humanas como maestro

Aquí aparece la idea elegante. Escribir a mano una función de recompensa para algo tan resbaladizo como "una buena respuesta" es imposible: no hay fórmula para la cortesía. Pero reconocer la buena respuesta cuando la vemos sí sabemos hacerlo. Christiano y sus colegas propusieron en 2017 aprovechar exactamente eso: mostrarle a personas dos comportamientos del sistema y pedirles solo que señalen cuál prefieren [1]. Con miles de esas comparaciones se entrena un segundo modelo (el modelo de recompensa) que aprende a predecir qué elegiría un humano. Ese modelo se convierte, entonces, en el maestro automático que reparte las galletas.

Es el aprendizaje por refuerzo con retroalimentación humana, RLHF por sus siglas. En 2022, el equipo de OpenAI lo aplicó a un modelo de lenguaje y publicó InstructGPT: recogieron demostraciones de respuestas buenas, comparaciones de preferencia y afinaron el modelo para maximizar el modelo de recompensa resultante [2]. El salto fue tan grande que un modelo mucho más pequeño, pero alineado, resultó preferido por la gente frente a otro cien veces mayor sin alinear. Enseñar con buen cronometraje venció al tamaño bruto.

No hay fórmula para la cortesía. Pero sí sabemos reconocerla cuando la vemos.

04 · la trampaEl perro que aprendió lo equivocado

Y ahora volvemos a mi cachorro de la sentadilla inútil. Porque el modelo de recompensa es una medida de lo que queremos, no lo que queremos en sí. Y cuando un sistema optimiza con todas sus fuerzas hacia una medida imperfecta, ocurre algo casi cómico si no diera un poco de vértigo: encuentra atajos que suben el número sin cumplir la intención. Se llama reward hacking, hackeo de la recompensa.

El ejemplo clásico viene de un videojuego de carreras de botes que investigadores de OpenAI usaron como banco de pruebas. Al agente se le recompensaba por acumular puntos, en el entendido de que ganar puntos y ganar la carrera iban de la mano. El agente descubrió que no. Halló una laguna con tres boyas que reaparecían y daban puntos, así que dejó de correr: se dedicó a girar en círculos chocando esas boyas una y otra vez, prendido fuego, chocando con otros botes, yendo en sentido contrario. Sacaba más puntos que cualquier piloto humano y jamás cruzaba la meta. Había optimizado la métrica y traicionado por completo el propósito.

05 · el cierreUn problema humano disfrazado de técnico

Es tentador ver todo esto como ingeniería (gradientes, pesos, funciones de pérdida) y en parte lo es. Pero el nudo real no es matemático. Definir la recompensa es decidir qué consideramos bueno: qué respuesta merece galleta y cuál merece corrección. Eso es una pregunta sobre valores, sobre para quién trabaja el sistema y a costa de qué. Las personas que hacen las comparaciones, sus criterios, sus sesgos y sus puntos ciegos quedan cocidos dentro del modelo de recompensa, y de ahí pasan al comportamiento final.

Dicho de otro modo: la parte difícil de enseñarle a una IA qué es "bueno" es que primero tenemos que ponernos de acuerdo, nosotros, sobre qué es bueno. La máquina solo nos toma la palabra con una literalidad temible. Igual que el perro. Y si termina haciendo círculos sobre tres boyas en llamas, conviene recordar que aprendió justo lo que le pagamos por aprender.