Cómo nació ChatGPT: la cadena de ideas que lo hizo posible

El 30 de noviembre de 2022, un equipo de OpenAI publicó, casi de pasada, un chatbot que llamaron "una vista previa de investigación". No esperaban gran cosa. Cinco días después tenía un millón de usuarios; dos meses después, cien millones. Pero la historia de ChatGPT no empieza esa noche. Empieza mucho antes, en una cadena de ideas que fueron encajando una tras otra hasta que, casi por sorpresa, produjeron algo que sabía conversar.

Contar la historia de ChatGPT como un relámpago de 2022 es el error clásico. Lo que se lanzó ese día fue el último eslabón de una década de avances técnicos, cada uno construido sobre el anterior. Este es el recorrido de esa cadena: los hitos que, sumados, hicieron posible que una máquina pareciera entendernos.

01 · la arquitectura2017: la pieza que lo cambió todo

Si hay una fecha que marca el verdadero nacimiento de ChatGPT, es 2017. Ese año, ocho investigadores de Google publicaron un paper con un título que parecía una provocación: Attention Is All You Need. Presentaban una arquitectura nueva para procesar lenguaje, el Transformer [1].

Hasta entonces, las redes que procesaban texto lo leían en orden, palabra por palabra, como quien recorre una fila con una linterna. Eran lentas y se olvidaban del principio de una frase larga para cuando llegaban al final. El Transformer rompió con eso: en lugar de leer en fila, miraba todas las palabras a la vez y calculaba, para cada una, cuánto debía "prestar atención" a las demás. Ese mecanismo, la atención, resolvía dos problemas de golpe: entendía mejor las relaciones a distancia dentro de un texto y, por ser paralelizable, se podía entrenar en máquinas enormes sin ahogarse.

Todo lo que vino después fue posible porque una arquitectura dejó de leer en fila y aprendió a mirar el texto entero.

02 · la escalaDe 2019 a 2020: crecer hasta que aparece algo nuevo

Con el Transformer sobre la mesa, OpenAI hizo una apuesta que en su momento sonaba temeraria: si esta arquitectura funciona, ¿qué pasa si la hacemos gigantesca? La familia GPT (Generative Pre-trained Transformer) fue la respuesta. GPT-2, en 2019, ya escribía párrafos tan coherentes que OpenAI dudó en publicar el modelo completo por miedo a su mal uso. Fue la primera señal de que algo distinto estaba pasando.

En 2020 llegó GPT-3, y con él una sorpresa que reordenó el campo. El modelo tenía 175 mil millones de parámetros, unas cien veces más que su antecesor. A ese tamaño empezó a hacer cosas para las que nadie lo había entrenado explícitamente: traducir, resumir, responder preguntas, escribir código, con solo darle un par de ejemplos en el propio mensaje [2]. El paper que lo describía llevaba un título revelador: Language Models are Few-Shot Learners. Aprender de pocos ejemplos, sin reentrenar, no estaba en el plan: emergió de la escala.

03 · el giro2022: enseñarle modales al modelo

Aquí está la parte que suele faltar en el relato popular. GPT-3 era asombroso y, a la vez, casi inusable para el público. Era un motor de autocompletado descomunal: si le escribías una pregunta, tan pronto podía responderla como continuarla con otra pregunta, porque su único oficio era predecir el texto siguiente, no ayudarte. Poderoso, pero indócil.

El giro decisivo llegó a comienzos de 2022, cuando OpenAI publicó InstructGPT. La idea: tomar el modelo crudo y ajustarlo con juicios humanos para que siguiera instrucciones en vez de solo completar texto. La técnica se llama RLHF, aprendizaje por refuerzo con retroalimentación humana. Personas comparaban respuestas del modelo, señalaban cuáles preferían, y con ese caudal de preferencias se lo reentrenaba hacia lo que la gente elegía [3].

La escala le dio conocimiento; RLHF le dio modales. Sin lo segundo, ChatGPT habría sido una curiosidad de laboratorio.

ChatGPT, lanzado en noviembre de 2022, fue esencialmente esa receta aplicada a un modelo de la familia GPT-3.5 y envuelta en una interfaz de chat gratuita y sencilla. Nada de lo que hacía por dentro era, en rigor, inédito ese día: el Transformer tenía cinco años, la escala tenía dos, el RLHF venía de meses antes. Lo nuevo fue juntarlo todo y ponerlo, sin fricción, en manos de cualquiera.

04 · el cierrePor qué "de la nada" es un mito útil de desarmar

Vale la pena quedarse con la forma de cadena, porque explica el fenómeno mejor que cualquier relato de genialidad súbita. ChatGPT no fue un invento aislado: fue el punto donde tres líneas de investigación (una arquitectura, una apuesta por la escala y una técnica de ajuste) por fin se cruzaron. Cada eslabón dependía del anterior. Sin Transformer no había escala viable; sin escala no había conocimiento; sin RLHF no había conversación.

Entender esa cadena cambia cómo se lee la actualidad. Lo que parece magia repentina suele ser, visto de cerca, años de trabajo acumulado que un día encuentran su envoltorio. La próxima vez que un modelo "salga de la nada", conviene preguntar qué década de papers y apuestas lo estaba esperando. Casi siempre hay una.