Un parámetro de un modelo de IA es una perilla. Un número que el modelo puede girar hacia arriba o hacia abajo para cambiar, un poquito, la respuesta que produce. Cuando alguien dice que un modelo tiene "70 mil millones de parámetros", está diciendo que tiene setenta mil millones de perillas, y que durante el entrenamiento cada una encontró la posición en la que, en conjunto, el modelo se equivocaba lo menos posible. No hay reglas escritas a mano ahí dentro. Hay perillas ajustadas.
La palabra suena técnica, pero la idea es geométrica y sencilla: un parámetro es una coordenada. Muévela y la superficie que el modelo dibuja sobre los datos se inclina un poco distinto. Con dos o tres perillas dibujas una recta o una curva torpe. Con miles de millones, dibujas algo capaz de separar "esta frase suena a español del siglo XVII" de "esta suena a manual de instalación". Todo lo que sigue es entender de dónde salen esas perillas, cuántas hacen falta y por qué más no siempre es mejor.
01 · la perillaUn parámetro es un número que el modelo ajustó, no que le programaron
Vale la pena separar dos cosas que suelen confundirse. Una es el peso: el número que multiplica cada señal que entra a una neurona. Otra es el sesgo: un pequeño valor que se le suma al final para correr el resultado. Pesos y sesgos, juntos, son los parámetros. Son lo que el modelo aprende. Y aprender, aquí, significa exactamente una cosa: girar cada perilla en la dirección que reduce el error.
Conviene no confundirlos con los hiperparámetros, que son las decisiones que toma la persona antes de entrenar (cuántas capas, qué tan grande cada una, a qué velocidad ajustar). Los hiperparámetros son el diseño de la caja; los parámetros son las perillas que la caja gira sola. Nadie escribe a mano el valor 0,0374 de la perilla número cuarenta millones. Ese número apareció porque, dato tras dato, el entrenamiento lo empujó hasta ahí.
Nadie programa el valor de una perilla. El modelo la gira sola, dato tras dato, hasta que el error deja de bajar.
02 · el ajusteDe dónde salen: el entrenamiento gira las perillas
Al principio, las perillas arrancan en posiciones casi aleatorias. El modelo, con ellas, produce disparates. Entonces empieza el ciclo: se le muestra un dato, compara su respuesta con la correcta, mide cuánto se equivocó, y ajusta cada perilla un poquito en la dirección que habría reducido ese error. Esa dirección se calcula con una técnica llamada retropropagación, que reparte la culpa del error entre todas las perillas responsables. Luego otro dato, otro ajuste. Millones de veces.
Ese método de repartir el error y girar cada perilla lo popularizaron Rumelhart, Hinton y Williams en un artículo de 1986 que hoy se considera fundacional [1]. La idea es vieja; lo nuevo es la escala. Cuando tienes miles de millones de perillas y billones de palabras de entrenamiento, ese mismo ciclo humilde (predecir, medir el error, ajustar) produce un modelo capaz de escribir, traducir y razonar de forma que sorprende incluso a quienes lo construyen.
Aquí aparece una pregunta natural: si más perillas dan más capacidad, ¿por qué no ponemos siempre las máximas posibles? Porque cada perilla es también una oportunidad de equivocarse. Un modelo con demasiados parámetros para muy pocos datos empieza a memorizar en lugar de aprender: se sabe los ejemplos de memoria pero falla ante lo nuevo. A ese vicio se le llama sobreajuste, y es el recordatorio de que el número grande no es la meta, sino el equilibrio.
Un error común es pensar que "70 mil millones de parámetros" significa que el modelo guardó 70 mil millones de textos. No. Los parámetros son las perillas del modelo terminado; los datos son las palabras que se usaron para ajustarlas, y suelen ser muchísimos más. Una guía de referencia sugiere que, para entrenar bien, conviene alimentar el modelo con del orden de veinte palabras por cada parámetro [2].
03 · la escalaMiles de millones: qué significa el número que anuncian
Cuando una empresa anuncia el tamaño de un modelo, casi siempre habla del conteo de parámetros. Es su forma de decir "cuántas perillas tiene esta cosa". El salto de escala de la última década es real: se pasó de modelos con millones de parámetros a modelos con cientos de miles de millones. Y el hallazgo que empujó esa carrera tiene nombre: las leyes de escala, que observaron que el rendimiento mejora de forma predecible al aumentar, a la vez, parámetros, datos y cómputo [3].
| Modelo (año) | Parámetros (aprox.) | Orden de magnitud |
|---|---|---|
| BERT base (2018) | 110 millones | 10⁸ |
| GPT-2 (2019) | 1 500 millones | 10⁹ |
| GPT-3 (2020) | 175 000 millones | 10¹¹ |
| Llama 3 (2024) | 8 000 a 70 000 millones | 10⁹-10¹⁰ |
Y ahí está la trampa del número grande. Un modelo con menos parámetros, pero entrenado con más datos y mejor ajustado, puede superar a uno mucho mayor. El trabajo sobre modelos de la familia Chinchilla mostró justo eso: muchos modelos gigantes estaban subentrenados, y uno más pequeño alimentado con más datos los batía con menos cómputo [2]. La lección es incómoda para el marketing: el conteo de parámetros mide capacidad potencial, no inteligencia entregada.
El conteo de parámetros mide cuántas perillas tiene el modelo, no qué tan bien las giró.
Hay además una razón muy práctica para preferir modelos con menos parámetros: caben en menos memoria y responden más rápido y más barato. Un modelo de setenta mil millones de perillas necesita mucho hardware solo para mantenerlas cargadas. Por eso existe la cuantización, que guarda cada perilla con menos precisión para que el modelo pese menos sin perder demasiado. Pero esa es otra historia, y merece su propio dibujo.
La próxima vez que leas "un modelo de X mil millones de parámetros", ya sabes traducirlo: X mil millones de perillas que el entrenamiento colocó, una por una, buscando el error más bajo. Un número enorme y, aun así, solo la mitad de la historia. La otra mitad (qué datos, cuánto ajuste, qué tan fino el equilibrio) es la que decide si esas perillas, al final, suenan afinadas.
Fuentes
- Rumelhart, D. E., Hinton, G. E. & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, pp. 533-536. DOI: 10.1038/323533a0.
- Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models (modelos "Chinchilla"). arXiv:2203.15556. (Relación ~20 palabras de entrenamiento por parámetro para cómputo óptimo.)
- Brown, T. B. et al. (2020). Language Models are Few-Shot Learners (GPT-3, 175 mil millones de parámetros). arXiv:2005.14165. Ver también Kaplan et al. (2020), Scaling Laws for Neural Language Models, arXiv:2001.08361.
- Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, pp. 4171-4186. ACL Anthology: aclanthology.org/N19-1423.