Imagina que contratas al asistente más leído del mundo. Ha absorbido bibliotecas enteras, cita a Borges y a Bengio con la misma soltura, y responde en segundos. Solo tiene una condición: puede mirar, a la vez, apenas unas pocas páginas de lo que ustedes están conversando. Todo lo demás (lo que dijiste hace diez minutos, el documento que le pasaste al principio) se le va desvaneciendo por el borde de la mesa. No es que sea olvidadizo por descuido. Es que su escritorio, sencillamente, tiene un tamaño.
Ese escritorio tiene nombre técnico: ventana de contexto. Es una de esas ideas que, una vez la ves, reorganiza todo lo que creías entender sobre por qué la inteligencia artificial se comporta como se comporta. Y casi nadie te la explica bien.
01 · La unidadAntes que nada: el modelo no lee palabras
Para una persona, la frase “la memoria tiene límites” son cuatro palabras. Para un modelo de lenguaje son una tira de tokens: fragmentos de texto, a veces una palabra entera, a veces un pedazo. El tokenizador parte el idioma en piezas frecuentes y le asigna un número a cada una. Todo lo que la IA lee o escribe pasa primero por esa trituradora.
Esto importa porque el límite de la ventana de contexto no se mide en palabras ni en caracteres, sino en tokens. Cuando lees que un modelo tiene una “ventana de 128.000 tokens”, está diciendo cuántas de esas piezas puede tener a la vista (entre lo que le das y lo que te responde) en un mismo instante.
02 · La formaUna ventana que se desliza sobre un río
La palabra “ventana” es exacta, y conviene tomarla en serio. Piensa en un texto larguísimo pasando por debajo de un marco rígido. El modelo solo puede prestar atención a lo que cae dentro del marco ahora mismo. Si la conversación crece más que la ventana, el principio empieza a quedar fuera del marco: técnicamente sigue existiendo, pero el modelo ya no puede mirarlo. De ahí esa sensación de que “se le olvidó” lo que acordaron al inicio.
Bajo el capó, lo que ocurre dentro del marco es un mecanismo llamado atención, introducido en 2017 en el trabajo que fundó la era actual, “Attention Is All You Need”. Cada token mira a todos los demás dentro de la ventana y decide a cuáles hacerles caso. Es potentísimo y caro: el costo crece con el cuadrado del número de tokens. Duplicar la ventana no duplica el costo: lo cuadruplica. Esa es la razón económica, no caprichosa, de que las ventanas hayan sido durante años tan pequeñas.
Una ventana más grande no es solo “más memoria”. Es una factura que crece al cuadrado.
03 · El crecimientoDe una postal a un libro entero
La buena noticia es que esa factura se ha vuelto pagable a una velocidad vertiginosa. En pocos años pasamos de modelos que apenas sostenían una conversación corta a modelos que se tragan un libro completo de una sentada.
| Modelo (año) | Ventana de contexto | ≈ equivale a |
|---|---|---|
| GPT-3 (2020) | 2.048 tokens | ~1.500 palabras · un artículo corto |
| GPT-4 (2023) | 8.192 tokens | ~6.000 palabras · un capítulo |
| GPT-4 Turbo (2023) | 128.000 tokens | ~96.000 palabras · una novela corta |
| Claude 3 (2024) | 200.000 tokens | ~150.000 palabras · un libro grueso |
| Gemini 1.5 Pro (2024) | 1-2 millones | ~1,5 millones de palabras · una saga entera |
04 · La trampaTener la página no es haberla leído
Y aquí está el matiz que casi nadie menciona. Que un modelo pueda meter un libro entero en su ventana no significa que le preste la misma atención a todo. En 2023, un estudio con un título memorable (“Lost in the Middle”) mostró que los modelos recuerdan muy bien lo que está al principio y al final del contexto, y se les escurre lo del medio. Igual que nosotros con una reunión de dos horas.
Llenar la ventana hasta el tope no siempre mejora la respuesta; a veces la empeora. Enterrar el dato clave en la mitad de un contexto gigantesco es una forma casi segura de que el modelo lo pase por alto. Más contexto no es más comprensión.
Por eso los sistemas serios no le vuelcan todo al modelo y rezan. Hacen algo más astuto: guardan el conocimiento afuera, en una memoria organizada, y en cada pregunta recuperan solo los pocos fragmentos relevantes y los colocan (frescos, cortos, bien puestos) dentro de la ventana. Esa técnica se llama recuperación aumentada (RAG), y nació en 2020 [4]. Es, en el fondo, la respuesta ingenieril a la limitación que este artículo describe: si la mesa es pequeña, no amontones; trae solo la hoja que necesitas, cuando la necesitas.
La inteligencia no está solo en el modelo. Está en qué le pones enfrente, y cuándo.
05 · Lo que te llevasTres ideas para no olvidar
La ventana de contexto es la memoria de trabajo de la IA: se mide en tokens y tiene un borde real. Agrandarla cuesta, al cuadrado, y por eso fue pequeña durante tanto tiempo y por eso su reciente expansión es una proeza. Pero lo más contraintuitivo es que llenarla no es entenderla: lo que decide la calidad de una respuesta no es cuánto texto cabe, sino qué texto, bien elegido, cae dentro del marco.
La próxima vez que una IA “pierda el hilo”, ya no lo leerás como un fallo misterioso. Lo verás por lo que es: una mesa de cierto tamaño, un río de palabras pasando por debajo, y el arte, muy humano todavía, de decidir qué merece estar sobre la mesa.
Fuentes
- Vaswani, A. et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS).
- Fichas técnicas y notas de lanzamiento de OpenAI (GPT-3, GPT-4, GPT-4 Turbo), Anthropic (Claude 3) y Google DeepMind (Gemini 1.5), 2020-2024.
- Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the Association for Computational Linguistics.
- Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS.