Imagina que le das una frase a un modelo de IA y, antes de "entenderla", alguien la pasa por una picadora. La frase entra entera y sale hecha trozos: pedacitos de palabra, a veces palabras completas, a veces solo tres letras y un espacio. Esos trozos son los tokens. Y aquí está lo raro: el modelo nunca ve tu frase. Ve los trozos.
Nos han contado que "la IA lee texto". Es una mentira piadosa. Lo que lee es una fila de fichas numeradas. Como cuando armas algo de LEGO: no manipulas "una casa", manipulas piezas. La casa es lo que resulta de encajarlas.
01 · la piezaUn token es un pedazo de texto, no una palabra
Lo primero que hay que soltar es la idea de que un token equivale a una palabra. A veces sí. A veces un token es una palabra corta y común como "de" o "casa". Pero muchas veces es un fragmento: una raíz, una terminación, una sílaba, incluso un solo carácter con su espacio delante.
¿Por qué partir las palabras? Porque el idioma es infinito y la memoria del modelo no. Si cada palabra posible tuviera su propia ficha, el diccionario del modelo sería gigantesco e inútil para palabras que nunca vio: nombres propios, tecnicismos, errores de tipeo, "supercalifragilístico". Con pedazos reutilizables, en cambio, puede armar cualquier palabra encajando piezas que ya conoce.
El modelo no memoriza palabras. Aprende a construirlas con piezas.
02 · la picadoraTokenización: cómo se decide dónde cortar
El corte no es al azar ni por sílabas de la escuela. Se hace con un método aprendido de los propios textos. El más famoso se llama BPE (Byte Pair Encoding, "codificación por pares de bytes").
La idea, a alto nivel, es sorprendentemente sencilla. Empiezas con el texto reducido a caracteres sueltos. Luego buscas el par de piezas que aparece más veces juntas y las fundes en una sola pieza nueva. Repites: encuentras el siguiente par más frecuente, lo fundes, y otra vez. Miles de veces. Al final tienes un inventario de piezas donde lo muy común ("ción", "des", "ente") terminó convertido en fichas propias, y lo raro sigue partido en trozos pequeños.
Curiosamente, BPE nació en 1994 como un truco de compresión de datos (Gage), y no tenía nada que ver con lenguaje. Fueron Sennrich, Haddow y Birch quienes en 2016 lo adaptaron para partir palabras en traducción automática [1][2]. De ahí saltó a casi todos los modelos de lenguaje que usas hoy.
Cuando el modelo trocea un nombre extraño o un término técnico en pedacitos feos ("Qi" + "ra" + "va"), no está fallando: está haciendo exactamente su trabajo. No tenía esa palabra en su inventario de piezas, así que la armó con las que sí tenía. Es la misma razón por la que puede leer palabras que nunca vio.
03 · la cuentaPor qué esto te importa: costo y límites
Aquí deja de ser curiosidad y empieza a ser práctico. Los modelos no cobran ni miden en palabras: miden en tokens. Dos consecuencias directas.
El costo. Cuando pagas por usar un modelo por API, pagas por token de entrada y por token de salida. Un texto con muchas palabras largas o poco comunes gasta más tokens que uno del mismo largo pero con palabras simples. Escribir "utilizar" cuesta, literalmente, más que escribir "usar".
El límite de contexto. Cada modelo tiene un tope de cuántos tokens puede tener "en la cabeza" a la vez: tu mensaje más su respuesta. Ese tope se cuenta en tokens, no en páginas. Por eso una conversación larga en algún momento "se le olvida" el principio: se salió de la ventana de tokens.
¿Cuánto es un token en la vida real? Como regla de bolsillo, en inglés 1 token ≈ 4 caracteres ≈ 0,75 palabras (o sea, 100 tokens ≈ 75 palabras) [3]. En español la cosa sale un poco más cara: nuestras palabras son más largas y tienen más terminaciones, así que 1 token ≈ 0,7 palabras tirando a menos. Traducido: el mismo texto en español suele gastar más tokens que en inglés. No es tu imaginación.
Para el modelo, un párrafo no tiene palabras. Tiene un precio.
Nada de esto cambia cómo escribes tú. Pero saber que detrás hay una picadora de fichas explica de golpe tres misterios: por qué a veces se atraganta con nombres propios, por qué las conversaciones largas pierden memoria, y por qué la factura sube más rápido en español que en inglés.
La próxima vez que escribas "gato" y el modelo te responda, recuerda: él nunca vio un gato ni la palabra "gato". Vio una ficha. Y con fichas, como con LEGO, se puede armar casi cualquier cosa.
Fuentes
- Sennrich, R., Haddow, B. & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), vol. 1, pp. 1715-1725. ACL Anthology: aclanthology.org/P16-1162.
- Gage, P. (1994). A New Algorithm for Data Compression. The C Users Journal, febrero 1994. (Origen del algoritmo BPE, luego adaptado a lenguaje.)
- OpenAI Help Center. What are tokens and how to count them? Regla de referencia: 1 token ≈ 4 caracteres ≈ 0,75 palabras en inglés (100 tokens ≈ 75 palabras). help.openai.com/en/articles/4936856.