Qué son los sesgos en la IA y de dónde salen

Un sesgo en la inteligencia artificial es una inclinación sistemática del modelo a tratar mejor a unos casos que a otros, no por capricho del algoritmo, sino porque así estaban repartidos los datos con los que aprendió. La máquina no tiene opiniones ni rencores. Tiene un espejo. Y ese espejo, cuando le acercas años de decisiones humanas, te devuelve las decisiones humanas: las buenas, las malas y las torcidas.

Lo digo de otra manera, porque la palabra "sesgo" arrastra un aire de acusación que aquí no ayuda. Un modelo aprende imitando ejemplos. Si los ejemplos vienen inclinados hacia un lado, el modelo aprende esa inclinación con la misma obediencia con la que aprende a distinguir un gato de un perro. No sabe que uno de esos patrones es un dato útil y el otro es un prejuicio heredado. Para él, todo es patrón.

01 · la herenciaQué son los sesgos en la IA y cómo se producen

Un modelo de IA se entrena mostrándole enormes cantidades de ejemplos: currículos, fotos, textos, decisiones pasadas. De ahí saca reglas. El problema empieza cuando esos ejemplos no describen el mundo tal como quisiéramos, sino tal como fue: con sus desequilibrios ya dentro.

Piénsalo como criar. Un niño que solo ve a los adultos de su casa cocinar de una manera dará por hecho que así se cocina en todas partes. No es tonto ni malicioso: es que su muestra del mundo fue pequeña y particular. El modelo hace lo mismo, pero con millones de ejemplos y sin nadie que le diga "ojo, esto que viste no es toda la realidad".

El algoritmo no inventa el prejuicio. Lo hereda, lo ordena y, si nadie lo frena, lo sirve más rápido.

De ahí que sea más honesto hablar de datos y decisiones humanas que de "máquinas racistas". Detrás de cada sesgo hay una cadena: alguien recogió unos datos, alguien decidió qué medir, alguien eligió qué contaba como "éxito". El modelo es el último eslabón, el que ejecuta a escala lo que la cadena traía de antes.

02 · las tres fuentesDe dónde salen: no todo el sesgo vive en los datos

Es cómodo pensar que basta con "limpiar los datos" y ya. Ojalá. El instituto de estándares de Estados Unidos, el NIST, revisó el problema y propuso mirarlo en tres capas, porque el sesgo se cuela por más de una puerta [1].

Sesgo en los datos (estadístico o computacional). Es el más conocido. Ocurre cuando la muestra no representa bien a todos: faltan ejemplos de un grupo, sobran de otro, o las etiquetas que alguien puso ya venían torcidas. Si entrenas un lector de rostros casi solo con caras claras, adivina con quién se equivocará más.

Sesgo humano. Los atajos mentales de quienes construyen el sistema: qué preguntas se hacen, qué se decide medir, qué se da por normal. Aquí el prejuicio entra antes de que exista un solo dato, en la mesa donde se diseña.

Sesgo sistémico. El más incómodo. Vive en las instituciones y en la historia: si durante décadas se contrató sobre todo a hombres para cierto puesto, ese patrón está en los registros aunque nadie lo escribiera como regla. El modelo lo encuentra igual.

03 · el espejo en acciónTres casos donde el reflejo se vio claro

La teoría se entiende mejor con cicatrices reales. Tres casos, bien documentados, muestran cómo un dato inclinado se convierte en una decisión que afecta a personas.

Rostros. En 2018, Joy Buolamwini y Timnit Gebru auditaron tres sistemas comerciales que clasificaban el género a partir de una foto. El resultado fue un mapa del sesgo: para hombres de piel clara el error era de apenas un 0,8 %; para mujeres de piel oscura llegaba hasta el 34,7 % [2]. Mismo sistema, misma tarea, cuarenta veces más errores según a quién mirabas. La causa no era un algoritmo malvado: eran conjuntos de entrenamiento donde ese grupo apenas aparecía.

Currículos. Amazon construyó, desde 2014, una herramienta interna que puntuaba candidatos de una a cinco estrellas. La entrenaron con diez años de currículos recibidos, en su mayoría de hombres. El modelo dedujo la moraleja equivocada: penalizaba señales asociadas a mujeres, como incluir la palabra "femenino" o haber estudiado en un colegio de mujeres. La empresa terminó descartando el proyecto [3]. El sistema no odiaba a nadie; solo imitó a rajatabla su propia historia de contratación.

Justicia. En 2016, ProPublica examinó COMPAS, un software que estimaba el riesgo de reincidencia de acusados en Estados Unidos. Entre quienes no volvieron a delinquir, la herramienta había etiquetado como "alto riesgo" al 45 % de los acusados negros frente al 24 % de los blancos [4]. El caso sigue en debate metodológico, pero abrió una pregunta que no se ha cerrado: cuando un sistema decide sobre la libertad de alguien, ¿qué significa exactamente que sea "justo"?

04 · el primer pasoVerlo es la mitad del trabajo

Ninguno de estos sistemas se propuso discriminar. Ahí está lo traicionero del sesgo algorítmico: no llega con mala intención, llega con eficiencia. Toma una desigualdad que ya existía, la codifica en una regla y la aplica a miles de casos por segundo, sin la pausa incómoda que a veces frena a una persona.

Por eso el primer paso no es técnico, es de mirada. Antes de "arreglar" un modelo hay que preguntar de dónde salieron sus datos, quién quedó fuera de la muestra, qué se definió como éxito y quién definió esa definición. Un buen equipo mide el rendimiento por subgrupos, no solo el promedio, porque el promedio es precisamente donde el sesgo se esconde a plena vista.

No se puede corregir lo que no se mide, y no se mide lo que se prefiere no mirar.

Entender que el modelo hereda en lugar de inventar cambia la conversación entera. Deja de ser "la máquina es injusta" y pasa a ser "estos datos, estas decisiones, esta historia produjeron esto". Es una noticia dura, porque nos devuelve la responsabilidad. Y es una buena noticia, por lo mismo: si el sesgo entró por decisiones humanas, por decisiones humanas también puede salir.