En mayo de 2016, dos periodistas de ProPublica se sentaron a revisar las fichas de más de siete mil personas arrestadas en el condado de Broward, Florida. Buscaban una respuesta a una pregunta incómoda: el software que ayudaba a decidir quién esperaba el juicio en la cárcel y quién en su casa, ¿trataba igual a un acusado negro que a uno blanco? La respuesta que encontraron no venía de un laboratorio ni de un experimento controlado. Venía de expedientes reales, de personas reales, de decisiones que ya se habían tomado.
El sesgo algorítmico deja de ser un tema abstracto cuando se mira así: no como una falla teórica, sino como algo que ya ocurrió, con nombre y apellido, en sistemas que estaban en producción. Los tres casos que siguen están documentados, auditados y, en dos de ellos, respondidos por las propias empresas que los construyeron. Cada uno dejó una lección distinta sobre cómo un modelo aprende a discriminar sin que nadie se lo pida.
01 · el juez de softwareCOMPAS: cuando el riesgo se predice distinto según el color
COMPAS es una herramienta que calcula un puntaje de "riesgo de reincidencia" para acusados en tribunales de Estados Unidos. Un número del 1 al 10 que orienta a jueces sobre si alguien volverá a delinquir. El sistema, de la empresa Northpointe (hoy Equivant), se usaba en varios estados cuando ProPublica publicó su análisis en 2016.
El hallazgo central fue este: entre las personas que no reincidieron, los acusados negros tenían casi el doble de probabilidad que los blancos de haber sido etiquetados como de alto riesgo. Y al revés, entre quienes sí volvieron a delinquir, los blancos tenían más chance de haber sido marcados como bajo riesgo [1]. Es decir: el error del sistema no se repartía parejo. Se equivocaba en contra de unos y a favor de otros.
El sistema no preguntaba la raza. Pero aprendió a discriminar por ella de todos modos.
Aquí aparece el matiz que hace de este caso un clásico. Northpointe respondió que su modelo sí era justo: para cada puntaje de riesgo, la tasa real de reincidencia era parecida entre grupos. Tenían razón en su definición. ProPublica también tenía razón en la suya. El problema es que ambas nociones de justicia (igualar los aciertos frente a igualar los errores) son matemáticamente incompatibles cuando las tasas base difieren entre grupos, algo que el investigador Jon Kleinberg y sus colegas demostraron formalmente poco después [2].
"Justo" no es una sola cosa. Antes de auditar un modelo hay que decidir qué definición de equidad importa para ese contexto, porque no se pueden cumplir todas. En decisiones que quitan libertad, igualar los errores suele pesar más que igualar los aciertos. Esa elección debe ser explícita y humana, no un subproducto silencioso del código.
02 · el reclutador que odiaba currículums de mujeresAmazon y el modelo que se enseñó solo a discriminar
Entre 2014 y 2017, Amazon construyó en secreto un motor experimental para ordenar currículums. La idea era seductora: dale al sistema cien CV y que te devuelva los cinco mejores. En 2018, Reuters reveló que el proyecto se había cancelado por una razón contundente: el modelo discriminaba a las mujeres [3].
Nadie programó esa discriminación. El modelo aprendió de los currículums que Amazon había recibido durante diez años, un período en que el sector tecnológico contrató mayoritariamente hombres. El sistema absorbió ese patrón como si fuera una señal de calidad. Empezó a penalizar los CV que contenían la palabra "women's" (como en "women's chess club captain") y a bajar el puntaje de graduadas de dos universidades femeninas, según las fuentes citadas por Reuters.
Lo revelador es lo que pasó cuando los ingenieros intentaron arreglarlo. Editaron el modelo para que ignorara esos términos explícitos. Pero no había garantía de que el sistema no encontrara otras maneras, más sutiles, de inferir el género a partir del lenguaje del currículum. El sesgo no vivía en una palabra: vivía en la correlación entre miles de señales y una historia de contratación desigual. Amazon terminó descartando la herramienta.
El modelo no inventó el sesgo. Lo copió de nosotros, con una fidelidad incómoda.
| Caso | Fuente del sesgo | Documentado por |
|---|---|---|
| COMPAS | Datos de arrestos con desigualdad histórica; definición de justicia elegida | ProPublica, 2016 [1] |
| Reclutador de Amazon | Diez años de CV sesgados hacia hombres en el sector | Reuters, 2018 [3] |
| Reconocimiento facial | Conjuntos de entrenamiento con pocas mujeres de piel oscura | Buolamwini & Gebru, 2018 [4] |
Fuente: elaboración del autor a partir de las investigaciones citadas.
Un modelo entrenado con datos del pasado hereda las injusticias del pasado. Si contrataste desigual durante una década, automatizar ese historial no lo corrige: lo acelera y le da apariencia de objetividad. Quitar la variable sensible del dataset no basta, porque el modelo la reconstruye a partir de proxies. Hay que auditar el resultado, no solo las entradas.
03 · las caras que el sistema no veíaGender Shades: el reconocimiento facial que fallaba con la piel oscura
En 2018, la investigadora Joy Buolamwini, del MIT Media Lab, y Timnit Gebru publicaron Gender Shades, una auditoría de sistemas comerciales de clasificación de género por rostro, de empresas como IBM, Microsoft y Face++. En lugar de aceptar las cifras globales de precisión que anunciaban los fabricantes, desglosaron el desempeño por tono de piel y por género.
El contraste fue brutal. Los sistemas clasificaban a los hombres de piel clara con un error de menos del 1%. Para las mujeres de piel oscura, el error trepaba hasta el 34,7% en el peor caso [4]. Una diferencia de más de treinta puntos, escondida bajo un promedio general que sonaba impecable. Un sistema puede ser "95% preciso" y aun así fallar sistemáticamente con un grupo entero de personas.
La causa era rastreable: los conjuntos de datos con que se entrenaban y evaluaban estos sistemas estaban compuestos en su mayoría por rostros de piel clara. El modelo nunca practicó lo suficiente con caras que se parecían menos a las de sus datos, y su desempeño lo delató. La buena noticia es que el estudio tuvo efecto: IBM y Microsoft revisaron sus sistemas y reportaron mejoras notables en los meses siguientes. La auditoría no solo señaló el problema; provocó la corrección.
Un promedio de precisión puede mentir. La única forma de detectar un sesgo así es desglosar el desempeño por subgrupo antes de poner el sistema en producción. Lo que no se mide separado, no se ve. Y lo que no se ve, no se corrige.
04 · lo que une a los tresDel caso al método
Tres sistemas, tres orígenes distintos de sesgo. En COMPAS, el problema estaba en la definición misma de qué significa ser justo. En el reclutador de Amazon, en unos datos que reflejaban una historia desigual. En el reconocimiento facial, en un conjunto de entrenamiento poco representativo. Ninguno fue obra de un programador malintencionado. Todos fueron el resultado de asumir que un sistema entrenado con datos es, por defecto, neutral.
El hilo común es sencillo de enunciar y difícil de practicar: un modelo aprende de lo que le mostramos, y lo que le mostramos carga nuestras desigualdades. Auditar por subgrupo, elegir explícitamente una definición de equidad y no confiar en promedios globales no son lujos éticos. Son ingeniería básica cuando la decisión afecta a personas. Los tres casos ya pagaron la cuenta de no haberlo hecho a tiempo. La ventaja de quien construye hoy es que puede leerlos como un manual de lo que conviene revisar antes, no después.
Fuentes
- Angwin, J., Larson, J., Mattu, S. & Kirchner, L. (2016). Machine Bias. ProPublica, 23 de mayo de 2016. propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.
- Kleinberg, J., Mullainathan, S. & Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores. arXiv:1609.05807.
- Dastin, J. (2018). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters, 10 de octubre de 2018.
- Buolamwini, J. & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research (Conference on Fairness, Accountability and Transparency), vol. 81, pp. 77-91. proceedings.mlr.press/v81/buolamwini18a.html.