Em maio de 2016, dois jornalistas da ProPublica sentaram-se para revisar as fichas de mais de sete mil pessoas presas no condado de Broward, na Flórida. Buscavam a resposta para uma pergunta incômoda: o software que ajudava a decidir quem esperava o julgamento na prisão e quem esperava em casa, tratava um réu negro da mesma forma que um branco? A resposta que encontraram não vinha de um laboratório nem de um experimento controlado. Vinha de processos reais, de pessoas reais, de decisões que já haviam sido tomadas.
O viés algorítmico deixa de ser um tema abstrato quando é visto assim: não como uma falha teórica, mas como algo que já aconteceu, com nome e sobrenome, em sistemas que estavam em produção. Os três casos a seguir estão documentados, auditados e, em dois deles, respondidos pelas próprias empresas que os construíram. Cada um deixou uma lição distinta sobre como um modelo aprende a discriminar sem que ninguém peça.
01 · o juiz de softwareCOMPAS: quando o risco é previsto de forma diferente conforme a cor
O COMPAS é uma ferramenta que calcula uma pontuação de "risco de reincidência" para réus em tribunais dos Estados Unidos. Um número de 1 a 10 que orienta os juízes sobre se alguém voltará a cometer um crime. O sistema, da empresa Northpointe (hoje Equivant), era usado em vários estados quando a ProPublica publicou sua análise em 2016.
A descoberta central foi esta: entre as pessoas que não reincidiram, os réus negros tinham quase o dobro da probabilidade dos brancos de terem sido rotulados como de alto risco. E, ao contrário, entre quem de fato voltou a cometer crimes, os brancos tinham mais chance de terem sido marcados como de baixo risco [1]. Ou seja: o erro do sistema não se distribuía de forma equilibrada. Ele errava contra uns e a favor de outros.
O sistema não perguntava a raça. Mas aprendeu a discriminar por ela de qualquer forma.
Aqui surge a nuance que faz deste caso um clássico. A Northpointe respondeu que seu modelo era, sim, justo: para cada pontuação de risco, a taxa real de reincidência era parecida entre os grupos. Tinham razão em sua definição. A ProPublica também tinha razão na sua. O problema é que ambas as noções de justiça (igualar os acertos frente a igualar os erros) são matematicamente incompatíveis quando as taxas de base diferem entre os grupos, algo que o pesquisador Jon Kleinberg e seus colegas demonstraram formalmente pouco depois [2].
"Justo" não é uma coisa só. Antes de auditar um modelo é preciso decidir qual definição de equidade importa para aquele contexto, porque não é possível cumprir todas. Em decisões que tiram a liberdade, igualar os erros costuma pesar mais do que igualar os acertos. Essa escolha deve ser explícita e humana, não um subproduto silencioso do código.
02 · o recrutador que odiava currículos de mulheresA Amazon e o modelo que aprendeu sozinho a discriminar
Entre 2014 e 2017, a Amazon construiu em segredo um motor experimental para ordenar currículos. A ideia era sedutora: dê ao sistema cem currículos e que ele devolva os cinco melhores. Em 2018, a Reuters revelou que o projeto havia sido cancelado por um motivo contundente: o modelo discriminava as mulheres [3].
Ninguém programou essa discriminação. O modelo aprendeu com os currículos que a Amazon havia recebido durante dez anos, um período em que o setor de tecnologia contratou majoritariamente homens. O sistema absorveu esse padrão como se fosse um sinal de qualidade. Passou a penalizar os currículos que continham a palavra "women's" (como em "women's chess club captain") e a baixar a pontuação de formadas em duas universidades femininas, segundo as fontes citadas pela Reuters.
O revelador é o que aconteceu quando os engenheiros tentaram consertá-lo. Editaram o modelo para que ignorasse esses termos explícitos. Mas não havia garantia de que o sistema não encontraria outras maneiras, mais sutis, de inferir o gênero a partir da linguagem do currículo. O viés não vivia numa palavra: vivia na correlação entre milhares de sinais e uma história de contratação desigual. A Amazon acabou descartando a ferramenta.
O modelo não inventou o viés. Copiou-o de nós, com uma fidelidade incômoda.
| Caso | Fonte do viés | Documentado por |
|---|---|---|
| COMPAS | Dados de prisões com desigualdade histórica; definição de justiça escolhida | ProPublica, 2016 [1] |
| Recrutador da Amazon | Dez anos de currículos enviesados a favor de homens no setor | Reuters, 2018 [3] |
| Reconhecimento facial | Conjuntos de treinamento com poucas mulheres de pele escura | Buolamwini & Gebru, 2018 [4] |
Fonte: elaboração do autor a partir das pesquisas citadas.
Um modelo treinado com dados do passado herda as injustiças do passado. Se você contratou de forma desigual durante uma década, automatizar esse histórico não o corrige: acelera-o e lhe dá aparência de objetividade. Retirar a variável sensível do conjunto de dados não basta, porque o modelo a reconstrói a partir de proxies. É preciso auditar o resultado, não apenas as entradas.
03 · os rostos que o sistema não viaGender Shades: o reconhecimento facial que falhava com a pele escura
Em 2018, a pesquisadora Joy Buolamwini, do MIT Media Lab, e Timnit Gebru publicaram Gender Shades, uma auditoria de sistemas comerciais de classificação de gênero por rosto, de empresas como IBM, Microsoft e Face++. Em vez de aceitar os números globais de precisão que os fabricantes anunciavam, elas desdobraram o desempenho por tom de pele e por gênero.
O contraste foi brutal. Os sistemas classificavam os homens de pele clara com um erro de menos de 1%. Para as mulheres de pele escura, o erro subia até 34,7% no pior caso [4]. Uma diferença de mais de trinta pontos, escondida sob uma média geral que soava impecável. Um sistema pode ser "95% preciso" e ainda assim falhar sistematicamente com um grupo inteiro de pessoas.
A causa era rastreável: os conjuntos de dados com os quais esses sistemas eram treinados e avaliados eram compostos em sua maioria por rostos de pele clara. O modelo nunca praticou o suficiente com rostos que se pareciam menos com os de seus dados, e seu desempenho o denunciou. A boa notícia é que o estudo teve efeito: IBM e Microsoft revisaram seus sistemas e relataram melhorias notáveis nos meses seguintes. A auditoria não apenas apontou o problema; provocou a correção.
Uma média de precisão pode mentir. A única forma de detectar um viés assim é desdobrar o desempenho por subgrupo antes de colocar o sistema em produção. O que não se mede separado, não se vê. E o que não se vê, não se corrige.
04 · o que une os trêsDo caso ao método
Três sistemas, três origens distintas de viés. No COMPAS, o problema estava na própria definição do que significa ser justo. No recrutador da Amazon, em dados que refletiam uma história desigual. No reconhecimento facial, em um conjunto de treinamento pouco representativo. Nenhum foi obra de um programador mal-intencionado. Todos foram o resultado de supor que um sistema treinado com dados é, por padrão, neutro.
O fio comum é simples de enunciar e difícil de praticar: um modelo aprende com o que lhe mostramos, e o que lhe mostramos carrega nossas desigualdades. Auditar por subgrupo, escolher explicitamente uma definição de equidade e não confiar em médias globais não são luxos éticos. São engenharia básica quando a decisão afeta pessoas. Os três casos já pagaram a conta de não terem feito isso a tempo. A vantagem de quem constrói hoje é que pode lê-los como um manual do que convém revisar antes, e não depois.
Fontes
- Angwin, J., Larson, J., Mattu, S. & Kirchner, L. (2016). Machine Bias. ProPublica, 23 de maio de 2016. propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.
- Kleinberg, J., Mullainathan, S. & Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores. arXiv:1609.05807.
- Dastin, J. (2018). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters, 10 de outubro de 2018.
- Buolamwini, J. & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research (Conference on Fairness, Accountability and Transparency), vol. 81, pp. 77-91. proceedings.mlr.press/v81/buolamwini18a.html.