O que são os vieses na IA e de onde eles vêm

Um viés na inteligência artificial é uma inclinação sistemática do modelo a tratar melhor uns casos do que outros, não por capricho do algoritmo, mas porque assim estavam distribuídos os dados com os quais ele aprendeu. A máquina não tem opiniões nem rancores. Ela tem um espelho. E esse espelho, quando você aproxima dele anos de decisões humanas, devolve as decisões humanas: as boas, as ruins e as tortas.

Digo de outra maneira, porque a palavra "viés" carrega um ar de acusação que aqui não ajuda. Um modelo aprende imitando exemplos. Se os exemplos vêm inclinados para um lado, o modelo aprende essa inclinação com a mesma obediência com que aprende a distinguir um gato de um cachorro. Ele não sabe que um desses padrões é um dado útil e o outro é um preconceito herdado. Para ele, tudo é padrão.

01 · a herançaO que são os vieses na IA e como eles se produzem

Um modelo de IA é treinado mostrando a ele enormes quantidades de exemplos: currículos, fotos, textos, decisões passadas. Daí ele extrai regras. O problema começa quando esses exemplos não descrevem o mundo como gostaríamos, mas como ele foi: com seus desequilíbrios já lá dentro.

Pense nisso como criar um filho. Uma criança que só vê os adultos de casa cozinhar de uma maneira vai supor que assim se cozinha em todo lugar. Ela não é tola nem maliciosa: é que sua amostra do mundo foi pequena e particular. O modelo faz o mesmo, mas com milhões de exemplos e sem ninguém para dizer a ele "cuidado, isso que você viu não é toda a realidade".

O algoritmo não inventa o preconceito. Ele o herda, o organiza e, se ninguém o freia, o serve mais rápido.

Por isso é mais honesto falar de dados e decisões humanas do que de "máquinas racistas". Por trás de cada viés há uma cadeia: alguém coletou uns dados, alguém decidiu o que medir, alguém escolheu o que contava como "sucesso". O modelo é o último elo, aquele que executa em escala o que a cadeia já trazia de antes.

02 · as três fontesDe onde eles vêm: nem todo viés mora nos dados

É cômodo pensar que basta "limpar os dados" e pronto. Quem dera. O instituto de padrões dos Estados Unidos, o NIST, revisou o problema e propôs olhá-lo em três camadas, porque o viés se infiltra por mais de uma porta [1].

Viés nos dados (estatístico ou computacional). É o mais conhecido. Ocorre quando a amostra não representa bem a todos: faltam exemplos de um grupo, sobram de outro, ou os rótulos que alguém colocou já vinham tortos. Se você treina um leitor de rostos quase só com rostos claros, adivinhe com quem ele vai errar mais.

Viés humano. Os atalhos mentais de quem constrói o sistema: quais perguntas se fazem, o que se decide medir, o que se dá por normal. Aqui o preconceito entra antes de existir um único dado, na mesa onde se faz o desenho.

Viés sistêmico. O mais incômodo. Vive nas instituições e na história: se durante décadas se contratou sobretudo homens para certo cargo, esse padrão está nos registros ainda que ninguém o tenha escrito como regra. O modelo o encontra do mesmo jeito.

03 · o espelho em açãoTrês casos em que o reflexo ficou nítido

A teoria se entende melhor com cicatrizes reais. Três casos, bem documentados, mostram como um dado inclinado se converte em uma decisão que afeta pessoas.

Rostos. Em 2018, Joy Buolamwini e Timnit Gebru auditaram três sistemas comerciais que classificavam o gênero a partir de uma foto. O resultado foi um mapa do viés: para homens de pele clara o erro era de apenas 0,8 %; para mulheres de pele escura chegava a 34,7 % [2]. Mesmo sistema, mesma tarefa, quarenta vezes mais erros conforme quem você olhava. A causa não era um algoritmo malvado: eram conjuntos de treinamento nos quais esse grupo mal aparecia.

Currículos. A Amazon construiu, a partir de 2014, uma ferramenta interna que pontuava candidatos de uma a cinco estrelas. Eles a treinaram com dez anos de currículos recebidos, em sua maioria de homens. O modelo deduziu a moral errada: penalizava sinais associados a mulheres, como incluir a palavra "feminino" ou ter estudado em uma escola de mulheres. A empresa acabou descartando o projeto [3]. O sistema não odiava ninguém; apenas imitou à risca a sua própria história de contratação.

Justiça. Em 2016, a ProPublica examinou o COMPAS, um software que estimava o risco de reincidência de acusados nos Estados Unidos. Entre os que não voltaram a delinquir, a ferramenta havia rotulado como "alto risco" 45 % dos acusados negros contra 24 % dos brancos [4]. O caso segue em debate metodológico, mas abriu uma pergunta que não se fechou: quando um sistema decide sobre a liberdade de alguém, o que significa exatamente ser "justo"?

04 · o primeiro passoEnxergar é metade do trabalho

Nenhum desses sistemas se propôs a discriminar. Aí está o que é traiçoeiro no viés algorítmico: ele não chega com má intenção, chega com eficiência. Toma uma desigualdade que já existia, a codifica em uma regra e a aplica a milhares de casos por segundo, sem a pausa incômoda que às vezes freia uma pessoa.

Por isso o primeiro passo não é técnico, é de olhar. Antes de "consertar" um modelo é preciso perguntar de onde saíram seus dados, quem ficou fora da amostra, o que se definiu como sucesso e quem definiu essa definição. Uma boa equipe mede o desempenho por subgrupos, não só a média, porque a média é precisamente onde o viés se esconde à plena vista.

Não se pode corrigir o que não se mede, e não se mede o que se prefere não olhar.

Entender que o modelo herda em vez de inventar muda a conversa inteira. Deixa de ser "a máquina é injusta" e passa a ser "estes dados, estas decisões, esta história produziram isto". É uma notícia dura, porque nos devolve a responsabilidade. E é uma boa notícia, pelo mesmo motivo: se o viés entrou por decisões humanas, por decisões humanas também pode sair.