Por que a ciência precisa falar mais sobre ética? Um estudo do caso COMPAS e análise da existência de machine bias em decisões automatizadas

Já ouviu falar sobre ‘solucionismo tecnológico’? É a crença de que o uso de tecnologia pode ser a solução para todos os problemas da humanidade. Isso simboliza uma convicção de que a automatização e o uso de inteligência artificial, por exemplo, são antídotos para problemas diversos, que vão desde a injustiça do sistema criminal, ao trânsito caótico da cidade de Belo Horizonte em dias de chuva. 

Esse texto tem o objetivo de discutir os limites da crença na objetividade dos algoritmos, e alguns dos casos mais emblemáticos de machine bias, ou seja, viés algorítmico quando essa pretensa objetividade entra em falha.

A crença fundamental na objetividade dos algoritmos

Em tempos de incerteza, há uma tendência natural de se apoiar em algum tipo de salvação. A dúvida é: será que a tecnologia pode cumprir esse papel? Afinal, está sempre em constante mudança e evolução, seus limites parecem inexistentes, e carrega um caráter de ‘objetividade’ que não pode ser atribuído para decisões humanas, muitas vezes consideradas falhas devido à uma falha fundamental de julgamento da pessoa que a fez. 

Quando pensamos em um ser humano, de carne e osso, decidindo sobre temas importantes da vida pública, estamos pensando em uma pessoa que carrega toda uma bagagem de vida que pode afetar sua decisão. Esperamos, pela lei, que um juiz seja imparcial ao sentenciar um caso, mas a crise das instituições do Brasil atual cria uma incerteza extrema sobre o judiciário, que por vezes parece decidir com um cunho político e uma parcialidade inerente do próprio contexto que o país está vivendo.

O pulo do gato é entender de onde vem a visão de que uma decisão automatizada seria mais imparcial e objetiva do que uma decisão humana, e, por isso, preferencial para questões polêmicas da vida pública. De acordo com a pesquisadora Antoinette Rouvroy, da Universidade de Namur, na Bélgica, essa virada de percepção pode ser vista quando comparamos o antigo uso de estatísticas com o atual uso de análises algorítmicas. Na análise estatística tradicional, estabelecemos critérios prévios e fazemos perguntas para uma parte da população que é uma ‘amostra de um todo’ a fim de conseguirmos uma resposta que pareça geral e imparcial. A análise algorítmica, por sua vez, realiza uma coleta de ‘dados não classificados’, ou seja, dados que não possuem significado a princípio, e permite que as respostas sejam retiradas da correlação dada por esses dados. 

É nesse momento que nos surge a crença de que uma informação que provém de algoritmos seria mais objetiva ou ‘pura’ do que uma decisão humana – são os dados falando, e não vozes da cabeça de um juiz que nunca poderá ser auditado.

A automatização de decisões judiciais no caso COMPAS – Minority Report, é você?

O COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), é uma ferramenta desenvolvida pela empresa Equivant, e utilizado pelo Departamento de Correções de estados como Wisconsin, Flórida e Nova York, nos Estados Unidos da América. Seu objetivo é auxiliar juízes a decidirem sobre a possibilidade de um réu responder por seu processo em liberdade. Como ele faz isso? Fácil. Atribuindo uma nota de ‘perigo’ para analisar a probabilidade de fuga e de reincidência da pessoa.

Através da análise algorítmica de fatores como o status socioeconômico do ofensor, seu histórico familiar, seu trabalho e a taxa de crimes no bairro onde vive, o algoritmo classifica os acusados e cria perfis que os taxam como ‘mais’ ou ‘menos’ perigosos, em uma escala que lhes dá notas que variam entre 1 e 10, e julgam a possibilidade de reincidência do acusado.

A fim de entender a eficácia do COMPAS, a ProPublica (organização sem fins lucrativos cujo objetivo é a produção de jornalismo investigativo sobre temas de relevância política) reuniu as notas de risco atribuídas a mais de sete mil pessoas presas em Broward County, Flórida, entre os anos de 2013 e 2014, e comparou quantos dos indivíduos haviam sido reincidentes em crimes nos dois anos seguintes, se utilizando do mesmo parâmetro usado pelos criadores do sistema.

Os resultados obtidos demonstraram que o sistema utilizado possuía machine bias, ou seja, uma tendência discriminativa que permeia seu processo de decisão, além de possuir baixíssima taxa de acerto em suas previsões. Primeiramente, o algoritmo possuía duas vezes mais chance de atribuir uma nota perigosa a uma pessoa negra do que a uma pessoa branca. Além disso, pessoas mais velhas eram consideradas automaticamente de menor risco e menor violência, não importando os crimes que já haviam cometido. Por fim, a taxa de acerto do sistema para prever índices de reincidência em crimes violentos era de apenas vinte por cento

Esse tipo de análise preditiva de comportamento perigoso lembra o filme distópico Minority Report, de 2002, no qual um sistema prevê crimes antes de que eles aconteçam e diminui a taxa de assassinato no país para zero. O problema colocado pelo filme é a questão do livre arbítrio: é realmente possível garantir que um comportamento irá acontecer antes de que ele aconteça? Estaríamos determinados a certas atitudes?

Todos os resultados da pesquisa, presentes no site independente da ProPublica, foram divulgados em diversos meios de mídia tradicional, e geraram grande debate público quanto à utilização de análise algorítmica na criação de perfis para determinação de liberdade condicional. Como consequência direta da publicação, o Conselho da Cidade de Nova York aprovou a primeira lei nacional que aborda a questão da discriminação algorítmica: the algorithmic accountability bill, que determina uma força tarefa a fim de estudar o uso de algoritmos que afetam a vida pessoal de cidadãos, bem como qualquer possível discriminação proveniente deles.

Machine bias: por que precisamos refletir sobre isso?

“É possível auditar um algoritmo, mas não é possível auditar a consciência de um juiz.”. Essa é uma frase famosa quando pensamos na automatização de decisões judiciais. A análise algorítmica, como dito, tem sido visto como uma forma objetiva de analisar a multiplicidade de dados e criar uma imagem mais imparcial da realidade que temos.

Esse tipo de solução não vem sem problemas. O COMPAS é apenas um exemplo das distorções que essa análise pode criar. Outro exemplo popular é a ferramenta construída pela Amazon, com objetivo de analisar currículos de candidatos a uma vaga de trabalho, que demonstrou preferência para currículos masculinos em detrimento a currículos de mulheres. Isso se deu pelo fato de que a base de dados utilizada pelo algoritmo observava padrões de contratação da companhia em um período de dez anos em que a mesma foi, majoritariamente, dominada por homens ocupando cargos técnicos.

(Empregados em trabalhos na área técnica das empresas Apple, Facebook, Google e Amazon. A barra vermelha representa as mulheres, e a barra azul representa os homens. Nota: A Amazon não abriu os dados sobre a diferença de gênero na sua força de trabalho técnica. Fonte: Últimos dados disponíveis das companhias, desde 2017).

Conclusão

A base de dados e os critérios de análise desses dados vão definir o tipo de decisão projetada pelo algoritmo. O que precisamos pensar, tanto no exemplo do COMPAS, quanto no exemplo da ferramenta de análise de dados da Amazon, é que as decisões consideradas tendenciosas apenas replicaram a realidade na qual estamos inseridos. Um algoritmo que é mais duro contra pessoas negras no sistema penal refletem uma realidade do sistema carcerário, que em si está permeado pela seletividade penal. Um algoritmo que desvaloriza o currículo de mulheres na área técnica reflete um mercado de trabalho extremamente excludente contra a participação de mulheres na área de ciência e tecnologia. 

A reflexão sobre ética na análise de decisões algorítmicas implica em entender a informação que é dada por um sistema de leitura da realidade, e em fazer uma constante reflexão crítica sobre as decisões geradas. Isso é extremamente necessário, principalmente antes de que esse tipo de ferramenta seja utilizada em uma função pública de extrema relevância, como o sistema criminal. Como sociedade, devemos pensar em conceitos como a democratização do conhecimento sobre as decisões automatizadas, a auditoria popular de decisões automatizadas, e a possibilidade de se pensar um dever ser social a partir de uma decisão algorítmica. 

Seríamos ousados o bastante em tentar não repetir os ciclos deficientes da sociedade que temos, mas também incentivar um conceito de justiça da sociedade que queremos ser?

As opiniões e perspectivas retratadas neste artigo pertencem a seu autor e não necessariamente refletem as políticas e posicionamentos oficiais do Instituto de Referência em Internet e Sociedade.