Inteligência Artificial e Regulação: O caso de Nova York

Em dezembro (2017) o poder legislativo da cidade de Nova York  (City Council) aprovou uma lei que busca garantir a transparência dos algoritmos usados para tomada automatizada de decisões da polícia, do judiciário e de outros órgãos governamentais da cidade. O escopo da lei se limita aos algoritmos utilizados pela Administração Pública, não tratando sobre os utilizados somente pela iniciativa privada no mercado.

Apesar de curta, a Lei Nº 1696-A cria um conceito básico para o termo “sistema de decisão automatizada” (automated decision system),  definindo-o como:

“implementações computadorizadas de algoritmos, incluindo aqueles que se originem de técnicas de aprendizado de máquinas (machine learning), ou de outras técnicas de processamento de dados e de inteligência artificial, utilizados para tomar decisões ou para auxiliar ao longo de sua tomada”

A determinação principal da Lei é de que seja criado uma força tarefa temporária, pelo prefeito de NY, que terá como missão desenvolver um relatório que dê sugestões de ação ao Município, a fim de se garantir um uso seguro, transparente e democrático dos algoritmos utilizados pela Administração Pública. A Lei estabelece os seguintes objetivos para a força tarefa:

1. Criar critérios para identificar quais os sistemas de decisão automática municipais devem ser submetidos ao escrutínio dos procedimentos recomendados pela Força Tarefa.
2. Desenvolver e implementar um procedimento que permita aos cidadãos afetados por esses sistemas receber um explicação sobre como se deu tal decisão.
3. Desenvolver e implementar um procedimento que permita ao Município determinar se um sistema automatizado de decisão impacta desproporcionalmente as pessoas, caso utilize critérios baseados em idade, cor da pele, crenças, religião, nacionalidade de origem, gênero, deficiências, estado civil, orientação sexual, e cidadania.
4. Desenvolver e implementar um procedimento para tratar de casos nos quais uma pessoa tenha sido prejudicada por um sistema de decisão automatizada, o qual descobriu-se que afetava desproporcionalmente os cidadãos por meio do uso das categorias descritas no item anterior
5. Desenvolver e implementar um procedimento que permita com que o público tenha acesso a informações significativas sobre o funcionamento dos sistemas utilizados pelo Município, incluindo-se, quando for apropriado, a disponibilização de informações técnicas relevantes.
6. Responder sobre qual a viabilidade de se desenvolver um procedimento para que sejam arquivados as decisões tomadas pelos sistemas, os dados utilizados para determinar as relações preditivas, e quais os dados utilizados para alimentar os sistemas (inputs)

Após essa breve análise dos pontos principais da Lei, percebe-se que o projeto não se mostrou muito ambicioso, dependendo ainda de que outras decisões sejam tomadas para que as futuras recomendações sejam implementadas.

Apesar disso, a iniciativa mostra-se importante, pois reconhece o problema da transparência dos processos de decisão de inteligências artificiais, dando um ponta-pé inicial no debate público.

É interessante notar também que esta iniciativa insere-se em um contexto no qual a cidade não busca somente se antecipar aos futuros problemas envolvendo algoritmos de decisão, como também lidar com problemas reais que já vem acontecendo. Atualmente já é utilizado nos Estados Unidos algoritmos preditivos na Justiça Criminal para se calcular se um réu deve responder ou não em liberdade enquanto aguarda julgamento, com algoritmos de inteligência artificial calculando seu risco de fuga por meio da análise da ficha criminal do indivíduo.

Outro exemplo que tem gerado controvérsias tem sido o algoritmo empregado pelo departamento de polícia de Nova York para prever quais áreas da cidade devem ser mais ostensivamente policiadas, num programa que espera investir US$ 54 milhões nos próximos 5 anos.

Críticos do projeto tem levantado questionamentos sobre o funcionamento do algoritmo, afirmando que ele somente tem reforçado viéses anteriormente estabelecidos, gerando predições que somente aumentam o policiamento de bairros que já são excessivamente alvos de ações policiais.

São em situações como essas que será necessário que os cidadãos tenham o direito à uma explicação sobre como funcionam os algoritmos que, cada vez mais, passam a auxiliar na operacionalização de políticas públicas,  influenciando assim no exercício de seus direitos.

Em um país como o Brasil onde há diversos problemas quanto a celeridade da máquina pública, existem diversos incentivos para que se invista na utilização de técnicas de inteligência artifical pela Administração. Como exemplo, cita-se o projeto do Conselho Superior da Justiça do Trabalho (CSJT) que busca desenvolver, em uma futura parceria com a Universidade de Brasília (UnB), uma  inteligência artifical que analisará a jurisprudência trabalhista, a fim de treinar um algoritmo que seja capaz de elaborar recomendações de votos aos juízes.

Conforme surjam tais iniciativas, os cidadãos devem estar atentos para que também se busque o estabelecimento de regulações em nosso país, a fim de se garantir que a utilização dos sistemas de IA seja transparente e respeite os direitos humanos. Para isso devemos estar atentos a como os outros países têm lidado com essa questão, de forma com que identifiquemos quais são os problemas comuns e quais são as especificidades da realidade nacional.

As opiniões e perspectivas retratadas neste artigo pertencem a seus autores e não necessariamente refletem as políticas e posicionamentos oficiais do Instituto de Referência em Internet e Sociedade.