Muito além da ficção: questões éticas e assimetrias de poder nos bastidores da automação

Após 20 anos do lançamento do sucesso de bilheterias Matrix, produções como Black Mirror, Westworld, Ex Machina, Minority Report e Her são apenas alguns exemplos de obras cinematográficas que lidam com realidades criadas a partir da interação humana com tecnologias desenvolvidas por meio da utilização de processos de automação e da ciência de dados. Hoje, essas discussões transcendem a ficção e ganham um espaço cada vez maior em fóruns e eventos de governança mundiais. Entretanto, esse espaço foi conquistado de maneira justificada. Nos últimos anos, as tecnologias digitais se tornaram um dos mais poderosos formadores de ordem social da atualidade. Dessa forma, o crescimento da preocupação com o impacto das tecnologias de automação nas relações de poder da sociedade atual tornou-se visível por meio de estudos e análises realizados a respeito dos diferentes aspectos da temática.

Co-autores ao redor do globo

Recentemente, uma matéria publicada por Angela Chen, reporter do The Verge, denunciou o uso de microworking dentro do sistema penitenciário finlandês e trouxe à tona, mais uma vez, o debate a respeito da prática utilizada por diversas empresas. Definido como uma série de pequenas tarefas que, juntas, formam um grande projeto unificado que é desenvolvido ou finalizado por pessoas conectadas à Internet, o termo microwork é comumente usado para descrever breves atividades que necessitam de inteligência humana para serem concluídas de maneira confiável. No campo da automação, a sua função é a produção de dados, a verificação de qualidade dos resultados algorítmicos e sua substituição no caso de falhas.

O microwork é visto como um meio de geração de renda extra para aqueles que não conseguem se adequar às expectativas tradicionais de local de trabalho devido a certas circunstâncias da vida como por exemplo, pais que ficam em casa e pessoas com problemas de saúde. Para aqueles que estão desempregados, microwork, muitas vezes, representa a única fonte de renda, como demonstrado no estudo desenvolvido por Paula Tubaro e outros pesquisadores.

A autonomia surge como um dos valores mais importantes defendidos por esses trabalhadores. Eles apreciam a flexibilidade e a liberdade de escolha de tarefas e decidem como, onde e quando realizá-las. Entretanto, pontos negativos também são trazidos à tona por esses atores. De acordo com um estudo publicado na revista Management Information Systems Quarterly, enquanto parte dos microworkers entrevistados achavam que seu trabalho era valorizado e respeitado pelos contratantes, outros se mostraram frustrados com certos aspectos do funcionamento das plataformas de microworking. A rejeição injustificada do trabalho concluído é um dos exemplos trazidos. O sentimento de ser explorado como resultado de desigualdades presentes na estrutura de compensação, o desamparo advindo das políticas da plataforma, onde procedimentos são definidos de modo a favorecer os solicitantes, e a falta de qualificação decorrente de um trabalho simples e repetitivo são alguns dos pontos negativos trazidos pelos microworkers.

Assim, a dualidade da atividade se reflete em dois sentimentos conflitantes, porém coexistentes, de empoderamento e de marginalização. Os trabalhadores se sentem empoderados quando as estruturas permitem a escolha, e, se sentem marginalizados quando as mesmas estruturas restringem a ação. Preocupações éticas cruciais ganham cada vez mais espaço no mundo do crowdsourcing e estas devem ser consideradas e servir para fundamentar o design e o desenvolvimento de plataformas para esse fim. Entretanto, muitos acreditam que, com base no cenário político atual há poucas chances de que governos ao redor do mundo intervenham e protejam esses trabalhadores. A tendência é que cada vez mais trabalhadores aceitem a submissão a trabalhos extenuantes por centavos.

A trama se complica

Além de problemas ligados a relações de trabalho nos bastidores da automação, questões éticas e de assimetrias de poder ligadas à privacidade e à proteção dos dados do indivíduo também surgem neste campo. Diversos pesquisadores, como Virginia Eubanks em sua obra Automating Inequalities, mostram como a visão preconceituosa, punitiva e moralista da pobreza nunca nos deixou e foi incluída nas ferramentas de tomada de decisões automatizadas e preditivas de hoje.

Críticas em relação a tendências racistas e machistas em sistemas de automação devem ser tecidas. Entretanto, para muitos pesquisadores, o debate não deve estar fundamentado em questões como “o processamento de dados é mais justo se a taxa de erro é a mesma para todas as raças e gêneros?” Como afirma Alondra Nelson, a responsabilidade algorítmica é essencial, entretanto, o esforço em buscar uma tecnologia distópica mais “inclusiva”, tornando as comunidades negras, por exemplo, mais identificáveis em sistemas de reconhecimento facial que são desproporcionalmente usados para vigilância é extremamente preocupante.

Assim, é necessário que questões mais amplas sejam levadas em consideração, como por exemplo, se essas ferramentas devem ter seu desenvolvimento e utilização incentivados. Em Algorithms of Oppression, Safiya Umoja Noble estudou a representação das mulheres negras em ferramentas de busca e encontrou evidências perturbadoras de implicações sexistas e racistas em seus resultados. O trabalho de Noble não está atrelado, no entanto, em esforços para classificar resultados de pesquisa como válidos ou discrepantes, como uma visão corporativista de responsabilidade algorítmica poderia exigir. Pelo contrário, ela reformula os resultados da pesquisa como uma questão de justiça social e investigação sociológica, em vez de um mero problema comercial ou técnico que impede a maximização do lucro. Noble retorna às raízes do movimento da responsabilização, insistindo que os proprietários de sistemas algorítmicos devem agir de modo a garantir que a sua performance seja reconhecida como justa pela comunidade a que se mostra relevante.

Dessa forma, acredita-se que as grandes perguntas a serem respondidas são: Quais sistemas realmente merecem ser construídos? Quais problemas mais precisam ser resolvidos? Quem está melhor qualificado para construí-los? Também é necessário que tenhamos mecanismos de responsabilização genuínos, externos às empresas e acessíveis às populações. Entretanto, enquanto essas perguntas forem vistas como superadas ou utópicas talvez estejamos fadados a realidade descrita por Eubanks onde muitos acreditam que determinações complexas de benefícios não são algo que os especialistas em tecnologia bem-intencionados possam “consertar”, já que o próprio sistema é aceito, mesmo que profundamente problemático. Assim, abusos por parte de autoridades policiais, o capitalismo de vigilância empregado por grandes empresas de tecnologia e decisões baseadas em sistemas de credit scoring que tolhem direitos fundamentais são apenas algumas das consequências advindas da aceitação do uso distópico de novas tecnologias baseadas em automação.

O casting do papel de protagonista

A disputa pela vanguarda da inteligência artificial também traz consigo questionamentos quanto a forma de sua regulação. No último Internet Governance Forum, realizado na França em 2018, pela primeira vez o evento contou com a presença do Secretário-Geral das Nações Unidas, António Guterres, assim como do presidente do país anfitrião, neste caso Emmanuel Macron, a importância de uma abordagem ética em relação ao desenvolvimento da inteligência artificial foi reiterada diversas vezes. O chefe das Nações Unidas lembrou da importância do desenvolvimento de novas tecnologias que auxiliem o alcance das Metas para um Desenvolvimento Sustentável, mas também da necessidade que discussões a respeito da temática sejam trazidas a outras áreas do conhecimento, como por exemplo, as ciências sociais.

Não é por acaso que o tema é recorrente em conferências e eventos de governança ao redor do mundo. A fusão de aplicativos e corporações vem gerando uma concentração cada vez maior de dados, e, consequentemente, do poder conferido por esses ativos nas mão de poucos,  representando uma grande ameaça a democracias ao redor do globo. Como discorre a professora e pesquisadora Julia Powles, ainda há um grande atraso em relação a uma reavaliação radical sobre os principais atores responsáveis pelo controle dos vastos volumes de dados. Governantes e comunidades devem buscar uma atuação que vise desincentivar e desvalorizar a acumulação de dados por meio de políticas criativas, incluindo proibições, impostos, compartilhamento de dados e políticas de benefícios comunitários cuidadosamente definidos, tudo com o apoio da lei. Políticas de dados mais inteligentes reenergizariam a competição e a inovação, ambas inquestionavelmente desaceleradas com o poder de mercado concentrado dos gigantes da tecnologia.

Entretanto, o questionamento a respeito de uma forma de regulação que não impossibilite a empregabilidade e o desenvolvimento tecnológico ao mesmo tempo que garanta a dignidade humana e condições justas de trabalho ainda paira no ar. Como bem lembrado pelo Secretário-Geral das Nações Unidas em seu discurso de abertura do IGF 2018:

“a tecnologia deve capacitar, não nos dominar […]. Não podemos deixar nosso destino na era digital na mão invisível das forças do mercado. Entretanto, as formas clássicas de regulação não se aplicam a muitos desafios desta nova geração.”

Muitos gigantes da tecnologia estão criando princípios corporativos a fim de garantir que seus sistemas sejam projetados e implementados de maneira ética. Alguns criam oficiais de ética ou conselhos de revisão para supervisionar esses princípios. Mas as tensões permanecem, muitos questionam se essas promessas serão mantidas, uma vez que empresas podem mudar suas políticas e o idealismo pode se curvar à pressão financeira. Alguns ativistas, especialistas e até algumas empresas estão começando a argumentar que a única maneira de garantir práticas éticas é por meio da regulamentação governamental. Como afirma a advogada e ativista Renata Ávila, é necessário que líderes globais, principalmente aqueles que defendem valores de igualdade e justiça social, estejam cientes dos riscos trazidos pela rápida mercantilização digital para as pessoas vulneráveis em todo o mundo e seu impacto sobre a democracia e a dignidade.

Mais que figurantes

A presença ainda tímida do Sul Global na lista de estratégias nacionais para o desenvolvimento de Inteligência Artificial não é independente das desigualdades socioeconômicas herdadas do passado tanto entre países como dentro deles. Fatores como a falta de recursos, a atual arquitetura jurídica nacional e internacional muitas vezes limitam a capacidade de pesquisa e inovação de alguns países.

Por outro lado, a lucratividade do big data levou as grandes empresas a buscar o próximo bilhão de campos de coleta de dados em países em desenvolvimento. Com promessas de melhorias em segurança pública, gestão de recursos, transparência e bem-estar social, o entusiasmo gerado pelo uso da automação tomou conta do setor público em diversos Estados, especialmente em países que não possuem uma proteção à privacidade adequada.

Entretanto, muitos países do Sul Global não estão recebendo acesso necessário aos dados coletados em seus próprios territórios. Mesmo quando a informação está relacionada a questões de importância pública, como dados extraídos de ambientes urbanos, ela é cerceada por meio de regras contratuais. Dessa maneira, cidadãos não podem acessar ou tirar proveito dessas informações.

Hoje, as discussões sobre privacidade se concentram em dados pessoais, e não no acúmulo digital de dados estratégicos em silos fechados. O interesse nacional em relação a dados também deve ser tratado em um contexto de justiça econômica e social. Percebe-se em muitos casos que as estruturas de coleta e distribuição de dados não representam parcerias saudáveis entre o setor privado e governos, como demonstra Yasodara Cordova, pesquisadora da Digital Harvard Kennedy School.

E… Ação!

Há uma necessidade de minimizar os riscos sociais das mudanças tecnológicas, prevenir abusos de poder e entender os riscos da desumanização de aplicações tecnológicas. Nesse sentido, como apresentado nas contribuições do UN Expert Group Meeting on “Role of Public Institutions in the Transformative Impact of New Technologies” para o UN Secretary-General’s High-Level Panel on Digital Cooperation, legislações efetivas, esforços para a promoção da alfabetização e inclusão digital, conscientização da importância do uso ético de novas tecnologias, assim como a priorização do bem-estar social gerarão confiança no uso da tecnologia e permitirão que estas sejam adotadas de maneira mais propícia à consecução do desenvolvimento sustentável. Do contrário, desigualdades econômicas e assimetrias de poder continuarão a ser perpetuadas. Como diria o escritor William Gibson, “o futuro está aqui, ele só não está igualmente distribuído”

As opiniões e perspectivas retratadas neste artigo pertencem a suas autoras e não necessariamente refletem as políticas e posicionamentos oficiais do Instituto de Referência em Internet e Sociedade.