Desafios na moderação de conteúdo envolvendo racismo

A moderação de conteúdo nas redes sociais tem sido um tema de frequente discussão. Recentemente, um episódio envolvendo o Twitter no Brasil e postagens contendo desinformação (fake news) demonstrou que ainda são necessários mais avanços para garantir que conteúdos nocivos não sejam disseminados na internet.

Entretanto, se há uma coisa que todos os incidentes envolvendo moderação têm nos ensinado é que, geralmente, não há resposta fácil. Riscos como censura prévia e remoção indevida de conteúdo são apenas alguns dos desafios propostos por essa discussão, mas a sua conjugação com outros fatores, como preconceitos sociais, resulta em problemas ainda maiores do que aqueles que já conhecemos.

Aqui no IRIS, já tivemos publicação sobre como a moderação de conteúdo pode afetar e prejudicar a expressão da população LGBTQIA+ na internet. No texto de hoje, o foco é sobre o que fazer quando a moderação de conteúdo precisa lidar com o racismo.

A disputa pela linguagem

É de se esperar que o debate sobre moderação de conteúdo comece, antes de qualquer coisa, pela própria análise da linguagem. Afinal, é o uso de determinados termos que costuma definir se uma postagem específica deve ou não ser removida. No entanto, quando se fala de racismo, há uma abordagem adicional a ser observada: a língua não é um campo neutro. 

Em seu livro “Racismo Linguístico: os subterrâneos da linguagem e do racismo”, Gabriel Nascimento desbrava esse tema e relembra que a língua é um projeto de poder e também um espaço de luta da racialidade. Expressões historicamente racistas são mantidas no vocabulário brasileiro, por exemplo, e reforçam estereótipos ruins sobre a população negra.

Por outro lado, o uso não-formal da língua por pessoas negras marginalizadas também gera uma disputa pelo uso “correto” das palavras, tema que Lélia Gonzalez há muito tempo já abordou, ao defender não somente a criação da categoria da amefricanidade, como também do próprio pretoguês. O preconceito linguístico, portanto, reforça que a politização da língua abriga um local para a disputa racial.

Talvez você possa estar pensando, porém, que a moderação de conteúdo racista seja mais fácil do que realmente aparenta, afinal, nem seria preciso ir tão longe na análise da linguagem. Postagens notadamente racistas costumam vir com palavras-chave associadas, como macaco, e toda uma infinidade de ofensas conhecidas, ou com expressões que demonstram evidente desprezo pela população negra.

Ocorre que a atuação dessa moderação nem sempre é tão óbvia, pois ela exige atenção não somente no que se modera, como na forma em que se modera um conteúdo.

Moderação de conteúdo “às cegas”

Você já deve ter visto pessoas escrev3ndo com númer0s no lug4r de letras, a fim de evitar ter seus posts derrubados ou com alcance reduzido nas redes sociais. Em alguns casos, esse tipo de ação está relacionado a postagens envolvendo conteúdo sexual não-nocivo, mas que poderia ser barrado pelo algoritmo da plataforma.

No caso de pessoas negras, estudos demonstram que isso tem ocorrido em postagens envolvendo debates sobre justiça racial e racismo, quando esse grupo busca compartilhar suas vivências marginalizadas. Além disso, outra pesquisa identificou que sistemas de IA para moderação de discurso de ódio são mais propensos a sinalizar como ofensivas as postagens de afroamericanos, assim como aquelas escritas em inglês-afroamericano.

Apenas para se ter uma ideia, em 2017, uma ativista negra teve sua postagem derrubada pelo Facebook após denunciar os ataques racistas que vinha sofrendo em razão de um comentário na internet. Ativistas negros dos EUA já adotaram, inclusive, novas formas para conseguir debater sobre esse assunto sem serem suspensos ou banidos – ou, ainda, como eles chamam, “getting Zucked” (que poderia ser traduzido como “ser Zuckeado”, em referência a Mark Zuckerberg, um dos fundadores do Facebook). Dentre as alternativas criadas por eles, estão o uso de emojis, hashtags e até mesmo gírias como “wypipo” (em referência a “pessoas brancas”).

Em razão disso, em 2020, o Facebook anunciou mudanças em seus algoritmos, que por anos teriam atuado mediante a política de “race-blind”, isto é, algo como “cego às raças”, como forma de uma atuação mais neutra e imparcial. Segundo a reportagem, essa antiga perspectiva teria levado a plataforma a ser mais rigorosa na remoção de ofensas contra pessoas brancas, com a exclusão de postagens de pessoas de cor do outro lado.

No entanto, ainda de acordo com a notícia, ao anunciar as referidas mudanças, o Facebook teria reconhecido que passaria a melhorar a moderação de conteúdo automática da linguagem considerada “a pior das piores” (“the worst of the worst” – WoW), que seriam aquelas com ofensas a pessoas negras, a comunidade LGBTQIA+, muçulmanos, pessoas de mais de uma raça e judeus.

Não é possível solucionar problemas se nós não os vemos

Situações como essa acendem um alerta por inúmeras razões. Uma delas é perceber que, além de estarem sujeitas a se tornarem alvo de trolls e grupos extremistas nas redes sociais, pessoas negras também podem ter tolhido o seu direito de se manifestar e denunciar esses episódios. Em um mundo cada vez mais conectado, onde estar na internet é mais uma forma de existir, isso significa invisibilizar ainda mais uma parte da população que já sofre com isso no dia a dia.

Com efeito, a movimentação que as plataformas – em especial, o Facebook – vêm realizando é muito necessária (e vem quase tarde). De forma repetida, estudos indicam que a era de cegueira às raças não tem trazido resultados eficientes na luta contra o racismo, que, principalmente pelo seu aspecto estrutural, foge a uma moderação de conteúdo mais superficial em torno do tema.

Aliás, é sabido que discursos que prezam pela neutralidade podem dar ensejo justamente a discursos opressores, por não darem a devida atenção a preconceitos que estão arraigados na sociedade. Quando se fala em tecnologia, esse tipo de discurso é frequentemente utilizado por quem acredita que as novas tecnologias são neutras, sem recordar que mesmo a inteligência artificial mais sofisticada provavelmente envolveu uma criação humana por trás. A internet, como um novo local de interação social, não está isenta de repetir fatos sociais e, consequentemente, preconceitos que temos de presenciar em nossa rotina.

O debate sobre racismo algorítmico, que tem ganhado cada vez mais vozes mundo afora, busca justamente trazer à tona a dinâmica do racismo estrutural que também está presente na tecnologia. Tarcízio Silva, que é um dos expoentes no Brasil sobre o tema, já destacou em inúmeros trabalhos o quanto esse preconceito pode enviesar algoritmos das mais diversas formas.

Um direcionamento de Djamila Ribeiro, em seu livro “O que é lugar de fala?”, deixa ainda mais evidente o que é necessário para seguir: não há como melhorar uma realidade que não se nomeia. Reconhecer o enviesamento na moderação de conteúdo é o primeiro passo, mas ainda precisamos ir adiante se quisermos que a internet se torne um local seguro para as minorias.

Relatórios anuais e transparência nos procedimentos de detecção e remoção de conteúdo pelas plataformas também são essenciais para esse projeto. Quanto melhor se entender de que maneira o algoritmo de moderação funciona, melhores poderão ser as soluções para as suas falhas – o que envolve, igualmente, trazer as minorias afetadas para que possam participar desse processo de revisão.

Por uma moderação que enxergue a todos, todas e todes

Mesmo na internet, a língua segue sendo um espaço de disputa da racialidade. Junto aos humanos que estão por trás, seja na criação, seja na possibilidade de revisão humana, os sistemas de IA de moderação de conteúdo se somam a uma batalha que envolve espaços de poder, racismo e linguagem, com o objetivo de tornar a rede um lugar mais seguro.

Sem lidar com isso de forma objetiva e direta, porém, uma política de moderação “cega às raças” agiu de forma a impedir não somente discursos racistas, mas, em alguns casos, o próprio discurso contra a discriminação e denúncias contra esse tipo de conteúdo. Talvez a ideia de uma deusa da justiça com os olhos vendados, pois a ela não importaria quem estaria sendo julgado, tenha conquistado as plataformas para reproduzir essa ideia dentro de seus espaços.

Entretanto, o que parece urgente é a necessidade de um regime de moderação que enxergue exatamente a quem ele está afetando, em que contexto e por quê. Reconhecer a existência do racismo estrutural implica em compreender que a luta contra esse preconceito exige constante vigia e olhos bem abertos, a fim de que suas vítimas não acabem sendo vítimas duas vezes – de seu ofensor e de quem deveria lhes proteger.

As opiniões e perspectivas retratadas neste artigo pertencem a seu autor e não necessariamente refletem as políticas e posicionamentos oficiais do Instituto de Referência em Internet e Sociedade.