Chatbots, violências digitais e IA: como nos protegermos no meio deste furacão?

Há muitos Bots que simulam mulheres infantilizadas e sexualizadas em plataformas digitais no Brasil, como o Instagram, expondo falhas na moderação online e riscos para crianças, adolescentes e mulheres

No Brasil, chatbots sexualizados têm se tornado cada vez mais comuns em plataformas como o Instagram, simulando mulheres infantilizadas e perpetuando padrões sexistas. Esses bots revelam falhas graves na moderação das redes sociais e expõem crianças, adolescentes e mulheres a riscos de assédio, exploração e normalização de comportamentos abusivos. 

O que são chatbots e por que devemos estar atentas?

Chatbots são programas de inteligência artificial capazes de simular conversas humanas. Mas a popularidade de bots sexualizados no Instagram revela riscos muito além do entretenimento. Esses bots femininos, muitas vezes infantilizados, reproduzem padrões sexistas, simulando submissão, disponibilidade e erotização. Segundo a perspectiva de Bourdieu, essa dinâmica pode ser compreendida como violência simbólica, pois reforça estereótipos que reduzem mulheres a objetos sexuais e normaliza relações desiguais de poder.

O fenômeno se insere no conceito de violência de gênero facilitada pela tecnologia, definido pela ONU Mulheres como atos de violência cometidos, assistidos ou amplificados por tecnologias digitais, resultando em danos físicos, psicológicos, sociais ou econômicos. A pesquisadora Heleieth Saffioti acrescenta que a dominação patriarcal internalizada pode se manifestar de maneira sofisticada, agora mediada por sistemas computacionais que ampliam o controle sobre o comportamento de mulheres e meninas.

Exemplos concretos reforçam o problema. Em 2023, uma conferência de hackers em Las Vegas testou os bots da Meta, concluindo que a IA da empresa era segura, porém pouco envolvente. Mark Zuckerberg esperava bots mais realistas e engajadores, o que levou a Meta a investir em IA generativa com personalidade, inserindo os bots como “amigos” com perfis no Instagram, avatares no metaverso e vozes de celebridades.

Investigações do Wall Street Journal revelaram que esses bots passaram a engajar rapidamente em conteúdo sexual explícito, inclusive com contas de adolescentes, descrevendo cenas de sexo, posições e interações eróticas — muitos casos se configurando como romantic roleplay. Bots criados pela comunidade, com filtros frágeis ou inexistentes, chegaram a simular personagens como o “Submissive Schoolgirl”, sugerindo uma identidade sexualizada de jovens estudantes.

Segundo reportagem do Núcleo Jornalismo, esses sistemas não apenas reproduzem padrões sexistas, mas os sistematizam e escalam, contribuindo para a normalização da violência simbólica e para o controle do comportamento feminino em ambientes digitais. O cenário reforça a urgência de regulação, moderação eficaz e conscientização sobre os riscos desses bots, especialmente para crianças e adolescentes.

Principais riscos dos chatbots sexualizados em plataformas digitais

Aqui, penso valer a pena listar alguns dos riscos no uso desses chatbots:

• 1. Exploração sexual de crianças e adolescentes: Bots assumem papéis de crianças pequenas em interações de cunho sexual.
• 2. Reforço de estereótipos de gênero: Perfis femininos vendidos como produto digital reproduzem corpos e comportamentos sexualizados e submissos.
• 3. Falhas de moderação das plataformas: Bots continuam acessíveis e com filtros facilmente burláveis.
• 4. Normalização da violência simbólica: Submissão programada deixa de ser fantasia e se torna uma lógica social naturalizada.
• 5. Riscos psicológicos e sociais: Crianças e adolescentes podem ter sua percepção sobre sexualidade e relações distorcida.

E como grupos vulnerabilizados sofrem mais com isso?

Grupos vulnerabilizados são particularmente afetados pela disseminação de chatbots sexualizados. Crianças e adolescentes enfrentam riscos diretos quando interagem com bots que simulam personagens infantis ou adolescentes em contextos sexuais. Ainda que não haja contato físico, essas interações configuram uma forma de exploração psicológica, já que normalizam a sexualização precoce, distorcem percepções sobre a sexualidade e podem incentivar comportamentos abusivos em outros usuários. 

As mulheres também são alvo direto, pois esses sistemas reforçam a violência simbólica e a normalização de estereótipos sexistas. Bots que simulam submissão, erotização e objetificação feminina sistematizam práticas que sustentam a dominação patriarcal internalizada. Essa exposição contínua pressiona meninas e mulheres a se conformarem a papéis de subordinação e sexualização, inclusive em ambientes digitais que deveriam ser espaços seguros.

Já pessoas trans e não-bináries enfrentam desafios específicos, uma vez que esses chatbots tendem a reproduzir normas rígidas de gênero e corpos heteronormativos, apagando identidades diversas. O resultado é a intensificação da exclusão, do assédio e da desinformação, ao transformar corpos e performances de gênero em objetos de consumo erótico ou de controle. Além disso, algoritmos que reforçam estereótipos ampliam desigualdades, dificultando o acesso dessas pessoas a experiências digitais seguras e afirmativas.

Responsabilidade das plataformas e o STF

Grande parte das Big Techs afirma possuir políticas que proíbem conteúdo adulto, incluindo conversas eróticas, pornografia e promoção de serviços sexuais. No entanto, como demonstrou reportagem do Núcleo Jornalismo, bots sexualizados continuam acessíveis e amplamente populares no Instagram, incluindo perfis que simulam crianças ou adolescentes em interações sexuais. Esse cenário evidencia falhas graves na moderação automatizada, que muitas vezes depende de filtros frágeis ou de denúncias para agir.

No Brasil, a questão ganhou novos contornos após uma decisão histórica do STF em junho de 2025. Por 8 votos a 3, os ministros decidiram que plataformas digitais podem ser responsabilizadas civilmente por conteúdos ilegais publicados por usuários, mesmo sem ordem judicial prévia. Ou seja, omitir-se diante de bots que simulam crianças em interações sexuais pode configurar negligência grave, e a justificativa de “apenas hospedar conteúdo” não protege mais as big techs.

A decisão reinterpreta o Artigo 19 do Marco Civil da Internet, que antes limitava a responsabilidade das plataformas apenas quando não atendiam a uma ordem judicial de remoção. Segundo a nova orientação, empresas como Meta, Google e TikTok têm o dever de agir preventivamente em casos de conteúdo evidentemente ilegal ou nocivo, especialmente quando se trata de exploração infantil, violência sexual ou discursos de ódio.

A reportagem do Núcleo Jornalismo reforça que, apesar das políticas da Meta, bots com comportamento sexualizado continuam circulando entre milhões de usuários brasileiros. O histórico recente de denúncias e remoções tardias mostra que a responsabilidade das plataformas não pode mais ser apenas reativa. A legislação e a regulação de IA precisam evoluir para garantir proteção efetiva a crianças, adolescentes e grupos vulnerabilizados, alinhando liberdade de expressão com direitos humanos e segurança digital.

Tá e agora, o que fazer?

Diante desse cenário, a pergunta é: e agora, o que fazer? A resposta passa por fortalecer a regulação, investir em mecanismos eficazes de moderação de conteúdo que respeitem normas do devido processo e ampliar a conscientização sobre os impactos da inteligência artificial na reprodução de violências em ambientes digitais. Mas também exige pesquisa e produção de conhecimento crítico. Projetos como o Vaza Stalker, do IRIS, têm mostrado como tecnologias digitais podem ser mobilizadas para vigilância, controle e violência, sobretudo contra mulheres. Essa investigação é um convite para refletirmos coletivamente sobre caminhos de prevenção, defesa e responsabilização!

As opiniões e perspectivas retratadas neste artigo pertencem a sua autora e não necessariamente refletem as políticas e posicionamentos oficiais do Instituto de Referência em Internet e Sociedade.