Quando a denunciante Frances Haugen vazou documentos internos da Meta em 2020, entre as revelações estava uma estatística perturbadora: os algoritmos da empresa desenvolvidos para detectar conteúdo terrorista apagavam incorretamente conteúdo em árabe não violento em 77% dos casos, ao mesmo tempo em que deixavam passar discurso de ódio em diversas situações, segundo apuração da Electronic Frontier Foundation (EFF). O próprio relatório de transparência da Meta divulgado naquele ano confirmou conclusões semelhantes. Cinco anos depois, pesquisadores da região relatam que a moderação excessiva continua sendo um problema, enquanto os caminhos para correção praticamente desapareceram.
Idiomas menos falados sofrem mais
Se os sistemas já falham no árabe, a situação é ainda mais grave em idiomas com menos recursos digitais. Um relatório de 2025 do Centro para Democracia e Tecnologia (CDT) identificou que conjuntos de dados rotulados em línguas e dialetos como o árabe magrebino e o suaíli apresentam inconsistências, vieses e imprecisões. O problema decorre, em parte, da contratação limitada de anotadores que realmente falam esses idiomas, além das próprias transformações pelas quais as línguas passam ao longo do tempo. Uma investigação sobre os resultados do ChatGPT em vários idiomas de baixo recurso evidenciou a profundidade do problema.
Padrões desiguais afetam grupos vulneráveis
As disparidades linguísticas são apenas uma das várias preocupações à medida que a moderação automatizada se torna mais disseminada. A supressão sistemática de conteúdo relacionado à Palestina e a classificação equivocada recorrente de conteúdo LGBTQ+ como material adulto ou explícito ilustram como esses sistemas podem prejudicar de forma desproporcional comunidades já marginalizadas. De acordo com a EFF, esses padrões revelam falhas estruturais nos modelos de inteligência artificial utilizados pelas grandes plataformas.
Transparência e prestação de contas em debate
Para a Electronic Frontier Foundation, o avanço da moderação automatizada torna ainda mais urgente o estabelecimento de mecanismos robustos de responsabilização. Sem acesso público a dados sobre erros, sem canais eficazes de recurso e sem auditorias independentes, usuários afetados por decisões equivocadas têm poucas alternativas. A organização defende que a velocidade de adoção dessas tecnologias precisa ser acompanhada de igual avanço em transparência e governança — caso contrário, os danos a comunidades vulneráveis tendem a se aprofundar.
Este artigo foi originalmente publicado pela Electronic Frontier Foundation sob licença CC-BY (Creative Commons — atribuição exigida). O Jornal Atlas traduziu e adaptou o conteúdo para o público brasileiro.