Tendemos a pensar na Apple App Retailer e na Google Play Retailer como “jardins murados” digitais – espaços seguros e organizados onde conteúdos perigosos ou desprezíveis são filtrados muito antes de chegarem às nossas telas. Mas uma nova e sombria análise do Projeto de Transparência Tecnológica (TTP) sugere que as paredes apresentam algumas rachaduras graves. O relatório revela uma realidade perturbadora: ambas as principais lojas estão atualmente infestadas com dezenas de aplicativos de “nudificação” alimentados por IA. Estas não são ferramentas obscuras escondidas na darkish internet; eles estão bem ali, permitindo que qualquer pessoa tire uma foto inocente de uma pessoa e tire digitalmente suas roupas sem o seu consentimento.
No início deste ano, a conversa em torno desta tecnologia atingiu o auge quando a IA de Elon Musk, Grok, foi apanhada a gerar imagens sexualizadas semelhantes na plataforma X. Mas embora Grok tenha se twister o pára-raios da indignação pública, a investigação da TTP mostra que foi apenas a ponta do iceberg. Uma simples pesquisa por termos como “despir-se” ou “nudificar” nas lojas de aplicativos traz uma longa lista de softwares projetados especificamente para criar pornografia deepfake não consensual.
A escala desta indústria é francamente surpreendente
Não estamos falando de alguns desenvolvedores desonestos escapando pelas fendas. De acordo com os dados, esses aplicativos acumularam coletivamente mais de 700 milhões de downloads. Eles geraram uma receita estimada em US$ 117 milhões. E aqui está a verdade incômoda: como a Apple e o Google normalmente cobram uma comissão sobre compras e assinaturas no aplicativo, eles estão efetivamente lucrando com a criação de imagens sexuais não consensuais. Cada vez que alguém paga para “despir” a foto de um colega de classe, de trabalho ou de um estranho, os gigantes da tecnologia recebem sua parte.
O custo humano desta tecnologia não pode ser exagerado. Essas ferramentas transformam fotos comuns em armas. Uma selfie do Instagram ou uma foto de um anuário pode ser transformada em materials explícito usado para assediar, humilhar ou chantagear as vítimas. Grupos de defesa têm gritado sobre isto há anos, alertando que a “nudificação da IA” é uma forma de violência sexual que atinge desproporcionalmente as mulheres e, assustadoramente, os menores.
Então, por que eles ainda estão lá?
Tanto a Apple quanto o Google têm políticas rígidas no papel que proíbem conteúdo pornográfico e explorador. O problema é a fiscalização. Tornou-se um jogo digital de Whac-A-Mole. Quando um relatório de alto perfil é divulgado, as empresas podem banir alguns aplicativos específicos, mas os desenvolvedores geralmente apenas ajustam o logotipo, alteram ligeiramente o nome e reenviam exatamente o mesmo código uma semana depois. Os sistemas de revisão automatizados parecem completamente incapazes de acompanhar a rápida evolução da IA generativa.
Para pais e usuários comuns, este é um alerta. Não podemos mais presumir que só porque um aplicativo está em uma loja “oficial” ele é seguro ou ético. À medida que as ferramentas de IA se tornam mais poderosas e mais fáceis de aceder, as salvaguardas em que confiávamos no passado estão a falhar. Até que os reguladores intervenham – ou até que a Apple e a Google decidam dar prioridade à segurança em detrimento das taxas de comissão – as nossas imagens digitais permanecem desconfortavelmente vulneráveis.
