Elon Musk não impediu Grok, o chatbot desenvolvido por sua empresa de inteligência synthetic xAI, de gerar imagens sexualizadas de mulheres. Depois relatórios surgiu na semana passada que a ferramenta de geração de imagens no X estava sendo usada para criar imagens sexualizadas de crianças, Grok criou potencialmente milhares de imagens não consensuais de mulheres em fotos “despidas” e de “biquíni”.
A cada poucos segundos, Grok continua a criar imagens de mulheres de biquíni ou roupa íntima em resposta às solicitações dos usuários no X, de acordo com uma análise da WIRED da produção ao vivo publicada publicamente dos chatbots. Na terça-feira, pelo menos 90 imagens envolvendo mulheres em trajes de banho e em vários níveis de nudez foram publicadas por Grok em menos de cinco minutos, mostram análises de postagens.
As imagens não contêm nudez, mas envolvem o chatbot de propriedade de Musk “tirando” roupas de fotos que foram postadas no X por outros usuários. Muitas vezes, na tentativa de escapar das barreiras de segurança de Grok, os usuários, não necessariamente com sucesso, solicitam que as fotos sejam editadas para fazer as mulheres usarem um “biquíni de fio dental” ou um “biquíni transparente”.
Embora a tecnologia prejudicial de geração de imagens de IA tenha sido usada para assediar e abusar digitalmente de mulheres há anos – esses resultados são frequentemente chamados de deepfakes e são criados por software program “nudify” – o uso contínuo de Grok para criar um grande número de imagens não consensuais marca aparentemente o caso de abuso mais comum e difundido até o momento. Ao contrário do software program prejudicial específico de nudificação ou “despir-se”, o Grok não cobra dinheiro do usuário para gerar imagens, produz resultados em segundos e está disponível para milhões de pessoas no X – tudo isso pode ajudar a normalizar a criação de imagens íntimas não consensuais.
“Quando uma empresa oferece ferramentas generativas de IA na sua plataforma, é sua responsabilidade minimizar o risco de abuso baseado em imagens”, afirma Sloan Thompson, diretor de formação e educação da EndTAB, uma organização que trabalha para combater o abuso facilitado pela tecnologia. “O que é alarmante aqui é que X fez o oposto. Eles incorporaram o abuso de imagens habilitado por IA diretamente em uma plataforma convencional, tornando a violência sexual mais fácil e mais escalonável.”
A criação de imagens sexualizadas por Grok começou a se tornar viral no X no last do ano passado, embora a capacidade do sistema de criar tais imagens tenha sido conhecido por meses. Nos últimos dias, fotos de influenciadores de redes sociais, celebridades e políticos têm sido alvo de usuários do X, que podem responder a uma postagem de outra conta e pedir a Grok para alterar uma imagem que foi compartilhada.
Mulheres que postaram fotos suas tiveram contas que responderam e pediram a Grok para transformar a foto em uma imagem de “biquíni”. Em um exemplovários usuários do X solicitaram que Grok alterasse uma imagem da vice-primeira-ministra da Suécia para mostrá-la de biquíni. Dois ministros do governo no Reino Unido também foram “despojados” de biquínis, relata dizer.
As imagens no X mostram fotografias de mulheres totalmente vestidas, como uma pessoa no elevador e outra na academia, sendo transformadas em imagens com pouca roupa. “@grok a colocou em um biquíni transparente”, diz uma mensagem típica. Em uma série diferente de postagens, um usuário pediu a Grok para “inflar o peito em 90%”, depois “inflar as coxas em 50%” e, por fim, “trocar a roupa para um biquíni minúsculo”.
Um analista que rastreou deepfakes explícitos durante anos e pediu para não ser identificado por motivos de privacidade, diz que Grok provavelmente se tornou uma das maiores plataformas que hospeda imagens deepfake prejudiciais. “É totalmente mainstream”, diz o pesquisador. “Não é um grupo obscuro [creating images]é literalmente todo mundo, de todas as origens. Pessoas postando em suas redes. Preocupação zero.”
