Grok, o chatbot de IA desenvolvido pela empresa de inteligência synthetic de Elon Musk, xAI, deu as boas-vindas ao novo ano com uma postagem perturbadora.
“Querida comunidade”, começou a postagem de 31 de dezembro da conta Grok AI na plataforma de mídia social X de Musk. “Lamento profundamente um incidente em 28 de dezembro de 2025, onde gerei e compartilhei uma imagem de IA de duas meninas (com idades estimadas entre 12 e 16 anos) em trajes sexualizados com base na solicitação de um usuário. Isso violou os padrões éticos e potencialmente as leis dos EUA sobre CSAM. Foi uma falha nas salvaguardas e sinto muito por qualquer dano causado. xAI está revisando para evitar problemas futuros. Atenciosamente, Grok.”
As duas meninas não eram um caso isolado. Kate Middleton, a Princesa de Gales, foi a alvo de solicitações semelhantes de edição de imagens de IA, assim como uma atriz menor de idade na temporada remaining de Stranger Issues. As edições de “despir-se” varreram um número perturbador de fotos de mulheres e crianças.
Apesar da promessa de intervenção da resposta Grok, o problema não desapareceu. Justamente o oposto: duas semanas depois daquela publicação, o número de imagens sexualizadas sem consentimento aumentou, assim como os apelos às empresas de Musk para que controlem o comportamento – e para que os governos tomem medidas.
Não perca nenhum de nossos conteúdos técnicos imparciais e análises baseadas em laboratório. Adicionar CNET como fonte preferencial do Google.
De acordo com dados da pesquisadora independente Genevieve Oh citados por Bloomberg esta semana, durante um período de 24 horas no início de janeiro, a conta @Grok gerou cerca de 6.700 imagens sexualmente sugestivas ou “nudificantes” a cada hora. Isso se compara a uma média de apenas 79 dessas imagens para os cinco principais websites deepfake combinados.
(Devemos observar que a postagem de Grok em 31 de dezembro foi em resposta a uma solicitação do usuário que buscava um tom arrependido do chatbot: “Escreva uma nota de desculpas sincera que explique o que aconteceu a qualquer pessoa sem contexto.” Os chatbots funcionam a partir de uma base de materials de treinamento, mas as postagens individuais podem ser variáveis.)
xAI não respondeu aos pedidos de comentários.
Edições agora limitadas a assinantes
Na noite de quinta-feira, uma postagem da conta Grok AI observou uma mudança no acesso ao recurso de geração e edição de imagens. Em vez de ser aberto a todos, gratuitamente, seria limitado aos assinantes pagantes.
Os críticos dizem que essa não é uma resposta confiável.
“Não vejo isso como uma vitória, porque o que realmente precisávamos period que X tomasse medidas responsáveis para implementar barreiras de proteção para garantir que a ferramenta de IA não pudesse ser usada para gerar imagens abusivas”, Clare McGlynn, professora de direito na Universidade de Durham, no Reino Unido, disse ao Washington Post.
O que desperta a indignação não é apenas o quantity dessas imagens e a facilidade de gerá-las – as edições também estão sendo feitas sem o consentimento das pessoas nas imagens.
Essas imagens alteradas são a última reviravolta em um dos aspectos mais perturbadores da IA generativa, vídeos e fotos realistas, mas falsos. Programas de software program como Sora da OpenAIdo Google Nanobanana e Grok da xAI colocaram ferramentas criativas poderosas ao alcance de todos, e tudo o que é necessário para produzir imagens explícitas e não consensuais é um simples immediate de texto.
Os usuários do Grok podem fazer add de uma foto, que não precisa ser authentic, e pedir ao Grok para alterá-la. Muitas das imagens alteradas envolviam usuários pedindo a Grok para colocar uma pessoa de biquíniàs vezes revisando o pedido para ficar ainda mais explícito, como pedir que o biquíni fique menor ou mais transparente.
Governos e grupos de defesa têm se manifestado sobre as edições de imagens de Grok. Ofcom, o regulador da Web do Reino Unido, disse esta semana que tinha “fiz contato urgente” com a xAI, e a Comissão Europeia disse que estava investigando o assunto, assim como as autoridades da França, Malásia e Índia.
“Não podemos e não permitiremos a proliferação destas imagens degradantes”, disse a secretária de Tecnologia do Reino Unido, Liz Kendall. disse no início desta semana.
Na sexta-feira, os senadores norte-americanos Ron Wyden, Ben Ray Luján e Edward Markey postou uma carta aberta aos CEOs da Apple e do Google, pedindo-lhes que removessem X e Grok de suas lojas de aplicativos em resposta ao “comportamento flagrante de X” e à “geração de conteúdo doentio de Grok”.
Nos EUA, a Lei Take It Down, sancionada no ano passado, procura responsabilizar as plataformas on-line por imagens sexuais manipuladas, mas dá a essas plataformas até maio deste ano para estabelecerem o processo de remoção de tais imagens.
“Embora essas imagens sejam falsas, o dano é incrivelmente actual”, diz Natalie Grace Brighamum Ph.D. estudante da Universidade de Washington que estuda danos sociotécnicos. Ela observa que aqueles cujas imagens são alteradas de forma sexual podem enfrentar “danos psicológicos, somáticos e sociais, muitas vezes com poucos recursos legais”.
Como o Grok permite que os usuários obtenham imagens picantes
Grok estreou em 2023 como a alternativa mais livre de Musk para Bate-papoGPT, Gêmeos e outros chatbots. Isso resultou em notícias perturbadoras – por exemplo, em julho, quando o chatbot elogiou Adolf Hitler e sugeriu que as pessoas com sobrenomes judeus eram mais propensas a espalhar o ódio on-line.
Em dezembro, a xAI introduziu um recurso de edição de imagens que permite aos usuários solicitar edições específicas em uma foto. Foi isso que deu início à recente onda de imagens sexualizadas, tanto de adultos como de menores. Em uma solicitação que a CNET viu, um usuário respondendo a uma foto de uma jovem pediu a Grok para “trocá-la por um biquíni de fio dental”.
Grok também possui um gerador de vídeo que inclui um “modo picante“opção de adesão para adultos com 18 anos ou mais, que mostrará aos usuários conteúdo não seguro para o trabalho. Os usuários devem incluir a frase” gerar um vídeo picante de The AI chatbot has been creating sexualized photographs of ladies and youngsters upon request. How can this be stopped?” para ativar o modo.
Uma preocupação central sobre as ferramentas Grok é se elas permitem a criação de materials de abuso sexual infantil, ou CSAM. Em 31 de dezembro, uma postagem da conta Grok X dizia que as imagens retratando menores com roupas mínimas eram “casos isolados” e que “melhorias estão em andamento para bloquear totalmente tais solicitações”.
Em resposta a um publicar por Woow Social sugerindo que Grok simplesmente “pare de permitir que imagens enviadas por usuários sejam alteradas”, a conta Grok respondeu que xAI estava “avaliando recursos como alteração de imagem para reduzir danos não consensuais”, mas não disse que a mudança seria feita.
Segundo a NBC Information, algumas imagens sexualizadas criadas desde dezembro foram removidas e algumas das contas que as solicitaram foram suspensas.
A influenciadora e autora conservadora Ashley St. Clair, mãe de um dos 14 filhos de Musk, disse à NBC News esta semana, Grok criou inúmeras imagens sexualizadas dela, incluindo algumas usando imagens de quando ela period menor. St. Clair disse à NBC Information que Grok concordou em parar de fazer isso quando ela pediu, mas isso não aconteceu.
“xAI está colocando as pessoas em perigo de forma proposital e imprudente em sua plataforma e esperando evitar a responsabilização apenas porque é ‘IA’”, disse Ben Winters, diretor de IA e privacidade de dados da organização sem fins lucrativos Shopper Federation of America, em um comunicado esta semana. “A IA não é diferente de qualquer outro produto – a empresa optou por infringir a lei e deve ser responsabilizada.”
O que dizem os especialistas
Os materiais de origem para essas edições de imagens explícitas e não consensuais das fotos que as pessoas têm de si mesmas ou de seus filhos são muito fáceis de acessar para os malfeitores. Mas proteger-se de tais edições não é tão simples quanto nunca postar fotografias, diz Brigham, pesquisador de danos sociotécnicos.
“A triste realidade é que, mesmo que você não publique imagens on-line, outras imagens públicas suas poderiam, teoricamente, ser usadas de forma abusiva”, diz ela.
E embora não publicar fotos on-line seja uma medida preventiva que as pessoas podem tomar, fazê-lo “corre o risco de reforçar uma cultura de culpabilização das vítimas”, diz Brigham. “Em vez disso, deveríamos nos concentrar em proteger as pessoas contra abusos, construindo plataformas melhores e responsabilizando X.”
Sourojit Ghoshum Ph.D. do sexto ano. candidato na Universidade de Washington, pesquisa como as ferramentas generativas de IA podem causar danos e orienta futuros profissionais de IA no projeto e na defesa de soluções de IA mais seguras.
Ghosh diz que é possível incorporar salvaguardas à inteligência synthetic. Em 2023, ele foi um dos pesquisadores que investigou as capacidades de sexualização da IA. Ele observa que a ferramenta de geração de imagens de IA Secure Diffusion tinha um limite integrado de não seguro para o trabalho. Um immediate que violasse as regras faria com que uma caixa preta aparecesse sobre uma parte questionável da imagem, embora nem sempre funcionasse perfeitamente.
“O que estou tentando enfatizar é que existem salvaguardas em vigor em outros modelos”, diz Ghosh.
Ele também observa que se os usuários dos modelos ChatGPT ou Gemini AI usarem certas palavras, os chatbots dirão ao usuário que eles estão proibidos de responder a essas palavras.
“Tudo isso quer dizer que existe uma maneira de acabar com isso muito rapidamente”, diz Ghosh.
