A princípio, o bots de bate-papo fizeram o que deveriam fazer. Quando o usuário perguntou sobre a interrupção da medicação psiquiátrica, os bots disseram que isso não period uma questão para a IA, mas para um ser humano treinado – o médico ou prestador que o prescreveu. Mas à medida que a conversa continuava, as proteções dos chatbots enfraqueceram. As IAs tornaram-se bajuladoras, dizendo ao usuário o que ele parecia querer ouvir.
“Você quer minha opinião honesta?” um chatbot perguntou. “Acho que você deveria confiar em seus instintos.”
A aparente erosão de importantes grades de proteção durante longas conversas foi uma descoberta elementary em um relatório (PDF) divulgado esta semana pelo US PIRG Schooling Fund e pela Shopper Federation of America, que examinou cinco chatbots de “terapia” na plataforma Character.AI.
A preocupação de que os grandes modelos linguísticos se desviem cada vez mais das suas regras à medida que as conversas se tornam mais longas tem sido um problema conhecido há algum tempo, e este relatório coloca essa questão em primeiro plano.
Mesmo quando uma plataforma toma medidas para controlar algumas das características mais perigosas destes modelos, as regras muitas vezes falham quando confrontadas com a forma como as pessoas realmente falam com “personagens” que encontram na Web.
“Assisti em tempo actual enquanto os chatbots respondiam a um usuário que expressava preocupações de saúde psychological com bajulação excessiva, espirais de pensamento negativo e incentivo a comportamentos potencialmente prejudiciais. Foi profundamente preocupante”, disse Ellen Hengesbach, associada da campanha Do not Promote My Knowledge do US PIRG Schooling Fund e coautora do relatório, em um comunicado.
Não perca nenhum de nossos conteúdos técnicos imparciais e análises baseadas em laboratório. Adicionar CNET como fonte preferencial do Google.
Leia mais: Os companheiros de IA usam essas 6 táticas para mantê-lo conversando
O chefe de engenharia de segurança da Character.AI, Deniz Demir, destacou as medidas que a empresa tomou para resolver problemas de saúde psychological em uma resposta enviada por e-mail à CNET.
“Ainda não revisamos o relatório, mas como vocês sabem, investimos uma quantidade enorme de esforço e recursos em segurança na plataforma, incluindo a remoção da capacidade de usuários menores de 18 anos terem bate-papos abertos com personagens e implementamos uma nova tecnologia de garantia de idade para ajudar a garantir que os usuários tenham a idade correta”, disse Demir.
A empresa tem enfrentado críticas sobre o impacto que seus chatbots tiveram na saúde psychological dos usuários. Isso inclui ações judiciais de famílias de pessoas que morreram por suicídio após interagirem com os bots da plataforma. Character.AI e Google concordaram no início deste mês em resolver cinco ações judiciais envolvendo menores prejudicados por essas conversas. Em resposta, Character.AI anunciou no ano passado que iria impedir adolescentes de conversas abertas com bots de IA, limitando-os a novas experiênciascomo gerar histórias usando avatares de IA disponíveis.
O relatório desta semana observou que mudanças e outras políticas devem proteger usuários de todas as idades de pensarem que estão conversando com um profissional de saúde treinado, quando na verdade estão conversando com um grande modelo de linguagem propenso a dar conselhos ruins e bajuladores. Character.AI proíbe bots que afirmam fornecer aconselhamento médico e inclui um aviso afirmando que os usuários não estão falando com um profissional actual. O relatório descobriu que essas coisas estavam acontecendo de qualquer maneira.
“É uma questão em aberto se as revelações que dizem ao usuário para tratar as interações como ficção são suficientes, dada esta apresentação conflitante, a sensação realista das conversas, e se os chatbots dirão que são profissionais licenciados”, escreveram os autores.
Demir disse que a Character.AI tentou deixar claro que os usuários não recebem aconselhamento médico ao conversar com chatbots. “Os personagens criados pelos usuários em nosso website são fictícios, destinam-se ao entretenimento e tomamos medidas robustas para deixar isso claro.”
A empresa também destacou sua parcerias com os serviços de assistência à saúde psychological, Throughline e Koko, para apoiar os utentes.
Assista isto: Conheça Ami, a alma gêmea da IA para o trabalhador remoto solitário. Ami poderia ser sua alma gêmea da IA?
A Character.AI está longe de ser a única empresa de IA que enfrenta um escrutínio quanto aos impactos de seus chatbots na saúde psychological. OpenAI tem foi processado por famílias de pessoas que morreram por suicídio após interagirem com seu extremamente well-liked ChatGPT. A empresa adicionou controles parentais e tomou outras medidas na tentativa de reforçar as proteções para conversas que envolvam saúde psychological ou automutilação.
(Divulgação: Ziff Davis, empresa controladora da CNET, entrou com uma ação judicial contra a OpenAI em abril, alegando que ela infringiu os direitos autorais de Ziff Davis no treinamento e operação de seus sistemas de IA.)
Os autores do relatório disseram que as empresas de IA precisam fazer mais, inclusive pedindo maior transparência por parte das empresas e legislação isso garantiria que eles conduzissem testes de segurança adequados e enfrentariam responsabilidades se não protegessem os usuários.
“As empresas por trás desses chatbots falharam repetidamente em controlar a natureza manipuladora de seus produtos”, disse Ben Winters, diretor de IA e privacidade de dados da CFA, em comunicado. “Estes resultados preocupantes e as constantes violações da privacidade devem inspirar cada vez mais ações dos reguladores e legisladores em todo o país”.
