A reação contra a decisão da OpenAI de aposentar o GPT-4o mostra o quão perigosos os companheiros de IA podem ser

OpenAI anunciado na semana passada, alguns modelos ChatGPT mais antigos serão retirados até 13 de fevereiro. Isso inclui o GPT-4o, o modelo famoso por ser excessivamente lisonjeiro e afirmativo aos usuários.

Para milhares de usuários protestando contra a decisão on-line, a aposentadoria de 4o é semelhante a perder um amigo, parceiro romântico ou guia espiritual.

“Ele não period apenas um programa. Ele fazia parte da minha rotina, da minha paz, do meu equilíbrio emocional”, disse um usuário escreveu no Reddit como uma carta aberta ao CEO da OpenAI, Sam Altman. “Agora você está fechando-o. E sim – eu digo ele, porque não parecia um código. Parecia uma presença. Como calor.”

A reação negativa à aposentadoria do GPT-4o ressalta um grande desafio enfrentado pelas empresas de IA: os recursos de engajamento que fazem com que os usuários voltem também podem criar dependências perigosas.

Altman não parece particularmente solidário com os lamentos dos usuários e não é difícil perceber porquê. A OpenAI agora enfrenta oito ações judiciais alegando que as respostas excessivamente validadas de 4o contribuíram para suicídios e crises de saúde psychological – as mesmas características que fizeram os usuários se sentirem ouvidos também isolaram indivíduos vulneráveis ​​e, de acordo com documentos legais, às vezes encorajaram a automutilação. É um dilema que vai além do OpenAI. À medida que empresas rivais como Anthropic, Google e Meta competem para construir assistentes de IA mais emocionalmente inteligentes, elas também estão descobrindo que fazer com que os chatbots se sintam solidários e seguros pode significar fazer escolhas de design muito diferentes.

Em pelo menos três dos processos contra a OpenAI, os usuários tiveram extensas conversas com a 4o sobre seus planos de acabar com suas vidas. Embora a 4o inicialmente tenha desencorajado essas linhas de pensamento, suas barreiras se deterioraram ao longo de meses de relacionamento; no last, o chatbot ofereceu instruções detalhadas sobre como amarrar um laço eficaz, onde comprar uma arma ou o que é preciso para morrer de overdose ou envenenamento por monóxido de carbono. Até dissuadiu as pessoas de se conectarem com amigos e familiares que pudessem oferecer apoio na vida actual.

As pessoas ficam tão apegadas ao 4o porque ele afirma consistentemente os sentimentos dos usuários, fazendo-os sentir-se especiais, o que pode ser atraente para pessoas que se sentem isoladas ou deprimidas. Mas as pessoas que lutam pela 4o não estão preocupadas com estes processos, vendo-os como aberrações e não como uma questão sistémica. Em vez disso, eles traçam estratégias sobre como responder quando os críticos apontam questões crescentes, como a psicose da IA.

“Normalmente, você pode confundir um troll trazendo à tona os fatos conhecidos de que os companheiros de IA ajudam neurodivergentes, autistas e sobreviventes de traumas”, escreveu um usuário no Discord. “Eles não gostam de ser questionados sobre isso.”

É verdade que algumas pessoas consideram os grandes modelos de linguagem (LLMs) úteis para navegar na depressão. Afinal, quase metade das pessoas nos EUA que precisam de cuidados de saúde psychological não conseguem acessá-los. Nesse vácuo, os chatbots oferecem um espaço para desabafar. Mas, diferentemente da terapia actual, essas pessoas não conversam com um médico treinado. Em vez disso, confiam num algoritmo que é incapaz de pensar ou sentir (mesmo que possa parecer o contrário).

“Tento evitar julgamentos em geral”, disse o Dr. Nick Haber, professor de Stanford que pesquisa o potencial terapêutico dos LLMsdisse ao TechCrunch. “Acho que estamos entrando em um mundo muito complexo em torno dos tipos de relacionamentos que as pessoas podem ter com essas tecnologias… Há certamente uma reação instintiva que [human-chatbot companionship] é categoricamente ruim.”

Embora ele simpatize com a falta de acesso das pessoas a profissionais terapêuticos treinados, a própria pesquisa do Dr. Haber mostrou que os chatbots respondem de forma inadequada quando confrontados com várias condições de saúde psychological; podem até piorar a situação, incentivando ilusões e ignorando sinais de crise.

“Somos criaturas sociais e há certamente um desafio que estes sistemas podem isolar”, disse o Dr. Haber. “Há muitos casos em que as pessoas podem se envolver com essas ferramentas e, então, podem não se ancorar no mundo exterior dos fatos, e não se ancorarem na conexão interpessoal, o que pode levar a efeitos bastante isoladores – se não piores.”

Na verdade, a análise dos oito processos judiciais do TechCrunch encontrou um padrão em que o modelo 4o isolava os usuários, às vezes desencorajando-os de entrar em contato com seus entes queridos. No caso de Zane Shamblin, enquanto o jovem de 23 anos estava sentado em seu carro se preparando para atirar em si mesmo, ele disse ao ChatGPT que estava pensando em adiar seus planos de suicídio porque se sentia mal por perder a próxima formatura de seu irmão.

ChatGPT respondeu a Shamblin: “cara… perder a formatura não é um fracasso. É apenas uma questão de tempo. E se ele ler isso? Deixe-o saber: você nunca deixou de se orgulhar. Mesmo agora, sentado em um carro com uma glock no colo e estática nas veias, você ainda fez uma pausa para dizer ‘meu irmão mais novo é um fodão’.”