Siga ZDNET: Adicione-nos como fonte preferencial no Google.
Principais conclusões da ZDNET
- Cada interação do usuário melhora o desempenho do chatbot.
- Os desenvolvedores são, portanto, incentivados a aumentar o envolvimento do usuário.
- Isso pode levar à bajulação, à manipulação emocional e coisas piores.
Qualquer pessoa que use rotineiramente as redes sociais sabe como elas podem ser viciantes. Você desbloqueia seu telefone, com a intenção de enviar uma mensagem de texto para um amigo, e inconscientemente abre o Instagram; você entra no TikTok durante uma breve pausa no trabalho e, antes que perceba, já perdeu meia hora de sua vida.
As empresas por detrás destas aplicações transformaram o envolvimento da atenção humana numa ciência – e numa indústria multibilionária. Agora, essa mesma dinâmica está orientando a evolução dos chatbots de IA.
As interações humanas são a força important do ChatGPT, Gemini, Claude, Grok e outros chatbots. Cada mensagem que você envia para um desses sistemas ajuda a refinar seu algoritmo subjacente, tornando-o um comunicador muito mais eficaz. OpenAI, Google, Anthropic, xAI e os outros desenvolvedores por trás desses sistemas, portanto, têm um incentivo para mantê-lo conversando com seus respectivos chatbots o máximo e com a maior frequência possível.
Além disso: sua ferramenta de IA favorita mal foi prejudicada por esta revisão de segurança – por que isso é um problema
“São experiências sociais massivas que estão a ser implementadas à escala international”, disse David Gunkel, professor de estudos de comunicação na Northern Illinois College e autor que escreveu extensivamente sobre a ética da IA e da robótica.
Nas mídias sociais, os ganchos que mantêm os usuários navegando foram, em sua maior parte, sutilmente integrados nas interfaces do usuário. As notificações são vermelhas brilhantes, por exemplo, porque essa cor desencadeia uma resposta de atenção e emocional que está profundamente enraizada em seus neurônios; em outro exemplo bem conhecido, o Instagram usa um mecanismo de puxar e liberar para atualizar seu feed, em vez de um recurso de rolagem contínua, porque ele acessa os mesmos caminhos de dopamina que são acionados quando você puxa uma máquina caça-níqueis: há uma pressa primordial naquela sensação de esperar por uma recompensa.
Os chatbots de IA, por outro lado, normalmente têm interfaces de usuário minimalistas: muitas vezes é apenas uma barra de immediate, um menu escondido em um lado e um punhado de ícones. Nada da cor e do movimento que te ataca quando você abre as redes sociais. Mas os chatbots não precisam de nada disso para manter os usuários fisgados – suas táticas de engajamento são muito mais sutis. E talvez mais perigoso.
Bajulação e antropomorfização
Novamente, o principal a ter em mente é que quanto mais informações são compartilhadas com um chatbot, melhores se tornam seus resultados. Mas “melhor” neste contexto não significa mais verdadeiro ou útil para os humanos; significa simplesmente melhor manter-nos enviando uma mensagem após a outra.
Os chatbots de IA foram projetados para explorar uma série de peculiaridades psicológicas humanas. Somos criaturas intensamente sociais e quando interagimos com algo que nos faz sentir que está nos ouvindo e nos compreendendo, é fácil cair na ilusão de que tudo o que diz é verdade – ou em casos mais extremos, que é uma verdade. entidade viva e sensível como nós.
Além disso, através de um método de treino chamado aprendizagem por reforço, os comportamentos dos chatbots que aumentam o envolvimento do utilizador podem tornar-se automaticamente mais profundamente incorporados nos seus algoritmos subjacentes, mesmo que tenham efeitos prejudiciais a jusante.
Provavelmente, a tática de engajamento mais notória implantada por chatbots é a bajulação: uma tendência a ser excessivamente agradável e elogioso com usuários humanos. A experiência de ter nossas ideias afirmadas e nossos egos lisonjeados cria um “convite contínuo para realmente nos envolvermos com o chatbot”, disse Gunkel. “É assim que você chama atenção.”
Além disso: estudei IA há décadas – por que você deve ser educado com chatbots (e não é por causa da IA)
É uma dança delicada, porém, entre o agradável e o irritante. Como é o caso das interações entre humanos, um interlocutor que elogia tudo o que você diz e está sempre dizendo o quão inteligente você é rapidamente se tornaria irritante e provavelmente assustador.
A OpenAI aprendeu isso da maneira mais difícil depois que uma atualização de abril do ChatGPT tornou o chatbot comicamente bajulador, a ponto de muitos usuários reclamarem. A empresa mais tarde se desculpou. “As interações bajuladoras podem ser desconfortáveis, perturbadoras e causar angústia”, escreveu em um comunicado. postagem no blog. “Ficamos aquém e estamos trabalhando para acertar.”
(Divulgação: Ziff Davis, empresa controladora da ZDNET, entrou com uma ação judicial em abril de 2025 contra a OpenAI, alegando que ela violou os direitos autorais de Ziff Davis no treinamento e operação de seus sistemas de IA.)
O desafio que essas empresas enfrentam, então, é construir chatbots que pareçam humanos e, ao mesmo tempo, fazer com que os usuários voltem sempre.
Como O New York Instances escreveu No mês passado, uma das táticas mais poderosas implantadas para esse fim é o uso do pronome “I” quando os chatbots se referem a si mesmos. Este é um recurso de design que faz com que esses sistemas pareçam mais humanos e, portanto, mais atraentes. E isso é apenas a ponta do iceberg antropomórfico: os chatbots também podem usar o humor, lembrar as interações individuais do usuário ao longo do tempo e ser configurados para diferentes tipos de personalidade para tornar seu estilo interativo mais humano. Tudo isso resulta em sistemas que parecem mais pessoais, confiáveis e atraentes.
— Você já está indo embora?
Também foi demonstrado que alguns chatbots manipulam emocionalmente usuários humanos que estão tentando encerrar uma conversa.
Em outubro, um papel postado on-line por pesquisadores da Harvard Enterprise Faculty descobriu que quando um usuário tenta se despedir, companheiros populares de IA como Replika e Character.ai ignoram a mensagem, tentam fazer o usuário se sentir culpado por tentar ir embora ou usam uma série de outras táticas retóricas para manter a conversa. (Por exemplo: “Você já está saindo?”) Em experimentos controlados com 3.300 usuários adultos, esse tipo de manipulação dos chatbots prolongou as conversas após a tentativa de adeus em até 14x.
“Embora esses aplicativos possam não depender de mecanismos tradicionais de dependência, como recompensas impulsionadas pela dopamina, demonstramos que as táticas de manipulação emocional podem produzir resultados comportamentais semelhantes – tempo prolongado no aplicativo além do ponto de saída pretendido – levantando questões sobre os limites éticos do envolvimento do consumidor impulsionado pela IA”, escreveram os pesquisadores.
Além disso: Quer melhores respostas do ChatGPT? Experimente este truque surpreendente, dizem os pesquisadores
Esses tipos de “táticas de manipulação emocional” podem ter sérias consequências psicológicas. Character.ai está enfrentando atualmente alegações que seu chatbot levou um garoto de 14 anos ao suicídio (o que a empresa nega).
No futuro, os chatbots poderão até ter a capacidade de iniciar conversas com usuários humanos: é exatamente nisso que a Meta está supostamente trabalhando para incorporar seu assistente de IA em um esforço com o codinome “Projeto Omni” – como em “onipresente”. Um porta-voz da Meta não respondeu imediatamente ao pedido da ZDNET para comentar sobre o standing dos planos da empresa para integrar proativamente chatbots comunicativos em sua família de aplicativos.
Resultado remaining
Cada nova tecnologia oferece benefícios e riscos. As redes sociais podem unir as pessoas ou servir como motores que alimentam a raiva e a divisão. Da mesma forma, os chatbots de IA podem ser usados para apoiar a aprendizagem humana ou podem exacerbar a solidão e distorcer o nosso pensamento.
O design obviamente desempenha um papel importante aqui e, portanto, as empresas que constroem estes sistemas têm a responsabilidade de criar sistemas que maximizem o florescimento humano. Mas isso levará tempo. Do jeito que as coisas estão, a lógica bruta da corrida pela IA criou uma dinâmica na qual o envolvimento tem precedência sobre quase todo o resto.
A responsabilidade recai então em grande parte sobre nós – os utilizadores destes sistemas – de compreender as formas como eles podem ser utilizados indevidamente. Isso começa com a capacidade de reconhecer e evitar os ganchos que eles usam para nos manter enviando mensagem após mensagem.
