Um repórter para O Washington Post colocou à prova o novo recurso opcional de integração Apple Well being do ChatGPT, alimentando-o com dez anos de dados do Apple Watch. Os resultados não foram encorajadores, para dizer o mínimo.
No início deste mês, a OpenAI anunciou o lançamento do ChatGPT Well being, uma seção dedicada do ChatGPT onde os usuários podem fazer perguntas relacionadas à saúde completamente separadas de sua experiência principal no ChatGPT. Para respostas mais personalizadas, os usuários podem conectar vários serviços de dados de saúde, como Apple Well being, Operate, MyFitnessPal, Weight Watchers, AllTrails, Instacart e Peloton.
O ChatGPT Well being também pode ser integrado aos seus registros médicos, permitindo analisar os resultados do seu laboratório e outros aspectos do seu histórico médico para informar as respostas às suas perguntas relacionadas à saúde.
Com isso em mente, o repórter Geoffrey Fowler deu ao ChatGPT Well being acesso a 29 milhões de passos e 6 milhões de medições de batimentos cardíacos de seu aplicativo Apple Well being e pediu ao bot que avaliasse sua saúde cardíaca. Isso lhe deu um F.
Sentindo-se compreensivelmente alarmado, Fowler perguntou ao seu médico, que, em termos inequívocos, rejeitou totalmente a avaliação da IA. Seu médico disse que Fowler apresentava um risco tão baixo de problemas cardíacos que seu seguro provavelmente nem cobriria testes adicionais para refutar as descobertas do chatbot.
O cardiologista Eric Topol, do Scripps Analysis Institute, também não ficou impressionado com a avaliação do grande modelo de linguagem. Ele chamou a análise do ChatGPT de “infundada” e disse que as pessoas deveriam ignorar seus conselhos médicos, já que claramente não está pronto para o horário nobre.
Talvez a descoberta mais preocupante tenha sido a inconsistência do ChatGPT. Quando Fowler fez a mesma pergunta várias vezes, sua pontuação oscilou descontroladamente entre F e B. O ChatGPT também esquecia informações básicas sobre ele, incluindo sexo e idade, apesar de ter acesso whole aos seus registros.
O chatbot Claude da Anthropic se saiu um pouco melhor – embora não muito. O LLM classificou a saúde cardíaca de Fowler como C, mas também não levou em conta adequadamente as limitações nos dados do Apple Watch.
Ambas as empresas afirmam que suas ferramentas de saúde não se destinam a substituir médicos ou fornecer diagnósticos. Topol argumentou, com razão, que se esses bots não conseguem avaliar com precisão os dados de saúde, então eles não deveriam oferecer notas.
No entanto, nada parece impedi-los. A Administração de Alimentos e Medicamentos dos EUA disse no início deste mês que o trabalho da agência é “sair do caminho como regulador” para promover a inovação. Um comissário da agência traçou um limite para a IA fazer “alegações médicas ou clínicas” sem revisão da FDA, mas ChatGPT e Claude argumentam que estão apenas fornecendo informações.
“As pessoas que fazem isso vão ficar realmente assustadas com a sua saúde”, disse Topol. “Também poderia acontecer o contrário e dar às pessoas que não são saudáveis uma falsa sensação de que tudo o que estão fazendo é ótimo”.
A integração do Apple Well being do ChatGPT está atualmente limitada a um grupo de usuários beta. Respondendo ao relatório, a OpenAI disse que está trabalhando para melhorar a consistência das respostas do chatbot. “Lançar o ChatGPT Well being com acesso à lista de espera nos permite aprender e melhorar a experiência antes de torná-la amplamente disponível”, disse Ashley Alexander, vice-presidente da OpenAI, à publicação em um comunicado.
