O cenário de pesadelo favorito de todos quando se trata de inteligência synthetic é que ela de alguma forma ganha senciência e começa a matar humanos. Acontece que não é necessário alcançar superinteligência para que a IA comece a custar vidas humanas; requer apenas que os humanos concedam demasiada confiança e deferência a sistemas falhos. UM novo relatório da Reuters destaca a proliferação da IA nos cuidados de saúde, desde dispositivos médicos com funcionalidade de IA até sistemas destinados a ajudar os médicos na sala de operações, e conclui que a tecnologia, apresentada como um grande passo em frente, pode estar a produzir resultados piores.
Central para o Relatório da Reuters é o TruDi Navigation System, um sistema de navegação guiado por imagem produzido por uma filial da Johnson & Johnson e projetado para tratar sinusite crônica. Em 2021, a empresa anunciou que usaria IA para ajudar especialistas de ouvido, nariz e garganta em cirurgias a eliminar a inflamação dos seios da face.
Até a injeção de IA, o dispositivo estava no mercado há três anos e tinha sete relatos não confirmados de mau funcionamento. Desde que a “atualização” da IA foi introduzida no sistema, a Meals and Drug Administration dos EUA recebeu alegadamente mais de 100 notificações de avarias e pelo menos 10 relatos de pacientes que foram feridos por erros que aparentemente foram o resultado de má informação do sistema de IA.
Algumas dessas lesões foram incrivelmente graves e aparentemente foram causadas principalmente pelo sistema que desinformou os cirurgiões sobre onde seus instrumentos estavam localizados dentro do paciente durante a operação. Isso teria resultado em casos de um cirurgião perfurando a base do crânio de um paciente, vazamento de líquido cefalorraquidiano do nariz de um paciente e pacientes sofrendo derrames depois que o cirurgião atingiu acidentalmente uma artéria importante.
Como os incidentes ainda estão sob análise, a FDA não atribuiu os ferimentos à IA. Mas as vítimas certamente parecem acreditar que isso pode ter desempenhado um papel. De acordo com a Reuters, duas pessoas que sofreram derrames devido a uma cirurgia envolvendo o Sistema de Navegação TruDi processaram e argumentaram que “O produto period indiscutivelmente mais seguro antes de integrar alterações no software program para incorporar inteligência synthetic do que depois que as modificações do software program foram implementadas”.
Embora o Sistema de Navegação TruDi seja um exemplo notável dos riscos potenciais de confiar na IA em ambientes como a sala de cirurgia, está longe de ser o único dispositivo que integra IA em sua operação. Segundo a Reuters, existem 1.357 dispositivos médicos que utilizam IA que foram aprovados pela FDA. Poucos estão livres de preocupações. Pesquisa publicada no JAMA Health Forum no início deste ano descobriu que os dispositivos médicos habilitados para IA têm uma taxa de recall surpreendentemente alta: 43% tiveram problemas suficientemente graves para retirá-los do mercado menos de um ano após a sua aprovação inicial – cerca de duas vezes a taxa de dispositivos sem IA.
Notavelmente, essa pesquisa descobriu que muitos desses dispositivos vieram de empresas de capital aberto. Essas empresas, como a Johnson & Johnson, podem ter caído na armadilha de lançar um produto no mercado sem testes de segurança suficientes. Essa é a acusação de uma das ações judiciais relacionadas ao Sistema de Navegação TruDi, que alega que seus recursos de IA foram promovidos como uma “ferramenta de advertising” e na verdade não melhoraram a precisão. Na verdade, o processo alega que o fabricante do dispositivo reduziu o seu padrão de segurança para “80% de precisão” a fim de lançar a nova tecnologia no mercado mais rapidamente.
Mesmo quando os dispositivos de IA não estão envolvidos em operações que podem levar diretamente a resultados adversos para a saúde, ainda podem fornecer informações incorretas. Por exemplo, Sonio Detect, um sistema de IA para análise de imagens fetais, supostamente rotula incorretamente as estruturas fetais e “associa-as às partes erradas do corpo”. de acordo com um relatório da FDA. Isso está de acordo com relatórios do ano passado que descobriram IA médica do Google alucinando partes do corpo.
As empresas responsáveis por esta tecnologia não parecem realmente ver o problema. Integra LifeSciences, empresa que adquiriu o sistema de navegação TruDi da Johnson & Johnson em 2024, disse à Reuters que os relatórios da FDA “não fazem nada mais do que indicar que um sistema TruDi estava em uso numa cirurgia onde ocorreu um evento adverso” e argumentou que “não há provas credíveis que demonstrem qualquer ligação causal entre o sistema de navegação TruDi, a tecnologia de IA e quaisquer alegados ferimentos”.
Você também não pode contar com a ação do FDA sobre esses supostos problemas. A parte da agência encarregada de revisar e avaliar a segurança de dispositivos médicos habilitados para IA foi severamente prejudicada por cortes do Departamento de Eficiência Governamental (DOGE), perdendo 15 de seus 40 cientistas, segundo a Reuters. Outra unidade envolvida em IA na medicina perdeu um terço do seu pessoal. Notavelmente, o DOGE liderado por Elon Musk também cortou parte do FDA encarregado de revisar a segurança de seu dispositivo de interface cérebro-computador, Neuralink. Enquanto isso, mais dispositivos de IA aparentemente estão recebendo luz verde sem uma revisão completa.
Talvez a abordagem tecnológica de “agir rápido e quebrar coisas” não devesse ser aplicada quando a “coisa” é o corpo humano.
