A grande IA empresas nos prometeu que 2025 seria “o ano dos agentes de IA”. Acabou sendo o ano de falando sobre Agentes de IA e dando o pontapé inicial para esse momento de transformação até 2026 ou talvez mais tarde. Mas e se a resposta à pergunta “Quando nossas vidas serão totalmente automatizadas por robôs generativos de IA que executam nossas tarefas para nós e basicamente governam o mundo?” é, assim Desenho animado da Nova York“Que tal nunca?”
Essa foi basicamente a mensagem de um artigo publicado sem muito alarde há alguns meses, bem no meio do ano exagerado da “IA agentic”. Intitulado “Estações de Alucinação: Sobre Algumas Limitações Básicas de Modelos de Linguagem Baseados em Transformadores”, pretende mostrar matematicamente que “LLMs são incapazes de realizar tarefas computacionais e de agência além de uma certa complexidade”. Embora a ciência esteja além da minha compreensão, os autores – um ex-CTO da SAP que estudou IA com um dos intelectos fundadores da área, John McCarthy, e seu filho adolescente prodígio – perfuraram a visão do paraíso agente com a certeza da matemática. Mesmo os modelos de raciocínio que vão além do puro processo de previsão de palavras dos LLMs, dizem eles, não resolverão o problema.
“Não há como eles serem confiáveis”, me diz Vishal Sikka, o pai. Depois de uma carreira que, além da SAP, incluiu uma passagem como CEO da Infosys e membro do conselho da Oracle, ele atualmente dirige uma startup de serviços de IA chamada Vianai. “Então deveríamos esquecer os agentes de IA que administram usinas nucleares?” Eu pergunto. “Exatamente”, ele diz. Talvez você consiga arquivar alguns papéis ou algo assim para economizar tempo, mas talvez seja necessário se resignar a alguns erros.
A indústria de IA discorda. Por um lado, um grande sucesso na IA de agentes tem sido a codificação, que decolou no ano passado. Ainda esta semana, em Davos, o chefe de IA do Google, vencedor do Nobel, Demis Hassabis, avanços relatados na minimização das alucinações, e tanto os hiperscaladores quanto as startups estão impulsionando a narrativa do agente. Agora eles têm algum backup. Uma startup chamada Harmônico está relatando um avanço na codificação de IA que também depende da matemática – e está no topo dos benchmarks em confiabilidade.
A Harmonic, que foi co-fundada pelo CEO da Robinhood, Vlad Tenev, e Tudor Achim, um matemático formado em Stanford, afirma que esta recente melhoria no seu produto chamado Aristóteles (sem arrogância!) é uma indicação de que existem formas de garantir a fiabilidade dos sistemas de IA. “Estaremos condenados a viver num mundo onde a IA apenas gera lixo e os humanos não conseguem realmente controlá-lo? Seria um mundo louco”, diz Achim. A solução da Harmonic é usar métodos formais de raciocínio matemático para verificar a saída de um LLM. Especificamente, ele codifica resultados na linguagem de programação Lean, que é conhecida por sua capacidade de verificar a codificação. Na verdade, o foco da Harmonic até agora tem sido estreito – a sua missão principal é a busca da “superinteligência matemática”, e a codificação é uma extensão um tanto orgânica. Coisas como ensaios de história – que não podem ser verificados matematicamente – estão além dos seus limites. Por agora.
No entanto, Achim não parece pensar que o comportamento agente confiável seja um problema tão grande quanto alguns críticos acreditam. “Eu diria que a maioria dos modelos neste momento tem o nível de inteligência pura necessário para raciocinar durante a reserva de um itinerário de viagem”, diz ele.
Ambos os lados estão certos – ou talvez até do mesmo lado. Por um lado, todos concordam que as alucinações continuarão a ser uma realidade incômoda. Em um artigo publicado em setembro passado, Os cientistas da OpenAI escreveram: “Apesar do progresso significativo, as alucinações continuam a atormentar o campo e ainda estão presentes nos modelos mais recentes”. Eles provaram essa afirmação infeliz pedindo a três modelos, incluindo ChatGPT, que fornecessem o título da dissertação do autor principal. Todos os três inventaram títulos falsos e informaram incorretamente o ano de publicação. Em um weblog sobre o artigo, a OpenAI afirmou taciturnamente que, em modelos de IA, “a precisão nunca chegará a 100 por cento”.
