Já se passaram quase dois anos desde que o CEO da Microsoft, Satya Nadella, previu que a IA generativa assumiria o trabalho de conhecimento, mas se você olhar ao redor de um típico escritório de advocacia ou banco de investimento hoje, a força de trabalho humana ainda está no comando. Apesar de todo o entusiasmo sobre “raciocínio” e “planeamento”, um novo estudo da empresa de dados de formação Mercor explica exactamente porque é que a revolução dos robôs está estagnada: a IA simplesmente não consegue lidar com a confusão do trabalho actual.
Uma verificação da realidade para a teoria da “substituição”
A Mercor lançou um novo benchmark chamado APEX-Brokers, e é brutal. ao contrário dos testes habituais que pedem à IA para escrever um poema ou resolver um problema matemático, este utiliza consultas reais de advogados, consultores e banqueiros. Ele pede aos modelos que executem tarefas completas de várias etapas que exigem alternar entre diferentes tipos de informação.
Os resultados? Mesmo os melhores modelos do mercado – estamos falando do Gemini 3 Flash e do GPT-5.2 – não conseguiram atingir uma taxa de precisão de 25%. Gêmeos liderou o grupo com 24%, com GPT-5.2 emblem atrás com 23%. A maioria dos outros ficou presa na adolescência.
Por que a IA está falhando no “teste de escritório”
O CEO da Mercor, Brendan Foody, ressalta que a questão não é a inteligência bruta; é contexto. No mundo actual, as respostas não são servidas numa bandeja de prata. Um advogado precisa verificar um tópico do Slack, ler uma política em PDF, consultar uma planilha e, em seguida, sintetizar tudo isso para responder a uma pergunta sobre a conformidade com o GDPR.
Os humanos fazem essa mudança de contexto naturalmente. Acontece que a IA é péssima nisso. Quando você força esses modelos a buscar informações em fontes “dispersas”, eles ficam confusos, dão a resposta errada ou simplesmente desistem completamente.
O “Estagiário Não Confiável”
Para qualquer pessoa preocupada com a segurança no emprego, isso é um alívio. O estudo sugere que, neste momento, a IA funciona menos como um profissional experiente e mais como um estagiário não confiável que acerta as coisas cerca de um quarto das vezes.
Dito isto, o progresso é terrivelmente rápido. Foody observou que há apenas um ano, esses modelos pontuavam entre 5% e 10%. Agora eles estão atingindo 24%. Portanto, embora ainda não estejam prontos para assumir o volante, estão aprendendo a dirigir muito mais rápido do que esperávamos. Por enquanto, porém, a revolução do “trabalho do conhecimento” está em espera até que os bots aprendam como realizar multitarefas.
