Ótimas notícias para xAI: Grok agora é muito bom em responder perguntas sobre Baldur’s Gate

Diferentes laboratórios de IA têm prioridades diferentes. A OpenAI tradicionalmente se concentra em usuários consumidores, por exemplo, enquanto sua rival Anthropic tende a ter como alvo as empresas. Descobrimos recentemente que o xAI de Elon Musk tem dado ênfase especial às orientações de videogame.

Na sexta-feira, Grace Kay do Enterprise Insider publicou um relatório detalhado e abrangente sobre xAIa startup de IA recentemente adquirida pela SpaceX, com ênfase especial em como Musk está dificultando a vida dos funcionários. Mas esta anedota em explicit se destacou:

Em um caso no ano passado, o lançamento de um modelo foi adiado por vários dias porque Musk estava insatisfeito com a forma como o chatbot respondia a perguntas detalhadas sobre o videogame “Baldur’s Gate”, segundo pessoas familiarizadas com o assunto. Engenheiros de alto nível foram retirados de outros projetos para melhorar as respostas antes do lançamento, disseram.

Claro, você pode imaginar a frustração de qualquer engenheiro respeitado e experiente que aparece para trabalhar pensando que estará enfrentando problemas fundamentais de conhecimento e inteligência de máquina, apenas para ser desviado e ajudar um homem de 54 anos a vencer seu videogame. Mas a anedota levanta uma questão ainda mais urgente: Musk acabou adquirindo as habilidades de jogo que queria?

Para responder a essa pergunta, nosso entusiasta residente de RPG Ram Iyer reuniu um conjunto de cinco perguntas gerais sobre Baldur’s Gate, que comparamos com xAI e os três modelos principais em uma espécie de quase referência que decidi chamar de “BaldurBench”.

No interesse da transparência jornalística, tornei públicas todas as transcrições do bate-papo, para que você possa vê-las aqui: Grok, Bate-papoGPT, Cláudioe Gêmeos.

Primeiro, a boa notícia: Grok realmente fornece informações muito boas. Suas respostas foram um pouco densas com o jargão dos jogadores – “save-scumming” em vez de salvar e “DPS” em vez de dano – mas as respostas foram úteis e bem informadas, desde que você soubesse do que estava falando. Grok também adora mesas e teoriaque é mais ou menos o que você esperaria.

Existem muitos guias de Baldur’s Gate por aí e os modelos geralmente eram inspirados nos mesmos, então as maiores diferenças eram estilísticas. ChatGPT prefere listas com marcadores e fragmentos de frases, enquanto Gemini adora colocar palavras importantes em negrito.

A maior surpresa foi Claude, que se preocupou particularmente em me fornecer informações que estragassem minha experiência de jogo. Quando perguntei sobre boas composições para festas, encerrei a orientação dizendo: “Não se estresse muito e apenas toque o que parece divertido para você”. Obrigado, Cláudio!

É importante ter em mente que esta é uma área temática que conhecemos (graças a Relatórios do Business Insider) que a xAI se concentrou especificamente em alcançar a paridade. Portanto, não devemos dar muita importância ao fato de que, após o dash relatado, o conselho de Grok acabou sendo o mesmo dos outros modelos. Ainda assim, é bom saber que o xAI pode fazer funcionar se tentar.