Ao experimentar inicialmente LLMs e IA de agência, os engenheiros de software program da Noção de IA aplicou geração avançada de código, esquemas complexos e instrução pesada.
Rapidamente, porém, a tentativa e o erro ensinaram à equipe que period possível livre-se de toda aquela modelagem de dados complicada. O líder de engenharia de IA da Notion, Ryan Nystrom, e sua equipe se concentraram em prompts simples, representações legíveis por humanos, abstração mínima e formatos de redução familiares. O resultado foi um desempenho do modelo dramaticamente melhorado.
Aplicando esta abordagem reconectada, a empresa nativa de IA lançou a V3 de seu software program de produtividade em setembro. Seu recurso notável: Agentes de IA personalizáveis — que rapidamente se tornaram a ferramenta de IA de maior sucesso do Notion até o momento. Com base nos padrões de uso em comparação com versões anteriores, Nystrom chama isso de “melhoria da função passo a passo”.
“É aquela sensação de quando o produto está sendo retirado de você, em vez de você tentar empurrá-lo”, explica Nystrom em um Podcast VB além do piloto. “Sabíamos desde aquele momento, muito cedo, que tínhamos algo. Agora é: ‘Como eu poderia usar o Notion sem esse recurso?'”
‘Religação’ para a period do agente de IA
Como engenheiro de software program tradicional, Nystrom estava acostumado a experiências “extremamente determinísticas”. Mas surgiu um momento luminoso quando um colega o aconselhou a simplesmente descrever seu immediate de IA como faria com um ser humano, em vez de codificar regras de como os agentes deveriam se comportar em vários cenários. A justificativa: os LLMs são projetados para compreender, “ver” e raciocinar sobre o conteúdo da mesma forma que os humanos podem.
“Agora, sempre que estiver trabalhando com IA, relerei os prompts e as descrições das ferramentas e [ask myself] isso é algo que eu poderia dar a uma pessoa sem contexto e ela poderia entender o que está acontecendo?” Nystrom disse no podcast. “Se não, vai fazer um mau trabalho.”
Afastando-se da “renderização bastante complicada” de dados no Notion (como JSON ou XML), Nystrom e sua equipe representaram as páginas do Notion como markdown, a well-liked linguagem de marcação independente de dispositivo que outline estrutura e significado usando texto simples, sem a necessidade de tags HTML ou editores formais. Isso permite que o modelo interaja, leia, pesquise e faça alterações em arquivos de texto.
Em última análise, isso exigiu que a Notion religasse seus sistemas, com a equipe da Nystrom concentrando-se principalmente na camada de transição de middleware.
Eles também identificaram desde o início a importância de exercer moderação no que diz respeito ao contexto. É tentador carregar o máximo de informações possível em um modelo, mas isso pode atrasar as coisas e confundir o modelo. Para Notion, Nystrom descreveu um limite de 100.000 a 150.000 tokens como o “ponto ideally suited”.
“Há casos em que você pode carregar toneladas e toneladas de conteúdo em sua janela de contexto e o modelo terá dificuldades”, disse ele. “Quanto mais você coloca na janela de contexto, você vê uma degradação no desempenho, na latência e também na precisão.”
Uma abordagem espartana também é importante no caso de ferramentas; isso pode ajudar as equipes a evitar a “ladeira escorregadia” de recursos infinitos, aconselhou Nystrom. O Notion se concentra em um “menu selecionado” de ferramentas, em vez de um menu volumoso do tipo Cheesecake Manufacturing unit, que cria um paradoxo de escolha para os usuários.
“Quando as pessoas solicitam novos recursos, poderíamos simplesmente adicionar uma ferramenta ao modelo ou ao agente”, disse ele. Mas, “quanto mais ferramentas adicionamos, mais decisões o modelo terá que tomar”.
O resultado remaining: Canalize o modelo. Use APIs da maneira como elas devem ser usadas. Não tente ser sofisticado, não tente complicar demais. Use um inglês simples.
Ouça o podcast completo para saber mais sobre:
-
Por que a IA ainda está na period pré-Blackberry e pré-iPhone;
-
A importância do “dogfooding” no desenvolvimento de produtos;
-
Por que você não deve se preocupar com o custo-benefício de seu recurso de IA nos estágios iniciais – isso pode ser otimizado posteriormente;
-
Como as equipes de engenharia podem manter as ferramentas mínimas na period do MCP;
-
A evolução do Notion de wikis para assistentes de IA completos.
Assine Past the Pilot em Podcasts da Apple, Spotifye YouTube.
