Normalmente, ao construir, treinar e implantar IA, as empresas priorizam a precisão. E isso, sem dúvida, é importante; mas em setores altamente complexos e cheios de nuances, como o jurídico, a precisão por si só não é suficiente. Riscos mais elevados significam padrões mais elevados: os resultados dos modelos devem ser avaliados quanto à relevância, autoridade, precisão das citações e taxas de alucinação.
Para enfrentar esta imensa tarefa, LexisNexis evoluiu além da geração aumentada de recuperação (RAG) padrão para representar graficamente RAG e gráficos de agente; também desenvolveu agentes de IA “planejadores” e de “reflexão” que analisam solicitações e criticam seus próprios resultados.
“Não existe tal [thing] como ‘IA perfeita’ porque você nunca obtém 100% de precisão ou 100% de relevância, especialmente em domínios complexos e de alto risco, como jurídico”, reconhece Min Chen, vice-presidente sênior e diretor de IA da LexisNexis em um novo podcast VentureBeat Past the Pilot.
O objetivo é gerenciar essa incerteza tanto quanto possível e traduzi-la em valor consistente para o cliente. “No closing das contas, o que mais importa para nós é a qualidade do resultado da IA, e essa é uma jornada contínua de experimentação, iteração e melhoria”, disse Chen.
Obtendo respostas “completas” para perguntas multifacetadas
Para avaliar os modelos e os seus resultados, a equipa de Chen estabeleceu mais de meia dúzia de “submétricas” para medir a “utilidade” com base em vários factores – autoridade, precisão das citações, taxas de alucinações – bem como “abrangência”. Esta métrica específica foi projetada para avaliar se uma resposta da geração AI abordou totalmente todos os aspectos das questões jurídicas dos usuários.
“Portanto, não se trata apenas de relevância”, disse Chen. “A integralidade fala diretamente com a confiabilidade jurídica.”
Por exemplo, um usuário pode fazer uma pergunta que exija uma resposta que abranja cinco considerações jurídicas distintas. A Gen AI pode fornecer uma resposta que aborde com precisão três deles. Mas, embora relevante, esta resposta parcial é incompleta e, do ponto de vista do utilizador, insuficiente. Isso pode ser enganoso e representar riscos na vida actual.
Ou, por exemplo, algumas citações podem ser semanticamente relevantes para a pergunta de um usuário, mas podem apontar para argumentos ou instâncias que foram rejeitadas em tribunal. “Nossos advogados os considerarão não citáveis”, disse Chen. “Se não são citáveis, não são úteis.”
Indo além do RAG padrão
LexisNexis lançou seu principal produto de IA de geração, Lexis+ AI — uma ferramenta authorized de IA para elaboração, pesquisa e análise — em 2023. Ele foi construído em uma estrutura RAG padrão e pesquisa de vetor híbrido que fundamenta as respostas na base de conhecimento confiável e confiável da LexisNexis.
A empresa lançou então seu assistente jurídico pessoal, Protégé, em 2024. Este agente incorpora uma camada de gráfico de conhecimento sobre a pesquisa vetorial para superar uma “limitação chave” da pesquisa semântica pura. Embora seja “muito boa” na recuperação de conteúdo contextualmente relevante, a pesquisa semântica “nem sempre garante respostas confiáveis”, disse Chen.
A busca semântica inicial retorna o que considera conteúdo relevante; A equipe de Chen então analisa esses retornos em um gráfico de “questões legais” para filtrar ainda mais os documentos de maior autoridade.
Indo além disso, a equipe de Chen está desenvolvendo gráficos de agentes e acelerando a automação para que os agentes possam planejar e executar tarefas complexas de várias etapas.
Por exemplo, “agentes planejadores” autodirigidos para perguntas e respostas de pesquisa dividem as perguntas dos usuários em várias subperguntas. Os usuários humanos podem revisá-los e editá-los para refinar e personalizar ainda mais as respostas finais. Enquanto isso, um “agente de reflexão” cuida da elaboração de documentos transacionais. Ele pode criticar “automática e dinamicamente” seu rascunho inicial, depois incorporar esse suggestions e aperfeiçoá-lo em tempo actual.
No entanto, Chen disse que tudo isso não é para excluir os humanos da mistura; especialistas humanos e agentes de IA podem “aprender, raciocinar e crescer juntos”. “Eu vejo o futuro [as] uma colaboração mais profunda entre humanos e IA.”
Assista ao podcast para saber mais sobre:
-
Como a aquisição da LexisNexis capanga ajudou a fundamentar modelos de IA com dados proprietários da LexisNexis e dados de clientes;
-
A diferença entre avaliação determinística e não determinística;
-
Por que as empresas devem identificar KPIs e definições de sucesso antes de correrem para a experimentação;
-
A importância de focar num “triângulo” de componentes-chave: Custo, rapidez e qualidade.
Você também pode ouvir e assinar Além do piloto sobre Spotify, Maçã ou onde quer que você obtenha seus podcasts.
