O LinkedIn é líder em sistemas de recomendação de IA, tendo-os desenvolvido nos últimos mais de 15 anos. Mas chegar a uma pilha de recomendações de última geração para os candidatos a emprego de amanhã exigiu uma técnica totalmente nova. A empresa teve que olhar além dos modelos prontos para uso para alcançar precisão, latência e eficiência de nível superior.
“Simplesmente não conseguiríamos fazer isso por meio de prompts”, disse Erran Berger, vice-presidente de engenharia de produto do LinkedIn, em um novo Além do piloto podcast. “Nem tentamos isso para sistemas de recomendação de próxima geração porque percebemos que não period um bom começo.”
Em vez disso, sua equipe começou a desenvolver um documento de política de produto altamente detalhado para ajustar um modelo inicialmente massivo de 7 bilhões de parâmetros; isso foi então destilado em modelos adicionais de professores e alunos otimizados para centenas de milhões de parâmetros.
A técnica criou um livro de receitas repetível agora reutilizado nos produtos de IA do LinkedIn.
“A adoção desse processo de avaliação de ponta a ponta gerará uma melhoria substancial na qualidade das curtidas que provavelmente não víamos há anos aqui no LinkedIn”, diz Berger.
Por que a destilação com vários professores foi um ‘avanço’ para o LinkedIn
Berger e sua equipe decidiram construir um LLM que pudesse interpretar consultas de vagas individuais, perfis de candidatos e descrições de vagas em tempo actual e de uma forma que refletisse a política de produtos do LinkedIn com a maior precisão possível.
Trabalhando com a equipe de gerenciamento de produtos da empresa, os engenheiros criaram um documento de 20 a 30 páginas que pontua a descrição do trabalho e pares de perfis “em muitas dimensões”.
“Fizemos muitas iterações nisso”, diz Berger. Esse documento de política de produto foi então combinado com um “conjunto de dados dourado” composto por milhares de pares de consultas e perfis; a equipe inseriu isso no ChatGPT durante a geração e experimentação de dados, fazendo com que o modelo, ao longo do tempo, aprendesse pares de pontuação e, eventualmente, gerasse um conjunto de dados sintéticos muito maior para treinar um modelo de professor de 7 bilhões de parâmetros.
No entanto, diz Berger, não basta ter um LLM em produção apenas com base na política de produto. “No remaining das contas, é um sistema de recomendação e precisamos fazer alguma previsão e personalização de cliques.”
Assim, sua equipe usou aquele modelo inicial de professor focado em políticas de produto para desenvolver um segundo modelo de professor orientado para a previsão de cliques. Usando os dois, eles destilaram ainda mais um modelo de parâmetros de 1,7 bilhão para fins de treinamento. Esse eventual modelo de aluno foi executado em “muitas, muitas execuções de treinamento” e foi otimizado “em todos os pontos” para minimizar a perda de qualidade, diz Berger.
Essa técnica de destilação multiprofessor permitiu que a equipe “alcançasse muita afinidade” com a política do produto authentic e “acessasse” a previsão de cliques, diz ele. Eles também foram capazes de “modularizar e componenteizar” o processo de formação do aluno.
Considere isso no contexto de um agente de chat com dois modelos diferentes de professores: um é treinar o agente na precisão das respostas, o outro no tom e na forma como ele deve se comunicar. Essas duas coisas são objetivos muito diferentes, mas críticos, observa Berger.
“Ao misturá-los, você obtém melhores resultados, mas também os itera de forma independente”, diz ele. “Isso foi um avanço para nós.”
Mudando a forma como as equipes trabalham juntas
Berger diz que não pode subestimar a importância de se ancorar numa política de produto e num processo de avaliação iterativo.
Obter uma “política de produto realmente boa” requer traduzir a experiência do domínio do gerente de produto em um documento unificado. Historicamente, observa Berger, a equipe de gerenciamento de produto estava focada na estratégia e na experiência do usuário, deixando as abordagens de iteração de modelagem para os engenheiros de ML. Agora, porém, as duas equipes trabalham juntas para “ligar” e criar um modelo de professor alinhado.
“A forma como os gerentes de produto trabalham com engenheiros de aprendizado de máquina agora é muito diferente de tudo que fizemos anteriormente”, diz ele. “Agora é um modelo para basicamente todos os produtos de IA que fazemos no LinkedIn.”
Assista ao podcast completo para ouvir mais sobre:
-
Como o LinkedIn otimizou cada etapa do processo de P&D para apoiar a velocidade, levando a resultados reais em dias ou horas, em vez de semanas;
-
Por que as equipes deveriam desenvolver pipelines para plugabilidade e experimentação e experimentar diferentes modelos para oferecer suporte à flexibilidade;
-
A importância contínua da depuração de engenharia tradicional.
Você também pode ouvir e assinar Além do piloto sobre Spotify, Maçã ou onde quer que você obtenha seus podcasts.
