OpenAI está perguntando contratantes terceirizados carreguem atribuições e tarefas reais de seus locais de trabalho atuais ou anteriores para que possam usar os dados para avaliar o desempenho de seus modelos de IA de próxima geração, de acordo com registros da OpenAI e da empresa de dados de treinamento Handshake AI obtidos pela WIRED.
O projeto parece fazer parte dos esforços da OpenAI para estabelecer uma linha de base humana para diferentes tarefas que possam então ser comparadas com modelos de IA. Em setembro, a empresa lançou um novo avaliação processo para medir o desempenho de seus modelos de IA em relação a profissionais humanos em uma variedade de setores. A OpenAI afirma que este é um indicador chave do seu progresso no sentido de alcançar AGI, ou um sistema de IA que supera os humanos na maioria das tarefas economicamente valiosas.
“Contratamos pessoas de todas as ocupações para ajudar a coletar tarefas do mundo actual modeladas a partir daquelas que você realizou em seus empregos de tempo integral, para que possamos medir o desempenho dos modelos de IA nessas tarefas”, diz um documento confidencial da OpenAI. “Pegue trabalhos existentes de longo prazo ou complexos (horas ou dias ou mais) que você realizou em sua ocupação e transforme cada um em uma tarefa.”
A OpenAI está pedindo aos empreiteiros que descrevam as tarefas que realizaram em seu trabalho atual ou no passado e que carreguem exemplos reais de trabalhos que realizaram, de acordo com uma apresentação da OpenAI sobre o projeto visualizada pela WIRED. Cada um dos exemplos deve ser “uma saída concreta (não um resumo do arquivo, mas o arquivo actual), por exemplo, documento do Phrase, PDF, Powerpoint, Excel, imagem, repositório”, observa a apresentação. A OpenAI diz que as pessoas também podem compartilhar exemplos de trabalho fabricados, criados para demonstrar como responderiam de forma realista em cenários específicos.
OpenAI e Handshake AI não quiseram comentar.
As tarefas do mundo actual têm dois componentes, de acordo com a apresentação da OpenAI. Há a solicitação de tarefa (o que o gerente ou colega de uma pessoa lhe disse para fazer) e a entrega da tarefa (o trabalho actual que ela produziu em resposta a essa solicitação). A empresa enfatiza várias vezes nas instruções que os exemplos compartilhados pelos empreiteiros devem refletir o “trabalho actual no trabalho” que a pessoa tem “na verdade feito.”
Um exemplo na apresentação da OpenAI descreve uma tarefa de um “gerente sênior de estilo de vida em uma empresa de concierge de luxo para indivíduos com patrimônio líquido altíssimo”. O objetivo é “Preparar um breve rascunho em PDF de 2 páginas de uma visão geral de uma viagem de iate de 7 dias às Bahamas para uma família que viajará para lá pela primeira vez”. Inclui detalhes adicionais sobre os interesses da família e como deve ser o itinerário. A “entrega humana experiente” mostra então o que o contratante neste caso carregaria: um itinerário actual nas Bahamas criado para um cliente.
A OpenAI instrui os contratados a excluir a propriedade intelectual corporativa e as informações de identificação pessoal dos arquivos de trabalho que carregam. Em uma seção chamada “Lembretes importantes”, a OpenAI diz aos trabalhadores para “remover ou tornar anônimos quaisquer: informações pessoais, dados proprietários ou confidenciais, informações materiais não públicas (por exemplo, estratégia interna, detalhes de produtos não divulgados)”.
Um dos arquivos visualizados pelo documento WIRED menciona uma ferramenta ChatGPT chamada “Esfregando Superstar” que fornece conselhos sobre como excluir informações confidenciais.
Evan Brown, advogado de propriedade intelectual da Neal & McDevitt, disse à WIRED que os laboratórios de IA que recebem informações confidenciais de empreiteiros nesta escala podem estar sujeitos a alegações de apropriação indébita de segredos comerciais. Os empreiteiros que oferecem documentos dos seus locais de trabalho anteriores a uma empresa de IA, mesmo que sejam apagados, podem correr o risco de violar os acordos de não divulgação dos seus empregadores anteriores ou de expor segredos comerciais.
“O laboratório de IA está depositando muita confiança em seus contratados para decidir o que é ou não confidencial”, diz Brown. “Se eles deixarem alguma coisa escapar, os laboratórios de IA estão realmente dedicando tempo para determinar o que é ou não um segredo comercial? Parece-me que o laboratório de IA está se colocando em grande risco.”
