Mesmo agora que os dados estão protegidos, Margolis e Thacker argumentam que isso levanta questões sobre quantas pessoas dentro de empresas que fabricam brinquedos de IA têm acesso aos dados que recolhem, como o seu acesso é monitorizado e quão bem as suas credenciais são protegidas. “Há implicações em cascata para a privacidade disso”, diz Margolis. “Basta um funcionário ter uma senha incorreta e então voltaremos ao mesmo lugar onde começamos, onde tudo está exposto à Web pública.”
Margolis acrescenta que este tipo de informação sensível sobre os pensamentos e sentimentos de uma criança pode ser usada para formas horríveis de abuso ou manipulação infantil. “Para ser franco, este é o sonho de um sequestrador”, diz ele. “Estamos falando de informações que permitem a alguém atrair uma criança para uma situação realmente perigosa e que eram essencialmente acessíveis a qualquer pessoa”.
Margolis e Thacker apontam que, além da exposição acidental de dados, Bondu também parece – com base no que viram dentro de seu console de administração – usar o Gemini do Google e o GPT5 da OpenAI e, como resultado, pode compartilhar informações sobre conversas de crianças com essas empresas. Anam Rafid, de Bondu, respondeu a esse ponto por e-mail, afirmando que a empresa usa “serviços empresariais de IA de terceiros para gerar respostas e executar certas verificações de segurança, o que envolve a transmissão segura de conteúdo de conversação relevante para processamento”. Mas ele acrescenta que a empresa toma precauções para “minimizar o que é enviado, usar controles contratuais e técnicos e operar em configurações empresariais onde os provedores declaram que os prompts/saídas não são usados para treinar seus modelos”.
Os dois investigadores também alertam que parte do risco das empresas de brinquedos de IA pode ser o facto de serem mais propensas a utilizar a IA na codificação dos seus produtos, ferramentas e infraestrutura internet. Eles dizem que suspeitam que o console Bondu inseguro que descobriram period “codificado por vibração” – criado com ferramentas de programação de IA generativa que muitas vezes levam a falhas de segurança. Bondu não respondeu à pergunta da WIRED sobre se o console foi programado com ferramentas de IA.
Os avisos sobre os riscos dos brinquedos de IA para crianças aumentaram nos últimos meses, mas concentraram-se principalmente na ameaça de que as conversas de um brinquedo levantem tópicos inadequados ou até mesmo os levem a comportamentos perigosos ou automutilação. NBC Information, por exemplo, relatado no mês passado Os brinquedos de IA com os quais seus repórteres conversaram ofereceram explicações detalhadas sobre termos sexuais, dicas sobre como afiar facas e afirmações, e até pareciam ecoar a propaganda do governo chinês, afirmando, por exemplo, que Taiwan fazia parte da China.
Bondu, por outro lado, parece ter pelo menos tentado criar salvaguardas no chatbot de IA ao qual dá acesso às crianças. A empresa ainda oferece uma recompensa de US$ 500 por relatos de “resposta inadequada” do brinquedo. “Temos esse programa há mais de um ano e ninguém conseguiu fazê-lo dizer algo inapropriado”, diz uma linha no web site da empresa.
Mas, ao mesmo tempo, Thacker e Margolis descobriram que Bondu estava simultaneamente deixando todos os dados confidenciais de seus usuários totalmente expostos. “Esta é uma combinação perfeita de segurança com proteção”, diz Thacker. “A ‘segurança da IA’ importa mesmo quando todos os dados são expostos?”
Thacker diz que antes de investigar a segurança de Bondu, ele considerou dar brinquedos habilitados para IA para seus próprios filhos, assim como seu vizinho fez. Ver a exposição dos dados de Bondu em primeira mão o fez mudar de ideia.
“Eu realmente quero isso na minha casa? Não, eu não quero”, diz ele. “É apenas um pesadelo de privacidade.”
