Sete etapas para a visibilidade da cadeia de suprimentos de IA — antes que uma violação power o problema

Quatro em cada 10 aplicativos corporativos contarão com agentes de IA específicos para tarefas este ano. No entanto, uma pesquisa do Relatório de Índice de 2025 da Universidade de Stanford mostra que um mero 6% das organizações ter uma estratégia avançada de segurança de IA em vigor.

Palo Alto Networks prevê que 2026 trará os primeiros grandes processos judiciais responsabilizando pessoalmente os executivos por ações fraudulentas de IA. Muitas organizações estão lutando para conter a natureza acelerada e imprevisível das ameaças de IA. A governança não responde a soluções rápidas, como orçamentos maiores ou mais funcionários.

Há uma lacuna de visibilidade quando se trata de como, onde, quando e por meio de quais fluxos de trabalho e ferramentas os LLMs estão sendo usados ​​ou modificados. Um CISO disse à VentureBeat que os modelos SBOMs são o Velho Oeste da governança hoje. Sem visibilidade sobre quais modelos estão sendo executados e onde, a segurança da IA ​​se transforma em suposições – e a resposta a incidentes se torna impossível.

Nos últimos anos, o governo dos EUA seguiu uma política de obrigar SBOMs para todos os softwares adquiridos para uso. Os modelos de IA precisam mais deles, e a falta de melhorias consistentes nesta área é um dos riscos mais significativos da IA.

A lacuna de visibilidade é a vulnerabilidade

Harness entrevistou 500 profissionais de segurança nos EUA, Reino Unido, França e Alemanha. As descobertas devem alarmar todos os CISO: 62% dos seus pares não têm como saber onde os LLMs estão em uso na sua organização. É necessário mais rigor e transparência no nível SBOM para melhorar a rastreabilidade do modelo, o uso de dados, os pontos de integração e os padrões de uso por departamento.

As empresas continuam a experimentar níveis crescentes de injeção imediata (76%), código LLM vulnerável (66%) e jailbreak (65%). Esses estão entre os riscos e métodos de ataque mais letais que os adversários usam para extrair tudo o que puderem da modelagem de IA e dos esforços de LLM de uma organização. Apesar de gastarem milhões em software program de segurança cibernética, muitas organizações não estão vendo os esforços de intrusão desses adversários, pois estão envoltos em técnicas de vida fora da terra e em técnicas de ataque comparáveis, não rastreáveis ​​por sistemas de perímetro legados.

“Shadow AI se tornou o novo ponto cego empresarial”, disse Adam Arellano, CTO de campo da Aproveitar. “As ferramentas de segurança tradicionais foram construídas para códigos estáticos e sistemas previsíveis, não para modelos adaptativos de aprendizagem que evoluem diariamente.”

Relatório de custo de violação de dados de 2025 da IBM quantifica o custo, descobrindo que 13% das organizações relataram violações de modelos ou aplicações de IA no ano passado. Daqueles violados, 97% não tinham controles de acesso de IA. Uma em cada cinco violações relatadas foi devido a IA de sombra ou uso não autorizado de IA. Os incidentes de Shadow AI custam US$ 670.000 a mais do que seus equivalentes de intrusão de linha de base comparáveis. Quando ninguém sabe quais modelos são executados e onde, a resposta a incidentes não consegue avaliar o impacto.

Por que os SBOMs param no arquivo de modelo

Ordem Executiva 14028 (2021) e o Memorando OMB M-22-18 (2022) exigem SBOMs de software program para fornecedores federais. Estrutura de gerenciamento de risco de IA do NISTlançado em 2023, pede explicitamente AI-BOMs como parte de sua função “Mapa”, reconhecendo que os SBOMs de software program tradicionais não capturam riscos específicos do modelo. Mas as dependências de software program são resolvidas no momento da construção e permanecem fixas.

Por outro lado, as dependências do modelo são resolvidas em tempo de execução, muitas vezes buscando pesos de endpoints HTTP durante a inicialização, e sofrem mutações continuamente por meio de retreinamento, correção de desvios e loops de suggestions. Adaptadores LoRA modificar pesos sem controle de versão, impossibilitando rastrear qual versão do modelo está realmente em execução na produção.

Veja por que isso é importante para as equipes de segurança: Quando os modelos de IA são salvos em formato de piclescarregá-los é como abrir um anexo de e-mail que executa código em seu computador, exceto que esses arquivos, agindo como anexos, são confiáveis ​​por padrão em sistemas de produção.

Um modelo PyTorch salvo desta forma é um bytecode Python serializado que deve ser desserializado e executado para carregar. Quando torch.load() é executado, opcodes pickle são executados sequencialmente. Qualquer callable incorporado no fluxo é acionado. Geralmente incluem os.system(), conexões de rede e shells reversos.

Tensores Segurosum formato alternativo que armazena apenas dados de tensores numéricos sem código executávelaborda os riscos inerentes ao picles. Ainda assim, a migração significa reescrever funções de carga, revalidar a precisão do modelo e potencialmente perder acesso a modelos legados onde o código de treinamento unique não existe mais. Esse é um dos principais fatores que impedem a adoção. Em muitas organizações, não se trata apenas de uma política, é um esforço de engenharia.

Os arquivos de modelo não são artefatos inertes — eles são pontos de entrada executáveis ​​na cadeia de suprimentos.

Os padrões existem e estão em vigor há anos, mas a adoção continua atrasada. CicloneDX 1.6 adicionado ML-BOM suporte em abril de 2024. SPDX 3.0, lançado em abril de 2024, incluía perfis de IA. Os ML-BOMs complementam, mas não substituem, estruturas de documentação como Cartões de Modelo e Folhas de Dados para Conjuntos de Dados, que se concentram em atributos de desempenho e treinamento na ética dos dados, em vez de tornar a proveniência da cadeia de suprimentos uma prioridade. VentureBeat continua vendo a adoção atrasada com a rapidez com que esta área está se tornando uma ameaça existencial para modelos e LLMs.

Uma pesquisa Lineaje de junho de 2025 descobriram que 48% dos profissionais de segurança admitem que suas organizações estão ficando para trás nos requisitos do SBOM. A adoção de ML-BOM é significativamente menor.

Resultado closing: As ferramentas existem. O que falta é urgência operacional.

AI-BOMs permitem resposta, não prevenção

AI-BOMs são forenses, não firewalls. Quando o ReversingLabs descobriu modelos comprometidos com nullifAI, a proveniência documentada teria identificado imediatamente quais organizações os baixaram. Saber isso é inestimável para a resposta a incidentes, mas é praticamente inútil para a prevenção. A orçamentação para proteger as AI-BOMs precisa de ter esse issue em conta.

O ecossistema de ferramentas ML-BOM está amadurecendo rapidamente, mas ainda não está onde os SBOMs de software program estão. Ferramentas como Syft e Trivy geram inventários completos de software program em minutos. As ferramentas ML-BOM estão no início dessa curva. Os fornecedores são soluções de envio, mas a integração e a automação ainda exigem etapas adicionais e mais esforço. As organizações que estão começando agora podem precisar de processos manuais para preencher lacunas.

Os AI-BOMs não impedirão o envenenamento do modelo, pois isso acontece durante o treinamento, muitas vezes antes de uma organização fazer o obtain do modelo. Eles também não bloquearão a injeção imediata, pois o ataque explora o que o modelo faz, e não de onde veio. A prevenção requer defesas em tempo de execução que incluem validação de entrada, firewalls de immediate, filtragem de saída e validação de chamada de ferramenta para sistemas de agente. AI-BOMs são ferramentas de visibilidade e conformidade. Valioso, mas não um substituto para a segurança do tempo de execução. Os CISOs e os líderes de segurança dependem cada vez mais de ambos.

A superfície de ataque continua se expandindo

Relatório da cadeia de suprimentos de software de 2025 da JFrog documentou mais de 1 milhão de novos modelos chegando ao Hugging Face somente em 2024, com um Aumento de 6,5 vezes em modelos maliciosos. Até abril de 2025, as verificações do Shield AI de 4,47 milhões de versões de modelos encontrou 352 mil problemas inseguros ou suspeitos em 51.700 modelos. A superfície de ataque expandiu-se mais rapidamente do que a capacidade de qualquer pessoa monitorá-la.

No início de 2025, ReversingLabs descobriu modelos maliciosos usando “nullifAI” técnicas de evasão que contornaram a detecção do Picklescan. A Hugging Face respondeu em 24 horas, removendo os modelos e atualizando o Picklescan para detectar técnicas de evasão semelhantes, demonstrando que a segurança da plataforma está melhorando, mesmo com o aumento da sofisticação dos invasores.

“Muitas organizações estão adotando com entusiasmo modelos públicos de ML para impulsionar a inovação rápida”, disse Yoav Landman, CTO e cofundador da JFrog. “No entanto, mais de um terço ainda depende de esforços manuais para gerir o acesso a modelos seguros e aprovados, o que pode levar a potenciais descuidos.”

Sete etapas para a visibilidade da cadeia de suprimentos de IA

A lacuna entre horas e semanas na resposta a incidentes na cadeia de suprimentos de IA se resume à preparação. As organizações com visibilidade integrada antes da violação têm os insights necessários para reagir com maior precisão e velocidade. Aqueles sem confusão. Nenhuma das opções a seguir requer um novo orçamento – apenas a decisão de tratar a governança do modelo de IA tão seriamente quanto a segurança da cadeia de fornecimento de software program.

1. Comprometa-se a construir um inventário modelo e definir processos para mantê-lo atualizado. Pesquise equipes da plataforma de ML. Analise os gastos na nuvem para SageMaker, Vértice AI, e base rochosa uso. Análise Abraçando o rosto downloads em logs de rede. Uma planilha funciona: nome do modelo, proprietário, classificação dos dados, native de implantação, origem e knowledge da última verificação. Você não pode proteger o que não pode ver.

2. Aposte no uso de técnicas avançadas para gerenciar e redirecionar IA de sombra use para aplicativos, ferramentas e plataformas seguras. Pesquise todos os departamentos. Verifique as chaves de API nas variáveis ​​de ambiente. Perceba que as equipes de contabilidade, finanças e consultoria podem ter aplicativos sofisticados de IA com diversas APIs vinculadas diretamente e usando os dados proprietários da empresa. A lacuna de visibilidade de 62% existe porque ninguém perguntou.

3. Exija aprovação humana para modelos de produção e projete sempre fluxos de trabalho com intervenção humana. Cada modelo que toca os dados do cliente precisa de um proprietário nomeado, uma finalidade documentada e uma trilha de auditoria que mostre quem aprovou a implantação. Assim como as equipes vermelhas fazem na Anthropic, OpenAI e outras empresas de IA, eles projetam processos de aprovação humanos para cada lançamento de modelo.

4. Considere obrigar SafeTensors para novas implantações. Mudanças políticas não custam nada. Tensores Seguros armazena apenas dados numéricos do tensornenhuma execução de código no carregamento. Avô existente salmoura modelos com aceitação de risco documentada e prazos de expiração.

5. Considere pilotar ML-BOMs primeiro para os 20% principais modelos de risco. Escolha aqueles que tocam os dados do cliente ou tomam decisões de negócios. Arquitetura de documentos, fontes de dados de treinamento, linhagem de modelo base, dependências de estrutura. Usar CicloneDX 1.6 ou SPDX3.0. Comece imediatamente, se ainda não estiver buscando isso, percebendo que a procedência incompleta é melhor do que nenhuma quando ocorrem incidentes.

6. Trate cada modelo puxado como uma decisão da cadeia de suprimentos, para que ele se torne parte da memória muscular da sua organização. Verifique os hashes criptográficos antes do carregamento. Modelos de cache internamente. Bloqueie o acesso à rede em tempo de execução para ambientes de execução de modelo. Aplique o mesmo rigor que as empresas aprenderam com leftpad, event-stream e colours.js.

7. Adicione governança de IA aos contratos de fornecedores durante o próximo ciclo de renovação. Exija SBOMs, origem de dados de treinamento, controle de versão de modelo e SLAs de notificação de incidentes. Pergunte se seus dados treinam modelos futuros. Não custa nada solicitar.

2026 será um ano de acerto de contas para AI SBOMs

Proteger modelos de IA está se tornando uma prioridade da diretoria. O Lei da UE sobre IA as proibições já estão em vigor, com multas que chegam a 35 milhões de euros ou 7% da receita world. Os requisitos SBOM da Lei de Resiliência Cibernética da UE começam este ano. A conformidade whole com a Lei AI é exigida até 2 de agosto de 2027.

As seguradoras cibernéticas estão de olho. Dado o prémio de 670.000 dólares por violações de IA oculta e a exposição emergente à responsabilidade executiva, espera-se que a documentação de governação da IA ​​se torne um requisito político este ano, tal como a prontidão para ransomware se tornou um desafio após 2021.

O Plugfest de Harmonização SEI Carnegie Mellon SBOM analisaram 243 SBOMs de 21 fornecedores de ferramentas para software program idêntico e encontraram variações significativas nas contagens de componentes. Para modelos de IA com dependências incorporadas e cargas executáveis, os riscos são maiores.

O primeiro incidente com modelo envenenado que custa sete dígitos em resposta e multas tornará o caso que já deveria ser óbvio.

Os SBOMs de software program tornaram-se obrigatórios depois que os invasores provaram que a cadeia de suprimentos period o alvo mais fácil. As cadeias de abastecimento de IA são mais dinâmicas, menos visíveis e mais difíceis de conter. As únicas organizações que escalarão a IA com segurança são aquelas que criam visibilidade agora – antes que precisem dela.