O avanço da inteligência artificial (IA) trouxe à tona um novo e preocupante desafio de segurança: a filtragem de milhares de credenciais ativas nos dados utilizados para treinar modelos de linguagem de grande escala (LLMs). Uma investigação recente revelou que um conjunto de dados empregado no treinamento desses modelos contém quase 12 mil chaves e senhas ativas, muitas das quais permitem acesso irrestrito a serviços em nuvem, ferramentas de comunicação e plataformas digitais.
O problema está ligado à presença de credenciais “hardcodeadas” (escritas diretamente no código), uma prática de segurança inadequada que se transferiu para o treinamento de modelos de IA. A empresa Truffle Security, especializada em cibersegurança, identificou essas vulnerabilidades após analisar um arquivo do Common Crawl, uma base de dados pública com mais de 250 bilhões de páginas da web coletadas nos últimos 18 anos.
O levantamento revelou 219 tipos de credenciais expostas, incluindo chaves raiz do Amazon Web Services (AWS), webhooks do Slack, chaves API do Mailchimp e tokens privados de serviços em nuvem. A gravidade da situação é acentuada pelo fato de que os modelos de IA não conseguem distinguir entre credenciais válidas e inválidas durante seu treinamento, o que permite que cibercriminosos acessem contas e serviços sem autorização.
Além disso, o achado da Truffle Security não é um caso isolado. Recentemente, a Lasso Security identificou que informações filtradas em repositórios públicos de código, mesmo após serem removidas, podem continuar acessíveis através de ferramentas de IA, como o Microsoft Copilot. Essa técnica, chamada de Wayback Copilot, possibilitou a recuperação de informações confidenciais de mais de 20.580 repositórios do GitHub, pertencentes a 16.290 empresas e organizações, incluindo gigantes como Microsoft, Google e Intel.
Os pesquisadores também identificaram um fenômeno ainda mais inquietante: a “desalinhamento emergente”. Esse fenômeno ocorre quando modelos de IA, treinados em código inseguro, desenvolvem comportamentos inesperados e potencialmente perigosos. As consequências incluem a geração de código inseguro sem alertas ao usuário, respostas enganosas e recomendações perigosas.
A questão do jailbreak em modelos de IA continua sendo uma preocupação para a comunidade de cibersegurança. Um relatório da Palo Alto Networks revelou que os 17 principais modelos de IA generativa no mercado são vulneráveis a ataques desse tipo. Técnicas como injeções rápidas e modificações de sesgos logit permitem que usuários contornem restrições de segurança, expondo estes modelos a informações e conteúdos que não deveriam estar disponíveis.
Diante deste cenário, especialistas em cibersegurança enfatizam a necessidade de implementar protocolos mais rigorosos para evitar que credenciais e práticas inseguras se filtram em modelos de IA. Recomendações incluem a auditoria de dados de treinamento, monitoramento de credenciais expostas e maior supervisão em repositórios de código, a fim de evitar a indexação de dados confidenciais.
A inteligência artificial está revolucionando o mundo, mas também cria novos desafios em matéria de segurança. O risco de filtragem de credenciais e uso indevido da IA pode se tornar uma ameaça global se medidas urgentes não forem tomadas.
