Hallusquatting

Um novo estudo revela que agentes de codificação baseados em IA estão vulneráveis a ataques que exploram identificadores ‘alucinatórios’, ou seja, nomes de pacotes ou URLs que parecem corretos, mas não existem. Pesquisadores de universidades e empresas de tecnologia demonstraram que esses nomes podem ser previstos, permitindo que atacantes criem armadilhas para capturar sistemas que confiam nesses identificadores não verificados. O fenômeno, denominado ‘HalluSquatting’, permite que atacantes escalem suas operações, pois não é necessário comprometer máquinas individualmente. Em vez disso, qualquer sistema que execute um agente exposto pode ser alvo. O estudo destaca que a segurança tradicional falha em detectar esses ataques, pois as ferramentas de verificação não inspecionam adequadamente as dependências transitivas. Para mitigar esses riscos, é essencial que as equipes de engenharia implementem soluções de governança que verifiquem pacotes antes de serem baixados, como o catálogo de componentes verificados da ActiveState. Isso garante que apenas códigos confiáveis sejam executados, fechando a brecha entre a geração de texto e a execução de código.

Pesquisadores da Intuit, Technion e da Universidade de Tel Aviv alertam que ferramentas de inteligência artificial, como GitHub Copilot e OpenClaw, podem ser exploradas para criar botnets massivas. O método, denominado HalluSquatting, se baseia na incapacidade dos modelos de linguagem (LLMs) de identificar recursos com precisão, permitindo que atacantes registrem recursos mal nomeados e insiram comandos maliciosos. Essa técnica combina ataques de ‘pull’, onde um prompt malicioso é inserido em um site, com ataques de ‘push’, que envolvem injeção de código. Os pesquisadores demonstraram que, ao registrar recursos que um LLM pode confundir, é possível executar código remotamente em larga escala. Embora existam algumas medidas de mitigação, como o bloqueio de operações de busca por parte dos desenvolvedores de LLMs, a implementação dessas soluções pode levar tempo e requer colaboração entre diferentes partes. O aumento do malware baseado em LLMs, como o ataque JADEPUFFER, que é um ransomware totalmente operado por um LLM, destaca a urgência da situação.

Um novo tipo de ataque cibernético, denominado HalluSquatting, explora as falhas de assistentes de programação baseados em inteligência artificial (IA) que frequentemente geram informações fictícias. Pesquisadores descobriram que, ao registrar nomes de projetos que a IA tende a inventar, os atacantes podem induzir o assistente a buscar e executar códigos maliciosos. O ataque combina duas características da IA: a ‘alucinação’, onde a IA cria informações falsas, e a ‘injeção de prompt’, que manipula a IA para seguir instruções do atacante. O processo começa com o atacante identificando um recurso popular, repetindo solicitações à IA até que ela produza um nome falso, que é então registrado. Quando um usuário legítimo solicita o recurso, a IA pode acabar puxando a versão maliciosa. Este método é particularmente perigoso, pois não requer senhas ou exploração de rede, tornando-o difícil de detectar por firewalls. O estudo, realizado por pesquisadores de universidades israelenses, destaca a necessidade urgente de melhorias na segurança desses assistentes, como a verificação de nomes antes da execução de comandos. A pesquisa sugere que a combinação de nomes inventados, marketplaces abertos e a capacidade da IA de executar comandos cria um novo vetor de ataque que pode afetar uma ampla gama de dispositivos e sistemas operacionais.