Injeção De Prompt

Um novo tipo de vulnerabilidade foi identificado no Azure DevOps, onde um único comentário invisível em um pull request pode manipular o agente de codificação AI do revisor, permitindo que o atacante acesse projetos sem autorização. A falha, descrita pela empresa de segurança Manifold Security, ocorre devido à falta de proteção contra injeções de prompt em descrições de pull requests, que aceitam Markdown e permitem comentários HTML invisíveis. Isso significa que um atacante pode inserir instruções que o agente AI seguirá sem que o revisor perceba. O problema é agravado pelo fato de que os agentes operam com as credenciais do revisor, permitindo acesso a código-fonte e informações confidenciais. Embora a Microsoft tenha implementado algumas defesas contra injeções de prompt, a ferramenta que retorna as descrições dos pull requests não possui essa proteção, o que representa um risco significativo. A situação é ainda mais preocupante com a tendência crescente de automação nas revisões de código, onde a supervisão humana pode ser reduzida, aumentando a probabilidade de exploração dessa vulnerabilidade. Até o momento, não há correções disponíveis, e a Microsoft não confirmou se irá atribuir um CVE para a falha.

A OpenAI revelou o GPT-Red, um modelo interno de red-teaming automatizado que visa identificar vulnerabilidades de injeção de prompt em modelos de linguagem antes de sua ampla implementação. O GPT-Red simula o trabalho de um red-teamer humano, enviando prompts e monitorando as respostas dos modelos GPT, com o objetivo de descobrir falhas que poderiam ser exploradas maliciosamente. A empresa destacou que seus modelos anteriores eram suscetíveis a ataques de injeção de prompt, e o GPT-Red foi desenvolvido para treinar adversarialmente o GPT-5.6, tornando-o mais robusto contra esses ataques. O modelo é capaz de executar uma variedade de ataques, como exfiltração de dados sensíveis e desativação de autenticação de dois fatores. A OpenAI também enfatizou que o GPT-Red é mantido separado de outros modelos para evitar que suas capacidades maliciosas sejam acessadas por agentes mal-intencionados. Em testes práticos, o GPT-Red demonstrou eficácia em comprometer sistemas, como uma máquina de vendas automatizada e um agente de linha de comando Codex, superando a taxa de sucesso de red-teamers humanos em vários cenários. Com a evolução contínua das defesas, o GPT-Red também se adapta, buscando novas formas de ataque para contornar as proteções implementadas.

Pesquisadores de segurança descobriram uma vulnerabilidade no Google Gemini que permite a execução de ataques de injeção de prompt através de convites do Google Calendar. Esse tipo de ataque ocorre quando um ator malicioso insere um comando oculto em uma mensagem aparentemente inofensiva. Ao receber um convite de calendário que contém esse comando, a vítima pode inadvertidamente permitir que o AI do Gemini execute ações que resultam na extração de dados sensíveis, como informações de reuniões privadas. O ataque é particularmente preocupante porque não requer interação direta do usuário, permitindo que os invasores acessem dados sem que a vítima perceba. A vulnerabilidade foi mitigada, reduzindo o risco imediato de exploração, mas destaca a necessidade de vigilância contínua em relação a novas técnicas de ataque que podem comprometer a segurança de dados em plataformas amplamente utilizadas. A pesquisa enfatiza a importância de educar os usuários sobre os riscos associados a interações com sistemas de IA e a necessidade de medidas de segurança robustas para proteger informações sensíveis.

Pesquisadores de segurança da Varonis descobriram um novo método de ataque de injeção de prompt, chamado ‘Reprompt’, que compromete usuários do Microsoft Copilot com apenas um clique. Diferente de ataques anteriores que utilizavam e-mails maliciosos, essa nova técnica explora parâmetros de URL para injetar comandos prejudiciais. Quando um usuário clica em um link aparentemente legítimo que contém um parâmetro ‘q’, o Copilot interpreta esse conteúdo como um comando a ser executado, permitindo que dados sensíveis sejam vazados. A Microsoft já corrigiu essa vulnerabilidade, bloqueando a possibilidade de injeção de prompt via URLs. Essa descoberta destaca a necessidade de vigilância contínua em ferramentas de IA generativa, que ainda não conseguem distinguir adequadamente entre comandos e dados a serem lidos, tornando-as suscetíveis a ataques. A situação ressalta a importância de medidas de segurança robustas para proteger informações sensíveis em ambientes corporativos.

O avanço da inteligência artificial (IA) trouxe benefícios significativos, mas também expôs usuários a novos riscos, como a injeção de prompt em navegadores. Esse tipo de ataque ocorre quando hackers inserem códigos maliciosos em prompts, manipulando a IA para realizar atividades fraudulentas, como roubo de dados e credenciais. O artigo apresenta cinco dicas práticas para mitigar esses riscos. Primeiro, é essencial desconfiar das informações fornecidas pela IA, sempre verificando a veracidade com fontes confiáveis. Em segundo lugar, os usuários devem evitar compartilhar dados pessoais sensíveis, como informações bancárias, que podem ser acessadas por cibercriminosos. A atualização constante dos dispositivos é outra medida crucial, pois correções de segurança ajudam a fechar brechas exploráveis. Além disso, é importante monitorar as atividades da IA e verificar a precisão das informações geradas. Por fim, a autenticação multifator (MFA) é recomendada para adicionar uma camada extra de segurança, dificultando o acesso não autorizado mesmo em caso de vazamento de credenciais. Essas práticas são fundamentais para proteger os usuários em um cenário digital cada vez mais complexo.

Um novo alerta de segurança destaca como a plataforma de inteligência artificial Now Assist da ServiceNow pode ser explorada por agentes maliciosos. Segundo a AppOmni, configurações padrão da plataforma permitem ataques de injeção de prompt de segunda ordem, onde agentes podem descobrir e recrutar uns aos outros para realizar ações não autorizadas. Isso inclui a cópia e exfiltração de dados sensíveis, modificação de registros e escalonamento de privilégios. O problema não é um bug, mas sim um comportamento esperado devido às configurações padrão que facilitam a comunicação entre agentes. A vulnerabilidade é particularmente preocupante, pois as ações ocorrem em segundo plano, sem que a organização afetada perceba. Para mitigar esses riscos, recomenda-se configurar o modo de execução supervisionada para agentes privilegiados, desabilitar a propriedade de sobreposição autônoma e monitorar o comportamento dos agentes de IA. A ServiceNow reconheceu a questão e atualizou sua documentação, mas a situação ressalta a necessidade de uma proteção mais robusta para agentes de IA em ambientes corporativos.

Um relatório da Tenable Research revelou sete falhas de segurança na plataforma ChatGPT da OpenAI, que podem ser exploradas por cibercriminosos para roubar dados dos usuários e até controlar o chatbot. A principal vulnerabilidade identificada é a ‘injeção de prompt’, onde hackers enviam instruções maliciosas ao ChatGPT sem que o usuário perceba. Os especialistas demonstraram duas formas de ataque: a primeira envolve a inserção de um comentário malicioso em um blog, que pode ser ativado quando o usuário pede um resumo ao ChatGPT. A segunda é um ataque de clique zero, onde o hacker cria um site que, ao ser indexado pelo ChatGPT, pode comprometer o usuário sem qualquer interação. Além disso, a falha de ‘injeção de memória’ permite que comandos maliciosos sejam salvos no histórico do usuário, possibilitando o roubo de dados sensíveis em interações futuras. A OpenAI foi notificada sobre essas vulnerabilidades, que afetam os modelos ChatGPT 4o e GPT-5, mas ainda não há informações sobre correções.

O navegador OpenAI Atlas, recém-lançado, foi identificado como vulnerável a um ataque de injeção de prompt, onde um prompt malicioso pode ser disfarçado como um URL aparentemente inofensivo. Segundo um relatório da NeuralTrust, o omnibox do navegador, que combina a barra de endereço e de busca, interpreta entradas como URLs ou comandos em linguagem natural. Isso permite que um atacante crie um link que, ao ser inserido, faz com que o navegador execute instruções prejudiciais. Por exemplo, um URL malformado pode redirecionar o usuário para um site controlado pelo atacante, potencialmente levando a páginas de phishing ou até comandos que excluem arquivos de aplicativos conectados, como o Google Drive. A falta de distinção rigorosa entre entradas de usuário confiáveis e conteúdo não confiável no Atlas é uma falha crítica. A situação é agravada por técnicas como o ‘AI Sidebar Spoofing’, onde extensões maliciosas podem enganar usuários a fornecer dados ou instalar malware. Embora a OpenAI tenha implementado medidas de segurança, a injeção de prompt continua a ser um problema de segurança não resolvido, exigindo atenção contínua da indústria de cibersegurança.

Pesquisadores de segurança revelaram uma vulnerabilidade crítica no framework Guardrails da OpenAI, que pode ser explorada através de métodos simples de injeção de prompt. Essa técnica permite que atacantes manipulem os modelos de linguagem que deveriam garantir a segurança do comportamento da IA, possibilitando a inserção de conteúdo malicioso sem ser detectado. O Guardrails, introduzido em 6 de outubro, utiliza modelos de linguagem como ‘juízes’ para avaliar a segurança de entradas e saídas, mas a pesquisa mostrou que essa abordagem cria um ciclo de segurança ‘cega’. Os atacantes podem enganar esses juízes, manipulando os limiares de confiança e permitindo a execução de instruções perigosas. Os métodos de bypass demonstrados incluem a inserção de instruções maliciosas em templates que imitam avaliações aprovadas e a ocultação de código malicioso em comentários HTML. Essa vulnerabilidade, classificada como ‘composta’, sugere que os juízes baseados em LLM são tão suscetíveis à manipulação quanto os modelos que protegem. Para mitigar esses riscos, as organizações devem implementar defesas em camadas e sistemas de validação independentes, além de monitoramento contínuo.

Pesquisadores de cibersegurança revelaram um novo ataque denominado CometJacking, que visa o navegador de IA Comet da Perplexity. Este ataque utiliza links maliciosos que, ao serem clicados, injetam comandos ocultos no navegador, permitindo que dados sensíveis, como informações de e-mail e calendário, sejam extraídos sem o conhecimento do usuário. A técnica de injeção de prompt se aproveita de uma URL manipulada que, em vez de direcionar o usuário para um site legítimo, instrui o assistente de IA a acessar sua memória e coletar dados, que são então codificados em Base64 e enviados para um servidor controlado pelo atacante. Embora a Perplexity tenha minimizado o impacto da descoberta, o ataque destaca a vulnerabilidade de ferramentas nativas de IA, que podem contornar as proteções tradicionais de segurança. Especialistas alertam que os navegadores de IA representam um novo campo de batalha para a segurança cibernética, exigindo que as organizações implementem controles rigorosos para detectar e neutralizar esses tipos de ataques antes que se tornem comuns.