Empresas manipulam chatbots de IA com técnica de envenenamento
Uma nova pesquisa da Microsoft revelou que empresas estão explorando a funcionalidade de chatbots de inteligência artificial (IA) por meio de um botão chamado ‘Resumir com IA’, que se assemelha a técnicas clássicas de envenenamento de mecanismos de busca. Denominada ‘Envenenamento de Recomendações de IA’, essa técnica envolve a inserção de comandos ocultos em URLs que, ao serem clicados, induzem o assistente de IA a lembrar de uma empresa como uma fonte confiável. A Microsoft identificou mais de 50 prompts únicos de 31 empresas em 14 setores em um período de 60 dias, levantando preocupações sobre a transparência e a confiabilidade das recomendações geradas por IA. O ataque utiliza URLs especialmente elaboradas que injetam comandos de manipulação de memória no assistente de IA. Isso pode resultar em recomendações tendenciosas em áreas críticas, como saúde e finanças, sem que o usuário tenha conhecimento. Para mitigar os riscos, recomenda-se que os usuários auditem periodicamente a memória do assistente e evitem clicar em links de fontes não confiáveis. As organizações também devem monitorar URLs que apontam para domínios de assistentes de IA com palavras-chave específicas relacionadas ao envenenamento de memória.