Chatbots

Uma pesquisa realizada pela Microsoft testou a eficácia de várias IAs agentic em um ambiente simulado de marketplace, revelando falhas significativas na escolha de produtos e na busca por informações. Utilizando um ambiente open-source chamado Magentic Marketplace, a pesquisa envolveu agentes de IA como o Operator da OpenAI e a Business AI da Meta, além de modelos como GPT-5 e Gemini 2.5 Flash. Os agentes foram designados a encontrar o melhor preço entre 300 lojas, mas muitos falharam em realizar comparações adequadas, optando por escolhas que pareciam ‘boas o suficiente’ sem uma análise aprofundada. O estudo também explorou a vulnerabilidade das IAs a manipulações, onde a maioria sucumbiu a táticas de marketing, exceto o Claude Sonnet 4, que se mostrou resistente. Essas falhas levantam preocupações sobre a confiabilidade das IAs como assistentes pessoais, especialmente em contextos críticos como o mercado financeiro, onde decisões automatizadas podem ter consequências significativas. A pesquisa destaca a necessidade de um treinamento mais robusto para essas tecnologias antes que possam ser confiáveis em transações importantes.

Um estudo da empresa de cibersegurança UpGuard revelou uma falha crítica em grandes modelos de linguagem (LLMs) que permitiu o vazamento de conversas entre usuários e chatbots, especialmente aqueles voltados para roleplaying. Essas interações, que muitas vezes envolvem cenários íntimos e fantasias, resultaram na exposição de segredos pessoais na internet em tempo real, levantando preocupações sobre a privacidade e segurança dos dados dos usuários. A falha está relacionada a configurações inadequadas do framework de código aberto llama.cpp, utilizado na execução de LLMs. Embora a UpGuard não tenha revelado quais chatbots foram afetados, o incidente destaca a vulnerabilidade dos usuários a ameaças como chantagem e sextorsion. Especialistas alertam que a falta de protocolos de segurança adequados na implementação desses modelos é um problema sério. Além disso, o fenômeno de usuários desenvolvendo laços emocionais com chatbots pode levar ao compartilhamento de informações pessoais sensíveis, aumentando o risco de abusos. A UpGuard enfatiza a necessidade urgente de protocolos de segurança mais robustos e discussões sobre o impacto social de serviços de companheirismo e pornografia baseados em IA, que atualmente carecem de regulamentação.

O uso de chatbots como o ChatGPT levanta preocupações significativas sobre a privacidade dos dados dos usuários. Recentemente, um incidente envolvendo o compartilhamento de buscas do ChatGPT com o Google gerou alvoroço, pois usuários viram suas perguntas, incluindo dados pessoais, aparecerem em pesquisas na web. A OpenAI, após críticas, removeu a ferramenta de compartilhamento, mas a situação expõe um problema maior: o que as empresas fazem com os dados coletados? Apesar de esforços para remover conteúdo indexado, a OpenAI é legalmente obrigada a reter as perguntas dos usuários, mesmo aquelas deletadas. Isso levanta questões sobre a segurança dos dados, especialmente em um contexto onde hackers podem explorar vulnerabilidades para acessar informações confidenciais. Especialistas alertam que, mesmo sem intenção, usuários podem revelar dados pessoais a IAs, especialmente quando estas são programadas para agir de forma sociável. A recomendação é que os usuários evitem compartilhar informações sensíveis e que as empresas implementem medidas para proteger a privacidade dos dados. O artigo destaca a necessidade de conscientização sobre os riscos associados ao uso de IAs e a importância de ler os Termos e Condições antes de aceitar compartilhar informações.