Gpt-Red

A OpenAI revelou o GPT-Red, um modelo interno de red-teaming automatizado que visa identificar vulnerabilidades de injeção de prompt em modelos de linguagem antes de sua ampla implementação. O GPT-Red simula o trabalho de um red-teamer humano, enviando prompts e monitorando as respostas dos modelos GPT, com o objetivo de descobrir falhas que poderiam ser exploradas maliciosamente. A empresa destacou que seus modelos anteriores eram suscetíveis a ataques de injeção de prompt, e o GPT-Red foi desenvolvido para treinar adversarialmente o GPT-5.6, tornando-o mais robusto contra esses ataques. O modelo é capaz de executar uma variedade de ataques, como exfiltração de dados sensíveis e desativação de autenticação de dois fatores. A OpenAI também enfatizou que o GPT-Red é mantido separado de outros modelos para evitar que suas capacidades maliciosas sejam acessadas por agentes mal-intencionados. Em testes práticos, o GPT-Red demonstrou eficácia em comprometer sistemas, como uma máquina de vendas automatizada e um agente de linha de comando Codex, superando a taxa de sucesso de red-teamers humanos em vários cenários. Com a evolução contínua das defesas, o GPT-Red também se adapta, buscando novas formas de ataque para contornar as proteções implementadas.