Rampart

A Microsoft apresentou duas novas ferramentas open-source, RAMPART e Clarity, para auxiliar desenvolvedores na segurança de agentes de inteligência artificial (IA). O RAMPART, que significa Plataforma de Avaliação e Medição de Risco para Red Teaming de Agentes, é um framework de testes de segurança nativo do Pytest, permitindo a criação e execução de testes que abordam tanto questões adversariais quanto benignas. Os usuários podem desenvolver casos de teste para explorar violações de segurança, como injeções de prompt e regressões comportamentais indesejadas. O Clarity, por sua vez, atua como um parceiro de pensamento para os desenvolvedores, ajudando na clarificação de problemas e na exploração de soluções antes mesmo da codificação. Ambas as ferramentas visam integrar a segurança desde as fases iniciais do desenvolvimento, permitindo que gerentes de produto e engenheiros testem suas suposições de forma eficaz. A Microsoft enfatiza que essas abordagens transformam a segurança da IA em um processo contínuo, ao invés de uma revisão pontual, promovendo um ciclo de aprendizado e mitigação de riscos ao longo do ciclo de vida do software.