不安全指令,一拒了之?TRIAD用三路决策:修复AI智能体的危险计划

5个月前发布 jovi
1 0 0

不安全指令,一拒了之?TRIAD用三路决策:修复AI智能体的危险计划

TRIAD为AI智能体提供了一种新型安全框架,通过三类决策(继续、更新、拒绝)和自然语言反馈帮助Agent在被误导时修正计划。相比传统方法,TRIAD更智能地处理任务污染问题,既防风险又不误任务。实验表明,TRIAD显著降低了攻击成功率,同时保持了较高的正常任务完成率。

🔗 [论文地址]:https://arxiv.org/abs/2606.05805
🔗 [GitHub项目]:https://github.com/YUHAOSUNABC/TRIAD

来源:36氪

© 版权声明

相关文章

没有相关内容!