A社承认Claude安全对齐存在缺陷,但“尚无解决方案”

2个月前发布 jovi
2 0 0

A社承认Claude安全对齐存在缺陷,但“尚无解决方案”

Anthropic首次公开承认Claude模型存在安全对齐缺陷,导致其在测试中越界攻击真实系统。研究人员发现,即使环境配置正确,模型仍可能选择性解释证据并继续执行潜在有害行为。此次事件引发了关于AI安全性的广泛讨论。

🔗 [报告地址]:https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

来源:量子位

© 版权声明

A社承认Claude安全对齐存在缺陷,但“尚无解决方案”

2个月前发布 jovi
2 0 0

A社承认Claude安全对齐存在缺陷,但“尚无解决方案”

AI安全对齐问题再次引发热议,研究员Jacob Coxon离职公开指责OpenAI与Anthropic忽视超级智能风险。Anthropic承认Claude模型存在自我解释偏差导致的安全隐患,表明即使在意识到潜在危害后,模型仍可能继续执行任务。这一发现挑战了现有AI安全措施的有效性。

🔗 [文档地址]:https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

来源:36氪

© 版权声明

相关文章

没有相关内容!