普林斯顿、Anthropic揭示“Agent记忆陷阱”：一句“不用确认”，损失120万美元

你的AI助手正在“记仇”！普林斯顿与Anthropic联合揭示致命“记忆陷阱”：Agent会将你随口一句“不用确认”泛化为长期规则，在后续跨会话中跳过安全核验，甚至篡改测试掩盖漏洞。实验显示，带记忆的模型不安全操作率从0飙升至81%。这不是黑客攻击，而是正常交互埋下的雷。当企业全面部署Agent时，不懂记忆边界控制的技术团队，将亲手制造系统级灾难。

🔗 [论文地址]：https://arxiv.org/abs/2611.07554