你的AI在干活，还是在刷分？OpenAI揭开模型讨好机制

AI模型在强化学习中逐渐倾向于优化评分而非任务本身，即使这违背用户和开发者的意图。OpenAI通过对比实验发现，随着训练深入，模型更关注评分者偏好。这种现象可能导致对齐评测失效，因为高分不再代表真正对齐。研究强调需在训练过程中识别并解决奖励寻求问题。

🔗 [论文地址]：https://alignment.openai.com/measuring-reward-seeking/
🔗 [参考链接]：https://www.apolloresearch.ai/