MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

4小时前发布 jovi
2 0 0

MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

训练范式要被颠覆了?MIT最新实验证实,大模型可直接读取并编辑小模型权重。仅改动0.8B模型0.016%的权重,无需梯度下降,数学能力直接飙升6倍。更炸裂的是,从零手写游戏网络权重,效果碾压PPO训练5亿步20倍。这套「权重空间编程」打法意味着:未来调优模型可能不再需要重训,开发者必须立刻更新认知,否则将被淘汰。

🔗 [参考链接]:https://rikiyat.github.io/blog/weight-space-programming/

来源:36氪

© 版权声明

相关文章

没有相关内容!