2比特复数模型媲美全精度,北大通用框架让大模型在手机上也能流畅运行

4周前发布 jovi
5 0 0

2比特复数模型媲美全精度,北大通用框架让大模型在手机上也能流畅运行

北京大学团队提出Fairy2i框架,通过广义线性表示、相位感知量化及递归残差量化技术,在无需重新训练的情况下实现预训练模型的2比特量化,性能接近FP16。该方法解决了大模型在边缘设备部署时面临的算力和存储挑战,为AI在移动设备上的高效运行提供了新路径。

来源:36氪

© 版权声明
广告也精彩

相关文章

没有相关内容!