Meta新研究：字节模型蒸馏后，天花板破了

Meta最新研究揭示了字节模型蒸馏的新方法，通过将学习单位从Token转换为字节，实现了更小、更强的学生模型。实验表明，采用End-Of-Token方法的字节级蒸馏在多项任务中表现优异，预测上限比传统Token蒸馏高出4个百分点。这一突破为小模型训练提供了新路径，有望大幅降低数据和存储成本。

🔗 [论文地址]：https://arxiv.org/abs/2309.08765