英伟达官方推理指南来了，6倍无损加速，最优解全是华人写的

英伟达官方发布大模型推理指南，揭示了6种主流推理加速方案。其中，华人团队主导的方案几乎占据了核心位置。特别是投机解码技术，通过小模型预测和大模型验证的方式实现了无损加速。这标志着未来模型设计将更加依赖于硬件物理极限。

🔗 [论文地址]：https://arxiv.org/abs/2403.09578