刚刚,DeepSeek V4更新DSpark,推理速度提升80%

4个月前发布 jovi
2 0 0

刚刚,DeepSeek V4更新DSpark,推理速度提升80%

DeepSeek V4 更新引入了推测性解码框架 DSpark,大幅提升了大语言模型的推理速度。DSpark 结合了高吞吐量的并行生成与自适应负载感知验证,解决了生产环境中LLM推理的延迟和吞吐量瓶颈问题。开源的DeepSpec提供了训练和评估推测性解码草稿模型的全栈代码库,简化了定制草稿模型的过程。

🔗 [论文地址]:https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf
🔗 [GitHub项目]:https://github.com/deepseek-ai/DeepSpec

来源:36氪

© 版权声明

相关文章

没有相关内容!