月之暗面公开RL训练加速方法：训练速度暴涨97%，长尾延迟狂降93%

月之暗面联合清华大学提出全新加速引擎Seer，显著提升LLM强化学习训练速度，在不改变核心算法前提下，实现Rollout效率提升74%～97%，长尾延迟减少75%～93%。Seer通过三大模块（推理引擎池、请求缓冲区、上下文管理器）和三项关键技术（分段生成、上下文感知调度、自适应分组推测解码），从内存、调度、推理三个维度优化rollout效率。实验验证表明，Seer在不同工作负载中均实现性能突破，吞吐量提升显著，且大幅降低长尾延迟。