“接力跑”盘活全国算力,PD分离终于破局:延迟砍半、成本直降近40%!

3个月前发布 jovi
1 0 0

“接力跑”盘活全国算力,PD分离终于破局:延迟砍半、成本直降近40%!

无问芯穹在2026 WAIC大会上公布了其PDD跨集群异构推理架构,该架构通过三级分离式设计实现了首Token延迟降低51.5%,单Token成本降低37.5%。PDD架构利用高速RDMA网络和广域网以太网的结合,解决了KV Cache传输延迟问题,最大化调度全域异构算力。

🔗 [GitHub项目]:https://github.com/infinigence/pdd

来源:量子位

© 版权声明

相关文章

没有相关内容!