把记忆交给CPU，大模型会变快

面对大模型在处理长上下文时遇到的显存压力问题，英特尔提出了通过CPU来优化KV Cache管理的新方案。此方法旨在通过将缓存分层存储至不同层级（如GPU、DDR、SSD）以释放GPU显存，同时利用专用硬件加速压缩解压过程，从而提高整体效率和并发处理能力。

🔗 [论文地址]：https://arxiv.org/abs/2307.16549