llama.cpp

llama.cpp 是什么？

llama.cpp 是一个纯 C/C++ 实现的大语言模型推理引擎，由 ggerganov 创建并开源。它支持 LLaMA、Mistral、DeepSeek 等多种模型的 4-bit 到 8-bit 量化推理，让大模型在无高端 GPU 的普通电脑上也能高效运行。

核心功能

• 纯 C/C++ 实现，无 Python 依赖，启动和运行极快
• 支持多种量化格式（GGUF），大幅降低显存需求
• 可在 CPU、Apple Silicon、CUDA、Vulkan 上运行
• 提供 HTTP 服务器、命令行和库集成多种使用方式
• 支持 GPU 加速和批处理推理优化

适合谁用？

适合希望在没有高端 GPU 的硬件上运行大模型的开发者和研究者，需要将 LLM 嵌入到 C/C++ 项目的工程师，以及关注推理性能优化和边缘部署的技术人员。

定价模式

完全开源免费（MIT 许可证）。用户只需投入硬件资源，可在任何支持 C++ 编译器的平台上使用。