llama.cpp llama.cpp 是一个高性能的 C/C++ 大语言模型推理引擎,专为在 CPU 和消费级 GPU 上高效运行 LLaMA 系列模型而设计。支持量化推理,让大模型在普通电脑上流畅运行。适合开发者和研究者在本地部署和优化 LLM 推理。完全开源免费。