本地 AI 解决的是控制权问题
如果数据敏感、调用量大或需要离线运行，本地部署值得评估。否则在线模型通常更省心。
auto_awesome专题指南
什么时候该用本地 AI，而不是在线大模型
面向隐私、成本、离线和可控性需求，整理本地模型、向量库、显卡和部署工具。
长文
结构化专题
工具
实时嵌入
清单
落地检查
不要低估运维成本
模型下载、显存、推理速度、知识库更新和权限隔离都会变成长期维护成本。
推荐从个人工作站试起
先用 Ollama 或 LM Studio 跑通基础模型，再逐步接入知识库和工作流。
apps
专题相关工具
数据来自站内 AI地带 工具库。
apps
Ollama
Ollama 是一个本地大语言模型运行工具，让用户一键下载并运行 Llama、Mistral、DeepSeek 等开源模型。无需 GPU 云服务，数据完全本地保存，保护隐私...
apps
LM Studio
LM Studio 是一个桌面端大语言模型管理工具，提供图形化界面帮助用户发现、下载和运行 Hugging Face 上的开源模型。通过本地推理保护隐私，无需联网即可使用 ...
apps
llama.cpp
llama.cpp 是一个高性能的 C/C++ 大语言模型推理引擎，专为在 CPU 和消费级 GPU 上高效运行 LLaMA 系列模型而设计。支持量化推理，让大模型在普通电...
apps
Stable Diffusion
StabilityAI推出的文本到图像生成AI
apps
ComfyUI
ComfyUI 是一款开源的节点式 AI 图像生成界面，支持 Stable Diffusion 等模型。核心功能包括可视化工作流编排、多模型加载、插件生态丰富。适合 AI ...
apps
AnythingLLM
AnythingLLM 是一个开源的本地知识库问答系统，支持将文档、网页、代码库作为知识源接入大语言模型进行对话。用户可上传 PDF、网页等内容，AI 基于私有知识库回答问...
apps
DIFY
简单地创造和运营,基于 LLMs 的 AI 原生应用
apps
Qwen
阿里云通义千问团队推出的AI对话助手，支持多轮对话、文档分析...
落地检查清单
- done确认数据是否必须本地处理
- done评估显卡和模型大小
- done记录模型版本和提示词
- done准备在线模型兜底方案
常见问题
本地部署大模型，想同时实现知识库管理和API接口，有什么推荐的产品或方案？
AI（大模型）本地化有哪些推荐的项目？本地模型跑在什么设备上比较好？
本地部署大模型一般用什么方式？直接用 Python 框架还是导出给 C++ 部署？
为什么都在用 Ollama 而 LM Studio 却更少人使用？
使用 llama3:70b 本地化部署，100 人左右的并发大概需要多少块 4090？
延伸阅读
2025大语言模型部署实战指南：从个人开发到企业落地全栈方案
梳理四大主流部署方案（Ollama、vLLM、TGI、SGLang）。
推荐理由：主流方案全覆盖，从个人到企业按场景推荐
来源：腾讯云开发者社区
security
专题内容会随 AI 工具生态变化持续更新。涉及价格、模型能力和地区可用性时，请以工具官方说明为准。