llama.cpp 本地大模型部署教程：12 步在电脑上运行 LLM（2026 最新）（2026-10-02）

想在本地跑大模型，又不想被云端 API 的账单和隐私问题困扰？llama.cpp 依然是 2026 年最值得掌握的本地推理方案。它轻量、跨平台，甚至能在普通笔记本上流畅运行 7B 模型。

为什么选择 llama.cpp

核心优势

• 零依赖：纯 C/C++ 编写，编译后即用
• 量化友好：Q4_K_M 量化下，7B 模型仅需约 4.5GB 内存
• 速度实测：M2 MacBook Air 上运行 Llama-3.2-8B，可达 28 tokens/秒

12 步部署流程

第 1-4 步：环境准备

1. 安装 CMake 和 Git
2. 克隆仓库：git clone https://github.com/ggerganov/llama.cpp
3. 编译：cmake -B build && cmake --build build --config Release
4. 验证：./build/bin/llama-cli --version

第 5-8 步：获取模型

5. 从 Hugging Face 下载 GGUF 格式模型（推荐 Q4_K_M）
6. 放入 models/ 目录
7. 检查文件完整性
8. 记录模型路径

第 9-12 步：运行与调优

9. 启动对话：./build/bin/llama-cli -m models/llama-3.2-8b.Q4_K_M.gguf -p "你好"
10. 调整 -ngl 参数启用 GPU 加速
11. 设置 -c 4096 控制上下文长度
12. 用 llama-server 开启 API 服务

实用建议

• 内存不足：换 Q3_K_S 量化，或减小上下文
• 速度慢：优先增加 -ngl 层数，而非换更小模型
• 案例：一位用户用 16GB 内存的 Windows 笔记本，成功以 15 tokens/秒运行 Mistral-7B

行动起来

现在就打开终端，跟着这 12 步跑通你的第一个本地 LLM。遇到问题？欢迎在评论区留言交流。

免责声明：本文仅提供技术教程，请确保下载的模型符合其许可协议。运行大模型可能消耗大量计算资源，请根据设备实际情况调整参数。