从零搭建本地大模型工作流：Ollama加Open WebUI避坑指南（2026-10-06）

想在自己电脑上跑一个ChatGPT？不用花一分钱API费用，数据完全本地，还能随意切换模型。Ollama + Open WebUI 是目前最成熟的本地大模型组合方案。但网上多数教程报喜不报忧，真动手时你大概率会卡在下载慢、连不上、显存爆这三道坎上。这篇指南带你一次性走通，并绕开那些坑。

为什么选这套方案

Ollama负责在后台拉取和运行模型，Open WebUI提供一个类似ChatGPT的网页界面。两者配合，你得到的是：本地推理、对话历史、多模型切换、RAG文档问答。根据2026年社区统计，该组合在GitHub合计星标已超过18万，是本地部署事实标准。

第一步：安装Ollama（坑最多）

避坑一：不要用官网默认脚本

Linux用户直接跑 curl -fsSL https://ollama.com/install.sh | sh 经常因网络问题中断。建议先设置镜像：

export OLLAMA_HOST=0.0.0.0
export OLLAMA_MODELS=/data/ollama/models

Windows/macOS用户直接下载安装包即可，但务必确认安装盘剩余空间大于30GB。一个7B量化模型约4GB，13B约8GB，30B以上轻松超过20GB。

避坑二：显存不足的假象

很多人一跑 ollama run llama3 就报“out of memory”。其实Ollama默认会尝试把整个模型加载进显存。如果你只有8GB显存，请选择 llama3:8b-instruct-q4_K_M 这类4-bit量化版。实测：RTX 3060 12GB跑7B Q4模型，速度约45 tokens/秒，完全可用。

第二步：部署Open WebUI

推荐用Docker，一行命令：

docker run -d -p 3000:8080 \
  -v open-webui:/app/backend/data \
  --add-host=host.docker.internal:host-gateway \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

避坑三：容器连不上Ollama

这是最高频的报错。原因：Docker容器内的 localhost 指向容器本身，不是宿主机。解决方案：在Open WebUI设置里，把Ollama地址改为 http://host.docker.internal:11434。Linux用户若无效，改用宿主机局域网IP，如 http://192.168.1.100:11434。

避坑四：首次加载卡在“获取模型列表”

Open WebUI启动后会尝试拉取模型列表，若Ollama未启动或端口不通，界面会一直转圈。先确认 ollama serve 正在运行，再刷新页面。另外，首次登录需注册管理员账号，随便填，但邮箱要合法格式。

第三步：实用配置与案例

案例：用本地模型处理敏感合同

某小型律所使用Ollama + Open WebUI + qwen2.5:14b 模型，将客户合同脱敏后上传，通过RAG插件进行条款问答。全程数据不出内网，响应时间约2秒/问。相比GPT-4 API，每月节省约200美元，且无合规风险。

三条实用建议

模型选择：中文任务优先选Qwen2.5或DeepSeek，英文选Llama3.1。7B模型适合日常问答，14B以上适合推理和代码。
内存交换：如果显存不够，设置 OLLAMA_NUM_GPU=0 强制用CPU，速度慢但能跑。或设置 OLLAMA_KEEP_ALIVE=24h 让模型常驻内存。
备份对话：Open WebUI数据在 open-webui 卷里，定期 docker cp 出来，否则重装容器全丢。

现在就动手

别光收藏。打开终端，先跑 ollama pull qwen2.5:7b，同时启动Docker容器。遇到报错就回看上面的避坑点。30分钟后，你将拥有一个完全属于自己的AI工作台。跑通后，试着上传一份PDF，问它三个问题——你会回来感谢自己的。

免责声明：本文仅提供技术教程，不构成任何商业或法律建议。本地部署大模型需遵守模型许可协议及当地法律法规。因操作不当导致的数据丢失、硬件损坏或合规问题，作者及平台不承担责任。请确保你拥有合法使用相关模型和数据的权利。