Why I Ditched Over-Engineered LLM Wikis for a Pure Python Compiler（2026-07-09）

如果你正在管理一个超过10人的AI团队，你一定见过这种场景：为了“标准化”LLM调用，团队花了两周搭建一个所谓的“LLM Wiki”——包含提示模板库、模型版本管理、上下文窗口计算器、甚至还有一个微型数据库来存储每个prompt的“元数据”。结果呢？没人用。维护成本比实际开发还高，每次模型更新还要重写三分之一的配置。

我经历了三次这样的循环后，做了一个看似“倒退”的决定：用一个不到200行的纯Python编译器，替代了那个重达几十MB的Wiki系统。结果出人意料的好。

为什么“重框架”往往适得其反？

首先，我们看看一个典型的“LLM Wiki”到底塞了什么：

典型的“LLM Wiki”架构（你大概率也踩过坑）

提示模板库：用YAML写prompt，然后用JSON Schema校验输入参数
模型路由层：根据用户请求的“任务类型”自动选择GPT-4、Claude或本地模型
上下文管理：自动计算token用量，动态拼接对话历史
知识图谱：把FAQ、代码片段、API文档都做成节点，用图数据库查询

问题：这些功能几乎全是“为了存在而存在”。你的实际需求可能只是：

用户输入一个产品描述→调用GPT-4总结成3个卖点→返回纯文本。

而上述框架需要你写：1个YAML模板、2个类定义、1个数据库表、1个路由规则。开发成本提高了5倍，维护成本提高了10倍。

一个纯Python编译器的启示

我最终选择的方案是一个纯Python编译器——本质上是一个函数 + 装饰器 + 缓存的组合。它没有UI，没有数据库，没有配置中心。

核心实现（仅3个文件）

project/
├── compiler.py          # 定义 @llm_compile 装饰器
├── prompts/             # 纯Python函数，不用YAML
│   ├── summarize.py     # 返回 prompt 字符串的函数
│   └── rewrite.py
└── main.py              # 实际业务逻辑

关键代码（简化）：

# compiler.py
from functools import lru_cache

def llm_compile(
    model: str = "gpt-4",
    max_tokens: int = 500,
    cache_ttl: int = 3600
):
    def decorator(func):
        @lru_cache(maxsize=100)
        def wrapper(*args, **kwargs):
            prompt = func(*args, **kwargs)
            # 直接调用OpenAI API（或你的推理服务）
            response = openai.ChatCompletion.create(...)
            return response.choices[0].text
        return wrapper
    return decorator

实际效果：

代码量：从1200行（含框架依赖）降到 150行
启动时间：从3.2秒降到 0.04秒
模型切换：改一个字符串参数即可，无需改动任何配置文件
缓存：Python原生@lru_cache搞定，命中率提升到78%（以前用Redis缓存命中率仅45%）

实战数据：为什么纯Python方案更快？

在团队的一次A/B测试中，我们用同一个任务（“将用户反馈分类为 bug/feature/其他”）对比两种方案：

指标	“Wiki”方案	纯Python编译器
平均响应延迟	1.8s（含路由+解析）	0.7s（直接调用）
首次修改耗时	15分钟（改模板+重跑管道）	2分钟（改函数体）
新成员上手时间	2天（学YAML+图查询）	20分钟（读3个函数）

适合你吗？——三个判断标准

不是所有人都该放弃框架。但如果你符合以下三条中的任意两条，纯Python编译器可能更适合你：

你的prompt数量少于50个：不需要图数据库，一个字典就能硬编码。
模型更新频繁：每周切换模型，不想每次改3个配置文件。
团队人数少于15人：不需要分层权限管理，git分支就是最好的权限控制。

实际操作步骤

如果你决定尝试，这里是最快切换路径：

用Python函数替代所有YAML模板：每个函数返回一个字符串，参数就是你需要的变量。
用@lru_cache或functools.cache做缓存：99%的场景够用，免去配置Redis。
用os.environ管理模型参数：不要写.env文件解析器，直接model = os.getenv("LLM_MODEL", "gpt-4")。
把“测试”写成 pytest：直接调用你的编译函数，断言输出格式，而不是在Wiki里点“测试运行”。

行动号召

今天下班前，删掉你项目里的任意一个YAML模板文件。替换成一个Python函数。 哪怕是只有一个prompt的模块。你会在24小时内感受到差异——那种代码即配置的清爽感。

如果一周后你还想回退到框架，算我输。

免责声明：本文所述方案基于个人及小团队（3-12人）的实践经验，不代表所有场景下的最佳实践。对于大规模、多团队协作、需要严格审计链的AI系统（如金融、医疗），现有框架的权限控制、版本追踪和合规审计功能仍是必要组件。请根据实际业务风险和技术栈谨慎决策。