项目摘要

从场景、基线到可复现证据。

构建一个根据任务、预算、延迟和风险选择模型，并通过独立评测受控改进的 AI 网关。

项目手册建议先完成一个可以在电脑上运行的最小版本，再逐步加入真实约束。最后分享方法、结果、遇到的困难、限制和下一步。

评测重点

用指标说明取舍。

01任务成功率

02成本与 p95 延迟

03候选策略接受率

04故障降级成功率

完整项目手册

项目一：Model Router Self-Learning + RSL

一句话介绍

构建一个会根据任务选择模型、记录失败、提出候选改进，并且只在独立评测通过后更新自己的 AI 系统。

背景

不同模型有不同长处：小模型便宜、快，强模型擅长复杂推理，代码模型适合生成补丁，本地模型可满足隐私要求。Model Router 的职责是根据任务特征、预算、延迟和风险选择合适的模型或工作流。

但静态路由规则容易过时。RSL（Recursive Self-Learning）提供一条受控的改进路径：系统收集任务轨迹和失败原因，生成若干候选路由策略，再用固定的独立评测决定是否采用新策略。二者结合后，项目从“手写分流规则”变成一个可审计的学习型调度系统。

关键前提是：系统不能自行改变评测规则、权限或工具边界。学习只允许发生在明确记录的路由策略、提示模板或工作流参数上。

项目问题

为一个混合任务集构建模型网关。任务至少包含三类，例如代码修复、信息抽取、结构化问答或摘要；系统至少有三档模型/策略，例如本地小模型、快速云模型和强推理模型。让系统在历史反馈的帮助下改进选择，使其在质量、成本和延迟的约束下优于静态基线。

最小版本

一个统一调用接口，记录任务特征、模型选择、输出、token、耗时、成本和评分。
至少三个模型、模型档位或可控的模拟服务。
一个静态路由基线，例如按任务类型或长度分流。
一个任务轨迹和错误分类格式：质量失败、超时、工具失败、格式失败、预算超支。
一个 RSL 循环：从失败轨迹生成 2 至 5 个候选路由策略。
一个独立的验证集和不可修改的接受门槛；候选策略仅在通过门槛后成为新版本。

必须回答的问题

路由器在调用前能看到哪些信息，哪些信息只能在调用后获得？
质量由自动单元测试、人工偏好还是模型裁判定义？评分器会带来什么偏差？
新策略提高成功率却大幅增加成本时，是否应该接受？
如何防止系统只记住评测题或借修改提示词钻评分漏洞？
当某个模型超时、限流或输出不安全内容时，系统如何降级？

评测指标

任务成功率与未见任务成功率。
单任务平均成本、p50/p95 延迟和调用次数。
固定质量目标下的成本节省，或固定预算下的质量保持率。
RSL 候选策略的接受率、回归率和可解释率。
故障/限流下的降级成功率。

安全边界

禁止让系统自行修改评测代码、删除日志、提升工具权限或调用真实生产系统。数据集中不得包含密钥、私有请求或未授权的模型 API 输出。每次策略变更都要有版本号、差异和回滚机制。

进阶方向

让路由器在小模型回答不确定时升级到大模型。
加入用户的隐私、价格和时延偏好。
将项目六的代码模型微调版本和原模型作为可选择的路由候选。
将改进限定为可验证的配置空间，比较自动搜索与语言反思的效果。

交付物

模型网关、静态和学习型路由器、轨迹日志、冻结评测集与评分脚本、至少 5 轮改进记录、版本对比仪表板、回归案例和一个故障降级 Demo。

参考资源

RouteLLM：面向成本和质量权衡的模型路由项目。
LiteLLM：统一调用多种模型的网关。
Reflexion：通过语言反馈进行迭代改进的研究原型。
DSPy：可评测、可优化的语言模型程序框架。
OpenAI Evals：构建与维护评测的思路参考。

常见误区

让 Agent 随意改 prompt 并挑选最高分结果，不是可信的 self-learning。只有当任务切分、评测、版本控制和接受门槛都被固定下来，学习带来的改善才有意义。

> 外部代码、模型、数据集和平台的使用须遵守其对应许可证、服务条款及适用法律；课程不授予第三方资源额外的再分发或商业使用权。

Model Router Self-Learning + RSL