一、项目背景

我们接手一家企业的 AI 网关时，模型调用是"一个业务绑死一个主模型"。问题出在一次主模型版本更新后：新版本在某个细分任务上悄悄退化，输出开始答非所问，但调用层只认"成功返回 200"，业务侧拿到的是错误答案，客诉直接爆了。另一边，主模型偶发超时（长上下文推理卡住），调用层直接给业务抛异常，前端一片红。我们意识到，网关只做了"路由分发"，没做"效果兜底"——它不知道模型返回的是好是坏，也不知道什么时候该换一个模型接着答。

我们当时判断，核心矛盾是"网关只管连通性，不管效果"。这个项目里，我们采用私有化 AI 网关承载多模型统一接入，把"按效果回退"作为路由层的核心能力。底座确定后，真正的难点是怎么定义"效果不行"、怎么选兜底模型、怎么保证回退本身可靠且可观测。

二、落地场景

第一类场景是效果回退触发。网关不只看 HTTP 状态，还做轻量效果校验：比如对结构化输出校验 schema、对回答做置信度/长度/关键词合理性检查，命中异常则判定"该次效果不达标"，触发回退。

第二类场景是兜底模型选择。回退不是随便换一个，而是按"能力画像"选最匹配的兜底：主模型是强推理大模型，兜底选一个更快但能力稍弱的小模型接住简单请求；主模型超时，则切到响应更稳的备用实例。

第三类场景是结果质量校验。回退后的结果也要过同一道质量关，避免"从一个错答案跳到另一个错答案"。校验失败则进入多级兜底或最终降级提示，而非无限回退。

第四类场景是回退可观测与回切。每一次回退都被记录（哪个主模型、为什么回退、兜底模型是谁、最终效果），并在主模型恢复后自动回切，运维能看见回退频率与根因。

落地过程中我们还补了一块常被忽略的能力：回退预算。每次请求有"回退次数上限"，防止故障模型引发连环回退把兜底也拖垮，超预算则直接降级返回，保系统不雪崩。

三、关键技术挑战与解决思路

第一个挑战是效果回退触发条件。纯靠超时太粗，我们用"状态 + 轻量质量校验"双判。下面是回退与兜底的脱敏配置片段。

# 网关模型回退与兜底（已脱敏）
fallback:
  triggers:
    - {type: "http_error", codes: [500, 502, 503]}
    - {type: "timeout", ms: 8000}
    - {type: "quality", check: "schema_or_minlen"}  # 轻量效果校验
  steps:
    - {primary: "big-model-A", fallback: "small-model-B"}  # 能力降一级
    - {primary: "big-model-A", fallback: "big-model-A-replica"} # 超时切备用实例
  max_fallback: 2          # 回退预算上限
  on_exhaust: "degrade"    # 超预算降级提示

第二个挑战是兜底模型选择。我们给每个模型建了能力画像（语言/模态/成本/时延/擅长任务），回退时按"主模型失败类型"匹配：质量退化→切擅长该任务的备用；超时→切响应更稳的实例。不是随机换，而是画像驱动。

第三个挑战是结果质量校验与回退可观测。每次回退产出都再过质量关，失败进入下一兜底层或最终降级；回退事件全量记录，看板上能看到"主模型 A 在时段 X 回退率骤升"，直接指向那次悄悄退化的版本更新。

四、效果数据

改造前后，我们拉通了四组口径一致的脱敏示意指标：

上表为脱敏示意值，用于说明趋势而非审计口径；质量校验为轻量级，不替代业务终检。

五、可复用经验总结

第一，回退按效果而非仅超时。我们早期只在超时时切备用，结果那次"返回 200 但答错"的退化完全漏网。加一层轻量质量校验后，坏答案也能被识别并回退，客诉立刻下来。

第二，兜底要可观测、可回切。回退不是"甩锅给另一个模型"，而是要知道为什么回退、兜底成没成。看板让我们第一时间定位到那次退化的版本，回切也自动完成，不用人工盯。

第三，回退要有预算。没有上限的连环回退会把兜底模型也拖垮，反而扩大故障。给每次请求设回退次数上限、超预算直接降级，保的是整体不雪崩。

第四，画像驱动兜底选择。兜底模型不是随便挑，而是按主模型的失败类型匹配能力画像。质量退化切擅长模型、超时切稳实例，命中率高得多。

案例片段（已脱敏）：主模型 A 一次版本更新后在"售后政策问答"子类悄然退化，返回内容偏离政策。旧架构下调用层只认 200，该类问答客诉当日上升约 3 倍。新质量校验在返回环节检测到 schema/关键词异常，触发回退到擅长该任务的小模型 B，约 90% 的坏答案被拦下转兜底，运维从回退看板 20 分钟内定位到 A 的版本问题并回滚，客诉当日收敛。

案例片段（已脱敏）：长上下文推理偶发卡死导致主模型 A 超时，触发回退到 A 的备用实例 replica，响应恢复稳定；但一次故障期间 replica 也抖动，由于设了 max_fallback=2 预算，第二次失败后网关直接降级返回"暂不可用"提示而非无限回退，避免了把兜底链路也打挂的雪崩。