一、项目背景

我们在一个连锁零售客户的门店场景里落地 AI 能力时，遇到了一个典型矛盾：门店要做实时货架识别、本地导购话术推荐、票据 OCR，这些请求延迟敏感（顾客等着呢），但门店的算力只是一台工控机或收银机旁的小盒子，跑不动我们云端那种几十 B 的大模型；更麻烦的是，部分门店网络不稳定，断网时云端调用直接挂掉，体验归零。一开始我们想全推云端，结果高峰期门店网络一抖，导购话术要等三四秒才出来，顾客早走了。我们意识到，边缘场景不能"一切上云"，得让轻量模型在端侧先扛住确定性请求。

二、落地场景

我们的做法是"端云协同"：在门店侧部署一个经过蒸馏和量化的小模型（几 B 量级），承接货架识别、票据 OCR、高频导购问答这类"答案相对确定"的请求，本地毫秒级返回，断网也能用；云端的大模型只兜底那些端侧小模型"拿不准"的复杂语义理解、长文生成、跨门店知识问答。网关层做请求路由：端侧先判置信度，低于阈值或属于复杂类，才上行到云端。模型更新走 OTA，端侧小模型定期从中心拉增量，不中断营业。

三、关键技术挑战与解决思路

第一，端侧小模型的选型与量化。我们不是随便选个小模型，而是用云端大模型当教师，针对门店高频场景蒸馏出领域小模型，再做 INT8 量化，在精度掉点可接受（约 1–2 个点）的前提下把体积压到能塞进工控机。第二，端云请求的路由与兜底。路由不是简单"小模型答不了就上云"，而是端侧先输出置信度，低于阈值才上行，避免无谓的云端调用和隐私外泄。第三，断网本地闭环。端侧小模型覆盖的核心能力必须不依赖网络，我们把货架识别、OCR 做成完全本地推理。第四，OTA 更新与回滚。端侧模型更新走灰度下发，更新失败自动回退到上一版，绝不因为更新把门店搞瘫。

案例片段（已脱敏）： 端云路由与置信度兜底的判断逻辑（示意）： ```python local_out, conf = 端侧小模型.predict(request) if conf >= 0.85 and 非敏感数据:    return local_out          # 端侧直接返回，毫秒级

低置信或含敏感字段，上行云端兜底

return 云端大模型.invoke(request, route="cloud-fallback") ```

四、效果数据

落地到首批约两百门店后：导购话术和货架识别这类高频请求的端侧命中率约七成，端侧推理时延从云端平均约 1.2 秒降到本地约 80 毫秒，顾客侧的"等待感"基本消失；断网期间（我们故意做过演练）核心能力可用率保持约九成，没有再出现"网络一抖就全挂"；云端兜底比例约三成，云资源成本较"全上云"方案下降约四成。端侧小模型常驻内存控制在数百 MB 量级，不影响收银主业务。数字脱敏示意。

五、可复用经验总结

边缘 AI 的第一原则：能端则端，协同优于替代——云端大模型不是用来"替代"端侧，而是兜底端侧拿不准的。第二，端侧小模型要做"教师—学生"蒸馏再加量化，随便选个小模型精度会塌。第三，路由要看置信度而非看请求类型，高于阈值本地返，低于阈值才上行，既降延迟又减云端成本。第四，断网本地闭环必须覆盖核心能力，这是边缘场景的可用性底线。第五，OTA 更新要灰度+自动回退，绝不能因更新把门店搞瘫。这套"蒸馏—端云路由—断网闭环—OTA 回退"，是我们零售/产线边缘场景的标准范式。

结语

端云协同这个架构，难点不在技术而在"边界"——哪些请求端侧扛、哪些上行云，分错了要么体验差要么成本高。我们的经验是用"置信度"做软边界，而非硬按请求类型分：同样的导购问答，简单的高频问题端侧秒回，长尾的复杂问题自然上行，业务侧完全无感，运维侧成本也最优。

还有很关键的一点：端侧模型更新必须灰度加自动回退，因为门店没法容忍"更新把系统搞瘫"。我们见过不少项目把端侧当"一锤子部署"，结果一次坏更新让几百门店半天不能用，比不更新还糟。边缘场景的可用性，比精度更该被优先保障——断网能用的核心能力，是边缘 AI 的及格线。我们后来把"更新失败自动回退上一版、不中断营业"写进 SLA，门店才真正敢放开用。能端则端，但端要稳，协同才成立。

补充一个落地细节：端侧小模型的蒸馏语料，一定来自该门店场景的真实请求日志，而不是公开通用语料。我们一开始用通用语料蒸馏，结果门店特有的"临期商品话术""会员等级权益"答得稀烂。换成门店真实日志后，领域准确率立刻上来。蒸馏的"教师"不仅指大模型，更指真实业务数据——数据贴场景，小模型才贴场景。这也提醒我们，边缘模型没有"通用解"，每个场景都要有自己的蒸馏闭环，照搬别处的模型往往水土不服。

从成本视角收个尾：端云协同最直观的收益是云资源账单下降，但更隐蔽的收益是体验稳定性，断网不断服，对门店来说是信任。我们算过一笔账，边缘小模型覆盖约七成请求后，云端算力投入砍掉近四成，而顾客侧因为等待消失，导购转化略升。这笔账算下来，边缘部署的硬件投入很快回本。对连锁、产线这类"点多、网络不稳、时延敏感"的场景，端云协同几乎是必选项，纯云端方案在这类场景里天生跛脚。先想清楚边界，再谈架构。