一、部署总体架构设计
新普软件面向企业私有化场景，将 AI 能力拆解为"底座 + 网关"两层，二者在网络上分层解耦、在逻辑上协同闭环。
- 底座层（AI私有化部署底座）：承担模型服务化、向量库、RAG 检索增强、模型微调与算力调度等核心能力。底座通常以私有云或一体机形态交付，确保企业敏感数据不出域，满足金融、零售与政务类客户对数据主权的硬性要求。
- 网关层（AI网关）：位于应用与底座之间，提供统一 API 入口、多模型接入、智能路由、限流熔断、计量配额等能力。所有业务系统只对接网关，不直接感知底层模型部署形态。
- 网络规划：建议将底座置于内网可信区，网关前置但开启鉴权与审计；对外暴露的仅网关域名，底座模型推理端口不对外，从架构上阻断数据外泄路径。
- 分层解耦原则：底座专注"算得动、存得下、调得优"，网关专注"管得住、分得匀、计得清"，二者通过内网 gRPC 或 HTTP 通信，部署形态可独立演进互不影响。
需要强调的是，AI私有化部署的出发点首先是合规与可控，其次才是性能。许多团队在规划时把算力当成第一约束，却忽略了数据边界这一前提——底座之所以强调"数据不出域"，正是因为企业级大模型部署面对的往往是合同、客户与交易等核心资产，任何外溢都可能触发不可逆的风险。
二、AI网关的功能与作用
从部署视角看，AI网关不是简单的转发层，而是把"多模型之乱"收敛为"统一接入"的关键节点。
- 统一接入多模型：无论是底座自托管的大模型，还是后续接入的第三方推理服务，都经网关注册为后端，业务方调用同一套 API 规范。
- 智能路由：网关依据模型能力标签、剩余配额与延迟指标，把请求分发到最合适实例，避免热点模型被打爆。
- 限流与熔断：对单租户、单接口设置 QPS 上限，下游异常时自动熔断并降级，保障整体可用性。
- 计量配额：按应用、按用户维度统计 token 消耗，为成本核算与内部结算提供数据，这也是企业级大模型部署中常被忽略却极重要的一环。
三、底座与网关的协同工作机制
部署完成后，一次典型请求的运行链路如下：
- 业务系统（如智能客服）向 AI网关 发起标准 API 调用。
- 网关完成鉴权、配额校验后，依据路由策略把请求送往 AI私有化部署底座 中的对应模型实例。
- 若任务涉及企业知识，底座调用向量库做 RAG 检索增强，再结合大模型生成结果。
- 推理结果原路返回网关，网关记录计量并回传业务系统。
- 运维侧通过网关监控流量与底座算力水位，触发弹性伸缩或模型副本调度。
这条链路让"业务只管调用、底座只管算力、网关只管治理"的职责清晰分离，运维复杂度显著下降。
四、实际部署方案
新普建议按业务规模选择三档部署梯度，并考虑信创与业务集成。
- 单机一体机（轻量起步）：单台 GPU 一体机内置底座全部组件，适合试点、分支机构或中小负载。优点是开箱即用、数据本地；缺点是可扩展性有限。部署时注意为一台机器预留系统盘与模型盘分离，避免镜像与权重互相挤占 IO。
- 分布式集群（多卡多节点）：多节点多卡部署，模型以多副本形式运行，网关做负载均衡。适合总部级高并发，容量可通过加节点线性扩展。
- 混合云：敏感数据留本地底座，弹性推理高峰时经网关调度上云，兼顾成本与合规。
- 信创环境适配：底座与网关均支持国产 CPU、操作系统与数据库，满足信创验收要求。
- 与 XpShop 业务系统集成步骤：①梳理智能客服、商品生图、智能核单、辅助采购等智能体场景；②在网关注册对应 API；③业务系统改造调用网关；④灰度验证后全量。新普把 AI 能力以智能体形式嵌入电商与供应链系统，让大模型真正服务于交易与履约。
五、性能优化建议
- 容量规划：按峰值 QPS 与平均上下文长度估算算力，预留 30% 余量应对突发。可借助网关历史计量数据反推真实负载，比凭经验拍脑袋更准。
- 弹性伸缩与模型副本：对高频模型设最小副本数，低峰缩容；网关侧按副本做轮询或最少连接负载均衡。
- 存储与网络优化：向量库选用高性能 SSD 并做分片；网关与底座同可用区部署，降低网络往返延迟；RAG 检索结果可加缓存层减少重复计算。
- 可观测性：在网关与底座分别接入日志、指标与链路追踪，定位慢请求时能区分是路由、推理还是检索瓶颈，避免盲目扩容。
企业级大模型部署的成败，往往不取决于模型本身，而取决于底座、网关与业务三者是否闭环。新普软件以自研 AI私有化部署底座和 AI网关，为开发者与架构师提供了一条从一体机到分布式集群、再到混合云的可落地路径，也让 XpShop 电商与供应链系统在合规前提下用上真正的智能。对于准备启动项目的团队，我们的建议是先以一体机跑通一个智能体场景，拿到真实计量数据后再决定是否需要向集群或混合云演进——把每一步投入都建立在可观测的证据之上，才是稳健的技术决策。
相关阅读：
