本文为工程实践复盘，客户信息已脱敏；所述数据均为示意值。

一、项目背景

我们的 RAG 知识库跑了一年多，文档从几万条涨到数百万条，向量库即便从 pgvector 迁到 Milvus，存储与内存压力依然一路飙升。全量 float32 高维向量长期驻留内存，单机内存很快扛不住，检索延迟也跟着涨，月度存储成本肉眼可见地往上走。而我们复盘访问日志后发现，真正被频繁查询的，其实只是其中一小部分"热数据"，大量冷向量占着昂贵的内存却很少被碰到。

我们当时定的目标，是把成本压下来，但前提是召回质量不能伤。这个项目里我们采用的 AI 私有化底座的向量数据库层，做了一次分层与压缩的改造：不再对所有向量一视同仁，而是按访问热度区别对待，让贵的内存只服务贵的热查询。

二、落地场景

落地之后，我们把向量按访问频次分成热、温、冷三层：热层用原始 float32 驻留内存，保证最低延迟；温层用标量量化压缩后仍然驻留，兼顾成本与速度；冷层用乘积量化压到磁盘，查询时按需加载并解压。写入侧对全量向量做压缩归档，检索侧按查询热度自动把冷向量升温、热向量降冷，分层是动态的而非写死的。

索引参数也按层调优：热层用小索引快查，冷层用大索引省空间。这样日常大约九成的查询都落在热温层，冷层只在长尾检索时触发，整体延迟与成本同时改善，而不是过去那种"要么贵、要么慢"的二选一。

三、关键技术挑战与解决思路

第一是向量量化与精度保真。乘积量化压缩比高，但会掉点，我们在召回敏感的场景保留 float32 或者只用标量量化，在长尾冷数据才用乘积量化，按"精度敏感度"分级，而不是一刀切全压。

第二是热冷分层与成本权衡。分层阈值用近三十天查询命中数动态计算，避免静态配置导致的冷热错配，同时设了最大升温数量，防止冷向量集中升温把内存打爆。

第三是索引压缩与召回率。压缩之后必须重测召回率@10，确保掉点在可控范围；我们对热层保持高召回，冷层允许略低召回，因为用户本就很少查冷数据。

第四是压缩后检索评估。我们建了一套召回回归集，每次调参都跑召回对比，防止出现"省了钱、丢了准"的隐性退化。

四、效果数据

改造之后一个观察周期，以脱敏示意口径来看：向量存储总成本下降约五成，内存常驻量下降约六成；热温层的 P99 检索延迟基本持平甚至略有下降；全量召回率@10 维持在可接受阈值内，核心热查询的召回没有可见退化；冷层长尾查询延迟虽然上升，但并未影响主链路。数据为示意值，不列审计级精确数字。

五、可复用经验总结

压缩先保召回，热冷分层降成本，这是我们总结的两句话。走过的弯路，是一上来就全量乘积量化，结果热查询召回掉得肉眼可见，被业务方投诉；改成"热保精度、冷可压缩"的分层之后才实现双赢。关键动作是建召回回归集——没有它，你根本不知道自己压掉了多少精度。分层阈值必须动态，静态配置迟早会错位，尤其在大促或知识库批量更新之后。

结语

向量库的性价比陷阱，在于把全部向量当成同等重要。当访问热度被纳入存储决策，冷数据退到磁盘、热数据留在内存，成本曲线才会真正拐头向下。这件事的难点不在压缩算法，而在于敢不敢建立"召回优先、分层随后"的评估纪律。

回过头看，向量库的性价比陷阱，在于把全部向量当成同等重要。当访问热度被纳入存储决策，冷数据退到磁盘、热数据留在内存，成本曲线才会真正拐头向下。这件事的难点不在压缩算法，而在于敢不敢建立召回优先、分层随后的评估纪律。我们把分层阈值和召回回归集做成日常巡检项之后，即便知识库批量更新、热点迁移，存储策略也能自动跟上，不需要人工频繁调参。成本优化不是一次性的手术，而是一套持续可观测、可回归的机制。

我们给业务方算过一笔账：把冷向量从内存挪到磁盘，单是内存一项就释放出可观的空间，这部分省下的资源又能反哺热层去支撑更高并发。存储成本下降的同时，核心查询体验反而变好，这种双赢正是分层设计真正想要的结果。当成本优化在业务侧有了实在的体感，技术团队推动存储治理的阻力也小了很多。

这也提醒我们，存储治理和性能优化并不矛盾，真正的功夫在于把对的东西放在对的地方，让每一分算力都花在刀刃上。

案例片段（已脱敏）：向量分层与量化配置（示意） - 热层：index=HNSW, dtype=float32, resident=memory- 温层：index=HNSW, dtype=sq8, resident=memory- 冷层：index=IVF_PQ, dtype=uint8, resident=disk, load_on_query- 升温：if hits_last_30d > threshold: promote(layer)

案例片段（已脱敏）：回归测试（示意）——对 500 条查询，热温层召回率@10 约 0.96（压缩前 0.97），冷层 PQ 召回约 0.88；存储由 1.2TB 降至 0.55TB，内存由 380GB 降至 150GB。