华为已为KV Cache单独做存储，专用SSD规格却还没定下来

推理的KV Cache，已经大到需要单独管理了。 这已经成为行业内越来越明确的共识。近日，华为全联接大会上推出了华为OceanStor M900，英伟达也已经推出了CMX Context Memory Storage。 这类AI记忆存储产品，会将推理过程中已经产生、可能再次复用的KV Cache进行分层管理和存储，在后续请求命中时减少相应的重复计算，这将直接节省有关算力开销。 有业者明确表示，即使缓存的命中率越来越高，继续从90%向95%提升依然很有价值。 但是，对于存储价格“比金子还贵”的当下，单独存储一些可能复用的推理缓存，究竟是一笔什么样的账单？ 01 从DRAM到SSD，换算不是1比1 “KV Cache外置的核心逻辑就是‘以存换算’。”长期研究存储的 学者章衡 告 诉雷峰网。 以存换算，本质上是在计算成本和存储成本之间找一个平衡点。 已经算过的历史KV，是直接丢掉、下次重新计算，还是保存下来，在后续请求命中时直接复用？现在行业给出的答案，显然是后者。 章衡举例，假设KV Cache命中率从90%提高到95%，需要重新计算的部分就会从10%降到5%。“相当于重新计算的那部分算力开销减少了一半。”章衡说。 但命中率继续提高，也意味着需要保存更多历史KV。尤其到了高命中率区间，为了再覆盖最后几个百分点的长尾数据，所需存储容量可能明显增加。 要算的第一笔账，是这些KV Cache值不值得存。 在 某头部存储厂商负责人李辉 看 来，不同应用的数据生命周期差异很大。有些消费端应用中的KV Cache可能几分钟或一两个小时后就被清理。 而 部分企业端应用更看重上下文的持续性，KV Cache的数据生命周期也可能更长 。对这类业务来说，让历史KV跨请求保留更久、供后续复用的价值也更高。 第二笔账则是存在哪里。李辉认为，如果DRAM足够便宜、供应也充足，全部放在DRAM里当然最省事，性能也最好——但现实是DRAM既贵又缺，这给SSD留下了空间。 但这种替换不是简单的把1TB DRAM简单换成1TB SSD。一方面，李辉表示，从整体成本来看，DRAM和SSD之间不是1:1的替换，而是“1:N”，在一些方案中甚至可能达到一比五、一比十。 另一方面， 按相同容量计算，李辉估算DRAM与企业级SSD的成本可以相差数十倍 。 正是这种价差，让内存卸载从过去资源不足时的“兜底手段”，逐渐进入新系统的初始设计。（关于DRAM、SSD的实际应用，欢迎添加作者微信 treelog10 分享、交流） 企业虽然能用更便宜的SSD替代部分DRAM容量，但需要增加的SSD规模也会更大，最终仍要同时计算容量、性能和采购成本。 章衡则告诉雷峰网， 现阶段多数推理场景还没有到必须增加独立KV存储设备才能运行的程度。 企业通常会先利用已有的DRAM、内存池和本地SSD，再逐步考虑外部存储。“肯定是先