← 返回资讯热点
AI热点MarkTechPost发布时间:2026-09-10 22:34热度 108.0000

Redis 发布 LangCache:托管式语义缓存,最高可降低 90% 的 LLM API 成本,缓存命中速度提升至 15 倍

Redis LangCache 是一款全托管语义缓存服务,位于应用与 LLM 之间。生产环境中的 LLM 应用很少遇到从未被问过的问题:客服助手和 RAG 流水线每天要处理成千上万次相同意图、但措辞各异的提问,而多数技术栈仍把每种措辞都视为全新的、需全额计费的请求。LangCache 通过语义匹配复用已有回答,官方称可将 LLM API 成本最多降低 90%,缓存命中返回速度最多提升 15 倍。

来源:MarkTechPost
说明:本站展示中文整理摘要,便于快速阅读;完整内容和版权归原站所有。