清华团队开源 AKV：面向 LLM Agent 的 SGLang 缓存工程服务

清华大学研究人员发布 AKV，这是一个基于 SGLang 的缓存工程服务系统。LLM Agent 通过丢弃和重新定位 KV 缓存，而不是压缩历史摘要，在 4 个 Agent 基准测试中平均降低 27.7% 的成本。