Google Cloud 发布 llm-d 1.0，为 TPU 和 GPU 集群带来缓存感知路由

Google、Red Hat 和 IBM 发布开源、Kubernetes 原生的 llm-d 1.0，面向分布式 LLM 推理。新版本加入多租户流控、零停机升级和智能体感知路由，支持 vLLM、SGLang、TPU 与 GPU。