认识Switchyard:一个可在OpenAI和Anthropic API之间路由和转换LLM流量的Rust代理与库
NVIDIA发布了Switchyard,这是一个采用Apache-2.0许可的Rust代理和库,用于处理LLM流量。它能将请求解码为供应商中立的类型,通过直通、随机、LLM分类器或阶段路由器算法进行路由,然后将响应转换回客户端的格式,使Claude Code或Codex CLI可以不加修改地运行于vLLM、NIM或Ollama之上。该项目处于预alpha阶段,不适用于生产环境。
说明:本站展示中文整理摘要,便于快速阅读;完整内容和版权归原站所有。