NVIDIA发布个人AI路由器PAIR：开源虚拟推理路由器，让RTX、DGX Spark与Mac节点协同处理本地AI请求

我们介绍了NVIDIA个人AI路由器（PAIR），这是一个开源虚拟推理路由器，可将本地AI请求分发到家中的多台设备上。文章解释了PAIR如何代理现有的Ollama和LM Studio端点，使智能体无需改动即可工作，以及其调度器如何根据就绪状态、引擎状态、精确模型存在性、任务负载和GPU利用率筛选节点。我们还演示了NVIDIA的五子智能体测试：单台RTX Spark笔记本平均耗时18分钟，而三设备集群仅需8分48秒。需注意，NVIDIA称其为非官方测试而非基准。此外，PAIR的局限在于其单一调度策略，且不关注VRAM和模型热状态。