NVIDIA выпустила Personal AI Router 😀
PAIR позволяет объединить компьютеры в локальной сети и превратить их в личный ИИ-кластер.
Он автоматически находит ПК с RTX, DGX Spark и поддерживаемые Mac и отправляет запросы на ту машину, где сейчас есть свободные ресурсы. То есть распределитель нагрузки для ИИ-агентов прямо у вас дома.
Можно запускать несколько ИИ-агентов параллельно, распределять инференс между несколькими видеокартами и компьютерами, использовать Ollama и LM Studio, а промпты, файлы и контекст агентов хранить только в своей сети.
Поддерживаются Windows, Linux и macOS.
PAIR уже доступен в бета-версии бесплатно и с открытым исходным кодом.