NVIDIA представила PAIR для кластеризации домашних GPU

Основная идея PAIR заключается в оркестрации подзадач, которые генерирует центральный ИИ-агент. Когда пользователь ставит перед локальной моделью сложную цель, система может разбить её на несколько независимых подзадач. Если все они выполняются на одном GPU, возникает конкуренция за ресурсы, что замедляет процесс. PAIR распределяет эти подзадачи между доступными узлами в локальной сети, а результаты возвращает на главный узел для финальной сборки ответа.

Инструмент спроектирован как эластичная система: он не резервирует выделенные мощности на других компьютерах. Если владелец устройства начинает использовать GPU для игр или других задач, PAIR автоматически перераспределяет нагрузку. Это означает, что качество обслуживания (QoS) в кластере не гарантировано, однако для длительных фоновых задач, не требующих строгого соблюдения дедлайнов, такая схема позволяет эффективно задействовать простаивающие ресурсы.

Совместимость и требования

Для работы PAIR требуется наличие подходящего аппаратного обеспечения. Утилита поддерживает устройства на базе чипов DGX Spark (архитектура GB10), а также графические карты GeForce RTX 20-й серии и новее. В качестве узлов для инференса также могут использоваться Mac с процессорами M4 и выше. Клиентское приложение PAIR будет доступно для операционных систем Windows, macOS и Linux.

Каждый узел, участвующий в кластере, должен иметь установленную собственную копию PAIR, а также локальный ИИ-рантайм, такой как LM Studio или Ollama. NVIDIA отмечает, что узлам не обязательно загружать идентичные модели: система может использовать разные наборы моделей на разных машинах. Однако наличие конкретной модели на нескольких узлах расширяет пул доступных ресурсов для оркестратора.

Механизм работы и настройка

PAIR функционирует как прокси-сервер для популярных фронтендов локального ИИ. Пользователь подключает LM Studio или Ollama к PAIR, после чего утилита берет на себя управление распределением задач по сети. Обнаружение узлов в сети осуществляется через протокол mDNS, с возможностью использования IP-адресов как резервного варианта. PAIR также помогает инициировать загрузку моделей на подключенных системах.

Компания позиционирует PAIR как решение для энтузиастов и семей, у которых есть несколько компьютеров с простаивающими GPU. Это позволяет сэкономить на оплате облачных токенов и сохранить приватность данных, обрабатывая запросы локально. Настройка описывается как простая, что делает инструмент доступным для широкого круга пользователей, не являющихся профессиональными системными администраторами.

Важно отметить, что PAIR не является полноценным кластером в традиционном понимании с гарантированной производительностью. Это инструмент для использования «свободных циклов» (spare cycles). Если все устройства в доме заняты другими задачами, производительность может снизиться. Однако для тех, кто работает с локальными LLM и имеет доступ к нескольким машинам, это новый способ масштабирования вычислительных мощностей без покупки дорогого серверного оборудования.