NVIDIA представила кастомную память NVHBM для партнёров NVLink Fusion: обещает 30% больше пропускной способности и 15% меньше энергопотребления по сравнению с HBM4e
NVIDIA расширила свой экосистемный подход к разработке акселераторов искусственного интеллекта, представив новую технологию памяти под названием NVHBM. Это не просто очередное обновление стандартов памяти, а специализированная реализация высокоскоростной памяти (HBM), разработанная специально для партнеров программы NVLink Fusion. По заявлению компании, кастомный чип NVHBM обеспечивает до 30% более высокую пропускную способность и потребляет на 15% меньше энергии по сравнению с коммерческими решениями стандарта HBM4e.
Важно сразу отметить, что NVHBM не является прямой заменой существующим коммерческим модулям памяти. Это новый строительный блок в инструментарии NVIDIA, доступный исключительно партнерам по программе NVLink Fusion. Технология представляет собой кастомную реализацию базового кристалла (base die) и интерфейса PHY для высокоскоростной памяти. Компания утверждает, что совместная разработка с ведущими производителями памяти позволяет партнерам быстрее выводить свои решения на рынок по сравнению с самостоятельной разработкой на базе стандартных компонентов.
Ключевое преимущество новой технологии заключается в архитектуре управления памятью. В традиционных реализациях контроллер памяти интегрируется непосредственно в основной кристалл ускорителя (GPU или AI-чип). NVHBM переносит эту функцию на базовый кристалл стека памяти, что позволяет значительно уменьшить занимаемую площадь на основном чипе акселератора. Для разработчиков кастомных решений это означает возможность выделенного пространства для дополнительных функциональных блоков или оптимизации энергопотребления.
С точки зрения производительности, увеличение пропускной способности в 30% критически важно для задач, ограниченных скоростью передачи данных. В таких сценариях, как обработка больших языковых моделей (LLM), более высокая скорость обмена данными напрямую влияет на количество генерируемых токенов в секунду (tokens-per-second) при инференсе. Снижение энергопотребления на 15% дает разработчикам гибкость: сэкономленную энергию можно направить на повышение общей производительности системы или увеличить количество ускорителей, помещаемых в один серверный шкаф без увеличения общего бюджета питания.
В качестве первого партнера по программе NVLink Fusion, использующего эту технологию, NVIDIA называет лабораторию Annapurna Labs компании Amazon. Вице-президент лаборатории Нафеа Бшара (Nafea Bshara) подтвердил, что сотрудничество направлено на улучшение будущих инфраструктурных решений AWS. Поскольку чипы следующей генерации Trainium 4 уже поддерживают интерфейс масштабирования NVLink Fusion, ожидается, что последующие модели также будут совместимы с новой памятью NVHBM.
Стоит подчеркнуть, что описанные преимущества относятся к будущим проектам партнеров и не влияют на текущие системы на базе архитектуры Vera Rubin, которые уже находятся в производстве. Технология призвана ускорить разработку следующих поколений специализированных вычислительных систем, где управление тепловыделением и энергоэффективность становятся главными факторами при масштабировании кластеров.
Разработчики кастомных акселераторов получают возможность использовать готовые валидированные компоненты от NVIDIA, что сокращает время выхода продукта на рынок. Однако это решение требует наличия доступа к экосистеме NVLink Fusion, что делает его недоступным для широкого круга производителей потребительского или корпоративного оборудования без прямого сотрудничества с компанией NVIDIA.
Гика
