NVIDIA NVHBM: до 30% пропускной способности для чипов клиентов

Что такое NVHBM и зачем он нужен?

Ключевая проблема современных высокопроизводительных чипов — это конкуренция за площадь кристалла. Традиционный HBM требует значительного пространства на вычислительном кристалле (Compute Die) для размещения контроллера памяти, PHY-интерфейса и широких соединений с памятью. Это вынуждает разработчиков жертвовать площадью под матричные блоки или кэш.

NVHBM решает эту задачу за счет архитектурных изменений: контроллер памяти перенесен внутрь трехмерного стека HBM, а соединения стали уже. Согласно данным NVIDIA, это позволяет сократить площадь PHY и сопутствующей логики на 67%, что в итоге дает до 25% дополнительной площади для вычислений на самом процессоре.

Технические характеристики и цифры

В сравнении с HBM4E новая технология предлагает следующие улучшения:

• Пропускная способность памяти: до +30%.
• Площадь для вычислений (Compute Die): до +25%.
• Потребление энергии HBM-блока: до -15%.
• Экономия площади PHY и поддержки: до -67%.

Компания NVIDIA заявляет, что комбинация этих факторов может привести к общему приросту производительности конечных AI-ускорителей (XPUs) на 30%. Важно понимать, что это расчетные показатели от производителя, а не результаты независимых бенчмарков готовых систем.

Стратегия NVIDIA и роль партнеров

NVHBM является частью более широкой концепции NVLink Fusion. Эта технология позволяет интегрировать чипы клиентов (CPU и XPUs) в серверные стойки через NVLink. NVIDIA может предоставлять сеть, архитектуру стойки и программную платформу, даже если основной AI-процессор разработан сторонней компанией.

Первым партнером, получившим доступ к этой технологии, назван разработчик чипов Annapurna Labs от Amazon. Это подтверждает стратегический поворот NVIDIA: вместо того чтобы пытаться заставить всех гиперскейлеров покупать только свои GPU, компания предлагает инструменты для глубокой интеграции чужих ускорителей в свою экосистему.

Для кого это актуально?

Технология ориентирована на создание специализированных AI-ускорителей (XPUs) для конкретных задач: инференс, рекомендательные системы или обучение моделей. В таких сценариях каждый процент площади кристалла критически важен. Например, Google разрабатывает TPUs, Amazon — Trainium и Inferentia, Microsoft — Maia, а OpenAI — Jalapeño.

Высокая пропускная способность NVHBM важна для больших языковых моделей, где необходимо быстро перемещать веса активации и KV-Cache между памятью и вычислительными блоками. Снижение энергопотребления HBM также становится критичным при масштабировании систем до тысяч ускорителей в дата-центре.

Выводы

NVHBM демонстрирует серьезный интерес NVIDIA к рынку специализированных AI-чипов. Компания предлагает не просто память, а архитектурное решение, которое позволяет клиентам оптимизировать свои чипы под конкретные задачи. Техническая идея переноса контроллера памяти в стек выглядит перспективной для повышения эффективности использования кристалла. Однако реальные приросты производительности и энергоэффективности покажут только готовые продукты после выхода на рынок.