MLPerf Training v6.1: NVIDIA масштабируется до 10 240 GPU, а Google не отстает
MLCommons представила новый этап независимых бенчмарков MLPerf Training v6.1, в которых ключевым фактором стала не только мощность отдельных чипов, но и эффективность масштабирования огромных кластеров. В этой итерации мы видим противостояние новейших архитектур: ускорителей NVIDIA серии Vera Rubin и Blackwell, а также TPU7x (Ironwood) от Google, на фоне которых AMD демонстрирует свои решения Instinct серии MI350X/355X.
Современные системы обучения ИИ становятся всё масштабнее. Рост количества параметров моделей и объёмов обучающих данных требует распределения вычислений между множеством ускорителей. Одной из главных задач становится не просто увеличение числа чипов, а обеспечение их эффективного взаимодействия через высокоскоростные сети и оптимизированное ПО. Масштаб имеет значение: если NVIDIA использует в своих суперкомпьютерах кластеры из 10 240 ускорителей GB300, а Google масштабирует обучение на 8 192 TPU7x, то в реальных индустриальных задачах цифры могут быть ещё выше — например, система Colossus-2 от SpaceX объединяет до 440 000 ускорителей GB300.
Роль программного обеспечения в производительности
Помимо «железа», критическим фактором в результатах MLPerf Training v6.1 стало программное обеспечение. Использование ИИ-агентов для оптимизации кода и ядер (kernels) позволяет значительно повысить эффективность обучения. Согласно данным бенчмарка, программная оптимизация дала заметный прирост: AMD смогла увеличить производительность примерно на 20%, в то время как у NVIDIA этот показатель варьируется от 20% до 85% в зависимости от конкретной модели и типа нагрузки.
Пределы масштабирования: сравнение конфигураций
Сравнение крупнейших систем затруднено тем, что не все участники использовали идентичные наборы бенчмарков. Тем не менее, разрыв в масштабах конфигураций очевиден. NVIDIA представила конфигурацию на базе 10 240 ускорителей GB300 и 1 024 модуля Rubin. Google задействовала кластер из 8 192 TPU7x. AMD же в текущем цикле ограничена конфигурациями на 128 ускорителях Instinct MI355X, что подчёркивает текущие возможности их архитектуры в задачах масштабного масштабирования (scale-out) до внедрения новых решений вроде Infinity Fabric и UALink в семействе Instinct-400.
- NVIDIA GB300: до 10 240 ускорителей (референс)
- Google TPU7x (Ironwood): до 8 192 ускорителей
- NVIDIA Rubin: до 1 024 ускорителей
- AMD Instinct MI355X: до 128 ускорителей
Сравнение на малых конфигурациях: Llama 2 70B LoRA
Единственный сценарий, позволивший провести чистый прямой сравнительный тест трёх вендоров на восьми ускорителях, — это бенчмарк Llama 2 70B LoRA. В этом тесте NVIDIA Rubin показала наилучшее время обучения, за которым следуют ускорители GB300 и AMD Instinct MI355X. Примечательно, что архитектура Rubin опережает GB300 в этом сценарии, а решения AMD демонстрируют преимущество перед более старыми моделями NVIDIA H200 NVL, что подчеркивает темпы эволюции архитектур NVIDIA.