Моддеры разблокировали скрытую мощность Tensor-ядер в GPU NVIDIA RTX 20, 30 и 40 серий
Разработчики-энтузиасты нашли способ обойти программные ограничения производительности вычислений, установленные NVIDIA для потребительских видеокарт. Эти модификации, которые уже затронули архитектуры Turing, Ampere и Ada Lovelace, позволяют значительно повысить эффективность работы Tensor-ядер в задачах искусственного интеллекта.
Как это работает
Метод не требует замены аппаратной части или прошивки новой VBIOS. Вместо модификации драйверов, инструменты (такие как проекты GPU-Unlock и Turing Unlock) изменяют низкоуровневые регистры конфигурации GPU до загрузки драйвера NVIDIA. Это снимает лимиты на частоту выдачи инструкций Tensor Core. Важно отметить, что изменения временные: настройки сбрасываются при потере питания видеокартой.
Технология ориентирована на ускорение операций с плавающей запятой (FP16, BF16, TF32 и FP8) с накоплением FP32. Это критически важно для задач матричного умножения, которые лежат в основе работы больших языковых моделей (LLM) и генерации изображений.
Результаты тестов и ограничения
Показатели прироста в специализированных вычислениях выглядят впечатляюще, хотя они не переводятся в игровую производительность. Согласно результатам тестов:
- RTX 4090 показала двукратный рост пропускной способности инструкций FP16 (с 165.6 до 331.6 TFLOPS).
- RTX 3090 Ti увеличила производительность в операциях BF16 с 87.5 до 157.4 TFLOPS.
- RTX 2080 Ti достигла 111 TFLOPS в тестах, тогда как без модификации результат составлял 59.9 TFLOPS.
Несмотря на внушительные цифры, в реальных задачах с LLM прирост составляет от 14% до 36% (в основном за счет ускорения обработки промптов), в то время как скорость генерации токенов остается почти неизменной из-за ограничений пропускной способности памяти. Игровой процесс (FPS) никак не меняется. На данный момент большинство инструментов работают под Linux, хотя существуют экспериментальные версии для Windows. Процесс не является безопасным: некорректные конфигурации могут привести к невозможности загрузки системы.
Влияние на рынок
Подобные «разблокировки» могут косвенно повлиять на вторичный рынок. Видеокарты с большим объемом памяти, такие как RTX 3090 и RTX 4090, и так востребованы в сфере ИИ. Увеличение их вычислительной мощности сделает их еще более привлекательными для покупателей, ориентированных на нейросети, что может изменить динамику цен на б/у рынке.
Гика
