Запуская сегодня любую современную нейросеть, от генерации картинок в Stable Diffusion до диалога с ChatGPT, вы опираетесь на технологию, которой почти двадцать лет. Когда видеокарты рисовали только полигоны в играх, NVIDIA сделала ставку, многим казавшуюся безумной: превратить графический ускоритель в универсальный математический процессор. Эта ставка называется CUDA. В статье разберёмся, что скрывается за этим словом, как технология появилась, чем различаются CUDA-ядра, тензорные ядра и версии CUDA, и почему от неё зависит выбор GPU-сервера.

Что такое CUDA и зачем она нужна

Слово «CUDA» слышал каждый, кто запускал локальную нейросеть или занимался рендерингом, но под ним обычно понимают не то. Это не драйвер и не просто «ядра» на кристалле. CUDA (Compute Unified Device Architecture) — программно-аппаратная архитектура параллельных вычислений, позволяющая использовать графический процессор (GPU) для сложных неграфических задач. Проще говоря, программист пишет код не для центрального процессора (CPU), а для видеокарты, и та считает с огромной скоростью.

Причина кроется в устройстве чипов:

  • CPU похож на гениального профессора математики: решит сложнейшее интегральное уравнение, но работает последовательно, задача за задачей.
  • GPU похож на армию тысяч учеников начальной школы: каждый решает лишь простой пример, например складывает два числа, но делают они это одновременно.

Чтобы сложить два миллиона чисел, «армия» GPU справится в тысячи раз быстрее одного «профессора». В одной из серий «Разрушителей легенд» это показали наглядно: пока процессор аккуратно выводил смайлик, множество GPU-юнитов нарисовали Мону Лизу за долю секунды.

Поэтому CUDA нужна там, где задачу можно разбить на тысячи мелких независимых подзадач: обработка видео, моделирование физики и, конечно, обучение нейросетей.

История: от шейдерных конвейеров к GPGPU

Середина нулевых и тупик графических конвейеров

В середине 2000-х рынок видеокарт жил простыми законами: больше FPS, красивее взрывы, реалистичнее вода. Архитектура была жёсткой: одни блоки обрабатывали вершины треугольников, другие — пиксели. Эти «шейдерные конвейеры» годились для координат и цветов, а заставить их считать что-то иное было мукой даже для энтузиастов.

Рискованное решение Дженсена Хуанга

Глава NVIDIA Дженсен Хуанг увидел в этом тупик: когда пользователь не играет, GPU простаивает. Так начался путь CUDA — с решения унифицировать архитектуру. Разделение на вершинные и пиксельные блоки убрали, заменив их универсальными процессорами, способными выполнять любую работу.

Риск был огромным. Дополнительные транзисторы под логику управления вычислениями удорожали чипы и повышали энергопотребление, не давая мгновенного прироста в играх. Инвесторы и аналитики не понимали, зачем усложнять видеокарты ради абстрактных «научных вычислений». Время показало, кто был прав. Позже на конференции NVIDIA GPU Technology Conference (GTC) технологию представили уже как самостоятельный продукт с зарождающейся экосистемой.

От HPC к нейросетям

Первые годы вычисления на CUDA оставались уделом узкого круга учёных — сегмента HPC (High Performance Computing). Технологию применяли для моделирования сворачивания белков, расчёта траекторий в нефтегазовой отрасли и прогноза погоды.

Мешал высокий порог входа. Код на CUDA C++ писать сложно: нужно вручную управлять памятью видеокарты, следить за потоками и ловить ошибки. В мейнстрим технология долго не выходила, и обычный пользователь знал о ней лишь по галочке в настройках видеокодировщика.

Перелом наступил в 2012 году. Исследовательская группа Алекса Крижевского применила GPU для обучения свёрточной нейросети AlexNet — на ПК с двумя GTX 580. Выяснилось, что CUDA для нейросетей подходит идеально: глубокое обучение (Deep Learning) по сути представляет собой бесконечное перемножение матриц, а в этом «армия» простых ядер сильна как никогда.

Дальше сработали два фактора: индустрия перешла к матричным вычислениям и поняла, что для AI не всегда нужна высокая точность — достаточно FP16 или даже INT8. Так CUDA из нишевого инструмента стала золотым стандартом, а сегодня для глубокого обучения она остаётся безальтернативной базой.

CUDA-ядра, Compute Capability и версия CUDA: три разных понятия

Маркетологи говорят о тысячах ядер, программисты — о версиях тулкита, инженеры — об архитектуре. Чтобы не путаться, нужно различать три сущности.

Понятие Что это Роль
CUDA cores (CUDA-ядра) Физические вычислительные блоки внутри кремниевого чипа GPU «Рабочая сила»: чем их больше, тем больше параллельных потоков карта обработает за такт
Compute Capability (SM-версия) Аппаратный уровень возможностей архитектуры Определяет, какие инструкции чип может выполнить физически
Версия CUDA (например, CUDA 12.1) Программная среда: компилятор, библиотеки, инструменты разработчика Набор ПО, с которым работает код

Пример с серверной видеокартой H100: у неё архитектура Hopper и Compute Capability 9.0 — это её физический предел. При этом она работает с программной средой CUDA 12 или CUDA 13.

Ключевое здесь — обратная совместимость. Программная CUDA умеет подстраиваться под железо. Код, написанный под CUDA 12, запустится и на старой карте, например Tesla P40 поколения Pascal, но не сможет использовать новые инструкции, которых в старом кремнии нет. Так, старые карты не умеют аппаратно работать с форматом BF16, сколько бы драйверов на них ни ставили. Образно: аппаратные CUDA-ядра — это мышцы, а программная CUDA — инструкция по их применению.

Тензорные ядра: эволюция CUDA для нейросетей

Долгое время обычные CUDA-ядра были универсальными солдатами: считали физику в играх, рендеринг видео, научные расчёты. С бумом нейросетей стало ясно, что универсальность враждебна эффективности. Нейросети — это линейная алгебра: умножение матрицы на матрицу и сложение результата. На универсальных ядрах делать это можно, но долго, поэтому NVIDIA проанализировала нагрузку и создала специализированный блок.

Так появились Tensor Cores (тензорные ядра). Они не заменяют CUDA-ядра, а дополняют их. Это узкоспециализированные «калькуляторы», которые перемножают матрицы 4x4 (и других размерностей) за один такт — очень быстро и эффективно.

Работают оба типа ядер в тандеме:

  1. Универсальные CUDA-ядра обеспечивают гибкость и логику выполнения программы.
  2. Тензорные ядра включаются при тяжёлых матричных вычислениях и берут основную нагрузку при обучении и инференсе нейросетей.

Благодаря этому стали возможны вычисления смешанной точности (FP16, FP8), которые кратно ускорили AI. Расположение тензорных и CUDA-ядер внутри SM-блоков хорошо видно на схеме архитектуры Volta.

Экосистема надстроек над CUDA

«Голая» CUDA — сложный низкоуровневый инструмент. Если бы каждому ML-инженеру приходилось самому писать на C++ ядра для перемножения матриц, революции ИИ не случилось бы. Сила стратегии NVIDIA — в экосистеме готовых библиотек: компания методично выпускала надстройки для типовых задач, так что разработчику не нужно думать, как оптимально умножать векторы на GPU.

Ключевые библиотеки

  • cuBLAS — библиотека линейной алгебры, реализация стандарта BLAS (Basic Linear Algebra Subprograms) поверх CUDA. Чтобы максимально быстро умножить матрицы, достаточно вызвать функцию из cuBLAS, не вникая в регистры видеокарты.
  • cuDNN (CUDA Deep Neural Network library) — пожалуй, важнейший компонент современного AI. Содержит высокооптимизированные примитивы для глубоких сетей: свёртки, пулинг, функции активации. Это двигатель внутри PyTorch и TensorFlow; без cuDNN обучение шло бы в разы медленнее.
  • cuFFT — быстрое преобразование Фурье, критичное для обработки сигналов и анализа звука.

Всего экосистема CUDA включает более 150 библиотек и десятки инструментов. Именно они создали вокруг NVIDIA «ров безопасности»: конкуренты могут выпустить быстрое железо, но на написание аналога cuDNN с той же оптимизацией и стабильностью у них уйдут годы.

CUDA Toolkit

Все инструменты собраны в CUDA Toolkit — пакет, который разработчики скачивают с сайта NVIDIA. В его состав входят:

  • NVCC — компилятор, разделяющий код на часть для CPU и часть для GPU;
  • библиотеки (cuBLAS, cuFFT и другие);
  • драйверы;
  • инструменты отладки и профилирования;
  • примеры кода.

По сути, это чемодан с инструментами, с которым программист строит приложения. Без него видеокарта остаётся устройством для вывода изображения, а качество и полнота тулкита удерживают разработчиков в экосистеме «зелёных».

CUDA и PyTorch

На чистой CUDA пишут единицы. Большинство исследователей и инженеров работают с фреймворками высокого уровня, самый популярный из которых — PyTorch, а связка PyTorch-CUDA давно стала стандартом индустрии.

За простой строкой tensor.to('cuda') скрывается целая цепочка: PyTorch обращается к CUDA API, выделяет память на видеокарте и переносит туда данные. При обучении модели (Torch CUDA) фреймворк через библиотеку cuDNN отдаёт команды тензорным ядрам. Поддержка cuDNN в PyTorch реализована настолько нативно, что разработчик редко задумывается об уровне железа, а именно тесная интеграция софта и железа выжимает из видеокарт максимум. TensorFlow и JAX тоже стоят на плечах CUDA.

Выводы: как CUDA создала рынок и изменила NVIDIA

CUDA — не просто удачная технология, а результат выверенной стратегии длиной в два десятилетия. Хуанг верил в параллельные вычисления тогда, когда не верил никто. Символичный эпизод: он подарил Илону Маску, соучредителю OpenAI, первый суперкомпьютер DGX-1, целиком построенный вокруг архитектуры CUDA для глубокого обучения, — это, по сути, дало старт эпохе нейросетей.

NVIDIA годами вкладывала миллиарды долларов в софт, не приносивший немедленной прибыли: бесплатно обучала студентов в университетах, раздавала видеокарты учёным, дорабатывала драйверы. Когда случился бум искусственного интеллекта, готовой к нему оказалась только она. Вопрос «почему без CUDA современный AI невозможен» сегодня риторический: технология создала сам рынок GPGPU (General-purpose computing on graphics processing units) и превратила видеокарту из игрушки геймеров в главный инструмент прогресса XXI века. Конкурентам предстоит преодолеть не только технологический разрыв, но и двадцать лет форы в программной экосистеме.

Что это значит при выборе сервера

  • Для задач AI смотрите не только на число CUDA-ядер, но и на Compute Capability: она определяет, какие форматы (например, BF16, FP8) карта поддерживает аппаратно.
  • Старые поколения вроде Pascal (Tesla P40) запустят современный код, но без новых инструкций и без выигрыша от свежих тензорных ядер.
  • Версия CUDA и cuDNN должна быть совместима с вашим фреймворком, поэтому программную часть планируют вместе с железом.

Если вы подбираете платформу под обучение или инференс, посмотрите готовые решения в разделах GPU-серверов для ИИ и серверов. Инженеры «СервакМастер» помогут подобрать конфигурацию под вашу задачу — напишите нам через страницу контактов.