DGX OS: как устроена операционная система NVIDIA для ИИ и HPC
Введение
Когда речь заходит о компактном ИИ-суперкомпьютере DGX Spark или флагманских серверах DGX B200, основное внимание обычно достаётся производительности GPU, топологии NVLink и пропускной способности сетевых интерфейсов. Операционная система при этом остаётся в тени — хотя именно она определяет, насколько слаженно работает весь вычислительный стек. За работу всего семейства DGX отвечает фирменная ОС NVIDIA под названием DGX OS. В этой статье команда СервакМастер подробно разбирает её устройство: на чём она основана, какие компоненты включает и чем принципиально отличается от обычного Linux-дистрибутива.
Что такое DGX OS и почему это не «просто Ubuntu»
DGX OS — операционная система, созданная NVIDIA специально для платформ линейки DGX: серверов DGX A100, H100, H200, B200, B300, рабочей станции DGX Station A100 и компактных систем DGX Spark. Формально она строится на базе Ubuntu LTS, однако называть её «Ubuntu с драйверами» было бы серьёзным упрощением. Перед нами законченная инфраструктурная платформа, где каждая версия ядра, драйвера и ключевой библиотеки синхронизирована и сертифицирована NVIDIA для воспроизводимого и стабильного выполнения ИИ- и HPC-нагрузок.
Разработчики NVIDIA внесли обширные изменения непосредственно в ядро Linux: добавлены проприетарные патчи для максимально эффективной работы GPU-драйверов, NVLink-интерконнектов и NVSwitch-фабрик. Поверх этого базового уровня предустановлены и плотно интегрированы службы DCGM (Data Center GPU Manager), NVSM (NVIDIA System Management) и Fabric Manager — они обеспечивают мониторинг, управление и балансировку GPU-ресурсов в масштабе датацентра.
DGX OS также играет ключевую роль в экосистеме NVIDIA ARM: предоставляет стабильную и сертифицированную среду для систем на базе процессоров Grace и их сочетаний с GPU поколений Hopper и Blackwell, устраняя характерные проблемы несовместимости ARM-сборок.
Главная цель DGX OS — создать полностью детерминированную среду, в которой все обновления и патчи проходят внутреннюю сертификацию NVIDIA и не нарушают работу вычислительного стека. Это особенно критично для крупных кластеров на тысячи GPU, где единственный сбой на одном узле способен прервать многомесячное обучение модели или вывести из строя производственный облачный сервис.
История DGX OS насчитывает уже несколько поколений: первые версии выходили под названием DGX Base OS ещё для систем DGX-1 и DGX-2. Актуальная версия DGX OS 7 перешла на Ubuntu 24.04 LTS с ядром Linux 6.8 и добавила полноценную поддержку ARM-платформ на процессорах Grace и GPU архитектуры Blackwell, обеспечив архитектурную унификацию между x86- и ARM-узлами.
DGX OS на платформах HGX и MGX
Официально DGX OS распространяется исключительно вместе с системами линейки NVIDIA DGX и не поддерживается на сторонних OEM-платформах HGX. Несмотря на то что HGX-узлы используют идентичные GPU-модули, NVSwitch-интерконнекты и аналогичные бэкплейны, NVIDIA не поставляет DGX OS как самостоятельный продукт для независимых интеграторов. Для HGX-серверов производства Supermicro, Dell, HPE и других вендоров применяются экосистема NVIDIA AI Enterprise и GPU Operator, но не DGX OS — она остаётся частью закрытого DGX-пакета и поставляется только с фирменным оборудованием NVIDIA.
Аналогичная ситуация с платформами NVIDIA MGX (на базе процессоров Grace Hopper GH200 и Grace Blackwell GB200): DGX OS на них также не распространяется напрямую. MGX позиционируется как модульная OEM-архитектура, и для неё NVIDIA предлагает собственные сборки на базе Ubuntu LTS с интеграцией AI Enterprise, DCGM и NVSM. Хотя DGX OS 7 формально включает ARM-ядро, его применение ограничено исключительно фирменными DGX-системами NVIDIA с процессорами Grace.
На чём основана DGX OS: Ubuntu LTS плюс ядро с патчами NVIDIA
DGX OS строится на фундаменте Ubuntu LTS, но с каждым выпуском накапливает всё больше специфических модификаций. Хронология поколений:
- DGX OS 5 — Ubuntu 20.04 LTS, ядро Linux 5.4: поддержка GPU A100 и NVSwitch 2.
- DGX OS 6 — Ubuntu 22.04 LTS, ядро Linux 5.15: оптимизация под H100 и NVLink 4.
- DGX OS 7 — Ubuntu 24.04 LTS, ядро Linux 6.8: поддержка ARM-платформ Grace и архитектуры Blackwell.
Помимо ядра, NVIDIA заменяет ряд ключевых системных пакетов Ubuntu. Фирменный репозиторий dgx-release содержит модифицированные пакеты initramfs, модули для работы с GPU, прошивки NVSwitch и скрипты для автоматического обнаружения топологии NVLink. Версии glibc и systemd следуют базовому LTS-релизу Ubuntu, но включают патчи для совместимости с GPU-драйверами и MIG-партиционированием. Система задействует Ubuntu Pro ESM (Extended Security Maintenance) и применяет механизм kernel pinning: ядро обновляется только через пакеты, прошедшие тестирование NVIDIA, что полностью исключает несовместимости между драйверами и модулями ядра.
Объём изменений настолько значителен, что в DGX OS с трудом узнаётся стандартный Ubuntu. Если заменить ядро, пакеты, репозитории, инструменты управления и весь GPU-стек — фактически перед нами самостоятельная операционная система.
GPU-стек в DGX OS: CUDA, NCCL, TensorRT и DCGM из коробки
DGX OS поставляется с полным, заранее настроенным GPU-стеком. В его состав входят:
- Драйверы серий R535, R570 и R580.
- CUDA версий 12 и 13.
- cuDNN 9, TensorRT 10, NCCL 2.28, NVSHMEM.
- Fabric Manager и прошивки NVSwitch под управлением служб NVSM.
- Поддержка GPUDirect Storage, MPS (Multi-Process Service) и MIG (Multi-Instance GPU) на уровне ядра.
Функции MIG и MPS позволяют балансировать вычислительную нагрузку между несколькими ИИ-моделями без деградации производительности.
Все компоненты стека строго синхронизированы, а обновления поставляются единым пакетом через официальные репозитории NVIDIA. Это избавляет разработчиков от типичных проблем Linux-окружений, где версии CUDA, Python и PyTorch нередко конфликтуют. Компактная рабочая станция DGX Spark с CPU Grace и GPU Blackwell использует тот же DGX OS 7, что и кластерные серверы DGX B200: код, отлаженный на Spark, масштабируется на кластер без ошибок и дополнительных сборок.
Сетевой стек: InfiniBand, RoCE и MOFED в комплекте
Системы DGX можно объединять в кластеры — и в этом тоже есть заслуга фирменной ОС NVIDIA. DGX OS изначально рассчитана на высокопроизводительные сетевые адаптеры NVIDIA ConnectX, поэтому в поставку включён стек DOCA OFED 2.9 (или Mellanox OFED 23.x). Это обеспечивает:
- Работу InfiniBand и RoCE.
- GPUDirect RDMA для прямого межузлового обмена данными между GPU.
- Режим RoCE, включённый по умолчанию для Ethernet-окружений.
- Подписанные модули ядра для совместимости с Secure Boot.
- Тонкую настройку задержек: параметры ECN, IRQ-affinity и IOMMU pass-through.
DGX OS строго контролирует совместимость между версиями ядра, OFED и прошивками сетевых адаптеров, исключая ситуации, когда плановое обновление ядра ломает RDMA-путь.
Контейнеризация и оркестрация: NGC, Docker и Slurm без сложной настройки
DGX OS поставляется с готовой средой контейнеризации. В составе:
- nvidia-container-toolkit 1.17+, Docker и containerd, преднастроенные для GPU-контейнеров.
- Поддержка Kubernetes через NVIDIA GPU Operator.
- Поддержка Slurm через Enroot и Pyxis.
Кластером на DGX OS можно управлять как через контейнерный оркестратор, так и через классический HPC-планировщик. Интеграция с NVIDIA GPU Cloud (NGC) работает из коробки: одна команда docker run --gpus all nvcr.io/... запускает готовый контейнер с PyTorch, TensorFlow или Megatron-LM. DGX OS служит нижним уровнем для кластерной платформы Base Command и пакета NVIDIA AI Enterprise, расширяющих возможности управления и виртуализации на уровне организации.
Обновления и жизненный цикл DGX OS
Перед каждым выпуском NVIDIA тщательно тестирует все обновления, поэтому релизы DGX OS выходят дважды в год — как правило, в феврале и августе. Поддержка каждой ветки сохраняется до 10 лет. Обновления поступают через официальные репозитории NVIDIA и включают pinning для драйвера, CUDA и ядра. Это делает команду apt upgrade максимально безопасной: пользователь получает только проверенные, предварительно согласованные комбинации пакетов. Установка внешних ядер или подключение сторонних репозиториев может нарушить стек MOFED и GPU-драйверов, поэтому NVIDIA настоятельно рекомендует придерживаться официальных каналов обновлений.
Доступ, лицензии и поддержка
DGX OS не распространяется как самостоятельный продукт: она входит в комплект поставки оборудования DGX и доступна через портал NVIDIA Enterprise Support или NGC. Установка возможна только на сертифицированные системы с идентифицированным платформенным контроллером. Пакет AI Enterprise используется для виртуализированных и OEM-сценариев, однако сама DGX OS остаётся фундаментом для их развёртывания. Поддержка Secure Boot и соответствие требованиям FIPS и ESM обеспечиваются через Ubuntu Pro, что принципиально важно при эксплуатации DGX OS в корпоративных и государственных инфраструктурах.
Поддерживаемые платформы: от DGX H100 до Spark на Grace
DGX OS унифицирована для всех актуальных платформ NVIDIA. Она работает на DGX A100, H100, H200, DGX Station A100 и DGX Spark на архитектуре Grace / Blackwell. Минимальные требования к версии ОС:
| Платформа | Минимальная версия DGX OS |
|---|---|
| DGX A100 | 5.1.3+ |
| DGX H100 | 6.0.11+ |
| DGX H200 | 6.3.2+ |
| DGX Station A100 | 5.2.1+ |
| DGX Spark (Grace / Blackwell) | 7.2.3+ |
Единая ОС для x86 и ARM-архитектур — одна из ключевых особенностей DGX OS. Она позволяет разворачивать одни и те же модели и инструменты как на компактных Spark, так и на серверных DGX B200 без каких-либо доработок кода.
Почему важно использовать DGX OS, а не собирать окружение вручную
Опытный системный администратор или ML-инженер теоретически может самостоятельно собрать корректное окружение на чистом Ubuntu, вручную согласовав версии CUDA, драйверов, NCCL и ядра. Однако этот путь крайне трудоёмок: он требует ручной синхронизации зависимостей, регулярного тестирования при обновлениях и глубокого понимания взаимодействия каждого компонента стека. DGX OS — это не единственно возможный способ работы с оборудованием DGX, но это корпоративный шорткат, который экономит сотни часов инженерного времени и существенно снижает риски несовместимости, обеспечивая работоспособность всего стека ПО прямо из коробки.
Выводы
DGX OS — решение для тех, кто строит или эксплуатирует производственную ИИ-инфраструктуру на оборудовании NVIDIA. Для DevOps-инженеров, ML-специалистов и системных администраторов эта операционная система представляет реальную ценность:
- Контейнеры NGC готовы к запуску без дополнительной настройки.
- Интегрированный мониторинг через DCGM и NVSM.
- Оптимизированный сетевой стек с поддержкой InfiniBand и RoCE.
- Полное отсутствие проблем совместимости для NVLink, NVSwitch и GPU-драйверов.
- Единый образ для x86- и ARM-платформ — перенос нагрузок между DGX Spark и DGX B200 без доработок.
Всё это работает стабильно как в компактных персональных системах DGX Spark, так и в масштабных ИИ-кластерах на тысячи GPU.
Если вас интересует серверное оборудование NVIDIA или вы хотите подобрать оптимальное решение для ИИ-задач — свяжитесь с нами в СервакМастер.
Автор: редакция СервакМастер