Сервер NVIDIA DGX H100: 8× H100 SXM 80GB, 2× Xeon Platinum 8480C, 2 ТБ DDR5

NVIDIA DGX H100: платформа для обучения и инференса больших моделей

NVIDIA DGX H100 — датацентровая система в корпусе 8U, рассчитанная на тяжёлые AI-нагрузки: обучение и дообучение моделей, а также высоконагруженный инференс в продакшне. Восемь ускорителей H100 SXM 80GB на архитектуре Hopper дают суммарно около 640 ГБ видеопамяти HBM3, чего хватает для больших батчей, длинного контекста и параллельных пайплайнов.

Ускорители объединены через NVLink / NVSwitch в единый высокоскоростной домен, а работу GPU обеспечивают два процессора Intel Xeon Platinum 8480C и 2 ТБ оперативной памяти DDR5 ECC REG. H100 поддерживают FP16, FP8 и INT8 и всю экосистему CUDA, поэтому система подходит и для масштабируемого обучения, и для сервисов с RAG и агентными сценариями.

Ключевые особенности

• 8× NVIDIA H100 SXM 80GB (HBM3), около 640 ГБ VRAM в сумме.
• Связь GPU через NVLink / NVSwitch в единый домен.
• 2× Intel Xeon Platinum 8480C (56 ядер / 112 потоков, 2–3,8 ГГц, 350 Вт).
• 2 ТБ оперативной памяти DDR5 ECC REG.
• Хранилище: 2× 1,92 ТБ NVMe M.2 и 8× 3,84 ТБ NVMe U.2.
• Сеть: 4 порта OSFP для 8 однопортовых модулей NVIDIA ConnectX-7 VPI (InfiniBand/Ethernet до 400 Гбит/с) и 2× двухпортовых QSFP112 400GbE ConnectX-7 VPI.
• Совокупная производительность восьми H100 SXM: FP8 Tensor Core — 31 664 TFLOPS, BF16 / FP16 Tensor Core — 15 832 TFLOPS, TF32 Tensor Core — 7 912 TFLOPS, FP64 Tensor Core — 536 TFLOPS, INT8 Tensor Core — 31 664 TOPS.

Характеристики

Для каких задач подходит

Система рассчитана на обучение и дообучение языковых моделей, продакшн-инференс, RAG-системы, анализ данных и научные расчёты (HPC). По описанию поставщика, при запуске в 4-бит или FP8 на 8×H100 помещаются крупные модели: DeepSeek-R1 685B (Q4_K_M, около 404 ГБ), Qwen3.5-397B-A17B-FP8 (около 406 ГБ), GigaChat3.5-432B-A28B (около 438 ГБ), Mistral-Large-3-675B (Q4_K_M, около 407 ГБ), GLM-5 (Q4_K_M, около 456 ГБ). Для моделей Kimi-K2.7-Code (около 595 ГБ) и MiMo-V2.5-Pro (около 630 ГБ) запас по памяти минимален, а gpt-oss:120b (около 196 ГБ) работает при распределении по 2–4 GPU.

Для генерации изображений и видео подходят Stable Diffusion XL, SD Turbo, Kandinsky 5.0 Lite (T2I около 35 ГБ, T2V около 29 ГБ). Flux.2-dev требует около 178 ГБ VRAM, поэтому на 80-гигабайтных GPU его запускают в multi-GPU режиме или с оптимизациями.

Состояние, проверка и гарантия

Оборудование поставляется новым. Перед отправкой «СервакМастер» тестирует его, на систему предоставляется гарантия 1 год с заменой компонентов. Доставка по России осуществляется СДЭК и другими ведущими службами доставки. Подобрать конфигурацию под вашу задачу и уточнить детали поставки можно у менеджеров магазина.

Характеристики