Supermicro 4125GS-TNRT: 8× NVIDIA H100 80GB + 2× AMD EPYC 9354 — купить AI-сервер в СервакМастер

Supermicro 4125GS-TNRT — восемь H100 в одном корпусе для задач ИИ и HPC

Supermicro 4125GS-TNRT — это 4U-сервер, созданный специально для высоконагруженных вычислений на базе NVIDIA H100. Платформа объединяет восемь ускорителей H100 80GB с памятью HBM3, два процессора AMD EPYC 9354 и 1 ТБ оперативной памяти DDR5 ECC REG в единый, сбалансированный по пропускной способности узел. Такая конфигурация закрывает потребности как в обучении крупных нейросетевых моделей, так и в высокопроизводительном инференсе, научных расчётах и аналитических задачах.

В каталоге СервакМастер этот сервер представлен в статусе «в наличии»: перед отправкой каждая единица проходит полный цикл предпродажного тестирования, включая стресс-проверку под нагрузкой.

Два процессора AMD EPYC 9354 — надёжный фундамент платформы

Вычислительная база сервера строится на паре AMD EPYC 9354 — процессорах поколения Genoa с микроархитектурой Zen 4. Каждый чип поддерживает расширенный набор инструкций AVX-512, что ускоряет числодробильные операции над плавающей точкой. В двухпроцессорном режиме система получает достаточный запас ядер и пропускной способности памяти для того, чтобы обслуживать все восемь GPU-ускорителей без деградации на шине ввода-вывода.

Платформа EPYC 9000 поддерживает память с коррекцией ошибок, что исключает сбои при многодневных тренировочных запусках — одно из базовых требований для промышленных AI-систем.

8× NVIDIA H100 80GB HBM3 — 640 ГБ суммарного VRAM

Каждый ускоритель NVIDIA H100 80GB оснащён памятью типа HBM3 с исключительно высокой пропускной способностью. Суммарный объём VRAM в конфигурации 8 GPU составляет 640 ГБ — этого хватает для:

• размещения моделей LLM с сотнями миллиардов параметров в точности FP8/INT8 и квантованных форматах, а моделей до ≈300 млрд параметров — и в BF16;
• параллельного обучения на нескольких репликах модели; карты могут объединяться NVLink-мостами (опция платформы), а остальной обмен идёт по PCIe 5.0;
• одновременного ведения нескольких сессий инференса с высоким батч-размером.

Платформа допускает установку NVLink-моста между картами, и это принципиально важно при распределённом обучении: обмен градиентами между связанными ускорителями идёт напрямую, минуя хост-шину, что сокращает время шага тренировки. Между остальными картами обмен идёт через PCIe 5.0 x16.

Задачи, для которых создан этот сервер:

• Предобучение и дообучение LLM — GPT-подобные архитектуры, Llama, Mistral, Qwen и их производные; методы LoRA, QLoRA, PEFT
• Инференс с высокой пропускной способностью — батчевая обработка, потоковые API, многопользовательские сценарии
• RLHF и выравнивание моделей — итерационные циклы обучения с подкреплением по обратной связи
• RAG-пайплайны и векторный поиск — параллельное вычисление эмбеддингов и ретриверных индексов в реальном времени
• Компьютерное зрение — обучение детекторов, сегментационных и генеративных диффузионных сетей
• HPC и научные вычисления — молекулярная динамика, климатическое моделирование, финансовые симуляции

1 ТБ оперативной памяти DDR5 ECC REG

Сервер укомплектован 1024 ГБ (1 ТБ) оперативной памяти формата DDR5 с регистровой буферизацией и коррекцией ошибок. Объём RAM такого уровня позволяет держать крупные датасеты целиком в оперативной памяти хоста — без постоянного обращения к дисковой подсистеме. DDR5 обеспечивает более высокую пропускную способность по сравнению с предыдущим стандартом, что ускоряет предобработку данных и подачу батчей в GPU.

Наличие ECC гарантирует автоматическое исправление одиночных битовых ошибок, что критически важно при непрерывном многодневном использовании системы.

Форм-фактор 4U: плотность и охлаждение

Корпус 4U рассчитан на установку в стандартную серверную стойку 19 дюймов. Такой форм-фактор — разумный компромисс: он обеспечивает достаточное пространство для эффективного воздушного охлаждения восьми H100, не жертвуя плотностью размещения сверх необходимого. Supermicro реализует в своих AI-серверах продуманную систему воздуховодов, распределяющую потоки воздуха по всем GPU равномерно.

Преимущества инфраструктурной интеграции:

• Управление через стандартные интерфейсы IPMI и Redfish — совместимость с корпоративными системами мониторинга
• Поддержка Docker, Kubernetes и NVIDIA GPU Operator для оркестрации контейнерных GPU-нагрузок
• Совместимость с ведущими ML-фреймворками: PyTorch, TensorFlow, JAX, Triton, CUDA
• Долгий жизненный цикл платформы и широкая доступность запасных частей Supermicro

Платформа AS-4125GS-TNRT: что внутри шасси

Конфигурация собрана на GPU-платформе Supermicro AS-4125GS-TNRT с материнской платой H13DSG-O-CPU под процессоры EPYC 9004/9005 (сокет SP5). Ниже — параметры шасси по спецификации производителя: они определяют, что можно доустановить и какие требования сервер предъявляет к стойке.

Встроенная сеть здесь — только 10GbE. Для обмена данными между узлами кластера или быстрого доступа к СХД в один из свободных слотов PCIe 5.0 x16 обычно ставят адаптер 100/400 GbE или InfiniBand; при восьми GPU свободным остаётся минимум один слот из девяти.

Какие модели ИИ поместятся в 640 ГБ видеопамяти

Оценка по объёму весов: параметры × байт на параметр. Сверху нужно оставить запас под KV-кэш (контекст) и активации — тем больше, чем длиннее контекст и больше одновременных запросов. H100 относится к архитектуре Hopper и аппаратно поддерживает FP8, поэтому FP8-версии моделей запускаются в «родном» формате.

Практический момент: восемь — степень двойки, поэтому тензорный параллелизм по 2, 4 и 8 картам ложится на число голов внимания большинства современных моделей, в отличие от конфигураций с шестью GPU.

Питание, охлаждение и размещение

Пиковое потребление этой конфигурации можно оценить так. Для H100 80GB в PCIe-исполнении паспортный TDP — 350 Вт; точную модификацию карт (PCIe или NVL) уточняйте при заказе.

• Электропитание. Четыре блока по 2000 Вт Titanium. Мощность блока зависит от напряжения: 1800 Вт при 200–220 В и 2000 Вт при 230–240 В; от 100–127 В блок даёт лишь 1000 Вт, поэтому сервер нужно питать от сети 200–240 В. Схему резервирования Supermicro указывает по-разному («3+1» в спецификации, «2+2 или 3+1» в описании), поэтому реальную схему для вашей комплектации уточняйте перед заказом. Подключать блоки правильно к двум независимым линиям (PDU A и PDU B).
• Тепло. 3,8–3,9 кВт под нагрузкой — это около 13–13,3 тыс. BTU/ч (кВт × 3412), которые нужно отвести кондиционированием серверной. Допустимая температура на входе — 10–35 °C; жидкостное охлаждение производитель для этого шасси не заявляет.
• Стойка. 4U, глубина шасси 737 мм, масса около 30 кг без комплектующих (в сборе с восемью GPU — заметно больше). Нужна стойка достаточной глубины и монтаж на рельсы; ставить сервер лучше в нижнюю половину стойки. Потребление и требования к охлаждению на уровне стойки производитель не приводит.

Сравнение с соседними конфигурациями

Эта конфигурация — вариант с тем же объёмом видеопамяти, что и у HGX-сервера на 8× H100 SXM, но заметно дешевле и в более компактном 4U-корпусе; взамен связь между GPU в основном идёт по PCIe 5.0, а не по NVLink-коммутации SXM-платформы. Если нужна максимальная скорость обмена между картами при обучении, смотрите HGX-вариант; если важен объём памяти под модели масштаба DeepSeek-V3 в FP8 — версию с H200 NVL; если задачи скромнее и важна компактность — 2U-сервер на 4 H100.

Частые вопросы

Можно ли доустановить или заменить GPU? Платформа рассчитана на восемь двухслотовых GPU полной длины, поэтому в этой конфигурации все места под ускорители уже заняты. Слоты PCIe 5.0 x16 сверх восьми под GPU остаются для сетевых адаптеров и других плат. Замена на иные поддерживаемые карты обсуждается при заказе.

Связаны ли карты через NVLink? Производитель платформы указывает NVLink-мост как опцию для связи GPU между собой (для карт AMD — Infinity Fabric Link). По умолчанию GPU подключены к процессорам по PCIe 5.0 x16. NVSwitch в спецификации платформы не заявлен.

Какие процессоры поддерживает платформа? Два процессора AMD EPYC 9004 или 9005 в сокете SP5, с TDP до 400 Вт на CPU; память — до 6 ТБ DDR5 ECC RDIMM в 24 слотах. Установленные в этой конфигурации EPYC 9354 относятся к поколению 9004.

Какую ОС и драйверы использовать? Для задач ИИ обычно ставят Ubuntu Server LTS или RHEL-совместимый дистрибутив, драйвер NVIDIA для дата-центров и CUDA. Поверх них работают PyTorch, vLLM, TensorRT-LLM и NVIDIA Triton. Управление сервером — через выделенный порт BMC и утилиты Supermicro.

Условия гарантии описаны на странице «Гарантия», способы и сроки доставки — на странице «Доставка».

Почему стоит заказать в СервакМастер

СервакМастер — специализированный поставщик серверного и AI-оборудования. Мы работаем с профессиональными платформами и понимаем специфику развёртывания GPU-кластеров.

• Предпродажное тестирование — каждый сервер проходит POST-диагностику, проверку всех GPU и стресс-тест памяти перед отправкой
• Гарантия 1 год — замена неисправных компонентов в течение гарантийного срока
• Доставка по всей России — СДЭК и крупными транспортными компаниями, включая доставку до двери
• Экспертная поддержка — менеджеры помогут уточнить совместимость, выбрать конфигурацию под задачу и оформить заказ

Для уточнения условий поставки, кастомизации конфигурации или получения коммерческого предложения — обратитесь к специалистам СервакМастер.

Характеристики