Supermicro 4124GS-TNR: 6× NVIDIA H100 80GB + 2× AMD EPYC 7773X — AI-сервер в СервакМастер

• Гарантия 1 год с заменой компонентов
• Доставка СДЭК и ведущими службами доставки по России
• Тестирование оборудования перед отправкой
• Профессиональная консультация по подбору конфигурации

Supermicro 4124GS-TNR — флагманская платформа для глубокого обучения и инференса

Supermicro 4124GS-TNR — это 4U-сервер корпоративного класса, созданный специально для задач, требующих предельной вычислительной мощности: обучения больших нейронных сетей, высокопроизводительного инференса, научных расчётов и построения RAG-систем. В интернет-магазине СервакМастер эта платформа предлагается в максимальной конфигурации — шесть ускорителей NVIDIA H100 80GB HBM3 в связке с двумя процессорами AMD EPYC 7773X и 2 ТБ оперативной памяти DDR4 ECC.

Шасси 4124GS-TNR разработано Supermicro с учётом специфики GPU-нагрузок: продуманная система воздушного охлаждения обеспечивает стабильный тепловой режим при длительных сессиях обучения, а компоновка слотов PCIe позволяет разместить шесть полноформатных ускорителей без деградации пропускной способности. Форм-фактор 4U обеспечивает разумный баланс между плотностью размещения в стойке и возможностями для масштабирования.

NVIDIA H100 80GB HBM3 — шесть ускорителей архитектуры Hopper

Каждый из шести GPU NVIDIA H100 несёт 80 ГБ памяти типа HBM3 с пропускной способностью до 3,35 ТБ/с. Суммарный пул видеопамяти составляет 480 ГБ — этого достаточно, чтобы размещать в памяти GPU языковые модели с сотнями миллиардов параметров без выгрузки весов на системную RAM.

Ключевые характеристики NVIDIA H100 80GB:

• Архитектура Hopper с интегрированным Transformer Engine
• 80 ГБ HBM3 на ускоритель, суммарно 480 ГБ в данной конфигурации
• Пиковая производительность в режиме FP8 Tensor Core — до 3958 TFLOPS на карту
• Поддержка форматов FP64, TF32, BF16, FP16, FP8 — широкий охват задач
• NVLink 4.0 для прямого высокоскоростного обмена данными между ускорителями
• Аппаратное ускорение трансформерных слоёв: Transformer Engine автоматически выбирает оптимальную точность вычислений

Технология Transformer Engine — одно из ключевых преимуществ архитектуры Hopper при работе с LLM. Вместо ручного выбора формата точности движок анализирует значения активаций и применяет FP8 или BF16 там, где это даёт максимальный прирост без потери качества модели. На практике это выражается в существенном сокращении времени обучения по сравнению с предыдущими поколениями GPU.

AMD EPYC 7773X — процессор с 3D V-Cache для минимальных задержек

Два процессора AMD EPYC 7773X выступают хост-CPU всей платформы. Каждый несёт 64 ядра (128 потоков) и 768 МБ кэша L3 — рекордный объём для серверного сегмента, достигнутый за счёт технологии 3D V-Cache: дополнительный слой кэш-памяти монтируется поверх кристаллов процессора методом 3D-стекирования.

Преимущества AMD EPYC 7773X в AI-конфигурации:

• 128 физических ядер в двухпроцессорной системе для параллельной предобработки данных
• 768 МБ L3 на сокет — снижает промахи кэша при работе с объёмными датасетами
• 8-канальный контроллер DDR4 ECC на сокет, итого 16 каналов в системе
• Шина PCIe 4.0 с высокой суммарной пропускной способностью для питания GPU-подсистемы
• Сниженная задержка доступа к данным ускоряет этапы препроцессинга и постобработки

EPYC 7773X эффективно берёт на себя роль оркестратора вычислений: пока ускорители заняты матричными операциями, процессоры загружают следующий батч, выполняют аугментацию и управляют очередью задач — конвейер не простаивает.

2 ТБ оперативной памяти DDR4 ECC LRDIMM

Платформа оснащена 2048 ГБ оперативной памяти в формате LRDIMM (Load-Reduced DIMM) с поддержкой ECC. Применение LRDIMM-модулей позволяет достичь максимальной ёмкости при сохранении рабочей частоты всей подсистемы памяти, тогда как ECC автоматически обнаруживает и исправляет одиночные битовые ошибки — это критично для многосуточных сессий обучения в производственной среде.

Что даёт 2 ТБ RAM на практике:

• Хранение полного датасета в оперативной памяти — ускоряет итерации за счёт исключения операций ввода-вывода
• CPU-offloading весов при инференсе моделей, превышающих суммарный объём VRAM
• Параллельный запуск нескольких изолированных задач или экспериментов на одном сервере
• Размещение крупных векторных индексов в RAM для RAG-систем с большими корпусами документов
• Буферизация потоков данных при работе с распределёнными хранилищами

Сценарии применения

Обучение и дообучение LLM

Конфигурация 6× H100 + 2 ТБ RAM позволяет обучать языковые модели с десятками миллиардов параметров на одном узле без прибегания к многосерверному кластеру. Для дообучения методами LoRA или QLoRA достаточно ещё меньших ресурсов — модели с 70+ млрд параметров укладываются в доступный пул VRAM при использовании смешанной точности BF16/FP8.

Высокопроизводительный инференс

480 ГБ суммарной видеопамяти открывают возможность одновременного размещения нескольких крупных моделей — например, чат-модели, кодогенератора и мультимодального ассистента — без переключения между ними. Это напрямую снижает латентность и увеличивает пропускную способность при обслуживании продакшн-трафика.

RAG и векторный поиск

Сочетание мощных GPU для эмбеддинг-моделей и 2 ТБ RAM для векторных индексов делает сервер оптимальным узлом для RAG-архитектур корпоративного масштаба. Семантический поиск по сотням миллионов фрагментов документов выполняется с минимальной задержкой, когда индекс целиком помещается в оперативную память.

Научные расчёты (HPC)

Архитектура Hopper поддерживает FP64-вычисления двойной точности, необходимые в задачах молекулярной динамики, квантовой химии, гидродинамического моделирования и сейсморазведки. Высокая пропускная способность HBM3 особенно ценна в задачах с интенсивным обменом между кэшем GPU и рабочими матрицами.

Анализ больших данных

Библиотеки RAPIDS (cuDF, cuML, cuGraph) переносят аналитические пайплайны с CPU-кластеров на GPU. Задачи, которые ранее занимали часы на традиционных вычислительных узлах, решаются за минуты благодаря параллельной обработке на шести ускорителях H100.

Интеграция в ЦОД и масштабирование

Форм-фактор 4U обеспечивает установку в стандартные 19-дюймовые стойки. При планировании размещения важно учитывать суммарное тепловыделение шести H100 и предусмотреть соответствующую мощность источников питания и пропускную способность системы охлаждения стойки.

Для объединения нескольких серверов в вычислительный кластер платформа поддерживает подключение высокоскоростных сетевых адаптеров — InfiniBand или 100GbE Ethernet. Это открывает путь к горизонтальному масштабированию: по мере роста потребностей к кластеру добавляются новые узлы без изменения существующей инфраструктуры.

Почему выбирают СервакМастер

СервакМастер специализируется на поставке профессионального серверного оборудования и AI-платформ для корпоративных заказчиков, исследовательских организаций и облачных провайдеров. Покупая Supermicro 4124GS-TNR у нас, вы получаете:

• Гарантию 1 год с заменой неисправных компонентов
• Предпродажную проверку: каждая система тестируется на работоспособность перед отправкой
• Доставку по всей России через СДЭК и другие надёжные логистические службы
• Техническую консультацию по подбору конфигурации под конкретные задачи и бюджет
• Помощь при вводе в эксплуатацию: консультации по установке драйверов, настройке CUDA-окружения и системного ПО

Supermicro 4124GS-TNR в комплектации 6× NVIDIA H100 80GB, 2× AMD EPYC 7773X и 2 ТБ DDR4 ECC — это вычислительная платформа, рассчитанная на многолетнюю эксплуатацию в задачах машинного обучения, научных расчётов и продакшн-инференса корпоративного уровня.

Платформа 4124GS-TNR: что внутри шасси

Конфигурация собрана на GPU-платформе Supermicro AS-4124GS-TNR. Ниже — параметры шасси по спецификации производителя: они определяют, что можно доустановить и какие требования сервер предъявляет к стойке.

Встроенной сети здесь только 1 GbE. Для обмена данными между узлами кластера или быстрого доступа к системе хранения в один из свободных слотов PCIe 4.0 x16 обычно ставят адаптер 25/100 GbE или InfiniBand.

Какие модели ИИ поместятся в 480 ГБ видеопамяти

Оценка по объёму весов: параметры × байт на параметр (FP16/BF16 — 2, FP8/INT8 — 1, INT4 — около 0,5). Сверху нужно оставить запас под KV-кэш и активации — тем больше, чем длиннее контекст и больше одновременных запросов.

Два практических момента:

• Hopper поддерживает FP8 аппаратно. Модели, опубликованные в FP8, запускаются без пересчёта в FP16, а вес сокращается вдвое. Это главное отличие от конфигураций на A100.
• Шесть GPU неудобны для тензорного параллелизма. В vLLM и похожих движках число карт в тензорном параллелизме должно делить число голов внимания модели, а 6 подходит редко. Обычно используют 4 карты в тензорном параллелизме либо схему «2 карты тензорно × 3 этапа конвейера» (TP=2, PP=3), которая задействует все шесть.

Питание, охлаждение и размещение

Пиковое потребление зависит от исполнения H100. Шасси рассчитано на PCIe-карты, паспортный TDP H100 в PCIe-исполнении — 350 Вт. Оценка для такой комплектации:

• Электропитание. Блоки по 2000 Вт полную мощность отдают только при 200–240 В: при 100–127 В блок ограничен 1000 Вт. Нагрузка около 3 кВт требует работы от сети 200–240 В. Схема резервирования 2+2 подразумевает две независимые линии (PDU A и PDU B). По данным Supermicro, число блоков указывается по-разному (на одной странице 4, на другой 2), поэтому количество блоков в поставляемой комплектации уточняйте при заказе.
• Тепло. 3,0–3,1 кВт под нагрузкой — это около 10,2–10,6 тыс. BTU/ч (кВт × 3412), которые нужно отвести кондиционированием серверной. Допустимая температура на входе — 10–35 °C.
• Стойка. 4U, глубина шасси 737 мм, вес около 30 кг без учёта GPU. Нужна стойка глубиной от 1000 мм и монтаж на рельсы. Ставить сервер лучше в нижнюю половину стойки. Требования к мощности и охлаждению стойки производитель не приводит, их считают по расчётным цифрам выше.

Сравнение с соседними конфигурациями

Эта конфигурация подходит, когда нужен FP8 и более 400 ГБ видеопамяти на одном узле, например для 405B-модели в FP8 или 671B в 4-битной квантизации. Вариант на A100 заметно дешевле и достаточен для моделей до 70B в FP16, но без аппаратного FP8. Если нужно 640 ГБ и больше, смотрите 4125GS-TNRT на восемь GPU.

Частые вопросы

Можно ли доустановить ещё два GPU? Платформа рассчитана на восемь двухслотовых ускорителей, то есть физически места хватает. Дооснащение требует пересчёта питания: шесть H100 уже дают около 3 кВт. Совместимость конкретных карт обсуждается при заказе.

Связаны ли карты через NVLink? Supermicro указывает расхождение: на одной странице платформа описана с «NVLink with NVSwitch», на другой — с опциональным NVLink-мостом или Infinity Fabric. Связь процессора с каждой картой идёт напрямую по PCIe 4.0 x16. Наличие мостов в конкретной комплектации уточняйте при заказе.

Можно ли поставить другие процессоры? Да, платформа поддерживает EPYC 7002/7003 с TDP до 280 Вт при воздушном охлаждении, до 64 ядер на сокет. Устанавливаются только два процессора: одиночный не поддерживается.

Какую ОС и драйверы использовать? Для задач ИИ обычно ставят Ubuntu Server LTS или RHEL-совместимый дистрибутив, драйвер NVIDIA для дата-центров и CUDA. Поверх них работают PyTorch, vLLM, TensorRT-LLM и NVIDIA Triton. Управление сервером доступно удалённо через IPMI 2.0 и KVM-over-LAN.

Условия гарантии описаны на странице «Гарантия», способы и сроки доставки — на странице «Доставка».

Характеристики