Supermicro AS-8125GS-TNMR2 — 8U сервер с 8× AMD Instinct MI300X 192GB

Supermicro AS-8125GS-TNMR2: платформа для крупных AI-нагрузок

Supermicro AS-8125GS-TNMR2 — это GPU-сервер форм-фактора 8U, рассчитанный на восемь ускорителей AMD Instinct MI300X в исполнении OAM. В конфигурации установлено 8 × 192 ГБ HBM3, то есть 1536 ГБ (1,5 ТБ) видеопамяти в одном узле. Вычислительную часть обеспечивают два процессора AMD EPYC 9005/9004 на сокете SP5.

Главное преимущество системы — объём памяти ускорителей. Он позволяет держать в VRAM очень большие языковые модели, длинный контекст и крупный KV-cache, а также обслуживать много параллельных запросов в продакшн-сервисах без дробления модели между серверами.

Ключевые особенности

• 8 × AMD Instinct MI300X по 192 ГБ HBM3 — суммарно 1536 ГБ видеопамяти.
• Два процессора AMD EPYC 9005/9004 (SP5, LGA 6096).
• До 6 ТБ оперативной памяти DDR5 ECC RDIMM, 24 слота.
• Дисковая подсистема: 12 × 2,5" NVMe и 2 × 2,5" SATA, опционально ещё 4 × 2,5" NVMe, а также 2 × M.2 NVMe (M-key).
• Совокупная производительность восьми ускорителей: 10,4 PFLOPS в FP16/BF16 и 20,88 PFLOPS с учётом структурированной разреженности; 20,88 PFLOPS в FP8 и 41,76 PFLOPS с разреженностью.
• FP64 — 653,6 TFLOPS, FP32 — 1304 TFLOPS.
• Корпус 8U для установки в серверную стойку.

Характеристики

Какие модели помещаются

По данным совместимости, на 8 × MI300X уверенно размещаются крупные LLM: например, DeepSeek-V4-Pro (около 865 ГБ), GigaChat3.5-432B-A28B-bf16 (около 868 ГБ), Mistral-Large-3-675B-Instruct (около 682 ГБ), GLM-5-FP8 (около 756 ГБ), MiniMax-M3 (около 854 ГБ) и MiMo-V2.5-Pro (около 1,03 ТБ). Модель gpt-oss:120b занимает порядка 196 ГБ, ей хватает одного-двух GPU, а остальная память остаётся под высокую параллельность и KV-cache. Для диффузионных моделей — Stable Diffusion XL 1.0, Flux.2-dev, SD Turbo, Kandinsky-5.0 — доступны высокие разрешения, большие батчи и распараллеливание очередей по ускорителям.

Для каких задач подходит

• Обучение и дообучение (fine-tuning) больших языковых моделей.
• Инференс и развёртывание LLM в продакшне с длинным контекстом и большим числом одновременных запросов.
• RAG-системы и агентные сценарии, где нужен запас памяти под контекст.
• Генерация изображений и коротких видео на диффузионных моделях.
• HPC и научные расчёты, анализ данных.

Состояние, проверка и гарантия

Сервер поставляется новым. Перед отправкой «СервакМастер» тестирует оборудование, на него действует гарантия 1 год с заменой компонентов. Доставка выполняется по России службой СДЭК и другими ведущими службами доставки. Если нужна конфигурация на эту платформу под ваши задачи и бюджет, свяжитесь с менеджером — мы подберём подходящий вариант.

Платформа AS-8125GS-TNMR2: что внутри шасси

Конфигурация собрана на 8U-платформе Supermicro AS-8125GS-TNMR2 (шасси CSE-GP801TS). Восемь ускорителей Instinct MI300X в формате OAM связаны между собой через AMD Infinity Fabric Link, а к процессорам подключены по PCIe 5.0 x16. Ниже — параметры самого шасси по данным производителя.

Встроенный сетевой адаптер в спецификации производителя не указан. Сетевые карты ставятся в слоты PCIe 5.0 x16 (на странице платформы упомянуты 8 адаптеров по схеме 1:1 к GPU для GPU Direct RDMA), так что для кластера и быстрого доступа к хранилищу сетевую подсистему нужно выбирать отдельно при заказе.

Какие модели ИИ поместятся в 1536 ГБ видеопамяти

Оценка по объёму весов: параметры × байт на параметр (FP16/BF16 — 2, FP8/INT8 — 1, INT4 — около 0,5). Сверху нужен запас под KV-кэш и активации — чем длиннее контекст и больше одновременных запросов, тем он больше. Один MI300X несёт 192 ГБ HBM3.

Практические замечания:

• Число GPU — 8, то есть степень двойки. Тензорный параллелизм на 2, 4 и 8 карт ложится на архитектуру моделей без проблем, схемы «4 карты × 2 копии» и «2 карты × 4 копии» позволяют обслуживать несколько независимых экземпляров.
• FP8. MI300X (архитектура CDNA 3) поддерживает вычисления в FP8, поэтому модели в FP8 можно запускать без дополнительной квантизации. Конкретные форматы и поддержка в движках зависят от версии ROCm и фреймворка (vLLM, PyTorch) — это стоит уточнить под вашу модель до заказа.
• Программный стек. Ускорители AMD работают с ROCm, а не с CUDA: код, завязанный на собственные CUDA-ядра, потребует проверки или переноса.

Питание, охлаждение и размещение

Пиковое потребление оценивается по паспортным TDP компонентов:

Спецификация производителя не приводит потребляемую мощность системы целиком, поэтому цифра выше — расчётная оценка, а не паспортное значение.

• Электропитание. Шесть блоков по 3000 Вт работают по схеме 3+3. При входе 200–207 В каждый блок отдаёт 2880 Вт, при 207–240 В — 3000 Вт, то есть три блока дают не менее 8640 Вт, чего хватает на расчётную нагрузку. Нужна сеть 200–240 В; блоки лучше разнести на две независимые линии (по три блока на PDU A и PDU B) — тогда потеря одной линии не остановит сервер.
• Тепло. 7,2–7,4 кВт — это около 24,6–25,2 тыс. BTU/ч (кВт × 3412), которые нужно отвести. Охлаждение воздушное, допустимая температура 10–35 °C, влажность 8–90% без конденсата. Стойка и помещение должны быть рассчитаны на такую удельную нагрузку.
• Стойка. 8U, глубина шасси 843 мм, нетто 75,3 кг. Нужна глубокая стойка с запасом под кабели и монтаж на рельсы; сервер лучше ставить в нижнюю часть стойки, а при установке использовать подъёмник или двух человек.

Сравнение с соседними конфигурациями

Все четыре сервера на MI300X дают одинаковые 1536 ГБ видеопамяти и отличаются платформой, процессорами и ценой: эта конфигурация — самая доступная из них, вариант на Intel Xeon (SYS-821GE-TNMR2) подойдёт тем, кому нужна именно платформа Intel. Версия на H100 стоит дороже и несёт вдвое с лишним меньше видеопамяти (640 ГБ), но работает на стеке CUDA — её выбирают, если программное обеспечение завязано на NVIDIA.

Частые вопросы

Можно ли поставить процессоры EPYC 9005? Да, платформа поддерживает AMD EPYC 9004 и 9005 с TDP до 400 Вт при воздушном охлаждении. Для EPYC 9005 требуется материнская плата ревизии 2.x, а память работает на 6000 МТ/с (с EPYC 9004 — 4800 МТ/с).

Как GPU связаны друг с другом и с процессорами? Восемь MI300X в формате OAM объединены через AMD Infinity Fabric Link, а к процессорам подключены по PCIe 5.0 x16. Для обмена между узлами используются сетевые карты в слотах PCIe 5.0 x16; встроенная сеть в спецификации не указана.

Сколько накопителей можно установить? Платформа предусматривает 18 отсеков: 12× 2,5" NVMe, 2× 2,5" SATA и ещё 4× 2,5" NVMe, а также два слота M.2 NVMe (M-key). Для части отсеков могут потребоваться дополнительный контроллер и кабели.

Какое программное обеспечение используется? Ускорители AMD Instinct работают на стеке ROCm. Для управления сервером производитель предлагает SuperCloud Composer, SSM, SUM и SuperDoctor 5; платформа поддерживает TPM 2.0 и Silicon Root of Trust. Совместимость конкретной ОС и фреймворка лучше уточнить у менеджера до заказа.

Условия гарантии описаны на странице «Гарантия», способы и сроки доставки — на странице «Доставка».

Характеристики