GPU-сервер Supermicro AS-8126GS-TNMR 8U с 8× AMD Instinct MI325X 256GB
Supermicro AS-8126GS-TNMR: 8U-платформа для ИИ-нагрузок на 8× Instinct MI325X
Supermicro AS-8126GS-TNMR — двухсокетный GPU-сервер форм-фактора 8U на процессорах AMD EPYC (Socket SP5), рассчитанный на восемь ускорителей в одном узле. В этой конфигурации установлены 8 × AMD Instinct MI325X OAM по 256 GB, то есть 2048 GB (2 TB) памяти HBM3e на узел.
Такой объём видеопамяти нужен там, где модель или контекст не помещаются на отдельную карту: обучение и дообучение больших языковых моделей, развёртывание полноразмерных версий без агрессивной квантизации, работа с длинным контекстом и крупным KV-cache, а также высокая параллельность запросов.
Ключевые особенности
- 8 ускорителей AMD Instinct MI325X OAM по 256 GB HBM3e, суммарно 2048 GB VRAM.
- Два процессора AMD EPYC 9005/9004 на сокете SP5 (LGA 6096).
- До 6 TB оперативной памяти DDR5 ECC RDIMM, 24 слота.
- Дисковая подсистема: 8× 2.5" NVMe, 2× 2.5" SATA и 2× M.2 NVMe.
- Совокупная пиковая производительность восьми ускорителей по данным поставщика: 20.9 PFLOPS в FP8 (41.8 PFLOPS с структурированной разреженностью), 10.5 PFLOPS в FP16 и BF16, 653.6 TFLOPS в FP64.
- По оценке поставщика, в 2 TB VRAM помещаются такие модели, как DeepSeek-V4-Pro (около 865 GB), GigaChat3.5-432B-A28B-bf16 (около 868 GB), Mistral-Large-3-675B-Instruct (около 682 GB), GLM-5.2 (около 1.51 TB) и Kimi-K3 (около 1.56 TB), причём остаётся запас под контекст и KV-cache.
- Подходит и для диффузионных моделей — Stable Diffusion XL 1.0, Flux.2-dev, Kandinsky-5.0: очереди и батчи удобно распределять по нескольким GPU.
Характеристики
| Параметр | Значение |
|---|---|
| Тип | Новые |
| Форм-фактор | 8U |
| Процессор | 2× AMD EPYC 9005/9004 (SP5, LGA 6096) |
| Видеокарта | 8× AMD Instinct MI325X OAM 256GB HBM3e |
| Общий объём VRAM | 2048 ГБ |
| Оперативная память | до 6 TB DDR5 ECC RDIMM, 24 слота |
| Накопители | 8× 2.5" NVMe + 2× 2.5" SATA |
| Загрузочные накопители | 2× M.2 NVMe (PCIe 3.0 x4, 22110) |
Для каких задач подходит
- Обучение и дообучение (fine-tuning) крупных языковых моделей.
- Инференс и промышленное развёртывание больших моделей с высоким QPS.
- RAG-системы и агентные сценарии с длинным контекстом.
- Анализ данных и научные расчёты (HPC), где важна производительность в FP64.
- Генерация изображений и коротких видео на диффузионных моделях с параллельным запуском пайплайнов.
Состояние, проверка и поставка
Сервер поставляется новым. Перед отправкой «СервакМастер» тестирует оборудование, на него действует гарантия 1 год с заменой компонентов. Доставка по России осуществляется СДЭК и другими ведущими службами доставки. Если нужна конфигурация на эту платформу под ваши задачи и бюджет, свяжитесь с менеджером — мы подберём подходящий вариант.
Платформа AS-8126GS-TNMR: что внутри шасси
Конфигурация собрана на GPU-платформе Supermicro AS-8126GS-TNMR (шасси CSE-GP805TS-R000NPF). Ниже параметры самой платформы по данным производителя: они определяют, что можно доустановить и какие требования сервер предъявляет к стойке и электросети.
| Узел | Параметры платформы |
|---|---|
| Материнская плата | H14DSG-OD, два сокета SP5 |
| Процессоры | AMD EPYC 9005 / 9004, до 384 ядер / 768 потоков суммарно, TDP до 500 Вт на CPU |
| Память | 24 слота DIMM (1DPC), до 6 ТБ ECC DDR5 RDIMM; 6400 MT/s (EPYC 9005), 4800 MT/s (EPYC 9004) |
| GPU | 8× AMD Instinct MI325X или MI350X, OAM, на плате |
| Связь GPU–GPU / CPU–GPU | AMD Infinity Fabric Link / PCIe 5.0 x16 |
| Слоты расширения | 8× PCIe 5.0 x16 LP + 2× PCIe 5.0 x16 FHHL |
| Накопители | 8× 2,5" NVMe + 2× 2,5" SATA hot-swap, 2× M.2 NVMe |
| Сеть | 2× RJ45 10GbE (Intel X710), выделенный порт BMC 1GbE |
| Безопасность | TPM 2.0, NIST 800-193 silicon root of trust, secure boot, подписанные прошивки |
| Питание | 6× 5250 Вт, Titanium, схема 3+3, 200–240 В |
| Охлаждение | воздушное, до 14 вентиляторов |
| Габариты, вес | 356 × 447 × 843 мм, 130,6 кг нетто |
| ОС | Oracle Linux 9.6, RHEL 10.0 |
Встроенная сеть здесь только 10GbE. Для обмена между узлами кластера и быстрого доступа к хранилищу в свободные слоты PCIe 5.0 x16 обычно ставят сетевые адаптеры 200/400 GbE или InfiniBand; дополнительные платы согласуются через конфигуратор Supermicro.
Какие модели ИИ поместятся в 2048 ГБ видеопамяти
Оценка по объёму весов: параметры × байт на параметр (FP16/BF16 — 2, FP8/INT8 — 1, INT4 — около 0,5). Сверху нужно оставить запас под KV-кэш и активации. На каждом ускорителе 256 ГБ HBM3e, поэтому многие модели помещаются на одну карту.
| Модель | Точность | Веса, ≈ ГБ | Как разместить на 8× MI325X |
|---|---|---|---|
| Llama 3.1 8B | BF16 | 16 | на одной карте; можно запустить 8 независимых копий |
| Qwen2.5 32B | BF16 | 65 | на одной карте; 8 копий на сервер |
| Llama 3.3 70B, Qwen2.5 72B | BF16 | 140–145 | на одной карте с запасом под контекст; 8 копий на сервер |
| Mixtral 8×22B | BF16 | ≈282 | на двух картах |
| Llama 3.1 405B | FP8 | ≈405 | на двух-четырёх картах |
| Llama 3.1 405B | BF16 | ≈810 | на четырёх-восьми картах, при 8 остаётся запас под контекст |
| DeepSeek-R1 / V3 (671B) | FP8 | ≈671 | на четырёх-восьми картах с запасом под KV-кэш |
Практические замечания:
- Форматы. Архитектура CDNA 3 поддерживает FP8, поэтому FP8-версии моделей можно запускать без увеличения объёма. Конкретные форматы и качество работы зависят от версии стека ROCm и инференс-движка (vLLM и др.) — это стоит проверить заранее для нужной модели.
- Восемь GPU удобны для тензорного параллелизма. Число карт 8 — степень двойки, поэтому TP=2, 4 или 8 подходит большинству моделей. Для небольших моделей выгоднее запускать независимые копии по карте.
Питание, охлаждение и размещение
Пиковое потребление можно оценить по паспортным TDP компонентов:
| Потребитель | Мощность |
|---|---|
| 8× AMD Instinct MI325X OAM (по 1000 Вт) | 8000 Вт |
| 2× AMD EPYC (до 500 Вт каждый, зависит от модели) | до 1000 Вт |
| Память, накопители, вентиляторы, платы | ≈ 500–800 Вт |
| Итого под полной нагрузкой | ≈ 9,5–10 кВт |
- Электропитание. Шесть блоков по 5250 Вт (Titanium) по схеме 3+3 дают 31,5 кВт установленной мощности; вход 200–240 В AC. Резервирование зависит от конфигурации и нагрузки. Блоки правильно подключать к двум независимым линиям (PDU A и PDU B) по три на каждую; сечение линий и номиналы автоматов рассчитываются под порядка 10 кВт на узел.
- Тепло. 9,5–10 кВт — это около 32 400–34 100 БТЕ/ч (кВт × 3412), которые нужно отвести системой охлаждения серверной. Охлаждение воздушное, допустимая температура на входе — 10–35 °C. Данные производителя о требованиях к охлаждению стойки не опубликованы.
- Стойка. 8U, глубина шасси 843 мм, вес 130,6 кг нетто. Нужна стойка с запасом по глубине и нагрузке, рельсы и подъёмное оборудование для монтажа; ставить сервер лучше в нижнюю часть стойки.
Сравнение с соседними конфигурациями
| Конфигурация | GPU | Видеопамять | Форм-фактор | RAM | Цена |
|---|---|---|---|---|---|
| Эта: AS-8126GS-TNMR | 8× Instinct MI325X | 2048 ГБ HBM3e | 8U | 6144 ГБ | 28 492 550 руб. |
| GIGABYTE G893-ZX1-AAX2 | 8× Instinct MI325X | 2048 ГБ HBM3e | 8U | 6144 ГБ | 29 393 550 руб. |
| ASRock Rack 6U8M-TURIN2 SYN MI325X | 8× Instinct MI325X | 2048 ГБ HBM3e | 6U | 6144 ГБ | 30 672 000 руб. |
| Supermicro AS-8126GS-TNMR с MI350X | 8× Instinct MI350X | 2304 ГБ HBM3e | 8U | 6144 ГБ | 49 091 600 руб. |
Эта конфигурация — самая доступная по цене из перечисленных на 8× MI325X. Если нужна та же платформа, но с большим объёмом памяти на карту (288 ГБ) и новым поколением ускорителей, смотрите версию на MI350X; варианты GIGABYTE и ASRock Rack подойдут, если важен другой вендор шасси или форм-фактор 6U.
Частые вопросы
Можно ли доустановить сетевые адаптеры и накопители? Да. Помимо 8 слотов PCIe 5.0 x16 LP и 2 слотов FHHL есть 8 NVMe-отсеков hot-swap спереди и 2 слота M.2 для загрузочных дисков. Дополнительные платы согласуются через конфигуратор Supermicro.
Как GPU связаны между собой? Ускорители Instinct установлены в OAM-формате на плате и обмениваются данными через AMD Infinity Fabric Link; с процессорами они связаны по PCIe 5.0 x16.
Какие процессоры поддерживает платформа? Двухсокетные AMD EPYC 9005 и 9004 (Socket SP5) с TDP до 500 Вт на процессор при воздушном охлаждении, суммарно до 384 ядер. Память — DDR5 RDIMM, до 6 ТБ на 24 слотах; скорость 6400 MT/s с EPYC 9005 и 4800 MT/s с EPYC 9004.
Какие ОС поддерживаются? Производитель указывает Oracle Linux 9.6 и RHEL 10.0 (полная матрица — на сайте Supermicro). Для задач ИИ поверх ОС используют драйвер AMD и стек ROCm.
Условия гарантии описаны на странице «Гарантия», способы и сроки доставки — на странице «Доставка».
Характеристики
| Тип | Новые |
| Основная задача | Обучение моделей / Инференс / Дообучение моделей / RAG-системы / Анализ данных / Научные расчеты (HPC) |
| Процессор (CPU) | AMD EPYC |
| Видеокарта (GPU) | AMD Instinct MI325X |
| Количество GPU, шт | 8 |
| Общий объем видеопамяти (VRAM), ГБ | 2048 |
| Тип памяти GPU | HBM3e |
| Объем оперативной памяти (RAM), ГБ | 6144 |
| Тип оперативной памяти | DDR5 ECC REG |
| Форм-фактор | 8U |
| Материнская плата | Supermicro H14DSG-OD, 2× Socket SP5 |
| Процессоры платформы | AMD EPYC 9005 / 9004, до 384 ядер / 768 потоков суммарно, TDP до 500 Вт на CPU, воздушное охлаждение |
| Слоты памяти | 24 DIMM (1DPC), до 6 ТБ ECC DDR5 RDIMM: 6400 MT/s (EPYC 9005), 4800 MT/s (EPYC 9004) |
| Связь GPU–GPU | AMD Infinity Fabric Link |
| Связь CPU–GPU | PCIe 5.0 x16 |
| Слоты расширения | 8× PCIe 5.0 x16 LP + 2× PCIe 5.0 x16 FHHL (10 всего) |
| Дисковые корзины | 8× 2,5" NVMe hot-swap + 2× 2,5" SATA hot-swap; 2× M.2 NVMe (PCIe 3.0 x4, 22110) |
| Сеть | 2× RJ45 10GbE (Intel X710) + выделенный порт BMC 1GbE |
| Блоки питания | 6× 5250 Вт, Titanium (96%), схема 3+3, вход 200–240 В AC |
| Охлаждение | воздушное, до 14 вентиляторов с регулировкой скорости |
| Габариты (В×Ш×Г) | 356 × 447 × 843 мм |
| Вес | 130,6 кг нетто (152,4 кг брутто) |
| Рабочая температура | 10–35 °C |