Сервер ASUS ESC8000A-E13P для ИИ: 8× RTX PRO 6000 BSE 96GB, 2× EPYC 9845, 1.5TB RAM

ASUS ESC8000A-E13P: восьмиграфический сервер для генеративного ИИ

ASUS ESC8000A-E13P в этой конфигурации объединяет восемь ускорителей NVIDIA RTX PRO 6000 Blackwell Server Edition по 96 ГБ GDDR7 с ECC, то есть 768 ГБ видеопамяти на один узел. Два процессора AMD EPYC 9845 и 1536 ГБ оперативной памяти DDR5 дают платформе запас для подготовки данных, обслуживания множества запросов и работы с очень большими моделями.

Архитектура Blackwell и тензорные ядра с поддержкой FP4 помогают снижать требования к памяти при инференсе современных LLM. Это сервер для компаний, которым нужны собственные модели и RAG-системы на своём оборудовании, а также высокая плотность вычислений в формате 4U.

Ключевые особенности

• 8× NVIDIA RTX PRO 6000 Blackwell Server Edition, по 96 ГБ GDDR7 с ECC на карту.
• Суммарно 768 ГБ VRAM: крупные модели можно распределять по GPU в рамках одного сервера.
• 2× AMD EPYC 9845 (160 ядер, 320 потоков, 2,1-3,7 ГГц).
• 24 модуля Samsung DDR5 ECC REG по 64 ГБ, 6400 МГц, всего 1,5 ТБ.
• 4× SSD Kioxia CM6-R 7,68 ТБ (2,5", U.3) для моделей и датасетов.
• Сетевая карта Mellanox MCX755106AS-HEAT: 2× QSFP112, 200 GbE.
• Совокупная пиковая мощность восьми карт: 960 TFLOPS в FP32 и 32 PFLOPS в FP4.
• Для GPU-узла в серверном варианте используется PCIe Gen5.

Характеристики

Для каких задач подходит

По данным поставщика, 768 ГБ видеопамяти позволяют запускать на одном узле в multi-GPU режиме крупные модели, например DeepSeek-R1 685B (около 689 ГБ), GigaChat3.5-432B-A28B (около 438 ГБ) и Mistral-Large-3-675B (около 682 ГБ). Модели меньшего размера, такие как gpt-oss:120b (около 196 ГБ), можно держать в нескольких репликах параллельно.

• Инференс и RAG-сервисы под высокой нагрузкой: чат-ассистенты и агентные сценарии.
• Дообучение и обучение моделей в multi-GPU конфигурациях.
• Генерация изображений и видео: Stable Diffusion XL, Flux.2-dev, Kandinsky-5.0; очереди удобно распределять по восьми GPU.
• Визуализация, рендеринг и видеоаналитика: пиковая производительность RT-ядер восьми карт составляет 2840 TFLOPS.

Важно учитывать, что эффективность масштабирования обучения зависит от программного стека (PyTorch, vLLM, TensorRT), стратегии параллелизма и межсоединения. Модель, не помещающуюся в 96 ГБ, нужно запускать в распределённом режиме.

Состояние, проверка и доставка

Сервер поставляется новым. Перед отправкой «СервакМастер» тестирует оборудование, на него действует гарантия 1 год с заменой компонентов. Доставка по России осуществляется СДЭК и другими ведущими службами доставки.

Характеристики