GPU-сервер GIGABYTE G294-Z42-AAP2: 4× RTX PRO 6000 BSE 96GB, 2× EPYC 9115, 768GB RAM

Обзор: GPU-сервер для ИИ-задач в одном узле

GIGABYTE G294-Z42-AAP2 — это 2U-сервер, в котором собраны четыре видеокарты NVIDIA RTX PRO 6000 Blackwell Server Edition по 96 ГБ GDDR7 каждая, два процессора AMD EPYC 9115 и 768 ГБ оперативной памяти DDR5 ECC REG. Суммарно получается 384 ГБ видеопамяти, которых хватает, чтобы держать крупные языковые модели, длинный контекст и несколько сессий одновременно.

Конфигурация рассчитана на инференс и развёртывание LLM, RAG-системы, дообучение и обучение моделей в рамках одного сервера, а также на визуализацию и рендеринг. Тяжёлая работа с моделями и диффузией остаётся на GPU, а мощная CPU-подсистема EPYC берёт на себя ETL, векторные базы данных и подготовку данных.

Ключевые особенности

• 4× NVIDIA RTX PRO 6000 Blackwell Server Edition по 96 ГБ GDDR7 — 384 ГБ VRAM в сумме.
• Запас под высокую нагрузку: большой объём памяти на каждую GPU позволяет увеличивать KV-cache и число параллельных диалогов, не урезая контекст.
• 2× AMD EPYC 9115 (16 ядер / 32 потока, 2,6–4,1 ГГц, 155 Вт) для подготовки данных, индексов и векторных БД.
• 768 ГБ оперативной памяти: 12 модулей по 64 ГБ DDR5 ECC REG Samsung 6400 МГц 2Rx4 — удобно работать с большими датасетами и кешами.
• Накопители: 4× Intel D5-P5530 1,92 ТБ в формате 2,5" U.2.
• Совокупная производительность четырёх GPU (по данным поставщика): FP32 — 480 TFLOPS, FP4 — 16 PFLOPS, RT Core — 1420 TFLOPS.
• Типовой стек: vLLM или TensorRT-LLM для продакшн-инференса, PyTorch с FSDP/DeepSpeed для обучения и дообучения.

Характеристики

Для каких задач подходит

По данным поставщика, сервер уверенно справляется с запуском языковых моделей разного масштаба: от моделей уровня Qwen и DeepSeek-R1-Distill-Llama-70B до gpt-oss:120b в FP16 (около 260 ГБ) и квантизированных GGUF-версий крупных моделей. Для самых больших моделей, которым требуется 360 ГБ и больше, запас VRAM минимален, поэтому контекст и параллельность придётся ограничивать.

Платформа подходит и для генерации изображений и видео: Stable Diffusion XL, Flux.2-dev, SD Turbo, Kandinsky 5.0 — пакетную генерацию можно распределять по четырём GPU без очередей. Кроме того, сервер годится для корпоративных ассистентов, RAG-систем, дообучения моделей и задач рендеринга.

Состояние, проверка и гарантия

Сервер поставляется новым. Перед отправкой «СервакМастер» тестирует оборудование, на него действует гарантия 1 год с заменой компонентов. Доставка по России осуществляется службой СДЭК и другими ведущими транспортными компаниями.

Характеристики