Про основные реализации RDMA — InfiniBand, RoCE и iWARP — говорят много. Но среди технологий прямого доступа к данным были и менее заметные участники, которые не набрали такого охвата, зато предлагали свои идеи. Одна из них — Omni-Path: сначала разработка Intel, теперь продукт компании Cornelis Networks. Ниже разберём, что это за технология, чем она отличалась от InfiniBand, почему Intel от неё отказалась и как преемник пытается вернуть её в игру.

Что такое Intel Omni-Path

Omni-Path появилась в 2015 году как высокопроизводительная сетевая технология для сектора HPC. Её задача — прямой доступ к данным с низкой задержкой. По заявлениям Intel, задержка достигала 0,8–1,1 мс, что на 56% меньше, чем у InfiniBand. Стек состоит из проприетарных протоколов и компонентов:

  • LTP (Link Transfer Protocol) — «полуторный» уровень между L1 и L2 модели OSI. Данные режутся на 64-битные флиты (FLITs), которые собираются в пакеты по 1056 бит (1024 бита данных, CRC и служебные биты). Это снижает задержки и улучшает контроль ошибок.
  • Fabric Packet (FP) — аналог обычных сетевых пакетов для сквозной передачи между узлами.
  • PSM2 (Performance Scaled Messaging) — проприетарный протокол Intel, заточенный под HPC и дающий минимальные задержки в MPI-приложениях.
  • OFI (Open Fabrics Interface) — универсальный фреймворк для RDMA, поддерживающий InfiniBand Verbs API.
  • IPoFabric (IP over Fabric) — доступ к IP-трафику поверх OPA, совместимый с драйвером ib_ipoib, как в InfiniBand.

Предшественник: Intel True Scale Fabric

У Omni-Path был предок — Intel True Scale Fabric, ранее известный как QLogic InfiniBand. Intel купила эту технологию у QLogic в 2012 году, и она работала в суперкомпьютерных кластерах для HPC. По сути, это была модификация InfiniBand со своим программным стеком PSM вместо стандартного Verbs API, рассчитанная на инфраструктуры с процессорами Intel. True Scale потребляла меньше энергии, чем InfiniBand, и давала на 30–40% меньшую задержку на малых пакетах. Наработки True Scale Intel использовала при создании Omni-Path, а саму технологию сняла с производства в 2016 году после выхода решений Intel OPA 100.

Главная особенность: отсутствие аппаратного оффлоадинга

Самая спорная черта Omni-Path — нет аппаратного оффлоадинга, то есть обработка сетевых протоколов не переносится с процессора на сетевую карту. Это странно, если учесть, что основа технологии — True Scale, а та, в свою очередь, модификация InfiniBand, где оффлоадинг есть. В итоге Omni-Path давала прямой доступ к памяти, но нагружала центральный процессор. Поэтому её нельзя полноценно отнести к RDMA-реализациям вроде InfiniBand, RoCEv2 и iWARP. Фактически Intel сделала onloading-решение и продвигала его как замену ведущим RDMA-протоколам, развивая собственную экосистему железа и софта для HPC.

Экосистема Intel OPA 100

Как и InfiniBand, Omni-Path — чисто проприетарная технология, работающая в инфраструктурах на оборудовании Intel. Первое поколение сетевых продуктов — адаптеры Wolf River (PCIe 3.0 x8/x16) и коммутаторы Prairie River — вошло в линейку Intel OPA 100 (Omni Path Architecture).

Адаптеры, коммутаторы и кабели

Сетевые карты имели разъём QSFP28 с пропускной способностью до 100 Гбит/с. Версия с PCIe x8 выглядит странно: вдвое меньше линий PCIe ограничивает реальную пропускную способность до 56 Гбит/с, хотя порт заявлен на 100 Гбит/с.

Компонент Характеристики
Сетевой адаптер OPA 100 QSFP28, до 100 Гбит/с, PCIe 3.0 x8 или x16
Edge-коммутатор от 24 до 48 портов (у InfiniBand EDR — 36)
Director-коммутатор до 768 портов по 100 Гбит/с в форм-факторе 20U
Медные кабели (DAC) пассивные, до 6 метров, QSFP28
Оптические кабели (AOC) активные, до 100 метров, QSFP28

Director-коммутаторы предназначались для самых крупных HPC-кластеров. Из топологий поддерживался гибкий fat tree с адаптивной маршрутизацией, которая оптимизирует задержки и пропускную способность.

Интеграция с процессорами Xeon и Xeon Phi

Omni-Path была тесно связана с Intel Xeon Scalable первого поколения (например, Xeon Gold 5117F и Xeon Platinum 8176F) и с Xeon Phi, особенно с поколением Knights Landing в сокетном исполнении LGA3647. Для Xeon Phi эта связка была принципиальной. У этих процессоров много ядер и ветвление на 4 потока: суммарная производительность хорошая, а эффективность одного ядра низкая. Совокупная мощность ядер компенсировала недостатки Omni-Path, так что нагрузка на CPU получалась сравнительно небольшой, а энергоэффективность приемлемой. Поэтому Intel продвигала Xeon Phi с поддержкой Omni-Path как передовое решение для крупнейших кластеров. С обычными процессорами Xeon технология работала заметно хуже.

Планы были серьёзными: Intel собиралась развивать Xeon Phi дальше и выпустить третье поколение Knights Hill с поддержкой OPA 200 (Omni-Path на 200 Гбит/с). Но в 2018 году компания объявила о прекращении производства Xeon Phi, а следом остановила и развитие Omni-Path.

Процессоры с прямой интеграцией Omni-Path маркировались индексом «F». На подложке такого CPU размещался контроллер Omni-Path по технологии Multi-Chip Module (MCM) — отдельный чип, не встроенный в основной кристалл. Так технологию удалось встроить нативно при сохранении стандартного форм-фактора. Процессоры с индексом «F» подключались к сетевым картам не через материнскую плату, а напрямую специальным кабелем, без линий PCIe, что сокращало задержки. Для таких процессоров существовала особая карта OPA 100: у неё нет собственной ASIC-микросхемы, зато есть два порта и PCIe-разъём для фиксации и питания. Intel активно продвигала серверные ноды с Xeon Phi и такой картой как готовую платформу для передовых HPC-кластеров.

Программные решения

Кроме железа Intel выпустила программный стек Omni-Path Fabric Manager. В него входит графический интерфейс, инструменты мониторинга производительности и топологии сети, запуск диагностики и средства безопасности.

Ещё одно направление — NVMe over OPA, то есть протокол NVMe поверх Omni-Path. Он позволял повысить производительность и снизить задержки в корпоративных СХД: при использовании дисков Intel Optane заявлялось 1,5 миллиона IOPS на чтении случайных 4К-блоков. Кроме того, Intel объявляла о поддержке GPU Direct v3 OPA для подключения графических решений к инфраструктурам на Omni-Path.

Где применялась

Благодаря широкому набору решений и распространённости продуктов Intel технология попала во многие передовые дата-центры. По заявлениям Intel, в пору расцвета Omni-Path использовалась в большинстве суперкомпьютеров из списка TOP500, среди них Trinity и Cori (США), Helios (Япония), Shaheen II (Саудовская Аравия) и MareNostrum (Испания). Сегодня MareNostrum 4 в Барселоне работает на Omni-Path Express от Cornelis Networks.

Omni-Path против InfiniBand

С самого начала Omni-Path позиционировалась как сквозное решение для HPC и полная замена InfiniBand, который к тому времени уже широко работал в передовых ЦОД и суперкомпьютерах. Intel предлагала ряд функций, которых у конкурента не было:

  • Adaptive Routing — динамический выбор наименее загруженных путей.
  • Dispersive Routing — распределение трафика по нескольким путям для балансировки нагрузки.
  • Packet Integrity Protection — локальный повторный запрос данных при сбоях вместо сквозных ретрансмиссий, что снижает задержки.
  • Dynamic Lane Scaling — работа при отказе части линков без остановки задач.

Отдельно подчёркивалась энергоэффективность. Карты потребляли 6–15 Вт в зависимости от типа адаптера (x8 или x16) и кабеля (медь или оптика) при пропускной способности 100 Гбит/с. Например, Intel OPA 100 PCIe x16 с DAC-кабелем имела пиковое потребление 11,7 Вт. Плотность портов в коммутаторах выше (до 48 против 36 у EDR InfiniBand), а значит, ниже совокупная стоимость владения. Плюс масштабирование до 27 600 узлов и тесная интеграция с другими продуктами Intel — это привлекало владельцев больших HPC-систем.

Что показали независимые тесты

После выхода первых независимых тестов многие из этих утверждений не подтвердились. InfiniBand, особенно решения Mellanox, выигрывал в большинстве бенчмарков:

  • В ANSYS Fluent, LS-DYNA и VASP InfiniBand показал лучшие результаты при росте числа узлов. Причина — модель оффлоада, снимающая с процессора обработку MPI.
  • В тесте GRID (DiRAC-ITT) производительность была сопоставимой, но оптимизированный InfiniBand с HPC-X 2.0 вырвался вперёд на 128 узлах.
  • Кластер на 32 узла с InfiniBand обошёлся дешевле: $278 238 против $491 280 для Omni-Path.

Причина в отсутствии аппаратного оффлоадинга: нагрузка на CPU и его энергопотребление росли и сводили на нет экономию самих сетевых карт. В итоге InfiniBand оказался в 2–3 раза энергоэффективнее. Intel утверждала, что onloading лучше оффлоадинга по ряду показателей, включая задержки, но тесты показали на 10–20% больше задержек, чем у InfiniBand. В результате Omni-Path закрепилась только в бюджетных кластерах на оборудовании Intel, где задержки не критичны, а главное — соотношение цены и пропускной способности.

Почему Intel закрыла Omni-Path

В июле 2019 года, через 4 года после выхода, Intel объявила о прекращении разработки OPA и отменила решения на 200 Гбит/с. Вероятные причины такие:

  1. Конкуренция с InfiniBand. Технология проигрывала прямому конкуренту почти по всем ключевым показателям. Из-за отсутствия оффлоадинга росли задержки и энергопотребление, а Mellanox раньше выпустила решения на 200 Гбит/с. К тому же не все владельцы кластеров рисковали менять проверенный InfiniBand на новую технологию.
  2. Удорожание процессоров. Интеграция Omni-Path в CPU с индексом «F» заметно повышала стоимость производства и цену на рынке. Спрос был невысоким, и такие чипы шли в основном в проприетарные кластеры целиком из оборудования Intel.
  3. Стратегический фокус. После того как тесты испортили репутацию Omni-Path, Intel, не исключено, решила сосредоточиться на других направлениях, например на новых CPU. К 2019 году у компании начался долгий кризис после периода процветания, что могло подтолкнуть руководство к сокращению расходов.
  4. Трудности с OPA 200. Возможно, возникли проблемы при разработке решений на 200 Гбит/с, в том числе из-за перехода на 10-нм техпроцесс.

Cornelis Networks: Omni-Path Express

В 2020 году Intel передала активы и права на Omni-Path стартапу Cornelis Networks. Компанию основали бывшие сотрудники Intel и ветераны HPC-индустрии, включая экс-руководителей QLogic и Cray. В 2021 году они перезапустили технологию под названием Omni-Path Express (OPX), сделав ставку на открытость, масштабируемость и оптимизацию не только под HPC, но и под ИИ.

В отличие от закрытой Omni-Path, OPX совместима не только с процессорами Intel, но и с AMD EPYC и ARM, а также получила поддержку GPU. Этого добились частичной заменой стека: вместо проприетарного PSM2 основными протоколами стали libfabric и OFI. Они дают совместимость с RoCE, InfiniBand Verbs и ИИ-фреймворками вроде TensorFlow и PyTorch. Задержку OPX удалось снизить, хотя и незначительно; энергоэффективность осталась на уровне исходной Omni-Path.

CN5000

4 июня 2025 года Cornelis Networks представила CN5000 — новое поколение адаптеров на основе Omni-Path Express. Ключевые параметры:

  • скорость 400 Гбит/с;
  • задержки менее 1 мкс;
  • 576-портовые Director-коммутаторы с жидкостным охлаждением;
  • масштабирование до 250 000 узлов и более.

Дорожная карта

Согласно roadmap, в 2026 году Cornelis выпустит CN6000: 800 Гбит/с, интегрированные DPU на базе RISC-V и два режима работы — OPA и RoCEv2. В 2027 году запланировано поколение CN7000 на 1,6 Тбит/с с поддержкой OPA и RoCEv2 на уровне коммутатора, а также Ultra Ethernet — стандарта Ethernet с расширенными возможностями, который продвигает AMD. Главное преимущество CN7000 — долгожданный аппаратный оффлоадинг на сетевую карту, то есть устранение основной проблемы исходной Omni-Path от Intel.

Выводы и практические советы

Первоначальная Omni-Path выглядела перспективно и вселяла надежды во всё ИТ-сообщество. Но самоуверенность Intel, которая в 2015–2016 годах была на пике, почти погубила технологию и показала, что InfiniBand остаётся лидером в HPC. Не спасли ни государственные субсидии США, ни внедрение в стратегические направления вроде ядерной и космической инфраструктуры — производство совместимых решений остановили. Тем не менее реализация от Cornelis Networks с 400 Гбит/с и планами на 800 Гбит/с даёт основания думать, что Omni-Path ещё сможет составить конкуренцию InfiniBand.

Что из этого следует при выборе оборудования:

  • Если вам достался б/у кластер на Intel OPA 100, учитывайте повышенную нагрузку на процессор и ограничение в 56 Гбит/с у карт на PCIe x8.
  • Для новых проектов смотрите на OPX и CN5000: они не привязаны к процессорам Intel и работают с AMD EPYC, ARM и GPU.
  • Если для вас критичен аппаратный оффлоадинг, ориентируйтесь на InfiniBand или RoCEv2 либо дожидайтесь CN7000.
  • Для ИИ-задач важно проверять совместимость сетевого стека с PyTorch и TensorFlow и заранее оценивать топологию и число узлов.

Подобрать серверную платформу с нужной сетевой подсистемой можно в разделах серверов и ИИ-серверов. Если нужна помощь со сборкой конфигурации под ваш кластер, напишите специалистам «СервакМастер» на странице контактов.