Каждый, кто в последние годы собирал серверы или рабочие станции, видел одну и ту же тенденцию: линии PCI Express «укорачиваются». Уже в PCIe 5.0 (64 ГБ/с) допустимая длина печатных дорожек на текстолите упала до нескольких сантиметров, и любой лишний миллиметр трассы превращается в риск для целостности сигнала. Консорциум PCI-SIG ответил на это стандартом CopprLink — единой спецификацией кабельных соединений, совместимой с PCIe 5.0 и 6.0. Ниже разберём, откуда он взялся, как устроен, какие разъёмы использует и что даёт на практике при проектировании серверов и ИИ-инфраструктуры.

В чём проблема: PCIe стал слишком быстрым для платы

Закономерность простая: чем выше скорость интерфейса, тем сильнее на неё влияют помехи и потери. В PCIe 4.0 слоты x16 ещё можно было спокойно разводить по всей материнской плате. В PCIe 5.0 такой запас исчез, а лишняя длина трассы означает уязвимость к наводкам и заметные задержки.

Последствия для железа выглядят так:

  • ретаймеры стали обязательным элементом даже внутри корпуса;
  • вынести GPU за пределы материнской платы без потерь по сигналу практически не получалось;
  • в дата-центрах проблему частично закрывали проприетарными интерконнектами — NVIDIA NVLink и AMD Infinity Fabric, — но это удорожало кластеры и усложняло и без того непростые системы.

CopprLink предлагает другой путь: открытый, вендор-нейтральный кабельный канал, который не требует ни собственного протокола, ни моста.

История: от Cabling Work Group до CopprLink

Идея кабельного PCIe не нова.

  1. 2003 год. PCI-SIG создаёт рабочую группу Cabling Work Group для кабельных решений под самый первый PCIe 1.0. Но сам PCIe 1.0 тогда был прорывной технологией, и кабельное направление надолго отложили.
  2. 2015 год. Появляется рабочая группа OCuLink: задача — стандартизировать кабельное подключение для скоростей до 16 ГБ/с, то есть вплоть до PCIe 3.0.
  3. К 2021 году стало ясно, что OCuLink не успевает за основным стандартом. Переход на PCIe 4.0 (32 ГБ/с), а затем на PCIe 5.0 (64 ГБ/с) требовал принципиально иного подхода к целостности сигнала и механике коннекторов. Поддержку новых версий PCIe OCuLink всё же получил, однако рабочую группу закрыли, освободив дорогу для нового стандарта.
  4. 2024 год. Выходит CopprLink.

OCuLink с компактным разъёмом SFF-8611 закрепился в части корпоративных решений, а в любительской среде — в самодельных eGPU-станциях для ноутбуков как альтернатива Thunderbolt. Отчасти поэтому многие и сегодня воспринимают CopprLink только как «кабель для внешней видеокарты», хотя сфера применения значительно шире.

Как устроен CopprLink

Ключевой принцип — бесшовная интеграция с электрической спецификацией PCIe. Инженеры PCI-SIG не стали делать очередной мост или транслятор протокола, а расширили базовый электрический канал. Кабель рассматривается как часть полного тракта «корневой комплекс — конечное устройство»: к нему предъявляются те же требования по потерям, отражениям и джиттеру, с поправкой на длину порядка метра.

Для системы такой линк выглядит как обычный «длинный» PCIe-линк длиной до метра. Нет инкапсуляции и трансляции пакетов: данные идут так же, как по дорожкам платы, просто часть пути проходит по дифференциальным парам внутри экранированного кабеля. Отсюда минимальная задержка и практически нулевой протокольный оверхед.

Основные параметры:

Параметр Значение
Поддерживаемые поколения PCIe 5.0 (64 ГБ/с) и PCIe 6.0 (128 ГБ/с)
Ширина линка x16 при использовании ретаймеров
Расширенный вариант x24, если отказаться от sideband-сигналов и отдать все контакты под дифференциальные пары
Длина кабеля до метра (в источнике также упоминается порядка 2 метров по меди)

Разъёмы: ставка на зрелые стандарты SNIA

Новые коннекторы PCI-SIG изобретать не стала и опёрлась на разработки SNIA (Storage Networking Industry Association):

  • SFF-TA-1016 (MCIO) — неэкранированная высокоскоростная система для внутренних подключений; маленький и плотный коннектор.
  • SFF-TA-1032 (MCIO) — многолинейная система с серьёзной защитой от электромагнитных помех и механических воздействий, рассчитанная на внешние соединения между системами.

Отдельным направлением разрабатывается дополнительный стандарт для традиционных систем хранения на базе коннектора SNIA SFF-TA-8614 (MiniSAS-HD). Он обеспечит поддержку PCIe 5.0, 4.0 и 3.0, причём допустимая длина кабеля зависит от поколения PCIe. Цель — совместимость с уже существующим парком хранилищ и бэкплейн-корзин.

Философия та же, что у самого PCIe: нейтральность к вендорам и масштабируемость. Кабели и коннекторы разных производителей должны быть взаимозаменяемы, а один и тот же физический разъём обязан поддерживать будущие поколения стандарта без изменения распиновки.

Типовые топологии

Внутри корпуса

  • от материнской платы к ускорителю или сетевому адаптеру, когда слот физически неудобен;
  • от материнской платы к бэкплейну NVMe-накопителей — вместо громоздких райзеров или длинных дорожек;
  • «чип к чипу» на одной плате или через райзер, когда два процессора или чипсета разнесены конструктивно;
  • от карты расширения напрямую к бэкплейну, особенно в модульных системах с вычислительными блоками.

Между системами (внешний CopprLink)

  • от CPU к внешней стойке с NVMe-накопителями;
  • от CPU к модулю расширения памяти по CXL — логическое продолжение идеи CXL-памяти за пределами корпуса;
  • от CPU к пулу ускорителей (GPU, FPGA, DPU) напрямую, без дополнительных сетей.

Где это пригодится

Облачная инфраструктура. Можно гибко компоновать стойки с раздельными пулами ускорителей и накопителей и менять компоненты без капитальной перекройки кабельного хозяйства. Стандартные разъём и кабельная сборка упрощают обслуживание и апгрейд — по тому же принципу, за который NVMe ценят выше проприетарных слотов.

ИИ-ЦОД. GPU и ASIC можно группировать в единую топологию с минимальными потерями и максимальной пропускной способностью на узел. Тренировочные кластеры получают быстрый канал до систем хранения, и каждый сервер не приходится превращать в «комбайн». CopprLink способен вытеснить часть проприетарных связок вроде NVLink в тех сегментах, где не нужна экстремальная когерентность памяти, а нужна просто очень быстрая PCIe-магистраль.

HPC. Классические высокопроизводительные вычисления получают открытую альтернативу дорогим специализированным интерконнектам. Параллельные MPI-приложения, привязанные к PCIe-топологии, могут масштабироваться без дополнительной сетевой фабрики.

Внешние GPU. Стандарт нацелен на корпоративный сегмент, но потребительские продукты уже показаны. Пример — HighPoint RocketStor 8631D: внешний док PCIe 5.0 x16, в который ставится полноразмерная видеокарта, а подключается он к мини-ПК или ноутбуку.

Перспективы: PCIe 7.0 и оптика

Дорожная карта CopprLink рассчитана на PCIe 7.0 (256 ГБ/с). Electrical Work Group уже ведёт предварительные разработки кабелей для таких скоростей, а черновик спецификации CopprLink External для 7.0 доступен для ревью. Значит, официальный стандарт стоит ждать примерно к выходу первых решений на PCIe 7.0.

Отдельно работает оптическая рабочая группа PCI-SIG (OWG). Оптика рассматривается как продолжение CopprLink: когда двух метров по меди станет мало или потребуется передавать больше данных. Ожидается, что разъёмный интерфейс сохранит преемственность с CopprLink, но точные детали станут известны лишь к выходу будущего «OpticLink».

Практические выводы для выбора оборудования

  • Если вы планируете платформы на PCIe 5.0 и ищете способ разнести GPU, NVMe-корзины и сетевые карты без ретаймеров на каждом шаге, стоит заранее проверять, какие разъёмы (MCIO, MiniSAS-HD) предусмотрены в сервере.
  • Для ИИ-нагрузок, где важна гибкая компоновка ускорителей и хранилища, кабельный PCIe со временем станет альтернативой части проприетарных интерконнектов.
  • Для энтузиастских eGPU-решений CopprLink выглядит кандидатом на замену OCuLink и Thunderbolt там, где нужна полная полоса без компромиссов.

Подобрать платформу под конкретную задачу можно в разделах серверов и ИИ-серверов, а если нужна консультация по топологии PCIe, NVMe-бэкплейнам и размещению ускорителей, свяжитесь с нами — инженеры «СервакМастер» помогут подобрать конфигурацию.

Итоги

CopprLink — не просто очередное обновление PCI Express, а фундаментальное расширение архитектуры универсального интерфейса. Он превращает PCIe из сугубо внутриплатного интерфейса в полноценный интерконнект масштаба стойки или нескольких соседних стоек. Для эпохи ИИ, где решают гибкость компоновки и пропускная способность, такой шаг логичен. Сейчас стандарт быстро движется от нишевого корпоративного решения к потенциально массовому: крупные облачные провайдеры и производители серверов видят в нём инструмент дезагрегации ресурсов, а энтузиастские eGPU-доки делают его претендентом на замену OCuLink и Thunderbolt.