Сетевая карта — один из самых важных и при этом недооценённых компонентов вычислительной техники. Когда всё завязано на облака и распределённые кластеры, сервер без сети превращается в очень дорогой калькулятор. Раньше к NIC относились проще: для большинства задач хватало базовых моделей на 1 Гбит/с. Сегодня объёмы данных растут, скорости в картах исчисляются сотнями гигабит и подбираются к тысячам. Но дело не только в скорости: от адаптера теперь ждут, что он будет обрабатывать данные внутри себя, разгружать центральный процессор (offloading), а в продвинутых моделях ещё и самостоятельно вычислять. Ниже разберём, как устроены современные сетевые адаптеры, какие они бывают, что поддерживают и почему выбор карты — это не просто выбор числа гигабит.
Что такое сетевой адаптер
Сетевой адаптер, он же сетевая карта или NIC (Network Interface Card), — небольшая печатная плата, которая соединяет материнскую плату сервера с внешней сетью. Сеть может быть медным кабелем, оптоволокном или радиоэфиром Wi-Fi. На плате стоит несколько ключевых узлов.
Из чего состоит карта
- MAC-контроллер (Media Access Control) — «мозг» адаптера, отвечающий за логику передачи. Он собирает фреймы, вписывает в них MAC-адреса отправителя и получателя, проверяет целостность по контрольным суммам и управляет доступом к среде, чтобы не возникало коллизий. Пример — гигабитный контроллер Realtek RTL8111F.
- Трансивер, или PHY-чип (Physical Layer) — отвечает за физический уровень модели OSI и превращает цифровые данные MAC-контроллера в сигналы, пригодные для передачи по кабелю. Рядом обычно стоят LAN-трансформаторы (например, DW1000), которые фильтруют помехи и преобразуют данные MAC.
- Буферная память — небольшой объём встроенной памяти для временного хранения входящих и исходящих пакетов. Она страхует от потерь и сглаживает разницу между скоростью шины PCIe на материнской плате и скоростью сетевого трафика. Пример — Realtek RTL8139D с интегрированным буфером.
- Интерфейсная шина — сегодня почти всегда PCIe: через неё карта обменивается данными с процессором и памятью.
- Сетевые порты — разъёмы для кабелей, например SFP+ и SFP28.
Медь и оптика устроены по-разному
В медных картах PHY-чип превращает цифру в электрический сигнал, который идёт по витой паре. В оптических картах трансивер часто вынесен в съёмный модуль (SFP, QSFP): он преобразует электричество в свет и обратно. Благодаря этому в один и тот же порт можно ставить разные модули — под разные расстояния и типы волокна.
Интерфейсы подключения к серверу
Первое, что приходит в голову, — слот PCIe. Это самый распространённый вариант, но не единственный, особенно в серверном сегменте.
| Интерфейс | Где применяется | Особенности |
|---|---|---|
| PCIe | Серверы, рабочие станции, ПК | Универсальный стандарт, карта надёжно фиксируется в слоте. Горячей замены нет: для замены сервер нужно выключать. Слотов на плате много, поэтому удобно там, где сетевое оборудование меняют нечасто |
| OCP (Open Compute Project) | Серверы гиперскейлеров и высокоплотные конфигурации | Мезонинная карта подключается не в слот, а в специальный разъём на плате. Главное преимущество — горячая замена без остановки сервера. Позволяет делать компактные конфигурации, но OCP-слот в сервере обычно один, в отличие от нескольких PCIe, что сдерживает распространение |
| USB | Ноутбуки, ультрабуки, настольные ПК | Небольшие адаптеры с USB Type-A или Type-C и портом RJ-45. Самый простой и бюджетный способ добавить сеть, когда встроенная вышла из строя или нужен ещё один порт |
| M.2 | Тонкие и лёгкие устройства | Wi-Fi + Bluetooth модули для ноутбуков, где нет места под полноценный PCIe-слот |
Для центра обработки данных, где важна доступность 24/7, отсутствие горячей замены у PCIe — реальная проблема, и именно поэтому существует OCP. Для обычного серверного шкафа с редкими заменами PCIe остаётся оптимальным выбором.
Порты сетевых карт
Теперь о внешних разъёмах, в которые вставляются кабели.
RJ-45 знаком каждому и предназначен для медного кабеля. Он работает на скоростях от древних 10 Мбит/с до современных 10 Гбит/с. Скорости 25 Гбит/с и выше по витой паре технически возможны, но лишь на очень коротких расстояниях и с экранированной кабельной системой. Поэтому для скоростей выше 10 Гбит/с в серверах медь используется крайне редко, и в ход идёт оптика.
Оптические порты различаются форм-фактором и скоростью:
- SFP+ (Small Form-factor Pluggable Plus) — стандарт для 10G;
- SFP28 — развитие SFP+ для 25G;
- QSFP+ (Quad SFP+) — четыре канала по 10G, итого 40G;
- QSFP28 — четыре канала по 25G, итого 100G;
- QSFP56 — четыре канала по 50G, итого 200G;
- OSFP/QSFP-DD — форм-факторы для 400G и 800G.
Какая бывает оптика
Для коротких расстояний внутри стойки применяют многомодовое волокно и передатчики с длиной волны 850 нм. Для длинных дистанций — магистральных линий, DWDM и ВОЛС между зданиями, городами и даже континентами — используют одномодовое волокно и длинноволновые лазеры на 1310/1550 нм.
По цене оптические решения сильно различаются. Модуль на 10 Гбит/с обойдётся примерно в 1000 рублей, то есть дешевле DAC-кабеля, а топовые высокоскоростные OSFP-решения с широкой длиной волны стоят порядка $1000.
Скорости передачи данных
Выбор скорости зависит от задач, бюджета и архитектуры сети. В серверах сейчас встречаются следующие варианты, и у каждого своя ниша.
| Скорость | Где используется |
|---|---|
| 1 Гбит/с (1000BASE-T) | Ветеран, который до сих пор жив. Потребительские системы, офисные сети и другие задачи без высоких требований к пропускной способности. Дёшево и сердито |
| 10 Гбит/с | Долгое время был золотым стандартом для серверов и сетей хранения (iSCSI, NFS). Многие дата-центры среднего уровня работают на 10G до сих пор |
| 25 Гбит/с | Основной стандарт современных дата-центров и облачных провайдеров |
| 40 Гбит/с | Постепенно уходит, но ещё часто встречается. Популярен для аплинков и связи с хранилищами |
| 100 Гбит/с | Стандарт для ядра сети, особо мощных серверных конфигураций и HPC. Физически совместим с 40 Гбит/с |
| 200 и 400 Гбит/с | Удел гиперскейлеров (Amazon, Google) и самых передовых суперкомпьютеров. Соединяют тысячи GPU в кластерах для обучения больших языковых моделей |
| 800 Гбит/с и 1,6 Тбит/с | Уже анонсированы производителями. Начнут внедряться в ближайшие пару лет для задач ИИ, когда 400G станет мало |
Почему в основном стандарте именно 25G, а не 40G? 25G даёт лучшую плотность портов и использует более эффективное кодирование, тогда как 40G часто был просто объединением четырёх каналов по 10G. Кроме того, 25G хорошо ложится на шину PCIe, физически полностью совместим с 10 Гбит/с и позволяет эффективно использовать ресурсы.
Протоколы передачи данных
Скорость важна, но не меньше значит и то, по каким правилам идёт обмен. Эти правила задают сетевые протоколы.
- Ethernet и стек TCP/IP — база всего и стандарт де-факто от домашнего роутера до облачного дата-центра гигантского масштаба. Ethernet-карты есть в каждом сервере, и подавляющее большинство мирового трафика идёт именно по нему.
- InfiniBand — отдельная вселенная. Когда-то он считался главным конкурентом Ethernet в HPC, затем сдал позиции в общем сегменте, но остался там, где нужны запредельные скорости и сверхнизкие задержки. Главный потребитель сегодня — NVIDIA, которая соединяет им свои видеокарты в кластеры (в исходном материале указано, что технология NVLink базируется на InfiniBand). В суперкомпьютерах для научных расчётов и обучения ИИ он чувствует себя отлично, потому что каждая микросекунда задержки влияет на время завершения задачи.
- Fibre Channel (FC) — протокол сетей хранения данных (SAN). Он жив и хорошо себя чувствует в корпоративном сегменте, особенно там, где есть устаревшее, но надёжное оборудование. FC-карты (HBA — Host Bus Adapters) стоят в серверах, подключённых к дорогим дисковым массивам вроде Pure Storage или Dell EMC. В малый и средний бизнес Fibre Channel уже не заходит: там правят iSCSI и NFS поверх обычного Ethernet.
- Ultra Ethernet — сравнительно новая инициатива группы компаний (AMD, Intel, Cisco, Microsoft). Цель — открытый стандарт, способный конкурировать с InfiniBand в ИИ и HPC, чтобы не зависеть от проприетарных решений NVIDIA и развивать Ethernet в сторону сверхнизких задержек и лучшего управления перегрузками.
- Нишевые разработки — Intel Omni-Path, архитектура Slingshot от Hewlett Packard Enterprise (применяется в суперкомпьютере Frontier), решения Solarflare (теперь часть Xilinx/AMD), известные способностью обрабатывать огромные биржевые потоки и данные HPC-кластеров с минимальной задержкой.
Тема сетей превратилась в гонку кластерных вооружений: современный бизнес всё сильнее зависит от распределённых вычислений, а значит, всё держится на сетях.
Обычный NIC и SmartNIC
Почему обычная сетевая карта перестала устраивать инженеров? Классический NIC — по сути, просто труба. Пришёл пакет из сети, карта с помощью контроллера прямого доступа к памяти (DMA) кладёт его в буфер, а затем обращается к центральному процессору. Процессор бросает текущую работу, сам копирует данные из буфера карты в системную память (иногда не один раз), сам проверяет контрольные суммы и обрабатывает заголовки протоколов, и так для каждого пакета. При интенсивном трафике CPU начинает задыхаться.
Представьте сервер с NVMe-хранилищем, способным отдавать данные на скорости 10–20 ГБ/с, подключённый через топовую карту на 200 Гбит/с. В диспетчере задач процессор загружен на 100%, хотя полезной нагрузки, кроме передачи файлов, нет. Причина в том, что стоит обычный NIC, а не SmartNIC: процессор просто «перекладывает байты» и ни на что другое не успевает.
Как работает SmartNIC
SmartNIC решает проблему радикально. На карте есть собственный SoC-процессор (обычно ARM) и специализированные аппаратные блоки. Она самостоятельно делает всю черновую работу:
- копирует данные из буфера в память;
- вычисляет контрольные суммы;
- обрабатывает протоколы iSCSI и NVMe-oF;
- фильтрует трафик;
- запускает виртуальные сетевые функции.
Эффективность SmartNIC тесно связана с RDMA (Remote Direct Memory Access). Именно RDMA научил карты читать данные из памяти удалённого сервера и класть их в память локального напрямую, в обход центрального процессора. Карта сама находит нужный участок памяти, сама перемещает данные и сама ставит отметку о завершении. Процессор получает готовые данные и не тратит такты на перекладывание байтов. В высоконагруженных системах это даёт колоссальный прирост производительности и снижает задержки. Пример SmartNIC — AMD Alveo SN1000.
Совместимость с ПО: VMware и Proxmox
Ещё один важный аспект — с каким программным обеспечением карта будет работать. Раньше всё было просто: корпоративным стандартом виртуализации был VMware ESXi, и совместимость с ним была обязательной. Производители карт писали драйверы под VMware, а вендоры серверов тестировали системы именно с ним.
Ситуация меняется. VMware перешла под управление Broadcom и теряет популярность из-за политики лицензирования и высокой стоимости. Broadcom известен жёстким подходом: поднимает цены и заставляет покупать пакетные лицензии, совместимые только с топовым дорогим оборудованием. Это вызывает отток клиентов к открытым альтернативам, таким как Proxmox.
Proxmox VE — бесплатная платформа виртуализации на базе Debian и KVM (с опцией коммерческой поддержки), и она быстро набирает обороты. У сетевых карт здесь большое преимущество: в ядре Debian есть готовые драйверы практически для всего. Вы ставите Proxmox, система видит вашу Mellanox или Intel, и карта работает.
VMware ESXi, напротив, становится капризнее: в новых версиях он может вытеснять поддержку старых, но вполне рабочих карт, подталкивая к обновлению парка. Это создаёт проблемы компаниям, которые хотели бы использовать проверенное годами железо. Впрочем, для энтерпрайз-уровня, где нужны тонкие настройки, продвинутая интеграция с облаками и техподдержка 24/7, ESXi по-прежнему предлагает больше. Но для 90% задач, особенно в малом бизнесе, Proxmox часто проще и дешевле.
DPU — следующий шаг эволюции
Если SmartNIC лишь разгружал процессор от сетевых операций, то DPU (Data Processing Unit) — это полноценный компьютер на сетевой карте. На плате стоит мощный процессор (вроде NVIDIA Grace), собственная оперативная память, а иногда и накопители. Такой DPU способен выполнять целые приложения, работая автономно от основного процессора сервера.
Яркий пример — NVIDIA BlueField. Её процессор может запускать виртуальные сетевые функции (Open vSwitch), файрволы и хранилища, шифровать и расшифровывать трафик, и всё это без участия основного CPU. Хост получает уже обработанные данные, а вся инфраструктурная работа, которая раньше «воровала» ресурсы процессора, уходит на DPU.
Для облачных провайдеров это критично: процессор сервера занимается только задачами клиента (арендованной виртуальной машины), а «сантехника» виртуализации сети и безопасности висит на DPU, поэтому можно продавать больше вычислительных мощностей. Правит балом не только NVIDIA: у AMD есть аналогичное решение — семейство карт Pensando с интегрированным DPU, например DPU-карта AMD Pensando DSC2-25.
Как выбрать сетевую карту: практические выводы
Смотреть только на гигабиты в спецификации — большая ошибка. Критически важно оценивать функции разгрузки процессора. Задайте себе вопросы:
- Поддерживает ли карта RDMA (RoCE или InfiniBand)?
- Есть ли у неё собственная логика для работы с NVMe-oF (NVMe over Fabrics)?
- Умеет ли она аппаратно ускорять iSCSI или шифрование?
- Подходит ли форм-фактор: обычный слот PCIe или OCP с горячей заменой?
- Какие порты нужны: RJ-45 для меди до 10G или SFP/QSFP для оптики и каких-либо более высоких скоростей?
- Будет ли работать карта с вашей платформой виртуализации — VMware ESXi или Proxmox?
Без учёта этих факторов инфраструктура может превратиться в бутылочное горлышко: мощный процессор будет простаивать в ожидании сети или, наоборот, тратить 80% времени на перекладывание пакетов.
Если вы подбираете сервер под конкретную задачу, сетевую часть стоит планировать вместе с остальной конфигурацией: посмотрите серверы в каталоге и решения для задач ИИ. Чтобы не ошибиться и подобрать карту, соответствующую задачам и бюджету, обращайтесь к специалистам «СервакМастер»: мы поможем разобраться в моделях, протоколах и скоростях и предложим оптимальное решение.