Сетевые карты и трансиверы: SFP+, SFP28, QSFP28 — что с чем стыкуется

Коротко. Скорость определяется всей цепочкой: карта, модуль или кабель, порт коммутатора и тип волокна. SFP+ — это 10G, SFP28 — 25G и совместим вниз, QSFP+ — 40G с разбивкой на 4 × 10G. Внутри стойки дешевле и надёжнее кабель DAC на 1–⁠5 метров, между этажами — оптика: 10G по OM3 добивает до 300 метров, 25G — только до 70. Половина проблем с «линк не поднимается» — это кодировка вендора в трансивере и несогласованный FEC на 25 гигабитах.

Сетевая карта и трансиверы — недорогая часть проекта, на которой при этом легко потерять неделю на разбирательства: линк не поднимается, скорость не та, модуль не определяется. Разбираем, что и с чем стыкуется, и в каком порядке это проверять. Цены и конкретные модели собраны отдельно — в подборке сетевые карты, трансиверы и DAC, а сами сетевые адаптеры с портом SFP+ (в поиске часто пишут «SFP plus»), SFP28 и QSFP28 для высокоскоростных сетей 100G — в каталоге сетевые карты для серверов с ценами и наличием.

Какая скорость нужна

Если проект новый — закладывайте 25GbE на серверах и 100GbE на магистралях. Разница в цене относительно 10/40GbE невелика, а горизонт эксплуатации заметно длиннее. Практический критерий, который работает лучше теоретической полосы: сколько времени занимает окно резервного копирования. Если полный бэкап не укладывается в ночь — упор в сеть, и лечится он переходом на 10 или 25 гигабит.

Медь или оптика и на какое расстояние

• RJ45 (витая пара). Удобно и знакомо, но для 10GbE выше энергопотребление, больше задержка и жёсткое ограничение по длине — 30 метров на кабеле категории 6 и до 100 метров на 6a. Оправдано в пределах стойки или этажа, где оптику тянуть некуда.
• DAC-кабель. Медный кабель с несъёмными трансиверами на концах. Самый дешёвый вариант для соединений внутри стойки: пассивный DAC работает на 1–⁠5 метрах, активный — до 10. Не требует чистки коннекторов и почти не греется.
• AOC-кабель. Активный оптический кабель с приваренными модулями, до нескольких десятков метров. Удобен между соседними стойками, когда не хочется собирать линк из двух модулей и патч-корда.
• Оптика с трансиверами SFP+/SFP28/QSFP. Универсальный вариант. Многомод SR: 10G — до 300 метров по OM3 и до 400 по OM4; 25G — уже только 70 и 100 метров соответственно; 100G SR4 — до 100 метров по OM4. Одномод LR — до 10 километров.

Обратите внимание на разрыв в дальности между 10 и 25 гигабитами: трасса, которая нормально работала на 10G по OM3, при переходе на 25G может не подняться вовсе. Это одна из типовых причин «мы просто заменили модули, и всё сломалось».

Главная ловушка — совместимость трансиверов

Многие производители сетевого оборудования проверяют идентификатор вендора в трансивере и отказываются поднимать порт с «чужим» модулем. Отсюда практические выводы:

• Трансивер подбирается под конкретную модель коммутатора или сетевой карты, а не «просто SFP+ 10G».
• Совместимые модули сторонних производителей обычно прошиваются под нужного вендора и работают, но их совместимость проверяют до закупки партии, а не после. У Cisco сторонние модули разрешаются командой, но порт при этом выходит из-под гарантийной поддержки.
• Сетевые карты Intel серий X520 и X710 исторически придирчивы к модулям: часть прошивок поднимает линк только с модулями Intel или с явно разрешёнными в драйвере.
• Оба конца линии должны использовать один тип волокна и одинаковую длину волны. Многомодовый модуль с одномодовым не соединится.

Формфакторы: не перепутайте

• SFP — 1G
• SFP+ — 10G
• SFP28 — 25G (физически совместим с SFP+, порт обычно понимает обе скорости)
• QSFP+ — 40G
• QSFP28 — 100G

Порт QSFP можно разделить на четыре линии меньшей скорости специальным кабелем — удобно, когда нужно подключить несколько серверов к одному высокоскоростному порту коммутатора. Обратная операция невозможна: четыре порта SFP+ не собираются в один 40-гигабитный линк иначе как агрегацией каналов, а это другая логика и другая балансировка.

QSFP28 и 100G: когда это нужно и что с чем стыкуется

Запросы про QSFP28 приходят чаще, чем реальные проекты на 100 гигабит, — и почти всегда из-за путаницы с QSFP+. Разъёмы выглядят одинаково, но это разные скорости: QSFP+ — это 40G, QSFP28 — 100G. Порт QSFP28 обычно принимает и модуль QSFP+ на 40 гигабит, обратное не работает: в порт QSFP+ модуль QSFP28 встанет физически, но линк будет либо 40G, либо не поднимется вовсе.

Сто гигабит в корпоративной сети нужны в трёх случаях: аплинки между коммутаторами ядра, подключение узлов all-flash хранилища или кластера vSAN и Ceph, а также узлы с GPU под инференс. Для обычного хоста виртуализации на два десятка машин это избыточно — там работает 25G, а часто и 10G.

Три практических момента, из-за которых проект на 100G буксует уже после закупки:

• Разъём волокна другой. Модули 100G SR4 и 40G SR4 работают не по паре LC, а по многоволоконному разъёму MPO-12: восемь волокон, четыре в каждую сторону. Обычные патчкорды LC к ним не подходят, и трассу нужно проектировать под MPO заранее — переделка кроссов дороже самих модулей.
• Линии PCIe. Карте на 100G нужен слот PCIe 3.0 x16 или PCIe 4.0 x8. В слоте PCIe 3.0 x8 она физически заработает, но упрётся примерно в 63 Гбит/с — то есть вы заплатите за сотню, а получите шестьдесят. Перед закупкой проверьте, какие слоты и какой ширины даёт райзер конкретного сервера.
• Тепло. Модули QSFP28 греются заметно сильнее SFP+. В 1U-корпусе с плотной компоновкой и слабым обдувом модуль уходит в тепловую защиту, и это выглядит как «линк моргает без причины». Для 100G закладывайте нормальную вентиляцию и не ставьте такие карты в глухие слоты.

Отдельно про разбивку: кабель QSFP28 → 4 × SFP28 превращает один порт коммутатора на 100G в четыре по 25G — так подключают четыре сервера к одному порту ядра. Аналогично QSFP+ разбивается на 4 × SFP+ по 10G. Обратная сборка невозможна: четыре порта SFP+ не станут одним сорокагигабитным линком иначе как агрегацией каналов, а это уже про балансировку сессий, а не про скорость одного потока.

Кабели DAC разложены по скоростям: 10G, 25G, 40G и 100G.

Модули всех четырёх форм-факторов есть в наличии: оптические модули SFP, SFP+, SFP28 и QSFP — от 170 600 сум за гигабитный SFP, SFP28 25G от 550 600 сум, QSFP28 100G SR4, LR4 и BiDi от 754 100 сум, плюс кабели DAC. Сетевые карты пока доходят до 40G QSFP+ и 25G SFP28 — они с ценами собраны здесь; карту на 100 гигабит подбираем под проект отдельно, вместе с расчётом трассы и разъёмов.

Почему линк не поднимается: порядок диагностики

Проверять нужно по цепочке, а не наугад — так проблема находится за минуты.

1. Физика. Горит ли индикатор порта, определяется ли модуль в выводе диагностики коммутатора (show interface transceiver и аналоги). Модуль, который не читается, — это либо кодировка вендора, либо мёртвый модуль.
2. Тип и скорость. Совпадают ли скорости на обоих концах и не стоит ли на порту жёстко заданная скорость, отличная от возможностей модуля.
3. Волокно. Тип (OM3, OM4, одномод), длина трассы, полярность пары и чистота коннекторов. Загрязнённый коннектор даёт «поднялся и упал» под нагрузкой, а не чистый отказ.
4. FEC на 25G. Согласование коррекции ошибок между картой и коммутатором иногда приходится задавать вручную: при несовпадении режима линк либо не поднимается, либо мигает. На 10G такого класса проблем нет.
5. Драйвер и прошивка. Устаревшая прошивка карты — частая причина того, что новый модуль «не виден». Обновление firmware адаптера входит в стандартный чеклист перед вводом в эксплуатацию.

Что учесть при выборе карты для сервера

• Слот OCP против PCIe. Современные серверы HPE и Dell имеют выделенный слот OCP 3.0 под сетевой адаптер. Использование его освобождает полноразмерные слоты PCIe под RAID-контроллер или GPU. Фирменные форматы предыдущего поколения — HPE FlexibleLOM (FLR) и Dell rNDC — ставятся только в свои платформы.
• Разгрузка процессора. Карты корпоративного класса умеют выносить на себя часть обработки — контрольные суммы, сегментацию, обработку туннелей VXLAN. На нагруженных хостах виртуализации это заметно снижает загрузку CPU.
• Поддержка гипервизором. Проверьте карту по списку совместимости вашей платформы виртуализации до закупки. Экзотические адаптеры без драйвера в составе гипервизора — источник неприятных сюрпризов при обновлении.
• Количество портов. Два порта — минимум для отказоустойчивого подключения. Один порт означает, что отказ кабеля или порта коммутатора выводит сервер из работы.
• Питание и охлаждение. Карты 25 и 100 гигабит греются заметно сильнее гигабитных; в коротком корпусе 1U с несколькими адаптерами это стоит учитывать при компоновке.

Типовая схема подключения хоста виртуализации

Разделяйте трафик: управление, продуктивные сети виртуальных машин, хранилище, миграция машин. Разделение может быть физическим (разные порты) или логическим (VLAN на общих портах), но каждая группа должна иметь два пути через разные коммутаторы. Подключение обоих портов сервера в один коммутатор оставляет единую точку отказа и обесценивает резервирование.

Рабочий минимум для узла кластера: два порта 10 или 25 гигабит под данные и хранилище с агрегацией и два гигабитных порта под управление. Если СХД подключается по iSCSI, трафик хранилища лучше вынести в отдельные VLAN и не смешивать с миграцией виртуальных машин: всплеск миграции способен «съесть» полосу у дисковых операций, и это выглядит как проблема массива, а не сети.

Смежные материалы: выбор коммутатора под офис — в гайде коммутатор на 24 и 48 портов, подключение СХД по FC, iSCSI и SAS — в подборках HPE MSA 2060 и 2062 и Dell PowerVault ME5.

Вопросы и ответы

Можно ли поставить модуль QSFP+ на 40G в порт QSFP28?

Как правило да: порт QSFP28 понимает и 100G, и 40G. В обратную сторону не работает — модуль QSFP28 в порт QSFP+ встанет механически, но сотню гигабит вы не получите, а линк может не подняться вообще. Проверять нужно по документации конкретного коммутатора: поддержка 40G в портах QSFP28 не гарантирована на всех моделях.

Что нужно для линка на 100 гигабит?

Карта с портом QSFP28 в слоте PCIe 3.0 x16 или PCIe 4.0 x8, порт QSFP28 на коммутаторе и среда передачи: DAC до 3–⁠5 метров внутри стойки, AOC до 30 метров между стойками, модули SR4 по многоволоконной трассе MPO-12 до 100 метров или LR4 по одномоду до 10 километров. Ошибка, которая обходится дороже всего, — проложить обычную пару LC и обнаружить, что SR4 требует MPO.

Можно ли поставить модуль SFP28 в порт SFP+?

Физически модуль встанет, но линк поднимется на десяти гигабитах: скорость ограничена портом. Обратная комбинация работает штатно — карта SFP28 нормально держит модуль SFP+ на 10 гигабитах, и это удобный путь миграции: сначала карты 25G, затем коммутаторы.

Чем DAC отличается от AOC и что выбрать?

DAC — медный кабель с несъёмными модулями, дешёвый, но короткий: 1–⁠5 метров пассивный. AOC — оптический кабель с приваренными модулями, тянется на десятки метров, дороже. Внутри стойки берут DAC, между стойками — AOC или сборку из двух модулей и патч-корда, если трасса идёт по кабельным лоткам.

Обязательно ли брать трансиверы того же бренда, что и коммутатор?

Не обязательно, но проверять совместимость нужно до закупки партии. Совместимые модули прошиваются под конкретного вендора и в большинстве случаев работают; риск в том, что после обновления прошивки коммутатора поведение может измениться. Для критичного сегмента разумнее фирменные модули, для тестового — совместимые.

Сколько портов нужно хосту виртуализации?

Минимум четыре: два под данные и хранилище на 10 или 25 гигабит и два гигабитных под управление, причём каждая пара уходит в разные коммутаторы. Схема с одним двухпортовым адаптером тоже работает, но отказ самой карты выводит узел целиком, поэтому в критичных кластерах ставят две карты.

Подберём сетевые адаптеры и совместимые трансиверы под ваше оборудование — с проверкой по моделям коммутаторов и серверов: напишите нам, info@servix.uz или Telegram. Цены и наличие — в разделе сетевые карты и трансиверы.

Иллюстрация: Dmitry Nosachev, Wikimedia Commons (CC BY-SA 4.0).