Перейти к содержимому

Уважаемые заказчики! Просим присылать заказы и запросы на почту [email protected] или в Telegram @servix_uz, а не звонить по телефону: из-за большой загрузки оператор не успевает отвечать на все входящие звонки.

Servix

SFP28, QSFP28 и DAC для серверной и ЦОДа: что выбрать для 25G и 100G

Техническая команда Servix · Обновлено

Коротко. Внутри стойки, на 1–⁠3 м, серверы к коммутатору подключают пассивным медным кабелем DAC: он дешевле пары модулей с патч-кордом и не требует чистки разъёмов. На 25G длина DAC определяет коррекцию ошибок: кабели на 1–⁠2 м обычно работают без FEC, на 3 м обычно нужен BASE-R FEC, на 5 м — RS-FEC, и режим должен совпадать на обоих концах. Между стойками и рядами, до 100 м по OM4, ставят оптику SR: на 25G это модуль с парой LC, на 100G — SR4 с разъёмом MPO-12 на восемь волокон. Между залами и зданиями — LR и LR4 по одномоду с LC, до 10 км, а модули Fibreon — и до 20 км.

Статья для тех, кто проектирует серверную или машинный зал на 25G и 100G: подключение серверов к коммутатору доступа, аплинки к ядру, связь между залами. Основы — что такое SFP28 и QSFP28 и чем 25G отличается от 10G — в статье «Сетевые карты и трансиверы». Здесь — следующий шаг: какой кабель или модуль ставить на каждом участке, где нужен FEC, когда выбирать MPO, а когда LC, и как работают разветвители.

Три способа соединить два порта

Порт SFP28 или QSFP28 можно соединить медным кабелем DAC, активным оптическим кабелем AOC или парой оптических модулей с патч-кордом между ними.

Вариант

Длина

Когда подходит

Что учесть

Пассивный DAC

у Cisco — от 1 до 5 м для 25G и 100G

сервер и коммутатор в одной стойке

на 25G от длины и класса кабеля зависит FEC; длина фиксирована; толстый кабель хуже гнётся

AOC

у Cisco — 1–⁠10 м для 25G, 1–⁠30 м для 100G

соседние стойки, когда не хочется собирать линию из модулей

модули несъёмные, при обрыве меняется весь кабель

Модули SR + многомод OM4

25G и 100G SR4 — до 100 м

между стойками, рядами, по кроссу

нужна оптическая инфраструктура; на 100G SR4 обязателен RS-FEC, на 25G SR он обычно нужен

Модули LR и LR4 + одномод

10 км, у Fibreon есть версии на 20 км

между залами и зданиями

модули дороже многомодовых

Модули BiDi + одно волокно

на 25G и 100G — до 20 км у моделей Fibreon

когда свободна одна жила

работают только парой U и D

В каталоге Servix есть кабели DAC и модули Fibreon на все эти случаи, кроме AOC: кабели AOC на 25G и 100G сейчас в каталог не входят. Если нужна линия на 5–⁠30 м, её собирают из двух модулей SR и патч-корда OM4 — заодно патч-корд можно заменить отдельно от модулей.

DAC на 25G: длина решает, нужен ли FEC

На 10G кабели DAC различали только по длине. На 25G этого мало: IEEE 802.3 делит пассивные кабели на три класса по электрическим свойствам, и от класса зависит, какая коррекция ошибок нужна. Intel в руководстве по 25G-средам приводит таблицу стандарта:

Класс кабеля по IEEE 802.3

Типичная длина

С какой коррекцией ошибок работает

CA-25G-N

1–⁠2 м

без FEC, BASE-R FEC или RS-FEC

CA-25G-S

2–⁠3 м

BASE-R FEC или RS-FEC

CA-25G-L

3–⁠5 м

только RS-FEC

Длина в таблице — ориентир, а не правило. Тот же Intel оговаривает, что бывают кабели на 3 м класса CA-25G-L и кабели на 3 м класса CA-25G-N: проводники делают сечением от 22 до 32 AWG, и электрические свойства у кабелей одной длины разные. У Cisco, например, кабели SFP-H25G-CU1M и CU2M работают без FEC, CU3M требует BASE-R FEC, а CU5M — RS-FEC.

Практические выводы:

  • Режим FEC должен совпадать на обоих концах. Если на коммутаторе включён RS-FEC, а сетевая карта сервера работает без FEC, линк не поднимется или будет «моргать». На Linux режим смотрят и задают через ethtool --show-fec и ethtool --set-fec.
  • Не отключайте автосогласование без нужды. По IEEE 802.3 для медных 25GBASE-CR автосогласование обязательно, через него стороны договариваются и о режиме FEC.
  • Кабель на 5 м рассчитывайте на RS-FEC. У Fibreon есть DAC SFP28 на 5 м — аналог Cisco SFP-H25G-CU5M, HPE JL489A и Dell 470-ACEY; включите на портах RS-FEC.
  • Задержка. По данным Intel, BASE-R FEC добавляет около 80 нс, RS-FEC — около 250 нс. Для большинства задач это незаметно, но для чувствительных к задержке систем короткий кабель без FEC выгоднее.

Кабели Fibreon DAC на 25G — длиной 1, 2, 3 и 5 м, сечение проводников 28 AWG. Диагностики DDM у пассивных DAC нет — у оригиналов её тоже нет.

DAC на 100G

Кабель QSFP28 — QSFP28 — это четыре линии по 25G в одной оболочке. В той же таблице IEEE 802.3, которую приводит Intel, такие кабели длиной 1–⁠5 м относятся к классу CA-25G-L и рассчитаны на работу с RS-FEC. У Cisco кабели 100G DAC выпускаются длиной от 1 до 5 м.

Кабели Fibreon на 100G — длиной 1, 2 и 3 м: 1 м сечением 30 AWG, 2 и 3 м — 26 AWG. Чем толще проводник, тем жёстче кабель, поэтому в плотной стойке заранее проверьте, хватает ли места для изгиба у портов и в кабельном органайзере. Кабель на 1 м подходит для соединения коммутаторов в соседних юнитах.

Оптика: SR или LR

Если до соседнего порта больше нескольких метров, нужна оптика.

  • 25GBASE-SR. 850 нм, многомод, пара LC: 70 м по OM3 и 100 м по OM4. Для своего модуля Cisco требует включить на порту RS-FEC, потребление — до 1,2 Вт. Intel уточняет, что без FEC работают только модули 25G SR с особо низким уровнем ошибок, поэтому на портах с модулями SR включайте RS-FEC. Модуль FBN-S25-SR — аналог Cisco SFP-25G-SR-S, HPE JL484A и Huawei SFP-25G-SR.
  • 25GBASE-LR. 1310 нм, одномод, пара LC, 10 км; у Fibreon есть и версия на 20 км. Модули — в разделе SFP28 25G.
  • 100GBASE-SR4. Четыре линии по 25G на 850 нм, многомод, разъём MPO-12: 70 м по OM3 и 100 м по OM4, потребление у Cisco — 3,5 Вт. Коррекция RS-FEC в этом стандарте обязательна, отключить её нельзя. Аналог Fibreon — FBN-Q100-SR4.
  • 100GBASE-LR4. Четыре длины волны в диапазоне 1295–⁠1310 нм в одном волокне, одномод, пара LC, 10 км; FEC в этом стандарте не используется, потребление у Cisco — 4 Вт. У Fibreon — FBN-Q100-LR4 на 10 км и версия на 20 км.
  • 100G по одному волокну. Если между залами свободна одна жила, ставят пару BiDi: у Fibreon это модули на 1291 и 1311 нм, до 20 км, заказываются парой.

Модули QSFP28 потребляют в несколько раз больше, чем SFP28, и греются сильнее. Intel в документации к драйверу прямо пишет: если обдува карты и модулей не хватает, нужны модули на повышенную температуру. Модули Fibreon рассчитаны на 0…70 °C, поэтому карты на 100G ставьте в слоты с нормальным обдувом. DDM есть у всех оптических модулей Fibreon — температуру видно в диагностике порта.

MPO или LC

Это главный вопрос для 100G: от ответа зависит кабельная система зала.

SR4 и MPO-12. Модуль 100GBASE-SR4 передаёт по четырём волокнам и принимает по четырём: из двенадцати волокон разъёма MPO-12 заняты восемь. Обычные патч-корды LC к нему не подходят, нужны транки и кассеты MPO. Для прямого соединения двух модулей обычно используют кабель MPO полярности Type B, «ключ вверх — ключ вверх», но полярность и тип разъёма (male или female) сверяйте с модулями и панелями до закупки. Плюс SR4 — цена: в каталоге Servix модуль SR4 заметно дешевле LR4, сравните карточки.

LR4 и LC. Модуль LR4 работает по обычной паре одномодовых волокон с разъёмами LC. Если в зале уже проложены одномодовые линии LC или магистраль идёт в другое здание, проще и надёжнее ставить LR4, чем перестраивать кроссы под MPO.

Ориентир такой: новый зал с короткими расстояниями и транками MPO OM4 — SR4; существующая одномодовая инфраструктура на LC или расстояния больше 100 м — LR4.

Разветвители: один порт на четыре

Порт QSFP — это четыре независимые линии. Кабелем-разветвителем (breakout) один порт превращают в четыре порта меньшей скорости: QSFP+ 40G — в четыре SFP+ по 10G, QSFP28 100G — в четыре SFP28 по 25G. Так к одному порту коммутатора подключают четыре сервера.

  • Порт должен поддерживать разбивку. Режим breakout включают в настройках коммутатора, и не на всех портах и моделях он есть — проверьте по документации коммутатора.
  • Обратно не собирается. Четыре порта SFP+ не станут одним 40G-линком, только агрегацией каналов, а это другая логика балансировки.
  • Где разветвляется кабель. У разветвителя на 3 м концы расходятся примерно в 1 м от разъёма QSFP — так у кабелей Cisco 40G. Учитывайте это при укладке в стойке.
  • Оптическая разбивка. Модуль SR4 можно разбить на четыре линии через кабель MPO — 4 × LC, если это допускают модуль и коммутатор. Cisco, например, разрешает такую схему для QSFP-40G-SR4 и не поддерживает её для QSFP-40G-SR4-S.
  • FEC. Для медного разветвителя QSFP28 — 4 × SFP28 действуют те же классы CA-25G-N, -S и -L, что и для обычных кабелей SFP28.

Из разветвителей Fibreon в каталоге сейчас есть DAC 40G → 4 × 10G на 3 м, аналог Cisco QSFP-4SFP10G-CU3M и HPE JG330A. Разветвителя 100G → 4 × 25G среди модулей Fibreon в каталоге пока нет.

Типовая схема: что ставить на каждом участке

Участок

Расстояние

Что ставить

Сервер — коммутатор доступа в той же стойке

1–⁠3 м

DAC SFP28 25G; на 1–⁠2 м обычно без FEC

Сервер — коммутатор в соседней стойке

до 5 м

DAC SFP28 на 5 м с RS-FEC или пара модулей 25GBASE-SR

Коммутатор доступа — ядро в одном зале

до 100 м

100GBASE-SR4 по OM4 с MPO-12 или 100GBASE-LR4 по одномоду, если кроссы на LC

Коммутаторы в соседних юнитах

1–⁠3 м

DAC QSFP28 100G

Между залами и зданиями

до 10 км

100GBASE-LR4 или 25GBASE-LR

Длинная магистраль

до 20 км

версии LR4 и LR на 20 км

Одно свободное волокно

до 20 км

пара BiDi на 100G или 25G

Четыре сервера на 10G к одному порту 40G

до 3 м

разветвитель DAC 40G → 4 × 10G

Модули на 100G — в разделе QSFP28 100G, цены — в карточках.

Сетевые карты на 25G

Со стороны сервера порт SFP28 — на сетевой карте, и требования к модулю задаёт её контроллер. Перед заказом проверьте две вещи: какие режимы FEC поддерживает карта и есть ли у её производителя ограничения на модули. Карты на 25G с ценами — в разделе сетевых карт, например HPE 640SFP28 на два порта 10/25G. Код совместимости для модуля или кабеля записываем под конкретную карту — назовите её модель.

Частые вопросы

Что выбрать внутри стойки: DAC или оптику?

DAC: на 1–⁠3 м он дешевле пары модулей с патч-кордом, почти не греется и не требует чистки разъёмов. Оптика нужна там, где не хватает длины кабеля, или если важна гибкая замена патч-кордов.

Почему не поднимается линк на DAC 25G длиной 5 м?

Чаще всего из-за FEC: кабелю на 5 м нужен RS-FEC на обоих концах. Проверьте режим на коммутаторе и на карте, на Linux — командой ethtool --show-fec.

Можно ли подключить модуль SR4 обычным патч-кордом LC?

Нет. У SR4 разъём MPO-12, нужен кабель или транк MPO с правильной полярностью. Если в зале только LC, берите LR4 по одномоду.

Что лучше для аплинка на 100G в одном зале: SR4 или LR4?

При транках MPO OM4 и расстоянии до 100 м — SR4, он дешевле. При одномодовых кроссах на LC или расстоянии больше 100 м — LR4.

Нужен ли FEC для 100GBASE-LR4?

Нет, в стандарте LR4 FEC не используется. А для 100GBASE-SR4 коррекция RS-FEC обязательна, и с модулями 25G SR её тоже включают.

Пришлите на [email protected] или в Telegram @servix_uz схему: сколько серверов и коммутаторов, модели коммутаторов и сетевых карт, расстояния между стойками и залами, тип волокна и разъёмов в кроссах. Подберём DAC и модули Fibreon по каждому участку и пришлём КП. Модули и кабели в наличии в Ташкенте, прошивка под ваше оборудование — бесплатно, гарантия 1 год с заменой через Servix.

Читайте также: сетевые карты и трансиверы: SFP+, SFP28, QSFP28 — что с чем стыкуется, подбор сетевой карты 10/25/40G, трансиверы и DAC, совместимые SFP-модули: как работают и когда брать оригинал, как подобрать SFP под Cisco, HPE Aruba, Huawei и Juniper.

Читайте также