MikroTik наращивает присутствие в сегменте 100- и 25-гигабитных свитчей с новым CRS520-4XS-16XQ-RM. Это свитч с 16 оптоволоконными портами с пропускной способностью 100 Гбит/с, 4 оптоволоконными портами 25 Гбит/с, чипом коммутации класса Hi-End и поигрывающим мускулами чипом управления. Это важный задел для MikroTik.
Целеполагание
Пропускная способность каждого порта на 100 Гбит/с эквивалентна производительности PCI Gen5 M.2 SSD. В качестве примера целевой аудитории приводится джентльмен, владеющий частной студией в Голливуде. Он хотел бы подключить дюжину рабочих мест видеоредактора к медиа-хранилищу. Примерно такой свитч подошёл бы для этой цели. Проблема в том, что на рынке присутствуют стогигабитные свитчи с кратно превосходящей совокупной пропускной способностью. И производителю надо каким-то образом дистанцировать свой продукт от свитчей с 32 портами по 100 Гбит/с. Посмотрим, как это ему удалось.
Название нанесено на корпус
Снаружи
CRS520-4XS-16XQ-RM выполнен в полноценном стоечном корпусе формата 1U. Многие бы сочли, что половины ширины 1U было бы достаточно. Однако, в таком случае, пришлось бы пожертвовать частью портов и функционала.
Передняя панель
Порты 100 Гбит/с
Главную партию на лицевой панели играют 16 портов QSFP28 по 100 Гбит/с. В интерфейсе управления каждый из них отображается в виде пакета из 4 полос по 25 Гбит/с. Поэтому, скорее всего, можно использовать брейкаут-кабель QSFP28 на 4 SFP28. Если нужен просто порт SFP28 на 25 Гбит/с, то их здесь 4 штуки.
Порты SFP28
Правее есть консольный порт, кнопка сброса и, далее, 2 порта 10Gbase-T. Следует учесть, что оба этих порта подключены не к коммутационному чипу Marvell, а к чипу управления Annapurna Labs. Поэтому в цепи коммутации этих портов появляется дополнительное звено.
Порты управления
Сзади можно увидеть 4 быстросъёмных вентилятора, что достаточно нетипично для MikroTik. Hotswap полезен не только для замены вышедших из строя модулей. Он позволяет быстро, без демонтажа и снятия крышки почистить систему охлаждения. Используются MT-HotSwapFan.
Задняя панель
Рядом 2 быстросъёмных блока питания PW-12V150W собственного изготовления MikroTik, каждый на 150 Вт. Это не брендированный «Китай». Очевидно, переход на половинную ширину корпуса лишил бы свитч избыточного блока и резервирования питания.
Вентиляторы
В комплекте также есть кронштейны для монтажа в стойку.
Блок питания
Под крышкой
Начинка
Внутри корпуса блоки питания стыкуются с отдельной соединительной платой, от которой питание передаётся внутренними кабелями на системную плату.
Плата блоков питания
В роли основного коммутационного чипа выступает Marvell 98CX8410. Не сказать, что серии чипов 98CX8400 посвящены тонны литературы, но нам удалось найти кое-какие подробности.
Радиатор чипа коммутации
Рядом с чипом коммутации под более скромным радиатором притаился управляющий процессор. Здесь мы наблюдаем 4-ядерный ARM-процессор Annapurna Labs AL32400. Amazon приобрела изготовителя этих процессоров, чтобы делать разные чипы для Amazon Web Services. О высокой производительности этих ЦП свидетельствует тот факт, что MikroTik ставит их в ряд своих маршрутизаторов. Хотя, некоторые из них реализуют гигабитный канал в направлении коммутируемого порта и порта управления, здесь всё по-другому. Тут наряду с двумя 10-гигабитными линиями управления используются две 25-гигабитных линии с чипом коммутации. Отсюда следует, что функциям, задействующим ЦП, предоставлена более широкая полоса пропускания в сторону чипа коммутации.
Радиатор ЦП и DRAM
Поскольку используются 10Gbase-T, нам потребуются трансиверы 10Gbase T PHY.
Трансиверы 10Gbase T PHY
Плата с коммутационным чипом размещена посередине высоты корпуса, т. к. половина слотов QSFP28 расположена над платой, а половина — под нею. Световоды индикаторов портов дополнительно укреплены металлической планкой.
Слоты расположены сверху и снизу системной платы
Держатель световодов LED-индикации
Третьей платой в свитче является плата подключения вентиляторов с горячей заменой. Она соединена с материнской платой шлейфом.
Плата вентиляторов
Шлейф платы вентиляторов
Коммутация
Блок-схема CRS520-4XS-16XQ-RM поражает воображение.
Блок-схема свитча
Видно, что центральный процессор Annapurna Labs AL32400 связан с чипом коммутации Marvell 98CX8410 двумя полнодуплексными линиями по 25 Гбит/с. Также видно, что две управляющие линии 10Gbase-T связаны с ЦП, а не с чипом коммутации.
Итак, что удалось найти по поводу линейки Marvell 98CX8400:
Ключевые параметры Marvell 98CX8400
Разумеется, это функционал, заложенный производителем в микросхему, и не обязательно, полностью реализованный в коммутаторе MikroTik. Также, нашлась структурная схема чипа коммутации:
Блок-схема Marvell 98CX8400
Заметно существенное улучшение, по отношению к чипам Prestera более низкого сегмента, также используемым MikroTik в своих свитчах.
Управление
Пользователю MikroTik здесь всё знакомо: интерфейс командной строки, web-приложение управления WebFig и десктопное приложение WinBox. Это фишка MikroTik. Многие коммутаторы корпоративного класса, которые можно считать конкурентами этому свитчу, используют только CLI. Между тем, большинство малых и средних бизнесов, имеющих в своём парке одно-два подобных устройства, не желают изучать командный интерфейс. Огромное преимущество MikroTik, что 100-гигабитную сеть со множеством портов сможет развернуть сотрудник, достаточно далёкий от сетевых технологий.
Интерфейс WinBox
Все функции обычной коммутации работают прямо из коробки. Не требуется никаких настроек, чтобы подключить свитч к сети и использовать всю пропускную способность 100-гигабитных портов.
Но не для того в свитч поставили высокопроизводительный процессор, чтобы мы отказались от использования продвинутых функций. Благодаря двум линиям по 25 Гбит/с между ЦП и чипом коммутации, мы теперь не ограничены гигабитным пределом.
Представьте пропускную способность Hi-End коммутационного чипа, обеспечивающего скорость на каждом из 16 портов, эквивалентную RAID-накопителю из нескольких PCIe Gen4-накопителей. Разработка софта для аппаратной разгрузки процессов требует серьёзного подхода. Команда MikroTik совместно с разработчиками чипа готовит прошивки с новыми приложениями, поддерживающими аппаратную разгрузку по Layer3 на базе коммутационного чипа. Интересно будет посмотреть, насколько далеко MikroTik продвинется в обеспечении аппаратной разгрузки и функций, используя эту пару ЦП и чипа коммутации.
Настройка WireGuard в WinBox
Если вы давно не развёртывали сеть на базе коммутатора MikroTik, имейте ввиду, что сейчас они используют случайные пароли. Благоразумное решение, учитывая сколько админов открыли наружу внешние порты своих сетей.
Утилита Winbox позволяет обнаружить свитч в сети, если вы не знаете его IP, и подключиться по MAC-адресу.
Производительность
Тестирование показало достаточно высокие результаты. Превысить планку в 1700 Гбит/с не удалось. Но надо учитывать, что задать адекватную нагрузку такому монстру производительности — задача нетривиальная.
Результаты тестирования
Внутреннее тестирование производительности показывает пропускную способность мгновенного неблокирующего режима на больших кадрах до 1 677 896,4 Мбит/с и коммутационная ёмкость до 3 355 792,8 Мбит/с. Но самое интересное — это результаты маршрутизации. Её скорость на больших пакетах достигает 35 947,3 Мбит/с. Это означает, что вы можете использовать CRS520-4XS-16XQ-RM в роли WAN-маршрутизатора, если ваше соединение с Интернетом не превышает таких значений. Может, именно с прицелом на такое применение был установлен столь мощный ЦП.
Энергопотребление и шум
Установлено 2 блока питания по 150 Вт с избыточностью.
Блок питания
В состоянии простоя свитч, по данным замеров, потребляет около 48 Вт. Понятно, что мощность покоя может немного отличаться с разными оптоволоконными трансиверами. При номинальной максимальной мощности в 150 Вт в ходе тестов не удалось превысить показатель потребления в 100—120 Вт.
Согласно официальной информации, при максимальной мощности в 150 Вт мощность свитча без дополнительных устройств может достигать 123 Вт. Следовательно, на питание самих оптоволоконных модулей остаётся только 27 Вт. Несложные вычисления показывают, что некоторым пользователям могут понадобиться блоки питания по 200 Вт. Благо, возможность их замены предусмотрена.
Не сказать, что это совсем бесшумный свитч. Шум в состоянии покоя — порядка 43 дБА. Однако это намного тише, чем у старых 32-портовых 100-гигабитных коммутаторов. Тем не менее, место этого свитча — в серверной комнате.
Итого
CRS520-4XS-16XQ-RM можно рассматривать с двух позиций. С одной стороны, если вас не волнует шум, экономия электроэнергии, не очень нужны дружелюбный web-интерфейс и перспективный функционал, вы можете прийти к выводу, что на рынке бывших в употреблении 100-гигабитных многопортовых коммутаторов есть множество предложений по более низкой цене.
С другой стороны, есть запрос со стороны небольших рабочих групп, весьма требовательных к производительности, но не готовых вникать в нюансы сетевого администрирования при установке своего рабочего окружения. Матёрым сетевикам, вероятно, не понравится, что линейка больших портов недостаточно велика, а ресурсы мощнейшей процессорной начинки тратятся «на красивый интерфейс». Но приведённый в начале статьи пример с джентльменом, который просто хочет принести этот свитч в студию медиаконтента и подключить небольшую рабочую группу к производительному хранилищу, это то, что объект нашего обзора умеет лучше всего.
Для групп, которым 16 портов слишком много, MikroTik выпускает CRS504-4XQ-IN.
Свитч CRS520-4XS-16XQ-RM нацелен в будущее с терминалами на PCI Gen5 и со 100-гигабитными сетевыми карточками, цена которых упадёт до уровня, соответствующего данному свитчу, меняющего своей доступностью правила в сегменте 100-гигабитных оптоволоконных сетей.
