+7 495 320-55-52
- Назад
- Телефоны
- +7 495 320-55-52
- Заказать звонок
info@mikrotik.moscow
г. Москва, ул. Бакунинская, 84
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Mikrotik MLAG: Руководство и вопросы

Mikrotik MLAG: Руководство и вопросы, RouterOS

phil2982

Guest

26.05.2023 19:37:00

У меня есть 2 совершенно новых, не настроенных коммутатора CRS326-24S+2Q+RM с версией v7.9.1 stable, и я пытался настроить MLAG. Я следовал инструкции здесь: https://help.mikrotik.com/docs/display/ROS/Multi-chassis+Link+Aggregation+Group, но полученная конфигурация получалась очень нестабильной. При постоянной пинге между двумя хостами я пробовал отключать и подключать случайные порты — иногда работало, иногда нет. В конце концов мне удалось найти конфигурацию, которая, кажется, работает на 100%. Главное оказалось создавать уникальный MLAG ID для каждого клиентского бонда, а не использовать один и тот же для всех. С этой конфигурацией я могу подключать и отключать любые хосты на любые порты с полной резервированностью, но у меня есть два вопроса: корректна ли такая конфигурация? В текущей настройке я использую порт qsfpplus1-1 как uplink/peer порт (40 Гбит/с). На самом деле я хотел бы создать LACP бонд из портов qsfpplus1-1 и qsfpplus2-1 и использовать этот бонд как uplink peer. Но если я это делаю, MLAG перестаёт работать. Ниже приведена моя рабочая конфигурация. Может ли кто-то подтвердить, что она правильная, и объяснить, почему не работает, если я делаю LACP на peer-портах? Для информации: хосты — Proxmox (Linux) с двумя портами в LACP. Спасибо.

На коммутаторах 1 и 2 выполняем:

/interface bonding add mode=802.3ad name=uplink_80g slaves=qsfpplus1-1,qsfpplus2-1
/interface bonding add mlag-id=1 mode=802.3ad name=client-bond1 slaves=sfp-sfpplus1
add mlag-id=2 mode=802.3ad name=client-bond2 slaves=sfp-sfpplus2
add mlag-id=3 mode=802.3ad name=client-bond3 slaves=sfp-sfpplus3
add mlag-id=4 mode=802.3ad name=client-bond4 slaves=sfp-sfpplus4
add mlag-id=5 mode=802.3ad name=client-bond5 slaves=sfp-sfpplus5
add mlag-id=6 mode=802.3ad name=client-bond6 slaves=sfp-sfpplus6
add mlag-id=7 mode=802.3ad name=client-bond7 slaves=sfp-sfpplus7
add mlag-id=8 mode=802.3ad name=client-bond8 slaves=sfp-sfpplus8
add mlag-id=9 mode=802.3ad name=client-bond9 slaves=sfp-sfpplus9
add mlag-id=10 mode=802.3ad name=client-bond10 slaves=sfp-sfpplus10
add mlag-id=11 mode=802.3ad name=client-bond11 slaves=sfp-sfpplus11
add mlag-id=12 mode=802.3ad name=client-bond12 slaves=sfp-sfpplus12
add mlag-id=13 mode=802.3ad name=client-bond13 slaves=sfp-sfpplus13
add mlag-id=14 mode=802.3ad name=client-bond14 slaves=sfp-sfpplus14
add mlag-id=15 mode=802.3ad name=client-bond15 slaves=sfp-sfpplus15
add mlag-id=16 mode=802.3ad name=client-bond16 slaves=sfp-sfpplus16
add mlag-id=17 mode=802.3ad name=client-bond17 slaves=sfp-sfpplus17
add mlag-id=18 mode=802.3ad name=client-bond18 slaves=sfp-sfpplus18
add mlag-id=19 mode=802.3ad name=client-bond19 slaves=sfp-sfpplus19
add mlag-id=20 mode=802.3ad name=client-bond20 slaves=sfp-sfpplus20
add mlag-id=21 mode=802.3ad name=client-bond21 slaves=sfp-sfpplus21
add mlag-id=22 mode=802.3ad name=client-bond22 slaves=sfp-sfpplus22
add mlag-id=23 mode=802.3ad name=client-bond23 slaves=sfp-sfpplus23
add mlag-id=24 mode=802.3ad name=client-bond24 slaves=sfp-sfpplus24

/interface bridge add name=bridge1 vlan-filtering=yes
/interface bridge port add bridge=bridge1 interface=qsfpplus1-1 pvid=99 # работает
add bridge=bridge1 interface=uplink_80g pvid=99 ## не работает
add bridge=bridge1 interface=client-bond1
add bridge=bridge1 interface=client-bond2
add bridge=bridge1 interface=client-bond3
add bridge=bridge1 interface=client-bond4
add bridge=bridge1 interface=client-bond5
add bridge=bridge1 interface=client-bond6
add bridge=bridge1 interface=client-bond7
add bridge=bridge1 interface=client-bond8
add bridge=bridge1 interface=client-bond9
add bridge=bridge1 interface=client-bond10
add bridge=bridge1 interface=client-bond11
add bridge=bridge1 interface=client-bond12
add bridge=bridge1 interface=client-bond13
add bridge=bridge1 interface=client-bond14
add bridge=bridge1 interface=client-bond15
add bridge=bridge1 interface=client-bond16
add bridge=bridge1 interface=client-bond17
add bridge=bridge1 interface=client-bond18
add bridge=bridge1 interface=client-bond19
add bridge=bridge1 interface=client-bond20
add bridge=bridge1 interface=client-bond21
add bridge=bridge1 interface=client-bond22
add bridge=bridge1 interface=client-bond23
add bridge=bridge1 interface=client-bond24

/interface bridge vlan add bridge=bridge1 tagged=qsfpplus1-1 vlan-ids=1 # работает
add bridge=bridge1 tagged=uplink_80g vlan-ids=1 ## не работает

/interface bridge mlag set bridge=bridge1 peer-port=qsfpplus1-1 # работает
set bridge=bridge1 peer-port=uplink_80g ## не работает

pet2327 Guest	#2 0 27.11.2023 08:21:00 привет, Фил, ты смог решить проблему с 2x40GB LACP? Я тоже пытался, но ничего не вышло. Спасибо за помощь. Пит

khatsalano Guest	#3 0 02.04.2024 05:47:00 7.14.2 и всё ещё не удаётся использовать bonding по ссылке ICCP/Peer_Port

TBCAdmin Guest	#4 0 15.07.2025 00:52:00 Мне удалось заставить это работать (по крайней мере, кажется, что работает!). Нужно изменить приоритет MLAG на одном из пиров, чтобы они не совпадали. Тогда один из них станет основным.

sirbryan

Guest

15.07.2025 01:48:00

Шаги: Установите на обоих коммутаторах пустую конфигурацию. Подключаюсь к первому медному Ethernet-порту на каждом через Winbox, чтобы поддерживать соединение во время настройки коммутаторов. Если хотите скорость между коммутаторами больше чем 1/10/40 Гбит/с, создайте агрегированный интерфейс (bond) из двух, трёх, четырёх и т.д. физических интерфейсов, которые хотите объединить. Сделайте настройки одинаковыми с обеих сторон: 802.3ad, тайминг LACP 1 с (30 с тоже подойдет, но я использую 1 с) и хэширование на уровнях 3 и 4 (так балансировка нагрузки лучше). Создайте мост (bridge), затем включите MLAG на обоих коммутаторах, используя выбранный порт для пира: обычно это самый быстрый физический порт или LACP-агрегат (созданный на шаге 2). Добавьте пир-порт в мост, причем PVID пир-порта НЕ должен быть VLAN 1 (любой другой, кроме 1, отлично подойдет). Обязательно установите для пир-порта разрешение всех типов кадров (как с тегами, так и без). Пропишите тег VLAN 1 на пир-порту с обеих сторон, чтобы нетегированный трафик проходил корректно. НИКОГДА не используйте тег VLAN, который вы выбрали как PVID пир-порта, ни для каких других портов. Убедитесь, что настройки STP на обоих мостах идентичны. Добавляйте остальные порты в мост по мере необходимости, обязательно назначая теги VLAN нужным физическим портам и ВСЕГДА пир-порту. Если вы добавляете LAG к стеку MLAG (а это как раз суть), как понял автор темы, MLAG-ID должен быть УНИКАЛЬНЫМ для каждого LAG-клиента. Вы можете иметь любое количество ссылок в одном LAG, при условии, что у них одинаковый ID, но у разных клиентов ID должен отличаться. Лично у меня были проблемы при использовании более двух ссылок (по одной на каждый коммутатор) на версиях между 7.15.3 и 7.19.x, поэтому для максимальной стабильности рекомендую использовать 7.15.3 или 7.19.3. У меня на этих версиях есть устройства с четырьмя ссылками (по две на коммутатор) в некоторых стэках MLAG — и всё работает отлично. Не обязательно иметь по две ссылки на каждое подключенное устройство. Одна ссылка сработает, но тогда не будет резервирования, если коммутатор, к которому подключено устройство, выйдет из строя. Хотя для 99 % домашних лабораторий этого более чем достаточно. Это же коммутаторы. Не пытайтесь делать сложную маршрутизацию или дополнительную нагрузку на процессор (если только не используете MLAG с парой устройств 2116/2216, но даже тогда это усложняет работу, и L3HW offload с MLAG не поддерживается). Это скорее запутает и нарушит принцип разделения функций. Используйте маршрутизаторы для маршрутизации, а коммутаторы — для коммутации, даже в домашней лаборатории.

TBCAdmin Guest	#6 0 17.07.2025 16:36:00 После дополнительных тестов я пришёл к выводу, что приоритет MLAG на самом деле не имеет значения — всё отлично работает, даже когда они одинаковые.

TBCAdmin Guest	#7 0 17.07.2025 16:38:00 Можешь немного подробнее объяснить пункт №7? Хочу убедиться, что правильно понял этот шаг. Может, приведёшь пример?

sirbryan

Guest

17.07.2025 18:39:00

Это пример из пары коммутаторов с MLAG, у которых есть порты и QSFP+, и SFP+. В основном конфигурация на обоих коммутаторах в стеке будет одинаковой, за исключением устройств, у которых есть только одна ссылка в стек.
# Конфигурация bond может/должна быть почти идентичной
# MLAG-ID — это способ, с помощью которого два коммутатора определяют, какие подключения принадлежат каким устройствам
# Я использую 1-секундный интервал LACP и хэширование по уровням 3-4, по умолчанию 30 секунд и уровень 2

/interface bonding
add lacp-rate=1sec mlag-id=101 mode=802.3ad name=bond-1-router slaves=sfp-sfpplus1-router transmit-hash-policy=layer-3-and-4
add lacp-rate=1sec mlag-id=101 mode=802.3ad name=bond-2-server slaves=sfp-sfpplus2-server transmit-hash-policy=layer-3-and-4

Шаг 7 из вышеуказанного: добавляем порты коммутатора в мост/MLAG
/interface bridge port
# PVID должен совпадать с VLAN MLAG-пира
# Можно использовать любой действующий VLAN ID; я не использую 2-10 нигде в своих сетях
add bridge=bridge interface=qsfpplus2-mlag-peer pvid=2
# Если не указывать, PVID по умолчанию 1
add bridge=bridge interface=bond-1-router
add bridge=bridge interface=bond-2-server

# Эти два — только на Switch 1:
add bridge=bridge interface=sfp-sfpplus3-lone-device
# Для этого устройства нельзя допускать native VLAN
add bridge=bridge interface=sfp-sfpplus8-macpro-esxi frame-types=admit-only-vlan-tagged

Тегируем VLAN’ы на соответствующие порты
/interface bridge vlan
# VLAN 1: нетегированный на тех портах, которые вы хотите видеть как "нэйтивный" VLAN,
# и тегированный через MLAG peer link
add bridge=bridge vlan-ids=1 tagged=qsfpplus2-mlag-peer untagged=bridge,bond-1-router,bond-2-server,sfp-sfpplus3-lone-device

# VLAN 2: VLAN MLAG-пира, нетегированный на peer link, нигде больше не тегируется
add bridge=bridge vlan-ids=2 untagged=qsfpplus2-mlag-peer

# Пример VLAN’ов: 981-985 нужны для связи Mac Pro с ESXi и Linux-сервера с LAG в стеке

# На Switch 1: у Mac Pro ESXi только один порт, который подключен именно к этому коммутатору;
# тегируем его порт, peer порт и порт другого сервера
add bridge=bridge vlan-ids=981-985 tagged=qsfpplus2-mlag-peer,bond-2-server,sfp-sfpplus8-macpro-esxi

# На Switch 2: только сервер имеет связь с обоими коммутаторами, поэтому тегируем только peer и сервер
add bridge=bridge vlan-ids=981-985 tagged=qsfpplus2-mlag-peer,bond-2-server

TBCAdmin

Guest

24.07.2025 02:06:00

Думаю, я следую твоему примеру. Вот конфигурация с одного из коммутаторов. Правильно ли это выглядит? Что-то упустил? Кажется, что работает. У меня 5 серверов, подключённых к 2 коммутаторам CRS520-4XS-16Q-RM 100 Gb. VLAN, кроме 99 PVID на ICCP-ссылке, нет.

/interface bridge add name=bridge vlan-filtering=yes
/interface ethernet
#ПОРТЫ СЕРВЕРОВ
set [ find default-name=qsfp28-1-1 ] fec-mode=fec91 l2mtu=9000 mtu=9000
set [ find default-name=qsfp28-2-1 ] fec-mode=fec91 l2mtu=9000 mtu=9000
set [ find default-name=qsfp28-3-1 ] fec-mode=fec91 l2mtu=9000 mtu=9000
set [ find default-name=qsfp28-4-1 ] fec-mode=fec91 l2mtu=9000 mtu=9000
set [ find default-name=qsfp28-5-1 ] fec-mode=fec91 l2mtu=9000 mtu=9000
#ПОРТЫ ICCP
set [ find default-name=qsfp28-15-1 ] fec-mode=fec91 l2mtu=9000 mtu=9000
set [ find default-name=qsfp28-16-1 ] fec-mode=fec91 l2mtu=9000 mtu=9000

/interface bonding
#ICCP
add lacp-rate=1sec mode=802.3ad mtu=9000 name=ICCP slaves=qsfp28-16-1,qsfp28-15-1 transmit-hash-policy=layer-3-and-4
#СЕРВЕРЫ
add lacp-rate=1sec mlag-id=1 mode=802.3ad mtu=9000 name=SERVER1 slaves=qsfp28-1-1 transmit-hash-policy=layer-3-and-4
add lacp-rate=1sec mlag-id=2 mode=802.3ad mtu=9000 name=SERVER2 slaves=qsfp28-2-1 transmit-hash-policy=layer-3-and-4
add lacp-rate=1sec mlag-id=3 mode=802.3ad mtu=9000 name=SERVER3 slaves=qsfp28-3-1 transmit-hash-policy=layer-3-and-4
add lacp-rate=1sec mlag-id=4 mode=802.3ad mtu=9000 name=SERVER4 slaves=qsfp28-4-1 transmit-hash-policy=layer-3-and-4
add lacp-rate=1sec mlag-id=5 mode=802.3ad mtu=9000 name=SERVER5 slaves=qsfp28-5-1 transmit-hash-policy=layer-3-and-4

/port
/interface bridge mlag set bridge=bridge peer-port=ICCP priority=50
/interface bridge port add bridge=bridge interface=ICCP pvid=99
add bridge=bridge interface=SERVER1
add bridge=bridge interface=SERVER2
add bridge=bridge interface=SERVER3
add bridge=bridge interface=SERVER4
add bridge=bridge interface=SERVER5

/interface bridge vlan add bridge=bridge tagged=ICCP vlan-ids=1

sirbryan Guest	#10 0 24.07.2025 03:18:00 Выглядит правильно. Быстро сравнил с новым MLAG, который только что запустил, и в принципе совпадает.

CGGXANNX

Guest

#11

24.07.2025 03:37:00

Думаю, что устройства CRS с коммутаторными чипами Marvell Prestera все имеют ограничение L2MTU на уровне 10218 (можно проверить через /interface print и столбец MAX-L2MTU). Согласно видео MikroTik про L2MTU, скорее всего, нет никакой разницы в использовании аппаратных ресурсов между установкой l2mtu=9000 и l2mtu=10218 (используется одинаковое количество буферной памяти). Однако, если ограничить L2MTU на портах qsfp28 до 9000, как у тебя в текущей конфигурации, а потом сделать VLAN на этих портах, то эти VLAN не смогут работать с MTU 9000. Возможно, будет лучше установить l2mtu=10218 для портов через /interface ethernet.

TBCAdmin Guest	#12 0 25.07.2025 15:37:00 Коммутаторы не дают мне выставить MTU настолько высоким… Максимум, который они позволяют, — 9574.

sirbryan

Guest

#13

28.07.2025 04:18:00

Суть в том, чтобы установить их максимально высоко, насколько позволяет железо, чтобы пакеты размером 9000 байт проходили через стек MLAG. Если поставить значение больше, чем поддерживает оборудование, оно автоматически подстроит его под максимум. Я обычно ставлю 12000 — этого хватает для всего, что выпускает MikroTik.

TBCAdmin Guest	#14 0 29.07.2025 17:13:00 Хорошо, понял... Я выставил их все на 9570, это максимум, который разрешается.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры