Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Новинка
Распродажа
Новости
Доставка
Оплата
Загрузки
  • Прошивки
    • WinBox
    • RouterOS
    • Мобильные приложения MikroTik
    • Архив
  • Changelogs
  • RouterOS
  • Мобильные приложения MikroTik
  • Архив
Форум
Настройка
    info@mikrotik.moscow
    +7 495 320-55-52
    Заказать звонок
    Mikrotik.moscow
    Каталог
    • Акции
      Акции
    • Маршрутизаторы
      Маршрутизаторы
    • Коммутаторы
      Коммутаторы
    • Радиомосты и уличные точки доступа
      Радиомосты и уличные точки доступа
    • Wi-Fi для дома и офиса
      Wi-Fi для дома и офиса
    • LTE/5G
      LTE/5G
    • Powerline адаптеры
      Powerline адаптеры
    • IoT устройства
      IoT устройства
    • Оборудование 60 ГГц
      Оборудование 60 ГГц
    • Материнские платы RouterBOARD
      Материнские платы RouterBOARD
    • Корпуса
      Корпуса
    • Интерфейсы
      Интерфейсы
    • SFP/QSFP трансиверы
      SFP/QSFP трансиверы
    • Аксессуары
      Аксессуары
    • Антенны
      Антенны
    • Архив
      Архив
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Скачать WinBox Скачать Прошивки Форум > RouterOS Форум > SwOS Форум > Железо
    Mikrotik.moscow
    Каталог
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Mikrotik.moscow
    Телефоны
    +7 495 320-55-52
    Заказать звонок
    0
    0
    0
    Mikrotik.moscow
    • +7 495 320-55-52
      • Назад
      • Телефоны
      • +7 495 320-55-52
      • Заказать звонок
    • info@mikrotik.moscow
    • г. Москва, ул. Бакунинская, 84
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной


    • Кабинет
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    RouterOS
    Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

    Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением

    Форумы: RouterOS, Аппаратное обеспечение, SwOS, Обратная связь, Объявления, Сторонние инструменты
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Потеря пакетов!!! BOND (802.3ad) на BRIDGE с аппаратным ускорением, RouterOS
     
    iamGavinJ
    Guest
    #1
    0
    31.01.2023 23:11:00
    Привет! Я относительно новичок в ROS и, похоже, у меня есть пробелы в понимании, поэтому буду очень благодарен, если кто-нибудь объяснит, где я ошибаюсь.

    У меня есть CCR2004-16G-2S+. У меня настроен BRIDGE с BOND (802.3ad) в качестве порта-члена, который, в свою очередь, содержит два ETH-интерфейса в режиме slave, подключённых вверх по цепочке к Unifi USW-8. Все настройки в основном по умолчанию (включая ARP и HW Offload).

    Когда LAG поднялся, я заметил сумасшедшее количество потерь пакетов. При мониторинге BOND я видел, как флаги © и (D) постоянно срабатывают и сбрасываются. Отключение одного из slave-ETH устранило потери пакетов.

    BRIDGE <--> BOND <--> ETH01 <--> USW-8  
               <--> ETH02 <-->

    Потом я нашёл эту статью [ https://help.mikrotik.com/docs/display/ROS/Layer2+misconfiguration#Layer2misconfiguration-LAGinterfacesandloadbalancing ], где говорится про ARP и HW Offload, и решил заново настроить конфигурацию на другой стороне моего устройства, которая была полностью пустой — то есть без конкурирующих конфигов, использующих коммутаторный чип или HW Offload.

    Сначала я создал базовый BOND с двумя ETH, с настройками по умолчанию (ARP включён), и всё работало отлично — потерь пакетов не было. Потом создал BRIDGE и добавил туда BOND, перенёс IP-адрес с BOND на BRIDGE, и потери пакетов вернулись. Когда я отключил HW Offload для портов моста (BOND), всё снова стало нормально.

    Может кто-нибудь объяснить, что происходит в коммутаторном чипе с моей конфигурацией и почему отключение HW Offload решает проблему? И есть ли способ правильно перенастроить стек, чтобы использовать HW Offload без проблем?

    Большое спасибо!
     
     
     
    ourplan
    Guest
    #2
    0
    10.05.2023 16:51:00
    Похоже, у меня такая же проблема. После установления агрегации, когда я добавляю её в мост, приём работает нормально, а с передачей возникают проблемы — трафик забивается. Например: eth0 — 100 Мбит/с, eth1 — 30 Мбит/с. Поскольку eth0 работает на 100 Мбит/с на двух интерфейсах, это влияет на общий трафик, когда достигается максимальная пропускная способность.
     
     
     
    chechito
    Guest
    #3
    0
    10.05.2023 17:27:00
    До сих пор CCR2004-16G-2S+ — единственный продукт, использующий коммутирующий чип 88E6191X. Возможно, вы нашли баг.
     
     
     
    unlikely
    Guest
    #4
    0
    20.06.2023 21:23:00
    Думаю, у меня такая же проблема. CCR2004-16G-2S+ с одним мостом и двумя бондами в качестве двух портов (sfp+1&2, eth1&2). Когда включена аппаратная разгрузка для бонда, собранного из eth1+eth2, я замечаю сильную потерю пакетов в обоих бондах. Сегодня начал это замечать, хотя сознательно в конфигурации бондов, VLAN и прочего ничего не менял. Есть новости?
     
     
     
    wiseroute
    Guest
    #5
    0
    21.06.2023 01:17:00
    Интересно, сначала создал простой BOND с двумя ETH, с настройками по умолчанию (ARP включён), и всё работало нормально. Потерь пакетов не было. Потом создал BRIDGE, добавил в него BOND, перенёс IP-адрес с BOND на BRIDGE, и потери пакетов вернулись. Может проблема в работе STP на уровне моста? Ведь работа STP противоположна работе bond/lacp? Похоже, у меня та же проблема. После настройки bonding, когда я добавляю его в мост, приём (rx) в порядке, а передача (tx) вызывает проблемы. Трафик загружен полностью. Например: eth0 = 100 Мбит/с, eth1 = 30 Мбит/с. Хм... какой режим bonding ты использовал? CCR2004-16G-2S+ с одним мостом и двумя bond в качестве двух портов участников (sfp+1&2, eth1&2). Когда hw offload включён на bonding из eth1+eth2, замечаю значительные потери пакетов с обоих bond. У меня нет CCR. По техническим характеристикам — какой максимальный пропускной уровень? Может, процессор перегружается логикой bonding и количеством проходящего трафика? — Кстати, пробовал ли ты сделать 2 bond с одинаковой скоростью портов? Например, 2 по 2 порта по 100 Мбит/с или 1 с 4 портами по 100 Мбит/с?
     
     
     
    pe1chl
    Guest
    #6
    0
    19.07.2023 09:36:00
    Похоже, что проблема решилась после этого изменения. Я и собирался внести эту правку, так как EdPa раньше уже объяснял, что аппаратное ускорение для bonding-интерфейса вряд ли сильно поможет: Is 802.11ad bonding interface (by itself) hw offloaded? - #6 by EdPa. Тем не менее, это всё равно баг, который нужно исправить, потому что он приводит к потере времени на отладку. Если не работает — просто отключайте эту функцию (аппаратное ускорение).
     
     
     
    EdPa
    Guest
    #7
    0
    21.06.2023 08:30:00
    Не видел твою конфигурацию, но у тебя отключен RSTP на мосту CCR2004-16G-2S+? Можешь проверить, исчезает ли потеря пакетов, когда RSTP включен?  
    Правка: LACPDUs используют MAC-адрес назначения 01:80:C2:00:00:02, который не пересылается мостами, совместимыми со STP. Мое предположение — что «protocol-mode=none» вместе с аппаратным ускорением на чипах коммутатора 88E6393X, 88E6191X, 88E6190 неправильно их обрабатывает, из-за чего сбоит согласование LACP. При стандартном «protocol-mode=rstp» такие непересылаемые пакеты всегда направляются на CPU.
     
     
     
    wiseroute
    Guest
    #8
    0
    21.06.2023 10:08:00
    @edpa думаю, что эти авторы @unlikely и @iamgavinj, возможно, правы — добавление bond-интерфейса в мост вызывает потерю пакетов. Но, честно говоря, я не уверен насчёт их конфигурации и потерь в производительности, в то время как @ourplan — режим bond всё ещё под вопросом?

    Вывод — balance-rr без моста, на v7.9:

    [admin@sw2] > /tool/bandwidth-test 192.168.2.1 direction=both user=admin password=admin duration=5m

    3-минутный тест no-bridge-bond1

    [admin@sw1] > /interface/monitor-traffic bond1
                            имя:      bond1
           входящих пакетов в секунду:      83
              входящих бит в секунду:   1005.2...
        fp-входящих пакетов в секунду:      0
           fp-входящих бит в секунду:       0bps
            потеря входящих пакетов в секунду:       0
            ошибок при приёме в секунду:       0
           исходящих пакетов в секунду:      85
              исходящих бит в секунду:   997.1kbps
        fp-исходящих пакетов в секунду:      0
           fp-исходящих бит в секунду:       0bps
             потеря исходящих пакетов в секунду:       0
       потеря очереди передачи в секунду:      0
            ошибок при передаче в секунду:       0

    С bond внутри моста:

    [admin@sw1] > /interface/bonding/print detail
    Флаги: X - отключён; R - запущен
    0  R имя="bond1" mtu=1500 mac-адрес=50:00:00:01:00:00 arp=enabled arp-timeout=auto слейвы=ether1,ether2
         режим=balance-rr primary=none мониторинг-ссылки=mii интервал-arp=100ms arp-ip-цели="" интервал-mii=5s
         задержка-понижения=0ms задержка-повышения=0ms lacp-rate=30secs transmit-hash-policy=layer-2 min-links=0

    [admin@sw1] > /interface/bridge/print detail
    Флаги: X - отключён, R - запущен
    0 R имя="bridge-bond1" mtu=auto actual-mtu=1500 l2mtu=1500 arp=enabled arp-timeout=auto mac-адрес=50:00:00:01:00:00
        protocol-mode=rstp fast-forward=yes igmp-snooping=no auto-mac=yes ageing-time=5m priority=0x8000
        max-message-age=20s forward-delay=15s transmit-hold-count=6 vlan-filtering=no dhcp-snooping=no

    [admin@sw1] > /interface/bridge/port print
    Столбцы: ИНТЕРФЕЙС, МОСТ, HW, PVID, ПРИОРИТЕТ, PATH-COST, ВНУТРЕННИЙ-PATH-COST, HORIZON
    # ИНТЕРФЕЙС МОСТ          HW   PVID  ПРИОРИТЕТ PATH-COST ВНУТРЕННИЙ-PATH-COST HORIZON
    0 bond1      bridge-bond1  да     1  0x80        10              10          нет

    [admin@sw1] > /interface/monitor-traffic bridge-bond1
                            имя:  bridge-bond1
           входящих пакетов в секунду:          83
              входящих бит в секунду:     996.0kbps
        fp-входящих пакетов в секунду:          0
           fp-входящих бит в секунду:           0bps
             потеря входящих пакетов в секунду:       0
            ошибок при приёме в секунду:         0
           исходящих пакетов в секунду:          73
              исходящих бит в секунду:     884.1kbps
        fp-исходящих пакетов в секунду:          0
           fp-исходящих бит в секунду:           0bps
             потеря исходящих пакетов в секунду:       0
       потеря очереди передачи в секунду:     88596
            ошибок при передаче в секунду:       0

    -- [Q выход|D дамп|C-z пауза] rstp активирован. Это было на виртуалке, так что не отражает производительность железа.

    — редактирование: да, @gavin был прав — отключение hw-offload вроде временно решило проблему с ошибками и потерями.

    [admin@sw1] > /interface/bridge/port print detail
    Флаги: X - отключён, I - неактивен; D - динамический; H - hw-offload
    0     интерфейс=bond1 мост=bridge-bond1 приоритет=0x80 путь-стоимость=10 внутренняя-путь-стоимость=10 edge=auto
          point-to-point=auto learn=auto horizon=none hw=no auto-isolate=no restricted-role=no restricted-tcn=no pvid=1
          frame-types=admit-all ingress-filtering=yes unknown-unicast-flood=yes unknown-multicast-flood=yes
          broadcast-flood=yes tag-stacking=no bpdu-guard=no trusted=no multicast-router=temporary-query fast-leave=no

    [admin@sw1] > /interface/monitor-traffic bridge-bond1 duration=1m
                            имя:  bridge-bond1
           входящих пакетов в секунду:          80
              входящих бит в секунду:     960.0kbps
        fp-входящих пакетов в секунду:          0
           fp-входящих бит в секунду:           0bps
             потеря входящих пакетов в секунду:       0
            ошибок при приёме в секунду:         0
           исходящих пакетов в секунду:          82
              исходящих бит в секунду:     993.1kbps
        fp-исходящих пакетов в секунду:          0
           fp-исходящих бит в секунку:           0bps
             потеря исходящих пакетов в секунду:       0
       потеря очереди передачи в секунду:       0
            ошибок при передаче в секунду:         0
     
     
     
    EdPa
    Guest
    #9
    0
    21.06.2023 11:50:00
    @wiseroute спасибо, но, похоже, мы обсуждаем разные вещи. Изменение настройки «hw=yes/no» на CHR мостах ни на что не повлияет. Небольшие колебания в килобитах в секунду и появление сбоев в очереди передачи, скорее всего, связаны с достижением максимального лимита интерфейса в 1 Мбит/с.
     
     
     
    wiseroute
    Guest
    #10
    0
    21.06.2023 12:07:00
    @edpa, согласен. Лаборатория на виртуальной машине не отражает реальную производительность железа. Но если внимательно посмотреть на ошибки/потери tx-rx между мостовым bonded-интерфейсом и обычным bonded-интерфейсом, думаю, что ошибки и потери будут довольно значительными при высокой нагрузке трафика. Опять же, я просто использую balance-rr, про результаты других вариантов ничего не знаю.
     
     
     
    pe1chl
    Guest
    #11
    0
    18.07.2023 16:39:00
    Похоже, что я тоже столкнулся с этой проблемой на интерфейсе bonding 802.3ad на роутере CCR2004-16G-2S+. Я бы не сказал, что потери пакетов «огромные», но потери, без сомнения, есть. Иногда наблюдаются задержки трафика порядка 500–700 мс, например, при пинге фиксированного адреса. Возможно, когда это происходит, и нагрузка высокая, возникает потеря пакетов из-за переполнения буфера? В течение рабочего дня, подключаясь по VNC к рабочему столу через роутер, заметил, что сессия иногда замирает на пару секунд, а потом продолжается. Также были жалобы на «сбои вызовов» у пользователей WiFi звонков (в помещении 4G покрытие слабое, поэтому телефоны используют именно WiFi). Создаётся впечатление, что трафик иногда на некоторое время «затаивается». Включал RSTP на мосту — эффекта нет. Но до этого статус 802.11ad уже показывал OK с обеих сторон (роутер и коммутатор Aruba). Есть ли какие-то успехи в решении этого вопроса, @EdPa?
     
     
     
    wiseroute
    Guest
    #12
    0
    18.07.2023 17:34:00
    @pe1chl Наверное, когда это происходит и нагрузка достаточно велика, результатом становится потеря пакетов из-за переполнения буфера? Можешь попробовать то, что предложил @gavinj — hw=no?
     
     
     
    pe1chl
    Guest
    #13
    0
    18.07.2023 17:59:00
    Пока я убрал мост, так что интерфейс объединения используется напрямую (с VLAN-интерфейсами сверху). Это также отключило аппаратное ускорение. Поскольку офис сейчас закрыт, проверить, решена ли проблема, стало сложнее.
     
     
     
    Страницы: 1
    Читают тему
    +7 495 320-55-52
    info@mikrotik.moscow
    Электрозаводская, Бауманская
    Москва, ул. Бакунинская, 84с21
    Конфиденциальность Оферта
    © 2026 «Mikrotik.Moscow»
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры