Балансировка нагрузки на каждый пакет, поддерживаемая провайдером (ISP)

Привет! После того как заказали вторую DSL-линию и роутер Mikrotik, наконец-то запустили балансировку нагрузки. Осталась только одна маленькая проблема, но сначала немного поясню.  

Правила mangle для файрвола:  
chain=prerouting action=mark-packet new-packet-mark=odd passthrough=yes src-address=195.78.85.200/29 nth=2,1  
chain=prerouting action=mark-routing new-routing-mark=gw1 passthrough=yes src-address=195.78.85.200/29 packet-mark=odd  
chain=prerouting action=mark-packet new-packet-mark=even passthrough=yes src-address=195.78.85.200/29 nth=2,2  
chain=prerouting action=mark-routing new-routing-mark=gw2 passthrough=yes src-address=195.78.85.200/29 packet-mark=even  

Как видите, манглинг делается в два шага: сначала пакетам присваивается метка (нечётная или чётная), затем в соответствии с этим ставится метка маршрутизации (gw1 или gw2). И ещё: формат nth изменился — теперь в новых версиях RouterOS в нём только два параметра, а не три.  

Таблица маршрутизации:  
0 A S  0.0.0.0/0                          pppoe-out1         gw1       1  
1 1   S  0.0.0.0/0                          pppoe-out2         gw1      2  
2 2 A S  0.0.0.0/0                          pppoe-out2         gw2      1  
3   S  0.0.0.0/0                          pppoe-out1         gw2       2  
4 ADC  195.78.85.200/29   195.78.85.206   bridge1                   0  
5 ADC  195.232.191.2/32   195.99.21.3   pppoe-out2                0  
pppoe-out1  

Последние два маршрута добавляются автоматически. Концепция работает и даёт отличную производительность! Потерь почти нет, обе линии вместе дают двойную пропускную способность одной — в обе стороны. Всё шло отлично, но есть маленькая загвоздка: Cisco-роутер на другой стороне иногда роутит весь трафик только через одну из двух DSL-линий. Похоже, он «думает», что вторая линия упала.  

Проблема появляется сразу после подключения второй линии (неважно, pppoe-out1 или pppoe-out2), тогда все входящие пакеты идут только через одну линию. Решается это отключением и повторным подключением «работающей» линии, но шанс 50/50, что ситуация повторится. Если обе линии начинают нормально принимать трафик — всё отлично, пока одна из линий снова не переподключится.  

Провайдер говорит, что проблема в том, что два pppoe-интерфейса нашего роутера (195.99.21.3 и 195.99.20.83) с внешней сети не пингуются. И это действительно так — метки маршрутизации ставятся только на маршрутизируемые пакеты, а не на исходящие пакеты. Поэтому роутер не имеет дефолтного шлюза для собственных пакетов.  

Это немного раздражает, так как каждые 24 часа происходит автоматическое отключение — после чего есть 50% шанс, что только одна линия будет принимать входящие пакеты.  

Есть идеи? Спасибо!

Ок, подтверждаю. Моя ошибка, думал, что для балансировки нагрузки по пакетам нужен “mark-packet”. На самом деле работает и с “mark-routing” и напрямую с nth. Спасибо. Видимо, именно роутер Cisco (195.232.191.2) выполняет проверку линии. Вот вывод команд:

[admin@MikroTik] > /ip address print detail
Флаги: X - отключен, I - недействителен, D - динамический  
0 address=195.78.85.206/29 network=195.78.85.200 interface=bridge1  
  actual-interface=bridge1  

1 D address=195.99.20.83/32 network=195.232.191.2 interface=pppoe-out2  
  actual-interface=pppoe-out2  

2 D address=195.99.21.3/32 network=195.232.191.2 interface=pppoe-out1  
  actual-interface=pppoe-out1  

[admin@MikroTik] > /ip route print detail
Флаги: X - отключен, A - активен, D - динамический,  
C - подключен, S - статический, r - rip, b - bgp, o - ospf, m - mme,  
B - blackhole, U - недоступен, P - запрещён  

0 A S  dst-address=0.0.0.0/0 gateway=pppoe-out1 gateway-status=pppoe-out1 reachable  
   distance=1 scope=30 target-scope=10 routing-mark=gw1  

1   S  dst-address=0.0.0.0/0 gateway=pppoe-out2 gateway-status=pppoe-out2 reachable  
   distance=2 scope=30 target-scope=10 routing-mark=gw1  

2 A S  dst-address=0.0.0.0/0 gateway=pppoe-out2 gateway-status=pppoe-out2 reachable  
   distance=1 scope=30 target-scope=10 routing-mark=gw2  

3   S  dst-address=0.0.0.0/0 gateway=pppoe-out1 gateway-status=pppoe-out1 reachable  
   distance=2 scope=30 target-scope=10 routing-mark=gw2  

4 ADC  dst-address=195.78.85.200/29 pref-src=195.78.85.206 gateway=bridge1  
   gateway-status=bridge1 reachable distance=0 scope=10  

5 ADC  dst-address=195.232.191.2/32 pref-src=195.99.20.83 gateway=pppoe-out2,pppoe-out1  
   gateway-status=pppoe-out2 reachable,pppoe-out1 reachable distance=0 scope=10  

(все адреса слегка изменены)  

Пункт маршрута №5 может быть проблемой — он устанавливает исходящий IP на IP одного из pppoe интерфейсов (в данном примере pppoe-out2). Если я пингану Cisco со своей стороны, получаю:

[admin@MikroTik] > ping 195.232.191.2 interface=pppoe-out1
HOST                SIZE TTL TIME  STATUS  
195.232.191.2             timeout  
195.232.191.2             timeout  
отправлено=2 получено=0 потеря пакетов=100%  

[admin@MikroTik] > ping 195.232.191.2 interface=pppoe-out2
HOST                SIZE TTL TIME  STATUS  
195.232.191.2         56  255 13ms  
195.232.191.2         56  255 13ms  
195.232.191.2         56  255 13ms  
отправлено=3 получено=3 потеря пакетов=0% min-rtt=13ms avg-rtt=13ms max-rtt=13ms  

Так что, похоже, в этом и есть причина. Большое спасибо!

Попробуйте исключить IP-адреса из подсетей WAN-ссылок из любой политики маршрутизации:  
/ip firewall address-list  
add list=wan-links address=195.99.21.0/30  
add list=wan-links address=195.99.20.80/30  
/ip firewall mangle  
add chain=prerouting src-address=wan-links action=accept  
add chain=prerouting dst-address=wan-links action=accept  

Это при условии, что вы не натите трафик на IP-адресах ваших WAN-ссылок, что, как мне кажется, не так, учитывая, что у вас через них маршрутизируется публичное IP-пространство.

Извини, я одновременно делал слишком много дел, когда писал тот пост. Конечно, у тебя используется PPPoE, значит нет /30-ссылок, и в этом нет особого смысла. В общем, тебе нужно попытаться выяснить, с какого IP-адреса Cisco-маршрутизатор на другой стороне будет пинговать твои концы каналов, провайдер, надеюсь, тоже может помочь с этим. Потом добавь этот (или эти) исходные IP в список адресов вместе с IP твоей стороны и используй правила обхода роутинга, которые я выкладывал, в сочетании с этим обновлённым списком. По сути, ты пытаешься сказать: «весь трафик между двумя маршрутизаторами не должен подвергаться nth». Самый простой способ — сделать mangle-правила выше правил nth обхода роутинга, которые просто принимают трафик, который ты не хочешь, чтобы подвергался nth. Удалить preferred source нельзя, потому что запись динамическая. Проблема, скорее всего, в том, что Cisco-маршрутизатор на другой стороне даёт тебе одинаковый /32 со своей стороны на обоих PPPoE-ссылках, хотя твои концы получают разные IP. Может, провайдер может выдать тебе другой /32, который использовать в качестве шлюза по умолчанию на второй линии, и тогда просто используешь ECMP с двумя маршрутами по умолчанию? Как правило, с этим бывают проблемы, если делать NAT против IP-адресов линий, но у тебя этого нет, так что ECMP должен работать без проблем.

К сожалению, этот маршрут как-то становится неактивным, если один из интерфейсов отключается. В WinBox это не отображается (маршрут по-прежнему показан чёрным), но WAN-адреса просто перестают пинговаться. Приходится перезапускать маршрут вручную. Есть ли способ сделать это автоматически? Сначала казалось, что это мелкая проблема, но, возможно, она и есть основная: новый маршрут по умолчанию №4 сразу же становится неработоспособным после того, как один из интерфейсов отключился и включился, и в результате оба интерфейса оказываются недоступны по пингу. Именно в этот момент роутер провайдера пытается их пинговать. Маршрут при этом вроде бы не отключен. Я провёл анализ трафика и выяснил, что в такой ситуации, если ICMP-пакет приходит на pppoe-out1, он выходит через pppoe-out2, и наоборот, то есть маршрут почему-то перепутывается. Может, это баг в RouterOS? Перезапуск маршрута решает проблему — ICMP-пакеты, приходящие на pppoe-out1, снова уходят через pppoe-out1 и наоборот. Теперь мой вопрос: как обновить статический маршрут после повторного поднятия PPPoE-интерфейса? Или может, я могу написать скрипт, который будет обновлять маршрут после поднятия PPPoE-интерфейса? (на Linux для этого можно использовать скрипт в ip-up.d). Вот ещё раз таблица маршрутизации:

[admin@MikroTik] > ip route print detail
Flags: X - отключён, A - активен, D - динамический,  
C - подключён, S - статический, r - rip, b - bgp, o - ospf, m - mme,  
B - blackhole, U - недоступен, P - запрещён  

0 A S  dst-address=0.0.0.0/0 gateway=pppoe-out1 gateway-status=pppoe-out1  
      distance=1 scope=30 target-scope=10 routing-mark=gw1  

1   S  dst-address=0.0.0.0/0 gateway=pppoe-out2 gateway-status=pppoe-out2  
      distance=2 scope=30 target-scope=10 routing-mark=gw1  

2 A S  dst-address=0.0.0.0/0 gateway=pppoe-out2 gateway-status=pppoe-out2  
      distance=1 scope=30 target-scope=10 routing-mark=gw2  

3   S  dst-address=0.0.0.0/0 gateway=pppoe-out1 gateway-status=pppoe-out1  
      distance=2 scope=30 target-scope=10 routing-mark=gw2  

4 A S  dst-address=0.0.0.0/0 gateway=pppoe-out1,pppoe-out2  
      gateway-status=pppoe-out1 reachable,pppoe-out2 reachable distance=  
      target-scope=10  

5 ADC  dst-address=195.78.85.200/29 pref-src=195.78.85.206 gateway=bridge  
      gateway-status=bridge1 reachable distance=0 scope=10  

6 ADC  dst-address=195.232.191.2/32 pref-src=195.99.20.93 gateway=pppoe-  
      gateway-status=pppoe-out2 reachable,pppoe-out1 reachable distance=  

Маршрут №4 перестаёт работать после перезапуска одного из интерфейсов. Спасибо.