+7 495 320-55-52
- Назад
- Телефоны
- +7 495 320-55-52
- Заказать звонок
info@mikrotik.moscow
г. Москва, ул. Бакунинская, 84
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Резервирование между двумя провайдерами с использованием шлюзов с одинаковым IP (ранее NAT-трафик к VRF)

Резервирование между двумя провайдерами с использованием шлюзов с одинаковым IP (ранее NAT-трафик к VRF), RouterOS

mtest001

Guest

15.10.2023 17:04:00

Всем привет, у меня проблемы с настройкой, которая выглядит так: у меня есть 2 провайдера, и оба дали домашние роутеры, заблокированные на 192.168.1.1. Я хочу сделать простой фейловер между двумя провайдерами (Orange и Starlink) с помощью моего Mikrotik. Я думал, что это будет так же просто, как поместить два роутера в разные VRF и позволить Mikrotik делать маршрутизацию и NAT.
(LAN - 192.168.2.0/24) --- (ether3/4/5) --- MK -- (ether1) --- (VRF-ORANGE - 192.168.1.0/24 gw 192.168.1.1)
|
-- (ether2) --- (VRF-STARLINK - 192.168.1.0/24 gw 192.168.1.1)

К сожалению, маршрутизация вроде работает, но пакеты из LAN в VRF не NATятся. При помощи анализа трафика вижу, что в VRF пакеты идут с IP из LAN. Вот моя конфигурация (обратите внимание, я пытаюсь заставить работать vrf-orange, поэтому для другого VRF настройки отсутствуют или отключены):
IP Mikrotik в LAN — 192.168.2.211, в vrf-orange — 192.168.1.211, в vrf-starlink — 192.168.1.212

/ip vrf
add comment="vrf vers starlink" interfaces=ether2 name=vrf-starlink
add comment="vrf vers livebox" interfaces=ether1 name=vrf-orange

/interface bridge port
add bridge=bridge comment=defconf interface=ether3
add bridge=bridge comment=defconf interface=ether4
add bridge=bridge comment=defconf interface=ether5
add bridge=bridge comment=defconf disabled=yes interface=sfp1
add bridge=bridge disabled=yes interface=ether1
add bridge=bridge disabled=yes interface=ether2

/interface list member
add comment=defconf interface=bridge list=LAN
add interface=sfp1 list=WAN
add interface=ether1 list=WAN
add interface=ether3 list=LAN
add interface=ether4 list=LAN
add interface=ether5 list=LAN

/ip address
add address=192.168.1.211/24 comment=orange interface=ether1 network=192.168.1.0
add address=192.168.1.212/24 comment=starlink disabled=yes interface=ether2 network=192.168.1.0
add address=192.168.2.211/24 comment=bridge interface=bridge network=192.168.2.0

/ip firewall filter
add action=accept chain=input comment="defconf: accept established,related,untracked" connection-state=established,related,untracked
add action=drop chain=input comment="defconf: drop invalid" connection-state=invalid
add action=accept chain=input comment="defconf: accept ICMP" protocol=icmp
add action=accept chain=input comment="defconf: accept to local loopback (for CAPsMAN)" dst-address=127.0.0.1
add action=drop chain=input comment="defconf: drop all not coming from LAN" in-interface-list=!LAN
add action=accept chain=forward comment="defconf: accept in ipsec policy" ipsec-policy=in,ipsec
add action=accept chain=forward comment="defconf: accept out ipsec policy" ipsec-policy=out,ipsec
add action=fasttrack-connection chain=forward comment="defconf: fasttrack" connection-state=established,related hw-offload=yes
add action=accept chain=forward comment="defconf: accept established,related, untracked" connection-nat-state="" connection-state=established,related,untracked
add action=drop chain=forward comment="defconf: drop invalid" connection-state=invalid
add action=drop chain=forward comment="defconf: drop all from WAN not DSTNATed" connection-nat-state=!dstnat connection-state=new in-interface-list=WAN

/ip firewall nat
add action=masquerade chain=srcnat out-interface-list=WAN

/ip route
add disabled=no distance=1 dst-address=0.0.0.0/0 gateway=192.168.1.1@vrf-orange pref-src="" routing-table=main suppress-hw-offload=no
add disabled=no distance=1 dst-address=0.0.0.0/0 gateway=192.168.1.1@vrf-orange pref-src="" routing-table=vrf-orange suppress-hw-offload=no vrf-interface=ether1

mtest001

Guest

30.10.2023 15:41:00

Итак, рад подтвердить, что оба решения были протестированы «в реальных условиях» и оба работают отлично. Второе решение с прямыми точечными связями подходит мне гораздо больше, потому что там нет NAT. Интересно, что прокси-ARP мне пришлось настроить только на исходящем интерфейсе, в отличие от того, что я видел при тестах в своей виртуальной среде. Возможно, потому что CHR плохо эмулирует уровень 2.

jaclaz

Guest

31.10.2023 08:57:00

Хорошо. Можешь поделиться своей полной финальной конфигурацией(ями) (естественно, анонимизированной/с изменёнными IP, если нужно) для ориентира? Мне как-то удалось установить GNS3 и образ CHR на запасном компьютере с Windows 7 (это было не так просто из-за причуд в версиях GNS3 между программой и сервером, а также из-за «умного» решения хороших ребят из Python прекратить поддержку Windows 7 в Python 3.9) и хотелось бы начать пробовать твой подход. Ты использовал версию CHR 7.11.2?

Снаружи решение #1 (с использованием vrf) кажется более «логичным», но вариант №2 с proxy-arp, похоже, проще в реализации.

И ещё вопрос: ты реализуешь (если я правильно понимаю и не путаю термины) «простой» фейловер на основе PCC (расстояния до шлюза), будет ли это работать, если интернет (а не роутер/модем провайдера) упадёт? Или тогда нужно будет добавить рекурсивную проверку или netwatch, или какой-то другой более сложный механизм, чтобы запустить фейловер в таком случае?
jaclaz

mtest001

Guest

06.11.2023 08:02:00

Хорошо заметили, спасибо, я этого не замечал. Думаю, что часть информации действительно осталась после первых тестов с использованием VRF. С тех пор я удалил VRF, и, вероятно, поэтому «routing-table=*2». Интересно, что несмотря на это, моя конфигурация работает как задумано, так что, видимо, маршрутизатор, не понимая настройки, связанную с VRF, просто решил добавить маршрут в основную таблицу.

jaclaz

Guest

06.11.2023 09:31:00

Хорошо, спасибо. Играя в GNS3, я быстро понял, что для экспериментов лучше удалить виртуальный маршрутизатор CHR и начать с нового, потому что могут остаться следы предыдущих тестов, которые, даже если и не влияют на работу нового эксперимента, заставляют некоторые записи выглядеть «странно». Тем временем я протестировал конфигурацию на основе твоей с VRF, и она, похоже, работает отлично — это практически единственный пример с VRF, который я смог найти и при этом понять, как всё устроено. Следующий шаг — проверить конфигурацию на базе твоего второго варианта, отпишусь, если получится. Ещё раз спасибо. jaclaz

jaclaz

Guest

22.11.2023 16:22:00

Окей, мне (отчасти) удалось воспроизвести вашу вторую схему в GNS3, и хорошая новость в том, что она (отчасти) работает. Я добавил два «очень простых» роутера между «главным» роутером (который я назвал «Router0_proxy_arp») и «Облаком» GNS3, присвоив им ваши имена — «Orange» и «Starlink» и изменил адреса из 192.168.1.x на 192.168.2.x. Схема во вложении. В этой конфигурации только ether1 и ether2 роутера «Router0_proxy_arp» нужно выставить в arp=proxy-arp, И при этом всё отлично работает БЕЗ двух статических arp-записей, которые вы добавляли в оригинальной конфигурации — записи arp добавляются динамически.

Конфигурация роутера «Orange» (максимально простая):

[admin@Orange] > /export
# 2023-11-22 15:40:23 by RouterOS 7.11.2
# software id =
#
/interface ethernet
set [ find default-name=ether1 ] disable-running-check=no
set [ find default-name=ether2 ] disable-running-check=no
set [ find default-name=ether3 ] disable-running-check=no
set [ find default-name=ether4 ] disable-running-check=no
set [ find default-name=ether5 ] disable-running-check=no
set [ find default-name=ether6 ] disable-running-check=no
set [ find default-name=ether7 ] disable-running-check=no
set [ find default-name=ether8 ] disable-running-check=no
/disk
set slot1 slot=slot1 type=hardware
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/port
set 0 name=serial0
/ip address
add address=192.168.1.254/24 interface=ether1 network=192.168.1.0
add address=192.168.2.1/24 interface=ether2 network=192.168.2.0
/ip firewall nat
add action=masquerade chain=srcnat out-interface=ether1
/ip route
add gateway=192.168.1.1
/system identity
set name=Orange
/system note
set show-at-login=no

Конфигурация роутера «Starlink»:

[admin@Starlink] > /export
# 2023-11-22 15:42:25 by RouterOS 7.11.2
# software id =
#
/interface ethernet
set [ find default-name=ether1 ] disable-running-check=no
set [ find default-name=ether2 ] disable-running-check=no
set [ find default-name=ether3 ] disable-running-check=no
set [ find default-name=ether4 ] disable-running-check=no
set [ find default-name=ether5 ] disable-running-check=no
set [ find default-name=ether6 ] disable-running-check=no
set [ find default-name=ether7 ] disable-running-check=no
set [ find default-name=ether8 ] disable-running-check=no
/disk
set slot1 slot=slot1 type=hardware
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/port
set 0 name=serial0
/ip address
add address=192.168.1.253/24 interface=ether1 network=192.168.1.0
add address=192.168.2.1/24 interface=ether2 network=192.168.2.0
/ip firewall nat
add action=masquerade chain=srcnat out-interface=ether1
/ip route
add gateway=192.168.1.1
/system identity
set name=Starlink
/system note
set show-at-login=no

Конфигурация «главного» роутера «Router0_proxy_arp»:

[admin@Router0_proxy_arp] > /export
# 2023-11-22 15:44:47 by RouterOS 7.11.2
# software id =
#
/interface bridge
add comment=defconf name=bridge protocol-mode=none
/interface ethernet
set [ find default-name=ether1 ] arp=proxy-arp disable-running-check=no
set [ find default-name=ether2 ] arp=proxy-arp disable-running-check=no
set [ find default-name=ether3 ] disable-running-check=no
set [ find default-name=ether4 ] disable-running-check=no
set [ find default-name=ether5 ] disable-running-check=no
set [ find default-name=ether6 ] disable-running-check=no
set [ find default-name=ether7 ] disable-running-check=no
set [ find default-name=ether8 ] disable-running-check=no
/disk
set slot1 slot=slot1 type=hardware
/interface list
add comment=defconf name=WAN
add comment=defconf name=LAN
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/port
set 0 name=serial0
/interface bridge port
add bridge=bridge comment=defconf interface=ether3
add bridge=bridge comment=defconf interface=ether4
add bridge=bridge comment=defconf interface=ether5
/ip neighbor discovery-settings
set discover-interface-list=LAN
/interface list member
add comment=defconf interface=bridge list=LAN
add interface=ether1 list=WAN
add interface=ether2 list=WAN
add interface=ether3 list=LAN
add interface=ether4 list=LAN
add interface=ether5 list=LAN
/ip address
add address=192.168.2.221 comment=orange interface=ether1 network=192.168.2.1
add address=192.168.2.222 comment=starlink interface=ether2 network=192.168.2.1
add address=192.168.2.211/24 comment=bridge interface=bridge network=192.168.2.0
/ip dhcp-client
add interface=ether1
/ip route
add disabled=no distance=1 dst-address=0.0.0.0/0 gateway=192.168.2.1%ether1
add distance=2 gateway=192.168.2.1%ether2
/system identity
set name=Router0_proxy_arp
/system note
set show-at-login=no

Теперь я могу пинговать и трассировать 8.8.8.8 с двух виртуальных ПК, с тестового роутера и, конечно, с Orange, Starlink и Router0_proxy_arp, хотя всё ещё не до конца понимаю, как и почему это работает (но могу подтвердить, что если включить ether 1/2 на Router0_proxy_arp, соединения теряются, так что proxy-arp действительно творит чудеса). В обычном режиме маршруты на Router0_proxy_arp выглядят так:

[admin@Router0_proxy_arp] /ip/arp> /ip route print
Flags: D - DYNAMIC; A - ACTIVE; c - CONNECT, s - STATIC; + - ECMP
Columns: DST-ADDRESS, GATEWAY, DISTANCE
# DST-ADDRESS GATEWAY DISTANCE
0 As 0.0.0.0/0 192.168.2.1%ether1 1
1 s 0.0.0.0/0 192.168.2.1%ether2 2
DAc 192.168.2.0/24 bridge 0
DAc+ 192.168.2.1/32 ether2 0
DAc+ 192.168.2.1/32 ether1 0

Выключение роутера «Orange» не меняет маршруты. Отключение ссылки в GNS3 между Router0_proxy_arp и «Orange» быстро меняет маршруты на:

[admin@Router0_proxy_arp] /ip/arp> /ip route print
Flags: D - DYNAMIC; I - INACTIVE, A - ACTIVE; c - CONNECT, s - STATIC; H - HW-OFFLOADED
Columns: DST-ADDRESS, GATEWAY, DISTANCE
# DST-ADDRESS GATEWAY DISTANCE
0 IsH 0.0.0.0/0 192.168.2.1%ether1 1
1 As 0.0.0.0/0 192.168.2.1%ether2 2
DAc 192.168.2.0/24 bridge 0
DAc 192.168.2.1/32 ether2 0
DIcH 192.168.2.1/32 ether1 0

(что и ожидалось). Возобновление ссылки в GNS3 быстро возвращает маршруты обратно. Аналогично, если отключить и включить ether1 на Router0_proxy_arp. Если отключить ether2 на роутере «Orange», маршруты не меняются. Так что, по крайней мере в этой симуляции GNS3, функция отказоустойчивости работает как-то «странно». Посмотрю, удастся ли поэкспериментировать с более «продвинутыми» методами failover.

mtest001

Guest

23.11.2023 08:56:00

Поздравляю с настройкой. У меня был похожий опыт в моей симулированной среде, когда отключение одного из двух граничных роутеров не вызывало изменения в таблице маршрутизации. Думаю, это из-за того, что виртуальная среда не может в точности воспроизвести уровень 1, как это происходило бы в реальной жизни. Твоя настройка выглядит нормально.

jaclaz

Guest

23.11.2023 09:36:00

Да, я тоже считаю, что это поведение — баг в программном обеспечении симуляции/эмуляции. К сожалению, меня сейчас не за что хвалить, вся заслуга — ваша, я просто переписал вашу настройку, и до сих пор пытаюсь понять, как и почему это работает.

Честно говоря, я делаю всё через telnet/putty в командной строке, и этот командный интерфейс оказался гораздо лучше (относительно просто работать), чем я ожидал. Хотя, на мой взгляд, там не хватает некоторой логики в путях и командах, и как новичку мне кажется, что это как будто отделено от логики — что, с одной стороны, нормально, ведь логика сложная, часто неясная, а документация либо отсутствует, либо непонятна, либо разбросана по множеству статей в вики, редким полным примерам на форуме или полурандомным плохим видео на Youtube и статьям в блогах.

Это немного напоминает время, когда я учился создавать загрузочные .iso с помощью mkisofs — раз инструмент тоже родом из Linux, то, наверное, это нормально.

Сейчас я в той фазе, когда кидаю всё, что приходит в голову, и смотрю, что сработает. Когда что-то работает — я не уверен, понимаю ли, как и почему, а когда что-то не работает — у меня много проблем с пониманием, почему так происходит. Но я медленно продвигаюсь и многим обязан вам, так что спасибо ещё раз.

mtest001

Guest

04.11.2023 15:28:00

Вот моя конфигурация. Можете не обращать внимания на часть с файрволом — она полностью совпадает с конфигурацией по умолчанию. Важные моменты:

/interface ethernet: включение proxy-arp на PTP интерфейсах
/interface bridge port: добавление в мост только LAN интерфейсов и удаление WAN интерфейсов
/interface list member: определение, какие интерфейсы WAN, а какие LAN (используется файрволом)
/ip address: здесь заданы PTP-ссылки
/ip arp: задаём MAC-адреса удалённых концов PTP-ссылок

# 2023-11-04 11:04:33 RouterOS 7.11.2
# software id = RGXD-FX2Y
# model = RB760iGS

/interface bridge
add admin-mac=48:8F:5A:XX:XX:XX auto-mac=no comment=defconf name=bridge protocol-mode=none
/interface ethernet
set [ find default-name=ether1 ] arp=proxy-arp
set [ find default-name=ether2 ] arp=proxy-arp
/interface list
add comment=defconf name=WAN
add comment=defconf name=LAN
/ip pool
add name=default-dhcp ranges=192.168.88.10-192.168.88.254
add name=dhcp-192-168-1 ranges=192.168.1.100-192.168.1.199
/ip dhcp-server
add address-pool=dhcp-192-168-1 comment=dchp-server interface=bridge name=dchp-server
/port
set 0 name=serial0
/interface bridge port
add bridge=bridge comment=defconf interface=ether3
add bridge=bridge comment=defconf interface=ether4
add bridge=bridge comment=defconf interface=ether5
add bridge=bridge comment=defconf disabled=yes interface=sfp1
/ip neighbor discovery-settings
set discover-interface-list=LAN
/interface list member
add comment=defconf interface=bridge list=LAN
add interface=sfp1 list=WAN
add interface=ether1 list=WAN
add interface=ether3 list=LAN
add interface=ether4 list=LAN
add interface=ether5 list=LAN
add interface=ether2 list=WAN
/ip address
add address=192.168.1.221 comment=orange interface=ether1 network=192.168.1.1
add address=192.168.1.222 comment=starlink interface=ether2 network=192.168.1.1
add address=192.168.1.211/24 comment=bridge interface=bridge network=192.168.1.0
/ip arp
add address=192.168.1.1 interface=ether1 mac-address=7C:C1:77:XX:XX:XX
add address=192.168.1.1 interface=ether2 mac-address=74:24:9F:XX:XX:XX
/ip dhcp-client
add comment=defconf interface=sfp1
/ip dhcp-server network
add address=192.168.1.0/24 comment=defconf dns-server=9.9.9.9 gateway=192.168.1.211 netmask=24
/ip dns
set allow-remote-requests=yes servers=9.9.9.9
/ip firewall filter
add action=accept chain=input comment="defconf: accept established,related,untracked" connection-state=established,related,untracked
add action=drop chain=input comment="defconf: drop invalid" connection-state=invalid
add action=accept chain=input comment="defconf: accept ICMP" protocol=icmp
add action=accept chain=input comment="defconf: accept to local loopback (for CAPsMAN)" dst-address=127.0.0.1
add action=drop chain=input comment="defconf: drop all not coming from LAN" in-interface-list=!LAN
add action=accept chain=forward comment="defconf: accept in ipsec policy" ipsec-policy=in,ipsec
add action=accept chain=forward comment="defconf: accept out ipsec policy" ipsec-policy=out,ipsec
add action=fasttrack-connection chain=forward comment="defconf: fasttrack" connection-state=established,related hw-offload=yes
add action=accept chain=forward comment="defconf: accept established,related, untracked" connection-nat-state="" connection-state=established,related,untracked
add action=drop chain=forward comment="defconf: drop invalid" connection-state=invalid
add action=drop chain=forward comment="defconf: drop all from WAN not DSTNATed" connection-nat-state=!dstnat connection-state=new in-interface-list=WAN
/ip route
add disabled=no distance=2 dst-address=0.0.0.0/0 gateway=192.168.1.1%ether1 pref-src="" routing-table=*2 suppress-hw-offload=no vrf-interface=ether1
add distance=1 dst-address=0.0.0.0/0 gateway=192.168.1.1%ether2
/ipv6 firewall address-list
add address=::/128 comment="defconf: unspecified address" list=bad_ipv6
add address=::1/128 comment="defconf: lo" list=bad_ipv6
add address=fec0::/10 comment="defconf: site-local" list=bad_ipv6
add address=::ffff:0.0.0.0/96 comment="defconf: ipv4-mapped" list=bad_ipv6
add address=::/96 comment="defconf: ipv4 compat" list=bad_ipv6
add address=100::/64 comment="defconf: discard only " list=bad_ipv6
add address=2001:db8::/32 comment="defconf: documentation" list=bad_ipv6
add address=2001:10::/28 comment="defconf: ORCHID" list=bad_ipv6
add address=3ffe::/16 comment="defconf: 6bone" list=bad_ipv6
/ipv6 firewall filter
add action=accept chain=input comment="defconf: accept established,related,untracked" connection-state=established,related,untracked
add action=drop chain=input comment="defconf: drop invalid" connection-state=invalid
add action=accept chain=input comment="defconf: accept ICMPv6" protocol=icmpv6
add action=accept chain=input comment="defconf: accept UDP traceroute" port=33434-33534 protocol=udp
add action=accept chain=input comment="defconf: accept DHCPv6-Client prefix delegation." dst-port=546 protocol=udp src-address=fe80::/10
add action=accept chain=input comment="defconf: accept IKE" dst-port=500,4500 protocol=udp
add action=accept chain=input comment="defconf: accept ipsec AH" protocol=ipsec-ah
add action=accept chain=input comment="defconf: accept ipsec ESP" protocol=ipsec-esp
add action=accept chain=input comment="defconf: accept all that matches ipsec policy" ipsec-policy=in,ipsec
add action=drop chain=input comment="defconf: drop everything else not coming from LAN" in-interface-list=!LAN
add action=accept chain=forward comment="defconf: accept established,related,untracked" connection-state=established,related,untracked
add action=drop chain=forward comment="defconf: drop invalid" connection-state=invalid
add action=drop chain=forward comment="defconf: drop packets with bad src ipv6" src-address-list=bad_ipv6
add action=drop chain=forward comment="defconf: drop packets with bad dst ipv6" dst-address-list=bad_ipv6
add action=drop chain=forward comment="defconf: rfc4890 drop hop-limit=1" hop-limit=equal:1 protocol=icmpv6
add action=accept chain=forward comment="defconf: accept ICMPv6" protocol=icmpv6
add action=accept chain=forward comment="defconf: accept HIP" protocol=139
add action=accept chain=forward comment="defconf: accept IKE" dst-port=500,4500 protocol=udp
add action=accept chain=forward comment="defconf: accept ipsec AH" protocol=ipsec-ah
add action=accept chain=forward comment="defconf: accept ipsec ESP" protocol=ipsec-esp
add action=accept chain=forward comment="defconf: accept all that matches ipsec policy" ipsec-policy=in,ipsec
add action=drop chain=forward comment="defconf: drop everything else not coming from LAN" in-interface-list=!LAN
/system clock
set time-zone-name=Europe/Paris
/system identity
set name=Shodan111
/system note
set show-at-login=no
/tool mac-server
set allowed-interface-list=LAN
/tool mac-server mac-winbox
set allowed-interface-list=LAN
/tool sniffer
set filter-interface=ether1 filter-ip-protocol=icmp

jaclaz Guest	#10 0 05.11.2023 13:51:00 Большое спасибо. Я попробую воспроизвести у себя в GNS3 и разобраться с вашим примером. jaclaz

jaclaz Guest	#11 0 05.11.2023 17:34:00 Первые несколько вопросов: В вашем предыдущем частичном коде для решения2 (arp-proxy) было: /ip route add distance=1 dst-address=0.0.0.0/0 gateway=192.168.1.1%ether2 add distance=2 dst-address=0.0.0.0/0 gateway=192.168.1.1%ether1 Это кажется вполне логичным. В последнем (полном) коде у вас: /ip route add disabled=no distance=2 dst-address=0.0.0.0/0 gateway=192.168.1.1%ether1 \ pref-src="" routing-table=2 suppress-hw-offload=no vrf-interface=ether1 add distance=1 dst-address=0.0.0.0/0 gateway=192.168.1.1%ether2 Почему в одной из двух маршрутов есть ссылка на «vrf-interface=ether1»? Это остаток от предыдущей попытки с VRF, и теперь это уже ни к чему? Откуда вообще взялось «routing-table=2»? И что это вообще значит (если вообще что-то значит)? jaclaz

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры