+7 495 320-55-52
- Назад
- Телефоны
- +7 495 320-55-52
- Заказать звонок
info@mikrotik.moscow
г. Москва, ул. Бакунинская, 84
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Проектирование MPLS, BGP и OSPF для WISP

Проектирование MPLS, BGP и OSPF для WISP, RouterOS

Wolfraider

Guest

10.01.2018 19:35:00

Работаю над новым дизайном для нашего WISP. Сейчас у нас около 800 клиентов и примерно 50 вышек. Готовимся заказать 2 Mikrotik CCR1072 для наших основных роутеров и перейти с мостовой сети на MPLS. Наши требования таковы:

- Клиенты получают статический NATed IPv4-адрес или поддержку статического публичного IPv6.
- Возможность создавать туннели для клиентов с несколькими площадками.
- Резервные соединения для магистралей в разных точках входа.
- Резервные поставщики интернета в разных локациях.

Основные 10G-соединения идут из одного места, а ещё есть пара 200M-соединений в других точках. Резервирование нужно на уровне конкретных площадок (вышек). Я хочу запустить iBGP для наших публичных/NATed IP-адресов внутри сети, а на стороне провайдеров использовать eBGP. Планируем провести 2 10G-соединения к нашему шкафу и использовать eBGP для организации отказоустойчивости между CCR1072.

Создал тестовую лабораторию из 4 Mikrotik-роутеров, объединённых в кольцо с помощью MPLS и OSPF. Назначил каждому роутеру уникальный loopback-адрес и /30-сети между роутерами. При разрыве одного из линков переключение занимает от 1 до 30 секунд. Сейчас iBGP не работает в лаборатории — на стадии open sent у каждой пары. Не уверен, где ошибся в настройке. Буду признателен за любую помощь или советы.

Core Router
/interface bridge
add name=Loopback
/interface ethernet
set [ find default-name=combo1 ] mtu=1526
set [ find default-name=ether1 ] l2mtu=1800 mtu=1800
set [ find default-name=ether2 ] l2mtu=1800 mtu=1800
/interface vlan
add interface=combo1 mtu=1526 name=vlan205 vlan-id=205
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/routing bgp instance
set default as=100 router-id=10.255.0.1
/routing ospf instance
set [ find default=yes ] distribute-default=always-as-type-1 mpls-te-area=backbone mpls-te-router-id=Loopback router-id=10.255.0.1
/ip neighbor discovery-settings
set discover-interface-list=!dynamic
/ip address
add address=192.168.33.1/30 interface=ether1 network=192.168.33.0
add address=192.168.33.14/30 interface=ether2 network=192.168.33.12
add address=10.255.0.1 interface=Loopback network=10.255.0.1
add address=192.168.205.200/24 interface=vlan205 network=192.168.205.0
/ip route
add distance=1 gateway=192.168.205.1
/mpls ldp
set enabled=yes lsr-id=10.255.0.1 transport-address=10.255.0.1
/mpls ldp interface
add interface=ether1
add interface=ether2
/routing bgp peer
add name=Core-R2 remote-address=10.255.0.2 remote-as=100 ttl=default
add name=Core-R3 remote-address=10.255.0.3 remote-as=100 ttl=default
add name=Core-R4 remote-address=10.255.0.4 remote-as=100 ttl=default
/routing ospf interface
add interface=ether1 network-type=broadcast use-bfd=yes
add interface=ether2 network-type=broadcast use-bfd=yes
/routing ospf network
add area=backbone network=192.168.33.0/24
add area=backbone network=10.255.0.1/32
/system identity
set name=Core

Router 2
/interface bridge
add name=Loopback
/interface ethernet
set [ find default-name=ether1 ] l2mtu=1800 mtu=1800
set [ find default-name=ether2 ] l2mtu=1800 mtu=1800
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/routing bgp instance
set default as=100 router-id=10.255.0.2
/routing ospf instance
set [ find default=yes ] mpls-te-area=backbone mpls-te-router-id=Loopback router-id=10.255.0.2
/ip neighbor discovery-settings
set discover-interface-list=!dynamic
/ip address
add address=192.168.33.2/30 interface=ether1 network=192.168.33.0
add address=192.168.33.5/30 interface=ether2 network=192.168.33.4
add address=10.255.0.2 interface=Loopback network=10.255.0.2
/mpls ldp
set enabled=yes lsr-id=10.255.0.2 transport-address=10.255.0.2
/mpls ldp interface
add interface=ether1
add interface=ether2
/routing bgp peer
add name=R2-Core remote-address=10.255.0.1 remote-as=100 ttl=default
add name=R2-R3 remote-address=10.255.0.3 remote-as=100 ttl=default
add name=R2-R4 remote-address=10.255.0.4 remote-as=100 ttl=default
/routing ospf interface
add interface=ether1 network-type=broadcast use-bfd=yes
add interface=ether2 network-type=broadcast use-bfd=yes
/routing ospf network
add area=backbone network=192.168.33.0/24
add area=backbone network=10.255.0.2/32
/system identity
set name=R2

Router 3
/interface bridge
add name=Loopback
/interface ethernet
set [ find default-name=ether1 ] l2mtu=1800 mtu=1800
set [ find default-name=ether2 ] l2mtu=1800 mtu=1800
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/routing bgp instance
set default as=100 router-id=10.255.0.3
/routing ospf instance
set [ find default=yes ] mpls-te-area=backbone mpls-te-router-id=Loopback redistribute-connected=as-type-1 router-id=10.255.0.3
/ip neighbor discovery-settings
set discover-interface-list=!dynamic
/ip address
add address=192.168.33.6/30 interface=ether1 network=192.168.33.4
add address=192.168.33.9/30 interface=ether2 network=192.168.33.8
add address=10.255.0.3 interface=Loopback network=10.255.0.3
add address=192.168.10.1/24 interface=ether3 network=192.168.10.0
/mpls ldp
set enabled=yes lsr-id=10.255.0.3 transport-address=10.255.0.3
/mpls ldp interface
add interface=ether1
add interface=ether2
/routing bgp network
add network=192.168.10.0/24
/routing bgp peer
add name=R3-Core remote-address=10.255.0.1 remote-as=100 ttl=default
add name=R3-R2 remote-address=10.255.0.2 remote-as=100 ttl=default
add name=R3-R4 remote-address=10.255.0.4 remote-as=100 ttl=default
/routing ospf interface
add interface=ether1 network-type=broadcast use-bfd=yes
add interface=ether2 network-type=broadcast use-bfd=yes
/routing ospf network
add area=backbone network=192.168.33.0/24
add area=backbone network=10.255.0.3/32
/system identity
set name=R3

Router 4
/interface bridge
add name=Loopback
/interface ethernet
set [ find default-name=ether1 ] l2mtu=1800 mtu=1800
set [ find default-name=ether2 ] l2mtu=1800 mtu=1800
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/routing bgp instance
set default as=100 router-id=10.255.0.4
/routing ospf instance
set [ find default=yes ] mpls-te-area=backbone mpls-te-router-id=Loopback redistribute-connected=as-type-1 router-id=10.255.0.4
/ip neighbor discovery-settings
set discover-interface-list=!dynamic
/ip address
add address=192.168.33.10/30 interface=ether1 network=192.168.33.8
add address=192.168.33.13/30 interface=ether2 network=192.168.33.12
add address=10.255.0.4 interface=Loopback network=10.255.0.4
/mpls ldp
set enabled=yes lsr-id=10.255.0.4 transport-address=10.255.0.4
/mpls ldp interface
add interface=ether1
add interface=ether2
/routing bgp peer
add name=R4-Core remote-address=10.255.0.1 remote-as=100 ttl=default
add name=R4-R2 remote-address=10.255.0.2 remote-as=100 ttl=default
add name=R4-R3 remote-address=10.255.0.3 remote-as=100 ttl=default
/routing ospf interface
add interface=ether1 network-type=broadcast use-bfd=yes
add interface=ether2 network-type=broadcast use-bfd=yes
/routing ospf network
add area=backbone network=192.168.33.0/24
add area=backbone network=10.255.0.4/32
/system identity
set name=R4

wispvt

Guest

05.09.2018 15:42:00

У меня вопрос, так как мы пытаемся сделать то же самое с MPLS и VPLS. Если вы используете VPLS-туннели для подключения ко всему вашему ядру, то как BGP влияет на IP-адреса трафика, если весь трафик, по идее, должен идти через туннель? Я также заметил, что для BGP не заданы сети трафика. Должны ли они быть, и нужно ли указывать их на каждом роутере в вашей сети?

StubArea51

Guest

09.09.2018 23:26:00

Это зависит от вашего сценария использования. Некоторые провайдеры могут использовать LDP-сигнализированный VPLS для частных транспортных каналов. Другие провайдеры могут применять BGP-сигнализированный VPLS. В большинстве случаев полезно иметь iBGP для распространения публичных адресов и /32 loopback, даже если основной трафик идет через VPLS. Короче говоря, наличие BGP внутри сети дает гибкость при развёртывании. К тому же, учитывая проблемы MikroTik с большими таблицами маршрутизации OSPF, BGP становится надёжным выбором для внутренней маршрутизации при сохранении OSPF для обеспечения доступности маршрутов.

wispvt

Guest

10.09.2018 23:18:00

Я могу всё подключить, но трафик не проходит нормально. Не могли бы вы, случайно, предоставить пример конфигурации, например, для роутера с башней, настроенного с парой точек доступа и обратной связью, а также одного из ваших ядровых роутеров, на который идёт маршрутизация через приватные подсети? Мы могли бы посмотреть на такой пример, чтобы сравнить и понять. Части конфигураций можно найти, но полного рабочего варианта на обе стороны реального кейса нигде нет. Думаю, это было бы очень полезно для многих WISP, ведь всё чаще говорят о переходе на MPLS/VPLS/BGP/OSPF-сети.

StubArea51 Guest	#5 0 12.09.2018 13:46:00 Вот пример настройки OSPF/MPLS/VPLS для WISP с высокодоступными дата-центрами и конфигурациями… Посмотрю, что смогу найти по BGP https://www.stubarea51.net/2018/04/23/wisp-design-building-highly-available-vpls-for-public-subnets/

wispvt

Guest

13.09.2018 00:12:00

Спасибо. Насчёт размера MTU: я видел, что некоторые ставят 1530 для MPLS, другие — 1580, 1600 и даже 2000. Есть ли какие-то минусы в том, чтобы везде сразу поставить 2000? Также у меня проблемы с запуском MPLS в полевых условиях через разные беспроводные каналы, хотя в лаборатории всё работает нормально. На всей технике между двумя концами я выставил MTU по 2000. Но если пытаюсь пропинговать что-то с размером больше 1500 и флагом do-not-fragment, включая сам роутер, с которым работаю, — пинг не проходит. Почему я не могу сделать пинг с размером больше 1500 до всей техники по пути, чтобы понять, есть ли проблема с MTU где-то на маршруте?

mducharme

Guest

13.09.2018 01:31:00

Привет! По поводу настройки MTU: у некоторых устройств или провайдеров могут быть более строгие ограничения на MTU, поэтому лучше всего использовать одинаковое значение MPLS MTU на всех устройствах, если это возможно. Мы выбрали 1550, потому что это позволяет нам использовать несколько вложенных VLAN-тегов, а также даёт клиенту возможность использовать несколько вложенных VLAN-тегов внутри их VPLS-туннеля, при этом мы можем использовать RFC4638 с PPPoE.

Перед включением MPLS на объекте мы создаём тестовый VPLS-туннель по каналу с временными IP-адресами на обоих концах (в одном /30 или /24), и пытаемся сделать пинг размером 1500 байт с флагом «не фрагментировать» от одного адреса к другому. Если нужно передавать MTU больше 1500 (например, 1508 для RFC 4638 с PPPoE), то мы временно меняем IP MTU на VPLS-туннеле на 1508 и тестируем пинг уже с этим размером. Так мы можем проверить, что все устройства между нами корректно передают jumbo-фреймы, прежде чем подключать клиентов к сервису.

StubArea51 Guest	#8 0 13.09.2018 02:25:00 Это поможет вам с размером MTU. https://mum.mikrotik.com//presentations/US16/presentation_3327_1462279781.pdf

wispvt

Guest

14.09.2018 20:42:00

Сколько мощности на самом деле нужно, чтобы запускать MPLS/VPLS? Мы собрали тестовую площадку из 4 коммутаторов CRS112-BP-4S-IN — это то, что обычно используем на небольших микропопах с компактными 14-16-дюймовыми коробками, где нужно всего лишь питание POE для радио и ИБП. Но они провалились просто катастрофически. Максимум, что смогли выдать — 50-60 Мбит/с, после чего процессор буквально загружался под завязку. А ведь в обычной конфигурации они могут справляться с гораздо большими нагрузками. На нормальных вышках, где есть место в стойке, мы обычно ставим маршрутизаторы CCR. Но даже с ними, не имея собственной тестовой площадки, я бы серьезно сомневался в их способности справиться с нагрузками, особенно на вашем ядре, где может быть от 40 до 100 VPLS туннелей, заканчивающихся на одном CCR.

StubArea51 Guest	#10 0 15.09.2018 04:40:00 Определённо не стоит делать это с маленьким CRS. Используйте 3011 на небольших объектах, а CCR — на остальных.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры