+7 495 320-55-52
- Назад
- Телефоны
- +7 495 320-55-52
- Заказать звонок
info@mikrotik.moscow
г. Москва, ул. Бакунинская, 84
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

CHR Winbox ESXI 7

CHR Winbox ESXI 7, RouterOS

saahil

Guest

08.01.2023 22:47:00

Привет. Извините, если это уже обсуждалось, но ничего не нашёл. Сейчас примерно 650 пользователей ppp на CCR 1072, при максимальной загрузке CPU около 15%. Попробовал настроить сервер R820 с ESXI 7 и CHR 6.48.6. Все пользователи подключаются нормально, я могу заходить и управлять роутерами конечных пользователей, а также запускать btest без проблем. Единственная проблема — winbox на CHR не загружается! Входит в систему, но экран пустой, нет интерфейсов и логов, затем отключается. При этом пользователи не испытывают сбоев. Свич подключён к серверу через DAC-кабель к 10G intel NIC. MTU на свиче 10218, MTU на VSwitch ESXI — 9000, интерфейс CHR — 1550, ospf/ibgp — 1530, и всё работает хорошо. Тесты пропускной способности loopback тоже показывают хорошие результаты — до 20G. Гиперпоточность в BIOS R820 отключена. Есть какие-то предложения или замечания?

saahil Guest	#2 0 02.03.2023 23:46:00 Очистка кэша помогает, но как только я закрываю окно и пытаюсь войти снова, появляется та же проблема — белое окно. Каждый раз приходится чистить кэш. Есть какие-то советы или решения?

saahil Guest	#3 0 03.03.2023 20:10:00 Обновление: Также заметил, что как только трафик достигает 600-700 Мбит/с, я вообще не могу зайти в winbox. Примерно 800 активных ppp аккаунтов.

TomjNorthIdaho

Guest

03.03.2023 20:24:00

Я запускаю много виртуальных роутеров CHR ROS (как версии v6.xx, так и v7.xx) на нескольких серверах VmWare ESXi. Они работают отлично, быстро и надежно. Эти CHR могут обеспечить скорость только до 10 Гбит/с, потому что на моих физических серверах VmWare ESXi, где размещены эти CHR, установлены только 10-гигабитные сетевые карты. Я использую ethernet-интерфейсы vmnic3. Северный Айдахо, Том Джонс

saahil

Guest

04.03.2023 08:56:00

Привет, Том, спасибо за ответ. Хотелось бы узнать, использовал ли ты когда-либо CHR в качестве PPP-сервера с более чем 500 пользователями и как он при этом работает? Читал на форумах, что CHR отлично справляется с маршрутизацией (BGP и прочее), но у меня возникли проблемы с PPP-сервисами. Вот характеристики моего сервера: Dell PowerEdge R650xs, процессор Dual Intel® Xeon® Gold 6330 2ГГц, 28 ядер/56 потоков, 11.2GT/s, 42М кэш, Turbo, HT (205 Вт), DDR4-2933, накопитель SSD, память 4×16ГБ RDIMM 3200MT/s, сетевая карта Intel X710-T2L Dual Port 10GbE BASE-T Adapter.

Amm0

Guest

04.03.2023 14:43:00

Показывает ли VMWare высокий уровень загрузки CPU/памяти у CHR при такой нагрузке? Это был бы самый явный признак, если проблемы с подключением связаны с нагрузкой. Думаю, дело в протоколе winbox, а не в том, что на мощном CHR работает 800 пользователей. Но это просто предположение. Первое, что приходит в голову — winbox использует для отправки пакетов MTU больше, чем у CHR, а ПК с MTU 1500 это не нравится. PMTUD должен сработать, но если пинг заблокирован, то он не сможет. Кроме того, в зависимости от настройки, если ICMP загружен, задерживается в очереди или, что хуже, блокируется файрволом, winbox не сможет определить меньший MTU для TCP. Ещё одна вещь — я всегда включаю режим promiscuous на интерфейсах VMWare для CHR. Не уверен, но если он выключен, ESXi может не «любить» некоторые L2-фичи winbox.

TomjNorthIdaho

Guest

06.03.2023 16:07:00

Если у вас сервер VmWare ESXi с высоким использованием процессора, попробуйте следующее: В BIOS на вашем физическом сервере VmWare ESXi отключите гипертрейдинг. Ограничьте общее количество процессоров, назначенных виртуальным серверам, так, чтобы суммарная нагрузка была на один ядро меньше, чем общее число физических ядер процессора. Используйте сетевые интерфейсы Vmnic3, где это возможно. По возможности применяйте паравиртуальные интерфейсы. Используйте тонкие (thin) жесткие диски. Используйте реальные 10-гигабитные (или 100-гигабитные) сетевые карты вместо 1-гигабитных. Если у вас несколько физических серверов VmWare ESXi, группируйте виртуальные сервера вместе максимально, чтобы трафик не шел с одного физического сервера VmWare ESXi на другой, а потом обратно. (Не гоняйте трафик туда-сюда между серверами VmWare ESXi). Также, если вы хорошо разбираетесь в сетях, обратите внимание на опцию Delayed-Ack в настройках сети на физических и виртуальных серверах. Иногда это может поднять пропускную способность сети более чем на 500%. North Idaho Tom Jones

saahil

Guest

07.03.2023 11:10:00

Привет, Том. Гипервизор — ESXI 7.0.3. Я использовал шаблон ova и настроил железо согласно скриншотам ниже. vswitch mtu 9000, подключен к Mikrotik Switch L2 MTU SFP+ 10218 через кабель DAC 10g. Я применил все твои советы, которые видел в других постах. Можешь подсказать или поделиться ссылкой, где можно отключить delayed_ack на ESXI? Как только смогу это сделать, хочу назначить окно техобслуживания и снова попробовать мигрировать пользователей. Виртуальная машина пока выключена. Скриншот vswitch:

Спецификации ESXI хоста:

Скриншот железа виртуальной машины:

TomjNorthIdaho

Guest

07.03.2023 17:36:00

Вопрос: суммарное количество CPU всех виртуальных машин меньше общего количества физических ядер? Ещё вопрос: какой уровень лицензии у вас на CHR? Также попробуйте изменить MTU на 1500 для всего — сервера VmWare ESXi, ваших сетевых коммутаторов и настроек MTU в виртуальных машинах.

Это из заметок, которые я собирал годами:

В оболочке VmWare ESXi есть такие команды для delayed_ack:

Чтобы включить delayed_ack:
vsish -e set /net/tcpip/instances/defaultTcpipStack/sysctl/_net_inet_tcp_delayed_ack 1

Чтобы отключить delayed_ack (по умолчанию):
vsish -e set /net/tcpip/instances/defaultTcpipStack/sysctl/_net_inet_tcp_delayed_ack 0

Эти команды вступают в силу сразу, перезагружать VmWare ESXi не нужно.

Если хотите, чтобы delayed_ack включался после перезагрузки VmWare ESXi — нужно отредактировать файл:
vi /etc/rc.local.d/local.sh

И добавить в него строку:
vsish -e set /net/tcpip/instances/defaultTcpipStack/sysctl/_net_inet_tcp_delayed_ack 1

Сообщите, помогло ли что-то из этого.

С уважением, North Idaho Tom Jones

saahil

Guest

#10

07.03.2023 20:14:00

Ответ: CPU: На этом хосте настроена только одна виртуальная машина с характеристиками, которые я уже показывал, больше ничего нет. Характеристики я приводил на предыдущем скриншоте хоста и ВМ. Вопрос: Можешь предложить, как распределить CPU исходя из характеристик хоста, которые я прислал, и сколько ядер на сокет? Ответ: Лицензия: vSphere 7 Enterprise Plus // Лицензия CHR = P10 MTU выглядит так: ESXI vSwitch = 9000 Физический интерфейс eth1 на CHR = 1550 OSPF VLAN = 1530 VPLS = 1508 [переносит пользователей PPP с удалённых сайтов] Скриншот eth1 на CHR

Порты свитча, соединяющие edge и CHR, L2MTU = 10218 OSPF vlan edge к CHR = 1530 Я видел в твоих других сообщениях про delayed_ack и уже применил это. Спасибо, что поделился этим здесь.

TomjNorthIdaho Guest	#11 0 07.03.2023 23:42:00 На своих CHR я использую лицензии P-Unlimited. Вот ещё несколько важных моментов: я не использую CHR для универсальных роутеров, всегда ставлю по два интерфейса vmnic3 на каждый CHR. Один — основной входящий интерфейс, второй — обычно 802.1q trunk с VLAN-интерфейсами. В моих CHR в сетях ISP/Wisp/fiber/GPON каждый CHR выполняет одну конкретную функцию. Кто-то занимается только маршрутизацией к клиентам, кто-то контролирует трафик туда и обратно, кто-то — сервер DHCP. Некоторые перенаправляют должников на веб-сервер (сайт, где можно оплатить счёт или связаться с нами). Есть CHR с NAT444 (не обычный NAT или NAT44), где я могу использовать 8 живых IP-адресов для CGN-NAT сети 100.64.x.y/21 (NAT444 на CHR работает огненно быстро и надёжно). Также есть CHR, которые работают как btest-серверы: один проверяет, получают ли мои клиенты ту скорость, за которую платят, другой — насколько быстро клиент может выйти без ограничения по трафику. Некоторые выделены для EoIP-туннелей (объединение удалённых сетей, например для клиента с тремя офисами, чтобы у них был общий сеть). Другие — для BGP. У всех моих CHR средняя загрузка CPU от 1% до максимум 15% (данные CPU из Winbox на веб-интерфейсе), а общий трафик примерно 8-9 гигабит на клиентов. Кстати, думаю, вы знаете про мой публичный CHR btest-сервер — на него выделен один CPU. Когда я запускаю btest с udp send или receive на 127.0.0.1 (самому себе), вижу скорость выше 200 Гбит. И это на CHR, который работает на загруженном VmWare ESXi сервере вместе с 20+ другими Windows/Linux/PfSense серверами. North Idaho Tom Jones

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры