Проблема с производительностью Mikrotik CHR

Я не вижу этой настройки, ты уверен, что она доступна в ESXi 6.0.0?

Я не уверен, но ты можешь проверить это онлайн. Я использую Virtualbox, и когда применяю virto-net, нагрузка на процессор уменьшается на 20%. Это технология виртуализации. Обычно виртуальные машины имеют такую функцию, которая значительно улучшает производительность сети и снижает нагрузку на CPU.

Re: Я тут подумал, у кого-нибудь улучшилась производительность после отключения гиперпоточности? ДА — очень даже. К тому же, на вашем физическом сервере-гипервизоре (у меня VMware ESXi) есть ещё пару приёмов, чтобы повысить пропускную способность.

Настройте гипервизор на использование delayed_ack = 1 (вместо стандартного delayed_ack = 0).  
Увеличьте размер сетевых буферов гипервизора — это помогает поднять пропускную способность.  
Если используете NFS, отключите sync и поставьте delayed_ack = 1 на NFS-сервере.  

Всегда оставляйте у гипервизора свободную нераспределённую оперативную память и как минимум один свободный CPU. Это даст ресурс для служебных задач гипервизора — снимков, копирования или перемещения хранилищ.  

По возможности используйте 10-гигабитные физические сетевые карты.  
По возможности используйте паравиртуализированные устройства (например, vmxnet-3).  

И на физическом, и на виртуальных машинах отключайте и удаляйте максимально возможное количество устройств. Нужно минимизировать прерывания и освободить ресурсы.  

North Idaho  
Tom Jones

Спасибо за обратную связь, попробую сделать так. Вчера вечером проверял пропускную способность между двумя роутерами, с LAN-интерфейса на LAN-интерфейс — получил чуть меньше 1 Гбит/сек в обе стороны, что приемлемо, при этом загрузка процессора была меньше 10%, что сбивает с толку. Пока не совсем понятно, в чем проблема — в фаерволе или в маршрутизации пакетов между двумя интерфейсами на разных подсетях. Буду дальше разбираться и поделюсь результатами. Ещё раз спасибо!

Это (VoIP) объясняет высокий показатель пакетов при низкой пропускной способности, который я видел на твоих скриншотах. Если ты не используешь NAT, то помощник SIP direct media не нужен (и, насколько я понимаю, он даже не участвует в пересланном трафике без NAT). Кроме того, отслеживание соединений в целом при большом количестве соединений и/или высокой скорости пакетов может привести к высокой нагрузке. Если можешь, отключи его полностью, или если не нужно отслеживать VoIP-трафик, настрой правила no-track в Raw-таблице специально для этого трафика.

Тест пропускной способности может показать высокие цифры при низком использовании CPU, потому что он использует всего несколько соединений и большие пакеты. А вот 14 тысяч пакетов в секунду в VoIP — это явно много одновременных звонков/соединений, а это гораздо тяжелее для отслеживания соединений.

Разве это не в основном из-за безопасности (Meltdown и тому подобное)?

Зачем отключать hyper-threading? Hyper-Threading — это трюк процессора, позволяющий одному ядру работать будто два ядра. Немного технической информации о Hyper-Threading:

Что реально происходит, когда Hyper-Threading включён:
Программно настроенный прерывание SMI (System Management Interrupt) делает следующее:
А) Останавливает процессор,
В) Снимает стек (копирует содержимое регистров процессора во временную память),
С) Затем помещает в стек (копирует содержимое другой временной памяти обратно в регистры процессора),
D) Позволяет процессору продолжить работу,
Е) Через несколько тактов происходит ещё одно SMI, которое повторяет процесс POP и PUSH стека, а потом восстанавливает исходные данные процессора.

Этот цикл постоянно повторяется, создавая иллюзию, что одно ядро — это два. Есть две большие проблемы с Hyper-Threading:

1. Hyper-Threading тратит тактовые циклы процессора на обработку SMI, которые могли бы использоваться для выполнения программ, если Hyper-Threading выключен.
2. Hyper-Threading активно расходует встроенную кеш-память процессора и часто вызывает кеш-промахи (cache MISSes).

Кеш-промах заставляет процессор замедляться до скорости доступа к оперативной памяти вместо быстрой встроенной кеш-памяти.

Для более быстрой работы CHR на системе с Hyper-Визором (например, VMware ESXi):

- Отключите Hyper-Threading,
- Используйте физические 10-гигабитные сетевые карты (с 10-гигабитными коммутаторами),
- Используйте паравиртуальные устройства (оптимизированные драйверы HyperVisor, такие как сетевые интерфейсы VMXNET-3 и, по возможности, также контроллеры SCSI “VMware Paravirtual”),
- Удалите все ненужные устройства (например, CD-приводы, последовательные порты, дисководы для гибких дисков и т.п.),
- Не перегружайте виртуальные машины физическими CPU и памятью,
- Старайтесь оставить как минимум один свободный CPU,
- По возможности перемещайте неважные виртуальные машины с невысокими требованиями к скорости на более медленные системы с Hyper-Визором, чтобы ядро вашей основной системы оставалось быстрым.