В последнее время не видел много информации по недавно выпущенной платформе RDS, решил поделиться основными впечатлениями от своего опыта. Извиняюсь за большой объём текста, но, надеюсь, кому-то здесь пригодится моя информация.
В итоге я использовал адаптер m.2 на u.2: — именно по высоте он идеально подходит для установки 20 дисков в RDS2216. Качество сборки в целом хорошее, типичное для Mikrotik, за исключением одного момента. Пластиковые корзины с пластиковыми направляющими показали некоторые проблемы с сборкой. Из двух полученных мной устройств оба требовали доработок. В первом было невозможно использовать нижние два отсека из центральных четырёх, во втором я не мог наладить нормальный контакт с диском, пока не сделал похожие корректировки. Сначала я думал, что порты нерабочие, пока не проверил диск без корзины.
На первом устройстве мне пришлось ослабить 4 винта сверху и снизу корпуса, которые держат четыре центральных отсека, затем вставить корзину с дисками и снова затянуть винты. На втором устройстве проблема была с вторыми справа четырьмя отсеками. После небольшой доработки всё заработало, и по 20 дисков в каждое устройство установились без проблем. Больше никаких проблем с установкой не заметил — так что если у вас возникают сложности с посадкой корзины при установленном диске, возможно, причина в этом.
После включения я заметил пару вещей. Первое — эти устройства довольно шумные. Я заказал вентиляторы Noctua, чтобы проверить, получится ли сохранить аналогичный поток воздуха, но при этом сделать систему тише. В стандартном виде запускать такое дома — сомнительная идея, разве что в хорошо звукоизолированной комнате или шкафу.
Редактирование: Получил вентиляторы Noctua NF-A4x20. Их нужно чуть подправить, чтобы закрепить и предотвратить люфт, так как они тоньше стандартных. Меня беспокоило, что по производительности воздуха они чуть уступают стоковым, но после установки температура корпуса в комнате с 26 °C держится в норме.
Редактирование 2: См. ниже, настройка вентилятора на 15-20% существенно снижает шум — переходить на Noctua на самом деле не обязательно.
При открытии Winbox пришлось возвращаться к блок-схеме, чтобы убедиться, что я не ошибаюсь, но я думал, что здесь стоит чип коммутатора с поддержкой оффлоада. Однако в WebFig и Winbox меню коммутатора нет. В CLI есть /interface/ethernet/switch, и при проверке конфигурации l3hw отображено, что включено, но монитор l3hw показывает, что он не запущен. Полагаю, это будет добавлено позже.
На версии 7.18.2 пока невозможно настроить btrfs через Winbox или WebFig — попытка приведёт к падению программы, как старой, так и новой. Скажу честно, мне нравится, как Mikrotik реализовал логику дисков: возможность разместить образ файла на подготовленном диске, настроить RAID и так далее — всё работает удобно.
Документация оказалась нерабочей для работы с более чем двумя дисками. Команды типа
/disk/btrfs/filesystem/add-device [find where present-devs=<disk-name-1>] device=<disk-name-2>
/disk/btrfs/filesystem/add-device [find where present-devs=<disk-name-1>] device=<disk-name-3>
/disk/btrfs/filesystem/add-device [find where present-devs=<disk-name-1>] device=<disk-name-4>
работают только первая, остальные игнорируются. Вместо этого я получил ID для записи с двумя первыми дисками через /disk/btrfs/filesystem/print, а потом добавлял устройства командой
/disk/btrfs/filesystem/add-device number=<id> device=<disk-name-3> и т.д.
Что касается производительности дисков, я пока не делал масштабных тестов, но на 10Gbe с настроенным btrfs проблем с насыщением канала чтением и записью при больших копированиях по NFS и NVME поверх TCP (с файла на btrfs) не заметил. Правда, NFS заметно «тормозит» с задержками ввода-вывода после интенсивной случайной операции с диском, но спустя пару минут всё нормализуется. В планах — протестировать шаринг отдельных дисков через NVME over TCP на сервер, чтобы проверить, даст ли это прибавку по производительности при нескольких сессиях. Ещё планирую проверить RAID, чтобы понять, уйдут ли некоторые странности в поведении NFS/SMB.
Производительность SMB интересная: при копировании на RDS получается около 5-6 ГБ/с (большие файлы), а при копировании с RDS — всего около 30 МБ/с. В планах попробовать контейнер с Samba, чтобы проверить, изменится ли что-то. Редактирование: проблема оказалась связана с CCR2116 и l3hw — после перезапуска l3hw проблема ушла.
RDS стабильно держит 10Gbit передачи. В целом, мне очень нравятся эти устройства. Для своей цены никто больше не делает такой форм-фактор с такими возможностями — с нетерпением жду, что ещё привнесут в эту модель.
В итоге я использовал адаптер m.2 на u.2: — именно по высоте он идеально подходит для установки 20 дисков в RDS2216. Качество сборки в целом хорошее, типичное для Mikrotik, за исключением одного момента. Пластиковые корзины с пластиковыми направляющими показали некоторые проблемы с сборкой. Из двух полученных мной устройств оба требовали доработок. В первом было невозможно использовать нижние два отсека из центральных четырёх, во втором я не мог наладить нормальный контакт с диском, пока не сделал похожие корректировки. Сначала я думал, что порты нерабочие, пока не проверил диск без корзины.
На первом устройстве мне пришлось ослабить 4 винта сверху и снизу корпуса, которые держат четыре центральных отсека, затем вставить корзину с дисками и снова затянуть винты. На втором устройстве проблема была с вторыми справа четырьмя отсеками. После небольшой доработки всё заработало, и по 20 дисков в каждое устройство установились без проблем. Больше никаких проблем с установкой не заметил — так что если у вас возникают сложности с посадкой корзины при установленном диске, возможно, причина в этом.
После включения я заметил пару вещей. Первое — эти устройства довольно шумные. Я заказал вентиляторы Noctua, чтобы проверить, получится ли сохранить аналогичный поток воздуха, но при этом сделать систему тише. В стандартном виде запускать такое дома — сомнительная идея, разве что в хорошо звукоизолированной комнате или шкафу.
Редактирование: Получил вентиляторы Noctua NF-A4x20. Их нужно чуть подправить, чтобы закрепить и предотвратить люфт, так как они тоньше стандартных. Меня беспокоило, что по производительности воздуха они чуть уступают стоковым, но после установки температура корпуса в комнате с 26 °C держится в норме.
Редактирование 2: См. ниже, настройка вентилятора на 15-20% существенно снижает шум — переходить на Noctua на самом деле не обязательно.
При открытии Winbox пришлось возвращаться к блок-схеме, чтобы убедиться, что я не ошибаюсь, но я думал, что здесь стоит чип коммутатора с поддержкой оффлоада. Однако в WebFig и Winbox меню коммутатора нет. В CLI есть /interface/ethernet/switch, и при проверке конфигурации l3hw отображено, что включено, но монитор l3hw показывает, что он не запущен. Полагаю, это будет добавлено позже.
На версии 7.18.2 пока невозможно настроить btrfs через Winbox или WebFig — попытка приведёт к падению программы, как старой, так и новой. Скажу честно, мне нравится, как Mikrotik реализовал логику дисков: возможность разместить образ файла на подготовленном диске, настроить RAID и так далее — всё работает удобно.
Документация оказалась нерабочей для работы с более чем двумя дисками. Команды типа
/disk/btrfs/filesystem/add-device [find where present-devs=<disk-name-1>] device=<disk-name-2>
/disk/btrfs/filesystem/add-device [find where present-devs=<disk-name-1>] device=<disk-name-3>
/disk/btrfs/filesystem/add-device [find where present-devs=<disk-name-1>] device=<disk-name-4>
работают только первая, остальные игнорируются. Вместо этого я получил ID для записи с двумя первыми дисками через /disk/btrfs/filesystem/print, а потом добавлял устройства командой
/disk/btrfs/filesystem/add-device number=<id> device=<disk-name-3> и т.д.
Что касается производительности дисков, я пока не делал масштабных тестов, но на 10Gbe с настроенным btrfs проблем с насыщением канала чтением и записью при больших копированиях по NFS и NVME поверх TCP (с файла на btrfs) не заметил. Правда, NFS заметно «тормозит» с задержками ввода-вывода после интенсивной случайной операции с диском, но спустя пару минут всё нормализуется. В планах — протестировать шаринг отдельных дисков через NVME over TCP на сервер, чтобы проверить, даст ли это прибавку по производительности при нескольких сессиях. Ещё планирую проверить RAID, чтобы понять, уйдут ли некоторые странности в поведении NFS/SMB.
Производительность SMB интересная: при копировании на RDS получается около 5-6 ГБ/с (большие файлы), а при копировании с RDS — всего около 30 МБ/с. В планах попробовать контейнер с Samba, чтобы проверить, изменится ли что-то. Редактирование: проблема оказалась связана с CCR2116 и l3hw — после перезапуска l3hw проблема ушла.
RDS стабильно держит 10Gbit передачи. В целом, мне очень нравятся эти устройства. Для своей цены никто больше не делает такой форм-фактор с такими возможностями — с нетерпением жду, что ещё привнесут в эту модель.
