Скачиватель списков адресов (DShield, Spamhaus DROP/EDROP и др.)

Привет! Новый параметр “output=user” открыл новые возможности для скриптинга, которые я решил полностью использовать. Скрипт не требует сторонних серверов, так как списки адресов загружаются напрямую из источника и обрабатываются непосредственно на маршрутизаторе. Скрипт НЕ сохраняет загруженные файлы на диск (тем самым предотвращая преждевременный износ и поломку диска). Скрипт можно адаптировать для загрузки и обработки любого количества списков адресов аналогичного формата (максимальный размер файла — 63 KiB (64512 байт). Это лучше, чем 4 KiB). На данный момент скрипт может загружать и обновлять следующие списки: DShield Spamhaus DROP Spamhaus EDROP Abuse.ch SSLBL Вариант 1: ip firewall address-list :local update do={ :do { :local data ([:tool fetch url=$url output=user as-value]->"data") remove [find list=blacklist comment=$description] :while ([:len $data]!=0) do={ :if ([:pick $data 0 [:find $data "\n"]]~"^[0-9]{1,3}\\.[0-9]{1,3}\\.[0-9]{1,3}\\.[0-9]{1,3}") do={ :do {add list=blacklist address=([:pick $data 0 [:find $data $delimiter]].$cidr) comment=$description timeout=1d} on-error={} } :set data [:pick $data ([:find $data "\n"]+1) [:len $data]] } } on-error={:log warning "Обновление списка адресов <$description> не удалось"} } $update url=https://www.dshield.org/block.txt description=DShield delimiter=("\t") cidr=/24 $update url=https://www.spamhaus.org/drop/drop.txt description="Spamhaus DROP" delimiter=("\_") $update url=https://www.spamhaus.org/drop/edrop.txt description="Spamhaus EDROP" delimiter=("\_") $update url=https://sslbl.abuse.ch/blacklist/sslipblacklist.txt description="Abuse.ch SSLBL" delimiter=("\r") Скрипт удаляет все адреса, соответствующие условию “list=blacklist comment=$description”, после чего заполняет списки адресов с нуля. Это проще и быстрее. Вариант 2: ip firewall address-list :local update do={ :do { :local data ([:tool fetch url=$url output=user as-value]->"data") :local array [find dynamic list=blacklist] :foreach value in=$array do={:set array (array,[get $value address])} :while ([:len $data]!=0) do={ :if ([:pick $data 0 [:find $data "\n"]]~"^[0-9]{1,3}\\.[0-9]{1,3}\\.[0-9]{1,3}\\.[0-9]{1,3}") do={ :local ip ([:pick $data 0 [:find $data $delimiter]].$cidr) :do {add list=blacklist address=$ip comment=$description timeout=1d} on-error={ :do {set ($array->([:find $array $ip]-[:len $array]/2)) timeout=1d} on-error={} } } :set data [:pick $data ([:find $data "\n"]+1) [:len $data]] } } on-error={:log warning "Обновление списка адресов <$description> не удалось"} } $update url=https://www.dshield.org/block.txt description=DShield delimiter=("\t") cidr=/24 $update url=https://www.spamhaus.org/drop/drop.txt description="Spamhaus DROP" delimiter=("\_") $update url=https://www.spamhaus.org/drop/edrop.txt description="Spamhaus EDROP" delimiter=("\_") $update url=https://sslbl.abuse.ch/blacklist/sslipblacklist.txt description="Abuse.ch SSLBL" delimiter=("\r") Скрипт НЕ удаляет актуальные адреса, а продлевает их таймаут. Адреса, которых нет в загружаемом списке, автоматически удаляются системой после истечения их таймаута. Это сложнее и медленнее, но позволяет отслеживать дату/время добавления адресов в черный список. Почему скрипт использует “array”? Потому что стандартная функция “find” очень медленная. Использование дополнительного массива позволяет ускорить скрипт в несколько раз, так как операции выполняются напрямую с индексами, минуя стандартную функцию “find”. Требуемая политика: чтение, запись, тестирование. Возможно, этот скрипт будет полезен кому-то. P.S. Извините за мой английский.