Централизованный журнал - Graylog

Извини, я дал тебе неверную ссылку на первый пост https://community.graylog.org/t/mikrotik-logs-not-showing-correct-log-level/17387. Думаю, у меня есть полностью рабочее решение, я выложу его на этом форуме к концу дня… надеюсь.

Привет! Было бы здорово, если бы ты держал меня в курсе.

@wisphak1 Ты использовал RAW-ввод или нашел какой-то вариант для BSD-ввода в Graylog?

У меня такая же проблема, и я понял, почему. Устройство Mikrotik отправляет системный лог в формате RFC-3164, который содержит метку времени без информации о временной зоне. Если вы неправильно настроили сервер Graylog или устройство Mikrotik, лог с устройства Mikrotik будет отображаться на сервере Graylog с неправильным временем. Я настроил свое устройство Mikrotik и сервер Graylog с одинаковым часовым поясом, и теперь все работает хорошо.

Еще год спустя, является ли Graylog надежным решением для syslog на оборудовании MikroTik? Я недавно настроил Graylog, и, похоже, все работает нормально, но, как и со всеми видами логирования в Graylog, будьте готовы потрудиться над корректировкой формата. У некоторых моих устройств нужна конвертация часового пояса / UTC, но как только вы настроите это один раз в виде пайплайна, вы сможете добавить его к любым устройствам, которые в этом нуждаются, всего за один-два клика. Я, вероятно, захочу еще один пайплайн для разбора сообщения лога и правильного выделения тем из содержимого сообщения. Вот пример сообщения лога: system,info,account user admin logged in from 192.168.100.109 via ssh

Я настроил свой Graylog с помощью docker compose: https://github.com/Graylog2/docker-compose и смог использовать стандартную открытое решение почти без изменений. Убедитесь, что у вас достаточно памяти, иначе система вылетит. Имейте в виду, что Graylog будет настроен на UTC, и пользователь по умолчанию также будет установлен в UTC. Вам нужно будет создать нового пользователя и установить для него ваш местный часовой пояс, чтобы ваши логи отображали правильное время. Даже в этом случае мне иногда требуется создать пайплайн для некоторых источников логов, чтобы корректировать временную зону. Вам нужно будет создать syslog-вход для TCP и один для UDP, не помню, какой используется в Mikrotik, в интерфейсе конфигурации журнала winbox этого нет. Порт по умолчанию в Graylog — 5140, но вы можете изменить его в yaml-файле docker compose. Я создал отдельные «Потоки» и «Индексы» для каждого из моих различных источников логов. Это сделано для того, чтобы можно было настроить разные параметры хранения для каждого источника логов и для того, чтобы я мог запускать разные обработчики пайплайнов для разных источников. На самом Mikrotik: я просто указал адрес и порт (адрес должен быть IP, предположительно syslog не работает с FQDN). Опция BSD syslog отключена. Я полагаю, что эта настройка меняет формат логов с RFC-5424 на стандарт RFC-3164, но я бы хотел, чтобы Mikrotik это четко указал. Для mikrotik я настроил небольшой пайплайн, чтобы отделить поле «topic» от поля «message». правило "function sort_Mikrotik"
когда
   есть_поле(поле: "message")
тогда
   пусть темы = split("\\s+",to_string($message.message),2);
   set_field("topics", темы[0]);
   set_field("message",  темы[1]);
конец Также - вот пайплайн для корректировки временной зоны - Обратите внимание, мне это не нужно на моем mikrotik, но вам это может понадобиться, если вы используете опцию BSD-syslog, и это очень распространенная проблема. правило "function correct timestamps"
когда
   есть_поле(поле: "timestamp")
тогда
   пусть log_timestamp = $message.timestamp;
   пусть timestamp = $message.timestamp;
   
   пусть strlength = length(to_string(timestamp));
   пусть newlength = strlength - 1;
   пусть mid_date = substring( to_string(timestamp), 0, newlength);
   пусть mid_date2 = concat(
       first: mid_date,second: "-07:00");
       
   //2023-03-26 05:03:19.970
   пусть new_date = parse_date( значение: to_string(mid_date2),
       шаблон: "yyyy-MM-dd'T'HH:mm:ss.SSSZ", локаль: "en-US", временная зона:"America/Vancouver");
   set_field("timestamp", new_date);
   set_field("OG_timestamp", timestamp);
   
конец Надеюсь, это поможет.