Mikrotik.moscow [тема: Парсер Rsyslog для прокси Mikrotik]

Парсер Rsyslog для прокси Mikrotik

Fri, 11 Nov 2016 00:10:00 -0500

Парсер Rsyslog для прокси Mikrotik RouterOS в форуме RouterOS.
Привет, ребята! Я написал простой однострочный скрипт, основанный на скрипте, который был опубликован почти год назад. Скрипт работал просто шикарно (я так думаю) и быстрее, чем perl-скрипт: 8 минут против более чем 10 часов. Надеюсь, эта строка поможет кому-то. Вот она: cat log_from_mikrotik.log |grep -v ‘action=deny’|awk -F"MSRRTR01 proxy:" ‘{system(“date +%s.000 -d "”$1""");print("1 "$2)}’|sed ‘:a;N;0~2!ba;s/\n/ /g;’|awk -F" " {‘print $1" “$2” “$3” TCP_MISS/200 100 “$4” “$5” - DIRECT/0.0.0.0 text/html\n\r"’} > converted.log
11.11.2016 00:10:00, sty1o.

Парсер Rsyslog для прокси Mikrotik

Wed, 02 Dec 2015 12:10:00 -0500

Парсер Rsyslog для прокси Mikrotik RouterOS в форуме RouterOS.
Хочу поделиться своим скриптом, который конвертирует файл rsyslog mkaccess.log в формат squid. mkaccess.log: без отладочной информации, только простой формат - одна запись на строку. Здесь нет размера (фейковый размер, 1024 на строку), нет IP адреса назначения (фейковый IP 8.8.8.8), только дата и время, локальный IP и URL. Вывод можно использовать в таких инструментах для Linux, как lightsquid и т.д. #!/usr/bin/perl -w
use Date::Parse;

$num_args = $#ARGV + 1;
if ($num_args != 1) {
# mkaccess.log - файл syslog, удаленное логирование mikrotik.
print "\nИспользуйте: ".$0." /путь/к/mkaccess.log\n";
exit;
}

open (IN, "<".$ARGV[0]) || die $!;
while(){
chomp;
($line)=join " ",(split / /)[1,0,2,3,4,5,6,7,8];
$line =~ s/^\s+//gi;
$line =~ s/(\s+)/ /gi;
my($day,$mns,$time,$hname,$host,$method,$site,$access) = split('\s+', $line);
($date)=join " ",$day,$mns,$time;
$dateepoch=str2time($date." +0200");
if ($access eq 'action=allow') {
$string=$dateepoch.".000 999 ".$host." TCP_MISS/200 1024 ".$method." ".$site." - DIRECT/8.8.8.8 text/html\n";
print $string;
}
}
close IN;
02.12.2015 12:10:00, sudmal.

Парсер Rsyslog для прокси Mikrotik

Wed, 04 Jun 2014 10:38:00 -0400

Парсер Rsyslog для прокси Mikrotik RouterOS в форуме RouterOS.
Да, Proxylizer немного устарел сейчас. И поскольку интерес к нему практически отсутствует, так оно и останется.
04.06.2014 10:38:00, janisk.

Парсер Rsyslog для прокси Mikrotik

Wed, 04 Jun 2014 00:21:00 -0400

Парсер Rsyslog для прокси Mikrotik RouterOS в форуме RouterOS.
Для справки, webproxylogtomysql.php в Proxylizer довольно хорошо справляется с записью URL-запросов, доменов и HIT/MISS-запросов в Mysql через syslog-ng. Он поставляется с небольшим скриптом-оберткой для cron, который поддерживает его работу. Скрипт принимает вывод именованного канала, передаваемого через syslog-ng, и отправляет все данные в Mysql. Остальная часть Proxylizer (генерация отчетов, рассылка и т.д.) сейчас немного не работает, особенно если вы используете PHP5, так как там много устаревших компонентов (например, ereg и использование DB.php).
04.06.2014 00:21:00, mfrater.

Парсер Rsyslog для прокси Mikrotik

Thu, 20 Feb 2014 11:33:00 -0500

Парсер Rsyslog для прокси Mikrotik RouterOS в форуме RouterOS.
Похоже, ты так и не получил на это ответ. Мне интересно, стоит ли поступить так же… или попробовать написать скрипт, чтобы всё привести в порядок перед тем, как покинуть router Mikrotik... например, просто оставить строки ответа на "GET http:" и "Content-Length:", а затем отправить их с помощью HTTP GET? Марк
20.02.2014 11:33:00, mfrater.

Парсер Rsyslog для прокси Mikrotik

Fri, 27 Sep 2013 13:04:00 -0400

Парсер Rsyslog для прокси Mikrotik RouterOS в форуме RouterOS.
Привет, может кто-нибудь написать скрипт парсера для rsyslog, чтобы я мог распарсить и сохранить логи MySQL proxy в базу данных? Текущий формат сообщения: Receivedat: 2013-09-27 17:11:07 Facility: 1 Priority: 5 FromHost: 172.30.0.xxx Message: 172.16.0.xxx GET http://google.co.in action=allow cache=MISS SysLogTag: web-proxy,account. Я хочу, чтобы это сохранялось в базе данных в формате: Receivedat: 2013-09-27 17:11:07 Client IP: 172.16.0.xxx Url: http://google.co.in status: MISS Provider: web-proxy.
27.09.2013 13:04:00, kgninfos.