http://mikrotik.moscow Новое в теме CacheMARA форума RouterOS на сайте Mikrotik.moscow [mikrotik.moscow] ru http://backend.userland.com/rss2 Thu, 20 Aug 2026 00:24:29 -0400 CacheMARA RouterOS в форуме RouterOS.
Я всерьез задумался, насколько cacheMARA действительно лучше squid. Предполагается, конечно, идентичные HW-ресурсы. Однако, требует некоторой настройки и адаптации установки squid под нагрузку. Единственный недостаток, который я вижу, в том, что squid не умеет кэшировать торренты. Увеличить перегруженного squid, добавив больше RAM, ещё один процессор с большим количеством ядер или место на диске — это довольно просто, если есть немного знаний. Или консультации.
18.04.2013 08:11:00, reinerotto.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290915 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290915 Thu, 18 Apr 2013 08:11:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Слушай, а ты примерно представляешь, сколько стоит Cachemara и Cacheflow? Как с тобой можно связаться?
17.04.2013 09:52:00, jose.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290914 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290914 Wed, 17 Apr 2013 09:52:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Отличная идея. Хотел бы продолжить обсуждение. Может, ты сможешь скопировать несколько постов отсюда, чтобы их было легче найти. И не нужно повторяться.
19.04.2013 21:54:00, reinerotto.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290913 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290913 Fri, 19 Apr 2013 21:54:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Так, любой запрос на получение данных из сети (ranged request) требует загрузки всего файла, даже если его больше никогда не запросят. Это как-то не круто, хехе.

Редактирую: Заметил, что если клиент запрашивает байты от 104857600 (100МБ) до 105906176 (101МБ) для файла размером 200МБ, Squid начинает отправлять данные только после того, как скачает 100МБ?
19.04.2013 20:42:00, mjr88.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290912 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290912 Fri, 19 Apr 2013 20:42:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
На самом деле, для 3000 клиентов вам понадобится план 6400 Threads, который стоит $185. Если у вас 3000 клиентов, я предполагаю (исходя из опыта работы с нашими клиентами), что у вас примерно 200Mbps трафика. Я не знаю, сколько вы сейчас платите за канал связи, но давайте предположим, что вы платите $20/Mbps. Thunder легко позволит вам получить прирост в 50Mbps в вашей сети (я сейчас не углубляюсь в детали). 50Mbps x $20 = $1000 ежемесячной экономии. Мне кажется, это неплохой бизнес. И будем честны, сколько РЕАЛЬНО вы думаете, что сможете сэкономить на канале связи с BlueCoat? PeerApp предполагает 20% экономии по контракту. У меня нет такого контракта, но у меня нет ни одного клиента с экономией на канале связи меньше 30%, и 80% моих клиентов находятся в диапазоне от 35% до 45%. Мне было бы интересно узнать, как это выглядит на практике. Вы платите $20000 за BlueCoat. Предлагают ли они обновления на всю жизнь? Что они делают в случае изменений, как, например, те, что внесли YouTube пару недель назад? Если хотите, мы можем начать обсуждение на http://www.overnix.com, который является нашим официальным форумом поддержки, там я смогу ответить на ваши вопросы, не боясь нарушать правила здесь с ребятами из MK (хотя, подозреваю, я это уже сделала).
19.04.2013 20:36:00, mjr88.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290911 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290911 Fri, 19 Apr 2013 20:36:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Как мы немного отошли от темы Mikrotik, должен сказать коротко: работает уже 6 дней, около 400 тысяч объектов, сейчас 29,64% экономии трафика и рост. Мой Squid вмещает только 200 000 объектов, вчера 26,6% Bytehit. Но ожидаю улучшения, потому что пришла идея, как обрабатывать новые, меняющиеся ID, которые негативно влияли на Bytehitrate с момента их внедрения месяц назад. Скорее всего, это произошло примерно в то же время, когда видео и аудио были разделены на некоторых видео. Это отвечает на фрагментированный запрос и посылает новый запрос на полное видео, когда клиент снова его запрашивает? Нет. Полное видео запрашивается; как только доступна нужная часть, передается клиенту. Следующая часть будет извлечена из входящего полного видео. Действительно только для реальных запросов диапазона, конечно. Вы начинаете смотреть видео, пропустили середину и смотрите до конца. Если другой клиент сделает то же самое, доставит ли Squid кэш последней части, не имея полного видео в кэше? Для реальных запросов диапазона: нет. Однако, поскольку yt теперь использует «самостоятельные запросы диапазона», ответ — да. И это больше не видео, сколько клиентов, как вы думаете, используют скачиватель при скачивании больших файлов из сети, разбивая их на 10 206 ответов с указанием диапазона? Как Squid обрабатывает это? Просто так же: кэширует весь файл, но начинает передавать, как только становится доступна первая часть. Как я уже говорил, мы не полагаемся на URL. Поэтому ID видео не был важен с самого начала. И вот это – ОГРОМНЫЙ плюс. Возможно сделать это, например, с помощью базы данных, и потребуется некоторое кодирование. Вот почему вы заслуживаете немного денег за это.
19.04.2013 19:22:00, reinerotto.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290910 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290910 Fri, 19 Apr 2013 19:22:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Возможно, ваш продукт очень хороший, но мне никогда не нравилась идея платить ежемесячную плату за его использование. Например, тарифный план T15400 для обслуживания примерно 3000 клиентов обойдется ежемесячно около 350 долларов. За 5 лет вы в итоге заплатите сумму, сопоставимую со стоимостью BlueCoat CacheFlow, но не получите никакого оборудования.
19.04.2013 18:57:00, jose.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290909 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290909 Fri, 19 Apr 2013 18:57:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Он имел устройство с дисковым пространством 24ТБ, используя почти 15ТБ. Thunder работал с 7ТБ пространства, используя 5ТБ (RAID-массив из 12 дисков SAS 600ГБ с частотой вращения 15000 об/мин, хотя Thunder лучше работает с разделенными дисками). На самом деле, кэшировать не сложнее. Они просто разделили аудио и видео в 2 разных файла. Поскольку Youtube более года назад перешел на ranged запросы в URL, требуется специальная "обработка". Нам просто нужно было добавить эту обработку и к аудиофайлам, так как они теперь тоже приходят фрагментированными. И данных на 50% – за пару недель назад, до этого изменения. Когда я сказал ему об этом изменении, и что почти все видео в его кэше больше не будут "хититься", он воспользовался этим "моментом", чтобы обновиться на другую машину и… отформатировал кэш-диски, хе-хе. Оно работает 6 дней, около 400 тысяч объектов и сейчас на 29,64% экономии ссылок и роста. Я не знаю, как это делает Squid, на самом деле. Он отвечает на фрагментированный запрос и делает еще один запрос на полное видео, когда клиент снова запрашивает его? Другой бразильский кэш так делает. Ну, а что, если другой клиент просто больше никогда не посмотрит это видео? Еще вопрос: Ты смотришь видео, оно перескакивает после середины и ты смотришь до конца. Если другой клиент делает то же самое, доставит ли Squid кэш последней части, не имея полного видео в кэше? Thunder делает. И не только видео, сколько клиентов, по-твоему, используют скачатель при скачивании больших файлов из сети, разделяя их на 10, 20 фрагментированных ответов? Как Squid это обрабатывает? Thunder кэширует все 10 ответов. Ну и сколько раз ты пропускаешь YouTube-рекламу, когда она воспроизводится перед видео? Или сколько раз ты прекращаешь смотреть видео, которое только открыл, и понимаешь, что оно не то, что ты хотел? Или сколько раз ты отменяешь скачивание, или даже теряешь соединение или питание? Как я говорил раньше, мы не полагаемся на URL. Так что идентификатор видео с самого начала не был важен.
19.04.2013 18:04:00, mjr88.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290908 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290908 Fri, 19 Apr 2013 18:04:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Интересный ответ. Надеюсь, его не удалят. Вот несколько комментариев: Если вы хотите кэшировать "динамический" контент, вам придётся написать url-переписатель. Да, с squid требуются переписатели. Иначе, полагаться на какой-то тип БД для индексации кэшированных объектов, приводит к снижению производительности. Это позволяет системе обращаться к файлу, загруженному в разные файлообменные системы с совершенно разными именами и url. Это ПЛЮС для TC. Практически невозможно в squid. У этого клиента 1,4 Гбит/с трафика, и почти 300 Мбит/с — с YouTube. Он имеет 50% экономии трафика с YouTube с помощью ThunderCache 7.1. Его слова, не мои: "PeerApp даёт 20-30% экономии трафика на YouTube".

Во-первых: Одинаковый объём дискового пространства? Как я уже говорил, у меня примерно 30% bytehitrate с squid. Использую 2x2ТБ диска. Так сколько дискового пространства у упомянутого клиента? С каких пор ваши результаты? YouTube внесла несколько изменений только в прошлом месяце, что затрудняет кэширование. Мой bytehitrate упал до 30% из-за этого. Данные за вчера. Так я понял, что у меня нет информации ни о какой другой системе кэширования, которая полностью обрабатывает кэширование HTTP 206 ответов.

Небольшой ПЛЮС для TC. Однако, для yt-трафика это уже не так важно, по крайней мере, в моем регионе. Кроме того, squid может кэшировать весь видеофайл, а затем отдавать части из него. Я вдруг заметил, что у меня нет информации ни о какой другой системе кэширования, которая может "возобновлять" прерванные загрузки…

(возможно, )ПЛЮС для TC. Однако, практическая выгода сомнительна. Нужно проанализировать реальные логи, чтобы определить, как часто эта функция действительно используется. Честный ответ, пожалуйста: Повлияли ли/влияют ли ваши TC на изменение yt (id видео больше не фиксируется), или это не повлияло на yt?
19.04.2013 15:53:00, reinerotto.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290907 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290907 Fri, 19 Apr 2013 15:53:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Всем привет! Вопрос о CacheMARA vs Squid довольно интересный. Как вы, возможно, знаете, разработчики MARA сделали почти всё то "забавное", что сегодня умеет Squid. Так что я действительно думаю, что MARA лучше, чем Squid. Но это зависит от того, что вы ищете. MARA должна быть более стабильной, более надёжной и более эффективной в плане использования ресурсов оборудования. Но когда дело доходит до кэширования, картина меняется. MARA, Squid, Lusca и т.д. — все они кэшируют на основе URL контента. Если вы хотите кэшировать "динамический" контент, вам придётся написать переписатель URL, как это было в ThunderCache 3 и 3.1. MARA тоже должна иметь свои переписатели. Когда я разрабатывал ThunderCache 7.1, меня очень расстроило, что для кэширования объектов приходится полагаться на URL — это действительно скучно делать "плагины" для динамического контента. Поэтому мы разработали способ кэширования без привязки к URL в ThunderCache 7.1. И спустя несколько месяцев я узнал, что PeerApp делает что-то похожее. Это позволяет системе находить файл, который был загружен в различные файлообменные системы, с совершенно разными именами и URL. Я не знаю Bluecoat, никогда не видел его в работе, мало информации о нём в интернете, так что ничего не могу о нём сказать. Я знаю, что это не совсем тема разговора, но ThunderCache оказался в центре событий… Я заметил, что некоторые друзья здесь формируют неверное представление об этом. Так что лучше всего обратиться к "бедному разработчику", чтобы "разъяснить" некоторые вещи. Заранее прошу прощения перед Normis и всем остальным ребятам из Mikrotik, так как это может прозвучать как "реклама". Но я не мог обойтись без этого. Во-первых, я не могу объяснить вам всё, что вам нужно знать о системах кэширования, упомянутых здесь. Но я могу сказать, что у нас есть миграции даже с PeerApp на Thunder, и, честно говоря, я не думал, что сможем сделать что-то лучше, чем известные в индустрии системы кэширования. И тогда я спросил: почему??? Ответ был: "Ваше кэширование YouTube намного эффективнее, чем у PeerApp". Этот клиент имеет трафик в 1.4Gbps, и почти 300Mbps приходится на YouTube. Благодаря ThunderCache 7.1 достигается экономия трафика на 50% от YouTube. Его слова, не мои: "PeerApp даёт экономию 20-30% на трафике YouTube". Ну, я знаю это программное обеспечение, я точно знаю, что оно делает. Поэтому я понял, что у меня нет информации ни об одной другой системе кэширования, которая полностью обрабатывает кэширование HTTP 206 ответов… а также. Внезапно я также не нашёл информации ни об одной другой системе кэширования, которая могла бы "возобновлять" прерванные загрузки... Ну, вы понимаете. Итак, вот я, я мог бы написать огромный ответ и рассказать обо всех новых функциях, которые мы реализовали в ThunderCache 7.1, который является совершенно новой системой прокси и кэширования, с использованием едва ли 5% кода из предыдущих версий. Но я просто оставлю здесь сайт с объяснением этих новых функций, и вы можете прочитать его, если захотите: http://bmsoftware.org/new/hotsite_en.html. И, наконец, слова и красивые картинки — это не главное. Поэтому, если кому-то нужен пробный период без каких-либо затрат, я буду рад показать, что мы можем сделать. Если у вас есть какие-либо вопросы, вы можете просто задать их здесь или отправить мне электронное письмо. Спасибо за ваше время.
19.04.2013 15:08:00, mjr88.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290906 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290906 Fri, 19 Apr 2013 15:08:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Я серьезно сомневаюсь, насколько cacheMARA действительно лучше, чем squid. Предполагая, конечно, идентичные аппаратные ресурсы. Однако, требует некоторой доработки и настройки установки squid под конкретную нагрузку. Единственный минус, который я вижу, — squid не умеет кэшировать торренты. Обновить перегруженный squid, увеличив объем ОЗУ, добавив еще один процессор с большим количеством ядер или увеличив дисковое пространство — вполне прямолинейно, при наличии знаний. Или консультации.
18.04.2013 08:11:00, reinerotto.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290905 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290905 Thu, 18 Apr 2013 08:11:00 -0400 RouterOS CacheMARA RouterOS в форуме RouterOS.
Привет всем! Кто-нибудь использует CacheMARA в вашей сети? Как это работает? Работает ли это лучше, чем Thundercache? Спасибо.
13.03.2013 21:03:00, mauricioisp.]]> http://mikrotik.moscow/forum/forum57/72481-cachemara/message290904 http://mikrotik.moscow/forum/forum57/72481-cachemara/message290904 Wed, 13 Mar 2013 21:03:00 -0400 RouterOS