The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Подсчет upload трафика в squid "
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Учет трафика, статистика)
Изначальное сообщение [ Отслеживать ]

"Подсчет upload трафика в squid "  +/
Сообщение от danmer (ok) on 06-Май-13, 13:59 
Приветствую знатоков. Есть freebsd 8.2, на ней сквид 3.1.20. Есть задача считать upload трафик от клиентов. Сейчас download трафик считается lightsquid, хотелось бы к нему прикрутить также подсчет upload. Попробовал изменить формат лога, так чтобы в access.log писался также размер запроса, в squid.conf добавил строчку

logformat squid %ts.tu %>st %>a %Ss/>Hs %<st %rm %ru %un %Sh/%<A %mt

,где собственно %>st - Received request size including HTTP headers. Цифра писаться стала, но она не походит на правду. К примеру загружаю файл 20Мб, а у меня размер запроса - пол-килобайта. Подскажите, плиз, что я делаю не так? Может есть какие то другие способы решения этой задачи?

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Подсчет upload трафика в squid "  +/
Сообщение от pavlinux (ok) on 06-Май-13, 16:41 
> Есть задача считать upload трафик от клиентов.

Зачем? Премии лишать будете?
> Может есть какие то другие способы решения этой задачи?

Понять и простить!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Подсчет upload трафика в squid "  +/
Сообщение от danmer (ok) on 07-Май-13, 09:51 
> Зачем? Премии лишать будете?

Премии лишать не будем, но если у кого-то вдруг появляется гигабайтный аплоад, это повод задуматься что и куда сливается.

> Понять и простить!

Прощать будем, если выяснить что сливался не svn, а невинные фоточки с корпоратива.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Подсчет upload трафика в squid "  +/
Сообщение от mcshel email(ok) on 07-Май-13, 07:53 
> Приветствую знатоков. Есть freebsd 8.2, на ней сквид 3.1.20. Есть задача считать
> upload трафик от клиентов. Сейчас download трафик считается lightsquid, хотелось бы
> к нему прикрутить также подсчет upload. Попробовал изменить формат лога, так
> чтобы в access.log писался также размер запроса, в squid.conf добавил строчку
> logformat squid %ts.tu %>st %>a %Ss/>Hs %<st %rm %ru %un %Sh/%<A %mt
> ,где собственно %>st - Received request size including HTTP headers. Цифра писаться
> стала, но она не походит на правду. К примеру загружаю файл
> 20Мб, а у меня размер запроса - пол-килобайта. Подскажите, плиз, что
> я делаю не так? Может есть какие то другие способы решения
> этой задачи?

Лучше считать трафик сразу на порту. Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Подсчет upload трафика в squid "  +/
Сообщение от danmer (ok) on 07-Май-13, 09:46 
> Лучше считать трафик сразу на порту.

Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного фаервола используется pf, но у него на внутреннем интерфейсе уже есть куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но два фаервола корректно не заработали, а разбираться не было времени.

> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.

А есть версия, которая будет логировать?


Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Подсчет upload трафика в squid "  +/
Сообщение от Miha (??) on 07-Май-13, 14:32 
>> Лучше считать трафик сразу на порту.
> Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного
> фаервола используется pf, но у него на внутреннем интерфейсе уже есть
> куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но
> два фаервола корректно не заработали, а разбираться не было времени.

Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами keep-state \ check-state.
Посмотрите в сторону ng_netflow и pmacct.

>> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.
> А есть версия, которая будет логировать?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

9. "Подсчет upload трафика в squid "  +/
Сообщение от danmer (ok) on 13-Май-13, 12:34 
>  Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами
> keep-state \ check-state.
>  Посмотрите в сторону ng_netflow и pmacct.

ipfw планировалось использовать без keep-state, просто для подсчета трафика. Однако ipfw не смог почему то подружиться с pf. По поводу ng_netflow и pmacct - спасибо, погуглю.


Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

6. "Подсчет upload трафика в squid "  +1 +/
Сообщение от mcshel (ok) on 07-Май-13, 19:34 
>> Лучше считать трафик сразу на порту.
> Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного
> фаервола используется pf, но у него на внутреннем интерфейсе уже есть
> куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но
> два фаервола корректно не заработали, а разбираться не было времени.
>> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.
> А есть версия, которая будет логировать?

Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и есть сама FreeBSD может  вам MRTG попробовать?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

7. "Подсчет upload трафика в squid "  +/
Сообщение от danmer (ok) on 13-Май-13, 12:14 
> Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда
> юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и
> есть сама FreeBSD может  вам MRTG попробовать?

Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap?

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Подсчет upload трафика в squid "  +/
Сообщение от mcshel email(ok) on 13-Май-13, 12:27 
>> Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда
>> юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и
>> есть сама FreeBSD может  вам MRTG попробовать?
> Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap?

https://www.opennet.ru/opennews/art.shtml?num=36083

Поддержка режима SSL-Bump Server для перехвата содержимого шифрованных HTTPS-сеансов. При поступлении первого перехватываемого HTTPS-запроса, Squid осуществляет SSL-соединение с сервером и получает его сертификат. После этого Squid использует имя хоста из реального полученного от сервера сертификата и создаёт фиктивный сертификат, при помощи которого имитирует запрошенный сервер при взаимодействии с клиентом, продолжая при этом использовать SSL-соединение, установленное с сервером. Кроме HTTPS-соединений, указанная схема может использоваться для перехвата большинства HTTP-запросов с методом CONNECT.

Прошлая реализация SSL-Bump отличалась созданием на первом этапе SSL-соединения между клиентом и Squid и только затем созданием соединения с сервером, что не позволяло использовать в фиктивном сертификате детали реального сертификата, получаемого от сервера. Кроме того, новый метод позволяет работать в ситуациях, когда браузер не передаёт имя хоста при отправке запроса CONNECT;
Режим имитации SSL-сертификата сервера, при котором клиенту, при генерации фиктивного сертификата, транслируются все детали из реального сертификата сервера, что позволяет клиенту более осмысленно принять решение доверять данному сертификату или нет

Может я конечно ошибаюсь.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Подсчет upload трафика в squid "  +/
Сообщение от Mr. Mistoffelees email on 13-Май-13, 13:43 
Привет,

> Цифра писаться
> стала, но она не походит на правду. К примеру загружаю файл
> 20Мб, а у меня размер запроса - пол-килобайта.

А почему вы решили, что не отвечает на правду? Что, по-вашему, должно быть? Подумайте о том, что именно squid видит как трафик - что в вашем случае является payload поверх L3.

Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна HTTP GET/POST заявка. SYN и все последующие ACK в счет не входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так что не вините squid за то, что вы неверно поставили перед собой задачу.

WWell,

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Подсчет upload трафика в squid "  +/
Сообщение от danmer (ok) on 13-Май-13, 14:22 
> А почему вы решили, что не отвечает на правду? Что, по-вашему, должно
> быть? Подумайте о том, что именно squid видит как трафик -
> что в вашем случае является payload поверх L3.
> Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна
> HTTP GET/POST заявка. SYN и все последующие ACK в счет не
> входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так
> что не вините squid за то, что вы неверно поставили перед
> собой задачу.
> WWell,

Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый весьма успешно пишется в лог и подсчитывается, и если я скачаю файл в 20Мб, то он мне 20Мб в лог и запишет (плюс-минус пару процентов). При включении логирования upload, как я написал, при загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе я вижу только несколько килобайт. В этом и проблема. И уже если уже самим сквидом upload не посчитать, придется прибегать к методам подсчета трафика на порту.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Подсчет upload трафика в squid "  +/
Сообщение от mcshel (ok) on 13-Май-13, 18:43 
>[оверквотинг удален]
>> собой задачу.
>> WWell,
> Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый
> весьма успешно пишется в лог и подсчитывается, и если я скачаю
> файл в 20Мб, то он мне 20Мб в лог и запишет
> (плюс-минус пару процентов). При включении логирования upload, как я написал, при
> загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе
> я вижу только несколько килобайт. В этом и проблема. И уже
> если уже самим сквидом upload не посчитать, придется прибегать к методам
> подсчета трафика на порту.

Есть способы создать туннель, например используя 443 порт и метод CONNECT(не единственный способ) используя этот туннель не будут срабатывать ACL и логирование трафика так же идти не будет.

Так что лучше смотреть трафик на самом порту.


Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру