форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Настройка Squid и других прокси серверов (Прозрачный proxy)
Изначальное сообщение		[ Отслеживать ]

"Squid под большой нагрузкой."	+/–
Сообщение от atomlab (ok) on 16-Авг-12, 17:33
Здравствуйте. Поделитесь опытом пожалуйста. Стоит задача. Из всего http/https трафика ограничить доступ к определенным url. Для этого весь http/https трафик будет перенаправляться с циски на прокси. Политика прокси: пропускать все,кроме определенных url. Прокси будет настроен как прозрачный. Кеширования не будет. Пока я ориентируюсь на использование SQUID как самого популярного. Сейчас у нас идет 11000 запросов/секунту HTTP трафика и 1000 запросов/сек HTTPS трафика. Вопрос вот в чем. Выдерживает ли squid такое количество запросов? Есть примеры у кого-нибудь использования squid под подобными нагрузками? Если вопрос исключительно в ресурсах сервера,то как можно расчитать необходимые ресурсы для такой нагрузки? Планируется для этих нужд купить какой-нить блейд-сервер и добавлять в него лезвия по мере необходимости. П.С. Я пока рассматриваю версию squid 2.7.  Но squid3 еще есть,который с нуля переписан на C++. Хз есть разница в скорости работы или нет. Спасибо.
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Squid под большой нагрузкой."	+/–
Сообщение от parad (ok) on 16-Авг-12, 19:07
11000 и 1000 запросов!/сек. расскажи как ты эти цифры получил? с чего снимал?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	4. "Squid под большой нагрузкой."	+/–
	Сообщение от atomlab (ok) on 17-Авг-12, 10:18
	> 11000 и 1000 запросов!/сек. расскажи как ты эти цифры получил? с чего > снимал? С граничных маршрутизаторов нашей сети. Это большая провайдерская сеть. Я по этому и ищу кто где применяет squid. Потому что похоже он хорош только в сетях офисного или корпоративного уровня.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	6. "Squid под большой нагрузкой."	+/–
	Сообщение от Аноним (??) on 17-Авг-12, 10:38
	> С граничных маршрутизаторов нашей сети. Это большая провайдерская сеть. > Я по этому и ищу кто где применяет squid. Потому что похоже > он хорош только в сетях офисного или корпоративного уровня. Вам действительно не прокси нужен, а фильтр-анализатор трафика. Закон о реестре запрещённых сайтов реализуете? :)Не торопитесь, лучше запросите соответствующие органы, каким средствами это должно реализовываться на местах, наверняка уже есть или вот-вот организуется какое-нибудь "ООО Распил и откат", которое будет поставлять сертифицированное техническое решение, а все прочие окажутся или незаконными, или подлежащими обязательной сертификации в том же ООО, какую вы там никогда не получите, пока не заплатите сотни нефти.
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	7. "Squid под большой нагрузкой."	+/–
	Сообщение от atomlab (ok) on 17-Авг-12, 11:05
	>> С граничных маршрутизаторов нашей сети. Это большая провайдерская сеть. >> Я по этому и ищу кто где применяет squid. Потому что похоже >> он хорош только в сетях офисного или корпоративного уровня. > Вам действительно не прокси нужен, а фильтр-анализатор трафика. > Закон о реестре запрещённых сайтов реализуете? :)Не торопитесь, лучше запросите соответствующие > органы, каким средствами это должно реализовываться на местах, наверняка уже есть > или вот-вот организуется какое-нибудь "ООО Распил и откат", которое будет поставлять > сертифицированное техническое решение, а все прочие окажутся или незаконными, или подлежащими > обязательной сертификации в том же ООО, какую вы там никогда не > получите, пока не заплатите сотни нефти. Органам вообще по барабану как это технически провайдеры реализуют. Главное,чтобы страничка была заблочена. Было бы отлично,если суд выносит постановление закрыть такой-то ресурс и сразу предлагал бы бесплатно готовое решение для этого. Типа хотите цензуры, сами и придумывайте решения. :) Сушествуют DPI(технология глубокого анализа пакета) решения за 18млн рублей. 18 млн чтобы заблочить 100 страничек в интернете:)
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	8. "Squid под большой нагрузкой."	+/–
	Сообщение от Аноним (??) on 17-Авг-12, 11:21
	> Органам вообще по барабану как это технически провайдеры реализуют. Главное,чтобы страничка > была заблочена. > Было бы отлично,если суд выносит постановление закрыть такой-то ресурс и сразу предлагал > бы бесплатно готовое решение для этого. Типа хотите цензуры, сами и > придумывайте решения. :) > Сушествуют DPI(технология глубокого анализа пакета) решения за 18млн рублей. 18 млн чтобы > заблочить 100 страничек в интернете:) А вы не спешите всё же. Серьезно. Мы так уже давно с законом о персональных данных боремся, потому что пока заплатить 100 рублевый штраф проще, чем привести систему в соответствие с невнятными невменяемыми требованиями... Если жажда деятельности покоя не дает -  ну попробуйте сквид, что вы теряете-то? Возьмите сервер со средней по мощности конфигурацией из тех, что можете себе позволить, настройте черные списки, и постепенно переключайте абанентов на прозрачный прокси, наблюдая за ситуацией. В любом случае решение на базе сквида обходится элементарными анонимайзерами, про vpn, tor и i2p уж не будем...
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	10. "Squid под большой нагрузкой."	+/–
	Сообщение от reader (ok) on 17-Авг-12, 11:36
	>[оверквотинг удален] >> заблочить 100 страничек в интернете:) > А вы не спешите всё же. Серьезно. Мы так уже давно с > законом о персональных данных боремся, потому что пока заплатить 100 рублевый > штраф проще, чем привести систему в соответствие с невнятными невменяемыми требованиями... > Если жажда деятельности покоя не дает -  ну попробуйте сквид, что > вы теряете-то? Возьмите сервер со средней по мощности конфигурацией из тех, > что можете себе позволить, настройте черные списки, и постепенно переключайте абанентов > на прозрачный прокси, наблюдая за ситуацией. > В любом случае решение на базе сквида обходится элементарными анонимайзерами, про vpn, > tor и i2p уж не будем... не все что относится к web замечательно работает через прокси. да и клиентские запросы на web сервера будит приходить от ip прокси, даже если у клиента белый ip. всех пустите через один свой ip в результате одного клиента на ресурсе заблокируют по ip и получится заблокированными все. начнете тасовать по ip, начнут отваливаться авторизации на основе ip. клиенты будут "довольны".
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

	12. "Squid под большой нагрузкой."	+/–
	Сообщение от Аноним (??) on 17-Авг-12, 11:43
	> не все что относится к web замечательно работает через прокси. да и > клиентские запросы на web сервера будит приходить от ip прокси, даже > если у клиента белый ip. всех пустите через один свой ip > в результате одного клиента на ресурсе заблокируют по ip и получится > заблокированными все. начнете тасовать по ip, начнут отваливаться авторизации на основе > ip. клиенты будут "довольны". Кстати да. Нюансов будет много, так что всё же придется искать более продвинутое решение, нежели прокси-сервер
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	9. "Squid под большой нагрузкой."	+1 +/–
	Сообщение от Аноним (??) on 17-Авг-12, 11:23
	> Сушествуют DPI(технология глубокого анализа пакета) решения за 18млн рублей. 18 млн чтобы > заблочить 100 страничек в интернете:) А вы как думали? Или и правда верите, что кого-то беспокоит что там где в инете выложено непотребного? %-))) Все только ради того, чтобы любыми путями из любых организаций выжать побольше денег...
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	11. "Squid под большой нагрузкой."	+/–
	Сообщение от parad (ok) on 17-Авг-12, 11:43
	ну не те цифры называете. в хттп1.1 есть возможность в рамках одного подключения произвести несколько запросов, после этого подключение не факт что будет разовано и будет весеть еще определенное время. на маршрутизаторах вы их и видите. тобишь ваша цифра совсем не о запросах. по этим цифрам - не больше 1000-1500 реальных запросов. все зависит от железа, но без кеша сквид и на слабеньком потянет.
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

2. "Squid под большой нагрузкой."	+/–
Сообщение от Аноним (??) on 16-Авг-12, 20:17
> Здравствуйте. Поделитесь опытом пожалуйста. Фиг знает, сколько там у меня запросов в секунду выходит. Прокси на старом уже сервере: CPU: Intel(R) Xeon(TM) CPU 3.20GHz (3200.13-MHz 686-class CPU) Origin = "GenuineIntel"  Id = 0xf4a  Stepping = 10 real memory  = 1073524736 (1023 MB) avail memory = 1045540864 (997 MB) Squid 3. Порядка 400 пользователей. База пользователей - в postgresql. Имена, логины-пароли, уровни доступа (боссам можно все, ITшникам все, кроме порнухи, остальным никаких ютубов и соцсетей, ну и порно c mp3, соответственно, тоже нефиг качать), индивидуальные лимиты трафика на месяц, ограничения по времени доступа (не используем по ненадобности). Digest-аутентификация через самописные хелперы на perl (кстати, все трудноблокируемые скайпы и p2p в такой среде не живут, ибо digest поддерживается практически исключительно браузерами) Работает также самописный редиректор на perl, всю информацию к размышлению который также берет из postgresql, там что-то порядка 40-60 тыс. записей о различных ресурсах, доступ к которым заблокирован или ограничен для разных групп пользователей, баннеры до кучи режем тут же. Ну и плюс крутится еще небольшая перловая же утилитка bypass_auth, которая решает проблемы несовместимости digest-auth и некоторых приложений, которые имеют отношение к производственной деятельности. Итого 20 процессов auth + 60 процессов редиректора + 30 процессов bypass_auth, да сам squid, да еще несколько процессов delegated для pop3/smtp/ftp/nntp проксирования, и каждые 15 минут скрипт на перле шерстит лог squid и в postgresql заносит данные, кто сколько накачал, а кто лимит превысил - тому блокировка до конца месяца. Ну и апач скромно примостился в уголке, краткую статистику посещения интернета пользователям показывает, каковую статистику каждый час free-sa из логов squid выковыривает, ну и раз в месяц sarg полный отчет генерит, все никак не приспособлю free-sa вместо sarg'а окончательно. И как-то всё это живет, и кушать не просит особо. Проблемы были, когда провайдер скорость срезал до мегабита с обычных 10-12 - стало не хватать пропускной способности канала, соответственно, начали затыкаться редиректоры, но до фатальных падений не доходило, тормозило просто все. Потом канал вернулся - стало опять тихо и спокойно. Так что смотрите сами. На более свежем железе, да без зоопарка с перлом и postgresql, думается, вообще говорить не о чем.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Squid под большой нагрузкой."	+/–
Сообщение от write2net (ok) on 17-Авг-12, 09:44
> Сейчас у нас идет 11000 запросов/секунту HTTP трафика и 1000 запросов/сек HTTPS > трафика. лучше скажите, какого размера инет-канал
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	5. "Squid под большой нагрузкой."	+/–
	Сообщение от atomlab (ok) on 17-Авг-12, 10:20
	>> Сейчас у нас идет 11000 запросов/секунту HTTP трафика и 1000 запросов/сек HTTPS >> трафика. > лучше скажите, какого размера инет-канал Канал 10Gb/sec.
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	13. "Squid под большой нагрузкой."	+/–
	Сообщение от ivb (??) on 17-Авг-12, 11:51
	На 10G проксю ? Суровые вы ребята. Блокируем пока по IP и не заморачиваемся. А DPI вещь полезная, и для приоретизации трафика, напрмер (торренты и пр.)
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	14. "Squid под большой нагрузкой."	+/–
	Сообщение от dima (??) on 18-Авг-12, 05:39
	чета мелочатся власти поганые. вот в Иране вообще интернет закрывают, надо перенимать
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	15. "Squid под большой нагрузкой."	+/–
	Сообщение от dima (??) on 18-Авг-12, 05:43
	> чета мелочатся власти поганые. > вот в Иране вообще интернет закрывают, надо перенимать opennet.ru тоже заблокируют, потому что тут написанно что путин вор
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	16. "Squid под большой нагрузкой."	+/–
	Сообщение от ivb (??) on 20-Авг-12, 06:17
	Закон о клевете приняли, поосторожнее с выражениями :) Блокировки ресурсов есть во всех странах, не надо сюда приплетать политику.
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

	17. "Squid под большой нагрузкой."	+/–
	Сообщение от Вася (??) on 05-Окт-12, 08:34
	> Закон о клевете приняли, поосторожнее с выражениями :) Это не клевета, а оценочное суждение
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема