forum.opennet.ru - "Недозагрузка страниц через SQUID" (5)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Недозагрузка страниц через SQUID"

Форум Настройка Squid и других прокси серверов (Squid)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Недозагрузка страниц через SQUID"	+/–
Сообщение от Алексей (??) on 13-Фев-13, 18:08
SQUID 3.0.STABLE13 + SAMS Недавно появилась проблемма - при открытии многх сайтов загрузка или не начинается или проходит не до конца :( Не загружаются баннеры. Без SQUID - все грузится. Перерыл кучу информации по теме. Пересоздавал кэш, проверял доступность ДНС, ставил на отладку - смотрел протоколы (никакого явного криминала). Менял размеры кэша. И ничего. Может кто сталкивался - даст идею. Имею: uname -r 2.6.16.13-4-default Конфиг: acl _sams_default src "/usr/local/squid/etc/default.sams" acl _sams_default_time time MTWHFAS 00:00-23:59 acl _sams_porno url_regex "/usr/local/squid/etc/porno.sams" acl manager proto cache_object acl localhost src 127.0.0.1/32 acl to_localhost dst 127.0.0.0/8 acl SSL_ports port 443 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl Safe_ports port 39410 # acl Safe_ports port 8000 # acl Safe_ports port 9888 # acl Safe_ports port 23080 # acl CONNECT method CONNECT http_access allow _sams_default !_sams_porno _sams_default_time http_access allow manager localhost http_access deny manager # Deny requests to unknown ports http_access deny !Safe_ports # Deny CONNECT to other than SSL ports http_access deny CONNECT !SSL_ports http_access allow localnet # And finally deny all other access to this proxy http_access deny all icp_access allow localnet icp_access deny all htcp_access allow localnet htcp_access deny all http_port 192.168.x.xxx:3128 hierarchy_stoplist cgi-bin ? access_log /usr/local/squid/var/logs/access.log squid debug_options ALL,1 ftp_passive off refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern (cgi-bin\|\?) 0 0% 0 refresh_pattern . 0 20% 4320 cache_effective_user squid cache_effective_group squid icp_port 3130
Ответить \| Правка \| Cообщить модератору

Оглавление

Недозагрузка страниц через SQUID, ipmanyak, 09:27 , 14-Фев-13, (1)

Недозагрузка страниц через SQUID, oaealex, 10:07 , 14-Фев-13, (2)
Недозагрузка страниц через SQUID, oaealex, 10:42 , 14-Фев-13, (3)

Недозагрузка страниц через SQUID, oaealex, 16:37 , 14-Фев-13, (4)

Недозагрузка страниц через SQUID, ipmanyak, 08:44 , 15-Фев-13, (5)

Сообщения по теме [Сортировка по времени | RSS]

1. "Недозагрузка страниц через SQUID" +/–

Сообщение от ipmanyak (ok) on 14-Фев-13, 09:27

В вашем конфиге я не вижу
1 -  акселей размера памяти сквида в озу и на диске.
2 - акселей доступа для вашей локальной сети
3 - icp_access allow localnet  и   http_access allow localnet
акселя localnet не увидел, где он? Зачем вам icp ? у вас есть соседи с кэшами? ТО же самое для акселя htcp?
4 - acl to_localhost dst 127.0.0.0/8 - вообще не понял зачем он нужен, тем более, что разрешающего правила для него нет?
покажите строки из access.log для проблемных сайтов
Все сайты так себя видут или некоторые?
у вас есть аксели sams, что в их файлах прописано? Попробуйте временно отключить их. ТО есть поработать без SAMS.
Покажите строки из cache.log после запуска сквида
P.S.
Я бы посоветовал для начала вам запустить сквид с дефолтовыми настройками.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Недозагрузка страниц через SQUID" +/–

Сообщение от oaealex (ok) on 14-Фев-13, 10:07

> В вашем конфиге я не вижу
> 1 -  акселей размера памяти сквида в озу и на диске.
Дефолтная настройка:
cache_dir ufs /usr/local/squid/var/cache 100 16 256
> 2 - акселей доступа для вашей локальной сети
http_access allow _sams_default  !_sams_porno _sams_default_time
где в _sams_default   перечень разрешенных IP адресов
_sams_porno - vkontakte и т.д.
Если я Вас правильно понял.
> 3 - icp_access allow localnet  и   http_access allow localnet
> акселя localnet не увидел, где он? Зачем вам icp ? у вас
> есть соседи с кэшами? ТО же самое для акселя htcp?
Да, согласен. Однако их удаление не дает эффекта.
> 4 - acl to_localhost dst 127.0.0.0/8 - вообще не понял зачем он
> нужен, тем более, что разрешающего правила для него нет?
Да согласен - правило не нужно.
> покажите строки из access.log для проблемных сайтов
1360759076.383    113 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 2032 GET http://miass.info/1/inc/miass.css - DIRECT/62.148.255.178 text/css
1360759076.600    337 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 24642 GET http://miass.ru/img/t_w_8.jpg - DIRECT/217.19.112.4 image/jpeg
1360759076.650    252 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 6890 GET http://miass.ru/img/t_miass.jpg - DIRECT/217.19.112.4 image/jpeg
1360759076.660    591 192.168.1.228 TCP_MISS/200 33027 GET http://miass.ru/ - DIRECT/217.19.112.4 text/html
1360759076.705    100 192.168.1.228 TCP_MISS/200 371 GET http://miass.ru/img/empty.gif - DIRECT/217.19.112.4 image/gif
1360759076.780    116 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 1305 GET http://miass.ru/img/mb/g1.gif - DIRECT/217.19.112.4 image/gif
1360759076.927    250 192.168.1.228 TCP_MISS/200 12258 GET http://tmp.miass.ru/banner-show.php? - DIRECT/217.19.112.4 image/*

> Все сайты так себя видут или некоторые?
Толко некоторые. Например - miass.ru log-in.ru
> у вас есть аксели sams, что в их файлах прописано? Попробуйте временно
> отключить их
Отключал porno - эффекта не дало.
> Покажите строки из cache.log после запуска сквида
2013/02/14 11:59:42| Starting Squid Cache version 3.0.STABLE13 for i686-pc-linux-gnu...
2013/02/14 11:59:42| Process ID 29661
2013/02/14 11:59:42| With 1024 file descriptors available
2013/02/14 11:59:42| DNS Socket created at 0.0.0.0, port 33745, FD 9
2013/02/14 11:59:42| Adding nameserver 127.0.0.1 from /etc/resolv.conf
2013/02/14 11:59:42| Adding nameserver 8.8.8.8 from /etc/resolv.conf
2013/02/14 11:59:42| Adding nameserver 195.54.2.1 from /etc/resolv.conf
2013/02/14 11:59:42| Adding domain prominform.ru from /etc/resolv.conf
2013/02/14 11:59:42| Unlinkd pipe opened on FD 14
2013/02/14 11:59:42| Swap maxSize 102400 KB, estimated 7876 objects
2013/02/14 11:59:42| Target number of buckets: 393
2013/02/14 11:59:42| Using 8192 Store buckets
2013/02/14 11:59:42| Max Mem  size: 8192 KB
2013/02/14 11:59:42| Max Swap size: 102400 KB
2013/02/14 11:59:42| Version 1 of swap file with LFS support detected...
2013/02/14 11:59:42| Rebuilding storage in /usr/local/squid/var/cache (CLEAN)
2013/02/14 11:59:42| Using Least Load store dir selection
2013/02/14 11:59:42| Set Current Directory to /usr/local/squid/var/cache
2013/02/14 11:59:42| Loaded Icons.
2013/02/14 11:59:42| Accepting  HTTP connections at 192.168.1.xxx, port 3128, FD 16.
2013/02/14 11:59:42| HTCP Disabled.
2013/02/14 11:59:42| Ready to serve requests.
2013/02/14 11:59:43| Store rebuilding is 78.39% complete
2013/02/14 11:59:43| Done reading /usr/local/squid/var/cache swaplog (5224 entries)
2013/02/14 11:59:43| Finished rebuilding storage from disk.
2013/02/14 11:59:43|      5224 Entries scanned
2013/02/14 11:59:43|         0 Invalid entries.
2013/02/14 11:59:43|         0 With invalid flags.
2013/02/14 11:59:43|      5224 Objects loaded.
2013/02/14 11:59:43|         0 Objects expired.
2013/02/14 11:59:43|         0 Objects cancelled.
2013/02/14 11:59:43|         0 Duplicate URLs purged.
2013/02/14 11:59:43|         0 Swapfile clashes avoided.
2013/02/14 11:59:43|   Took 0.88 seconds (5925.56 objects/sec).
2013/02/14 11:59:43| Beginning Validation Procedure
2013/02/14 11:59:43|   Completed Validation Procedure
2013/02/14 11:59:43|   Validated 10473 Entries
2013/02/14 11:59:43|   store_swap_size = 92156
2013/02/14 11:59:43| storeLateRelease: released 0 objects

> P.S.
> Я бы посоветовал для начала вам запустить сквид с дефолтовыми настройками.
Да, попробую.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Недозагрузка страниц через SQUID" +/–

Сообщение от oaealex (ok) on 14-Фев-13, 10:42

> P.S.
> Я бы посоветовал для начала вам запустить сквид с дефолтовыми настройками.
Попробовал. Эффекта нет. Такое ощущение - что это напрямую со SQUID не связано - возможно ему не хватает каких то ресурсов - например файловых дескрипторов. Однако такую ситуацию (не хватает файловых дескрипторов) мы увидели бы в логе.
iptables - тоже отпадает - если его отключить - ситуация не изменяется.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "Недозагрузка страниц через SQUID" +/–

Сообщение от oaealex (ok) on 14-Фев-13, 16:37

> iptables - тоже отпадает - если его отключить - ситуация не изменяется.
Вобщем как оказалось "сам дурак".
После долгих мытарств и чтения разных постов где люди успешно побеждали такие глюки чистой кэша, настройкой фаерволлов, ДНС, параметрами сохранения кэша, настройкой параметров TCP - в общем всем чем можно - я наконец то оторвался от своего монитора и спросил присутствующих USerov - "ну а у вас, простые люди, :) - как дела ?"  А дела у всех были прекрасны и зечательны, а мои проблеммные сйты открывались "на ура". Блин :)
Я со злости установил браузер - Opera - и о чудо - у меня тоже пропали глюки.
Тогда я очистил кэш Explorera, закрыл все его открытые страницы и перезапустил.
Чудо. И в эксплорере все "поехало".
В общем... Извините что побеспокоил. И спасибо за ответы.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Недозагрузка страниц через SQUID" +/–

Сообщение от ipmanyak (ok) on 15-Фев-13, 08:44

>[оверквотинг удален]
> параметров TCP - в общем всем чем можно - я наконец
> то оторвался от своего монитора и спросил присутствующих USerov - "ну
> а у вас, простые люди, :) - как дела ?"
> А дела у всех были прекрасны и зечательны, а мои проблеммные
> сйты открывались "на ура". Блин :)
> Я со злости установил браузер - Opera - и о чудо -
> у меня тоже пропали глюки.
> Тогда я очистил кэш Explorera, закрыл все его открытые страницы и перезапустил.
> Чудо. И в эксплорере все "поехало".
> В общем... Извините что побеспокоил. И спасибо за ответы.
:)
дисковый кэш в 100 мег маловат, увеличьте хотя бы до полгига. Если у вас безлимитка, то лучше вообще не юзать дисковый кэш, лишний тормоз.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Недозагрузка страниц через SQUID"	+/–
Сообщение от ipmanyak (ok) on 14-Фев-13, 09:27
В вашем конфиге я не вижу 1 - акселей размера памяти сквида в озу и на диске. 2 - акселей доступа для вашей локальной сети 3 - icp_access allow localnet и http_access allow localnet акселя localnet не увидел, где он? Зачем вам icp ? у вас есть соседи с кэшами? ТО же самое для акселя htcp? 4 - acl to_localhost dst 127.0.0.0/8 - вообще не понял зачем он нужен, тем более, что разрешающего правила для него нет? покажите строки из access.log для проблемных сайтов Все сайты так себя видут или некоторые? у вас есть аксели sams, что в их файлах прописано? Попробуйте временно отключить их. ТО есть поработать без SAMS. Покажите строки из cache.log после запуска сквида P.S. Я бы посоветовал для начала вам запустить сквид с дефолтовыми настройками.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "Недозагрузка страниц через SQUID"	+/–
	Сообщение от oaealex (ok) on 14-Фев-13, 10:07
	> В вашем конфиге я не вижу > 1 - акселей размера памяти сквида в озу и на диске. Дефолтная настройка: cache_dir ufs /usr/local/squid/var/cache 100 16 256 > 2 - акселей доступа для вашей локальной сети http_access allow _sams_default !_sams_porno _sams_default_time где в _sams_default перечень разрешенных IP адресов _sams_porno - vkontakte и т.д. Если я Вас правильно понял. > 3 - icp_access allow localnet и http_access allow localnet > акселя localnet не увидел, где он? Зачем вам icp ? у вас > есть соседи с кэшами? ТО же самое для акселя htcp? Да, согласен. Однако их удаление не дает эффекта. > 4 - acl to_localhost dst 127.0.0.0/8 - вообще не понял зачем он > нужен, тем более, что разрешающего правила для него нет? Да согласен - правило не нужно. > покажите строки из access.log для проблемных сайтов 1360759076.383 113 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 2032 GET http://miass.info/1/inc/miass.css - DIRECT/62.148.255.178 text/css 1360759076.600 337 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 24642 GET http://miass.ru/img/t_w_8.jpg - DIRECT/217.19.112.4 image/jpeg 1360759076.650 252 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 6890 GET http://miass.ru/img/t_miass.jpg - DIRECT/217.19.112.4 image/jpeg 1360759076.660 591 192.168.1.228 TCP_MISS/200 33027 GET http://miass.ru/ - DIRECT/217.19.112.4 text/html 1360759076.705 100 192.168.1.228 TCP_MISS/200 371 GET http://miass.ru/img/empty.gif - DIRECT/217.19.112.4 image/gif 1360759076.780 116 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 1305 GET http://miass.ru/img/mb/g1.gif - DIRECT/217.19.112.4 image/gif 1360759076.927 250 192.168.1.228 TCP_MISS/200 12258 GET http://tmp.miass.ru/banner-show.php? - DIRECT/217.19.112.4 image/* > Все сайты так себя видут или некоторые? Толко некоторые. Например - miass.ru log-in.ru > у вас есть аксели sams, что в их файлах прописано? Попробуйте временно > отключить их Отключал porno - эффекта не дало. > Покажите строки из cache.log после запуска сквида 2013/02/14 11:59:42\| Starting Squid Cache version 3.0.STABLE13 for i686-pc-linux-gnu... 2013/02/14 11:59:42\| Process ID 29661 2013/02/14 11:59:42\| With 1024 file descriptors available 2013/02/14 11:59:42\| DNS Socket created at 0.0.0.0, port 33745, FD 9 2013/02/14 11:59:42\| Adding nameserver 127.0.0.1 from /etc/resolv.conf 2013/02/14 11:59:42\| Adding nameserver 8.8.8.8 from /etc/resolv.conf 2013/02/14 11:59:42\| Adding nameserver 195.54.2.1 from /etc/resolv.conf 2013/02/14 11:59:42\| Adding domain prominform.ru from /etc/resolv.conf 2013/02/14 11:59:42\| Unlinkd pipe opened on FD 14 2013/02/14 11:59:42\| Swap maxSize 102400 KB, estimated 7876 objects 2013/02/14 11:59:42\| Target number of buckets: 393 2013/02/14 11:59:42\| Using 8192 Store buckets 2013/02/14 11:59:42\| Max Mem size: 8192 KB 2013/02/14 11:59:42\| Max Swap size: 102400 KB 2013/02/14 11:59:42\| Version 1 of swap file with LFS support detected... 2013/02/14 11:59:42\| Rebuilding storage in /usr/local/squid/var/cache (CLEAN) 2013/02/14 11:59:42\| Using Least Load store dir selection 2013/02/14 11:59:42\| Set Current Directory to /usr/local/squid/var/cache 2013/02/14 11:59:42\| Loaded Icons. 2013/02/14 11:59:42\| Accepting HTTP connections at 192.168.1.xxx, port 3128, FD 16. 2013/02/14 11:59:42\| HTCP Disabled. 2013/02/14 11:59:42\| Ready to serve requests. 2013/02/14 11:59:43\| Store rebuilding is 78.39% complete 2013/02/14 11:59:43\| Done reading /usr/local/squid/var/cache swaplog (5224 entries) 2013/02/14 11:59:43\| Finished rebuilding storage from disk. 2013/02/14 11:59:43\| 5224 Entries scanned 2013/02/14 11:59:43\| 0 Invalid entries. 2013/02/14 11:59:43\| 0 With invalid flags. 2013/02/14 11:59:43\| 5224 Objects loaded. 2013/02/14 11:59:43\| 0 Objects expired. 2013/02/14 11:59:43\| 0 Objects cancelled. 2013/02/14 11:59:43\| 0 Duplicate URLs purged. 2013/02/14 11:59:43\| 0 Swapfile clashes avoided. 2013/02/14 11:59:43\| Took 0.88 seconds (5925.56 objects/sec). 2013/02/14 11:59:43\| Beginning Validation Procedure 2013/02/14 11:59:43\| Completed Validation Procedure 2013/02/14 11:59:43\| Validated 10473 Entries 2013/02/14 11:59:43\| store_swap_size = 92156 2013/02/14 11:59:43\| storeLateRelease: released 0 objects > P.S. > Я бы посоветовал для начала вам запустить сквид с дефолтовыми настройками. Да, попробую.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	3. "Недозагрузка страниц через SQUID"	+/–
	Сообщение от oaealex (ok) on 14-Фев-13, 10:42
	> P.S. > Я бы посоветовал для начала вам запустить сквид с дефолтовыми настройками. Попробовал. Эффекта нет. Такое ощущение - что это напрямую со SQUID не связано - возможно ему не хватает каких то ресурсов - например файловых дескрипторов. Однако такую ситуацию (не хватает файловых дескрипторов) мы увидели бы в логе. iptables - тоже отпадает - если его отключить - ситуация не изменяется.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	4. "Недозагрузка страниц через SQUID"	+/–
	Сообщение от oaealex (ok) on 14-Фев-13, 16:37
	> iptables - тоже отпадает - если его отключить - ситуация не изменяется. Вобщем как оказалось "сам дурак". После долгих мытарств и чтения разных постов где люди успешно побеждали такие глюки чистой кэша, настройкой фаерволлов, ДНС, параметрами сохранения кэша, настройкой параметров TCP - в общем всем чем можно - я наконец то оторвался от своего монитора и спросил присутствующих USerov - "ну а у вас, простые люди, :) - как дела ?" А дела у всех были прекрасны и зечательны, а мои проблеммные сйты открывались "на ура". Блин :) Я со злости установил браузер - Opera - и о чудо - у меня тоже пропали глюки. Тогда я очистил кэш Explorera, закрыл все его открытые страницы и перезапустил. Чудо. И в эксплорере все "поехало". В общем... Извините что побеспокоил. И спасибо за ответы.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	5. "Недозагрузка страниц через SQUID"	+/–
	Сообщение от ipmanyak (ok) on 15-Фев-13, 08:44
	>[оверквотинг удален] > параметров TCP - в общем всем чем можно - я наконец > то оторвался от своего монитора и спросил присутствующих USerov - "ну > а у вас, простые люди, :) - как дела ?" > А дела у всех были прекрасны и зечательны, а мои проблеммные > сйты открывались "на ура". Блин :) > Я со злости установил браузер - Opera - и о чудо - > у меня тоже пропали глюки. > Тогда я очистил кэш Explorera, закрыл все его открытые страницы и перезапустил. > Чудо. И в эксплорере все "поехало". > В общем... Извините что побеспокоил. И спасибо за ответы. :) дисковый кэш в 100 мег маловат, увеличьте хотя бы до полгига. Если у вас безлимитка, то лучше вообще не юзать дисковый кэш, лишний тормоз.
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору