forum.opennet.ru - "Зависание серверов с xen" (8)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Зависание серверов с xen"

Форум Открытые системы на сервере (Виртуализация / Linux)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Зависание серверов с xen"	+/–
Сообщение от KJeipowhe on 13-Окт-10, 10:50
Привет. Есть несколько абсолютно одинаковых машин с одинаковыми установками CentOS+xen. Некоторые работают замечательно, а вот некоторые зависают каждые 3-4 дня. Причем никаких сообщений в логах нет, никаких ошибок, просто мертвый завис. После перезагрузки видно, что машина именно зависает - crond лог показывает, что ежеминутные запуски прекращаются и возобновляются только после перезагрузки. По ipKVM виден только черный экран, на клавиатуру не реагирует. В общем, хотелось бы услышать любые советы как можно понять причины этих зависов - может быть включить какое-то расширенное логгирование и тп. Спасибо.
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

Зависание серверов с xen, shadow_alone, 11:06 , 13-Окт-10, (1)

Зависание серверов с xen, KJeipowhe, 11:22 , 13-Окт-10, (2)

Зависание серверов с xen, shadow_alone, 16:21 , 13-Окт-10, (3)

Зависание серверов с xen, sHaggY_caT, 12:05 , 14-Окт-10, (6)

Зависание серверов с xen, shadow_alone, 17:10 , 14-Окт-10, (7)

Зависание серверов с xen, sHaggY_caT, 17:20 , 14-Окт-10, (8)

Зависание серверов с xen, shadow_alone, 17:00 , 13-Окт-10, (4)
Зависание серверов с xen, sHaggY_caT, 12:01 , 14-Окт-10, (5)

Сообщения по теме [Сортировка по времени | RSS]

1. "Зависание серверов с xen" +/–

Сообщение от shadow_alone (ok) on 13-Окт-10, 11:06

Не связано ли это с последней обнаруженной уязвимостью?
Неплохо бы отследить состояние памяти.
Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg etc.)
обратите внимание.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Зависание серверов с xen" +/–

Сообщение от KJeipowhe on 13-Окт-10, 11:22

> Не связано ли это с последней обнаруженной уязвимостью?
> Неплохо бы отследить состояние памяти.
> Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg
> etc.)
> обратите внимание.
Графики есть, никаких аномалий.
А что за обнаруженная уязвимость?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Зависание серверов с xen" +/–

Сообщение от shadow_alone (ok) on 13-Окт-10, 16:21

>> Не связано ли это с последней обнаруженной уязвимостью?
>> Неплохо бы отследить состояние памяти.
>> Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg
>> etc.)
>> обратите внимание.
> Графики есть, никаких аномалий.
> А что за обнаруженная уязвимость?
Проблема с glob
"""
Желающим попробовать уязвимость в действии могу предложить набрать в bash консоли команду наподобие
ls ../../*/../*/*/../../*/*/*/*
Можно эксплуатировать, например, из PHP:
php -r 'print glob("../../*/../*/*/../../*/*/*/*");'
или Python
python -c 'import glob; glob.glob("../../*/../*/*/../../*/*/*/*")'
и из любого другого языка, обращающегося к этой функции.
"""

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Зависание серверов с xen" +/–

Сообщение от sHaggY_caT (ok) on 14-Окт-10, 12:05

>[оверквотинг удален]
>>> Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg
>>> etc.)
>>> обратите внимание.
>> Графики есть, никаких аномалий.
>> А что за обнаруженная уязвимость?
> Проблема с glob
> """
> Желающим попробовать уязвимость в действии могу предложить набрать в bash консоли команду
> наподобие
> ls ../../*/../*/*/../../*/*/*/*
В системе, стоящей на железе (Fedora 12, моя воркстанция), в OpenVZ-контейнере, и KVM-виртуалках с CentOS нифига не работает(но обновится, конечно, нужно). То есть, CPU, конечно, кушает, но разжиревший FireFox, или Apache при DDoS, какой-нибудь шугар или 1с-ина, да и самба, часто кушают гораздо больше.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Зависание серверов с xen" +/–

Сообщение от shadow_alone (ok) on 14-Окт-10, 17:10

> В системе, стоящей на железе (Fedora 12, моя воркстанция), в OpenVZ-контейнере, и
> KVM-виртуалках с CentOS нифига не работает(но обновится, конечно, нужно). То есть,
> CPU, конечно, кушает, но разжиревший FireFox, или Apache при DDoS, какой-нибудь
> шугар или 1с-ина, да и самба, часто кушают гораздо больше.
Там дело не только в CPU, там память отжирается нехило.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Зависание серверов с xen" +/–

Сообщение от sHaggY_caT (ok) on 14-Окт-10, 17:20

>> В системе, стоящей на железе (Fedora 12, моя воркстанция), в OpenVZ-контейнере, и
>> KVM-виртуалках с CentOS нифига не работает(но обновится, конечно, нужно). То есть,
>> CPU, конечно, кушает, но разжиревший FireFox, или Apache при DDoS, какой-нибудь
>> шугар или 1с-ина, да и самба, часто кушают гораздо больше.
> Там дело не только в CPU, там память отжирается нехило.
Все равно, имхо, для DoS как-то неубедительно. Вряд ли от такого может упасть сервис, кроме, может быть, уже почти до предела загруженного.
А уж висюки виртуалок и хост-систем, имхо, совсем не про эту багу.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Зависание серверов с xen" +/–

Сообщение от shadow_alone (ok) on 13-Окт-10, 17:00

Еще посмотрите настройки в BIOS-е.
Вполне возможно что-то отключено/включено

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Зависание серверов с xen" +/–

Сообщение от sHaggY_caT (ok) on 14-Окт-10, 12:01

> Привет.
> Есть несколько абсолютно одинаковых машин с одинаковыми установками CentOS+xen.
> Некоторые работают замечательно, а вот некоторые зависают каждые 3-4 дня.
> Причем никаких сообщений в логах нет, никаких ошибок, просто мертвый завис. После
> перезагрузки видно, что машина именно зависает - crond лог показывает, что
> ежеминутные запуски прекращаются и возобновляются только после перезагрузки.
> По ipKVM виден только черный экран, на клавиатуру не реагирует.
> В общем, хотелось бы услышать любые советы как можно понять причины этих
> зависов - может быть включить какое-то расширенное логгирование и тп.
> Спасибо.
Попробуйте с одной из проблемных машин _временно_ переместить виртуалки на одну-две из стабильно работающих.
Если:
а) Начнутся висюки у ранее стабильно работающих, проблема локализована в виртуалках и их настройках
б) Все останется как прежде, и машины продолжат работать стабильно, проблема локализована в сервере, в этом случае:
б.1) Попробуйте переставить диски проблемного сервера в платформу, ранее работавшую стабильно. Если начнутся проблемы, проблема локализована в конфигах  Xen Dom0
б.2) Если сервер из прошлого пункта продолжит работать стабильно, проблема либо в железе, либо в BIOS
   б.2.a) Попробуйте по-очереди заменять комплектуху пробленой платформы на 100%-но рабочую, если проблема не решится, она локализована в BIOS, или материнской плате.
   б.2.б) Сбросьте настройки BIOS на одной из "рабочих" и "глючных" нод, и настройте их по-пунктово аналогично
   б.2.с) Если все останется так, как прежде (глючная виснет, а безглючная нет, как и раньше), проблема в материнке

Если машины из одной партии, может быть брак. Если методом исключения, описанным выше, выясните достоверно, что проблема в железе, погоняйте все машины со стандартным ядром на стресс-тестах, мало ли какие еще проблемы в железе всплывут?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Зависание серверов с xen"	+/–
Сообщение от shadow_alone (ok) on 13-Окт-10, 11:06
Не связано ли это с последней обнаруженной уязвимостью? Неплохо бы отследить состояние памяти. Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg etc.) обратите внимание.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	2. "Зависание серверов с xen"	+/–
	Сообщение от KJeipowhe on 13-Окт-10, 11:22
	> Не связано ли это с последней обнаруженной уязвимостью? > Неплохо бы отследить состояние памяти. > Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg > etc.) > обратите внимание. Графики есть, никаких аномалий. А что за обнаруженная уязвимость?
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	3. "Зависание серверов с xen"	+/–
	Сообщение от shadow_alone (ok) on 13-Окт-10, 16:21
	>> Не связано ли это с последней обнаруженной уязвимостью? >> Неплохо бы отследить состояние памяти. >> Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg >> etc.) >> обратите внимание. > Графики есть, никаких аномалий. > А что за обнаруженная уязвимость? Проблема с glob """ Желающим попробовать уязвимость в действии могу предложить набрать в bash консоли команду наподобие ls ../..//..///../..////* Можно эксплуатировать, например, из PHP: php -r 'print glob("../..//..///../..////");' или Python python -c 'import glob; glob.glob("../..//..///../..////")' и из любого другого языка, обращающегося к этой функции. """
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	6. "Зависание серверов с xen"	+/–
	Сообщение от sHaggY_caT (ok) on 14-Окт-10, 12:05
	>[оверквотинг удален] >>> Если у Вас собирается статистика по состоянию памяти, или есть графики (mrtg >>> etc.) >>> обратите внимание. >> Графики есть, никаких аномалий. >> А что за обнаруженная уязвимость? > Проблема с glob > """ > Желающим попробовать уязвимость в действии могу предложить набрать в bash консоли команду > наподобие > ls ../..//..///../..////* В системе, стоящей на железе (Fedora 12, моя воркстанция), в OpenVZ-контейнере, и KVM-виртуалках с CentOS нифига не работает(но обновится, конечно, нужно). То есть, CPU, конечно, кушает, но разжиревший FireFox, или Apache при DDoS, какой-нибудь шугар или 1с-ина, да и самба, часто кушают гораздо больше.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	7. "Зависание серверов с xen"	+/–
	Сообщение от shadow_alone (ok) on 14-Окт-10, 17:10
	> В системе, стоящей на железе (Fedora 12, моя воркстанция), в OpenVZ-контейнере, и > KVM-виртуалках с CentOS нифига не работает(но обновится, конечно, нужно). То есть, > CPU, конечно, кушает, но разжиревший FireFox, или Apache при DDoS, какой-нибудь > шугар или 1с-ина, да и самба, часто кушают гораздо больше. Там дело не только в CPU, там память отжирается нехило.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	8. "Зависание серверов с xen"	+/–
	Сообщение от sHaggY_caT (ok) on 14-Окт-10, 17:20
	>> В системе, стоящей на железе (Fedora 12, моя воркстанция), в OpenVZ-контейнере, и >> KVM-виртуалках с CentOS нифига не работает(но обновится, конечно, нужно). То есть, >> CPU, конечно, кушает, но разжиревший FireFox, или Apache при DDoS, какой-нибудь >> шугар или 1с-ина, да и самба, часто кушают гораздо больше. > Там дело не только в CPU, там память отжирается нехило. Все равно, имхо, для DoS как-то неубедительно. Вряд ли от такого может упасть сервис, кроме, может быть, уже почти до предела загруженного. А уж висюки виртуалок и хост-систем, имхо, совсем не про эту багу.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

4. "Зависание серверов с xen"	+/–
Сообщение от shadow_alone (ok) on 13-Окт-10, 17:00
Еще посмотрите настройки в BIOS-е. Вполне возможно что-то отключено/включено
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

5. "Зависание серверов с xen"	+/–
Сообщение от sHaggY_caT (ok) on 14-Окт-10, 12:01
> Привет. > Есть несколько абсолютно одинаковых машин с одинаковыми установками CentOS+xen. > Некоторые работают замечательно, а вот некоторые зависают каждые 3-4 дня. > Причем никаких сообщений в логах нет, никаких ошибок, просто мертвый завис. После > перезагрузки видно, что машина именно зависает - crond лог показывает, что > ежеминутные запуски прекращаются и возобновляются только после перезагрузки. > По ipKVM виден только черный экран, на клавиатуру не реагирует. > В общем, хотелось бы услышать любые советы как можно понять причины этих > зависов - может быть включить какое-то расширенное логгирование и тп. > Спасибо. Попробуйте с одной из проблемных машин _временно_ переместить виртуалки на одну-две из стабильно работающих. Если: а) Начнутся висюки у ранее стабильно работающих, проблема локализована в виртуалках и их настройках б) Все останется как прежде, и машины продолжат работать стабильно, проблема локализована в сервере, в этом случае: б.1) Попробуйте переставить диски проблемного сервера в платформу, ранее работавшую стабильно. Если начнутся проблемы, проблема локализована в конфигах Xen Dom0 б.2) Если сервер из прошлого пункта продолжит работать стабильно, проблема либо в железе, либо в BIOS б.2.a) Попробуйте по-очереди заменять комплектуху пробленой платформы на 100%-но рабочую, если проблема не решится, она локализована в BIOS, или материнской плате. б.2.б) Сбросьте настройки BIOS на одной из "рабочих" и "глючных" нод, и настройте их по-пунктово аналогично б.2.с) Если все останется так, как прежде (глючная виснет, а безглючная нет, как и раньше), проблема в материнке Если машины из одной партии, может быть брак. Если методом исключения, описанным выше, выясните достоверно, что проблема в железе, погоняйте все машины со стандартным ядром на стресс-тестах, мало ли какие еще проблемы в железе всплывут?
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору