The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Не монтируется раздел ZFS на FreeBSD 7.3"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Открытые системы на сервере (Файловые системы, диски / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от aledin email(ok) on 17-Май-10, 13:48 
Есть раздел zfs на 30 террабайт, при замене нескольких винтов на более ёмкие он внезапно перестал монтироваться. При загрузке сервер виснет на монтировании zfs. Если выключить загрузку модуля zfs и загрузиться в систему, то пул виден, ошибок нет, но при попытке выполнить zfs mount -a команда остается в подвешенном состоянии (система при этом работает без проблем, нагрузки никакой не наблюдается). По ps ax видно что болтается такая хрень -
50105  ??  DL     0:00,00 [zfs_vn_rele_taskq]
И всё. И в логах тишина...
И систему уже обновляли и винты обратно меняли и угуглились совсем...
Помогите люди добрые!


Дополнительная информация:
--------------------------

Система FreeBSD 7.3-Release
ZFS Ver/13

--------------------------

zfs get all ftp

NAME  PROPERTY              VALUE                 SOURCE
ftp   type                  filesystem            -
ftp   creation              пн дек 24 18:58 2007  -
ftp   used                  22,0T                 -
ftp   available             2,14T                 -
ftp   referenced            22,0T                 -
ftp   compressratio         1.00x                 -
ftp   mounted               no                    -
ftp   quota                 none                  default
ftp   reservation           none                  default
ftp   recordsize            128K                  default
ftp   mountpoint            /ftp                  local
ftp   sharenfs              off                   default
ftp   checksum              on                    default
ftp   compression           off                   default
ftp   atime                 on                    default
ftp   devices               on                    default
ftp   exec                  on                    default
ftp   setuid                on                    default
ftp   readonly              off                   default
ftp   jailed                off                   default
ftp   snapdir               hidden                default
ftp   aclmode               groupmask             default
ftp   aclinherit            restricted            default
ftp   canmount              on                    default
ftp   shareiscsi            off                   default
ftp   xattr                 on                    default
ftp   copies                1                     default
ftp   version               3                     -
ftp   utf8only              off                   -
ftp   normalization         none                  -
ftp   casesensitivity       sensitive             -
ftp   vscan                 off                   default
ftp   nbmand                off                   default
ftp   sharesmb              off                   default
ftp   refquota              none                  default
ftp   refreservation        none                  default
ftp   primarycache          all                   default
ftp   secondarycache        all                   default

--------------------------

zpool list

NAME   SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
ftp   32,7T  29,4T  3,37T    89%  ONLINE  -

--------------------------

zpool status

  pool: ftp
state: ONLINE
scrub: none requested
config:
        NAME        STATE     READ WRITE CKSUM
        ftp         ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            da0     ONLINE       0     0     0
            da1     ONLINE       0     0     0
            da2     ONLINE       0     0     0
            da3     ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            da4     ONLINE       0     0     0
            da5     ONLINE       0     0     0
            da6     ONLINE       0     0     0
            da7     ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            da8     ONLINE       0     0     0
            da9     ONLINE       0     0     0
            da10    ONLINE       0     0     0
            da11    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            da12    ONLINE       0     0     0
            da13    ONLINE       0     0     0
            da14    ONLINE       0     0     0
            da15    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            da16    ONLINE       0     0     0
            da17    ONLINE       0     0     0
            da18    ONLINE       0     0     0
            da19    ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            da20    ONLINE       0     0     0
            da21    ONLINE       0     0     0
            da22    ONLINE       0     0     0
            da23    ONLINE       0     0     0

errors: No known data errors

--------------------------

scrub пройден без ошибок

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Michael (??) on 17-Май-10, 15:38 
>[оверквотинг удален]
>            
>da23    ONLINE      
>0     0     0
>
>
>errors: No known data errors
>
>--------------------------
>
>scrub пройден без ошибок

KVA_PAGES
vm.kmem_size
vm.kmem_size_max
?
и еще посмотрите iostat -dx 1 в момент монтирования, есть ли какая-нибудь активность

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от aledin email(ok) on 17-Май-10, 15:54 
sysctl -a | grep vm.kmem_size

vm.kmem_size_scale: 3
vm.kmem_size_max: 329853485875
vm.kmem_size_min: 0
vm.kmem_size: 2763816960


а на iostat -dx 1 в момент монтирования говорит

                        extended device statistics
device     r/s   w/s    kr/s    kw/s wait svc_t  %b
ad4        0.0   0.0     0.0     0.0    0   0.0   0
da0        0.0   0.0     0.0     0.0    0   0.0   0
da1        0.0   0.0     0.0     0.0    0   0.0   0
da2        0.0   0.0     0.0     0.0    0   0.0   0
da3        0.0   0.0     0.0     0.0    0   0.0   0
da4        0.0   0.0     0.0     0.0    0   0.0   0
da5        0.0   0.0     0.0     0.0    0   0.0   0
da6        0.0   0.0     0.0     0.0    0   0.0   0
da7        0.0   0.0     0.0     0.0    0   0.0   0
da8        0.0   0.0     0.0     0.0    0   0.0   0
da9        0.0   0.0     0.0     0.0    0   0.0   0
da10       0.0   0.0     0.0     0.0    0   0.0   0
da11       0.0   0.0     0.0     0.0    0   0.0   0
da12       0.0   0.0     0.0     0.0    0   0.0   0
da13       0.0   0.0     0.0     0.0    0   0.0   0
da14       0.0   0.0     0.0     0.0    0   0.0   0
da15       0.0   0.0     0.0     0.0    0   0.0   0
da16       0.0   0.0     0.0     0.0    0   0.0   0
da17       0.0   0.0     0.0     0.0    0   0.0   0
da18       0.0   0.0     0.0     0.0    0   0.0   0
da19       0.0   0.0     0.0     0.0    0   0.0   0
da20       0.0   0.0     0.0     0.0    0   0.0   0
da21       0.0   0.0     0.0     0.0    0   0.0   0
da22       0.0   0.0     0.0     0.0    0   0.0   0
da23       0.0   0.0     0.0     0.0    0   0.0   0
pass0      0.0   0.0     0.0     0.0    0   0.0   0
pass1      0.0   0.0     0.0     0.0    0   0.0   0
pass2      0.0   0.0     0.0     0.0    0   0.0   0
pass3      0.0   0.0     0.0     0.0    0   0.0   0
pass4      0.0   0.0     0.0     0.0    0   0.0   0
pass5      0.0   0.0     0.0     0.0    0   0.0   0
pass6      0.0   0.0     0.0     0.0    0   0.0   0
pass7      0.0   0.0     0.0     0.0    0   0.0   0
pass8      0.0   0.0     0.0     0.0    0   0.0   0
pass9      0.0   0.0     0.0     0.0    0   0.0   0
pass10     0.0   0.0     0.0     0.0    0   0.0   0
pass11     0.0   0.0     0.0     0.0    0   0.0   0
pass12     0.0   0.0     0.0     0.0    0   0.0   0
pass13     0.0   0.0     0.0     0.0    0   0.0   0
pass14     0.0   0.0     0.0     0.0    0   0.0   0
pass15     0.0   0.0     0.0     0.0    0   0.0   0
pass16     0.0   0.0     0.0     0.0    0   0.0   0
pass17     0.0   0.0     0.0     0.0    0   0.0   0
pass18     0.0   0.0     0.0     0.0    0   0.0   0
pass19     0.0   0.0     0.0     0.0    0   0.0   0
pass20     0.0   0.0     0.0     0.0    0   0.0   0
pass21     0.0   0.0     0.0     0.0    0   0.0   0
pass22     0.0   0.0     0.0     0.0    0   0.0   0
pass23     0.0   0.0     0.0     0.0    0   0.0   0

При попытке монтирования zfs mount -v -a говорит

reading zfs config: done
mounting zfs filesystem (1/1)

и стоит, ждёт...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Michael (??) on 17-Май-10, 15:57 
ясн. чую, вам придется освоить ktrace
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Anon Y Mous on 17-Май-10, 17:15 
>При попытке монтирования zfs mount -v -a говорит
>
>reading zfs config: done
>mounting zfs filesystem (1/1)
>
>и стоит, ждёт...

а read-only монтировать пробовали? zfs mount -o ro -a ?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Andrey email(??) on 18-Май-10, 06:32 
>>mounting zfs filesystem (1/1)
>>
>>и стоит, ждёт...
>
>а read-only монтировать пробовали? zfs mount -o ro -a ?

пробовали, та же самая картина :(


по iostat -dx 1 в самом начале, после отправки команды монтирования виден интенсивный обмен данными в течении примерно 10 секунд, после этого всё сваливается в 0.0

в процессах висит такой вот процесс
1259 root        1  44    0 13432K  2028K tx->tx  0   0:00  0.00% zfs

ftp1# zpool get all ftp
NAME  PROPERTY       VALUE       SOURCE
ftp   size           32,7T       -
ftp   used           29,4T       -
ftp   available      3,37T       -
ftp   capacity       89%         -
ftp   altroot        -           default
ftp   health         ONLINE      -
ftp   guid           11119424965520262276  -
ftp   version        13          default
ftp   bootfs         -           default
ftp   delegation     on          default
ftp   autoreplace    on          local
ftp   cachefile      -           default
ftp   failmode       continue    local
ftp   listsnapshots  off         default


Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от butcher (ok) on 18-Май-10, 08:27 
>vm.kmem_size_scale: 3
>vm.kmem_size_max: 329853485875
>vm.kmem_size_min: 0
>vm.kmem_size: 2763816960

Попробуйте ограничить kmem и arc (http://wiki.freebsd.org/ZFSTuningGuide).
У меня была подобная ситуация года полтора назад (amd64, 8-CURRENT, 2G RAM). Пул из 2 Raidz на 5Т. Поначалу всё работало без тюнинга, но потом, когда пул уже заполнился, начал паниковать. Я ограничил kmem и arc, стало опять нормально.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Аноним (??) on 18-Май-10, 08:42 
>>vm.kmem_size_scale: 3
>>vm.kmem_size_max: 329853485875
>>vm.kmem_size_min: 0
>>vm.kmem_size: 2763816960
>
>Попробуйте ограничить kmem и arc (http://wiki.freebsd.org/ZFSTuningGuide).
>У меня была подобная ситуация года полтора назад (amd64, 8-CURRENT, 2G RAM).
>Пул из 2 Raidz на 5Т. Поначалу всё работало без тюнинга,
>но потом, когда пул уже заполнился, начал паниковать. Я ограничил kmem
>и arc, стало опять нормально.

на днях напоролся на похожее в 8.0-RELEASE-p2, при запуске виртуалбокса и интенсивной работы из виртуалки с дисковой подсистемой, система внутри виртуалки отваливалась с сообщением: "раздел переполнен", пока не ограничил kmem и arc.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от aledin (ok) on 18-Май-10, 10:12 
kmem и arc ограничены, поигрался с параметрами - пофигу ((((

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от sage444 (ok) on 18-Май-10, 12:21 
а куда оно у вас монтироваться должно?
zfs get mountpoint
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от sage444 (ok) on 18-Май-10, 12:24 
простите, невнимательно читал, фары уже протерли, машинку покачали
а scrub уже делали ?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от aledin (ok) on 18-Май-10, 12:27 
>простите, невнимательно читал, фары уже протерли, машинку покачали
>а scrub уже делали ?

Да, конечно, scrub проходит без проблем (выше уже писали)

Тут обратил внимание что zfs list показывает такую картину -

zfs list
NAME   USED  AVAIL  REFER  MOUNTPOINT
ftp   22,0T  2,14T  22,0T  /ftp

Почему 22 террабайта - хз....

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от sage444 (ok) on 18-Май-10, 12:32 
>zfs list
>NAME   USED  AVAIL  REFER  MOUNTPOINT
>ftp   22,0T  2,14T  22,0T  /ftp
>
>Почему 22 террабайта - хз....

оно тут показывает то ли "полезную" заполненность или еще какую,
но имхо проблема у вас не здесь

а так, ради эксперимента попробуйте задать другую точку монтирования
или создайте новую файловую систему и ее смонтируйте, понимаете о чем я ?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от aledin (ok) on 18-Май-10, 12:58 
Да, конечно.
Тоже пробовали. И убивал старую точку монтирования, пытался создать её заново, и менял точку монтирования на другую - никаких изменений.

Не совсем понял только по поводу создания новой файловой системы - вы предлагаете убить массив и создать на его месте новый?


Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от temny email(??) on 18-Май-10, 21:23 
Сложно дать правильный совет (потому как с такой проблемой я не сталкивался), но могу сказать, что я бы попробовал "убрать в сторону" /boot/zfs/zpool.cache и, после этого, импортировал бы пул по-новой (особенно в свете того, что размер пула не соответствует ожидаемому размеру [если я вас правильно понял]).
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

15. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от aledin (ok) on 19-Май-10, 06:23 
И это уже попробовали... ))
Экспортировали пул, удалили zpool.cache, на всякий случай грохнули старую точку монтирования и обратно импортировали пул. Всё осталось по прежнему ((


Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

16. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от temny email(??) on 19-Май-10, 10:56 
Если вас не затруднит, покажите пожалуйста вывод следующих команд (возможно это натолкнёт на свежие идеи):
zpool list -o all
zfs list -t all
zdb -vvv
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

17. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Andrey email(??) on 19-Май-10, 18:12 
>Если вас не затруднит, покажите пожалуйста вывод следующих команд (возможно это натолкнёт
>на свежие идеи):
>zpool list -o all
>zfs list -t all
>zdb -vvv

Поставил OpenSolaris на другой винт, помучался с дровами на 3Ware + исчитал тонну манов, чтобы найти, почему же системой не определяется более 16 HDD (править /kernel/drv/sd.conf на предмет добавления lun-ов)
В итоге zpool импортировался и zfs без каких либо проблем примонтировалась к солярке.

Завтра будет продолжение марлезонского балета с FreeBSD

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

18. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Аноним (??) on 19-Май-10, 18:46 
>Поставил OpenSolaris на другой винт, помучался с дровами на 3Ware + исчитал
>тонну манов, чтобы найти, почему же системой не определяется более 16
>HDD (править /kernel/drv/sd.conf на предмет добавления lun-ов)
>В итоге zpool импортировался и zfs без каких либо проблем примонтировалась к
>солярке.
>
>Завтра будет продолжение марлезонского балета с FreeBSD

забавно, а если так же попробовать на чистую FreeBSD импортировать пул?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

19. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Andrey email(??) on 19-Май-10, 19:25 

>
>забавно, а если так же попробовать на чистую FreeBSD импортировать пул?

Завтра попробую,если не примонтируется к 7.3 буду пробовать примонтировать к 8-ке, сейчас на всякий пожарный случай запустил на примонтированной к солярке zfs zdb...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

20. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от temny email(??) on 19-Май-10, 21:53 
>Завтра попробую,если не примонтируется к 7.3 буду пробовать примонтировать к 8-ке, сейчас
>на всякий пожарный случай запустил на примонтированной к солярке zfs zdb...

К слову про восьмёрку: Martin Matuska (один из freebsd коммитеров) за последние неделю-две выполнил "merge from current" достаточно большого количества коммитов, связаных с исправлением ошибок в работе zfs. Так, что если есть возможность выбора, то лучше пробовать на свежей 8-STABLE, а не на релизе.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

21. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от aledin (ok) on 20-Май-10, 06:55 
Ну всё, решилась проблема. Сделали проверку пула в солярке (она вообще без проблем подключила его), зацепили обратно к фре - та его так же без проблем зацепила. Хз что было, но слава богу что ничего не потеряли ))


Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

23. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Аноним (??) on 20-Май-10, 07:35 
>Ну всё, решилась проблема. Сделали проверку пула в солярке (она вообще без
>проблем подключила его), зацепили обратно к фре - та его так
>же без проблем зацепила. Хз что было, но слава богу что
>ничего не потеряли ))

пляски с бубном, однако.
поздравляю.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

24. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от sage444 (ok) on 20-Май-10, 07:57 
>пляски с бубном, однако.
>поздравляю.

+1
тоже за вас болел ;)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

25. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от aledin (ok) on 20-Май-10, 11:15 
>>пляски с бубном, однако.
>>поздравляю.
>
>+1
>тоже за вас болел ;)

Мы тоже очень за себя болели ))
Огромное спасибо за помощь и поддержку!

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

22. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от Andrey email(??) on 20-Май-10, 07:02 
>>Завтра попробую,если не примонтируется к 7.3 буду пробовать примонтировать к 8-ке, сейчас
>>на всякий пожарный случай запустил на примонтированной к солярке zfs zdb...
>
>К слову про восьмёрку: Martin Matuska (один из freebsd коммитеров) за последние
>неделю-две выполнил "merge from current" достаточно большого количества коммитов, связаных с
>исправлением ошибок в работе zfs. Так, что если есть возможность выбора,
>то лучше пробовать на свежей 8-STABLE, а не на релизе.

Сегодня с утра этот пул импортировался и примонтировался к исходной FreeBSD 7.3 без каких либо проблем...., ZDB соляровский ошибок в пуле не нашел. Полтергейст.....

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

26. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от ALex_hha (ok) on 20-Май-10, 11:18 
>Сегодня с утра этот пул импортировался и примонтировался к исходной FreeBSD 7.3
>без каких либо проблем...., ZDB соляровский ошибок в пуле не нашел.
>Полтергейст.....

ZFS - production ready? :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

27. "Не монтируется раздел ZFS на FreeBSD 7.3"  +/–
Сообщение от aledin (ok) on 20-Май-10, 12:49 
>>Сегодня с утра этот пул импортировался и примонтировался к исходной FreeBSD 7.3
>>без каких либо проблем...., ZDB соляровский ошибок в пуле не нашел.
>>Полтергейст.....
>
>ZFS - production ready? :)

Ну да, в продакшен запущен )) Когда только появился во фре - потестировали несколько месяцев, глюков никаких не нашли, запустили в работу. Потихоньку массив подрос, менялись контроллеры, диски, системы, всё работало без каких-либо проблем вообще. Это первый косяк за несколько лет использования.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей 		Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру