Вариант для распечатки |
Пред. тема | След. тема | ||
Форум Разговоры, обсуждение новостей | |||
---|---|---|---|
Изначальное сообщение | [ Отслеживать ] |
"Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от opennews (??), 18-Сен-18, 10:17 | ||
Компания Versity объявила (http://www.versity.com/blog/versity-open-sources-scoutfs) об открытии исходных текстов специализированной файловой системы ScoutFS (https://www.scoutfs.org/), оптимизированной для хранения архивных данных. Утверждается, что ScoutFS стала первой открытой файловой системой для архивирования, нацеленной на предоставление промышленного уровня надёжности и масштабирования при хранении огромных массивов накопленной архивной информации. Код опубликован под свободной (https://github.com/versity/scoutfs-kmod-dev) лицензией GPLv2, что позволяет со временем включить его в основной состав ядра Linux. В настоящее время ScoutFS распространяется в виде внешнего модуля для ядра Linux из состава RHEL/CentOS 7.x. | ||
Ответить | Правка | Cообщить модератору |
Оглавление |
Сообщения по теме | [Сортировка по времени | RSS] |
1. "Компания Versity открыла исходные тексты файловой системы Sc..." | +2 +/– | |
Сообщение от Аноним (1), 18-Сен-18, 10:17 | ||
хм... а уже появились какие-то вменяемые методы сделать верифицируемый бекап со всех распространённых ФС и с БД внутри, который можно в случае смерти быстро поднять прям как снапшот? | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
3. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Annoynymous (ok), 18-Сен-18, 10:53 | ||
Снапшот ФС с любой ФС? | ||
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору |
5. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от blblbl (?), 18-Сен-18, 10:56 | ||
Flush tables with read lock; внутри ВМ. Потом LVM снапшот. | ||
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору |
13. "Компания Versity открыла исходные тексты файловой системы Sc..." | –2 +/– | |
Сообщение от Annoynymous (ok), 18-Сен-18, 13:05 | ||
Ну ему же хочется просто снапшот, без смыва, я так понял. | ||
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору |
33. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (33), 18-Сен-18, 20:37 | ||
Почему никак? Зависит от рук и БД. | ||
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору |
19. "Компания Versity открыла исходные тексты файловой системы Sc..." | +2 +/– | |
Сообщение от Аноним (19), 18-Сен-18, 14:00 | ||
Написано что можно тут: | ||
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору |
2. "Компания Versity открыла исходные тексты файловой системы Sc..." | +3 +/– | |
Сообщение от Аноним (2), 18-Сен-18, 10:27 | ||
теперь в качестве движка хранения для этой штуки нужно прикрутить другую распределенную фс | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
4. "Компания Versity открыла исходные тексты файловой системы Sc..." | +1 +/– | |
Сообщение от Аноним (4), 18-Сен-18, 10:56 | ||
> Утверждается, что ScoutFS стала первой открытой файловой системой для архивирования, нацеленной на предоставление промышленного уровня надёжности и масштабирования при хранении огромного числа файлов. | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
6. "Компания Versity открыла исходные тексты файловой системы Sc..." | +1 +/– | |
Сообщение от Аноним (4), 18-Сен-18, 11:18 | ||
> Компания Versity объявила об открытии исходных текстов специализированной файловой системы ScoutFS, оптимизированной для хранения архивных данных. | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
7. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Moomintroll (ok), 18-Сен-18, 11:31 | ||
> ScoutFS относится к категории кластерных систем, организующих доступ группы серверов к совместному хранилищу данных. | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
10. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (4), 18-Сен-18, 11:58 | ||
> Что не так с ocfs2 и gfs2? | ||
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору |
34. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 18-Сен-18, 20:39 | ||
В OCFS2 угрёбищно сделано квотирование, пишет один длиннющий псевдофайл, верификация которого занимает херову тучу времени + квотирование лочится на каждый чих. Без квотирования нормально, но не на 256 узлов конечно, оно для этого уже не предназначено. | ||
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору |
40. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (40), 19-Сен-18, 07:40 | ||
А для чего? я грешным думал что что бы раздавать большие объемы. | ||
Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору |
41. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 19-Сен-18, 09:00 | ||
Чтобы раздавать большие объёмы - лучше что-то с шардингом посмотреть. OCFS2 - более-менее shared FS общего назначения. Применимо для HA, для compute cluster, и для раздачи тоже, но не silver bullet. | ||
Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору |
44. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (40), 19-Сен-18, 11:19 | ||
а что в compute cluster еще делают? раздают большие объемы. Если посмотреть на физику/биологию/метеорологию - там объемы 1 файла даже не мегабайты - а гигабайт и выше. | ||
Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору |
49. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 19-Сен-18, 20:07 | ||
Шардинг отменили? | ||
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору |
50. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 19-Сен-18, 20:07 | ||
В compute cluster - считают, объёмы при этом могут быть разными. | ||
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору |
31. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 18-Сен-18, 20:35 | ||
С GFS2 не так кластерный стек, увы, только для сферического кластера в вакууме, где всё остальное (сеть, железо) надёжнее самого кластера. | ||
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору |
32. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 18-Сен-18, 20:35 | ||
Хотя, для compute cluster без HA GFS2 тоже заруливает, да. | ||
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору |
8. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (8), 18-Сен-18, 11:31 | ||
https://en.wikipedia.org/wiki/OpenAFS | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
9. "Компания Versity открыла исходные тексты файловой системы Sc..." | –2 +/– | |
Сообщение от Moomintroll (ok), 18-Сен-18, 11:43 | ||
Тёплое vs мягкое | ||
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору |
11. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (4), 18-Сен-18, 12:01 | ||
> Реализация в виде оптимизированного модуля ядра, обеспечивающего минимальные задержки и высокую производительность. | ||
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору |
12. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от ddgrg (?), 18-Сен-18, 12:42 | ||
Это конкурент ceph? | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
14. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от пох (?), 18-Сен-18, 13:13 | ||
нет, это перпендикулярный проект - ceph когда надо быстро и данные под рукой, но ограниченное количество и с разумным количеством узлов. | ||
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору |
22. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Moomintroll (ok), 18-Сен-18, 14:38 | ||
> оно будет расти пока не заполнит весь глобус | ||
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору |
28. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 18-Сен-18, 20:27 | ||
Пейсмакер с коросинком не дадут заполнить глобус уже при 3-5 мс latency. | ||
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору |
43. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от пох (?), 19-Сен-18, 11:15 | ||
уп-с... | ||
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору |
48. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 19-Сен-18, 20:06 | ||
Увы, может. 5 нод с latency около ms благополучно флапали коросинк, а в случаях развала кольца - убивали кластер. Пришлось тюнить, потом, когда наполучался удовольствия - выкинуть. | ||
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору |
15. "Компания Versity открыла исходные тексты файловой системы Sc..." | +1 +/– | |
Сообщение от Аноним (15), 18-Сен-18, 13:13 | ||
Current Status | ||
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору |
16. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (16), 18-Сен-18, 13:35 | ||
сетевая фс в ядре = бекдор | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
17. "Компания Versity открыла исходные тексты файловой системы Sc..." | +2 +/– | |
Сообщение от anonymous (??), 18-Сен-18, 13:41 | ||
сетевой <placeholder> в ядре = бекдор | ||
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору |
47. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 19-Сен-18, 20:05 | ||
Сеть - вообще бэкдор. Выдерните кабели, выломайте антенны и прочие приёмники/передатчики. | ||
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору |
20. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (20), 18-Сен-18, 14:10 | ||
"Семантика соответствует требованиям POSIX" - обычно звездёжь. Как у неё с POSIX locking? | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
26. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от KonstantinB (ok), 18-Сен-18, 20:13 | ||
Ну вот код, разбирайтесь: https://github.com/versity/scoutfs-kmod-dev/blob/7d1ea197c29... | ||
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору |
27. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 18-Сен-18, 20:26 | ||
DLM, то есть пейсмакер с коросинком. Всё веселье в одном флаконе. | ||
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору |
29. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (33), 18-Сен-18, 20:29 | ||
// встроенный DLM с выносным кластерным стеком, которых на деле 1 штука. | ||
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору |
35. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (40), 18-Сен-18, 20:39 | ||
вы путаете. это поделие использует тот же DLM что и OCFS2. | ||
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору |
42. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 19-Сен-18, 09:02 | ||
Это вы путаете. DLM да, кластерный стек - нет. У OCFS2 есть свой кластерный стек, O2CB, у которого кворум на сторейдже, который mesh, который не требует железного STONITH, и который менее чувствителен к пертурбациям. | ||
Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору |
45. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (40), 19-Сен-18, 11:26 | ||
DLM и кластерный стек это вещи разные - от слова совсем. | ||
Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору |
46. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (33), 19-Сен-18, 20:03 | ||
Хосспаде, ну запусти мне "родной" DLM в Linux без кластерного стека или его подобия. | ||
Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору |
51. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (40), 20-Сен-18, 09:21 | ||
Легко. Для монтирования руками различных нод кластера - ума много не надо. | ||
Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору |
37. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (40), 18-Сен-18, 20:47 | ||
еще один.. не путайте требования POSIX и POSIX LOCKs. | ||
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору |
36. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (40), 18-Сен-18, 20:41 | ||
формально есть DLM, есть какие-то события. быть святее папы римского и оптимизироваться по паралельный доступ - не собираются. По сему примерно так же как в pohmelFS. один глобально-фиртуальный i_mutex на файл и в перед. | ||
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору |
21. "Компания Versity открыла исходные тексты файловой системы Sc..." | +/– | |
Сообщение от Аноним (21), 18-Сен-18, 14:13 | ||
>Непосредственно данные хранятся на внешнем общем хранилище, а не распределены по узлам. | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
23. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от yet another anonymous (?), 18-Сен-18, 17:21 | ||
Зачем ядру иметь в себе структуры, существенно зависящие от внешних обстоятельств? Чем userspace здесь не угодил? | ||
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору |
24. "Компания Versity открыла исходные тексты файловой системы Sc..." | +1 +/– | |
Сообщение от Crazy Alex (ok), 18-Сен-18, 18:42 | ||
Модули в помощь. Не надо - не грузишь. А кому-то эти "внешние обстоятельства" приемлемы. | ||
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору |
25. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от yet another anonymous (?), 18-Сен-18, 19:29 | ||
Причем тут модули? | ||
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору |
30. "Компания Versity открыла исходные тексты файловой системы Sc..." | +3 +/– | |
Сообщение от Аноним (33), 18-Сен-18, 20:31 | ||
Потому что делать десяток контекст свитчей на каждую блочную операцию могут только фанаты фс на питоне. | ||
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору |
38. "Компания Versity открыла исходные тексты файловой системы Sc..." | –1 +/– | |
Сообщение от Аноним (38), 18-Сен-18, 23:56 | ||
Т е по вашей логике разница между ядром и юзерспейсом в том что в ядре должен быть сложный код, а в юзерспейсе простой? | ||
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору |
39. "Компания Versity открыла исходные тексты файловой системы Sc..." | +1 +/– | |
Сообщение от Аноним (39), 19-Сен-18, 07:04 | ||
Простой должен быть в обоих, но вам как сложному не понять. | ||
Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору |
Архив | Удалить |
Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема |
Закладки на сайте Проследить за страницей |
Created 1996-2024 by Maxim Chirkov Добавить, Поддержать, Вебмастеру |