Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Представлена распределённая операционная система DBOS, работающая поверх СУБД"	+/–
Сообщение от opennews (??), 05-Сен-22, 21:27
Представлен проект DBOS (DBMS-oriented Operating System), развивающий новую операционную систему для выполнения масштабируемых распределённых приложений. Особенностью проекта является использование СУБД для хранения приложений и состояния системы, а также организация доступа к состоянию только через транзакции. Проект развивается исследователями из  Массачусетского технологического института, Висконсинского и Стэнфордского университетов, университета Карнеги-Меллона и компаний Google и VMware. Наработки распространяются под лицензией MIT... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=57735
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

6. Сообщение от YetAnotherOnanym (ok), 05-Сен-22, 21:36	+3 +/–
Ну, к тому шло... Когда "что-то" работает на множестве узлов, и надо как-то координировать работу этого "чего-то" на этих узлах, то почему бы не использовать обкатанные технологии распределённых БД. Это напрашивается само собой.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #18, #25, #72, #91, #132

7. Сообщение от topin89 (ok), 05-Сен-22, 21:40	+6 +/–
Будет интересно увидеть, когда допилят, сильно ли упадёт производительность. Что-то не верится, что лишь слегка.
Ответить | Правка | Наверх | Cообщить модератору

9. Сообщение от Аноним (9), 05-Сен-22, 21:43	+1 +/–
Поверх эфира запустят?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #14

10. Сообщение от Аноним (10), 05-Сен-22, 21:52	+2 +/–
Не совсем на "поверх эфира", но, уже есть проект unix поверх блокчейна: https://github.com/tonlabs/tonix
Ответить | Правка | Наверх | Cообщить модератору

11. Сообщение от Минона (ok), 05-Сен-22, 22:06	+1 +/–
> ОС поверх распределённой СУБД. Интересно… Чем из 3 составляющих САР они пожертвовали?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #17

13. Сообщение от AntonAlekseevich (ok), 05-Сен-22, 22:48	–4 +/–
#НаконецТоПрекратитсяГеморройСВыборомОСДляСУБД #Нет
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #45

14. Сообщение от Аноним (14), 05-Сен-22, 22:54	+2 +/–
Эфир с своим POS уже таки в фрод скатывается, при том буквально вот-вот, на днях. Просто офигенная схема, и совсем не фрод, когда узкая клика создателей узурпирует все коины сгенереные системой по сути, а потом их раздает, дескать. А такое "платежное средство" с самозваными рокфеллерами изниоткуда - точно нужно? Да и все эти смартконтракты и проч интересны узкой группе лиц. Обычным смертным вообще сложно объяснить что это такое и как работает, при всей забавности идеи. К тому же с учетом того что там произвольная логика - всегда есть риск что вас немного лоханут, вкрутив там что-нибудь с заподвыподвертом, и если вы не махровый кодер и реверсер, можно на раз пролететь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #52, #135

17. Сообщение от Аноним (17), 05-Сен-22, 23:26	+/–
Там упомянуты СУБД, а у СУБД в документации эти моменты довольно подробно расписаны.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11

18. Сообщение от пох. (?), 05-Сен-22, 23:55	+17 +/–
Врачу, исцелися сам! Проблема распределенных БД - что они в общем и целом- г-но, все до единой. Либо не тру-распределенные (а master-sl...follower), либо жеппа с целостностью, либо с восстановлением, а чаще всего все и сразу. Тут же речь об in-memory их разновидностях - которые г-но совершенно фееричнейшее даже на локалхосте.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #31, #40, #55, #59, #79

21. Сообщение от Михрютка (ok), 06-Сен-22, 00:37	+1 +/–
> в экспериментах пока используется VoltDB которая усё-у-памяти, актив-актив, синхронная репликация? для сколько-нибудь живого перформанса потребуется много-памяти, потребуется лишняя пара интерфейсов для replnet (астанавитесь рогатые твари это уже минимум семь шнуров на каждый корпус)... отличная идея, что может пойти не так... > Members of our team are currently researching: > Better tradeoffs between local and distributed transactions in a distributed database бегать перформанс критикал задачи на одной ноде, фигня вопрос > Better ways to support multiple data stores and data models in the DBOS backend, enabling operations like analytics and file I/O for which traditional databases are inefficient. тут быренько drbd прикрутим > New infrastructure leveraging data provenance to make debugging distributed applications easier ооо на етом месте ижевский концерн калашникова по производству многоствольных автоматов для стрельбы в ноги, геклер-кох и кольт (ой извините ныне ческа збройовка) заплакали и пошли нервно курить в углу от зависти в общем, для аспирантов - поле непаханое. одна хрень не сработала - yopt, можно тут же, не сходя с кафедры, попросить грант на исследование следующей. движуха!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #30

23. Сообщение от Аноним (23), 06-Сен-22, 01:40	+2 +/–
Осталось в блокчейн Ethereum еще и ось засунуть.
Ответить | Правка | Наверх | Cообщить модератору

25. Сообщение от all_glory_to_the_hypnotoad (ok), 06-Сен-22, 02:21	+3 +/–
Давно уже к похожей картине пришли в кишках облаков вроде Амазона и Яндекса. Только готовые СУБД для решения задачи не подходят. Уходят годы на разработку специальных оптимизированных СУБД и всё равно получается большой оверхед по ресурсам и прочая куча проблем. Красиво выглядит только на словах.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

30. Сообщение от Аноним (30), 06-Сен-22, 03:25	+1 +/–
А что, вот, распределенный сервис по расшариванию оперативки. Конечно д@рьмово и тормозно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

31. Сообщение от penetrator (?), 06-Сен-22, 06:13	–1 +/–
чем плох MySQL NDB?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #36, #37, #38, #42, #64

33. Сообщение от Аноним (33), 06-Сен-22, 07:28	+/–
> операционная система ... поверх СУБД До чего дошли ... Круто
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #35, #46, #71

34. Сообщение от ыы (?), 06-Сен-22, 07:44	+1 +/–
То есть файловая система у них поверх СУБД, которая в памяти... Ок. А о существовании внешней памяти она вообще в курсе? Где и какими средствами оно сохраняет состояние между запусками? Это все в микроядре?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #43, #58, #134

35. Сообщение от ыы (?), 06-Сен-22, 07:47	+5 +/–
операционная система ... поверх git операционная система ... поверх email операционная система ... поверх fax операционная система ... поверх скринсейвера операционная система ... поверх ... Имхо товарищам надо почитать для чего нужна операционная система, а то что они лепят- должно называться как-то иначе...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #50

36. Сообщение от Онаним (?), 06-Сен-22, 08:00	+4 +/–
Те, кто его всерьёз готовил, в цирке не смеются.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #51, #102

37. Сообщение от Онаним (?), 06-Сен-22, 08:01	+/–
Конкретно это счастье плохо тем, что малейшая задержка со сбросом состояния на диск, и нода крашится, а состояние бывает здоровым.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

38. Сообщение от Sw00p aka Jerom (?), 06-Сен-22, 08:02	+/–
мускул который умудряется исчерпать всю память от простого запроса? кек
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #39, #101

39. Сообщение от Онаним (?), 06-Сен-22, 08:02	+/–
Как вам это удаётся? Тут нужен особый талант.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #41

40. Сообщение от Sw00p aka Jerom (?), 06-Сен-22, 08:04	+/–
кактус одним словом :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18

41. Сообщение от Sw00p aka Jerom (?), 06-Сен-22, 08:05	+/–
ну вот, раньше такого не было:)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39

42. Сообщение от Онаним (?), 06-Сен-22, 08:10	+/–
Ну и конечно отдельный цирк с дедлоками. Транзакции ж конвертируются в key-value, row-based locks превращаются в block-based locks, со всеми вытекающими.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #100

43. Сообщение от Аноним (43), 06-Сен-22, 08:39	+/–
Ну похоже там как у Оракла для БД Oracle (чтобы не бодаться с файловой системой ОС, с её кэшированиями, "неБДшными" оптимизациями и т.п.) может использоваться ASM (Automatic Storage Management) - свой аналог ФС и управлялки дисками/томами, который работает напрямую с raw devices и специализирован под нужды БД. Т.е. в DBOS реализуют своё казино с блэкджеком и поэтессами, аналог ZFS/BTRFS, но попроще и с упором на нужды БД, как ASM. А DBOS-ная пользовательская ФС уже будет (если будет) поверх БД реализована, может даже с какими-нибудь необычными для традиционной ФС идеями, ну типа как MS для Longhorn'а в WinFS хотели реализовать. Ну т.е. ФС в таком случае может быть не только тупой иерархией каталогов и файлов с правами.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #47, #69

44. Сообщение от Аноним (44), 06-Сен-22, 08:51	+/–
Когда перепишут на Rust ?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #49

45. Сообщение от КО (?), 06-Сен-22, 09:01	+2 +/–
Надеюсь вы когда-нибудь поймете зачем нужны хэштэги.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #104

46. Сообщение от 1 (??), 06-Сен-22, 09:02	+1 +/–
Были такие на заре IT. Только не распределённые.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33

47. Сообщение от 1 (??), 06-Сен-22, 09:05	+3 +/–
Сколько пользовал такие RAW хранилища - один гемор с ними ... что с бакапом/восстановлением, что с работой... Вроде как уже в 9ке они не рекомендовались к использованию.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43 Ответы: #117

48. Сообщение от Аноним (51), 06-Сен-22, 09:09	+/–
Звучит как то что надо было делать сразу в области операционных систем, а не то что получилось сейчас.
Ответить | Правка | Наверх | Cообщить модератору

49. Сообщение от Аноним (51), 06-Сен-22, 09:09	+/–
Не перепишут, будут писать на Карбоне.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44 Ответы: #61

50. Сообщение от Аноним (51), 06-Сен-22, 09:11	–7 +/–
Имхо ты вообще вкурсе что такое прогресс и как он работает? Почитай на досуге узнаешь хоть что-то новое.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #54

51. Сообщение от Аноним (51), 06-Сен-22, 09:14	+7 +/–
Так и не надо смеяться над акробатами.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

52. Сообщение от Аноним (52), 06-Сен-22, 10:19	+3 +/–
Ух, как горит у майнераста! Красота!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

53. Сообщение от bOOster (ok), 06-Сен-22, 10:26	–4 +/–
Один вопрос - зачем лезть в СУБД если можно использовать тот-же сервер LDAP. Эффективнее будет.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #57, #62

54. Сообщение от Аноним (52), 06-Сен-22, 10:26	+4 +/–
Так и запишем. Прогресс - это попытка грантососов забивать гвозди микроскопом. Нуачо, вдруг прокатит?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50 Ответы: #56

55. Сообщение от prokoudine (ok), 06-Сен-22, 11:09	–1 +/–
> Тут же речь об in-memory их разновидностях - которые г-но совершенно фееричнейшее даже на локалхосте. Это до момента, когда у тебя большая географически распределенная сеть точек почти во всех регионах, десятки/сотни тысяч позиций с пересчетом цен один-два раза в день с поправкой для каждого региона и офиглиард заказов ежедневно. Как наплачешься с инвалидацией многокилометрового кэша — приходи.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18

56. Сообщение от Аноним (56), 06-Сен-22, 11:25	–2 +/–
К порванному шаблону прикладывайте подорожник, зуд скоро пройдет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54 Ответы: #70

57. Сообщение от Аноним (56), 06-Сен-22, 11:26	+1 +/–
Странно что они не лезут в карман…
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53

58. Сообщение от rvs2016 (ok), 06-Сен-22, 11:28	+/–
> То есть файловая система у них поверх СУБД Сверху СУБД файловая система официальная - для пользователей/программистов/программ. А снизу СУБД файловая-то система поди тоже водится, но не официальная, а как служебная часть этой операционной системы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

59. Сообщение от Аноним (59), 06-Сен-22, 11:41	+/–
Ну а чо делать-то? Времена smp шкафов прошли, нужно исполняться на кучах куч тазиков. У гуглов вроде что-то получается.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18

60. Сообщение от Аноним (61), 06-Сен-22, 11:42	+/–
>Особенностью проекта является использование СУБД для хранения приложений и состояния системы, а также организация доступа к состоянию только через транзакции >и компаний Google Так вот ты какая, фуксия!
Ответить | Правка | Наверх | Cообщить модератору

61. Сообщение от Аноним (61), 06-Сен-22, 11:44	+/–
С сетевым стеком на Go и микросервисами на Dart.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49 Ответы: #76

62. Сообщение от Admino (ok), 06-Сен-22, 11:50	+/–
LDAP это протокол доступа к СУБД.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53 Ответы: #66

64. Сообщение от darkshvein (ok), 06-Сен-22, 12:20	+/–
чем плох обычный мускул или постгресс??
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

65. Сообщение от Аноним (65), 06-Сен-22, 12:43	+/–
очень ждём операционной системы работающей поверх гибридной облачной среды (для начала AWS + GCP + on prem)
Ответить | Правка | Наверх | Cообщить модератору

66. Сообщение от bOOster (ok), 06-Сен-22, 12:52	+/–
> LDAP это протокол доступа к СУБД. Применительно к LDAP средства хранения данных вообще не обсуждаются. Но, конечно есть особо отмороженные индивиды которые посредством костылей тянут ключ/значение в SQL, значительно теряя в производительности. Но суть решения в SQL абстракции, которую с большей эффективностью можно заменить на LDAP. SQL изначально был предназначен для работы с таблицами описывающими конечное количество столбцов. Попытки расширить возможности SQL - рождают уродов вроде 1С. LDAP предназначен для работы с обьектами, не имеющими по факту строгой структуры. Поэтому более применим для ОС.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62 Ответы: #67

67. Сообщение от ыы (?), 06-Сен-22, 13:50	+/–
>рождают уродов вроде 1С. Не могли бы вы привести пример "не урода" DSL в той же области что 1С?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66 Ответы: #81, #82

69. Сообщение от Аристарх (??), 06-Сен-22, 14:12	+/–
Проблема в том, что "своя управлялка томами" априори ограничена и неуклюжа. Практически для ВСЕХ ВОЗМОЖНЫХ ВИДОВ сториджа ты ОБЯЗАН иметь в своей "странной" СУБД поддержку. Скажем, запилил ты с горем пополам HDD. А потом раз - и у людей SSD! С абсолютно другими принципами. Другой захотел СУБД на стриммере - ОПЯТЬ ПИЛИТЬ! Причём даже харды могут быть разными архитектурно, что тебе ТОЖЕ надо учитывать в своей... гм... "управлялке томами". Короче, всё это доморощеное г0вн0 из разряда "сами всё напишем".
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43 Ответы: #118

70. Сообщение от Аристарх (??), 06-Сен-22, 14:15	+1 +/–
Ты где слово "шаблон" узнал, убогий? Или вам в школе его кто-то неосторожно сказал? Узнаю тупых 2К-детей - им какую пое6ень ни покажи - им всё прогресс! :))) что биткойны, что ИИ, что венда-10...  дети - чо с них взять!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56 Ответы: #75

71. Сообщение от Аристарх (??), 06-Сен-22, 14:16	+/–
Такую чушь "придумывали" когда тебя даже в проекте не было. И всё это благополучно похерилось в пыли времён. И что "крутого" ты тут нашёл, мальчик?!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33

72. Сообщение от Аристарх (??), 06-Сен-22, 14:19	–1 +/–
Ещё один "аспирант-теоретик"! :)) Увидел какую-то чушь, да ещё и защищает. В реале этот павлиноуткаёж не взлетит. Это чисто экспериментальный проект, рождённый, чтобы загнуться. Это не будущее ни разу.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #80

73. Сообщение от Аноним (73), 06-Сен-22, 14:31	+/–
"... но процессор эмулировать в виртуальной памяти... Такого ещё не было!"
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #74

74. Сообщение от ыы (?), 06-Сен-22, 14:35	+/–
Эмулировать на sql запросах... :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #73 Ответы: #78

75. Сообщение от Аноним (75), 06-Сен-22, 15:16	+/–
Ахаха, старичок, тебе что не скажи всё уже изобрели «великие» советские ученые, которые так ничего и не сделали.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

76. Сообщение от Аноним (75), 06-Сен-22, 15:17	+/–
Ну и конечно же пользовательскими приложениями на Хаскеле.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #61 Ответы: #119

78. Сообщение от Аноним (75), 06-Сен-22, 15:19	+/–
Не wasm уже хорошо.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74

79. Сообщение от YetAnotherOnanym (ok), 06-Сен-22, 15:24	+2 +/–
Ты переносишь на БД, которая используется "для хранения приложений и состояния системы" те проблемы, которые имеют место в других областях использования БД. У БД объявлений Авито своя специфика, у БД постов и каментов ВК - своя, у БД документооборота Госуслуг своя, у Росреестра своя, здесь тоже своя специфика. Вот лежит у нас бинарник программы в БД в виде блоба. Мы скомпиляли новую версию и с помощью средств, которые предоставляет распределённая БД, распихали его по нодам. Логи тоже кидаются в БД, вроде бы единую, но логи от разных нод не пересекаются. Конфликту взяться неоткуда, при этом в любой момент можно прогрепать логи по всей сети. И так далее. Имхо, вещь очень перспективная.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #121

80. Сообщение от YetAnotherOnanym (ok), 06-Сен-22, 15:33	+/–
Не взлетит, не взлетит, можешь не волноваться. Там игорей нет, и медиаплеера нет, и торентокачалки нет, и мессенджеров нет, и браузер не портировали, и офиса тоже нет, и нвидии они палец не показали, чтобы дрова сделала.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #72 Ответы: #109, #131

81. Сообщение от 1 (??), 06-Сен-22, 16:20	+/–
TDS ... например
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67

82. Сообщение от 1 (??), 06-Сен-22, 16:28	+/–
Тфу букаффка выпала - TDMS же !
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67

83. Сообщение от Oxyd76 (?), 06-Сен-22, 16:58	+1 +/–
Кажется кто-то переизобрёл AS/400 только в кластерном варианте. Осталось только добавить объектную модель.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #85, #86, #88, #138

84. Сообщение от истина в последней инстанции (?), 06-Сен-22, 17:14	+/–
да уж, времена. блакноты на попаскрипте, системы на базах данных, будущее которое заслужили
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #89

85. Сообщение от 1 (??), 06-Сен-22, 17:52	+1 +/–
Ага ... Ещё MUMPS вспоминается :-)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #83

86. Сообщение от Михрютка (ok), 06-Сен-22, 19:53	+/–
> кто-то переизобрёл AS/400 0_0 каким боком, можно узнать?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #83 Ответы: #87

87. Сообщение от pofigist (?), 06-Сен-22, 20:48	+/–
OS/400 использовала единое адресное пространство памяти для RAM и HDD, а в качестве хранилища данных (точнее объектов) - DB2. Первый релиз - 1988й год если не шибаюсь. Ах да - там ещё использовался интерпретатор байт-кода, а-ля Java. Посему она пережила три смены архитектуры CPU без перекомпиляции программ.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #86 Ответы: #90, #93

88. Сообщение от pofigist (?), 06-Сен-22, 20:50	+/–
Те же ассоциации.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #83

89. Сообщение от пох. (?), 06-Сен-22, 20:51	+/–
Ну чем, чорт побери, МЫ -то такое заслужили? Думаешь, тем что надо было не багрепорты писать, которые все равно закрывали не читая, а просто отстреливать эту публику? Так патрон же ж не напаслись бы...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #84 Ответы: #99

90. Сообщение от пох. (?), 06-Сен-22, 20:54	+/–
Ты забыл уточнить что перекомпилировать в любом случае было особо нечего. Под нее существовал только очень странный околобанковский софт (около - потому что процессинг по каким-то кто-бы-мог-подумать причинам в эти ящики запихивался плохо и все попытки такое в длительной перспективе использовать кончались уходом на более вменяемые архитектуры. А коробка оставалась сбоку, выбросить ее было невозможно, да и жаба давила.)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #87 Ответы: #94

91. Сообщение от adolfus (ok), 06-Сен-22, 21:01	–1 +/–
Распределенных баз данных не бывает. База данных тогда только база данных, когда она ACID. Все остальное -- файлопомойка. С данными на множестве узлов работают только нищeбpoды. Нормальные пацаны для этого используют мэйнфреймы. Один 19" блок Z имеет одной оперативки до 40 Тбайт, а в шкафу с ним и в шкафу рядом десятки петабайт дисковой памяти. Одним словом, https://www.redbooks.ibm.com/redbooks/pdfs/sg248851.pdf. Таким образом, на территории, занимаемой парой 19" шкафов (~ 5 квадратных метров с учетом распахнутых дверок и выезда блоков на салазках) располагается любая нынешняя распределенная база данных, какогj бы объема она не была. При этом она даже не ACID, а ACIZ. Z -- zero access time 24/7... Z здесь  вместо D -- durability. Спросите, а почему гуглы не используют мэйнфреймы? Ответ лежит в плоскости рейдерского наезда жидoрептилоидов из конгреса под предводительством гейтсов на IBM в конце 90-х -- IBM просто не желает с алиенами иметь дело. Пейсбук сюда же.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #92, #97, #106

92. Сообщение от YetAnotherOnanym (ok), 06-Сен-22, 21:37	+/–
> База данных тогда только база данных, когда она ACID А если юзкейс этого не требует?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #91 Ответы: #95

93. Сообщение от Михрютка (ok), 06-Сен-22, 21:57	+/–
заколоти свою копипасту себе в трухляк и иди куда-нибудь. я бы сказал куда, но модераторы считают, что опеннет - безопасная территория для анацефалов, поэтому я не скажу куда тебе идти. > там ещё использовался интерпретатор байт-кода, а-ля Java. Посему она пережила три смены архитектуры CPU без перекомпиляции программ. это просто сказка какая-то. товарищ солтис небось икает не переставая.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #87 Ответы: #98

94. Сообщение от Михрютка (ok), 06-Сен-22, 22:03	+/–
ух-хух, только околобанковский софт. то-то я эти коробки вывозил с предприятий, у которых в названиях были "сталь" и "прокат". какой нахер процессинг, as/400 делалась чуть ли не под soho.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #90 Ответы: #105

95. Сообщение от adolfus (ok), 06-Сен-22, 22:29	+/–
>> База данных тогда только база данных, когда она ACID > А если юзкейс этого не требует? Значит то, что он использует, -- это не база данных, а свалка данных, в лучшем случае файлопомойка. Юзекейсы -- это термин, не имеющий никакого отношения к базам данных. Это вообще термин из UML -- абстрактного языка, который не предназначен описывать организацию данных, а только использовать уже готовую, причем исключительно статическую организацию, чтобы поверх нее создавать т.н. бизнесалгоритмы, которым будут следовать биороботы, нанятые данным бизнесом. Юзеркейсы определяют подмножество допустимых действий пользователей над доступными им (в виде static view) данными, при этом они никак не могут влиять на схему данных в базе, поскольку сугубо вторичны и подчинены. Юзекейс -- это действия, а database никаких действий вообще не определяет -- это просто набор описаний данных и связей между ними (отношений). Эти описания исключительно декларативны и не предполают никаких конкретных действий с ними. Действия -- это задача другого уровня (прикладного). Юзеркейсы -- это методы, а dataase -- это данные, никаких методов доступа к ним не устнавливающие. Юзеркейсы в связи с данными придуманы это лишь для того, чтобы стричь бабки с ООП-лохов, котороые пкупают тысячкстраничные книжки, набитые на 10% банальностями полувековой давности, а на остальные дибильными выдумками крайне ангажированных авторов.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #92 Ответы: #110

96. Сообщение от Lefsha (ok), 07-Сен-22, 00:07	–1 +/–
Боже... Люди совсем разучились переводить тексты! Прочтите оригинал и долго думайте! Это Операционная Система упрощенная для использования в базах данных. Т.е. не ОС поверх DB, а ровно наоборот. Позорище... P.S. Оригинальное название -  A Database-Oriented Operating System
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #103

97. Сообщение от Michael Shigorin (ok), 07-Сен-22, 01:13	+2 +/–
> Один 19" блок Z имеет одной оперативки до 40 Тбайт Один 4Э16С умеет до 16 Тб.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #91 Ответы: #111

98. Сообщение от Michael Shigorin (ok), 07-Сен-22, 01:17	+/–
Ну вот, а где лекция, трищ профессор? Только перо расписал...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93

99. Сообщение от Michael Shigorin (ok), 07-Сен-22, 01:18	+/–
Ну Вы же не пошли в РВСН.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #89

100. Сообщение от penetrator (?), 07-Сен-22, 01:48	+/–
можно подробнее? какие транзакции? на каких запросах? P.S. ссылки приветствуются
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42 Ответы: #107

101. Сообщение от penetrator (?), 07-Сен-22, 01:51	+1 +/–
какая из нод у тебя исчерпала память? SQL node? coordinator? data node? сколько всего было памяти на это ноде? какой объем данных был в базе? какой запрос и какой объем выборки? а все ли там было хорошо с настройками?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #113, #114

102. Сообщение от penetrator (?), 07-Сен-22, 01:51	+/–
а можно технические подробности?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

103. Сообщение от Аноним (103), 07-Сен-22, 07:42	+/–
А теперь сами дальше заголовка оригинал прочитайте. Например "For example, a cluster scheduler could store information on tasks and workers in database tables and implement scheduling operations as database transactions that mix imperative code and SQL". Или просто на картинку взгляните. Ниже DBMS - Microkernel services, а выше - OS services.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #96 Ответы: #136

104. Сообщение от 1 (??), 07-Сен-22, 09:05	+1 +/–
Для комментариев ?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #133

105. Сообщение от пох. (?), 07-Сен-22, 09:07	+/–
> какой нахер процессинг, as/400 делалась чуть ли не под soho. при ее цене это должен быть soho образца "сталь и прокат". Где денег немеряно, офисные задачки совершенно примитивные (бухгалтерия для всей толпы рабов, разумеется, 1С). Что они там на ней считали и где брали этих странных разработчиков (а главное - ну зачем это было делать) - уму непостижимо все равно. А вот в банчках понятно зачем ее любили - только оно не работало, поэтому любовь была чисто платонической.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #94

106. Сообщение от ыы (?), 07-Сен-22, 09:57	+/–
>Распределенных баз данных не бывает. База данных тогда только база данных, когда она ACID. Все остальное -- файлопомойка. А в каком месте шардинг противоречит ACID?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #91

107. Сообщение от Онаним (?), 07-Сен-22, 10:27	+/–
https://dev.mysql.com/doc/mysql-cluster-excerpt/8.0/en/mysql... Думаю, для самого начала достаточно. Ну и вот сюда можно поглядеть. В старой дооракловой документации было доходчивое объяснение процессов LCP-GCP, в этой при беглом осмотре не нашёл.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #100 Ответы: #108, #116

108. Сообщение от Онаним (?), 07-Сен-22, 10:27	+/–
https://dev.mysql.com/doc/refman/8.0/en/mysql-cluster-basics...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107

109. Сообщение от ыы (?), 07-Сен-22, 10:54	+/–
А какой палец они должны показать Нвидии чтобы та сделала под них дрова?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #80 Ответы: #112

110. Сообщение от YetAnotherOnanym (ok), 07-Сен-22, 11:31	+/–
> биороботы, нанятые данным бизнесом. А, ну, всё понятно. > Юзекейс -- это действия, а database никаких действий вообще не определяет -- > это просто набор описаний данных и связей между ними (отношений). И? Как быть в случае, если для выполнения действий, требуемых юзкейсом, необходима система с такими данными и отношениями между ними, чтобы в любой географической точке данные были доступны мгновенно, а небольшое отставание актуальности  некритично? Например, пользователь, чей кредит исчерпан, будет несколько минут пользоваться неким сервисом при отрицательном балансе лицевого счёта? При том, что более строгий подход (допуск к пользованию сервисом только при наличии денег на счету, подтверждённом ответом только от центральной БД) приведёт к недоступности сервиса для абонентов на какой-то территории из-за отвала центральной БД.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95 Ответы: #123, #125

111. Сообщение от YetAnotherOnanym (ok), 07-Сен-22, 11:39	+/–
Не ломайте человеку манямирок, в котором уровень технологического лидерства Межделмаша недостижим для соперников, а СУБД могут быть только кислотными и никак иначе.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #97

112. Сообщение от YetAnotherOnanym (ok), 07-Сен-22, 11:40	+/–
> А какой палец они должны показать Нвидии чтобы та сделала под них > дрова? Тот же, какой показал Линус.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #109 Ответы: #122

113. Сообщение от Sw00p aka Jerom (?), 07-Сен-22, 12:52	+/–
> сколько всего было памяти на это ноде? > какой объем данных был в базе? > какой запрос и какой объем выборки? > а все ли там было хорошо с настройками? кек, стандалон мускул 8.0 со стандартными настройками, память 32 ГБ + столько же свопа, одна база не превышающая размер в 50 Мб данных и таблиц не больше 30, тестовый стенд. Вот и свалилось к херам исчерпав память + своп, и процесс собственно прибился киллером, запросы обычные с несколькими джойнами, точно не скажу ибо нах мне это надо разгребать, конечно баг мускула именно этой версии. К чему все это, мускул стал хуже!!!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101

114. Сообщение от Sw00p aka Jerom (?), 07-Сен-22, 13:02	+/–
> какой запрос и какой объем выборки? вот похоже на это, пофиксили на 8.0.27, а исполоьзовалась 8.0.26 Changes in MySQL 8.0.27 (2021-10-19, General Availability) Concurrent insert operations on multiple tables with full-text indexes caused a large number of full-text index synchronization requests, resulting in an out of memory condition. (Bug #32831765, Bug #103523) есть и такие фиксы Some of the functions defined in mbr_utils.cc threw heap-allocated exceptions in some situations. Memory allocated for the exception object in these cases was never freed, which meant that a small amount of memory leaked each time an exception was thrown. This is fixed by allocating the exception on the stack in such cases, instead. (Bug #104214, Bug #33086286)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101 Ответы: #115

115. Сообщение от penetrator (?), 07-Сен-22, 15:45	+/–
>[оверквотинг удален] > Concurrent insert operations on multiple tables with full-text indexes caused a large > number of full-text index synchronization requests, resulting in an out of > memory condition. (Bug #32831765, Bug #103523) > есть и такие фиксы > Some of the functions defined in mbr_utils.cc threw heap-allocated exceptions in some > situations. Memory allocated for the exception object in these cases was > never freed, which meant that a small amount of memory leaked > each time an exception was thrown. > This is fixed by allocating the exception on the stack in such > cases, instead. (Bug #104214, Bug #33086286) ну так это тупо баг, есть еще Maria и Percona и другие форки со своим саппортом, но какое это все имеет отношение к NDB? ответ - никакого
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #114 Ответы: #120

116. Сообщение от penetrator (?), 07-Сен-22, 15:56	+/–
> https://dev.mysql.com/doc/mysql-cluster-excerpt/8.0/en/mysql... > Думаю, для самого начала достаточно. > Ну и вот сюда можно поглядеть. В старой дооракловой документации было доходчивое > объяснение процессов LCP-GCP, в этой при беглом осмотре не нашёл. и где там нечто именуемое "block-based locks"? там есть только: To ensure that a given transaction reads only before or after values, you can impose row locks using SELECT ... LOCK IN SHARE MODE. In such cases, the lock is held until the owning transaction is committed. И это нужно для эмуляции уровня изоляции Repeatable Read, что выше и написано по сути. Но никто не мешает использовать Read Commited стандартный почти для 99% приложений (написаннных без такого говна как Entity Framework или еще какого ORM, переопределяющего дефолтовый уровень изоляции).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107 Ответы: #128

117. Сообщение от пох. (?), 07-Сен-22, 16:00	+/–
Совершенно верно. Орацл похоронил эту глупость давным-давно. Она тех времен, когда были "настоящие" block devices, и все они были +- одинаковыми (поскольку ничего кроме scsi диска под ними не могло быть по определению). Внезапно, оказалось что проще выпороть индуса, не умеющего работать с файловой системой, чем поддерживать эти поделки самоучек без мотора, костыльно-уникальные для каждой ос и для каждой комбинации устройств хранения.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

118. Сообщение от Аноним (43), 07-Сен-22, 16:28	+/–
> Проблема в том, что "своя управлялка томами" априори ограничена и неуклюжа. Ну так всякие ZFS и иже с ними - это всё тоже "доморощеное г0вн0 из разряда "сами всё напишем". Кто-то (Sun) "для себя любимого" и начинал писАть. Не марсиане же прилетали и дарили людям какие-то ныне устоявшиеся, популярные, "стандарт де-факто" системы. И так по любой любимой Вами технологии. Как-то опрометчиво утверждать, что компания уровня Оракла с ASM - доморощенное, а сановский ZFS для солярки - не доморощенное. Просто удачные решения ("удачные" - не обязательно технологически лучшие, см. OS/2 vs Win) выжили, а менее удачные - теперь для Вас г0вн0. Так же и здесь - вдруг это сборище университетов и компаний родило бы что-то мегаполезное, этакую "MegaZFS 2.0 bez kosyakov!", которое бы Вы через 10 лет всем ставили в пример как образец космических технологий, а всё остальное - "оно самое, коричневое". Причин в хотении своей управлялки - море. Это и лицензирование готового продукта. Или чужие патентованные технологии. Или желание контролировать развитие продукта в нужном тебе направлении...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #69

119. Сообщение от Аноним (43), 07-Сен-22, 16:40	+/–
А на эрланге, эрланге, залитом эликсиром, тоже что-нибудь напишут? Например JDK? Хотя не, JDK на прологе надо переписывать...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #76

120. Сообщение от Sw00p aka Jerom (?), 07-Сен-22, 19:52	+1 +/–
> ну так это тупо баг, есть еще Maria и Percona и другие > форки со своим саппортом, но какое это все имеет отношение к > NDB? ответ - никакого да тупо баг, обычное ведь дело в каждом релизе мемлик баги пускать > но какое это все имеет отношение к > NDB? ответ - никакого конкретно тот баг нет не имеет, ибо ндб фултекста не имеет. пс: и смех и грех Linux: On Linux systems, NDB interpreted memory sizes obtained from /proc/meminfo as being supplied in bytes rather than kilobytes. (Bug #102505, Bug #32474829)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #115

121. Сообщение от ыы (?), 08-Сен-22, 07:29	+/–
> в любой момент можно прогрепать логи по всей сети И все они лежат в памяти... Благословенна компьютера с бесконечной оперативной памятью... способной вместить все непересекающиеся логи в сети...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #79

122. Сообщение от ыы (?), 08-Сен-22, 07:29	+/–
От шоб я следил за пальцами какого-то поца...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #112

123. Сообщение от ыы (?), 08-Сен-22, 07:42	+/–
(1) >необходима система с такими данными и отношениями между ними, чтобы в любой географической точке данные были доступны мгновенно, а небольшое отставание актуальности  некритично? То есть такая система - Хорошая система (2) >Например, пользователь, чей кредит исчерпан, будет несколько минут пользоваться неким сервисом при отрицательном балансе лицевого счёта? То есть такая система - плохая система (3) >При том, что более строгий подход (допуск к пользованию сервисом только при наличии денег на счету, подтверждённом ответом только от центральной БД) приведёт к недоступности сервиса для абонентов на какой-то территории из-за отвала центральной БД. От щото я уже запутался в мысли... то есть такая система - плохая система или хорошая?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #110 Ответы: #127

124. Сообщение от Murz (ok), 08-Сен-22, 08:30	–1 +/–
CSV файлы можно использовать в качестве бекенда для хранения данных?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #137

125. Сообщение от 1 (??), 08-Сен-22, 09:12	+/–
> "чтобы в любой географической точке данные были доступны мгновенно" Ну мгновенно - не получится - скорость света/интернета ограничена. И разве это не реализовать на одном Z-series с толстыми каналами ?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #110 Ответы: #126

126. Сообщение от YetAnotherOnanym (ok), 08-Сен-22, 11:09	+1 +/–
> с толстыми каналами ? В мире, где строители могут воткнуть сваю в идущий по тоннелю вагон метро, никакой канал не может считаться абсолютно надёжным. После первого же порванного левым экскаватором кабеля начинаешь иначе смотреть на всё, и проектировать инфраструктуру с учётом возможного разрыва соединения. В одних случаях единственный возможный вариант - выдать ошибку и ждать восстановления линка. В другом можно пользоваться локальной репликой, а синхронизацию провести после восстановления связи.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #125

127. Сообщение от YetAnotherOnanym (ok), 08-Сен-22, 11:10	+/–
> То есть такая система - плохая система Но с этим иногда можно смириться.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #123

128. Сообщение от Онаним8194 (?), 08-Сен-22, 22:53	+/–
Там даже хуже чем блочные блокировки, да, прошу прощения, блочных блокировок в NDB нет, только строчные, перепутал с TokuDB. Начнём с того, что READ COMMITTED - это единственное, что может NDB. Больше ничего не может в принципе. Причём не просто READ COMMITTED, а per row, что дополнительно доставляет. Как только появляются уникальные индексы - у тебя начинаются дополнительные приключения - чтение, не использующее никакой индекс (full scan / ALL), начинает брать блокировки на всю таблицу целиком. Эти же приключения есть при других условиях. Это SHARED READ LOCK, то есть любая модификация попавших в чтение строк в этот момент идёт курить бамбук. Если скан занимает сколь-либо длительное время - всё, приплыли.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #116

131. Сообщение от Neon (??), 09-Сен-22, 18:11	+/–
Короче ничего нет. Дрочение ради самого процесса)))
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #80

132. Сообщение от Аноним (132), 10-Сен-22, 13:55	+/–
Боян [:|||||||:] IBM System i
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

133. Сообщение от Первая буква (?), 12-Сен-22, 09:05	+/–
Очевидно же - для контрольных сумм
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #104

134. Сообщение от Первая буква (?), 12-Сен-22, 09:09	+/–
Распределенная система без запусков. Она вообще не выключается - только перетекает от узла к узлу. Ее невозможно остановить, запустивши единожды. И смысла в состоянии между запусками нет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

135. Сообщение от Первая буква (?), 12-Сен-22, 09:13	+/–
Цена как была так и держится. А вот ненужные фермы - это да, в труху, и уже не продашь что б хоть половину отбить)))
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

136. Сообщение от Lefsha (ok), 12-Сен-22, 15:40	+/–
Да, и что? Ядро ОС НЕ использует DB для работы. Это очевидно. разные службы могут использовать DB для хранения данных. Для этого DB и делают... Unix был написан на C. И тот же самый C используется для написания приложений для Unix. Тоже самое как говорится. Есть условно стандартная для этой OS база данных. И она используется в инфрасткрутуре самой OS. Это абсолютно НЕ означает, что OS работает поверх Базы данных!!!! И НИКТО из авторов об этом не говорит! Может лучше слушать авторов, а не местных идиотов?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #103

137. Сообщение от Анонимусс (?), 03-Янв-23, 01:00	+/–
Это пять!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #124

138. Сообщение от Ма (?), 12-Янв-23, 08:08	+/–
AS/400 не видел. Некоторое время работал на https://en.wikipedia.org/wiki/Pick_operating_system Это из 60х годов. Примерно похоже, только там даже не РСУБД была. MultiValue. В современных терминах, наверное, больше всего похоже на JSON/NoSQL. Очень гибкая организация: Виртуальная машина -> Счет -> Файл -> Запись -> Значение -> Подзначение... Любой сущностью можно было удобно управлять как единым куском. Если память не изменяет - основная причина почему они в итоге стали всё-таки выносить свою БД поверх ОС общего назначения и перестали быть самостоятельной ОС - сетевой стэк.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #83

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема