форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[ Отслеживать ]

"Репликация файлов online"

Сообщение от Heggi on 04-Дек-08, 12:49

Имеем 2 географически разнесенных файлсервера, у каждого сервера 1.5Тб пространства под данные (RAID5) Время работы серверов заранее не спрогнозировать (но большую часть времени работают одновременно) На серверах поднята самба. Юзеры одновременно работают с двумя серваками (читают,пишут,изменяют файлы). Требуется online репликация файлов по дате изменения (т.е. в случае конфликтов оставляем однозначно более поздний файл) При этом нет гарантии доступности двух серверов одновременно. Например, сегодня первым вырубили сервер №1, а на втором серваке юзеры еще час файлы ковыряли, а на завтра первым врубили сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное, чтобы после старта 2-го сервера репликация прошла в обе стороны так, чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик изменил, то он должен тут же скопироваться на второй сервер. Собстно нужна система, которая выполняла бы все вышеперечисленные функции

Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Репликация файлов online"

Сообщение от unknown (??) on 04-Дек-08, 13:53

Может быть стоит использовать решения для терминального доступа к файлам?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "Репликация файлов online"
	Сообщение от Heggi on 04-Дек-08, 22:46
	>Может быть стоит использовать решения для терминального доступа к файлам? Подробнее? что ты имеешь ввиду?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Репликация файлов online"

Сообщение от PavelR (??) on 04-Дек-08, 17:11

>[оверквотинг удален] >Требуется online репликация файлов по дате изменения (т.е. в случае конфликтов >оставляем однозначно более поздний файл) При этом нет гарантии доступности двух >серверов одновременно. Например, сегодня первым вырубили сервер №1, а на втором >серваке юзеры еще час файлы ковыряли, а на завтра первым врубили >сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное, >чтобы после старта 2-го сервера репликация прошла в обе стороны так, >чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик >изменил, то он должен тут же скопироваться на второй сервер. > >Собстно нужна система, которая выполняла бы все вышеперечисленные функции А более подробно - что за файлы, в которых вы так готовы терять изменения ?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	6. "Репликация файлов online"
	Сообщение от Heggi on 04-Дек-08, 22:49
	>[оверквотинг удален] >>серваке юзеры еще час файлы ковыряли, а на завтра первым врубили >>сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное, >>чтобы после старта 2-го сервера репликация прошла в обе стороны так, >>чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик >>изменил, то он должен тут же скопироваться на второй сервер. >> >>Собстно нужна система, которая выполняла бы все вышеперечисленные функции > >А более подробно - что за файлы, в которых вы так готовы >терять изменения ? В основном документы, которые постоянно правят, перевыпускают и прочая, прочая... Конечно было бы неплохо держать и старые версии документов (на всякий пожарный, благо место позволяет), но это не обязательное условие.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Репликация файлов online"

Сообщение от Grey (ok) on 04-Дек-08, 17:34

Странно, вообще-то на серваках как раз по ночам (когда юзеры спят) вся основная работа и начинается ... :) раб.станции выключать можно а сервак выключать на ночь - однако :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "Репликация файлов online"
	Сообщение от Heggi on 04-Дек-08, 22:46
	>Странно, вообще-то на серваках как раз по ночам (когда юзеры спят) вся >основная работа и начинается ... :) раб.станции выключать можно а сервак >выключать на ночь - однако :) Учитывая, что предприятие режимное и на ночь все обесточивается... Сервера круглосуточно не могут работать по определению. Так что последний уходящий тушит сервер.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	7. "Репликация файлов online"
	Сообщение от GAD on 05-Дек-08, 17:30
	Может конечно не совсем репликация. Может посмотреть в сторону Subversion (SVN) Заодно получите версионный контроль файлов. Если пользователи не со всеми документами одновременно работают то думаю не плохое решение при хороших каналах. При плохом как вариант: на обоих серваках Subversion(SVN) и система репликации между ними SVK
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Репликация файлов online"

Сообщение от s_dog (??) on 05-Дек-08, 22:14

csync?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	9. "Репликация файлов online"
	Сообщение от Heggi on 06-Дек-08, 00:41
	>csync? Пробовал. не понравилось тем, что отсутствует мониторинг изменения файлов, т.е. измененный файл не перекидывается тут же на другой сервер, а если csync дергать по cron'у постоянно, то при большом количестве файлов это будут тормоза
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	13. "Репликация файлов online"
	Сообщение от User294 (??) on 06-Дек-08, 05:19
	>по cron'у постоянно, то при большом количестве файлов это будут тормоза В линуксах можно попытаться вывернуться гоняя хоть тот же rsync сугубо на основе мониторинга изменений ФС по inotify. В принципе - наверное работоспособно, хотя я сам так не делал - просто то что в голову пришло.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	20. "Репликация файлов online"
	Сообщение от Heggi on 08-Дек-08, 07:35
	>>по cron'у постоянно, то при большом количестве файлов это будут тормоза > >В линуксах можно попытаться вывернуться гоняя хоть тот же rsync сугубо на >основе мониторинга изменений ФС по inotify. В принципе - наверное работоспособно, >хотя я сам так не делал - просто то что в >голову пришло. Была такая мысль, но inotify мониторит только одну директорию не рекурсивно :( inotify-tools решает эту проблему (обходит все дерево каталогов и создает inotify-watch на каждую дирректорию), но лишь частично: если создать новую директорию - она не мониторится :(
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	16. "Репликация файлов online"
	Сообщение от s_dog (??) on 06-Дек-08, 16:12
	>>csync? > >Пробовал. не понравилось тем, что отсутствует мониторинг изменения файлов, т.е. измененный файл >не перекидывается тут же на другой сервер, а если csync дергать >по cron'у постоянно, то при большом количестве файлов это будут тормоза > пробовал csync или csync2 http://oss.linbit.com/csync2/ ?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	17. "Репликация файлов online"
	Сообщение от Heggi on 06-Дек-08, 18:47
	>>>csync? >> >>Пробовал. не понравилось тем, что отсутствует мониторинг изменения файлов, т.е. измененный файл >>не перекидывается тут же на другой сервер, а если csync дергать >>по cron'у постоянно, то при большом количестве файлов это будут тормоза >> > >пробовал csync или csync2 http://oss.linbit.com/csync2/ ? csync2
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	18. "Репликация файлов online"
	Сообщение от s_dog (??) on 06-Дек-08, 20:18
	>>>>csync? >>> >>>Пробовал. не понравилось тем, что отсутствует мониторинг изменения файлов, т.е. измененный файл >>>не перекидывается тут же на другой сервер, а если csync дергать >>>по cron'у постоянно, то при большом количестве файлов это будут тормоза >>> >> >>пробовал csync или csync2 http://oss.linbit.com/csync2/ ? > >csync2 сдаётся, мне что на какую-нить distributed fs надо смотреть.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	19. "Репликация файлов online"
	Сообщение от s_dog (??) on 07-Дек-08, 10:30
	https://www.opennet.ru/opennews/art.shtml?num=19263
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	21. "Репликация файлов online"
	Сообщение от Heggi on 08-Дек-08, 07:38
	>https://www.opennet.ru/opennews/art.shtml?num=19263 Это все гуишные приложения... и хоть Unison и может работать в консоли, это все-таки End-user приложение, а никак не серверное, не требующее постоянного контроля со стороны администратора...
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	22. "Репликация файлов online"
	Сообщение от s_dog (??) on 08-Дек-08, 11:54
	>>https://www.opennet.ru/opennews/art.shtml?num=19263 > >Это все гуишные приложения... и хоть Unison и может работать в консоли, >это все-таки End-user приложение, а никак не серверное, не требующее постоянного >контроля со стороны администратора... http://www.linuxawy.org/node/13 http://inotify-tools.sourceforge.net/
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	24. "Репликация файлов online"
	Сообщение от Heggi on 09-Дек-08, 00:22
	>>>https://www.opennet.ru/opennews/art.shtml?num=19263 >> >>Это все гуишные приложения... и хоть Unison и может работать в консоли, >>это все-таки End-user приложение, а никак не серверное, не требующее постоянного >>контроля со стороны администратора... > >http://www.linuxawy.org/node/13 >http://inotify-tools.sourceforge.net/ Inotify-tools - хорошая штука, особенно после доработки напильником -)) Похоже проще будет свое написать -)
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	25. "Репликация файлов online"
	Сообщение от s_dog (??) on 09-Дек-08, 00:32
	>Похоже проще будет свое написать -) как это, специфические требования отпишитесь, может как и что получилось - интересно
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Репликация файлов online"

Сообщение от Square (ok) on 06-Дек-08, 01:01

>Требуется online репликация файлов по дате изменения (т.е. в случае конфликтов >оставляем однозначно более поздний файл) При этом нет гарантии доступности двух >серверов одновременно. Например, сегодня первым вырубили сервер №1, а на втором >серваке юзеры еще час файлы ковыряли, а на завтра первым врубили >сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное, >чтобы после старта 2-го сервера репликация прошла в обе стороны так, >чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик >изменил, то он должен тут же скопироваться на второй сервер. > >Собстно нужна система, которая выполняла бы все вышеперечисленные функции однострочник на перле рекурсивно обходящий каталоги?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	12. "Репликация файлов online"
	Сообщение от User294 (??) on 06-Дек-08, 05:14
	>однострочник на перле рекурсивно обходящий каталоги? А дальше?Если юзер отредактировал 20Мб файл - пропихивать 20Мб?Как бы rsync в этом случае бойко покажет большую фигу однострочнику, да и рекурсивно проходить по каталогам он умеет :) На самом деле я вижу тут только 1 стоящую внимания проблему: что делать если 1 и тот же файл с обоих сторон отредактируют до синхронизации.Это "коллизия редактирования" и однострочником на перле опять же не отделаетесь(а что он будет делать при этом?).
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	14. "Репликация файлов online"
	Сообщение от Square (ok) on 06-Дек-08, 08:57
	>>однострочник на перле рекурсивно обходящий каталоги? > >А дальше?Если юзер отредактировал 20Мб файл - пропихивать 20Мб?Как бы rsync в >этом случае бойко покажет большую фигу однострочнику, да и рекурсивно проходить >по каталогам он умеет :) > >На самом деле я вижу тут только 1 стоящую внимания проблему: что >делать если 1 и тот же файл с обоих сторон отредактируют >до синхронизации.Это "коллизия редактирования" и однострочником на перле опять же не >отделаетесь(а что он будет делать при этом?). вообще это наверное следует решать административными способами -  построить работу с файлами таким образом, чтобы изменения в документ вносились только локальными для этого сервера юзерами...
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Репликация файлов online"

Сообщение от User294 (??) on 06-Дек-08, 05:11

> так, чтобы остались более поздние файлы. А что делать если юзеры на одном сервере поколупали файл пока второй сервер не работал а потом 1-й сервер затушили, так что репликация не произошла зато на 2-м сервака юзеры поколупали тот же файл но с иными изменениями.Что делать при включении 1-го сервака?Чьи изменения прибить - юзеров сервака 1 или юзеров сервака 2? А так можно нечто типа периодически пинаемого кроном раз в несколько минут rsync поюзать (быстрая синхронизация содержимого каталога с посылкой по сети только отличий) но что делать с "коллизиями редактирования" - лично я не знаю.Для совсем уж крутых и только в линуксе - можно попытаться к inotify прикрутить чтобы rsync дергался только по факту изменения файлов в каталоге. P.S. это всего лишь идеи а не готовое решение и вообще оно может быть далеко не лучшим.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	15. "Репликация файлов online"
	Сообщение от Heggi on 06-Дек-08, 12:23
	>> так, чтобы остались более поздние файлы. >Чьи изменения прибить >- юзеров сервака 1 или юзеров сервака 2? > Можно одну версию файла (более старую по дате) переименовать, так, чтобы работа человека не пропала, но приоритет однозначно на стороне более позднего файла (по дате) >А так можно нечто типа периодически пинаемого кроном раз в несколько минут >rsync поюзать (быстрая синхронизация содержимого каталога с посылкой по сети только >отличий) но что делать с "коллизиями редактирования" - лично я не >знаю. Как быстро rsync пройдет по куче вложенных директорий с миллионом файлов?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

23. "Репликация файлов online"

Сообщение от McLeod095 (??) on 08-Дек-08, 12:31

>[оверквотинг удален] >Требуется online репликация файлов по дате изменения (т.е. в случае конфликтов >оставляем однозначно более поздний файл) При этом нет гарантии доступности двух >серверов одновременно. Например, сегодня первым вырубили сервер №1, а на втором >серваке юзеры еще час файлы ковыряли, а на завтра первым врубили >сервак №1 со старой инфой и юзеры опять ковыряют файлы. Главное, >чтобы после старта 2-го сервера репликация прошла в обе стороны так, >чтобы остались более поздние файлы. Ну и соответственно, если юзер файлик >изменил, то он должен тут же скопироваться на второй сервер. > >Собстно нужна система, которая выполняла бы все вышеперечисленные функции Может конечно не в тему, но все же. попробовать использовать пакет drbd вместе с heartbeat. Тем более как новая версия вообще поддерживает актив- актив. Тогда и вопрос резервирования и доступности решится сам собой. Только вот трафик, хотя раньше когда поднимал довольно быстро все реплицировалось.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]