The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Ускорить процесс бэкапа"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (FTP / Linux)
Изначальное сообщение [ Отслеживать ]

"Ускорить процесс бэкапа"  +/
Сообщение от worsvch (??) on 17-Мрт-13, 06:03 
Есть файлы, общий объем порядка 400гб, сжимаю их gzip до 200гб  и закачиваю на filezilla ftp server, который находится на windows 2k3 server. На это все уходит приблизительно 10 часов, что очень долго. Подскажите, пожалуйста, как можно ускорить данный процесс, чтобы он не занимал так много времени?

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Ускорить процесс бэкапа"  +/
Сообщение от PavelR (??) on 17-Мрт-13, 09:04 
> Есть файлы, общий объем порядка 400гб, сжимаю их gzip до 200гб  
> и закачиваю на filezilla ftp server, который находится на windows 2k3
> server. На это все уходит приблизительно 10 часов, что очень долго.
> Подскажите, пожалуйста, как можно ускорить данный процесс, чтобы он не занимал
> так много времени?

Использовать для бэкапа юникс-сервер, с бэкапируемым общаться по rsync.

две команды:

1)  Актуализируем копию

rsync -e "ssh -i /data/srv_key" -a --delete --force --quiet root@my.srv.tld:/path/to/data /data/srv/last_backup

Это быстрая операция, если файлы не менялись. Между серверами можно гонять как чистый rsync так и rsync over ssh. Rsync бывает и под виндовс, но на сервере бэкапа его использовать нельзя, т.к. нужно делать копии директории last_backup резервных копий через хардлинки (cp -l).

2) Сохраняем копию в каталоге вида 2013-03-17-00:15

#!/bin/bash
this_backup=$(date +%Y-%m-%d-%H:%M)
mkdir -p "/data/srv/$this_backup"
cp -lR /data/srv/last_backup/* "/data/srv/$this_backup"

Это не занимает дополнительного места, т.к. создаются хардлинки.
Зато если вдруг на исходном сервере, и, соответственно, в директории last_backup, что-то пропадет, вы это сможете найти в соответствущей копии.

---

3) при необходимости старые копии удаляются
find 2012-10-06-09:15 -delete


---
Есть скрипты, которые делают вышеописанное в автоматическом режиме, например Bontmia (которую я почти переписал).

http://www.backupcentral.com/wiki/index.php/Rsync_snapshots
и еще есть backupninja вроде тоже умеет кучу всего.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Ускорить процесс бэкапа"  +/
Сообщение от Dno on 17-Мрт-13, 22:21 
Канал расширь


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Ускорить процесс бэкапа"  +/
Сообщение от LSTemp (ok) on 21-Мрт-13, 01:25 
> Канал расширь

Умно. Диски от этого шевелиться быстрее будут?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Ускорить процесс бэкапа"  +/
Сообщение от LSTemp (ok) on 21-Мрт-13, 01:29 
> Есть файлы, общий объем порядка 400гб, сжимаю их gzip до 200гб  
> и закачиваю на filezilla ftp server, который находится на windows 2k3
> server. На это все уходит приблизительно 10 часов, что очень долго.
> Подскажите, пожалуйста, как можно ускорить данный процесс, чтобы он не занимал
> так много времени?

1) инкрементальный бакап
2) снапшоты


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру