The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"MYSQL База 1 Терабайт как с не быть."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Др. сетевые сервисы / Linux)
Изначальное сообщение [ Отслеживать ]

"MYSQL База 1 Терабайт как с не быть."  +/
Сообщение от isvd email(ok) on 04-Дек-12, 18:27 
Уже 2 месяца читаю кучу литературы и не могу определиться куда смотреть.
Разработали проэкт который генерирует за год базу данных  в 1 терабайт пока это как одня база.  Данные нужно хранить 5 лет.

Постановка задачи для себя.

1.как хранить
2.как бекапить
3.как добиться отказоустойчивости

Куда смотреть ? Репликация или raid 10 , или reid сетевой или LVM snapshot делать или ..... ????


Прошу указать направление и возможно ссылки на примеры или готовые решения.    
Для себя понял что лутший бекап это mysqldump  но если база в 1 тер то это нереально ее лопатить. Репликация тоже не панацея если вдруг какие то ошибки по реплике тоже они будут ,  рейд (знаю только в теории) вообще никогда не делал как он будет работать м mysql понятия даже неимею даже если и рейд 10  то в любом случаии хочу что бы была отдельныя копия на другом сервере. LVM?  Времени мало хочу всерез заняться этим вопросом но запутался уже....  
Мне интересно как профисионалы мыслят что предпринимают куда копают ??? понимаю что универсального решения нет... Буду очень презнателен. за любую информацию.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "MYSQL База 1 Терабайт как с не быть."  +/
Сообщение от lavr email on 04-Дек-12, 18:53 
> Уже 2 месяца читаю кучу литературы и не могу определиться куда смотреть.
> Разработали проэкт который генерирует за год базу данных  в 1 терабайт
> пока это как одня база.  Данные нужно хранить 5 лет.
> Постановка задачи для себя.
> 1.как хранить
> 2.как бекапить
> 3.как добиться отказоустойчивости
> Куда смотреть ? Репликация или raid 10 , или reid сетевой или
> LVM snapshot делать или ..... ????

<skipped>

1) пересмотреть структуру базы
2) если 1) - нереально, и память мне не изменяет - для баз > 200-300GB
single-node mysql конфигурация неприемлема, те нужно продумать multi-node mysql
конфигурацию и чтобы было < 200GB per node
3) и уже исходя из пункта 2) - обдумывать backup

Думаю, лучше обратиться на forum.mysql.com и возможно еще поискать серьезные
форумы по mysql

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "MYSQL База 1 Терабайт как с не быть."  +/
Сообщение от name (??) on 05-Дек-12, 13:41 
https://www.opennet.ru/tips/2721_mysql_partition_alter_log.shtml
есть такой функционал, должен помочь

>Для себя понял что лутший бекап это mysqldump

чем луТЪший?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "MYSQL База 1 Терабайт как с не быть."  +/
Сообщение от Анонимус42 on 05-Дек-12, 15:03 
Используйте Federated на нескольких разных серверах.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "MYSQL База 1 Терабайт как с не быть."  +/
Сообщение от anonymouse on 05-Дек-12, 15:45 
> Постановка задачи для себя.
> 1.как хранить
> 2.как бекапить
> 3.как добиться отказоустойчивости
> Куда смотреть ? Репликация или raid 10 , или reid сетевой или
> LVM snapshot делать или ..... ????

Надеюсь это все не в MyISAM??

1) Хранить лучше кусками, как на куски рубить и как с ними работать вопрос непростой, требует детального изучения предмета. Начать можно с партицирования штатными средствами: такой вариант, может быть, даже не потребует переработки кода.
2) mysqldump хорош, только восстановление базы на терабайт из дампа может затянутся по времени. Если даунтайм в пару суток не смущает -- mysqldump подойдет. Если нет -- lvm-снапшоты, есть еще xtrabackup, он вполне себе работает с ванильным mysql.
3) Репликация. Причем для того, чтобы не грузить основную базу, бэкап можно делать с реплики.

PS
RAID10 это не замена бэкапа, не панацея для отказоустойчивости. RAID10 спасает только на время выхода из строя диска и ускоряет работу с дисковой подсистемой. И совсем не спасает от assertion failure

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "MYSQL База 1 Терабайт как с не быть."  +/
Сообщение от Анонимус42 on 06-Дек-12, 15:32 
Вообще мускул хорош не для всех задач. Возможно имеет смысл перейти на что-то другое. Типа Redis, Casandra, hadoop))
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру