meta data for this page
  •  

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
blog:2022:10:15 [2022/10/15 17:32] – mchusblog:2022:10:15 [2022/10/16 17:41] (current) – mchus
Line 1: Line 1:
 +====== 2022-10-15 Каким образом резервное копирование на дисковые системы хранения может конкурировать с ленточными библиотеками? ======
 +{{tag>backup d2d2t deduplication tape_library}}
 +Устройства хранения резервных копий на базе ленточных накопителей до сих пор пользуются большой популярностью в виду следующих преимуществ:
 +  * Низкая стоимость владения;
 +  * Отчуждаемые носители;
 +  * Высокая производительность;
 +  * Высокая плотность хранения;
 +  * Отдельный тип носителей для выполнения правила 3-2-1 ((3 копии на 2 типах носителей и одна вне площадки));
 +
 +Еще несколько лет назад использование дисковых устройств хранения данных сводилось к организации подхода к резервному копированию D2D2T ((Disk to Disk to Tape)). Инкрементальные копии, например за последнюю неделю в данном подходе предлагается располагать на дисковой системе хранения или использовать её по мере заполнения, а долгосрочные копии хранить только на ленточной библиотеке. Современные ИТ проекты строятся больше по подходу дисковых хранилищ резервных копий без использования ленточных библиотек вовсе. 
 +
 +Какие события предшествовали данной трансформации?
 +
 +===== Новые программы резервного копирования =====
 +Одним из первых сигналов к переходу на дисковые хранилища стоит отметить появление систем резервного копирования "новой волны". 
 +
 +Такие продукты, как например Veeam Backup изначально не поддерживали ленточные библиотеки вовсе, а лидирующее положение на рынке резервного копирования виртуальных сред VMware в своё время заставило администраторов прислушиваться и соглашаться с подходом, который предлагал Veeam в контексте хранения копий. 
 +
 +Поддержка ленточных накопителей в Veeam появилась в версии V7, при этом ленты не могут являться первым хранилищем резервных копий поддерживается только D2D2T режим.
 +
 +Современные системы резервного копирования предлагают множество функций которые архитектурно не совместимы с устройствами хранения с последовательным доступом:
 +  * Запуск виртуальной машины непосредственно из резервной копии и монтирование копии к серверу для восстановления копированием;
 +  * Режим копирования Incremental Forever и Syntetic Full Backup которые позволяют избавиться от необходимости переодически выполнять полное копирование клиента;
 +
 +===== Развитие технологий дедупликации =====
 +Развитие инженерной мысли в области дедуплицирования данных, применение таких функций как дедупликация с плавающим курсором и изменяемый блок дедупликации позволили существенно улучшить эффективность данного механизма и проложить дорогу сначала в сегмент резервного копирования а в последствии и в основные системы хранения данных.
 +
 +Дедупликация начала появляться в ПО резервного копирования, были разработаны специализированные системы хранения резервных копий с функционалом дедупликации данных. 
 +
 +Была представлена технология распределенной дедупликации, которая включает в себя:
 +  * Хэширование данных на стороне клиента с последующей передачей только уникальных данных (чаще известная как дедупликация на стороне клиента);
 +  * Репликация только уникальных блоков между системами хранения резервных копий (чаще известная именно как распределенная дедупликация).
 +
 +Дедупликация очень редко применяется на ленточных накопителях именно ввиду нелинейного доступа к данным, не смотря на то, что существуют программные продукты которые поддерживают данный функционал его использование совместно с лентами не рекомендуется.
 +
 +Движки дедупликации грубо можно разделить на два вида:
 +  - Одни работают очень медленно, тратят много ресурсов процессора, оперативной памяти и при этом достигают низких показателей эффективности. Например сюда можно отнести все файловые системы с контролем целостности ((например BTRFS и ZFS)), который побочно может быть использован для сохранения данных только с уникальными контрольными суммами. 
 +  - Вторые совершенно магическим образом обеспечивают в десятки раз лучшие показатели и не столь требованы к ресурсам. 
 +
 +В маркетинговых материалах производителей утверждается большая эффективность достигается именно за счет блоков дедупликации переменной длинны а сокращение использования ресурсов - ноу хау каждого отдельного решения, которое держится в секрете.
 +
 +Применение дедупликации вносит неоценимый вклад в процесс резервного копирования. Ниже представлен график из [[read_more:open_source_backup|статьи про сравнение свободных механизмов дедупликации]]. В строке ''RAW'' отмечена ёмкость которую занимает резервная копия без какого либо сжатия.
 +
 +{{:blog:2022:10:15:20221015-201154.png}}
 +
 +===== Резервное копирование на дисковые массивы ======
 +В качестве назначения резервного копирования может быть использован обычный дисковый массив без какого либо дополнительного функционала. Вся нагрузка на оптимизацию хранения в данном случае ложится на программное обеспечение. Данный подход по сравнению с использованием ленточных накопителей обладает следующими преимуществами и недостатками:
 +
 +<WRAP group>
 +<WRAP half column>
 +  * более высокая скорость поиска данных;
 +  * меньшее время до начала востановления;
 +  * больший ассортимент устройств хранения данных, включая серверы с дисками;
 +  * запуск виртуальной машины из резервной копии;
 +
 +</WRAP>
 +
 +<WRAP half column>
 +  * не соблюдается рекомендация 3-2-1;
 +  * не отчуждаемый носитель;
 +  * ограниченная емкость;
 +  * более высокое энергопотребление;
 +  * тепловыделение;
 +  * производительность напрямую зависит от объема;
 +</WRAP>
 +</WRAP>