====== 2022-10-15 Каким образом резервное копирование на дисковые системы хранения может конкурировать с ленточными библиотеками? ====== {{tag>backup d2d2t deduplication tape_library}} Устройства хранения резервных копий на базе ленточных накопителей до сих пор пользуются большой популярностью в виду следующих преимуществ: * Низкая стоимость владения; * Отчуждаемые носители; * Высокая производительность; * Высокая плотность хранения; * Отдельный тип носителей для выполнения правила 3-2-1 ((3 копии на 2 типах носителей и одна вне площадки)); Еще несколько лет назад использование дисковых устройств хранения данных сводилось к организации подхода к резервному копированию D2D2T ((Disk to Disk to Tape)). Инкрементальные копии, например за последнюю неделю в данном подходе предлагается располагать на дисковой системе хранения или использовать её по мере заполнения, а долгосрочные копии хранить только на ленточной библиотеке. Современные ИТ проекты строятся больше по подходу дисковых хранилищ резервных копий без использования ленточных библиотек вовсе. Какие события предшествовали данной трансформации? ===== Новые программы резервного копирования ===== Одним из первых сигналов к переходу на дисковые хранилища стоит отметить появление систем резервного копирования "новой волны". Такие продукты, как например Veeam Backup изначально не поддерживали ленточные библиотеки вовсе, а лидирующее положение на рынке резервного копирования виртуальных сред VMware в своё время заставило администраторов прислушиваться и соглашаться с подходом, который предлагал Veeam в контексте хранения копий. Поддержка ленточных накопителей в Veeam появилась в версии V7, при этом ленты не могут являться первым хранилищем резервных копий поддерживается только D2D2T режим. Современные системы резервного копирования предлагают множество функций которые архитектурно не совместимы с устройствами хранения с последовательным доступом: * Запуск виртуальной машины непосредственно из резервной копии и монтирование копии к серверу для восстановления копированием; * Режим копирования Incremental Forever и Syntetic Full Backup которые позволяют избавиться от необходимости переодически выполнять полное копирование клиента; ===== Развитие технологий дедупликации ===== Развитие инженерной мысли в области дедуплицирования данных, применение таких функций как дедупликация с плавающим курсором и изменяемый блок дедупликации позволили существенно улучшить эффективность данного механизма и проложить дорогу сначала в сегмент резервного копирования а в последствии и в основные системы хранения данных. Дедупликация начала появляться в ПО резервного копирования, были разработаны специализированные системы хранения резервных копий с функционалом дедупликации данных. Была представлена технология распределенной дедупликации, которая включает в себя: * Хэширование данных на стороне клиента с последующей передачей только уникальных данных (чаще известная как дедупликация на стороне клиента); * Репликация только уникальных блоков между системами хранения резервных копий (чаще известная именно как распределенная дедупликация). Дедупликация очень редко применяется на ленточных накопителях именно ввиду нелинейного доступа к данным, не смотря на то, что существуют программные продукты которые поддерживают данный функционал его использование совместно с лентами не рекомендуется. Движки дедупликации грубо можно разделить на два вида: - Одни работают очень медленно, тратят много ресурсов процессора, оперативной памяти и при этом достигают низких показателей эффективности. Например сюда можно отнести все файловые системы с контролем целостности ((например BTRFS и ZFS)), который побочно может быть использован для сохранения данных только с уникальными контрольными суммами. - Вторые совершенно магическим образом обеспечивают в десятки раз лучшие показатели и не столь требованы к ресурсам. В маркетинговых материалах производителей утверждается большая эффективность достигается именно за счет блоков дедупликации переменной длинны а сокращение использования ресурсов - ноу хау каждого отдельного решения, которое держится в секрете. Применение дедупликации вносит неоценимый вклад в процесс резервного копирования. Ниже представлен график из [[read_more:open_source_backup|статьи про сравнение свободных механизмов дедупликации]]. В строке ''RAW'' отмечена ёмкость которую занимает резервная копия без какого либо сжатия. {{:blog:2022:10:15:20221015-201154.png}} ===== Резервное копирование на дисковые массивы ====== В качестве назначения резервного копирования может быть использован обычный дисковый массив без какого либо дополнительного функционала. Вся нагрузка на оптимизацию хранения в данном случае ложится на программное обеспечение. Данный подход по сравнению с использованием ленточных накопителей обладает следующими преимуществами и недостатками: * более высокая скорость поиска данных; * меньшее время до начала востановления; * больший ассортимент устройств хранения данных, включая серверы с дисками; * запуск виртуальной машины из резервной копии; * не соблюдается рекомендация 3-2-1; * не отчуждаемый носитель; * ограниченная емкость; * более высокое энергопотребление; * тепловыделение; * производительность напрямую зависит от объема;