Лицензирование Huawei SmartDedupe & SmartCompression

Системы хранения данных Huawei Dorado серии 3000 и выше обладают функционалом дедупликации и компрессии данных. Младшая модель линейки - OceanStor Dorado 2000 поддерживает только функционал SmartCompression. ¹⁾

Дедупликация позволяет оптимизировать использование дискового пространства и износ твердотельных накопителей за счет уменьшения объемов данных, записываемых непосредственно на диск. Система поддерживает два режима дедупликации:

• Inline Deduplication - поиск дублирующийся блоков производится “на лету” перед записью данных на диск.
• Offline (Similarity) Deduplication - при поступлении данных производится быстрый расчет “отпечатка” данных ²⁾, затем в фоне выполняется дедупликация.
• Adaptive deduplication policy - данный режим не является отдельным алгоритмом дедупликации и позволяет на основе поверхностного анализа поступающих данных принять решение о применении одного из двух механизмов дедупликации.

Пользователю позволено принудительно указать режим дедупликации для отдельного дискового домена командой:

#Вход в режим "разработчика"
change user_mode current_mode user_mode=developer
#Изменение режима дедупликации в рамках дискового домена
change disk_domain general disk_domain_id=? dedup_method=inline/offline

Механизм Similarity Deduplication представляет собой доработанный механизм фоновой дедупликации. Преимущество данного продукта перед обыкновенной дедупликацией по требованию уже записанных данных заключается в том, что в момент первичной записи система рассчитывает нечеткий хэш поступающих данных и сохраняет данные значения в таблицу потенциальных дубликатов. После расчета хэша данные сжимаются и записываются на накопители.

В фоновом режиме происходит проверка и поиск совпадений по таблице потенциальных дубликатов. В случае если найден потенциальный дубликат - система производит побайтовое сравнение двух блоков и при полном совпадении дубликат отбрасывается.

В случае если два блока оказываются похожими но не совпадающими система удаляет “похожий” блок не полностью, сохраняя только отличия от оригинала. Таким образом данный “патч” занимает только небольшой объем памяти и может быть использован для воссоздания оригинальных данных при чтении.

Производитель предлагает несколько режимов лицензирования функционала. Описание представлено с точки зрения составления спецификаций.

В данном режиме лицензируется полезная дисковая емкость системы. Пользователь не сможет разместить на СХД данных больше чем указано в лицензии.

Конфигуратор предлагает автоматический расчет примерной полезной емкости на основе типа нагрузки, планируемого уровня RAID и HotSpare.

Данная модель лицензирования характеризуется следующими позициями в спецификации:

"D5V6-LBS-C-General" Capacity License (per TiB Effective Capacity,Including SmartDedupe&SmartCompression)

Данный режим позволяет лицензировать дедупликацию по “сырой” емкости СХД без указания типа нагрузки или планирования итогового полезного объема.

Для квотирования необходимо выбрать одну из четырех моделей лицензирования дедупликации: General, Standard, Enhanced. Выбор модели лицензирования влияет на эффективность работы дедупликации.

При работе с системой записываемые данные уменьшаются до коэффициента указанного в модели лицензирования, затем дедупликация выключается. Алгоритмы дедупликации всегда используются одинаковые, вне зависимости от типа лицензии.

Модель General edition (Per Set) - представляет собой вариант модели Generall Edition (per TB) без ограничения по сырому объему и поставляется как одна лицензия на всю систему. В случае указания данной модели лицензирования суммарный коэффициент дедупликации на систему не может превышать указанных ниже значений. При добавлении дисков дополнительная закупка лицензий на дедупликацию не требуется.

Примерные коэффициенты дедупликаци приведены ниже: ³⁾

• General edition (Per Set, no capacity limit)
  • Deduplication and compression ratio (SAN) ≤ 2.0;
  • Deduplication and compression ratio (NAS) ≤ 2.0;
• General edition (per TB)
  • Deduplication and compression ratio (SAN) ≤ 2.0;
  • Deduplication and compression ratio (NAS) ≤ 2.0;
• Standard edition (per TB)
  • Deduplication and compression ratio (SAN) ≥ 2.5 ≤ 3.4;
  • Deduplication and compression ratio (NAS) ≤ 2.0;
• Enhanced edition (per TB)
  • Deduplication and compression ratio (SAN) ≥ 3.5 ≤ 4.1;
  • Deduplication and compression ratio (NAS) ≤ 2.0;

Данная модель лицензирования отражается в спецификации следующими позициями:

В данном режиме функционал сжатия и дедупликации не активируется. Никаких партномеров не добавляет.