Файловый контроллер Hitachi NAS

Системы хранения данных Hitachi Network Attached Storage (HNAS) являются интегрированными решениями, подключаемыми непосредственно к локальной вычислительной сети организации и предоставляющими серверам и рабочим станциям пользователей доступ к файловым данным по протоколам файлового доступа CIFS и NFS, а также к дисковым ресурсам по протоколу блочного доступа iSCSI.

Система обеспечивает бесперебойную работу большого числа пользователей и может быть использована для как хранения документов и программ, так и одновременно для хранения данных различных приложений, таких как Microsoft Exchange Server, SQL Server, SharePoint, Oracle и других. Возможности динамического выделения пространства и иерархического хранения данных дают пользователям ощутимый прирост производительности при хранении и доступе к информации, а также при резервном копировании и восстановлении данных.

Основные возможности системы

Системы файлового доступа Hitachi построены на базе собственной специализированной аппаратной платформы, главными компонентами которой являются программируемые логические интегральные схемы (ПЛИС или FPGA). В основе базовой архитектуры систем лежит идеология переноса большинства функций, выполняемых файловым сервером, на аппаратный уровень (чипы и специализированные устройства), что обеспечивает повышение производительности.

Системы хранения HNAS объединяются в кластер от одного до восьми узлов, в зависимости от модели. В состав решения может входить дисковый массив с блочным доступом по протоколу Fibre Channel. Поддерживаются системы хранения данных следующих моделей:Hitachi AMS 2000, HUS 100, HUS VM, VSP, USP V. Возможно увеличение числа узлов кластера, числа дисков, добавление дополнительных систем хранения данных. Таким образом, производительность и объемы для хранения информации могут расти в соответствии с требованиями без прекращения доступа к данным.

Все системы работают под управлением специализированной, оптимизированной под задачи файлового хранения, операционной системы HNAS OS и обладают следующим набором функциональных возможностей:

  • Одновременная поддержка протоколов: SMB/CIFS, NFS, FTP для Windows и Linux/UNIX-клиентов;
  • Предоставление блочного доступа к дисковым ресурсам различным приложениям по сети Ethernet, используя протокол iSCSI;
  • Эффективное использование дисковых ресурсов за счет применения технологии тонкого выделения ресурсов (Thin Provisioning), регламентирования выделения дисковых ресурсов пользователям и т.п.;
  • Дедупликация файловых данных, т.е. хранение только уникальных блоков данных на системе хранения, что позволяет крайне эффективно использовать дисковое пространство;
  • Защита данных с использованием технологии связанных копий - snapshot (1024 на файловую систему). При этом пользователи могут сами восстанавливать нужные им файлы из копий используя стандартный интерфейс, не обращаясь к администратору системы хранения;
  • Репликация данных - NAS Replication, позволяет реплицировать только изменившиеся данные (так называемые инкрементальные копии) через низкоскоростные WAN сети;
  • Создание консистентных мгновенных копий данных приложений Microsoft SQL, Exchange, SharePoint за счет интеграции с VSS при помощи специализированного программного продукта Hitachi Application Protector;
  • Наращивание производительности добавлением дополнительных узлов без прерывания доступа к данным;
  • Наращивание объема хранимой информации от терабайт до 32 петабайт добавлением дисков в блочную часть решения;
  • Распределение данных по большому количеству дисковых носителей, что обеспечивает высокий уровень производительности;
  • Единый графический интерфейс для мониторинга и управления HNAS и другими системами хранения данных производства HDS;
  • Автоматическая миграция файлов в соответствии с заданными политиками между различными уровнями, например между файловыми системами на SAS и SATA дисках, что позволяет увеличить экономическую эффективность хранения информации;
  • Глубокая интеграция с Hitachi Content Platform c возможностью автоматического перемещения наименее востребованных данных в активные архивы;
  • Возможность практически мгновенного создания клонов любых файлов. Клоны не занимают дополнительное место в момент создания и не снижают производительности.

Примеры практического использования платформы HNAS

Высокий уровень быстродействия, возможность масштабирования системы в соответствии с ростом требований, а также богатый программный функционал делают HNAS идеальным выбором широкого спектра задач.

Виртуализация серверов на VMware и решения VDI

Эффективным решением является использование HNAS для сред VMware с доступом по протоколу NFS.

По сравнению с реализациями с использованием блочного доступа, использование HNAS и NFS гарантирует простоту развертывания и большие возможности для роста объемов хранения – возможность расширения хранилища до 32 ПБ и консолидации нескольких систем хранения.

Механизм мгновенных копий (snapshot) и функционал Virtual Infrastructure Integrator (V2I) предоставляет широкие возможности по резервному копированию и восстановлению виртуальных машин, при этом обеспечивая экономию пространства и высокое быстродействие.

Использование FileClone дает возможность практически моментально создавать клоны виртуальных машин. Решения на основе HNAS легко масштабируются и дают возможность обеспечить необходимую производительность системы в соответствии с требованиями.

Консолидация большого числа файловых серверов на одну систему

Стандартный подход к организации файловых серверов на платформе Windows влечет за собой появление нескольких неизбежных трудностей:

  • Большим количеством ресурсов сложно управлять,
  • Модернизация всех серверов требует больших вложений.
  • Зачастую присутствует дисбаланс в производительности, когда на одной группе серверов дисковые и процессорные ресурсы практически не используются, а на других серверах наблюдается дефицит свободных ресурсов.
  • Распределенную файловую структуру сложно резервировать, архивировать и защищать.

Консолидация многочисленных файловых ресурсов на платформе HNAS позволяет обеспечить эффективное и высоконадежное хранение данных:

  • Системы HNAS поддерживают авторизацию пользователей через Active Directory, протоколами Kerberos и LDAP, могут управляться с помощью стандартного инструментария Microsoft Management Console (MMC) и интегрированы с MS Volume Shadow Copy.
  • Защита данных обеспечивается мгновенными связаными копиями томов (snapshot) на аппаратном уровне (доступными через VSS), эффективными технологиями репликации и возможностью резервного копирования с использованием протокола NDMP.
  • Data Migrator позволяет создать единую платформу хранения и управлять жизненным циклом файловых данных на базе систем HNAS и специализированных хранилищ Hitachi Content Platform.
  • Технологии динамического выделения пространства и дедупликации данных обеспечивают эффективное использование ресурсов хранения.

Высокопроизводительные вычисления с обработкой больших объемов информации

Современные вычислительные задачи, которые так или иначе появляются в любой промышленной отрасли, очень требовательны к аппаратным и программным ресурсам. Геологическая разведка, метеорология, картографические службы и многие другие вынуждены оперировать с огромными объемами данных. Платформа HNAS идеально подходит для высокопроизводительных вычислений с обработкой больших информационных потоков. Система способна обеспечить высокое быстродействие для последовательных и случайных нагрузок - производительность кластера из 8 узлов составляет более 1 млн IOPS, легко масштабируется в пределах одной платформы – до 32 ПБ емкости с размером файловой системы до 256 ТБ. Технологии репликации, функционал мгновенных снимков и интеграция с операционными системами и приложениями гарантируют высокую надежность и доступность решений, построенных на платформе HNAS.

Хранение и обработка медиа-содержимого

Задачи по обработке и хранению медиа-содержимого, многочисленных потоков аудио- и видео-данных требуют большого количества ресурсов: высокой пропускной способности, большого количества IOPS. При этом требования к быстродействию могут очень динамично изменяться. Рутинные операции вроде ручного перемещения файлов между различными уровнями хранения и медленный рендеринг из-за недостатка производительности системы могут значительно замедлять творческие процессы. Платформа HNAS способна обеспечить высокую пропускную способность и производительность, легкое масштабирование системы хранения в целом и отдельных файловых систем, автоматизированное перемещение объектов между уровнями хранения на базе политик и возможность одновременного доступа к данным по протоколам CIFS и NFS с большого числа серверов. Использование технологии Thin Provisioning обеспечивает экономию дискового пространства.

Microsoft SharePoint

Платформа MS SharePoint является популярным продуктом для организации хранения и совместной работы с документами, однако, быстрый рост количества документов вызывает разрастание баз данных MS SQL Server, которые обычно расположены на быстрых, и, следовательно, дорогих дисках. С ростом размера базы данных могут возникать проблемы с производительностью, что потребует дополнительных аппаратных ресурсов для удовлетворения растущих потребностей. С помощью продукта Hitachi Storage Optimization for SharePoint (ранее известный как Hitachi Data Discovery for SharePoint) возможен перенос файловых данных на HNAS, при этом в базе данных остается ссылка на файл. Это существенно улучшает масштабируемость ферм SharePoint, упрощает администрирование платформы, так как уменьшается число обслуживаемых ресурсов MS SQL, и существенно экономит место на дорогих дисковых носителях.

Решение по резервированию Hitachi Data Systems NAS

Общая информация

Система обеспечения дискового доступа HNAS поддерживает следующие возможности обеспечения защиты данных:

  • Обеспечение целостности файловой системы на физическом уровне
  • Мгновенные снимки
  • Поддержка технологии NDMP
  • Репликация данных и катастрофоустойчивые решения
  • Перенос доступа к данным
  • Антивирусная проверка

Для организации отказоустойчивого решения, обеспечивающего доступность данных даже в случае выхода из строя всего вычислительного центра, рекомендуется использовать технологии репликации данных и построения катастрофоустойчивого решения на базе системы HNAS. Для этого необходимо использование как минимум двух систем, расположенных в главном (ГВЦ) и резервном (РВЦ) вычислительных центрах.

Использование такого решения позволяет:

  • Минимизировать потерю информации в случае выхода из строя ГВЦ;
  • Сократить время восстановления работоспособности.

Репликация данных

Hitachi-NAS поддерживает два основных метода реализации репликации данных:

1. IDR – Intelligent Data Replication (Репликация на файловом уровне).

При использовании данной технологии репликации происходит копирование структур файловой системы, таких как: директории, файлы и метаданных. В процессе выполнения репликации, для определения устаревших данных производится изъятие и анализ метаданных, что требует больших затрат производительности. Данный тип репликации рекомендуется использовать только, когда размер файлов не превышает нескольких килобайт или в ситуациях, когда файлы меняются полностью. Из преимуществ данной технологии можно отметить возможность организации репликации выбранных директорий.

2. IBR – Incremental Block Replication (Репликация на блочном уровне)

Данная технология подразумевает репликацию блоков данных, вне зависимости от файловой структуры. Использование технологии блочной репликации возможно только для файловой системы целиком. Процесс выполнения репликации основан на мгновенных снимках файловой системы. Основными преимуществами данной технологии являются:

  • Более высокая производительность, чем у репликации на файловом уровне
  • Быстрое восстановление после сбоя
  • Отсутствие необходимости проведения полной синхронизации после восстановления работоспособности

Решение по обеспечению отказоустойчивости оборудования

В целях организации отказоустойчивого решения системы предоставления файлового доступа HDS HNAS предлагается разместить две системы одну в главном вычислительном центре, вторую в резервном. Для синхронизации данных предлагается использовать технологию блочной репликации Incremental Block Replication, в связи с большей производительностью и меньшим временем восстановления по сравнению с репликацией на уровне файлов.

В качестве канала репликации предлагается использовать Ethernet.

Характеристики систем HNAS
3080 3090 4060 4080 4100
Кол-во узлов в кластере До 2 узлов До 4 узлов До 2 узлов До 4 узлов До 8 узлов
(До 8 узлов*)
Производительность 40,137 / 95,757 / 72,000 / 106,000 / 145,000 /
IOPS (1 узел/2 узла) 80,279 189,994 140 207 283
Пропускная способность (1 узел) До 700 MБ/c До 1200 MБ/c До 1000 MБ/c До 1500 MБ/c До 2000 MБ/c
Дедубликация Аппаратная Аппаратная Аппаратная Аппаратная Аппаратная
Макс. емкость 4 ПБ 8 ПБ 8 ПБ 16 ПБ 32 ПБ
Макс. размер файловой системы 256 ТБ 256 ТБ 256 ТБ 256 ТБ 256 ТБ
(512 ТБ*) (1 ПБ*)
Макс. кол-во объектов в папке 16 млн 16 млн 16 млн 16 млн 16 млн
Макс. кол-во 15000 45000 60000 60000 60000
подключений на узел
Макс. кол-во открытых 22000 90000 221000 221000 474000
файлов на узел
Кол-во кэш-памяти на узел 32 ГБ 32 ГБ 46 ГБ 46 ГБ 108 ГБ
Многоуровневое хранение Да Да Да Да Да
Единое пространство имен Да Да Да Да Да