meta data for this page
  •  

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

read_more:2015_sds_review [2022/03/23 11:32] – ↷ Page moved from publications:2015_sds_review to read_more:2015_sds_review mchusread_more:2015_sds_review [2022/09/17 10:21] (current) – mchus
Line 1: Line 1:
 +====== Обзор предложений на рынке SDS. Восприятие, информированность и востребованность программно-определяемых сред. Ожидания и перспективы. ======
 +
 +
 +Москва 2015
 +
 +----
 +
 +
 +===== Обзор предложений =====
 +
 +В настоящее время на рынке представлено большое количество продуктов, позиционируемых производителями как программно-определяемые системы хранения (SDS - Software Defined Storage). Для обзора существующих предложений, необходимо ввести классификацию, которая позволит, в первую очередь, определить, относится продукт к SDS или нет, а во вторых будет содержать критерии для сравнения представленных продуктов.
 +
 +Начнем с определения, соответствующего идеальной SDS. Итак, программно-определяемая система хранения – это программное обеспечение, позволяющее использовать дисковые ресурсы стандартных вычислительных узлов (как правило серверов архитектуры x86-x64) таким образом, как это делается сейчас в традиционных системах хранения с жесткими дисками и SSD.
 +
 +Под данное определение, с некоторыми оговорками, проходит большое количество продуктов. Разделим их на группы, обладающие некоторыми характерными признаками.
 +
 +==== Классические SDS.  ====
 +
 +К данным программно-определяемым системам хранения мы относим продукты, которые изначально разрабатывались для объединения дисковых ресурсов серверов в единый пул. Обобщающим признаком для таких SDS является scale-out архитектура, позволяющая наращивать производительность и объем дисковых ресурсов путем добавления новых узлов.
 +
 +CEPH. Продукт, который изначально разрабатывался как открытая распределенная файловая система и отказоустойчивое хранилище данных. Использование протокола TCP и серверов стандартной архитектуры позволяет обеспечить низкую стоимость хранения. Scale-out архитектура и применяемые алгоритмы для распределения данных по всем узлам кластера позволяют обеспечить высокую производительность и отказоустойчивость. CEPH применяется хостинг-провайдерами, в высокопроизводительных кластерах и в других случаях, требующих большой масштабируемости, свыше Пбайт данных, надежности и производительности. Как многие продукты, разрабатываемые сообществом, для внедрения и сопровождения CEPH требует значительных трудозатрат высоко квалифицированного персонала. Поэтому его нельзя рассматривать как замену основной (general) системы хранения в корпоративном сегменте, в тоже время, продукт может с успехом использоваться в средах с типизированной нагрузкой и большими объемами данных.
 +
 +Другим продуктом, который мы можем отнести к классическим SDS, является Red Hat Storage Server. Разработанный одним из ведущих Linux-производителей на базе Red Hat Enterprise Linux, данный продукт позиционируется как решение по хранению данных для частных, публичных и гибридных облачных сред, для хранения и эффективного использования медиа-контента, а также для высокопроизводительных вычислений. Не обладая функционалом, который необходим для успешного применения для бизнес-приложений, где традиционно требуется блочный доступ, продукт обеспечивает высокую производительность для сред с большим количеством параллельных процессов ввода/вывода. Возможность гибкого масштабирования, легкой замены вышедшего из строя оборудования, а также поддержка от производителя обеспечивают надежную сохранность данных.
 +
 +EMC ScaleIO, по сравнению с другими рассматриваемыми продуктами данной категории, обладает наиболее развитыми средствами по развертыванию и управлению. Кроме этого, данный продукт может применяться не только для решения большого количества типовых задач, но и для таких бизнес-приложений как базы данных. Т.е. данный продукт не только обладает высокими производительностью и масштабируемостью, но может с успехом заменить и универсальную СХД среднего класса. Нужно отметить, что доступ к данным под управлением EMC ScaleIO можно получить только на уровне блочного устройства, используя специальный драйвер.
 +
 +^Характеристики^**CEPH**                                                                      ^**RedHat Storage**                                ^**EMC ScaleIO**                                   ^                                                                        ^
 +|Платформа     |Поддерживаемая архитектура                                                    |x86/x86-64                                        |x86/x86-64                                        |x86/x86-64                                                              |
 +|              |Поддерживаемые ОС                                                             |CentOS, Debian, Fedora, RHEL, Ubuntu              |RedHat Linux                                      |Microsoft Windows\\ Red Hat Enterprise Linux\\ CentOS Linux\\ SUSE Linux|
 +|Стоимость     |Схема лицензирования                                                          |OpenSource, Коммерческая поддержка                |За узел                                           |За сырую емкость                                                        |
 +|Защита данных |Возможность построения систем\\ с произвольной и гарантированной избыточностью|Да                                                |Нет                                               |Да                                                                      |
 +|              |Удаленная асинхронная репликация                                              |Нет                                               |Да                                                |Нет                                                                     |
 +|              |Самостоятельное восстановление                                                |Да                                                |Да                                                |Да                                                                      |
 +|              |Мгновенные снимки                                                             |Чтение                                            |Нет                                               |Чтение/Запись                                                           |
 +|              |Работа с "сырыми" дисками.                                                    |Да                                                |Нет                                               |Да                                                                      |
 +|              |Шифрование данных                                                             |Нет                                               |Нет                                               |Да                                                                      |
 +|              |Гарантированное удаление данных                                               |Нет                                               |Нет                                               |Нет                                                                     |
 +|              |Защита от удаления данных. Режим WORM                                         |Нет                                               |Да                                                |Нет                                                                     |
 +|Функционал    |Интеграция с традиционными СХД                                                |Нет                                               |Нет                                               |Нет                                                                     |
 +|              |Дедупликация                                                                  |Нет                                               |Нет                                               |Нет                                                                     |
 +|              |Сжатие                                                                        |Нет                                               |Нет                                               |Нет                                                                     |
 +|              |Flash-Cache                                                                   |Да                                                |Нет                                               |Нет                                                                     |
 +|              |Многоуровневое хранение (Tiering)                                             |Нет                                               |Нет                                               |Да                                                                      |
 +|              |Гео-рапределенные решения                                                     |Нет                                               |Нет                                               |Нет                                                                     |
 +|Интерфейс     |Объектный доступ                                                              |S3, Swift                                         |Да                                                |Нет                                                                     |
 +|              |Блочный доступ                                                                |iSCSI, собственный клиент                         |Нет                                               |Собственный клиент                                                      |
 +|              |Файловый доступ                                                               |Драйвер файловой системы для Linux. (kernel, FUSE)|Драйвер файловой системы для Linux. (kernel, FUSE)|Нет                                                                     |
 +
 +==== SDS на основе традиционных систем хранения. ====
 +
 +Такие SDS создаются путем выделения программной составляющей традиционных СХД, и адаптации ее для работы на серверах стандартной архитектуры без использования специального аппаратного обеспечения. При этом, сохраняется функционал, присущий базовой системе хранения, а также может обеспечиваться интеграция с традиционными СХД, на базе которых разработан SDS. Такой подход позволяет как воспользоваться преимуществами, предоставляемыми SDS, так и продолжать использовать существующие СХД, максимально эффективно задействовав их функционал.
 +
 +К таким SDS можно отнести NetApp Data ONTAP Edge. Данный продукт обеспечивает возможность создания центра обработки данных на базе одного сервера. Устанавливаемая виртуальная машина на платформе vmware, позволяет использовать внутренние диски сервера как систему хранения NetApp для виртуальных машин, развернутых на данном узле. Производитель NetApp Data ONTAP Edge рекомендует его к применению в удаленных офисах с передачей данных для архивации в центр на систему хранения NetApp FAS. Таким образом, обеспечивается возможность использовать хорошо зарекомендовавшие себя технологии NetApp по репликации и зеркалированию данных между SDS и традиционными СХД. Ограничениями данного решения являются невозможность объединения ресурсов нескольких серверов и работа с объемом данных до 4Тбайт.
 +
 +Другим ярким представителем SDS на основе традиционных систем хранения является решение от компании HP. HP StoreVirtual VSA на базе ОС HP Lefthand обладает богатейшим функционалом и может использоваться для создания программно-определяемых scale-out СХД. Стоит отметить такие возможности как создание уровней хранения (tearing) и автоматическое перемещение данных между ними, защита данных и отсутствие единых точек отказа благодаря технологии Network RAID, работу со всеми ведущими гипервизорами VMware vSphere, Microsoft Hyper-V и KVM. Интеграция с системами развертывания ПО и облачными сервисами, а также распространение широкого спектра услуг по поддержке HP делают данный продукт одним из наиболее универсальных. Он может применяться как в средах провайдеров услуг, так и корпоративном сегменте.
 +
 +^Характеристики    ^**DataONTAP Edge**                    ^**HP StoreVirtual VSA**^**HCP-VM (Virtual Machine)**           ^                         ^
 +|Платформа         |Поддерживаемые гипервизоры            |VMware ESXi            |ESXi, Hyper-V, KVM                     |VMware vSphere Hypervisor|
 +|Стоимость         |Схема лицензирования                  |За узел                |За узел. Ограничение по объему на узел.|За емкость               |
 +|Защита Данных     |Удаленная асинхронная репликация      |SnapMirror             |Да                                     |Да                       |
 +|                  |Мгновенные снимки                     |Чтение/Запись          |Чтение/Запись                          |Чтение/Запись            |
 +|                  |Шифрование данных                     |Нет                    |Нет                                    |Да                       |
 +|                  |Гарантированное удаление данных       |Нет                    |Нет                                    |Да                       |
 +|                  |Защита от удаления данных. Режим WORM |Нет                    |Нет                                    |Да                       |
 +|Производительность|Ограничение по масштабированию емкости|10TB                   |50 ТБ/узел, 32 узла                    |40 узлов, 4,7ПБ          |
 +|                  |QoS                                   |Нет                    |                                       |Да                       |
 +|Функционал        |Дедупликация                          |Да                     |Нет                                    |Да                       |
 +|                  |Сжатие                                |Да                     |Нет                                    |Да                       |
 +|                  |Многоуровневое хранение (Tiering)     |Нет                    |Да                                     |Да                       |
 +|                  |Гео-распределённые решения            |Да                     |Да                                     |Да                       |
 +|Интерфейс         |Объектный доступ                      |Нет                    |Нет                                    |S3, Swift                |
 +|                  |Блочный доступ                        |iSCSI                  |iSCSI                                  |Нет                      |
 +|                  |Файловый доступ                       |CIFS, NFS              |Нет                                    |HTTP, SMB, NFS, WebDAV   |
 +
 +==== SDS в составе вычислительных комплексов ====
 +
 +Данные SDS позволяют совместить функцию виртуализации вычислительных ресурсов и виртуализацию хранения. Сервера, выступающие хост-машинами для виртуальной среды оснащаются жесткими дисками, которые объединяются в SDS с помощью специализированного модуля гипервизора.
 +
 +Класс решений, совмещающих «все-в-одном» обеспечивает гибкость и простоту масштабирования вычислительного комплекса и экономию на выделенной СХД. Вычислительными ресурсами необходимыми для обработки запросов на хранения, систему обеспечивает хост-сервер.
 +
 +Внедрив данные решения заказчик может трансформировать свою инфраструктуру в Software Defined Datacenter, добившись полной независимости от аппаратной конфигурации оборудования.
 +
 +^Характеристики    ^**Vmware vSAN**                                                               ^**Nutanix**                                              ^                                                             ^
 +|Платформа         |Поддерживаемая архитектура                                                    |x86/x86-64                                               |Собственная x86 "все-в-одном" и сертифицированные сервера x86|
 +|                  |Поддерживаемые гипервизоры                                                    |VMware ESXi                                              |ESXi, Hyper-V, KVM                                           |
 +|Стоимость         |Возможность использования общедоступных компонент                             |Да                                                       |Нет. Обязательно наличие коммутаторов с низкими задержкам    |
 +|                  |Схема лицензирования                                                          |за CPU на сервере. или для VDI за пользователя           |За узел                                                      |
 +|Защита данных     |Возможность построения систем\\ с произвольной и гарантированной избыточностью|Да                                                       |Да                                                           |
 +|                  |Удаленная асинхронная репликация                                              |Нет                                                      |Да                                                           |
 +|                  |Мгновенные снимки                                                             |Нет                                                      |Чтение/Запись                                                |
 +|                  |Шифрование данных                                                             |Нет                                                      |Да                                                           |
 +|                  |Гарантированное удаление данных                                               |Нет                                                      |Да                                                           |
 +|Производительность|Автоматическая балансировка нагрузки между узлами                             |Да                                                       |Миграция данных "в след за нагрузкой" в локальном кластере.  |
 +|                  |Ограничение по масштабированию емкости                                        |32 узла в кластер.                                       |Не ограниченный объем                                        |
 +|                  |Линейное масштабирование производительности                                   |Да                                                       |Да                                                           |
 +|                  |QoS                                                                           |Средствами VMware                                        |Да                                                           |
 +|Функционал        |Дедупликация                                                                  |Нет                                                      |Да                                                           |
 +|                  |Сжатие                                                                        |Да                                                       |Да                                                           |
 +|                  |Flash-Cache                                                                   |Да, обязательное требование - наличие.                   |Да                                                           |
 +|                  |Многоуровневое хранение (Tiering)                                             |Нет                                                      |Да                                                           |
 +|Интерфейс         |Объектный доступ                                                              |Собственный интерфейс только для виртуальных машин vmware|Нет                                                          |
 +|                  |Блочный доступ                                                                |нет                                                      |iSCSI                                                        |
 +|                  |Файловый доступ                                                               |нет                                                      |NFS                                                          |
 +
 +==== Программно-аппаратные комплексы ====
 +
 +Данные решения как правило предлагаются как законченный комплекс, включающий в себя оборудование и программное обеспечение системы хранения. Данные решения обладают большей надежностью и расширенной технической поддержкой производителя, они заранее протестированы на совместимость и работают стабильно.
 +
 +Как правило данные системы служат трем основным целям:
 +
 +  * Продление жизни существующих СХД, путем виртуализации их ёмкости. Виртуализовав свои системы хранения данных заказчик абстрагируется от аппаратных компонент и может прозрачно для приложения производить обслуживание, миграцию и расширение емкости путем добавление новых систем. Такие решения позволяют объединять небольшие системы хранения для увеличения объема, производительности и отказоустойчивости.
 +  * Расширение функционала существующих СХД. Как правило система SDS обладает более широким спектром возможностей и позволяет работать с большинством аппаратных платформ. Системы дополняют существующие системы или системы низкого уровня богатым набором функций.
 +  * Создание единого пула ресурсов хранения. Единый пул позволяет повысить эффективность хранения, путем создания уровней хранения данных с автоматической миграцией, а также упрощает управление и мониторинг.
 +
 +^Характеристики    ^**IBM SVC**                                      ^**HP StoreVirtual**                  ^**HITACHI CONTENT PLATFORM**        ^                                                      ^
 +|Платформа         |Поддерживаемая архитектура                       |Стандартный сервер IBM на базе x86-64|Стандартный сервер HP на базе x86-64|Стандартный сервер Hitachi Data Systems на базе x86-64|
 +|Защита данных     |Удаленная асинхронная репликация                 |Да                                   |Да                                  |да                                                    |
 +|                  |Мгновенные снимки                                |Чтение/Запись                        |Чтение/Запись                       |Чтение/Запись                                         |
 +|                  |Шифрование данных                                |Нет                                  |Нет                                 |Да                                                    |
 +|                  |Гарантированное удаление данных                  |Нет                                  |Нет                                 |Да                                                    |
 +|                  |Защита от удаления данных. Режим WORM            |Нет                                  |Нет                                 |Да                                                    |
 +|Производительность|Автоматическая балансировка нагрузки между узлами|Да                                   |Нет                                 |Миграция данных "в след за нагрузкой" в гео-кластере  |
 +|                  |Ограничение по масштабированию емкости           |32 ПБ. 8 узлов                       |32 узла                             |80ПБ, 80 узлов                                        |
 +|                  |Линейное масштабирование производительности      |Да                                   |Да                                  |Да                                                    |
 +|                  |QoS                                              |Да                                   |Нет                                 |Да                                                    |
 +|Функционал        |Интеграция с традиционными СХД                   |Да, IBM Storwzie                     |Нет                                 |Интеграция с СХД Hitachi HUS, VSP, HNAS.              |
 +|                  |Дедупликация                                     |Нет                                  |Нет                                 |да                                                    |
 +|                  |Сжатие                                           |Да                                   |Нет                                 |да                                                    |
 +|                  |Многоуровневое хранение (Tiering)                |Да                                   |Да                                  |Да                                                    |
 +|                  |Гео-рапределенные решения                        |Да                                   |Да                                  |Да                                                    |
 +|Интерфейс         |Объектный доступ                                 |Нет                                  |Нет                                 |S3, Swift                                             |
 +|                  |Блочный доступ                                   |iSCSI, FC, FCoE                      |FC, iSCSI                           |Нет                                                   |
 +|                  |Файловый доступ                                  |Нет                                  |CIFS, NFS, HTTP, FTP                |HTTP, SMB, NFS, WebDAV                                |
 +
 +===== Восприятие, информированность и востребованность программно-определяемых сред. =====
 +
 +Основными предпосылками к переходу на SDS для заказчиков являются:
 +
 +  * Высокая стоимость аппаратных СХД по сравнению со стоимостью серверов широкого потребления
 +  * Централизация основных функций в ограниченном числе контроллеров СХД и ограничения по масштабированию систем.
 +
 +Как раньше считалось, что параллельные файловые системы предназначены для интернет-компаний или научных организаций, так и сейчас подобное отношение переносится на SDS. Между тем, ряд продуктов обладает большим функционалом сочетающимся с проработанными механизмами развертывания и удобным пользовательским интерфейсом. Это делает SDS хорошим выбором не только компаний чей бизнес основан на ИТ, но для корпораций, которые являются потребителями традиционных СХД.
 +
 +Клиенты относят к основным преимуществам решений SDS прежде всего низкую стоимость владения, которая может непредсказуемо увеличиться за счет роста затрат на поддержание работы системы в случае уникальных решений и непредсказуемой надежности аппаратных ресурсов.
 +
 +Заказчикам в основном известны решения от именитых производителей, предлагающих SDS совместно с каким-либо хорошо зарекомендовавшим себя продуктом, например:
 +
 +  * HP StoreVirtual VSA предлагается вместе с широко известной и хорошо зарекомендовавшей себя аппаратной версией HP LeftHand p4000
 +  * DataONTAP Edge предлагается для использования в территориально удаленных офисах для организации резервирования данных в центр
 +
 +Некоторые производители заранее встраивают решения SDS в свои успешные продукты, избавляя заказчика и интегратора от необходимости проектирования и разработки собственных решений, например:
 +
 +  * VMware VSAN предлагается вместе с vSphere для хранения виртуальных машин.
 +  * Nutanix включает в себя собственный модуль хранения - NDFS и выступает как законченное решение по виртуализации.
 +  * Компания RedHat включила в свой портфель продуктов opensource разработку GlusterFS под именем RedHat Storage, обеспечив коммерческой поддержкой.
 +
 +==== Задачи ====
 +
 +Решения SDS сегодня востребованы прежде всего в областях, где необходимо добиться минимальной цены за емкость путем использования либо существующего парка устаревших серверов либо приобретения дешевого оборудования. Основными задачами, эффективно решаемыми с помощью SDS, являются:
 +
 +  * Хранение резервных копий или архивов
 +  * Среды разработки и тестирования
 +  * Облачные вычисления и хостинг
 +
 +При этом, некоторые SDS уже могут применяться для решения более широкого спектра задач, таких как:
 +
 +  * Создание программно-определяемых центров обработки данных.
 +  * Объединение существующих аппаратных ресурсов в единую систему хранения для повышения гибкости и отказоустойчивости.
 +  * Создание модульных вычислительных сред на базе идентичных многофункциональных узлов.
 +  * Расширение функционала существующих систем хранения данных. Объединение нескольких систем хранения данных в единый пул ресурсов.
 +  * Создание уникальных решений с высоким уровнем отказоустойчивости, производительности и эффективности.
 +
 +===== Ожидания и перспективы. =====
 +
 +Внедряя SDS заказчики ожидают следующей трансформации своей инфраструктуры:
 +
 +Снижение стоимости – возможность экономии в сложившейся сложной ситуации на рынке.
 +
 +Повышение производительности – возможность построения высокопроизводительных систем, без необходимости покупки СХД класса Hi-End
 +
 +Расширения функционала – получение функционала, традиционно предоставляемого СХД, для решений, в которых применение реальных СХД экономически нецелесообразно.
 +
 +При этом от программно-определяемых систем хранения данных большинство ожидает следующие положительные характеристики:
 +
 +Гибкость (flexibility) - благодаря поддержке большинства распространенных аппаратных платформ системы SDS позволяют практически мгновенно добавлять или заменять узлы хранения, без привязки к производителю оборудования, форм-фактору решений. Срок разработки нового функционала в программно-определяемых системах хранения заметно ниже чем срок требуемый для создания новой аппаратной платформы, поддерживающей требуемый функционал.
 +
 +Виртуализация ресурсов (Resource Virtualization) - Функционал системы не привязан к аппаратным компонентам, данная особенность позволяет гибкость замены и обслуживания компонентов без остановки работы системы, облегчить обслуживание и снизить затраты на управления разрозненной инфраструктурой. Возможность совмещения программно-определяемых подсистем хранения с подсистемами виртуализации вычисления и сети позволяют повысить утилизацию ресурсов.
 +
 +Интерфейс программирования (APIs) - программно-определяемые системы хранения предоставляют широкий функционал и большой набор интерфейсов взаимодействия со смежными системами, позволяя создавать законченные решения, автоматизировать рутинные процессы снизив риск ошибки и сократив затраты.
 +
 +Удобство управления (Ease of Management) - SDS представляет пользователю единую точку входа для управления всей подсистемой хранения, исключая необходимость настройки отдельных компонент.
 +
 +Замена компонент (Component Replacement) - программно-определяемые среды позволяют абстрагироваться от аппаратных ресурсов и производить замену, миграцию и обслуживание компонент практически без влияния на производительность и без прекращения сервиса.