meta data for this page
  •  

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
read_more:2015_zadara [2022/03/23 11:32] – ↷ Page moved from publications:2015_zadara to read_more:2015_zadara mchusread_more:2015_zadara [2022/09/17 10:22] (current) mchus
Line 1: Line 1:
 +====== Тестирование программно-определяемой СХД - Zadara VPSA ======
  
 +{{tag> lanit}}
 +===== Архитектура системы =====
 +
 +Компоненты системы хранения данных можно грубо разделить на следующие группы:
 +
 +  * Модуль самообслуживания;
 +  * Модуль администрирования системы;
 +  * Модуль виртуальной СХД;
 +  * Гипервизор;
 +  * Набор ресурсов (CPU, MEM, HDD, Network).
 +
 +Грубо архитектуру системы можно представить в виде частного облака на базе OpenStack, предоставляющего только виртуальные машины с функционалом СХД. Так-же как и в частном облаке в системе есть портал самоослуживания, через который пользователь создает виртуальную машину (виртуальную СХД).
 +
 +Виртуальная СХД (VPSA) представляет собой две виртуальные машины, являющиеся логическими контроллерами СХД. VPSA при создании резервирует необходимые ресурсы: vCPU, vMEM, HDD;
 +
 +Сопоставление ресурсов традиционной СХД и VPSA можно представить следующим образом:
 +
 +^Ресурс                                                ^Традиционная СХД                               ^VPSA                                                                                                       ^
 +|**Контроллер**                                        |Выделенный сервер архитектуры x86              |Виртуальная машина                                                                                         |
 +|**Устройство обработки I/O**                          |Процессор x86, реже специализированный чип ASIC|Виртуальный процессор vCPU                                                                                 |
 +|**Кэш-память ОС СХД**                                 |Оперативная память контроллера                 |Выделенный объем виртуальной оперативной памяти vRAM                                                       |
 +|**Кэш-память данных**                                 |Оперативная память контроллера                 |Выделенный объем виртуальной оперативной памяти vRAM и выделенные SSD диски, установленные в сервера фермы.|
 +|**Носитель информации**                               |Выделенные жесткие диски                       |Выделенные жесткие диски                                                                                   |
 +|**Интерфейс подключения жёстких дисков к контроллеру**|Непосредственное подключение по SAS            |Коммутируемое высокоскоростное подключение к виртуальной машине контроллеру по iSCSI с RDMA                |
 +|**Расположение носителей информации**                 |Дисковые полки системы                         |Сервера фермы                                                                                              |
 +
 +Виртуальная СХД ни чем не отличается от традиционных систем класса Midrange, жесткие диски объединяются в RAID-группы, для обеспечения отказоустойчивости, группы объединяются в pool для повышения производительности и объема. Логические тома, созданные в пуле, презентуются серверам по протоколам файлового и блочного доступа.
 +
 +Система предоставляет пользователям возможность создавать VPSA следующей конфигурации:
 +
 +^**Название**^**CPUs**^**RAM**^**Максимальное число дисков**^
 +|200         |2       |4      |5                            |
 +|400         |4       |8      |10                           |
 +|600         |6       |16     |20                           |
 +|800         |8       |24     |40                           |
 +|1000        |10      |32     |80                           |
 +|1200        |12      |48     |80                           |
 +|1600        |16      |64     |80                           |
 +
 +===== Технологии обеспечения отказоустойчивости =====
 +
 +Система обладает следующими архитектурными решениями по резервированию:
 +
 +Контроллеры VPSA представляют собой виртуальные машины, размещенные в частном облаке OpenStack. Виртуальные контроллеры имеют архитектуру Active / Standby. В каждый момент времени один контроллер является рабочим, второй – запасным. Переключение занимает от 20 (результат тестирования) до 60 секунд (заявление производителя). Так как контроллер подключается к дискам по коммутируемому протоколу iSCSI с RDMA - снимется ограничение на расположение самой виртуальной машины контроллера. Машина может быть перенесена на любой из серверов фермы СХД.
 +
 +Для защиты от выхода из строя стойки, машзала или ЦОД в рамках синхронной репликации существует возможность расположить контроллеры активный и резервный на разных площадках, подключив диски таким образом, что каждая площадка будет иметь свою копию данных и в случае прерывания работы – сможет продолжить предоставление дискового ресурса, автоматически проведя переключение.
 +
 +Как и традиционные СХД VPSA обладает стандартным функционалом внутрисистемной и внешней репликации:
 +
 +  * **Мгновенные снимки и клоны** без ограничения количества. Обеспечивают функционал Near-CDP (близкая к постоянной защита данных), мгновенные снимки могут создаваться раз в минуту. Поддерживается монтирование снимков на запись. Присутствует интеграция с VSS.
 +  * **Локальное и удаленное зеркалирование** (репликация) логических томов. Локально данные зеркалируются синхронно, удаленная репликация поддерживается только в асинхронном режиме – на базе мгновенных снимков. Поддерживается возможность репликации существующих мгновенных снимков на удаленную площадку. Поддерживается возможность иметь различное число снимков на источнике и приемнике. С помощью данного функционала открывается возможность по реализации удаленного хранилища резервной информации (data silo), когда на основной системе хранятся снимки за последний день, а в хранилище за более долгий период (месяц, год) с различной частотой. Например: на основной площадке хранятся часовые снимки за 24 часа, на удаленной дневные снимки за месяц и месячные снимки за целый год.
 +  * **Миграция логических томов без остановки доступа** обеспечивает возможность изменения уровня RAID, типа дисков и логического тома.
 +
 +Сравним технологии обеспечения отказоустойчивости с традиционными СХД, уровня Midrange:
 +
 +^Технология                                    ^Традиционная СХД (например HP 3par 8400)                                                                                        ^VPSA                                                          ^
 +|Защита от выхода из строя диска               |CPG группы. (RAID собирается не из дисков целиком, а из маленьких блоков.)                                                      |Традиционные RAID-группы. (В RAID объединяются диски целиком.)|
 +|Скорость восстановления диска                 |Высокая                                                                                                                         |Обычная                                                       |
 +|Снижение производительности при восстановлении|Незначительное                                                                                                                  |Ощутимое                                                      |
 +|Мгновенные снимки                                                                                                                                                            |                                                              |
 +|Поддержка снимков на запись                   |Чтение / Запись                                                                                                                 |Чтение / Запись                                               |
 +|Число мгновенных снимков с тома               |256 на Чтение / Запись\\ \\ 500 только на Чтение                                                                                |**∞**                                                         |
 +|Удаленная репликация                          |                                                                                                                                |                                                              |
 +|Синхронная                                    |Да                                                                                                                              |Нет                                                           |
 +|Асинхронная                                   |Да                                                                                                                              |Да                                                            |
 +|Время переключения между контроллерами        |+0                                                                                                                              |20-60 сек.                                                    |
 +|Распределенная СХД                            |                                                                                                                                |                                                              |
 +|Функционал                                    |HP Peer Persistence                                                                                                             |Встроенный функционал                                         |
 +|Архитектура                                   |Синхронная репликация между двумя отдельными СХД + авт. прозрачное переключение средствами MPIO сервера (Hyper-V, VMware, Linux)|Два контроллера СХД разносятся между двумя площадками.        |
 +|Время переключения                            |Нет данных                                                                                                                      |До 60 секунд                                                  |
 +
 +======  ======
 +
 +===== Результаты тестирования отказоустойчивости =====
 +
 +^**Тест**                                                                  ^**Параметры**                                                         ^**Значения**                                                                                ^**В пределах нормы**                                                 ^**Примечание**                                                                                                                                                                                                                                                    ^
 +|**Поток данных находится во внутренней сети СХД**                         |Поток данных находится во внутренней сети СХД                         |Чтение происходит с локальной СХД. Запись происходит на все плошадки.                       |Да                                                                   |                                                                                                                                                                                                                                                                  |
 +|**Отказ одного из активных путей от хоста к СХД**                         |Производительность штатного режима                                    |2400 IOPS                                                                                                                                                       |хост - vmware\\ \\ Failover режим на vmware  - Route based balanced by virtualport id\\ \\                                                                                                                                                                        |
 +|                                                                          |Выполнение сценария сбоя                                              |Задержка переключения - около 20 секунд                                                     |Да                                                                                                                                                                                                                                                                                                                                    |
 +|                                                                          |                                                                      |Сессия не рвется                                                                            |                                                                                                                                                                                                                                                                                                                                      |
 +|                                                                          |                                                                      |ВМ работает штатно                                                                          |                                                                                                                                                                                                                                                                                                                                      |
 +|                                                                          |Производительность аварийного режима                                  |1200 IOPS                                                                                   |Да                                                                                                                                                                                                                                                                                                                                    |
 +|                                                                          |Производительность режима восстановления                              |~1200 IOPS                                                                                  |Да                                                                   |                                                                                                                                                                                                                                                                  |
 +|**Отказ всех из активных путей**                                          |Срабатывание HA и переключение на альтернативные пути                 |Система переключилась на резервные пути                                                     |Да                                                                   |                                                                                                                                                                                                                                                                  |
 +|**Отказ всех путей**                                                      |Срабатывание HA, Время на срабатывание HA                             |Не тестировалось. Не имеет отношения к СХД.                                                                                                                     |                                                                                                                                                                                                                                                                  |
 +|**Проверка работы vMotion**                                               |Время переноса машины под нагрузкой                                   |10 GbE - 61s                                                                                |Да                                                                   |                                                                                                                                                                                                                                                                  |
 +|**Проверка работы Storage vMotion**                                                                                                            |10 GbE - 10m 40sec                                                                          |Выяснилось что кабель 10GbE поврежден. Результаты теста не засчитаны.|Тестирование было произведено с помошью переноса ВМ на СХД работающую на удаленной площадке                                                                                                                                                                       |
 +|                                                                          |                                                                      |1GbE - Больше 30 минут. Не дождались.                                                                                                                                                                                                                                                                                                                                                                                            |
 +|**Выход из строя  контроллера локальной СХД**                             |Производительность штатного режима                                    |~1000 ±200 IOPS                                                                                                                                                 |Тестировался выход из строя контроллера СХД на локальной площадке.\\ Производилось выключение виртуальной машини контроллера СХД через консоль внутреннего гипервизора\\ Чтение происходит с площадки с активным контроллером. Запись происходит на обе площадки. |
 +|                                                                          |Выполнение сценария сбоя                                              |Восстановление на запасной контроллер за 20 секунд.                                         |Ок                                                                                                                                                                                                                                                                                                                                    |
 +|                                                                          |                                                                      |Сессия не рвется                                                                            |                                                                                                                                                                                                                                                                                                                                      |
 +|                                                                          |                                                                      |ВМ работает штатно                                                                          |                                                                                                                                                                                                                                                                                                                                      |
 +|                                                                          |Производительность аварийного режима                                  |~1000 ±200 IOPS                                                                             |Ок                                                                                                                                                                                                                                                                                                                                    |
 +|                                                                          |Производительность режима восстановления                              |н/д                                                                                         |Ок                                                                                                                                                                                                                                                                                                                                    |
 +|**Выход из строя  одного  из двух аппаратных узлов на локальной площадке**|Производительность штатного режима                                    |~1000 ±200 IOPS                                                                                                                                                 | Переподключилась сессия RDP к виртуальной машине!                                                                                                                                                                                                                |
 +|                                                                          |Выход из строя  одного  из двух аппаратных узлов на локальной площадке|Один диск пропал. Активный контроллер выключился. Система работает на запасном контроллере. |Ок                                                                                                                                                                                                                                                                                                                                    |
 +|                                                                          |Производительность аварийного режима                                  |~1000 ±200 IOPS                                                                             |Ок                                                                                                                                                                                                                                                                                                                                    |
 +|                                                                          |Производительность режима восстановления                              |н/д                                                                                                                                                                                                                                                                                                                                                                                                                              |
 +|**Выход из строя двух (всех) аппаратных узлов на локальной площадке**     |Производительность штатного режима                                    |~1000 ±200 IOPS                                                                                                                                                 |                                                                                                                                                                                                                                                                  |
 +|                                                                          |Выполнение сценария сбоя                                              |Восстановление на запасной контроллер за 37 секунд.                                         |Ок                                                                   |                                                                                                                                                                                                                                                                  |
 +|                                                                          |                                                                      |Сессия не рвется                                                                            |Ок                                                                   |                                                                                                                                                                                                                                                                  |
 +|                                                                          |                                                                      |ВМ работает штатно                                                                          |Ок                                                                   |                                                                                                                                                                                                                                                                  |
 +|                                                                          |Производительность аварийного режима                                  |30 секунд нет IO                                                                            |Ок                                                                   |                                                                                                                                                                                                                                                                  |
 +|                                                                          |                                                                      |~500 ±300 (первые пару минут)                                                               |Ок                                                                   |                                                                                                                                                                                                                                                                  |
 +|                                                                          |                                                                      |Далее ~1000 ±200 IOPS                                                                       |Ок                                                                   |                                                                                                                                                                                                                                                                  |
 +|                                                                          |Производительность режима восстановления                              |н/д                                                                                                                                                             |                                                                                                                                                                                                                                                                  |
 +|**Полная потеря основной площадки**                                       |Срабатывание HA. Время на срабатывание.                               |Не тестировалось. Не имеет отношения к СХД.                                                                                                                     |                                                                                                                                                                                                                                                                  |
 +|**Разрыв канала репликации**                                              |Производительность штатного режима                                    |10 000 IOPS                                                                                                                                                     | Остался InterSwitch Link\\ Активный и пассивный контроллер не поменялись местами. Диски со второй площадки на СХД стали недоступны. HA не сработал.\\ \\ RDP сессия до виртуальной машины упала\\ Контроллеры в Active / Standby\\ \\                            |
 +|                                                                          |Отключение одного канала репликации                                   |Без изменений                                                                               |ОК                                                                                                                                                                                                                                                                                                                                    |
 +|                                                                          |Отключение второго канала репликации                                  |4 000 IOPS                                                                                  |ОК                                                                                                                                                                                                                                                                                                                                    |
 +|                                                                          |Отключение всех каналов связи между площадками                        |0 IOPS - 1:41 сек…                                                                          |ОК                                                                                                                                                                                                                                                                                                                                    |
 +|                                                                          |Производительность режима восстановления                              |н/д                                                                                                                                                                                                                                                                                                                                                                                                                              |
 +|**Выход из строя кворума**                                                |Срабатывание HA                                                       |ничего не происходит                                                                        |Да                                                                   |                                                                                                                                                                                                                                                                  |
 +|**Сбой/отказ системы управления СХД**                                     |Срабатывание HA                                                       |Не тестировалось. Система управления по архитектуре не влияет на СХД.                       |Да                                                                   |                                                                                                                                                                                                                                                                  |
 +
 +====== Результаты функционального тестирования  ======
 +
 +^**Тест**                                                          ^**Параметры**                                 ^**Значения**   ^**В пределах нормы**    ^**Примечание**                                                                                             ^
 +|Поддерживаемые протоколы файловых систем                          |Блочный доступ                                |iSCSI + RDMA   |Да                      |                                                                                                           |
 +|                                                                  |Файловый доступ                               |CIFS/NFS       |Да                      |                                                                                                           |
 +|                                                                  |Другое                                        |Протоколы:     |Object                  |Возможно так-же добавить практически любые протоколы путем установки специализированной ВМ внутрь фермы СХД|
 +|Поддержка multitenancy                                            |Уровень администраторов ЦОД                   |Да             |Да                      |Отдельная консоль управления                                                                               |
 +|                                                                  |Уровень администраторов Заказчика             |Да             |Да                      |Отдельная консоль управления                                                                               |
 +|                                                                  |Уровень пользователей сервиса                 |Да             |Да                      |Self service portal                                                                                        |
 +|Интеграция с LDAP/AD заказчика                                    |Наличие интерфейса интеграции                 |Да             |Да                      |Web/API?                                                                                                   |
 +|Интерфейс управления администрирования                            |Платформа                                     |Web            |Да                      |Платформа интерфейса администратора                                                                        |
 +|                                                                  |                                              |StandAlone     |Нет                                                                                                                               |
 +|                                                                  |                                              |API            |Да                      |                                                                                                           |
 +|                                                                  |                                              |Mobile         |Да                      |                                                                                                           |
 +|                                                                  |Документация                                  |Да/Нет         |Да                      |                                                                                                           |
 +|                                                                  |                                              |Русификация    |Not Supported                                                                                                                     |
 +|Интерфейс управления пользователя                                 |Платформа                                     |Web            |Да                      |Платформа интерфейса пользователя                                                                          |
 +|                                                                  |                                              |StandAlone     |Нет                                                                                                                               |
 +|                                                                  |                                              |API            |Да                      |                                                                                                           |
 +|                                                                  |                                              |Mobile         |Да                      |                                                                                                           |
 +|                                                                  |Документация                                  |Да/Нет         |Да                      |                                                                                                           |
 +|                                                                  |                                              |Русификация    |Да                      |Уже разрабатывается российским представительством                                                          |
 +|Пребиллинг                                                        |Наличие системы                               |Да/Нет         |Да                      |                                                                                                           |
 +|                                                                  |Платформа                                     |Web            |Да                      |                                                                                                           |
 +|                                                                  |                                              |StandAlone     |Нет                                                                                                                               |
 +|                                                                  |                                              |API            |Да                      |                                                                                                           |
 +|                                                                  |Планы учёта ресурсов                          |Да/Нет,        |Да                      |Входная информация для тарифов на сервисы                                                                  |
 +|                                                                  |                                              |<Кол-во планов>|infinite                |                                                                                                           |
 +|                                                                  |Поддержка VMware ChargeBack                   |Да/Нет         |Да                      |                                                                                                           |
 +|Интеграция инструментов администрирования в Web портал заказчика  |Наличие готовых библиотек для интеграции в Web|Да/Нет         |Да                      |Наличие объектов интеграции, не требующих кодирования                                                      |
 +|                                                                  |Поддерживаемые web платформы, middleware      |Java/HTML…     |No aditional Reqirements|Инструмент для кастомной интеграции                                                                        |
 +|Интеграция инструментов администрирования с VMware vCloud Director|Наличие интеграции                            |Да/Нет         |roadmapped              |Наличие объектов интеграции, не требующих кодирования                                                      |
 +|                                                                  |API                                           |Название/версия|VASA                    |Инструмент для кастомной интеграции                                                                        |
 +
 +===== Конфигурация тестового стенда =====
 +
 +^**Параметр**                 ^**Значение**         ^**Примечание**              ^
 +|Название                     |Blazing              |(10 x vCPU + 32 gb RAM)     |
 +|Колличество дисков NLSAS 7.2k|0                    |                            |
 +|Колличество дисков SAS 10k   |0                    |                            |
 +|Колличество дисков SAS 15k   |0                    |                            |
 +|Колличество дисков SSD       |4 x 800GB MLC        |Intel® SSD Data Center S3610|
 +|Объем кэш-памяти             |80 GB SSD + 17 GB RAM|                            |
 +|Объем write-back кэш-памяти  |80 GB SSD            |                            |
 +|Интерфейс подключения        |1 x 10GbE            |                            |
 +|Тип CPU                      |7x vCPU              |                            |
 +
 +Технические характеристики носителей использованных при тестировании :
 +
 +^                                                          ^Intel® SSD DC S3610 Series (800GB, 2.5in SATA 6Gb/s, 20nm, MLC)((http://ark.intel.com/ru/products/82936/Intel-SSD-DC-S3610-Series-800GB-2_5in-SATA-6Gbs-20nm-MLC))^
 +|Кодовое название                                          |Haleyville                                                                                                                                                        |
 +|**__Essentials__**                                        |                                                                                                                                                                  |
 +|Дата выпуска                                              |Q1'15                                                                                                                                                             |
 +|Последовательное чтение                                   |550 MB/s                                                                                                                                                          |
 +|Последовательная запись                                   |520 MB/s                                                                                                                                                          |
 +|Случайное чтение (участок 100%)                           |84000 IOPS                                                                                                                                                        |
 +|Случайная запись (участок 100%)                           |28000 IOPS                                                                                                                                                        |
 +|Задержка - чтение                                         |55 µs                                                                                                                                                             |
 +|Задержка - запись                                         |66 µs                                                                                                                                                             |
 +|Среднее время наработки на отказ                          |2000000                                                                                                                                                           |
 +|Доля неустранимых битовых ошибок (UBER)                   |1 sector per 10^17 bits read                                                                                                                                      |
 +|Техническое описание                                      |Link                                                                                                                                                              |
 +|Краткое описание продукции                                |Link                                                                                                                                                              |
 +|**__Package Specifications__**                            |                                                                                                                                                                  |
 +|Емкость                                                   |800 GB                                                                                                                                                            |
 +|Форм-фактор                                               |2.5" 7mm                                                                                                                                                          |
 +|Interface                                                 |SATA 3.0 6Gb/S                                                                                                                                                    |
 +|Литография                                                |20 nm                                                                                                                                                             |
 +|**__Advanced Technologies__**                                                                                                                                                                                              |
 +|Расширенная защита от потери данных при отключении питания|Yes                                                                                                                                                               |
 +|Аппаратное шифрование                                     |AES 256 bit                                                                                                                                                       |
 +|–High Endurance Technology                                |Yes                                                                                                                                                               |
 +|Мониторинг и журналирование температуры                   |Yes                                                                                                                                                               |
 +|Комплексная защита данных                                 |Yes                                                                                                                                                               |
 +
 +===== Результаты тестирования производительности =====
 +
 +==== fio bench ====
 +{{publications:20210127-084942.png?nolink|}}
 +
 +Использованные шаблоны тестирования, отраженные на графике:
 +
 +  - rand_read_4
 +  - rand_read_8
 +  - rand_read_16
 +  - rand_read_256
 +  - rand_read_write_4
 +  - rand_read_write_8
 +  - rand_read_write_16
 +  - rand_read_write_256
 +  - rand_write_4
 +  - rand_write_8
 +  - rand_write_16
 +  - rand_write_256
 +  - read_4
 +  - read_8
 +  - read_16
 +  - read_256
 +  - read_write_4
 +  - read_write_8
 +  - read_write_16
 +  - read_write_256
 +  - write_4
 +  - write_8
 +  - write_16
 +  - write_256
 +
 +
 +===== Оценка эффективности системы  =====
 +
 +^**Характер нагрузки**          ^**Эффективность**^                                                                                                                                                                                                                                                                      ^
 +|                               |**Zadara**       |**CEPH**                                                                                                                                                                                                                               |**HP 3par**                     |
 +|Случайное чтение               |83%              |79%                                                                                                                                                                                                                                    |100%                            |
 +|Случайная запись               |19%              |75%                                                                                                                                                                                                                                    |50%                             |
 +|Случайное чтение/запись (50/50)|108%                                                                                                                                                                                                                                                   |67%                             |
 +|Чтение                         |29%              |57%                                                                                                                                                                                                                                    |43%                             |
 +|Запись                         |37%              |37%                                                                                                                                                                                                                                    |24%                             |
 +|Избыточность защиты данных     |200%             |300%                                                                                                                                                                                                                                   |200%                            |
 +|Источник результатов:          |As Measured      |Интернет((https://software.intel.com/en-us/blogs/2013/10/25/measure-ceph-rbd-performance-in-a-quantitative-way-part-i))((https://software.intel.com/en-us/blogs/2013/11/20/measure-ceph-rbd-performance-in-a-quantitative-way-part-ii))|HP SST((HP Storage Sizing Tool))|
 +
 +===== Заключение =====
 +
 +Программно определяемая система хранения данных Zadara VPSA, в отличие от традиционных SDS предлагает пользователям не емкость для хранения а полнофункциональную СХД, уровня Midrange. ОС виртуальной СХД практически не отличается от ОС традиционных систем хранения данных.
 +
 +К преимуществам системы можно отнести:
 +
 +  * Гибкость настройки
 +  * Удобный портал самообслуживания
 +  * Архитектура, допускающая увеличение объема СХД практически без ограничений и без остановки сервиса
 +  * Подробная документация по интерфейсам программирования (API) и кастомизации
 +  * Публичность компании и ориентированность на частных и корпоративных клиентов
 +  * Расширенные возможности по управлению мгновенными снимками
 +
 +Данную систему можно порекомендовать для решения следующих задач:
 +
 +  * Консолидация емкостей хранения в ИТ отделе обслуживающем несколько департаментов;
 +  * Замена одной или нескольких традиционных СХД среднего уровня;
 +  * Предоставление выделенного дискового ресурса большому числу ИС;
 +  * Облачные решения, провайдеры облачных услуг;
 +
 +Слабыми сторонами системы являются:
 +
 +  * Ограничение по производительности одного логического тома (макс. 80 дисков)
 +  * Отсутствие функционала синхронной удаленной репликации
 +  * Не полная поддержка решений класса Enterprise по виртуализации вычислительных ресурсов – VMware ESX
 +  * Система не поддерживает «гигантские» объемы, и не приспособлена для создания файловых хранилищ практически неограниченного объема.