2022-12-13 Рекомендации аппаратных конфигураций для Росплатформы

При расчете спецификации на оборудование которое будет использовано для платформы визуализации Росплатформа необходимо руководствоваться следующими принципами:

Минимальная конфигурация оборудования представляет собой объем ресурсов который необходим для нормального функционирования системы и составляет:

1. 2 ядра процессора уровня Intel Xeon E5-2620V2 + 1 ядро на каждые 8 HDD;
2. 4 ГБ RAM + 0,5 GB на каждый установленный HDD;
3. 200 ГБ системный SSD диск для роли Система + Метаданные. Скорость 75 Мб/сек последовательной записи на каждый установленный HDD;
4. RAID контроллер - опционально;
5. 2 х 10Гбит для кластерной сети;

1. Не менее 5 серверов в промышленной эксплуатации. Для защиты от выхода из строя двух серверов одновременно;
2. Сильная сторона решения - масштабируемость. Чем больше кластер тем лучше он работает. Рекомендуемый размер кластера - 10 узлов. Данный объем существенно повышает надежность, производительность и отказоустойчивость в продуктивных средах;
3. Не смотря на то, что кластер может быть собран из узлов различной конфигурации рекомендуется использовать оборудование схожих характеристик для повышения производительности, эффективности использования и более равномерного распределения нагрузки;
4. Система не имеет отдельного листа совместимости, поэтому настоятельно рекомендуется проводить тестирование конфигураций перед ее продуктивным внедрением. Основными источниками проблем являются SSD диски и сетевые адаптеры;
5. Не рекомендуется использовать Р-Хранилище поверх SAN/NAS дисковых массивов, так как это негативно сказывается на производительности и надежности решения в целом;
6. Резерв дисковой емкости должен составлять не менее 20% для избежания фрагментации и снижения производительности;
7. В случае аварийного восстановления требуется дополнительный резерв емкости. Необходимо всегда иметь запас равный объему одного узла для перестроения массива в случае выхода сервера из строя;

1. Использование рекомендуемых моделей SSD дисков позволит избежать потери данных и незапланированных простоев.
   1. Не менее 1 DWPD - обязательно, 10 DWPD - желательно.
   2. Диск должен поддерживать механизм сброса из DRAM кэша в NAND память и или иметь защиту от внезапного отключения питания.
   3. Диски потребительского сегмента не подходят для организации хранилища так как не обеспечивают постоянную линейную скорость.

1. Использование SSD дисков для кэширования записи существенно улучшает производительность нагрузок с большим объемом случайной записи.
2. Использование SSD для запуска сервиса метаданных повышает общую производительность системы и снижает затраты за счет возможности совмещения сервиса метаданных с кэшированием на одном диске.
3. При хранении большого объема редко используемых данных необходимо отдавать предпочтение дискам SATA.
4. В случае если производительность является главным критерием выбор должен быть сделан в пользу SAS.
5. Чем больше дисков установлено в сервер тем больше эффективность его использования.
6. Использование SATA дисков и одного SSD для кэширования более выгодно чем построение кластера полностью на SAS дисках.
7. HBA контроллеры обладают более низкой стоимостью и большей простотой в управлении по сравнению с аппаратным RAID что позволяет снизить стоимость системы без ущерба производительности.
8. Кэш аппаратного RAID контроллера должен быть отключен для всех SSD дисков так как это может снизить суммарную производительность и включен для HDD.
9. При использовании raid контроллеров допускается создание массива на загрузочном диске. Диски используемые для хранилища должны быть подключены в ОС отдельными устройствами.
10. Если используется кэширование записи на RAID контроллере - он обязательно должен быть оснащен батареей защиты от внезапного отключения питания.
11. Сумма производительности всех дисков, подключенных к HBA/RAID не должна привышать ширину шины PCI данного адаптера.
12. Если один из дисков работает медленнее других - весь кластер будет работать со скоростью медленного диска.

1. Для хранилища и данных виртуальных машин должны в идеале использоваться отдельные сетевые карты;
2. Задержки сетевого оборудования оказывают существенное влияние на работу системы хранения данных, необходимо использовать оборудование с минимальными задержками коммутации;
3. Должны использоваться сетевые адаптеры уровня предприятия, так как карты потребительского сегмента не предназначены для высокой нагрузки и могут не поддерживать режим Full Duplex;
4. Сеть синхронизации СХД должна быть изолирована и не доступна из вне для предотвращения вторжения;
5. На каждые два HDD используется 1 Гбит сетевого подключения. Для узлов с одним или двумя дисками минимальное количество сетевых адаптеров - 2 х 1 Гбит. Адаптер 1 Гбит обеспечивает примерно 110-120 Мб/сек пропускной способности что примерно равно последовательной производительности одного жесткого диска;
6. Для достижения максимальной пропускной способности дисковой подсистемы на каждый HDD необходимо использовать 1 Гбит сетевого подключения. Не смотря на то что в реальной жизни большинство операций являются случайными - высокая пропускная способность важна в некоторых случаях, например при резервном копировании;
7. Для повышения производительности дисковой подсистемы рекомендуется использовать интерфейсы со скоростью 10Гбит на узел, по 2 для отказоустойчивости.
8. Не рекомендуется менять MTU на адаптерах 1Гбит, так как это может привести к проблемам со связью из-за неверных настроек на сетевом оборудовании.
9. Порты 10Гбит с другой стороны необходимо настроить на работу с Jumbo Frame для достижения максимальной производительности.