2022-12-13 Рекомендации аппаратных конфигураций для Росплатформы

При расчете спецификации на оборудование которое будет использовано для платформы визуализации Росплатформа необходимо руководствоваться следующими принципами:

Минимальная конфигурация оборудования представляет собой объем ресурсов который необходим для нормального функционирования системы и составляет:

• 2 ядра процессора уровня Intel Xeon E5-2620V2 + 1 ядро на каждые 8 HDD;
• 4 ГБ RAM + 0,5 GB на каждый установленный HDD;
• 200 ГБ системный SSD диск для роли Система + Метаданные. Скорость 75 Мб/сек последовательной записи на каждый установленный HDD;
• RAID контроллер - опционально;
• 2 х 10Гбит для кластерной сети;

• Не менее 5 серверов в промышленной эксплуатации. Для защиты от выхода из строя двух серверов одновременно;
• Сильная сторона решения - масштабируемость. Чем больше кластер тем лучше он работает. Рекомендуемый размер кластера - 10 узлов. Данный объем существенно повышает надежность, производительность и отказоустойчивость в продуктивных средах;
• Не смотря на то, что кластер может быть собран из узлов различной конфигурации рекомендуется использовать оборудование схожих характеристик для повышения производительности, эффективности использования и более равномерного распределения нагрузки;
• Система не имеет отдельного листа совместимости, поэтому настоятельно рекомендуется проводить тестирование конфигураций перед ее продуктивным внедрением. Основными источниками проблем являются SSD диски и сетевые адаптеры;
• Не рекомендуется использовать Р-Хранилище поверх SAN/NAS дисковых массивов, так как это негативно сказывается на производительности и надежности решения в целом;
• Резерв дисковой емкости должен составлять не менее 20% для избежания фрагментации и снижения производительности;
• В случае аварийного восстановления требуется дополнительный резерв емкости. Необходимо всегда иметь запас равный объему одного узла для перестроения массива в случае выхода сервера из строя;

• Использование рекомендуемых моделей SSD дисков позволит избежать потери данных и незапланированных простоев.
  • Не менее 1 DWPD - обязательно, 10 DWPD - желательно.
  • Диск должен поддерживать механизм сброса из DRAM кэша в NAND память и или иметь защиту от внезапного отключения питания.
  • Диски потребительского сегмента не подходят для организации хранилища так как не обеспечивают постоянную линейную скорость.
• Использование SSD дисков для кэширования записи существенно улучшает производительность нагрузок с большим объемом случайной записи.
• Использование SSD для запуска сервиса метаданных повышает общую производительность системы и снижает затраты за счет возможности совмещения сервиса метаданных с кэшированием на одном диске.
• При хранении большого объема редко используемых данных необходимо отдавать предпочтение дискам SATA.
• В случае если производительность является главным критерием выбор должен быть сделан в пользу SAS.
• Чем больше дисков установлено в сервер тем больше эффективность его использования.
• Использование SATA дисков и одного SSD для кэширования более выгодно чем построение кластера полностью на SAS дисках.
• HBA контроллеры обладают более низкой стоимостью и большей простотой в управлении по сравнению с аппаратным RAID что позволяет снизить стоимость системы без ущерба производительности.
• Кэш аппаратного RAID контроллера должен быть отключен для всех SSD дисков так как это может снизить суммарную производительность и включен для HDD.
• При использовании raid контроллеров допускается создание массива на загрузочном диске. Диски используемые для хранилища должны быть подключены в ОС отдельными устройствами.
• Если используется кэширование записи на RAID контроллере - он обязательно должен быть оснащен батареей защиты от внезапного отключения питания.
• Сумма производительности всех дисков, подключенных к HBA/RAID не должна привышать ширину шины PCI данного адаптера.
• Если один из дисков работает медленнее других - весь кластер будет работать со скоростью медленного диска.

• Для хранилища и данных виртуальных машин должны в идеале использоваться отдельные сетевые карты;
• Задержки сетевого оборудования оказывают существенное влияние на работу системы хранения данных, необходимо использовать оборудование с минимальными задержками коммутации;
• Должны использоваться сетевые адаптеры уровня предприятия, так как карты потребительского сегмента не предназначены для высокой нагрузки и могут не поддерживать режим Full Duplex;
• Сеть синхронизации СХД должна быть изолирована и не доступна из вне для предотвращения вторжения;
• На каждые два HDD используется 1 Гбит сетевого подключения. Для узлов с одним или двумя дисками минимальное количество сетевых адаптеров - 2 х 1 Гбит. Адаптер 1 Гбит обеспечивает примерно 110-120 Мб/сек пропускной способности что примерно равно последовательной производительности одного жесткого диска;
• Для достижения максимальной пропускной способности дисковой подсистемы на каждый HDD необходимо использовать 1 Гбит сетевого подключения. Не смотря на то что в реальной жизни большинство операций являются случайными - высокая пропускная способность важна в некоторых случаях, например при резервном копировании;
• Для повышения производительности дисковой подсистемы рекомендуется использовать интерфейсы со скоростью 10Гбит на узел, по 2 для отказоустойчивости.
• Не рекомендуется менять MTU на адаптерах 1Гбит, так как это может привести к проблемам со связью из-за неверных настроек на сетевом оборудовании.
• Порты 10Гбит с другой стороны необходимо настроить на работу с Jumbo Frame для достижения максимальной производительности.