meta data for this page
2022-12-13 Рекомендации аппаратных конфигураций для Росплатформы
При расчете спецификации на оборудование которое будет использовано для платформы визуализации Росплатформа необходимо руководствоваться следующими принципами:
Системные требования
Минимальная конфигурация оборудования представляет собой объем ресурсов который необходим для нормального функционирования системы и составляет:
- 2 ядра процессора уровня Intel Xeon E5-2620V2 + 1 ядро на каждые 8 HDD;
- 4 ГБ RAM + 0,5 GB на каждый установленный HDD;
- 200 ГБ системный SSD диск для роли Система + Метаданные. Скорость 75 Мб/сек последовательной записи на каждый установленный HDD;
- RAID контроллер - опционально;
- 2 х 10Гбит для кластерной сети;
Общие рекомендации
- Не менее 5 серверов в промышленной эксплуатации. Для защиты от выхода из строя двух серверов одновременно;
- Сильная сторона решения - масштабируемость. Чем больше кластер тем лучше он работает. Рекомендуемый размер кластера - 10 узлов. Данный объем существенно повышает надежность, производительность и отказоустойчивость в продуктивных средах;
- Не смотря на то, что кластер может быть собран из узлов различной конфигурации рекомендуется использовать оборудование схожих характеристик для повышения производительности, эффективности использования и более равномерного распределения нагрузки;
- Система не имеет отдельного листа совместимости, поэтому настоятельно рекомендуется проводить тестирование конфигураций перед ее продуктивным внедрением. Основными источниками проблем являются SSD диски и сетевые адаптеры;
- Не рекомендуется использовать Р-Хранилище поверх SAN/NAS дисковых массивов, так как это негативно сказывается на производительности и надежности решения в целом;
- Резерв дисковой емкости должен составлять не менее 20% для избежания фрагментации и снижения производительности;
- В случае аварийного восстановления требуется дополнительный резерв емкости. Необходимо всегда иметь запас равный объему одного узла для перестроения массива в случае выхода сервера из строя;
Рекомендации касательно накопителей
- Использование рекомендуемых моделей SSD дисков позволит избежать потери данных и незапланированных простоев.
- Не менее 1 DWPD - обязательно, 10 DWPD - желательно.
- Диск должен поддерживать механизм сброса из DRAM кэша в NAND память и или иметь защиту от внезапного отключения питания.
- Диски потребительского сегмента не подходят для организации хранилища так как не обеспечивают постоянную линейную скорость.
- Использование SSD дисков для кэширования записи существенно улучшает производительность нагрузок с большим объемом случайной записи.
- Использование SSD для запуска сервиса метаданных повышает общую производительность системы и снижает затраты за счет возможности совмещения сервиса метаданных с кэшированием на одном диске.
- При хранении большого объема редко используемых данных необходимо отдавать предпочтение дискам SATA.
- В случае если производительность является главным критерием выбор должен быть сделан в пользу SAS.
- Чем больше дисков установлено в сервер тем больше эффективность его использования.
- Использование SATA дисков и одного SSD для кэширования более выгодно чем построение кластера полностью на SAS дисках.
- HBA контроллеры обладают более низкой стоимостью и большей простотой в управлении по сравнению с аппаратным RAID что позволяет снизить стоимость системы без ущерба производительности.
- Кэш аппаратного RAID контроллера должен быть отключен для всех SSD дисков так как это может снизить суммарную производительность и включен для HDD.
- При использовании raid контроллеров допускается создание массива на загрузочном диске. Диски используемые для хранилища должны быть подключены в ОС отдельными устройствами.
- Если используется кэширование записи на RAID контроллере - он обязательно должен быть оснащен батареей защиты от внезапного отключения питания.
- Сумма производительности всех дисков, подключенных к HBA/RAID не должна привышать ширину шины PCI данного адаптера.
- Если один из дисков работает медленнее других - весь кластер будет работать со скоростью медленного диска.
Рекомендации по построению сети
- Для хранилища и данных виртуальных машин должны в идеале использоваться отдельные сетевые карты;
- Задержки сетевого оборудования оказывают существенное влияние на работу системы хранения данных, необходимо использовать оборудование с минимальными задержками коммутации;
- Должны использоваться сетевые адаптеры уровня предприятия, так как карты потребительского сегмента не предназначены для высокой нагрузки и могут не поддерживать режим Full Duplex;
- Сеть синхронизации СХД должна быть изолирована и не доступна из вне для предотвращения вторжения;
- На каждые два HDD используется 1 Гбит сетевого подключения. Для узлов с одним или двумя дисками минимальное количество сетевых адаптеров - 2 х 1 Гбит. Адаптер 1 Гбит обеспечивает примерно 110-120 Мб/сек пропускной способности что примерно равно последовательной производительности одного жесткого диска;
- Для достижения максимальной пропускной способности дисковой подсистемы на каждый HDD необходимо использовать 1 Гбит сетевого подключения. Не смотря на то что в реальной жизни большинство операций являются случайными - высокая пропускная способность важна в некоторых случаях, например при резервном копировании;
- Для повышения производительности дисковой подсистемы рекомендуется использовать интерфейсы со скоростью 10Гбит на узел, по 2 для отказоустойчивости.
- Не рекомендуется менять MTU на адаптерах 1Гбит, так как это может привести к проблемам со связью из-за неверных настроек на сетевом оборудовании.
- Порты 10Гбит с другой стороны необходимо настроить на работу с Jumbo Frame для достижения максимальной производительности.