====== Процедура восстановления в случае единичного отказа накопителя ====== Процедура восстановления подразумевает анализ состояния системы и устранение неисправности. Если после выполнения указанного шага положительный результат не был достигнут - процесс восстановления продолжается выполнением следующей задачи восстановления. Описанные ниже процедуры выполняются после выполнения операций "Освобождения", описанных в процедуре реагирования. Если ни одна из описанных процедур не привела к устранению указанной ошибки необходимо обратиться в службу поддержки для локализации и устранения проблемы. ===== Восстановление отказавшего диска с ролью "Хранилище" ===== Данная процедура должна выполняться после доставки сменного накопителя. * Заменить сбойный накопитель в сервере исправным; * Открыть интерфейс управления Р-Хранилище; {{:domestic:rosplatforma:guide:dr:recovery:drive_failure:20230117-164702.png?800}} * Перейти в раздел "Серверы" и выбрать сервер, диск в котором был заменен; {{:domestic:rosplatforma:guide:dr:recovery:drive_failure:20230117-164733.png?800}} * Открыть раздел управления дисками, нажав на заголовок плитки “ДИСКИ; {{:domestic:rosplatforma:guide:dr:recovery:drive_failure:20230117-164721.png?800}} * Выбрать свободный диск из списка и в правой части окна нажать кнопку "Назначить"; {{:domestic:rosplatforma:guide:dr:recovery:drive_failure:20230117-164649.png?800}} * Выбрать роль "Хранилище" и установить режим кэширования в "Использовать SSD диск..." из списка и нажать кнопку "Готово"; {{:domestic:rosplatforma:guide:dr:recovery:drive_failure:20230117-164759.png?800}} * Дождаться завершения процесса добавления диска к конфигурации хранилища. {{:domestic:rosplatforma:guide:dr:recovery:drive_failure:20230117-164910.png?800}} ==== Проверка корректности создания файла журнала ==== В редких случаях возникает проблема когда при замене накопителя с ролью "Хранилище" и при использовании SSD дисков для кэширования файл журнала, используемый для кэширования создается не правильного размера. В случае возникновения данной проблемы после замены диска объем занятого дискового пространства на дисках SSD распределен не равномерно (см. пример ниже). {{:domestic:rosplatforma:guide:dr:recovery:drive_failure:20230117-165844.png}} При наличии дисбаланса в распределении дисковой емкости SSD необходимо выполнить операцию изменения размера журнала, для этого необходимо подключиться к консоли сервера и выполнить следующие команды: * Получить имена CS для которых созданы журналы на SSD дисках командой ''ls -alh /vstorage/*/journal'' * Задать размер журнала для CS, командой ''vstorage -c %CLUSTER_NAME% configure-cs -r $f -s %SIZE%'', где %CLUSTER_NAME% - имя кластера, %SIZE% объем файла журнала. Объем файла журнала должен быть рассчитан исходя из следующих принципов: * Полезный объем каждого SSD диска должен быть использован на 80%; * На каждом SSD диске должно быть максимально равномерное количество журналов одинакового объема. ===== Восстановление отказавшего диска с ролью "Кэш" ===== - Заменить сбойный накопитель; - Открыть интерфейс управления Р-Хранилище; - Перейти в раздел "Серверы" и выбрать сервер, диск в котором был заменен; - Открыть раздел управления дисками, нажав на заголовок плитки “ДИСКИ; - Выбрать свободный диск, предназначенный для кэширования из списка и в правой части окна нажать кнопку "Назначить"; - Выбрать роль Кэш из списка и нажать кнопку "Готово"; - Выбрать диски, которые были освобождены в результате выполнения процедуры реагирования при сбое диска кэширования и в правой части окна нажать кнопку "Назначить" - Выбрать роль Хранилище и требуемый уровень из списка и нажать кнопку "Готово"; ===== Восстановление отказавшего диска с ролью "Метаданные" ===== * При удалении и создании дополнительных дисков метаданных необходимо убедиться, что большинство дисков (больше половины) метаданных в кластере функционирует. * Неработающие диски метаданных рекомендуется освободить из кластера как можно скорее (например, сразу после замещения неисправного диска новым), чтобы все диски метаданных были запущены и в рабочем состоянии находилось большинство из них. * Например, если в кластере работают 3 диска метаданных, 1 диск метаданных выходит из строя и на смену ему в кластер добавляется новый диск метаданных, то общее число серверов метаданных становится 4, один из которых выключен. * При сбое еще одного диска метаданных только 2 диска метаданных останутся запущенными, и кластер станет недоступен, так как большинство (3 работающих диска метаданных) не достигнуто. Восстановление выделенного диска с метаданными производится в следующей последовательности: - Открыть интерфейс управления Р-Хранилище; - Перейти в раздел "Серверы" и выбрать сервер на котором произошел сбой диска с ролью "Метаданные". - Открыть раздел управления дисками, нажав на заголовок плитки “ДИСКИ; - Выбрать сбойный диск с метаданными из списка и в правой части окна нажать кнопку "Освободить"; - Заменить сбойный диск; - Выбрать новый диск из списка и в правой части окна нажать кнопку "Назначить"; - Выбрать роль "Метаданные" из списка и нажать кнопку "Готово"; - Перейти на вкладку "Сводка" и проверить суммарное количество сервисов метаданных должно быть равно **трём** или **пяти**. Все сервисы метаданных в кластере должны быть в состоянии "Исправен" - Заменить сбойный диск. ===== Восстановление отказавшего диска с ролью "Система+Метаданные" ===== Если на физическом сервере есть системный диск объемом более 100ГБ, этому диску можно дополнительно назначить роль Метаданные или Хранилище. * Роль Система+Метаданные рекомендуется назначать SSD-диску. * Назначение обеих ролей HDD-диску приведет к снижению производительности, и этот диск можно будет использовать только для “холодных” данных (например, для архивирования). * Роль "Система" нельзя совмещать с ролями "Кэш" и "Метаданные+Кэш". При одновременном назначении данных ролей операции ввода-вывода операционной системы и приложений будут конкурировать с операциями ввода-вывода, генерируемыми в процессе журналирования, тем самым снижая производительность системы В данном случае необходимо предварительно дополнительно выполнить процедуру восстановления в случае отказа загрузочного диска сервера. ===== Восстановление отказавшего диска с ролью "Метаданные+Кэш" ===== ==== Серверов в кластере более 5 штук ==== При числе серверов в кластере более 5 штук без выделенного диска с метаданными: - Открыть интерфейс управления Р-Хранилище; - Перейти в раздел "Серверы" и выбрать сервер на котором нет дисков с назначенной ролью "Метаданные". - Открыть раздел управления дисками, нажав на заголовок плитки “ДИСКИ; - Выбрать подходящий диск из списка и в правой части окна нажать кнопку "Назначить"; - Выбрать роль "Метаданные" из списка и нажать кнопку "Готово"; - Перейти в раздел "Серверы" и выбрать сервер на котором произошел сбой диска с ролью "Метаданные". - Открыть раздел управления дисками, нажав на заголовок плитки “ДИСКИ; - Выбрать сбойный диск с метаданными из списка и в правой части окна нажать кнопку "Освободить"; - Перейти на вкладку "Сводка" и проверить суммарное количество сервисов метаданных должно быть равно **трём** или **пяти**. Все сервисы метаданных в кластере должны быть в состоянии "Исправен" - Заменить сбойный диск. - Роль метаданные на указанный диск не назначается; - Назначить соответствующую роль новому диску, руководствуясь разделами данной методики. ==== Серверов в кластере менее 5 штук ==== При числе серверов в кластере менее 5 штук: - Открыть интерфейс управления Р-Хранилище; - Перейти в раздел "Серверы" и выбрать сервер на котором нет дисков с назначенной ролью "Метаданные". - Открыть раздел управления дисками, нажав на заголовок плитки “ДИСКИ; - Выбрать подходящий диск из списка и в правой части окна нажать кнопку "Назначить"; - Выбрать роль "Метаданные" из списка и нажать кнопку "Готово"; - Перейти в раздел "Серверы" и выбрать сервер на котором произошел сбой диска с ролью "Метаданные". - Открыть раздел управления дисками, нажав на заголовок плитки “ДИСКИ; - Выбрать сбойный диск с метаданными из списка и в правой части окна нажать кнопку "Освободить"; - Перейти на вкладку "Сводка" и проверить суммарное количество сервисов метаданных должно быть равно трём. Все сервисы метаданных в кластере должны быть в состоянии "Исправен"