Установка Р-хранилища внутри виртуальной среды Proxmox

Система хранения данных Р-хранилище может быть установлена на неограниченном количестве узлов в рамках лицензированной суммарной полезной емкости. В данном руководстве рассматривается вариант установки образа виртуальной машины Росплатформа с ролью Р-Хранилище для управления локальными дисками гипервизора Proxmox (на примере Альт Сервер Виртуализации 10).

Аппаратные требования для установки Р-хранилища приведенные в официальном руководстве производителя:

Тип Минимум Рекомендуется
ЦП Двухъядерный ЦП Intel Xeon E5-2620V2 или более быстрый; как минимум одно ядро ЦП на каждые 8 HDD-дисков
ОЗУ 4ГБ 16ГБ ECC-памяти или более дополнительно 0.3ГБ ECC-памяти на каждый HDD-диск
Хранилище Система: 100ГБ HDD-диск SATA Система: 250GB SATA HDD
Метаданные: 100ГБ HDD-диск SATA (на первых пяти серверах в кластере) Метаданные+Кэш: Один или более рекомендуемый SSD-диск корпоративного уровня с защитой от отказов системы электропитания; с объемом от 100ГБ; со скоростью последовательной записи от 75 МБ/с на каждый обслуживаемый HDD-диск. 1))
Хранилище: 100ГБ HDD-диск SATA Хранилище: Четыре или более HDD- или SSD-дисков; с надежностью от 1 DWPD (рекомендуется 10 DWPD)
Контроллер диска Нет HBA или RAID
Сеть 1Гбит/с или более быстрый сетевой интерфейс Два сетевых интерфейса с 10Гбит/с; выделенные каналы для внутренней и общедоступной сетей

Создание виртуальной машины

Для создания новой виртуальной машины, в которой будет установлено ПО Р-Хранилище необходимо подключиться к консоли администрирования и выполнить следующие действия в интерфейсе Proxmov Virtual Environment (PVE).

В правой верхней части окна нажать кнопку “Создать VM” для запуска мастера создания новой виртуальной машины. На странице мастера “Общее” указать следующие обязательные параметры виртуальной машиын:

  • “Узел” - выбрать гипервизор, на котором будет создана машина;
  • “VM ID” - задать идентификатор виртуальной машины, при необходимости, или оставить по умолчанию;
  • “Имя” - логическое имя в консоли для виртуальной машины;

Нажать кнопку “Далее” для перехода к следующему шагу.

На шаге “ОС” необходимо указать:

  • выбрать загрузочный образ Росплатформы;
  • установить тип гостевой операционной системы - Linux 5.x - 2.6 Kernel;

Нажать кнопку “Далее” для перехода к следующему шагу.

На шаге “Система” необходимо установить режим “Расширеный” выбрав соответствующий раздел внизу окна, и задать следующие параметры:

  • “Machine” установить значение в режим “q35”;
  • Остальные значения оставить по-умолчанию.

Нажать кнопку “Далее” для перехода к следующему шагу.

На этапе “Жесткий диск” необходимо создать виртуальный жесткий диск, который будет использован для установки операционной системы Р-Хранилище. Соглано системным требованиям объем диска должен быть не менее 100ГБ. Необходимо задать следующие обязательные параметры, остальные оставить по умолчанию:

  • “Хранилище” в данном разделе выбрать локальное хранилище, которое не будет использовано для хранения данных Р-Хранидище, например local;
  • “Размер диска (GiB)” - указать требуемый размер системного диска, согласно требованиям к Р-Хранилищу, например 100ГБ;

Нажать кнопку “Далее” для перехода к следующему шагу.

На этапе выбора параметров виртуального процессора “Процессор” необходимо задать следующие обязательные настройки:

  • “Ядра” установить требуемое значение, согласно таблице производителя, например 4;
  • “Тип” задать тип процессора равный процессору сервера, выбрав режим host из списка;

Нажать кнопку “Далее” для перехода к следующему шагу.

На этапе задания объема оперативной памяти необходимо указать объем, соответствующей таблице минимальных требований, например 16 ГБ и нажать кнопку “Далее” для перехода к следующему шагу.

На шаге настройки сети необходимо внести изменения в параметры по умолчанию, при необходимости, и нажать кнопку “Далее” для перехода к следующему шагу.

Проверить указанные значения и нажать кнопку “Готово” для создания новой виртуальной машины.

Настройка гипервизора для активации функционала подключения аппаратного RAID контроллера в виртуальную машину

Для включения возможности подключения физических устройств к виртуальной машине необходимо активировать функционал IOMMU, для этого необходимо отрыть на редактирование файл /etc/default/grub, командой:

 nano /etc/default/grub 

Найти строку, начинающуюся на GRUB_CMDLINE_LINUX_DEFAULT и добавить в конец строки, перед кавычками следующий параметр:

  • Если сервер оснащен процессором производства Intel: intel_iommu=on
  • Если сервер оснащен процессором производства AMD: amd_iommu=on

Пример процесса редактирования файла приведен на рисунке ниже.

Обновить образ загрузчика командой

update-grub

Добавить следующие модули ядра в файл /etc/modules:

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

Пример процесса редактирования файла приведен на рисунке ниже.

Во время окна регламентного обслуживания перезагрузить гипервизор командой

reboot

Установка Р-хранилища в виртуальной машине

В данном разделе описывается процесс установки системы Росплатформа с ролью Р-хранилище внутри виртуальной машины на примере Альт Сервер Виртуализации 10 PVE.

После включения питания виртуальной машины в загрузочном меню образа установки выбрать режим установки с графическим интерфейсом и нажать кнопку “Ввод” на клавиатуре.

В окне установщика необходимо выполнить настройки в следующих разделах:

  1. Сеть и имя узла;
  2. Расположение установки;
  3. Р-Управление;
  4. Р-Хранилище;
  5. “EULA”;

Сеть и имя узла

Нажать “Сеть и имя узла” для задания параметров сети:

  • Указать доменное имя сервера в поле “Имя хоста”;

  • При необходимости настроить параметры IP адреса, для этого:
    • Выбрать требуемый интерфейс;
    • Нажать кнопку настроить;
    • Перейти на вкладку “Параметры IPv4”;
    • Изменить метод, при необходимости на “Ручной”;
    • Нажать кнопку “Добавить” в разделе “Адреса” при необходимости, и указать параметры адреса в столбцах таблицы;

По завершении настройки параметров сети нажать в правом верхнем углу кнопку “Готово”.

Расположение установки

Нажать кнопку “Расположение установки” для выбора загрузочного диска. При наличии только одного виртуального диска в системе никаких настроек производить не требуется. Необхшодимо нажать кнопку “Готово” для сохранения сведений.

Р-Управление

Для настройки параметров установки интерфейса графического управления средой виртуализации “Р-Управление” нажать соответствующую кнопку.

В данном разделе необходимо выбрать режим без установки центра управления “Виртуализация” и нажать кнопку “Готово” в верхней правой части экрана.

Задание параметров сервера управления и пароля не требуется.

Р-Хранилище

Для настройки параметров “Р-Хранилище” необходимо нажать одноименную кнопку в окне установщика. Система поддерживает три режима установки “Р-Хранилища”:

  • “Панель управления и хранилище данных” - для установки веб панели администрирования и роли хранилище. Данный режим необходимо использовать при установке первого сервера Р-хранилище в инфраструктуре. При выборе данного режима необходимо дополнительно указать адрес сервера управления в локальной сети;
  • “Хранилище данных” - для установки только хранилища без веб панели администрирования. Данный режим используется если веб-панель управления уже была ранее установлена. При выборе данного режима не требуется указания существующего сервера управления. Подключение будет произведено после установки.
  • “Без хранилища” - для установки системы только в режиме сервера виртуализации;

В данном разделе необходимо выбрать соответствующий режим из списка и нажать кнопку “Готово”.

EULA

В разделе EULA необходимо ознакомиться и принять лицензионное соглашение.

Задание параметров пользователя

После настройки всех необходимых параметров для запуска установки необходимо нажать кнопку в правой нижней части окна “Начать установку”.

Данное действие запускает фоновую установку операционной системы и открывает окно настройки параметров пользователей и лицензионного ключа.

В разделе “Лицензионный ключ” не требуется указание ключа, это будет произведено после установки для кластера целиком. Оставьте поле пустым и нажмите “Готово”.

В разделе “Пароль root” необходимо задать пароль суперпользователя и нажать кнопку “Готово”.

После задания всех необходимых параметров нажмите кнопку “Завершить установку” для перезагрузки в установленную операционную систему.

Подключение RAID контроллера к виртуальной машине Р-Хранилище

Для “проброса” физического RAID контроллера сервера в созданную виртуальную машину необходимо выбрать машину из списка в консоли PVE, перейти на вкладку “Оборудование” и выполнить следующие действия:

Нажать кнопку “Добавить - Устройство PCI”.

В раскрывающемся списке “Устройство” выбрать требуемый RAID контроллер.

Нажать кнопку “Добавить” для сохранения параметров виртуальной машины.

Добавляемое устройство будет отображено в параметрах виртуальной машины красным. Для активации устройства необходимо выключить и включить виртуальную машину.

1)
Например серверу с10 HDD-дисками требуется 1 SSD-диск со скоростью последовательной записи от 750 МБ/с (на первых пяти серверах в кластере