====== 2022-09-23 GlusterFS ======
{{tag>glusterfs veil ovirt hostvm zvirt}}

{{:blog:2022:09:23:20220923-205745.png?400  }}

Некоторые отечественные системы виртуализации, основанные на oVirt и ECP Veil поддерживают в качестве системы хранения данных решение GlusterFS. При первом рассмотрении это может показаться приятной новостью, так как Gluster давно известен в ИТ-среде. При этом мнения о гластере при более глубоком изучении более негативные чем позитивные.
  * Много пользователей жалуются на то, что гластер тяжело вернуть в рабочее состояние при потере брика. Это комплексная проблема, я не стану приводить примеры так как каждый раз что то новое;
  * Гластер не поддерживает гибкое использование дисков, при разметке вы должны однозначно указывать какие диски или разделы войдут в страйп-сет;
  * Рекомендуемый уровень защиты rf=3. 
  * EC не рекомендуется, но если вы решите его использовать то существует только несколько рекомендованных уровней;
  * Нечётное страйп-сету количество дисков невозможно использовать.


----

Пример полезной ёмкости которую вы можете получить при минимальном уровне отказоустойчивости (1 сервер) в таблице ниже. Видно что при некоторых конфигурациях нам необходимо будет использовать связку локального RAID и репликацию блоков чтобы не терять каждый раз узел при выходе из строя одного диска. 

^        ^  1               ^  2             ^  3                ^  4                   ^  5  ^  6                ^  7  ^  8                   ^  9  ^  10                  ^  11               ^  12               ^ Hosts  ^
^  1     |  no HA           |  50% ((rf=2))  |  33% ((rf=3))     |  50% ((rf=2))        |  ?  |  **66%** ((4+2))  |  ?  |  50% ((rf=2))        |  ?  |  50% ((rf=2))        |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  2     |  50% ((raid1))   |  50% ((rf=2))  |  **66%** ((4+2))  |  50% ((rf=2))        | ?   |  **66%** ((8+4))  | ?   |  50% ((rf=2))        | ?   |  50% ((rf=2))        |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  3     |  66% ((raid5))   |  50% ((rf=2))  |  33% ((rf=3))     |  33% ((rf=2+R5))     | ?   |  **66%** ((4+2))  | ?   |  33% ((rf=2+R5))     | ?   |  33% ((rf=2+R5))     |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  4     |  75% ((raid5))   |  50% ((rf=2))  |  **66%** ((4+2))  |  37,5% ((rf=2+R5))   | ?   |  **66%** ((8+4))  | ?   |  37,5% ((rf=2+R5))   | ?   |  37,5% ((rf=2+R5))   |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  5     |  80% ((raid5))   |  50% ((rf=2))  |  33% ((rf=3))     |  40% ((rf=2+R5))     | ?   |  **66%** ((4+2))  | ?   |  40% ((rf=2+R5))     | ?   |  40% ((rf=2+R5))     |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  6     |  83% ((raid5))   |  50% ((rf=2))  |  **66%** ((4+2))  |  41,5% ((rf=2+R5))   | ?   |  **66%** ((8+4))  | ?   |  41,5% ((rf=2+R5))   | ?   |  41,5% ((rf=2+R5))   |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  7     |  85%  ((raid5))  |  50% ((rf=2))  |  33% ((rf=3))     |  42,5% ((rf=2+R5))   | ?   |  **66%** ((4+2))  | ?   |  42,5% ((rf=2+R5))   | ?   |  42,5% ((rf=2+R5))   |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  8     |  75%  ((raid6))  |  50% ((rf=2))  |  **66%** ((4+2))  |  37,5% ((rf=2+R6))   | ?   |  **66%** ((8+4))  | ?   |  37,5% ((rf=2+R6))   | ?   |  37,5% ((rf=2+R6))   |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  9     |  77%  ((raid6))  |  50% ((rf=2))  |  33% ((rf=3))     |  38,5% ((rf=2+R6))   | ?   |  **66%** ((4+2))  | ?   |  38,5% ((rf=2+R6))   | ?   |  38,5% ((rf=2+R6))   |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  10    |  80%  ((raid6))  |  50% ((rf=2))  |  **66%** ((4+2))  |  40%  ((rf=2+R6))    | ?   |  **66%** ((8+4))  | ?   |  40%  ((rf=2+R6))    | ?   |  40%  ((rf=2+R6))    |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  11    |  81% ((raid6))   |  50% ((rf=2))  |  33% ((rf=3))     |  40,5%  ((rf=2+R6))  | ?   |  **66%** ((4+2))  | ?   |  40,5%  ((rf=2+R6))  | ?   |  40,5%  ((rf=2+R6))  |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^  12    |  83% ((raid6))   |  50% ((rf=2))  |  **66%** ((4+2))  |  41,5%  ((rf=2+R6))  | ?   |  **66%** ((8+4))  | ?   |  41,5%  ((rf=2+R6))  | ?   |  41,5%  ((rf=2+R6))  |  **72%** ((8+3))  |  **66%** ((8+4))  |        |
^ Disks  |                  |                |                   |                      |     |                   |     |                      |     |                      |                   |                   |        |

Подробное описание как собрать конфигурацию, например 8+4 например на трёх серверах в [[https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3.1/html/administration_guide/chap-recommended-configuration_dispersed|статье RedHat.]] 

О гластер сломано много копий, он часто используется у сервис-провайдеров. Это связано видимо с низкими требованиями к ресурсам и относительно простой настройке и эксплуатации по сравнению с CEPH. В интернете очень много историй о больших внедрениях, только руку протяни. 

Какой вывод можно сделать:
  * На маленьких конфигурациях гиперконвергентных отечественных виртуализациях приготовьтесь использовать RF=3 и локальный рэйд;
  * Старайтесь использовать количество серверов кратное трём во избежание SplitBrain. 
  * На больших ландшафтах уж лучше поставить СХД и не морочить себе голову;