2022-09-23 GlusterFS
Некоторые отечественные системы виртуализации, основанные на oVirt и ECP Veil поддерживают в качестве системы хранения данных решение GlusterFS. При первом рассмотрении это может показаться приятной новостью, так как Gluster давно известен в ИТ-среде. При этом мнения о гластере при более глубоком изучении более негативные чем позитивные.
- Много пользователей жалуются на то, что гластер тяжело вернуть в рабочее состояние при потере брика. Это комплексная проблема, я не стану приводить примеры так как каждый раз что то новое;
- Гластер не поддерживает гибкое использование дисков, при разметке вы должны однозначно указывать какие диски или разделы войдут в страйп-сет;
- Рекомендуемый уровень защиты rf=3.
- EC не рекомендуется, но если вы решите его использовать то существует только несколько рекомендованных уровней;
- Нечётное страйп-сету количество дисков невозможно использовать.
Пример полезной ёмкости которую вы можете получить при минимальном уровне отказоустойчивости (1 сервер) в таблице ниже. Видно что при некоторых конфигурациях нам необходимо будет использовать связку локального RAID и репликацию блоков чтобы не терять каждый раз узел при выходе из строя одного диска.
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | Hosts | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | no HA | 50% 1) | 33% 2) | 50% 3) | ? | 66% 4) | ? | 50% 5) | ? | 50% 6) | 72% 7) | 66% 8) | |
| 2 | 50% 9) | 50% 10) | 66% 11) | 50% 12) | ? | 66% 13) | ? | 50% 14) | ? | 50% 15) | 72% 16) | 66% 17) | |
| 3 | 66% 18) | 50% 19) | 33% 20) | 33% 21) | ? | 66% 22) | ? | 33% 23) | ? | 33% 24) | 72% 25) | 66% 26) | |
| 4 | 75% 27) | 50% 28) | 66% 29) | 37,5% 30) | ? | 66% 31) | ? | 37,5% 32) | ? | 37,5% 33) | 72% 34) | 66% 35) | |
| 5 | 80% 36) | 50% 37) | 33% 38) | 40% 39) | ? | 66% 40) | ? | 40% 41) | ? | 40% 42) | 72% 43) | 66% 44) | |
| 6 | 83% 45) | 50% 46) | 66% 47) | 41,5% 48) | ? | 66% 49) | ? | 41,5% 50) | ? | 41,5% 51) | 72% 52) | 66% 53) | |
| 7 | 85% 54) | 50% 55) | 33% 56) | 42,5% 57) | ? | 66% 58) | ? | 42,5% 59) | ? | 42,5% 60) | 72% 61) | 66% 62) | |
| 8 | 75% 63) | 50% 64) | 66% 65) | 37,5% 66) | ? | 66% 67) | ? | 37,5% 68) | ? | 37,5% 69) | 72% 70) | 66% 71) | |
| 9 | 77% 72) | 50% 73) | 33% 74) | 38,5% 75) | ? | 66% 76) | ? | 38,5% 77) | ? | 38,5% 78) | 72% 79) | 66% 80) | |
| 10 | 80% 81) | 50% 82) | 66% 83) | 40% 84) | ? | 66% 85) | ? | 40% 86) | ? | 40% 87) | 72% 88) | 66% 89) | |
| 11 | 81% 90) | 50% 91) | 33% 92) | 40,5% 93) | ? | 66% 94) | ? | 40,5% 95) | ? | 40,5% 96) | 72% 97) | 66% 98) | |
| 12 | 83% 99) | 50% 100) | 66% 101) | 41,5% 102) | ? | 66% 103) | ? | 41,5% 104) | ? | 41,5% 105) | 72% 106) | 66% 107) | |
| Disks |
Подробное описание как собрать конфигурацию, например 8+4 например на трёх серверах в статье RedHat.
О гластер сломано много копий, он часто используется у сервис-провайдеров. Это связано видимо с низкими требованиями к ресурсам и относительно простой настройке и эксплуатации по сравнению с CEPH. В интернете очень много историй о больших внедрениях, только руку протяни.
Какой вывод можно сделать:
- На маленьких конфигурациях гиперконвергентных отечественных виртуализациях приготовьтесь использовать RF=3 и локальный рэйд;
- Старайтесь использовать количество серверов кратное трём во избежание SplitBrain.
- На больших ландшафтах уж лучше поставить СХД и не морочить себе голову;