====== 2022-11-15 ======
Я провел уже несколько десятков тестов на физической инсталяции Росплатформы в надежне выяснить причину такого странного поведения. Дисковая подсистема после первых тестов на чтение переходит в состояние в котором она практически не отвечает на ввод-вывод в течении длительного времени. Тестирование в таком состоянии не имеет особого смысла.

Я проверил следующие конфигурации, которые не пренесли успеха:
  * Конфигурация с Flash Cache - "перегрузка";
  * Конфигурация без Flash Cache - nmon в виртуальной машине не смог выдать целый файл для анализа;
  * Конфигурация с Flash/Cache и QoS  - nmon в виртуальной машине не смог выдать целый файл для анализа;
  * Конфигурация без Flash Cache -  - nmon в виртуальной машине не смог выдать целый файл для анализа;

Ситуация с nmon скорее всего вызвана тем что машина долгое время находится по мнению ОС в не отвечающем состоянии. И некоторые процессы начинают "отмирать". Для начала я попытался проверить работоспособность СХД и понять "оно вообще хоть как-то работает", для этого запустил простой ''dd''. 
Таким образом, спустя некоторое количество тестов я заполнил целевой диск полностью - это позволило мне добавиться более равномерного распределения чанков между дисками Р-хранилища, выделением места заранее, до начала тестов (так как vstorage не позволяет делать "толстый" провижининг) и в конечном счете данные действия привели к полному изменению картины тестирования.

Сравните эти да графика:

Без предварительного заполнения диска.
{{:wiki:benchmark:results:fio:20221114-145615.png}}

Вариант с предварительным заполнением диска случайными данными.
{{:wiki:benchmark:results:fio:20221115-212035.png}}

Похожую ситуацию я наблюдал на демо стенде в офисе. При первой установке Р-виртуализации на читой системе я первым делом запустил этот тест. Результат был похожим. Но результаты тестов на кластере который "поработал" значительно отличаются и приведены на страницы со всеми тестами [[wiki:benchmark:results:fio:v1.0#р-хранилище|Результаты тестов fio]]. 

Похоже методика тестирования требует доработки. Как минимум запись должна идти первой или необходима нагрузка которая будет выполнять "prefill" диска случайными данными. Это конечно скорее всего не позволит сравнивать старые результаты с новыми, зато будет более приближено к жизни.