meta data for this page
  •  

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
blog:2022:09:12 [2022/09/12 19:32] – mchusblog:2022:09:12 [2022/09/22 07:06] (current) – mchus
Line 1: Line 1:
 +====== 2022-09-12 О необходимости "рук" для серверов ======
 +{{tag>datacenter servers cma rackmount cable_management}}
 +Большинство ИТ оборудования крепится в стойку с использованием обычных статических направляющих или в простонародье "уголков". Уголок - универсальное средство крепежа и не притязателен к специальным приспособлениям со стороны сервера. На уголки крепятся: ИБП, Ленточные библиотеки, СХД, Серверы, Коммутаторы.
 +{{  :blog:2022:09:12:20220912-205616.png?800  }}
 +Но производители серверов представили новый вариант крепления в стойку - телескопические направляющие или просто "рельсы". Рельсы позволяют выдвинуть сервер из стойки часто полностью для проведения каких-либо работ с оборудованием. Попробую сравнить плюсы и минусы такого решения.
 +<WRAP group>
 +<WRAP half column>
 +**Плюсы**
 +  - Сервер выдвигается из стойки и не падает на ноги;
 +  - Удобство обслуживания сервера - один раз поставил и больше не выкручиваешь;
 +  - Сервер выдвигается без остановки работы (об этом ниже);
 +</WRAP>
  
 +<WRAP half column>
 +**Минусы**
 +  - Стоит дополнительных денег;
 +  - Сложность монтажа сервера - в "рельсы" надо попасть, у каждого производителя свои способы крепления "рельс" к шкафу;
 +  - Сервер непроизвольно выезжает если не закреплён;
 +  - При неправильном распределении веса можно уронить стойку на себя;
 +</WRAP>
 +</WRAP>
 +
 +Но всё-таки основное преимущество телескопических направляющих в том, что они позволяют извлечь сервер из стойки без его выключения, но только при использовании специальных кабельных органайзеров под простым названием CMA ((Cabble management ARM)) или "рук". Рука позволяет оставить запас кабеля, который будет использован при выдвижении сервера и отключения не произойдёт. 
 +
 +{{  :blog:2022:09:12:20220912-210826.png?800  }}
 +
 +Тема сегодняшнего выпуска именно "руки" для укладки кабелей. Как удобнее работать: с руками или без рук, нужны ли руки вообще при эксплуатации сервера и мешают ли руки приделанные не к тому месту.
 +
 +Конечно все пресейл инженеры понимают что чем дороже и чем круче комплект крепежа в стойку тем он удобнее, и если есть возможность надо ставить "по-максимуму" самые дорогие рельсы - точно не прогадаешь. Я и сам следовал такому подходу несколько последних лет. Иногда конечно меня посещали мысли вроде: "а как они будут это всё ставить", "а войдёт вообще, нет?", "провода дотянутся?". Но мысли мыслями а работу делать надо, поэтому руки были всегда в моих конфигурациях.
 +
 +С плюсами всё понятно, но я хочу рассказать вам и минусы использования рук и возможно отговорить от их поставок. И так, разделы.
 +
 +===== Проблема №1. Провода с одной стороны. =====
 +При использовании руки все провода интерфейсные, силовые, оптика, медь - всё это будет выведено на одну сторону шкафа. 
 +На текущий момент я видел несколько схем монтажа PDU и кабельных органайзеров в шкафу и ни одна схема не подразумевает то, что с одной стороны у вас будут и органайзеры для оптики, для меди и PDU одновременно.
 +
 +Как минимум один толстый кабель питания всегда придётся тащить на вторую половину шкафа. 
 +
 +
 +
 +<WRAP group>
 +<WRAP half column>
 +**С рукой**
 +{{  :blog:2022:09:12:20220912-212224.png?400  }}
 +</WRAP>
 +
 +<WRAP half column>
 +**Без руки**
 +{{  :blog:2022:09:12:20220912-212234.png?400  }}
 +</WRAP>
 +</WRAP>
 +
 +Посмотрите пример коммутации серверов с PDU установленными с одной стороны шкафа.
 +
 +{{  :blog:2022:09:12:20220912-211830.png  }}
 +
 +===== Проблема №2. Проблемы с охлаждением =====
 +
 +Один из заказчиков озвучил своё мнение что "руки" пагубно влияют на охлаждение сервера. Его легко понять, тёплый, отработанный воздух выходит сзади сервера при плотной набивке стойки может возникнуть ощущение что "руки" мешают свободному потоку воздуха, а если потрогать нагретые кабели, проложенные в них можно сделать вывод о пагубном влиянии такого подхода. 
 +
 +Я был склонен верить в эти умозаключения, пока не ознакомился с некоторыми исследованиями на этот счёт. Самый приятный для чтения материал прикладываю ниже.
 +
 +{{ :blog:2022:09:rack_infrastructure_effects_on_thermal_performance_of_a_server.pdf |}}
 +
 +В двух словах, воздействие от использования руки составляет максимум 4% снижения воздушного потока. 
 +
 +{{  :blog:2022:09:12:20220912-213850.png?800  }}
 +
 +===== Проблема №3. DELL Poweredge gen15 =====
 +
 +Возможно это касается и других серверов, но Poweredge R650, R750 самый яркий пример который ест у меня перед глазами.
 +Посмотрите на фото этого замечательного сервера. Наконец то были услышаны мольбы обычных пользователей и блоки питания разнесены по разным сторонам сервера в лучших традициях дисковых массивов. Этот сервер просто не предназначен для использования с "рукой". 
 +
 +{{  :blog:2022:09:12:20220912-215023.jpeg?800  }}
 +
 +В текущей ситуации что-то искать про dell достаточно сложно, возможно я просто не смог найти отдельного руководства по подключению этих серверов, а возможно производитель не видит проблемы один кабель сделать на полметра короче второго. Но с учётом того что короткий кабель от дальнего блока питания нужно еще раз перетянуть из выхода руки на противоположную сторону шкафа, мне кажется такое руководство просто решили не публиковать.
 +
 +===== Проблема №4. Замена блоков питания =====
 +
 +Заказчики говорят что с "руками" невозможно заменить блоки питания, если рука заканчивается напротив БП. Несколько раз слышал такие рассказы в разных вариациях. Одни говорят что с рукой вообще нельзя заменить БП потому что блоки питания в их серверах длинною полметра, другие только если рука начинается около БП.
 +
 +Ближе к концу этот пост начинает быть похожим на охоту за мифами. 
 +
 +Блок питания на 1.8 кВт актуального сервера Lenovo SR650
 +
 +{{  :blog:2022:09:12:20220912-220013.png?800  }}
 +
 +Сервер DL360 gen10 без крышки. Виден отсек для БП
 +
 +{{  :blog:2022:09:12:20220912-220126.png?800  }}
 +
 +Похоже я нашел этот загадочный "современный сервер" в котором БП длинною "пол-сервера". Это старичок IBM X3550
 +
 +{{  :blog:2022:09:12:20220912-220417.png?800  }}
 +
 +У DELL даже есть отдельный раздел в руководстве на случай если "рука" мешает БП. 
 +
 +<WRAP group>
 +<WRAP half column>
 +{{  :blog:2022:09:12:20220912-220546.png?400  }} 
 +
 +</WRAP>
 +
 +<WRAP half column>
 +{{  :blog:2022:09:12:20220912-220551.png?400  }}
 +</WRAP>
 +</WRAP>
 +
 +Поэтому если у заказчика будут вопросы покажите ему размеры современных БП, и как правильно вынимать блок питания при установленной руке по схеме выше. Важно то, что кабель питания должен быть закреплён на втором блоке, например петлёй как на фото, иначе может произойти неприятность с полным отключением сервера. Когда начнёте вынимать сбойный БП - он потянет за собой кабель рабочего.
 +
 +{{  :blog:2022:09:12:20220912-205733.png?400  }}
 +
 +===== Проблема №5. А зачем работающий сервер выдвигать? =====
 +
 +Ну вот серьёзно, вы вообще задумывались зачем заказчику может понадобиться выдвигать работающий сервер? Что в этом работающем сервере он может поменять "на горячую".
 +  * Вентилятор;
 +  * M.2 SSD и то не всегда и не везде, скорее всего они либо не HotSwap либо запрятаны под райзером;
 +  * Батарейку RAID;
 +Вот наверное полный список того что можно менять в сервере без остановки. Стоит подумать весь этот цирк с укладкой кабелей, с разной длинной с соплями от руки до PDU на другой стороне шкафа стоит того?
 +
 +===== Проблема №6. С рукой сервер не влезает в шкаф =====
 +Это действительно проблема, которая правда решается корректной установкой направлявших если речь идёт о пустых шкафах. Современные серверы стали настолько глубокими что часто им становится мало обычного 800 мм шкафа. Например серверы [[https://yadro.com/ru/vegman/s220-s320/specs|YADRO VEGGMAN S220 S320]] имеют глубину 815 мм без рук!
 +
 +И это реальная проблема, потому что размеры сервера можно найти, а вот размеры руки никто не публикует. А направляющие шкафа часто подвинуть не представляется возможным. 
 +
 +Для решения данной проблемы я предлагаю следующий подход: "не лезет, не ставь".
 +
 +{{  :blog:2022:09:12:20220912-225313.png?800  }}
 +
 +
 +====== Жизнь без рук ======
 +Если решили что дальше будете насаждать другим жизнь без "CMA" то мудрость для вас будет звучать следующим образом:
 +  * В "уголки" сервер вставлять легче, они стоят дешевле, из них сервер не выезжает произвольно.
 +  * Ставьте обе PDU на одну сторону шкафа (записка для себя: посмотри с какой стороны у твоего сервера БП), на вторую сторону ставьте большой кабель органайзер для оптики и меди. Если у вас DELL PER650, PER750 ставьте PDU как обычно справа и слева.
 +  * Если PDU стоят с разных сторон, а БП у сервера с одной стороны - положите 1 короткий кабель в каждый сервер.
 +  * Купите короткие кабели питания.
 +  * Купите разноцветные кабели питания.
 +  * Купите velcro стяжки.
 +
 +====== Жизнь с руками ======
 +Если вы решили перейти на светлую сторону и делать всё по книге, то вот такая мудрость для вас:
 +  * Прокладка по руке это доп. время на монтаж. Заложи трудозатраты.
 +  * Все кабели внезапно стали на метр короче. А один кабель питания на полтора. А если у тебя PER650, PER750 то один кабель питания стал короче на два метра. 
 +  * Рука не мешает теплоотводу. 
 +  * Рука не мешает замене блоков питания.
 +  * Неважно куда ставить PDU в любом случае придётся тащить какие то провода от того места где заканчивается рука на противоположную сторону стойки. Либо берём длинные провода и тянем их централизованно, либо у каждого сервера перекидываем "соплю".
 +  * ВСЕГДА! Делай петлю на блоке питания, чтобы потянув за кабель питания нельзя было его выключить. Используй ручку для изъятия БП и стяжки которые принёс с собой.
 +  * В руке нельзя прятать мотки провода.
 +  * Из руки ничего не должно свисать.
 +  * Проверяй каждый сервер после монтажа кабелей в руку. Один неспешно выдвигает сервер, второй стоит и сзади смотрит что кабели не застревают и не задавливаются. Затем также неспешно сервер задвигаем.
 +  * Проверь глубину шкафа, проверь глубину сервера, накинь к серверу на руки.
 +
 +====== Бонус ======
 +
 +Убер руки - две штуки на дисковой полке от системы хранения данных Hitachi. Лишены всех недостатков обычных серверов.
 +
 +{{:blog:2022:09:12:20220912-205733.png?400|}}
 +
 +
 +Компания DELL предлагает вместо рук для укладки кабеля так называемые Strain Relief Bar - планку к которой крепятся кабели чтобы избежать случайного отключения от сервера во время работ в стойке или эксплуатации. 
 +
 +{{youtube>K2jY9I0dwTw?  }}
 +
 + --- //[[mike@mchus.pro|Mikhail Chusavitin]] 2022/09/12 22:32//