meta data for this page
  •  
no way to compare when less than two revisions

Differences

This shows you the differences between two versions of the page.


—read_more:dc_recovery_options [2026/10/14 16:54] (current) – created mchus
Line 1: Line 1:
 +====== Можно ли восстановить повреждённый сервер после пожара или перегрева ======
  
 +Сервер после пожара, сильного перегрева, задымления или залива при тушении чаще всего не погибает целиком — но и восстановить его «как было» удаётся далеко не всегда. Исход зависит от вида повреждения: огонь выводит оборудование из строя навсегда, дым и вода делают его пригодным к ремонту при быстрой и правильной обработке, а перегрев «сжигает» ещё и ресурс компонентов, не убивая их сразу. При этом само по себе физическое уничтожение сервера при правильно спроектированной цифровой инфраструктуре не всегда означает потерю данных. В статье разберём, что происходит с сервером в каждом из этих случаев, какие компоненты страдают первыми, как быстро можно вернуть дата-центр в работу и с чем придётся столкнуться при замене оборудования в России сегодня.
 +
 +===== Что происходит с сервером =====
 +
 +Сервер — это электроника с узкими рабочими диапазонами. Отраслевые нормы предписывают держать температуру на входе в сервер в пределах 18–27 °C; на короткие периоды отдельные специально спроектированные модели выдерживают до 45 °C((ASHRAE TC 9.9, Equipment Thermal Guidelines for Data Processing Environments, 5-е изд., 2021. ashrae.org (Reference Card).)). За этими границами начинается работа вне спецификации: паяные соединения и чипы деградируют, а при перегреве некоторые компоненты отключаются, чтобы не сгореть((IBM Elastic Storage System, Recovering from an overheated power supply. ibm.com.)).
 +
 +Видов повреждения три, и каждый влияет по-своему:
 +
 +**Перегрев.** Действует медленно и незаметно. Некоторые типы чипов, например процессоры, устанавливаются на плату через разъём и не припаиваются к ней; большинство же крупных сложных компонентов устанавливается на заводе и не подразумевает замену. Они припаяны к плате множеством крошечных шариков припоя; при каждом нагреве и остывании эти шарики слегка изгибаются и со временем трескаются((Hark Technology, BGA reflow vs reball, 2026. harktech.co.uk.)). Поэтому серверы, работавшие в перегретом машинном зале, выходят из строя не в момент перегрева, а позднее, при следующих циклах включения.
 +
 +**Дым.** Изоляция и пластик при горении выделяют едкие вещества. Смесь этих веществ вместе с сажей оседает на внутренних поверхностях оборудования: исследования показывают, что продукты горения загрязняют серверы в 4–7 раз выше нормы, при которой сервер может продолжать штатное функционирование((Cider L. Cleaning and reliability of smoke-contaminated electronics. Fire Technology, 1993. Springer.)). Как и при перегреве, мгновенной поломки не происходит, но сажа разъедает контакты и через некоторое время приводит к отказам.
 +
 +**Вода и средства тушения.** Соли из воды и огнетушащих составов вместе с кислой сажей замыкают контакты на плате. Эксперименты показали резкий рост нарушения работы печатных плат при влажности 70–75 % — это порог, при котором влага и соли на загрязнённой плате запускают электрохимическую коррозию((Experimental study of water absorption of electronic components... IEEE EPTC, 2014.)). Именно поэтому ущерб от воды при тушении часто сопоставим с ущербом от огня: в пожаре в канадском дата-центре повреждению серверов способствовала вода от сработавших спринклеров((RUБЕЖ, «Серверы в огне», 2026 (кейс Center One, Квебек, июнь 2024).)).
 +
 +Пожары в дата-центрах редки — меньше половины в год по базе Uptime Institute из 8000 инцидентов с 1994 года, — но ложные срабатывания систем пожаротушения причиняют оборудованию больше вреда, чем сами пожары((Uptime Institute, Datacenter Fire Frequency, 03.2021.)).
 +
 +Даже если сервер пережил аварию и заработал, это не значит, что он в порядке: сильный перегрев и задымление сокращают жизненный цикл с нескольких лет до нескольких недель. Повреждённые шарики припоя и контакты дают о себе знать позже, поэтому вероятность скорой поломки такого сервера очень велика.
 +
 +И чем современнее сервер и чем производительнее его компоненты, тем чувствительнее электроника в нём, поэтому современное оборудование страдает первым.
 +
 +===== Восстановление или полная замена =====
 +
 +Принципиальный ответ: восстановление возможно, но оно не возвращает работоспособность бизнеса. Восстановление одного сервера — это разборка, дефектовка, очистка, замена повреждённых деталей и проверка под нагрузкой; такой процесс может занимать несколько дней на сервер без учёта заказа необходимых компонентов((WECENT, How Does WECENT Test Refurbished Servers?, 2026.)). В дата-центре таких серверов тысячи, а проверять их параллельно можно не больше, чем позволяют свободные стойки в специальной тестовой камере. Поэтому восстановление парка может занимать от недель до месяцев, а не дни, — и всё это время бизнес простаивает((Расчёт по данным заказчика, карточка R2 (черновик).)).
 +
 +Реакция на повреждение зависит от его типа и степени.
 +
 +**Полное выгорание — замена.** Дата-центр OVHcloud в Страсбурге, сгоревший в 2021 году, «восстановлению не подлежит»: здание и оборудование уничтожены, на пике были недоступны 3,6 млн сайтов((Secuteck, «Причина выгорания: по итогам расследования пожара в дата-центре OVH», 2022.)). Аналогично в южнокорейском гособлаке при пожаре 2025 года из 647 систем 96 уничтожены огнём напрямую, остальные остановлены превентивно; восстановление шло пересборкой на новых мощностях, а не починкой сгоревшего((The Korea Herald, Recovery from data center fire to take longer than expected, 29.09.2025.)).
 +
 +**Дым и вода — восстановление возможно, но срочно.** Профессиональные восстановители возвращают оборудование после пожара и дымового загрязнения: в одном кейсе оборудование на 145 млн долларов было восстановлено за 9,5 млн долларов с частичным запуском через две недели и полным восстановлением через десять недель((Restoration Management Company, High-Tech Data Center Fire Restoration, Ohio, 2025.)). Ключевое условие — скорость: в первые 24 часа после пожара кислая токопроводящая сажа в смеси с водой начинает коррозию, и включение пострадавшего оборудования усугубляет ущерб((Datarecovery.com, Data Recovery for Fire-Damaged RAID Servers, 2025.)).
 +
 +**Когда решают менять.** Страховые эксперты описывают критерии, по которым восстановление признают бессмысленным: провал тестирования после очистки, коррозионный остаток, видимые следы дугового разряда, повторные отказы((WTW, Why data center insurance claims stall, 05.2026.)). За этими критериями — то же правило, что и в примерах: в какой-то момент расходы на человеческий труд и запчасти превышают цену нового сервера, и рациональнее закупить новое, а ремонт ограничить тем, что можно достаточно быстро и дёшево спасти.
 +
 +===== Какие компоненты страдают сильнее всего =====
 +
 +В подсистемах сервера разные компоненты имеют разную устойчивость.
 +
 +**Блоки питания — первая линия отказа.** Блок питания сервера отключается сам при внутренней температуре 65 °C; к перегреву БП приводят отказ вентилятора, забитые воздуховоды и высокая температура помещения((IBM Elastic Storage System, Recovering from an overheated power supply. ibm.com.)). При массовом перегреве БП выходят из строя раньше остальных компонентов. Иногда это спасает сервер от дополнительного перегрева за счёт его выключения.
 +
 +**Диски.** Температура напрямую связана с отказом жёстких дисков: по исследованию на 443 тысячах дисков, каждый дополнительный градус средней температуры повышает риск отказа примерно на 2 %, а на каждые 10 °C — примерно на 23 %((Siemroth P., Park S. (по arXiv:2606.29078), привод по XDA Developers, 2026.)). Память твердотельных дисков повреждается при экстремально высокой температуре, диск блокируется и данные становятся недостижимыми без инструментов и обращения к производителю((Forensic Science International: Reports, Data recovery in a case of fire-damaged HDD and SSD, 2021.)).
 +
 +**Процессоры и чипы — самое сложное.** Современные GPU и контроллеры припаяны к плате снизу множеством крошечных шариков припоя; при нагреве и остывании эти шарики устают, трескаются, и чип перестаёт работать. Перепаять такой чип — самый дорогой и наименее надёжный способ восстановления: при незначительном повреждении шанс восстановить сложный компонент, например GPU, составляет 50–70 %, а с перепайкой со временем возможны повторные отказы; полноценная замена шариков припоя по всем правилам даёт 80–95 % при живом кристалле((Hark Technology, BGA reflow vs reball, 2026. harktech.co.uk.)).
 +
 +**Батареи и источники бесперебойного питания.** Литий-ионные батареи ИБП — частая причина возгорания, их почти невозможно потушить, и они способны самоподдерживать горение после отключения питания((Secuteck, «Причина выгорания», 2022 (разбор роли литий-ионных батарей).)). В пожаре южнокорейского гособлака возгорание началось именно с батареи, питавшей серверное оборудование((Meduza, «Южнокорейское цифровое правительство пережило коллапс», 07.10.2025.)).
 +
 +===== Если сервер уничтожен: данные =====
 +
 +Физическое уничтожение сервера и потеря данных — разные вещи. Данные выживают за счёт копий, а не сервера.
 +
 +Правило трёх копий работает арифметически: если вероятность отказа одного диска одна сотая, то вероятность одновременного отказа двух — одна десятитысячная, а трёх — одна миллионная((Ontrack, No More Data Loss Nightmares: Unlock the Secrets of Reliable Backups, 2019.)). Поэтому для ценного массива требуется хотя бы одна копия вне площадки: копия, лежащая рядом с сервером, гибнет вместе с ним при пожаре или затоплении((mClouds, «Резервное копирование серверов в облако».)).
 +
 +Если копий нет, остаётся лабораторное восстановление носителей. Лаборатории заявляют о восстановлении более 90 % повреждённых дисков, включая RAID-массивы после пожара и тушения водой((Ontrack, Data Recovery for Individuals. ontrack.com.))((DATARC, «Восстановление данных RAID-массивов».)), а пострадавшие при затоплении ленточные картриджи — в 95 % случаев((Ontrack, Restore 5100 backup tapes damaged by sprinkler system, 2022.)). Однако это ручной труд, и он даёт лишь то, что удалось достать, без гарантии целостности и полноты восстановленных данных. В кластерной системе хранения один накопитель хранит лишь зашифрованный фрагмент распределённого пула данных: сам по себе один восстановленный диск не имеет практического смысла, пока не восстановлена минимально необходимая порция. Многое зависит и от архитектуры хранилища — есть ли у него встроенные средства проверки и самовосстановления. Чтобы убедиться, что данные не повреждены, нужно восстановить как минимум две или более копий и сверить их совпадение.
 +
 +Резервная копия может помочь только когда она есть, а сама массовость резервного копирования остаётся под вопросом: по опросу 3000 ИТ-директоров, 14 % данных вообще не резервируется, а 58 % восстановлений из бэкапов терпят неудачу((Veeam, CXO Research: 58% of Data Backups are Failing, 2021.)).
 +
 +===== Как быстро возвращают дата-центр =====
 +
 +Скорость восстановления делится на две разные задачи: вернуть услуги и восстановить физическую площадку. Время восстановления зависит от используемых технологий обеспечения отказоустойчивости:
 +
 +| Целевое время | Технология | Потеря данных | Что нужно |
 +| Минуты | Автоматический переход между двумя площадками с синхронной репликацией и автоматическим «свидетелем» на третьей площадке | почти ноль | три площадки, синхронная репликация, специализированное ПО((VMware vSAN Stretched Cluster (witness на третьей площадке); Cisco HyperFlex Stretched Cluster Guide; Microsoft Failover Clustering, witness на третьей площадке.)) |
 +| Часы | Ручной переход: обе площадки синхронные, решение принимает администратор | почти ноль | две площадки, дежурная смена, регламент восстановления((Microsoft Failover Clustering, SLA ручного переключения, документация.)) |
 +| Дни | Восстановление из резервных копий на холодной площадке | часы-сутки | регулярные копии вне повреждённой площадки, резервный «холодный ЦОД» и регламент восстановления((Veeam, CXO Research: 58% of Data Backups are Failing, 2021.)) |
 +| Месяцы | Закупка нового оборудования, восстановление без холодной площадки | всё заново без копий | бюджет на закупку((RTVI, «Названы возможные сроки полного восстановления дата-центров "Яндекса"», 12.10.2026.)) |
 +
 +В каждом из подходов, который подразумевает более-менее разумное время восстановления работоспособности ИТ-инфраструктуры компании, главную роль играет регламент, регулярные проверки и «пожарные тревоги», в которых участвуют все ответственные лица.
 +
 +Стоит различать восстановление ИТ-инфраструктуры компании и восстановление самого ЦОД. В реальной жизни, на примере облака OVH, картина немного другая:
 +
 +  * **Уцелевшие машзалы** возвращаются за дни: уцелевшие залы планировали открыть через 5–9 дней после пожара, а основатель компании изначально оценивал восстановление неповреждённых залов в 1–2 недели((The Register, OVH outlines recovery plan, 10.03.2021.))((Habr, «В Страсбурге сгорел дата-центр OVH SBG2», 10.03.2021.)).
 +  * **Уничтоженные машзалы** не возвращаются: полностью сгоревший зал заменяется новым зданием, а строительство занимает годы((Data Center Dynamics, The OVHcloud fire still smolders, 2024.)).
 +  * **Услуги восстанавливаются быстрее железа**: через шесть недель после пожара облако восстановило 94 % затронутых машин, для этого пришлось закупить более 14 тысяч новых серверов и установить их в другие дата-центры((OVHcloud, Strasbourg datacentre: latest information, 23.04.2021.)).
 +
 +Для октябрьских повреждений в дата-центрах «Яндекса» эксперты оценивают восстановление в срок от нескольких недель до месяцев, а при серьёзных повреждениях кластеров — до полутора-двух лет((RTVI, «Названы возможные сроки полного восстановления дата-центров "Яндекса"», 12.10.2026.)). Восстановление парка из тысяч серверов с их дефектовкой и нагрузочным тестированием — отдельная, медленная задача, упирающаяся в доступное место для таких проверок и в человеческие ресурсы.
 +Но не стоит путать ситуацию с пожаром в одном ЦОД OVH и текущее положение на рынке ЦОД в РФ, которое было напряжённым и до потери трёх крупных ЦОД.
 +
 +===== Что сегодня главная проблема при восстановлении =====
 +
 +Для России ответ на этот вопрос однозначный: самое узкое место — не сами деньги на оборудование, а сроки поставок и доступность. За год, с октября 2025 года по октябрь 2026 года, серверы для дата-центров подорожали более чем вдвое((ComNews, «Цена на серверы для ЦОДов выросла в два раза», 09.10.2026.)). Это не разовый скачок, а итог цепочки подорожаний, каждое из которых имеет свою причину:
 +
 +| Период | Подорожание и сроки | Из-за чего |
 +| 2024 год | серверы и СХД — на 24–30 %((CNews, «В России на треть подорожали серверы и СХД», 25.08.2025.)) | инфляция, рост курса, усложнение логистики ввоза, подорожание компонентов((CNews, «В России на треть подорожали серверы и СХД», 25.08.2025.)) |
 +| Первое полугодие 2026 | ещё примерно на 25 %; сроки поставки выросли с 10 до 24 недель((3DNews, «В России серверы подорожали до 35 %», 19.08.2026.)) | глобальный дефицит оперативной памяти: заводы переориентировались на выпуск памяти для ИИ((3DNews, «В России серверы подорожали до 35 %», 19.08.2026.)) |
 +| Октябрь 2025 — октябрь 2026 | более чем вдвое((ComNews, «Цена на серверы для ЦОДов выросла в два раза», 09.10.2026.)) | память подорожала в 5–7 раз; ужесточился контроль производителей GPU за поставками в Россию((ComNews, «Цена на серверы для ЦОДов выросла в два раза», 09.10.2026.)) |
 +
 +Дополнительно всё пространство для размещения уже занято: заполненность коммерческих дата-центров Московского региона оценивается примерно в 99 % при свободной ёмкости 500–600 стоек((Коммерсантъ, «Почему на столичном рынке дата-центров образовался коллапс», 2025.)), поэтому быстро «временно разместить» замену негде. Покупка нового оборудования и его доставка в Россию занимает порядка двух месяцев((RTVI, «Названы возможные сроки полного восстановления дата-центров "Яндекса"», 12.10.2026.)), а для ИИ-серверов — больше полугода((ComNews, «Цена на серверы для ЦОДов выросла в два раза», 09.10.2026.)).
 +
 +===== Вывод =====
 +
 +Повреждённый сервер не всегда обречён: дымовые и водяные повреждения при быстрой профессиональной обработке восстанавливаются, и это бывает в разы дешевле замены((Restoration Management Company, High-Tech Data Center Fire Restoration, Ohio, 2025.)). Но восстановление — задача небыстрая и штучная, а в дата-центре оборудование массовое. Поэтому при серьёзном повреждении работоспособность компании возвращает закупка нового оборудования, а ремонт пострадавшего идёт в фоне; в отдельных случаях — при полном выгорании, коррозии, повторных отказах — замена не просто быстрее, а надёжнее и дешевле((WTW, Why data center insurance claims stall, 05.2026.)). Сами данные при этом почти не страдают: они должны жить в резервных копиях, а не в сгоревшем сервере((Ontrack, No More Data Loss Nightmares: Unlock the Secrets of Reliable Backups, 2019.))((Ontrack, Data Recovery for Individuals. ontrack.com.)). В России восстановление упирается сегодня не в стоимость, а в сроки поставок: серверы дорожают, поставляются за месяцы, а параллельный импорт для них закрыт((3DNews, «В России серверы подорожали до 35 %», 19.08.2026.))((ComNews, «Параллельный тупик», 18.05.2026 (приказ Минпромторга № 4769).)).