Можно ли восстановить повреждённый сервер после пожара или перегрева

Сервер после пожара, сильного перегрева, задымления или залива при тушении чаще всего не погибает целиком — но и восстановить его «как было» удаётся далеко не всегда. Исход зависит от вида повреждения: огонь выводит оборудование из строя навсегда, дым и вода делают его пригодным к ремонту при быстрой и правильной обработке, а перегрев «сжигает» ещё и ресурс компонентов, не убивая их сразу. При этом само по себе физическое уничтожение сервера при правильно спроектированной цифровой инфраструктуре не всегда означает потерю данных. В статье разберём, что происходит с сервером в каждом из этих случаев, какие компоненты страдают первыми, как быстро можно вернуть дата-центр в работу и с чем придётся столкнуться при замене оборудования в России сегодня.

Сервер — это электроника с узкими рабочими диапазонами. Отраслевые нормы предписывают держать температуру на входе в сервер в пределах 18–27 °C; на короткие периоды отдельные специально спроектированные модели выдерживают до 45 °C¹⁾. За этими границами начинается работа вне спецификации: паяные соединения и чипы деградируют, а при перегреве некоторые компоненты отключаются, чтобы не сгореть²⁾.

Видов повреждения три, и каждый влияет по-своему:

Перегрев. Действует медленно и незаметно. Некоторые типы чипов, например процессоры, устанавливаются на плату через разъём и не припаиваются к ней; большинство же крупных сложных компонентов устанавливается на заводе и не подразумевает замену. Они припаяны к плате множеством крошечных шариков припоя; при каждом нагреве и остывании эти шарики слегка изгибаются и со временем трескаются³⁾. Поэтому серверы, работавшие в перегретом машинном зале, выходят из строя не в момент перегрева, а позднее, при следующих циклах включения.

Дым. Изоляция и пластик при горении выделяют едкие вещества. Смесь этих веществ вместе с сажей оседает на внутренних поверхностях оборудования: исследования показывают, что продукты горения загрязняют серверы в 4–7 раз выше нормы, при которой сервер может продолжать штатное функционирование⁴⁾. Как и при перегреве, мгновенной поломки не происходит, но сажа разъедает контакты и через некоторое время приводит к отказам.

Вода и средства тушения. Соли из воды и огнетушащих составов вместе с кислой сажей замыкают контакты на плате. Эксперименты показали резкий рост нарушения работы печатных плат при влажности 70–75 % — это порог, при котором влага и соли на загрязнённой плате запускают электрохимическую коррозию⁵⁾. Именно поэтому ущерб от воды при тушении часто сопоставим с ущербом от огня: в пожаре в канадском дата-центре повреждению серверов способствовала вода от сработавших спринклеров⁶⁾.

Пожары в дата-центрах редки — меньше половины в год по базе Uptime Institute из 8000 инцидентов с 1994 года, — но ложные срабатывания систем пожаротушения причиняют оборудованию больше вреда, чем сами пожары⁷⁾.

Даже если сервер пережил аварию и заработал, это не значит, что он в порядке: сильный перегрев и задымление сокращают жизненный цикл с нескольких лет до нескольких недель. Повреждённые шарики припоя и контакты дают о себе знать позже, поэтому вероятность скорой поломки такого сервера очень велика.

И чем современнее сервер и чем производительнее его компоненты, тем чувствительнее электроника в нём, поэтому современное оборудование страдает первым.

Принципиальный ответ: восстановление возможно, но оно не возвращает работоспособность бизнеса. Восстановление одного сервера — это разборка, дефектовка, очистка, замена повреждённых деталей и проверка под нагрузкой; такой процесс может занимать несколько дней на сервер без учёта заказа необходимых компонентов⁸⁾. В дата-центре таких серверов тысячи, а проверять их параллельно можно не больше, чем позволяют свободные стойки в специальной тестовой камере. Поэтому восстановление парка может занимать от недель до месяцев, а не дни, — и всё это время бизнес простаивает⁹⁾.

Реакция на повреждение зависит от его типа и степени.

Полное выгорание — замена. Дата-центр OVHcloud в Страсбурге, сгоревший в 2021 году, «восстановлению не подлежит»: здание и оборудование уничтожены, на пике были недоступны 3,6 млн сайтов¹⁰⁾. Аналогично в южнокорейском гособлаке при пожаре 2025 года из 647 систем 96 уничтожены огнём напрямую, остальные остановлены превентивно; восстановление шло пересборкой на новых мощностях, а не починкой сгоревшего¹¹⁾.

Дым и вода — восстановление возможно, но срочно. Профессиональные восстановители возвращают оборудование после пожара и дымового загрязнения: в одном кейсе оборудование на 145 млн долларов было восстановлено за 9,5 млн долларов с частичным запуском через две недели и полным восстановлением через десять недель¹²⁾. Ключевое условие — скорость: в первые 24 часа после пожара кислая токопроводящая сажа в смеси с водой начинает коррозию, и включение пострадавшего оборудования усугубляет ущерб¹³⁾.

Когда решают менять. Страховые эксперты описывают критерии, по которым восстановление признают бессмысленным: провал тестирования после очистки, коррозионный остаток, видимые следы дугового разряда, повторные отказы¹⁴⁾. За этими критериями — то же правило, что и в примерах: в какой-то момент расходы на человеческий труд и запчасти превышают цену нового сервера, и рациональнее закупить новое, а ремонт ограничить тем, что можно достаточно быстро и дёшево спасти.

В подсистемах сервера разные компоненты имеют разную устойчивость.

Блоки питания — первая линия отказа. Блок питания сервера отключается сам при внутренней температуре 65 °C; к перегреву БП приводят отказ вентилятора, забитые воздуховоды и высокая температура помещения¹⁵⁾. При массовом перегреве БП выходят из строя раньше остальных компонентов. Иногда это спасает сервер от дополнительного перегрева за счёт его выключения.

Диски. Температура напрямую связана с отказом жёстких дисков: по исследованию на 443 тысячах дисков, каждый дополнительный градус средней температуры повышает риск отказа примерно на 2 %, а на каждые 10 °C — примерно на 23 %¹⁶⁾. Память твердотельных дисков повреждается при экстремально высокой температуре, диск блокируется и данные становятся недостижимыми без инструментов и обращения к производителю¹⁷⁾.

Процессоры и чипы — самое сложное. Современные GPU и контроллеры припаяны к плате снизу множеством крошечных шариков припоя; при нагреве и остывании эти шарики устают, трескаются, и чип перестаёт работать. Перепаять такой чип — самый дорогой и наименее надёжный способ восстановления: при незначительном повреждении шанс восстановить сложный компонент, например GPU, составляет 50–70 %, а с перепайкой со временем возможны повторные отказы; полноценная замена шариков припоя по всем правилам даёт 80–95 % при живом кристалле¹⁸⁾.

Батареи и источники бесперебойного питания. Литий-ионные батареи ИБП — частая причина возгорания, их почти невозможно потушить, и они способны самоподдерживать горение после отключения питания¹⁹⁾. В пожаре южнокорейского гособлака возгорание началось именно с батареи, питавшей серверное оборудование²⁰⁾.

Физическое уничтожение сервера и потеря данных — разные вещи. Данные выживают за счёт копий, а не сервера.

Правило трёх копий работает арифметически: если вероятность отказа одного диска одна сотая, то вероятность одновременного отказа двух — одна десятитысячная, а трёх — одна миллионная²¹⁾. Поэтому для ценного массива требуется хотя бы одна копия вне площадки: копия, лежащая рядом с сервером, гибнет вместе с ним при пожаре или затоплении²²⁾.

Если копий нет, остаётся лабораторное восстановление носителей. Лаборатории заявляют о восстановлении более 90 % повреждённых дисков, включая RAID-массивы после пожара и тушения водой²³⁾²⁴⁾, а пострадавшие при затоплении ленточные картриджи — в 95 % случаев²⁵⁾. Однако это ручной труд, и он даёт лишь то, что удалось достать, без гарантии целостности и полноты восстановленных данных. В кластерной системе хранения один накопитель хранит лишь зашифрованный фрагмент распределённого пула данных: сам по себе один восстановленный диск не имеет практического смысла, пока не восстановлена минимально необходимая порция. Многое зависит и от архитектуры хранилища — есть ли у него встроенные средства проверки и самовосстановления. Чтобы убедиться, что данные не повреждены, нужно восстановить как минимум две или более копий и сверить их совпадение.

Резервная копия может помочь только когда она есть, а сама массовость резервного копирования остаётся под вопросом: по опросу 3000 ИТ-директоров, 14 % данных вообще не резервируется, а 58 % восстановлений из бэкапов терпят неудачу²⁶⁾.

Скорость восстановления делится на две разные задачи: вернуть услуги и восстановить физическую площадку. Время восстановления зависит от используемых технологий обеспечения отказоустойчивости:

В каждом из подходов, который подразумевает более-менее разумное время восстановления работоспособности ИТ-инфраструктуры компании, главную роль играет регламент, регулярные проверки и «пожарные тревоги», в которых участвуют все ответственные лица.

Стоит различать восстановление ИТ-инфраструктуры компании и восстановление самого ЦОД. В реальной жизни, на примере облака OVH, картина немного другая:

• Уцелевшие машзалы возвращаются за дни: уцелевшие залы планировали открыть через 5–9 дней после пожара, а основатель компании изначально оценивал восстановление неповреждённых залов в 1–2 недели³¹⁾³²⁾.
• Уничтоженные машзалы не возвращаются: полностью сгоревший зал заменяется новым зданием, а строительство занимает годы³³⁾.
• Услуги восстанавливаются быстрее железа: через шесть недель после пожара облако восстановило 94 % затронутых машин, для этого пришлось закупить более 14 тысяч новых серверов и установить их в другие дата-центры³⁴⁾.

Для октябрьских повреждений в дата-центрах «Яндекса» эксперты оценивают восстановление в срок от нескольких недель до месяцев, а при серьёзных повреждениях кластеров — до полутора-двух лет³⁵⁾. Восстановление парка из тысяч серверов с их дефектовкой и нагрузочным тестированием — отдельная, медленная задача, упирающаяся в доступное место для таких проверок и в человеческие ресурсы. Но не стоит путать ситуацию с пожаром в одном ЦОД OVH и текущее положение на рынке ЦОД в РФ, которое было напряжённым и до потери трёх крупных ЦОД.

Для России ответ на этот вопрос однозначный: самое узкое место — не сами деньги на оборудование, а сроки поставок и доступность. За год, с октября 2025 года по октябрь 2026 года, серверы для дата-центров подорожали более чем вдвое³⁶⁾. Это не разовый скачок, а итог цепочки подорожаний, каждое из которых имеет свою причину:

Дополнительно всё пространство для размещения уже занято: заполненность коммерческих дата-центров Московского региона оценивается примерно в 99 % при свободной ёмкости 500–600 стоек⁴³⁾, поэтому быстро «временно разместить» замену негде. Покупка нового оборудования и его доставка в Россию занимает порядка двух месяцев⁴⁴⁾, а для ИИ-серверов — больше полугода⁴⁵⁾.

Повреждённый сервер не всегда обречён: дымовые и водяные повреждения при быстрой профессиональной обработке восстанавливаются, и это бывает в разы дешевле замены⁴⁶⁾. Но восстановление — задача небыстрая и штучная, а в дата-центре оборудование массовое. Поэтому при серьёзном повреждении работоспособность компании возвращает закупка нового оборудования, а ремонт пострадавшего идёт в фоне; в отдельных случаях — при полном выгорании, коррозии, повторных отказах — замена не просто быстрее, а надёжнее и дешевле⁴⁷⁾. Сами данные при этом почти не страдают: они должны жить в резервных копиях, а не в сгоревшем сервере⁴⁸⁾⁴⁹⁾. В России восстановление упирается сегодня не в стоимость, а в сроки поставок: серверы дорожают, поставляются за месяцы, а параллельный импорт для них закрыт⁵⁰⁾⁵¹⁾.