С ростом мощности серверных стоек возрастает и тепловая нагрузка на машинный зал. Если холодный воздух смешивается с нагретым потоком от серверов, эффективность охлаждения снижается, а на входе отдельных стоек могут появляться зоны повышенной температуры.
Современное система охлаждения строится на управляемом движении воздушных потоков. Охлажденный воздух должен поступать непосредственно к воздухозаборам серверов, а нагретый – отводиться обратно к климатическому оборудованию без смешивания с холодным потоком.
Если эта схема нарушается, часть горячего воздуха возвращается к оборудованию, температура на входе серверов повышается, а система охлаждения начинает расходовать больше энергии. Поэтому при проектировании ЦОД важно не только обеспечить достаточную холодопроизводительность, но и правильно организовать распределение воздуха в машинном зале.
Избыточное давление в холодном коридоре: для чего
В холодный коридор подают немного больше воздуха, чем в конкретный момент отбирают серверы. За счет этого поддерживается небольшой положительный перепад давления относительно соседних зон.
Такой подпор нужен не для искусственного повышения давления, а для стабильной подачи холодного воздуха к стойкам. Он также снижает риск подсоса нагретого воздуха через щели, дверные проемы и другие неплотности.
Предотвращение подмеса горячего воздуха
Серверы забирают охлажденный воздух через фронтальную часть стойки, пропускают его через оборудование и выбрасывают нагретый поток с тыльной стороны. Если холодный и горячий коридоры разделены плохо или холодного воздуха недостаточно, часть горячего потока может возвращаться к серверным стойкам.
Это приводит к тому, что повышается температура воздуха, подаваемого к серверам, что заставляет встроенные вентиляторы работать интенсивнее. В результате увеличивается энергопотребление и снижается эффективность охлаждения.
Герметизация коридора и небольшой положительный перепад давления помогают сохранить правильное направление потока: из холодного коридора через серверы – в горячую зону, без обратной рециркуляции.
Стабильность температуры по высоте стойки
Если холодный воздух распределяется неравномерно, нижняя часть стойки может охлаждаться нормально, а к верхним серверам будет поступать уже более тёплый воздух. В результате температура на входе оборудования по высоте стойки может существенно различаться.
Одной изоляции холодного коридора для решения этой проблемы недостаточно. Нужно правильно организовать подачу воздуха по всей длине ряда, подобрать решётки или другие воздухораспределители и согласовать производительность системы охлаждения с фактическим расходом воздуха через серверы.
При корректной балансировке температура на входе в стойки становится более равномерной, а риск локальных зон перегрева снижается. Слишком высокая скорость потока, наоборот, может нарушить распределение воздуха и ухудшить охлаждение отдельных участков.
Организация холодных и горячих коридоров
Стойки размещают так, чтобы их фронтальные стороны были обращены друг к другу. Между ними образуется холодный коридор, откуда серверы забирают охлажденный воздух. Нагретый воздух выходит с тыльной стороны стоек в горячие коридоры.
Чтобы потоки не смешивались, холодный или горячий коридор изолируют дверями, перегородками и верхними панелями. Для типовых серверных залов обычно достаточно инженерного расчёта и последующей балансировки системы. CFD-моделирование применяют при высокой плотности мощности, сложной геометрии помещения или нестандартной схеме подачи воздуха.
Расчет необходимого давления и скорости воздуха
Требуемый расход воздуха зависит прежде всего от тепловой мощности IT-оборудования и допустимого нагрева воздуха при прохождении через серверы.
Для предварительной оценки можно использовать зависимость:
V ≈ 3000 × P / ΔT,
где V – расход воздуха, м³/ч, P – тепловая мощность оборудования, кВт, ΔT – разница температур воздуха на входе и выходе серверов, °C.
Например, для стойки мощностью 10 кВт при ΔT = 12 °C потребуется около 2500 м³/ч воздуха. Точное значение уточняют по характеристикам конкретных серверов и системе воздухораспределения.
Перепад давления между холодным коридором и соседними зонами также рассчитывают индивидуально. Его должно быть достаточно для стабильной подачи воздуха к стойкам, но без избыточного байпаса и лишних энергозатрат. Окончательную настройку выполняют при пусконаладке по данным датчиков температуры, расхода и давления.
Герметизация кабельных вводов и зазоров
Даже правильно рассчитанная система охлаждения теряет эффективность, если часть холодного воздуха уходит в обход серверов. Поэтому при организации коридоров важно закрыть основные пути утечек.
Обычно для этого применяют:
- заглушки в свободных юнитах серверных стоек;
- щеточные или уплотненные кабельные вводы;
- закрытие технологических отверстий в фальшполе;
- уплотнение зазоров между стойками и ограждением коридора.
Особенно важны заглушки в незанятых местах стоек. Без них холодный воздух проходит через шкаф в обход оборудования и смешивается с горячим потоком. В результате увеличивается рециркуляция и ухудшается охлаждение серверов.
Ошибки при организации коридоров
Основные проблемы возникают при неправильном балансе воздушных потоков. Если холодного воздуха недостаточно, часть нагретого потока возвращается к входам серверов. Если воздуха подается слишком много, часть его проходит мимо оборудования, а вентиляторы системы охлаждения расходуют лишнюю электроэнергию.
Поэтому после монтажа систему нужно не просто запустить, а отбалансировать при фактической IT-нагрузке и проверить распределение температуры и давления по всему залу.
Отсутствие сенсоров и ручное управление
Расход воздуха через серверы меняется вместе с вычислительной нагрузкой и скоростью встроенных вентиляторов. Поэтому работа климатического оборудования с постоянной производительностью не всегда эффективна.
Для автоматического регулирования устанавливают датчики температуры на входе в стойки, а также датчики статического или дифференциального давления. По их сигналам система изменяет скорость вентиляторов CRAH/CRAC и подстраивает подачу воздуха под текущую нагрузку.
Критичные элементы автоматики и охлаждения также резервируют по питанию. При кратковременном отключении сети их работу поддерживает ИБП, а при более длительном перерыве нагрузку принимает резервная генераторная установка.
Чем опасен перепад давления
Проблемы возникают, когда перепад давления между холодным коридором и соседними зонами слишком мал или, наоборот, слишком велик. Его величина зависит от объема подаваемого воздуха, расхода через серверы и герметичности коридора. Если воздуха подается недостаточно, давление в холодном коридоре снижается, и через щели или открытые проемы начинает подсасываться нагретый воздух.
Избыточная подача тоже нежелательна. Часть холодного воздуха проходит мимо серверов, возрастает энергопотребление вентиляторов, а распределение потоков становится менее равномерным. При слишком большом перепаде давления дополнительно увеличивается нагрузка на двери и элементы ограждения коридора.
Поэтому для эффективного охлаждения ЦОД поддерживают небольшой положительный перепад давления, достаточный для стабильной подачи воздуха к стойкам. Настройку выполняют по фактической IT-нагрузке, контролируя температуру и давление в разных точках серверного зала.