Инновации, необходимые для охлаждения современных дата-центров

Усиление тепловой нагрузки

Индустрия дата-центров ведет всё более ожесточённую борьбу с перегревом. Современные центры обработки данных представляют собой промышленные комплексы, где практически каждый потреблённый ватт электричества превращается в тепло.

Основой инфраструктуры служат серверные стойки, включающие от сотен до десятков тысяч серверов. В них интегрируются вычислительные блоки (CPU, GPU), модули памяти, накопители, сетевые компоненты и источники питания. Рост вычислительных нагрузок, связанных с обучением и применением искусственного интеллекта, привёл к стремительному увеличению плотности размещения оборудования в стойках: если ранее потребление на стойку составляло 10 кВт, то сегодня оно превышает 120 кВт. Обеспечение энергопитания и эффективного отвода тепла требует новых инженерных решений.

Недостатки традиционных подходов

Простое улучшение существующих методов уже недостаточно — отрасль нуждается в прорывных технологиях, способных многократно повысить эффективность систем охлаждения.

Хотя охлаждение всегда было важным фактором при проектировании ЦОД, современные тепловые вызовы сделали традиционную инфраструктуру воздушного охлаждения фактически устаревшей. Сегодня охлаждение занимает второе место по капитальным затратам после систем электроснабжения и является крупнейшей статьёй не-IT операционных расходов. Более того, именно в этой области наблюдаются самые высокие риски и одновременно — наибольший потенциал для инноваций.

Ограничения воздушного охлаждения

Классический показатель эффективности дата-центра — PUE (Power Usage Effectiveness). Средний показатель по индустрии — около 1,6, в то время как ведущие гипермасштабные операторы (AWS, Google, Meta) достигают значений порядка 1,1. Для этого применяются методы воздушной экономизации, термоконтейнирования и моделирования потоков воздуха (CFD). Но эти подходы близки к пределу возможностей: современные чипы, например, Nvidia H100, имеют тепловой пакет до 700 Вт, а новые поколения будут превышать 1500 Вт.

Воздушное охлаждение ограничено не только по мощности, но и по геометрии и термодинамике. Чтобы рассеять более 100 кВт тепла с помощью воздуха, требуются гигантские вентиляторы, массивные воздуховоды и значительные площади. На практике предел мощности для стойки с воздушным охлаждением — 40-50 кВт. При превышении этого уровня возрастают энергозатраты на вентиляторы, увеличивается риск горячих точек и отказа оборудования. Технологии задних дверных теплообменников (RDHx) расширяют возможности, но сопровождаются сложностью эксплуатации, ростом CAPEX и высоким энергопотреблением вентиляторов.

Влияние на энергетику и инфраструктуру

Потребности в охлаждении напрямую связаны с общим энергопотреблением. Крупнейшие операторы планируют инвестировать свыше 1 трлн долларов в ближайшие 5 лет, и проектирование тепловых систем становится ключевым ограничивающим фактором. В США ожидается рост энергопотребления дата-центров с 25 до 80 ГВт, что составит до 12% национального потребления. В Европе рост составит с 10 до 35 ГВт. Фактически гипермасштабные проекты требуют перестройки энергосистемы на уровне энергосетей.

Помимо этого, экологические и нормативные факторы усиливают необходимость внедрения энергоэффективных решений. В рамках стандартов ЕС (Taxonomy, SFDR) инфраструктура охлаждения должна соответствовать нормам энергоэффективности, углеродного следа и водопотребления. Показатели ESG становятся критерием закупок, особенно для государственных и промышленных заказчиков.

Жидкостное охлаждение как новый стандарт

Требование к энергоэффективному высокоплотному развертыванию не ограничивается гипермасштабными операторами. К нему приходят телекоммуникационные компании, промышленные предприятия, государственные структуры и исследовательские центры. Основной вывод: жидкостное охлаждение — это не просто оптимизация, а необходимое условие.

Аналитики SemiAnalysis и Dell’Oro прогнозируют ускоренный переход к архитектурам жидкостного охлаждения на уровне стоек и модулей. Расходы на внедрение таких систем будут расти с CAGR 14% и превысят 61 млрд. долларов к 2029 году. Несмотря на сложности масштабирования и обслуживания решений полного погружения, тренд очевиден: жидкость становится основным рабочим телом для отвода тепла.

Преимущество жидкостных систем заключается в том, что вода и диэлектрические жидкости способны поглощать в тысячи раз больше тепла на единицу объёма, чем воздух. Это позволяет проектировать компактные и более эффективные системы.

Переход на серверный уровень

Примером служит платформа Nvidia GB200 NVL72, изначально спроектированная под прямое жидкостное охлаждение (DTC). Тот же путь выбирают Google, Meta, Microsoft и AWS, внедряя DTC в новые дата-холлы или модернизируя существующие. Однако модификация (ретрофит) на базе воздушных залов неэффективна и довольно затратная процедура.

На данный момент отрасль использует промежуточные решения: гибридные системы, боковые модули L2A, RDHx. Эти подходы лишь временно поддерживают развёртывание GPU, но сопровождаются высоким водопотреблением, значительными затратами и ограниченной масштабируемостью. По мере движения к стойкам мощностью 1 МВт и системам с раздельным питанием и охлаждением становится очевидно: традиционные модели не справляются. Согласно TCO-анализу Nvidia, L2A — самый дорогой путь с точки зрения капитальных и эксплуатационных затрат.

Оптимальное направление развития

Время на построение инфраструктуры для будущих поколений чипов ограничено. Отказ от воздушного охлаждения в пользу прямого жидкостного — лишь часть решения. Требуется переосмысление принципов отвода тепла. Полное погружение оборудования в жидкости признано слишком дорогим и сложным для масштабирования. Единственным перспективным направлением остаётся автономное жидкостное охлаждение на уровне серверов. Оно сочетает высокую эффективность, характерную для полного погружения, с более низкими затратами внедрения, упрощённым обслуживанием и сниженным воздействием на окружающую среду. Именно этот подход обеспечивает наиболее жизнеспособное и экономически оправданное долгосрочное решение для охлаждения серверов нового поколения.