Холод из глубины

А. М. Эрлих, генеральный директор ООО «ПрофАйТиКул», profitcool.ru

В. Е. Казаков, начальник проектного отдела ООО «ПрофАйТиКул»

Эксперты по охлаждению центров обработки данных (ЦОД) из разных стран много пишут о том, сколько электроэнергии потребляют ЦОД. Они по-прежнему являются объектами с высоким уровнем энергопотребления. При этом все больше общественных зданий различного назначения   также организуют серверные для своих клиентов. В этом случае значение приобретает охлаждение не только IT-помещений, но и меняется охлаждение всего здания целиком. Как бы ни был хорош фрикулинг, с определенной температуры зданию требуется другой вид охлаждения. Традиционно с этой целью используется компрессорное охлаждение, которое требует большого количества электроэнергии. Появляется еще и дополнительная необходимость в резервной системе, обеспечивающей работу компрессоров даже в случае отключения электроэнергии. И стоимость такой системы в большинстве случаев превышает стоимость самой системы охлаждения.

При современных рыночных ценах на услуги коллокации, а также при необходимых для запуска коммерческого ЦОД инвестиционных затратах и сопряженных с работой ЦОД эксплуатационных затратах окупаемость такого инвестиционного объекта составит в самом оптимистичном случае 10–15 лет.

Выгодный ЦОД

Решение по удешевлению ЦОД и значительному сокращению сроков его окупаемости – это грунт. На глубине от 10 до 100 м его температура не меняется в течение года и составляет, в зависимости от местности, 8–12 °C¹. Опыт показывает, что в течение года возможны колебания температуры грунтов порядка 2 °C. Этот аспект обязательно нужно учитывать при проектировании системы.

Различают две технологии теплообмена с грунтами: с прямым использованием грунтовых вод и с использованием грунтовых теплообменников.

Первая технология позволяет напрямую отдавать тепло грунтовой воде без каких-либо промежуточных элементов. Специальной водоподготовки для использования в системе охлаждения грунтовой воды, как правило, не требуется – только фильтрация. И то только в случае прямого использования в холодильной системе. Важно, чтобы грунтовые воды находились на глубине не менее 5 м, иначе их температура будет сильно колебаться в зависимости от времени года, и не более 15 м, иначе инвестиционные затраты на их использование становятся экономически невыгодными.

С экологической точки зрения использование грунтовых вод безвредно, поскольку количество забираемой и возвращаемой обратно в подземный поток воды неизменно. Загрязнение грунтовых вод легко можно избежать системой фильтров. Если же грунтовая вода циркулирует во вторичном контуре, загрязнить ее просто невозможно. Небольшой нагрев используемой грунтовой воды при небольшом ее количестве можно считать несущественным.

При использовании второй технологии теплоноситель отдает тепло грунту через стенки труб, помещенных непосредственно в грунт. Эффективность данной системы тем выше, чем лучше теплоотдача окружающих теплообменник грунтов.

Решающим преимуществом обеих технологий охлаждения является наиболее низкое из всех существующих систем охлаждения энергопотребление: холодный воздух предоставляется практически бесплатно. Долгосрочно постоянная температура грунтов и независимость от внешних температур делают компрессорное охлаждение излишним.

Принцип действия

Принцип действия системы на основе первой технологии очень прост. В машинном зале располагается система теплообменников, охлаждающих воздух. Внутри водовоздушных теплообменников протекают грунтовые воды, нагнетаемые насосом из заборной скважины. Нагретая на 5–10 °C за счет охлаждения воздуха вода сбрасывается затем в сливную скважину или водоем, расположенные по направлению потока на значительном расстоянии от места забора грунтовых вод.

Энергия в данном случае тратится в основном на обеспечение работы насосов и вентиляторов в машинном зале. PUE² такой системы как среднегодовой, так и пиковый, составляют 1,06–1,08, т.е. на 100 кВт IT-нагрузки будет затрачено 106–108 кВт электроэнергии. Для сравнения, среднегодовой PUE классической системы с использованием механического, компрессорного охлаждения превышает 1,4, а пиковый обычно оказывается более 1,8. И как следствие, возможны как значительные инвестиции в строительство инженерной инфраструктуры для возможности работы системы при пиковых значениях энергопотребления («летний максимум»), так и значительные расходы на оплату счетов на электроэнергию.

Абсолютно все водовоздушные теплообменники, используемые в системе охлаждения, применимы для системы охлаждения на основе использования грунтовых вод. Это могут быть как холодные стены, так и прецизионные кондиционеры и теплообменники системы вентиляции (рис. 1). При этом размещать теплообменники можно как под фальшполом, так и в стене либо на техническом этаже.

Рисунок 1. Холодные стены забирают воздух из горячих коридоров и выпускают охлажденный воздух в холодный бассейн

Вторая технология немногим отличается от первой: вместо прямого использования грунтовых вод вода системы охлаждения циркулирует по замкнутому контуру, не смешиваясь с грунтовыми водами. При этом часть трубопроводов/теплообменников находится непосредственно в грунтах или в потоке грунтовых вод, охлаждаясь ими через стенку. С экологической точки зрения это более «чистый» вариант использования грунтов для охлаждения, чем прямой. С точки зрения теплообмена мы теряем на охлаждении таким способом 1–2 °C, что при современных нормах ASHRAE не является критичным. Связанное с этим увеличение площади теплообмена внутренних теплообменников оказывает незначительное влияние на увеличение инвестиционных затрат и на оперативных затратах практически не сказывается.

Оценка инвестиционных затрат

Позвольте воспользоваться собственным опытом и привести объективное сравнение.

Итак, примем, что система охлаждения состоит из двух контуров: во внутреннем циркулирует рабочая жидкость (тоже вода), в наружном – грунтовые воды. Глубина скважин составляет 10 м. Резервирование N + 1. Количество стоек – 200, средняя нагрузка на стойку  – 10 кВт. Необходимо обеспечить климатические параметры в помещениях ЦОД в соответствии с требованиями ASHRAE TC 9.9 Thermal Guidelines for Data Processing Environments (2011) для оборудования класса А1.

Инвестиционные затраты на инженерную инфраструктуру ЦОД, охлаждаемого грунтовыми водами, составят в этом случае 2,6 млн евро. В стоимость включены скважины. В качестве теплообменников в машинном зале используются холодные стены нашего производства.

Инвестиционные затраты на инженерную инфраструктуру ЦОД с классической инженерной архитектурой без фрикулинга составят порядка 5 млн евро. Инвестиционные затраты приведены для Германии. В связи с отсутствием охлаждаемых грунтовыми водами ЦОД в Российской Федерации провести корректный расчет инвестиционных затрат не представляется возможным.

Затраты на получение разрешений

Применение этой в большинстве случаев замечательной и недорогостоящей системы охлаждения зависит, к сожалению, от ряда внешних факторов.

Прежде всего необходимо проверить соответствие геологических требований на площадке: подземные воды должны быть доступны на экономически достижимой глубине, в достаточном количестве, с достаточной температурой и скоростью подземной реки. Для того чтобы нагретая вода, возвращенная в поток, не вернулась в систему охлаждения ЦОД, нужно выбрать удовлетворяющее этим условиям расстояние между заборной и сливной скважинами.

Власти, со своей стороны, устанавливают дополнительные рамочные условия: концепция водопользования, должна разрешать использование подземных вод для охлаждения ЦОД. Кроме того, процедуры подачи заявок и утверждения для ЦОД с охлаждением грунтовых вод значительно более длительны и сложны, чем для обычного ЦОД. Несмотря на то что в Мюнхене и окрестностях, например, на сегодняшний день грунтовыми водами охлаждаются уже более 20 такого рода объектов, получение разрешения от местных властей затягивается, как правило, на несколько лет.

Такие длительные сроки получения разрешений делают строительство экологичных ЦОД в новых экономических зонах, например, просто невозможным, поскольку на освоение выданных на льготных условиях участков общины дают от двух до пяти лет.

Награда за стойкость

Скважинная система ЦОД, охлаждаемого при помощи грунтовых вод, может эксплуатироваться без замены и/или капитальных ремонтов сроком от 30 до 40 лет, а компрессорная – только около десяти лет. При таком длительном сроке эксплуатации инвестиции в систему охлаждения ЦОД на основе грунтовых вод становятся еще привлекательнее. Инвестиции на системы обеспечения аварийного электроснабжения правильно спроектированного ЦОД с системой охлаждения грунтовыми водами также невелики.

Малые инвестиционные и оперативные затраты дадут существенное конкурентное преимущество. Вы можете «убить» конкурентов нереально низкими ценами на ваши услуги, вытеснив их с рынка. А можете просто очень хорошо зарабатывать.

Несколько примеров

ЦОД научно-исследовательского центра BMW Group в Мюнхене Чтобы охладить исследовательский центр BWM Group в Мюнхене в 2001 году Stadtwerke Munchen вместе с BMW Group разработала новый проект. Грунтовые воды для охлаждения ЦОД были взяты из водопропускных сооружений, обеспечивающих отвод грунтовых вод от линии мюнхенского метро. Для снятия 3,5 МВт IT-нагрузки с 500 стоек были задействованы 600 м3/час грунтовых вод3. Вода забирается со стороны притока, затем достигает исследовательского центра BMW Group по трубопроводу длиной 4,6 км. Система охлаждения состоит из двух контуров. Протекающие по первому контуру грунтовые воды, температура которых составляет 12 °C, отдают холод внутреннему контуру, нагреваясь до 17 °C. После этого возвращаются в цикл подземных вод на стороне ниже по течению от водоотвода. Инновационная в то время система охлаждения грунтовыми водами практически полностью исключает выбросы CO2. Кроме того, на эксплуатацию этой системы требуется на 90 % меньше электроэнергии, чем на традиционное компрессорное охлаждение. Оставшиеся 10 % (0,06 кВт/ч) потребляют в основном насосы, транспортирующие грунтовые воды. Система охлаждения работает полностью автоматически. Оснащенные частотниками насосы позволяют легко регулировать поток, что дополнительно экономит электроэнергию. По сравнению с классическим компрессорным охлаждением система требует меньших затрат на обслуживание. Stadtwerke Munchen и BMW Group получили за этот проект приз Баварского правительства за инновационные достижения в области рационального использования энергии, возобновляемых источников энергии и новых энергетических технологий в 2006 году. ЦОД уровня безопасности TIER III – IGN GmbH Не все ЦОД на системах охлаждения грунтовыми водами автоматически успешны. Для строительства ЦОД компанией IGN GmbH был выбран мюнхенский район Гизинг. Геологическое расположение было благоприятным для использования грунтовых вод в системе охлаждения: они имеют постоянную температуру 11,3 °C в течение всего года и сравнительно высокую скорость потока4. Грунтовые воды добываются из двух всасывающих скважин и подаются в теплообменники через систему насосов, каждый из которых потребляет всего лишь 1,8 кВт. Насосы также зарезервированы. Далее грунтовые воды охлаждают замкнутый вторичный водный контур, нагреваясь при этом на 5 °C, и возвращаются обратно в слой почвы через две сливные скважины. Всасывающие и сливные скважины находятся на расстоянии 300 м, поэтому зацикливание в круговороте воды невозможно. Проблема системы заключается в конфигурации внутреннего контура. Она запроектирована с таким количеством ошибок, что PUE системы составляет 1,2 (!). Для сравнения, такое же или чуть более низкое значение PUE можно получить при использовании системы прямого или косвенного воздушного охлаждения с летним компрессорным охлаждением. Потребление электроэнергии спроектированной для IGN GmbH системы всего лишь на 30 % ниже, чем у обычной компрессорной системы, что автоматически повлекло большие инвестиционные затраты на энергетику. Для обеспечения необходимого уровня надежности ЦОД (TIER III) для IGN GmbH было предложено использовать по три системы бесперебойного электропитания (ИБП) на каждую линию электропитания, размещенные в двух отдельных (согласно нормам пожарной безопасности) помещениях. Таким образом, концепция ИБП должна обеспечивать необходимое для сертификации резервирование N + 1. В стационарном режиме система охлаждения грунтовыми водами получает электричество от города. В случае полного отключения электроснабжения здания на несколько секунд запускается дизель-генератор. В дополнение ко всем избыточным опциям для этого ЦОД была запроектирована аргонная система пожаротушения инертным газом. В итоге всех мероприятий и изначальной ошибки проектирования инвестиционные затраты на проект превысили инвестиционные затраты обычного ЦОД, охлаждаемого классической чиллерной системой. Нужно добавить, что более чем из 100 ЦОД в Германии, охлаждаемых грунтовыми водами, этот оказался единственным дорогостоящим. 3 Источник «Einsatz von Fernkalte aus Grundwasseruberleitungen fur ein Rechenzentrum in Munchen» // М. Арнольд, 2006 . 4 Источник: www.datacenter-insider.de. «Cool Water auf Tier 3 Bei IGN kuhlt ein Brunnen das Rechenzentrum» // В. Ритт и Т. Веллер.

¹ Источник https://de.climate-data.org/

² Power Usage Effectiveness (PUE) – показатель энергоэффективности ЦОД. Его значение определяется как соотношение общей мощности, которую потребляет весь ЦОД, к мощности, потребляемой непосредственно IT-оборудованием, которое задействовано в процессе обработки и хранения данных этого ЦОД.