Центры обработки данных: особенности проектирования и эксплуатации

Сергей Махлин, руководитель направления электромеханических систем:

– Типовые проекты дата-центров России невозможны из-за серьезной разницы в климатических условиях регионов, большого разброса среднегодовой температуры, различной стоимости энергоресурсов. Очевидно, что важную роль играют бизнес-требования заказчика, наличие источников энергоснабжения, особенности площадки. Далее я расскажу, какие аспекты являются ключевыми на этапе проектирования.

1. Климатические условия. При разработке проекта ЦОД принимаются во внимание данные строительной климатологии, таблицы ASHRAE, максимальные и минимальные температуры для данной местности. На основе этой информации подбираются, например, решения для систем охлаждения. Так, в северных регионах могут эффективно применяться технологии фрикулинга, а в южных допустимы решения с использованием солнечных батарей для снятия пиков нагрузки. Адиабатическое охлаждение может использоваться в Центральной России, но оно вряд ли подойдет для районов с высокой влажностью. Мы несколько раз анализировали целесообразность применения этого способа в приморском климате, и расчеты показали, что в условиях влажного климата использование адиабатической системы невыгодно.

2. Особенности площадки. Если ЦОД располагается в уже построенном здании, то это накладывает на проектировщика многие дополнительные ограничения, сужающие возможности по оптимизации объекта: габариты, несущие способности, окружение, противопожарные разрывы и т. п. Например, центр обработки данных «Компрессор» ИТ-компании КРОК был открыт в уже существующем заводском цехе, поэтому при его создании потребовалось построить перекрытия, превратив высокое одноэтажное здание в трехэтажное. Это позволило эффективно разместить в здании ИТ-оборудование и инженерную инфраструктуру.

3. Требования заказчика. Поскольку заказчик не всегда знает, какое IT-оборудование может потребоваться, усилия проектировщиков также направлены на максимальную универсальность и гибкость инженерной инфраструктуры. Например, мы стараемся делать «холодный» коридор шириной 2,4 метра: это дает возможность устанавливать и негабаритное оборудование, и оборудование, которому требуется большая мощность.

Основные коллизии в проектировании ЦОД связаны с плохой согласованностью действий проектировщиков разных систем и отсутствием опытного координирующего технического специалиста, который комплексно контролирует проект. Чтобы сократить количество коллизий, рекомендуем даже предпроектные решения и небольшие проекты выполнять в BIM-среде, снижая тем самым количество нестыковок на этапе строительства.

От того, насколько тесным и эффективным будет взаимодействие всех работающих над проектом специалистов, зависит не только качество проекта, но и последующая эксплуатация дата-центра. Рассмотрим, к примеру, ключевое значение PUE (Power Usage Effectiveness). Если в среднем по рынку этот среднегодовой параметр составляет 1,5, то в результате творческого подхода и плотного взаимодействия инженеров на этапе проектирования можно добиться его существенного снижения. Это позволит заказчику сэкономить миллионы рублей на этапе эксплуатации. Кстати, в идеальном варианте представитель заказчика и эксплуатирующая служба также привлечены к процессу проектирования.

В целом проектирование ЦОД – достаточно консервативная отрасль, и к нововведениям как заказчики, так и проектировщики относятся довольно осторожно. Несмотря на то что системы охлаждения в дата-центрах – второй после IT-нагрузки источник затрат на электроэнергию, энергосберегающие технологии в России применяются ограниченно. Причина – низкие по сравнению с другими странами цены на энергоресурсы. Так, до сих пор, в зависимости от объемов и размеров ЦОД, для охлаждения активно используются фреоновые и чиллер-фанкойл-системы. По нашим прогнозам, пройдет немало лет, прежде чем решения с косвенным фрикулингом, иммерсионным охлаждением и рекуперацией тепла начнут составлять значимую конкуренцию «традиционным» способам.

Важным этапом создания ЦОД является сертификация, которую проводит Uptime Institute на соответствие стандартам Tier. Ее проведение возможно, начиная с проектной документации, и далее – на этапах запуска и эксплуатации (программы Design, Facility, Operations). Сертификация не налагает требований к определенным проектным решениям и технологиям: любое из них может быть признано приемлемым, если оно отвечает требованиям надежности, избыточности и отказоустойчивости. Такой подход позволяет использовать широкий спектр инфраструктурных и системных решений  обеспечить заказчику оптимальную работу ЦОД.

Павел Горюнов, технический директор ЦОД «Компрессор»:

– ЦОД «Компрессор» был запущен в эксплуатацию в 2011 году. В 2019 году он прошел повторную сертификацию Uptime Institute, подтвердив соответствие категории Tier III – Certification of Operational Sustainability – уровня Gold. На сегодняшний день это наивысший уровень отказоустойчивости среди коммерческих дата-центров в России. Он свидетельствует о том, что в ЦОД эффективно выстроены все процессы эксплуатации, а методики и регламенты обслуживания соответствуют мировым практикам.

Категория Tier III соответствует ожидаемому уровню безотказной работы 99,982 % – 95 минут простоя в год. При этом ЦОД «Компрессор» работает без простоя с момента открытия. Кроме того, дата-центр такого уровня не требует остановки работы оборудования для замены «железа» и обслуживания.

Для эффективной и стабильной работы ЦОД мы используем следующие решения:

фрикулинг. Он стал неотъемлемой частью системы охлаждения. Когда на улице температура от 0 до 10 °C, используется микс-режим, а при температуре ниже нуля применяется только фрикулинг. Это позволяет нам снизить расходы на потребление примерно до 30 % в год;

Io T. В нашем дата-центре используется беспроводной анализ температуры в машинных залах. Эта технология работает на базе промышленного IoT, который контролирует климатические параметры в ЦОД и предотвращает перегрев вычислительного оборудования. Программно-аппаратное решение включает беспроводные датчики, устанавливаемые в серверном помещении, и аналитический центр, размещенный в облаке. Датчики системы каждые 30 секунд фиксируют показатели температуры и влажности и в онлайн-режиме отправляют их в мониторинг. При выявлении потенциально опасных трендов программа сообщает об этом инженерам службы эксплуатации ЦОД. На первом этапе внедрения такая технология позволила нам выявить неоптимальные зоны в некоторых серверных. Впоследствии мы скорректировали их путем дополнительного физического разграничения горячих и холодных коридоров, а также настроек систем охлаждения ЦОД. Отмечу, что система позволила сэкономить порядка 5 % затрат на электроэнергию в год, а сами датчики могут работать автономно не менее двух лет без замены источников питания;

VR. Виртуальный тренажер для обучения персонала. Более 80 % отказов дата-центров связаны с человеческим фактором, поэтому необходимы постоянное обучение и тренировка сотрудников ЦОД. У нас есть опыт применения цифровой модели дата-центра со всеми комнатами и технологическими установками – это по сути, полный прототип объекта для тренажера в виртуальной среде. Такой VR-тренинг моделирует ситуацию аварийного переключения питания на дизель-генераторы и позволяет эффективно отработать действия при сценариях отказов;

CMMS. В ЦОД «Компрессор» мы дополнительно применяем CMMS-систему для регистрации и отслеживания всех типов проведенных работ. Это позволяет нам увидеть всю динамику по обслуживанию ЦОД, например: сколько плановых и аварийных работ произведено, когда это произошло, сколько было выполнено ремонтов и на каких установках. Дополнительно к этому применяются отдельные процедуры анализа аварийных ситуаций. Кроме того, точный трекинг заявок помогает нам оценить достаточность резервных компонентов и персонала, принимающего участие в эксплуатации и техническом обслуживании;

мониторинг и предиктивная аналитика. Большую роль в эксплуатации ЦОД играют предиктивная аналитика и меры, позволяющие нивелировать риски отказов оборудования и ЦОД в целом. К мерам предиктивного обслуживания относятся: тепловизионная съемка, вибротесты и другие замеры, которые важно производить регулярно с использованием специального оборудования и софта. Помимо этого, применяются классические решения для мониторинга и диспетчеризации всех систем ЦОД. Новые решения позволяют выводить паттерны поведения и предугадывать возможные события изменений в будущем. Особенно предиктивная аналитика актуальна после нескольких лет эксплуатации дата-центра и  при активной ротации нагрузки в ЦОД.