Использование зданий, расположенных в центрах городов, тем более взятых под государственную охрану как памятники истории, всегда сопряжено с трудностями. При строительстве в них дата-центров проектировщикам приходится искать точный баланс между потребностями клиента и реальными возможностями помещений, соблюдая и интересы заказчика, и сохранность объекта культурного наследия. Задача это непростая и часто приводит к применению нестандартных инженерных решений, в том числе при монтаже оборудования. С таким вызовом столкнулись и в компании IT-Breeze при создании мини-ЦОДа в центре Москвы.
Заказчиком проекта выступила компания ООО «Центр «ГеоГрид», специализирующаяся на работах по комплексному анализу углеводородных систем осадочных бассейнов по всему миру. Ее сотрудникам часто приходится решать сложные задачи по моделированию, обработке и интерпретации сейсмических данных, что требует безотказной работы высоконагруженных сервисов и, соответственно, собственных вычислительных мощностей.
В настоящее время ООО «Центр «ГеоГрид» располагает тремя офисами, один из которых – головной – расположен в особняке на Малой Калужской улице. Он был построен архитектором Николаем Бутусовым в 1911 году и служил жилым домом для семьи архитекторов и художников Шервудов. Здание находится под охраной государства как объект культурного наследия.
ООО «Центр «ГеоГрид» провела в здании ремонт, предусматривающий не только реконструкцию, но и реставрацию. После завершения ремонта в здании разместилось руководство Компании, центр обработки данных, производственное управление, а также технические службы, которые следят за работой инженерных систем. Однако, согласно условиям договора с Департаментом культурного наследия г. Москвы собственник не имел права перестраивать особняк и производить перепланировку помещений. Это отразилось и на размещении в здании дата-центра.
«Работа центра обработки данных требует сложнейшего инженерно-технического обеспечения, которое естественным образом состоит, в том числе, в использовании многочисленного и весьма массивного оборудования. При этом, многоядерные вычислительные машины, бесперебойную работу которых необходимо обеспечивать круглосуточно, требуют очень большого количества электроэнергии (с перспективой дальнейшего роста объёмов ее потребления). Поэтому компьютерные залы Центра обработки информации разместили в цокольных помещениях, не используя основные площади дома», – отмечают в ООО «Центр «ГеоГрид».
Это потребовало нестандартных решений. К примеру, крыша здания не только не была приспособлена для установки на ней оборудования (дом представляет собой теремок с покатой крышей), но и являлась объектом культурного наследия. Так что совместно со специалистами компании HTSбыло принято решение устанавливать сухие охладители Guentner на земле – точнее, углублять их в землю, так как перед фасадами запрещено устанавливать что-либо выше нижней кромки окон первого этажа.
«Утверждая такое решение, мы учитывали, что тем самым снижаем производительность сухих охладителей на 25%. Однако этот шаг был оправдан, так как вычислительные мощности располагаются не во всех стойках: одна стойка была коммутационной, по одной занимало оборудование медиасистем и системы безопасности, три были отведены под внутреннюю IT-инфраструктуру, четыре – под системы хранения данных и резервного копирования в силу большого объема обрабатываемой информации, - рассказывает генеральный директор IT-Breeze Константин Котельников. - Для данной конфигурации потеря 25% охлаждающей мощности не была критичной: по расчетам мы укладывались в конфигурацию с резервированием N+1. Практика показала, что единовременная загрузка 10 стоек расчетных серверов и 10 стоек оставшегося оборудования выделяют 140 кВт тепла».
Время смелых решений!
Еще одна сложность была связана с конфигурацией помещения, повлекшей ограничения при установке кондиционеров. Для проекта были выбраны прецизионные кондиционеры STULZ CyberAir 3 – положительный опыт использования решений данного вендора в сотрудничестве с компанией HTS у IT-Breeze был. В помещении нужно было установить две группы по три кондиционера, которые при этом оказывались перпендикулярны друг другу, что приводило к пересечению воздушных потоков под фальшполом под прямым углом. Таким образом одновременная работа двух ближайших перпендикулярных кондиционеров могла привести к локальному перегреву двух стоек. Чтобы избежать перегрева, две стойки были загружены коммутационным оборудованием и оборудованием безопасности — опыт показал, что они являются самыми холодными.
«Оптимальным решением для конфигурации данного помещения были прецизионные кондиционеры серии CyberAir3 GESс косвенным фрикулингом и инверторными компрессорами компании STULZ, официальным дистрибьютором которого мы являемся, – уточнил менеджер компании HTS Алексей Колоколов. - Такой вариант позволяет максимально сократить операционные расходы на электроэнергию, а также увеличить срок службы основного оборудования, ведь в московском климате при таких проектных параметрах косвенный фрикулинг используется порядка 70% времени. Основным преимуществом такого решения является то, что кондиционеры способны работать в четырех различных режимах, подстраиваясь под температурные условия снаружи здания. Один из них – это расширенный фрикулинг, позволяющий откладывать включение самого энергопотребляющего компонента – компрессора. В настоящий момент такое решение от компании STULZ является эксклюзивным на рынке».
Не обошлась без сложностей и непосредственно установка кондиционеров в помещении. «Это был целый такелажный подвиг, - вспоминает Константин Котельников. - Лестницы были слишком малы, и пронести прецизионные кондиционеры не было возможности. Для того чтобы внести крупногабаритные модули на этапе строительства мы обустроили металлический каркас, лебёдку и не стали наливать перекрытие в одном из помещений – ближайшем к входу в машинный зал. Лебёдкой мы и опускали всё это оборудование. Весь процесс занял около двух суток».
Для решения задач по обработке данных заказчику требовалось порядка 10 тыс. физических ядер. Проектная потребляемая мощность созданного ЦОДа составляет 200 кВт (20 стоек по 10 кВт каждая). Еще 150 кВт выделено под инженерную инфраструктуру. Вся инфраструктура выполнена в конфигурации с резервированием N+1, которая обеспечивает высокий уровень отказоустойчивости. В дата-центре использована классическая схема установки оборудования с организацией холодного коридора, установлены системы обеспечения безопасности: газового пожаротушения, видеонаблюдения, контроля физического доступа в помещения.
Созданная инфраструктура позволяет заказчику решать текущие задачи с высоким уровнем эффективности и надежности. Кроме того, в планах – масштабирование дата-центра до 14 700 ядер, что было заложено в проект.
«Масштабирование было запланировано на 2019 год. К сожалению, в связи с обвалом цен на энергоресурсы в конце 2018 года и сокращением добычи многие как отечественные, так и зарубежные компании ТЭК в 2019 году сократили объёмы геологоразведывательных мероприятий. Это сказалось на рынке сервисных услуг по обработке сейсмических данных, участником которого является ООО «Центр «ГеоГрид», - рассказывают в Компании. - Поскольку направление деятельности нашей Компании – именно обработка сырой сейсмики (а именно эти работы требуют серьезных вычислительных мощностей), было принято стратегическое решение отложить масштабирование. Как показала практика (на конец первого квартала 2020 года стоимость нефти марки Brent составляла $25), решение было верным. При стабилизации энергетического рынка мы вернёмся к вопросу расширения мощностей».
