Евгений А 20 октября 2018

Операторы центров обработки данных стремятся разместить больше вычислительной мощности на единицу площади. По мере того, как они добавляют больше серверов и тем самым увеличивают удельную мощность своих стоек, может возникнуть экономическая необходимость в выборе оптимального способа охлаждения для этой среды.

Речь пойдёт о компании eBay, которая недавно модифицировала серверное помещение с высокой плотностью размещения оборудования в своем центре обработки данных Phoenix. Компания перешла от воздушного продувного охлаждающего оборудования к водному охлаждению задней двери холодильными агрегатами от Motivair. Эти блоки охлаждают излишнее тепло, которое отводится от сервера через тыльную часть стойки. Они используются уже в течение многих лет, однако такая система стоит дороже, чем традиционное воздушное охлаждение.

Как сообщил Дин Нельсон, вице-президент Global Services Foundation в eBay, по мере изменения удельной мощности изменяются и математически обоснованные инвестиции в охлаждение. Машинный зал в Phoenix насчитывает 16 рядов стоек, каждая из которых вмещает 30-35 кВт серверов, что выходит далеко за рамки диапазона 4-8 кВт, характерного для большинства стоек в центрах обработки данных энтерпрайз уровня. Охлаждение этого оборудования требует шесть продувных аппаратов в каждом ряду, то есть eBay пришлось пожертвовать шестью стоечными позициями для охлаждения.

Переключение на задние дверные блоки позволило eBay высвободить эти шесть стоек и заполнить их серверами, повышая этим вычислительную мощность на единицу площади. Двери охлаждения Motivair являются активными блоками со встроенными вентиляторами, которые помогают продувать воздух через стойку и через катушки охлаждения блока. Некоторые задние двери охлаждения пассивны и экономят энергию, полагаясь лишь на серверные вентиляторы в обеспечении циркуляции воздуха. По словам Нельсона, в связи с высокой удельной мощностью необходимо использовать в Phoenix активные двери.

Взвешивая компромиссы

Двери Motivair используют высокоэффективные ЭК (электронно-коммутируемые) вентиляторы, что несколько изменило энергопотребление (12,8 кВт против 11 кВт для продувной системы). При этом система использует меньше энергии, поскольку она может использовать теплую воду, работая при температуре воды в 15 градусов по Цельсию против 7 градусов во многих других холодильных системах.

«Мы думали, что задние двери дорого обойдутся, но когда вернули шесть стоек в эксплуатацию, затраты окупились с лихвой», сказал Нельсон.

Сценарий экономии сработал ещё и потому, что eBay заранее конструктивно предусмотрел возможность поддержки водяного охлаждения. Нельсон считает, что крупнейшие центры обработки данных близки к пределу возможностей обычного воздушного охлаждения, и считает водяное охлаждение критической необходимостью для будущего наращивания плотности размещения оборудования. eBay использует систему охлаждения горячей воды на крыше своего центра обработки данных Phoenix, которая служила в качестве тестовой площадки для новых разработок, внедряемых в ЦОД гиганта электронной коммерции.

На крыше eBay развернул контейнерные модули производства Dell для дата-центров, которые были способны использовать водяную петлю с температурой до 30 градусов по Цельсию и по-прежнему держать серверы в их безопасном рабочем диапазоне. Чтобы заставить систему работать при более высокой температуре воды, была задумана необычно большая разница между температурой воздуха на входе сервера и на выходе к задней стойке.

На фотографии ниже можно увидеть, как выглядит завершённая комната объекта Phoenix:

Евгений А 20 октября 2018

Почему важно поддерживать температурный режим в серверной. Как обычно устроено охлаждение серверной


Пожалуй с самого начала хотелось бы разобраться что может представлять из себя обычная серверная комната. Как правило, это закрытое помещение, чаще всего небольших размеров, достаточных для размещения серверных стоек с определенным набором сетевого оборудования. В большинстве случаев серверная комната размещается либо в подвальном/полуподвальном помещении, либо в чердачном помещении. То есть о местоположении серверной комнаты руководство организации задумывается далеко не в первую очередь. Предположим, серверная комната находится в подвальном либо полуподвальном помещении. В этом случае кондиционирование помещения будет достаточно осуществлять обычным доступным на рынке кондиционером (сплит-системой). Однако стоит учитывать, что близость почвы и расположение помещения ниже уровня почвы тоже будет давать о себе знать. Не исключен фактор наличия избыточной влажности. Также не исключено наличие коммуникаций отопления, водоснабжения в серверной комнате либо в непосредственной близости, что будет также оказывать непосредственное влияние на температурный режим. Предположим, выбор места для серверной комнаты осуществлялся в самую последнюю очередь, и оказалось, что в помещении установлен радиатор отопления, либо проходят коммуникации с горячей водой. Это обстоятельство несомненно будет дополнительно нагружать систему охлаждения и добавит определенные риски выхода из строя оборудования в случае отказа системы охлаждения. Но не стоит забывать о том, что в некоторых случаях требуется установка дополнительной системы подогрева для поддержания температурного режима. Для этого необходим управляемый обогреватель. Система охлаждения и система отопления должны управляться унифицированным устройством, которое позволяло бы считывать данные с датчиков температуры, влажности и передавать команды управления системам отопления либо системам охлаждения, согласно настройкам предельных значений. Приведем некоторые требования к климатическим условиям в серверной:

  1. Должна предусматриваться возможность отключения системы отопления;
  2. Система кондиционирования воздуха серверной должна быть автономной;
  3. Температура в серверном помещении находиться в пределах от +18 до +24 гр. Цельсия;
  4. Влажность воздуха в СП должна находится в пределах от 30% до 50%.

Рассмотрим ситуацию, если серверная комната расположена в чердачном помещении. Кроме тепла, вырабатываемого в процессе работы оборудования, способствовать повышению температуры будет расположение серверной в непосредственной близости от кровли, которая нагревается от солнечных лучей. Опять-таки высок риск перегрева оборудования и как следствие выхода из строя.
Как же обычно устроено охлаждение в серверной? Как правило, используется кондиционер (сплит-система), работающий круглогодично в режиме нон-стоп, то есть 24 часа и 7 дней в неделю. Система охлаждения должна быть достаточно надежной, чтобы бесперебойно работать в течение долго времени и поддерживать необходимый уровень температуры и влажности воздуха. Кроме того, в зимнее время года во время действия отрицательных температур оборудованию в серверной комнате также может потребоваться охлаждение. Также может потребоваться отопление. Для включения/выключения отопительной системы требуется система управления, которая сможет управлять обогревателем, основываясь на данных датчиков температуры и влажности.
Показатель влажности также является важным в работе вычислительного оборудования. При высокой влажности возможны появление конденсата в устройствах и коррозия, что крайне не рекомендуется для оборудования. Для поддержания оптимальной влажности воздуха необходимо выбирать соответствующий кондиционер либо использовать дополнительно осушитель воздуха. Некоторые современные сплит-системы позволяют понизить температуру, осуществить постоянный приток очищенного воздуха, но не позволяют поддерживать его оптимальную влажность. Стоит избегать использования подобных сплит-систем в серверных помещениях. Как правило, в помещении устанавливается один кондиционер, что с точки зрения обеспечения нормального температурного режима недостаточно: в случае внезапного выхода из строя кондиционера возможен перегрев оборудования и, как следствие, его выход из строя. Поэтому рекомендуется устанавливать как минимум два кондиционера. Мощность каждого кондиционера в отдельности была бы достаточной для создания необходимых климатических условий в серверной комнате. Также, используя современные системы мониторинга климата в серверной, возможна настройка поочередной работы кондиционеров для увеличения срока службы и возможности безотказной работы. Используя функции поочередной работы кондиционеров, возможно проведение профилактических работ с кондиционерами, что в конечном итоге увеличит ресурс кондиционеров и обезопасит оборудование от нежелательных повышений температуры и выхода из строя оборудования.

Пример резервирования кондиционеров:

Внутренняя система отвода тепла в современных серверах разработана таким образом, чтобы обеспечить охлаждение всех внутренних компонентов, выделяющих тепло в процессе работы. Однако корпус сервера негерметичен, и теплообмен происходит с окружающей средой серверного помещения, поэтому ошибочно считать, что температура воздуха внутри корпуса будет значительно ниже температуры в серверной. Необходимо также учитывать тот факт, что температура воздуха в серверной вне коммуникационного шкафа, в коммуникационном шкафу и непосредственно в корпусе сервера могут отличаться. Поэтому рекомендуется устанавливать температурные датчики не только в серверном помещении на потолке, но и в каждом коммуникационном шкафу, чтобы иметь объективную информацию о климатических условиях как в шкафах, так и вне их. В целях обеспечения правильной циркуляции воздуха в серверном помещении необходимо проектировать установку кондиционера/системы отопления с учётом потоков воздуха, образуемых этими системами. Для этого в серверных шкафах предусмотрена активная вентиляция, обеспечивающая доступ охлажденного воздуха непосредственно в серверный шкаф. Важным также является правильное расположение устройств в серверном шкафу. Это должно быть выполнено с учётом размеров и тепловыделения устройств. Правильным является применение 1U вентиляторов между оборудованием, которое активно выделяет тепло, чтобы обеспечить вентиляцию и необходимый отвод тепла.

Пример 1U вентиляторов:

Вентиляторы, установленные в нижней части шкафа для притока воздуха:

Вентиляторы, осуществляющие отвод теплого воздуха из шкафа:

На приведенном рисунке показана неправильная установка кондиционера. Рассмотрим очевидные ошибки:

  1. Кондиционер находится прямо над коммуникационным шкафом. В случае возникновения течи в кондиционере оборудование в коммуникационном шкафу окажется залито жидкостью, что может привести к нежелательным последствиям вплоть до короткого замыкания и физического выгорания компонентов оборудования.
  2. Кондиционер установлен почти вплотную к потолку. Подобная установка осложняет возможное проведение технического обслуживания и затрудняет циркуляцию воздуха.

Так почему же необходимо и важно поддерживать температурный режим в серверной?

В серверной комнате, как правило, располагается крайне важное и дорогостоящее оборудование. Выход из строя или временные простои в работе оборудования могут привести к материальным и финансовым потерям. Заглянем вовнутрь современного сервера и попробуем выяснить, какие компоненты наиболее критичны к изменению температуры.

Жёсткий диск.

Является, пожалуй, самым важным компонентом системы. Соответственно выход из строя жёсткого диска в случае отсутствия резервного может стать критичным для организации. Компоненты жёсткого диска являются чувствительными к изменению температуры: к резким повышениям, понижениям и к перегреву. Повышение температуры, как правило, приводит к расширению материала, из которого изготовлены головки, системы позиционирования головки, магнитные диски. Перегрев может привести к отказу жёсткого диска, что в последствии приводит к нежелательной потере важной и дорогостоящей информации.

Оперативная память.

Современная серверная оперативная память снабжена системой пассивного охлаждения и не нуждается в дополнительном охлаждении, тем не менее, стоит помнить, что пассивная система охлаждения эффективна только в определенном диапазоне температур. Если температура в серверной комнате будет повышаться, то никакие радиаторы на линейке памяти не спасут от перегрева оперативную память.

Процессор.

Современные процессоры обладают системами защиты от перегрева. Их датчики будут сигнализировать операционной системе о перегреве и предотвращать работу процессора на высоких температурах.

Наборы микросхем на платах.

Так называемые северные и южные мосты компьютера также являются мощными выделителями тепла. Обычно указанные контроллеры снабжены радиаторами пассивного охлаждения, но и они чувствительны к изменению температуры воздуха в серверной.
Суммируя все вышесказанное про компоненты сервера, можно с уверенностью сказать, что при определенных диапазонах температур встроенная система охлаждения сервера достаточно эффективна. В ситуации, когда температура выше рабочего диапазона, система охлаждения может не справиться с задачей отвода тепла. Также необходимо избегать резких температурных скачков, что может привести к потере свойств элементов материнской платы сервера.
В серверной комнате может быть сконцентрировано некоторое количество дорогостоящего оборудования, которое критично к повышению температуры, к резким изменениям температурного режима, в связи с чем необходимо правильно подходить к выбору системы охлаждения серверной. Необходимо позаботиться о резервном кондиционере и о системе контроля управления кондиционерами, в случае если возникнет неисправность основного кондиционера. Также необходимо помнить, что большинство современных устройств производит достаточное количество тепла и может за короткий промежуток времени значительно повысить температуру в закрытом помещении. Необходимым также является и правильный выбор сплит-системы, отвечающей требованиям серверной комнаты.

Заключение.

Хотелось бы напомнить, что современное вычислительное оборудование разрабатывается с учетом работы в определенных климатических условиях. Поэтому эксплуатация оборудования в условиях, отличных от рекомендованных заводом-изготовителем, может привести к выходу из строя оборудования и, как следствие, отсутствию гарантийного ремонта. Учитывая все изложенное выше, рекомендуем использовать надежные системы контроля климата серверной и надежные системы поддержания климата в серверной.

Использованые ресурсы:

www.rti-mints.ru/uploads/files/publications/295/tehn_treb_server.doc
chvcorp.ru
inpc.com.ua/data/cabinet.html
www.42u.com/cooling/in-rack-cooling/in-rack-cooling.htm

Евгений А 20 октября 2018

Рынок систем охлаждения для дата-центров на пороге значительных перемен

Охлаждение дата-центров всегда дорого обходится владельцам центров обработки данных. Особенно это важно с учетом появляющихся физических серверов высокой плотности, активно применяемых провайдерами виртуальных серверов (облачных услуг). Отчет от Global Market Insights свидетельствует, что мировой рынок систем охлаждения для дата-центров к 2024 году достигнет 20 млрд. долларов. Это огромный скачок, так как в 2016 году отметка варьировалась около 8 млрд. долларов. Кроме того, данные в отчете свидетельствуют, что на системы охлаждения приходится в среднем примерно 40 процентов от общего потребления энергии.

При развертывании экосистемы центра обработки данных всегда стояло 2 главных вопроса: как эффективно использовать энергию и как грамотно соотнести мощность, потребляемой оборудованием дата-центра, к мощности, которая используется для охлаждения этого оборудования. Одержимость в решении этих проблем достигла своего апогея, но на заднем плане уже маячит новая трудность. Пока Intel, AMD и другие производители компонентов для дата-центров решают вопрос снижения производимого оборудованием тепла, плотность их серверов продолжает расти.

Используемая мощность среднестатистического дата-центра варьируется в пределах 10 мегаватт. Однако, плотность стоек увеличивается, т.к. на данный момент наблюдается рост высокопроизводительных вычислений (HPC) и к тому же возрастает применение графических процессоров. Поэтому все чаще и чаще потребляемая мощность дата-центров достигает 50 МВт и более, а это в свою очередь приводит к более высоким температурам в следствии работы оборудования.

Работа оборудования в центре обработки данных – «горячий» процесс. Центральные процессоры с каждым днем производят все больше и больше тепла, графические процессоров также не отличаются в теплообразовании и при работе всегда очень нагреваются, плюс температуру подбавляет еще и работа дюжины модулей памяти DIMM на двухсоставных серверах.

Единственное оборудование, работающее в обратном направлении, — это хранилище. Появление SSD и переход от приводов с частотой 15 000/10 000 оборотов в минуту стало буквально спасением, потому что твердотельные накопители (даже если они работают на полную мощность) практически не генерируют тепла.

Существует четкая логическая связь в экосистеме центра обработки данных — чем больше плотность серверов, тем больше охлаждения вам потребуется. Однако, не стоит превращать ваш дата-центр в холодильник. Яркий пример тому огромный навороченный центр обработки данных eBay в Фениксе, в городе, который совсем не славится прохладным летом, охлаждение там достигает комфортных температур и находясь в нем вы не будете чувствовать холод, пронизывающий кости.

В своем отчете аналитики из Global Market Insights отметили, что наряду с традиционными методами охлаждения широко применяются и новые технологии, такие как жидкое охлаждение. Жидкое охлаждение пока больше популярно у простых пользователей, центры обработки данных медленнее принимают данную технологию из-за страха утечки жидкости. Также принимая во внимания масштабы применения, учитывается и тот факт, что жидкое охлаждение будет стоить дороже, чем охлаждение воздухом.

Но, тем не менее, аналитики ожидают, что спустя некоторое время спрос на жидкие охлаждающие технологии все же покажет значительный рост, благодаря использованию передовых охлаждающих веществ, которые смогут обеспечивать эффективное охлаждение и минимизировать общий выброс углекислого газа. Жидкость обеспечивает более эффективное охлаждение по сравнению с воздухом, поэтому такая технология часто применяется в высокопроизводительных компьютерах.
Вполне ожидаемо, что данная технология охлаждения дата-центров и серверных, покажет самые высокие темпы роста в связи со способностями обеспечить определенные условия для каждого вида оборудования даже при нахождении в непосредственной близости друг от друга, и нацелена в первую очередь она будет на серверные комнаты банков и небольшие дата-центры организаций, предоставляющих в аренду VPS Windows севреры. Учитывая видимые плюсы, можно смело заявить, что данная область просто предназначена для роста и развития.

Global Market Insights также прогнозируют, что сфера ИТ и телекоммуникаций продолжит оказывать доминирующее влияние на рынке технологий по охлаждению центров обработки данных, поскольку изо дня в день спрос на хранение и доступность данных увеличивается. Все благодаря тому, что рост числа смартфонов и устройств интернета вещей влечет за собой и увеличение роста периферийных сетей, что, в свою очередь, потребует. И снова мы возвращаемся к логической связи – любой рост оборудования потребует и значительного охлаждения.

Евгений А 20 октября 2018

Рядное охлаждение в ЦОДе: мифы и реалии


Системы рядного охлаждения применяют в ЦОДах уже более 10 лет, но даже у специалистов осталось ряд заблуждений относительно их работы. Ниже мы рассмотрим распространенные заблуждения, а попутно поясним, как отводится нагретый воздух, и каковы основные принципы проектирования, делающие эти системы максимально эффективными.


Пространство серверных залов в ЦОДах, как правило, разделяют на зоны. Зона (pod в английской терминологии) – это группа шкафов, объединенных общей инфраструктурой электропитания и охлаждения. Чаще всего одна зона состоит из двух рядов шкафов, между которыми сформирован «горячий» коридор.

Рядное охлаждение предусматривает установку кондиционеров непосредственно в ряду стоек. При этом часто такие кондиционеры, как, впрочем, и другие типы кондиционеров, рассматривают как систему «снабжения (ИТ-оборудования) холодным воздухом». Именно из-за этого возникают многие заблуждения. В действительности же главное – обеспечить «отвод нагретого воздуха» от ИТ-оборудования без смешения с воздухом в помещении. Ниже приведены три распространенных заблуждения о функционировании систем рядного охлаждения.

Действие рядного кондиционера ограничено пределами зоны Многие считают, что рядные кондиционеры способны обслуживать нагрузку только в пределах своих зон, а наращивание мощности системы охлаждения в одной из зон никак не помогает отводу тепла из других.

Прежде чем приступить к развенчиванию мифов, поговорим об общих принципах работы и проектирования систем охлаждения ЦОДов. Основная задача любой такой системы – отвод тепла, выделяемого ИТ-оборудованием. Мера эффективности сбора горячего воздуха в таких системах (или подвода холодного), называется коэффициентом изоляции отработанного воздуха (КИОВ). Этот коэффициент рассчитывается постоечно, исходя из схемы воздушных потоков. Высокие значения соответствуют лучшей работе системы охлаждения.
КИОВ определяется как доля отработанного воздуха (нагретого ИТ-оборудованием), поступающая напрямую к теплообменникам рядных кондиционеров в той же зоне. Это базовая метрика для оценки эффективности рядного охлаждения.

Результаты аэродинамического моделирования процесса сбора отработанного воздуха (центральный проход служит «горячим» коридором; синим помечены рядные кондиционеры).

В идеале желательно, чтобы весь нагретый воздух направлялся на теплообменники охлаждающих устройств, не повышая температуру в помещении. В этом случае КИОВ будет равным 100%. Достичь уровня 90% и превзойти его помогают следующие приемы проектирования.

Рядные кондиционеры обычно забирают воздух с тыльной стороны и выбрасывают через переднюю. Они согласуются по габаритам со шкафами для ИТ-оборудования (имеют такую же или половинную ширину). Максимальное расстояние между воздухозаборниками кондиционера и вентиляционными отверстиями ИТ-оборудования обычно не должно превышать 3 м. Когда «выхлоп» стойки оказывается «за пределами досягаемости» ближайшего кондиционера в своем ряду, большая его часть достается кондиционеру из противоположного ряда.

Рядный кондиционер с вертикальной линейкой вентиляторов, «прогоняющих» воздуха от задней панели к передней

Если весь нагретый воздух в зоне нейтрализуется расположенными в ней же кондиционерами (т. е. КИОВ = 100%), то зон локального перегрева возникать не может по определению.

Пример расстановки кондиционеров. Их число и расположение определяются, исходя из энергопотребления стоек и длины коридора

Современные рядные кондиционеры оснащаются вентиляторами с электронной коммутацией, что позволяет управлять скоростью вращения лопастей, а значит, интенсивностью воздушного потока и холодопроизводительностью в соответствии с тепловой нагрузкой. Для управления работой таких устройств производится автоматическое измерение температуры на воздухозаборниках устройств в близлежащих стойках или по всему помещению.
Теперь, вооружившись знаниями принципов работы и проектирования рядных систем охлаждения, приступив к развенчиванию мифов.

Миф 1: Рядные кондиционеры нуждаются в специальных приспособлениях для создания направленных воздушных потоков

Если 100% отработанного (горячего) воздуха изолируется к горячих коридорах, то весь остальной объем помещения серверной комнаты ЦОДа превращается в резервуар холодного воздуха. Поэтому не имеет значения, каким путем он поступает от рядного кондиционера. Главное, чтобы нагретый (ИТ-оборудованием) воздух полностью собирался и нейтрализовывался.

Различные дефлекторы и отражатели применяются некоторыми производителями для направления холодного воздуха на ближайшие стойки. Но, скорее, это говорит о непонимании принципов сбора отработанного воздуха. Установка отражателей не только увеличивает расходы, но и создает сложности с организацией воздушных потоков. Направленный поток воздуха от кондиционера имеет более высокую скорость, чем воздушный поток, входящий в близлежащие стойки, и перпендикулярен ему. Он может создавать зоны разрежения перед стойками, нарушающие расчетные потоки.
Формируемые отражателями мощные воздушные струи могут блокировать воздухозаборники и создавать значительную неравномерность условий охлаждения от стойки к стойке. Применение поворотных отражателей сопряжено с созданием значительного перепада давления, что требует дополнительного расхода энергии на работу вентиляторов.

Миф 2. Рядные кондиционеры необходимо устанавливать в каждом ряду

Из описанных принципов проектирования вытекает, что если удается обеспечить высокие значения КИОВ, то не имеет значения, как кондиционеры распределены между рядами зоны. Численное моделирование и примеры из практики показывают, что кондиционеры, расположенные в одном из рядов зоны, достаточно эффективно обеспечивают охлаждение оборудования в обоих.


Результат моделирования потока воздуха в серверном зале, когда рядные кондиционеры установлены только в одном ряду стоек

Миф 3. Действие рядного кондиционера ограничено пределами зоны, в которой он установлен

Согласно этому мифу, рядные кондиционеры предназначаются исключительно для локального охлаждения выделенных зон, не подходят для охлаждения стоек в других зонах, а также отдельно стоящего оборудования (например, ленточных накопителей), располагающихся по периметру помещения.

Самый предсказуемый способ охлаждения отдельно стоящего ИТ-оборудования – размещение рядом с ним кондиционера и создание мини-зоны с высоким КИОВ. А что если при отдельно стоящем оборудовании нет выделенного рядного кондиционера? Окажет ли изоляция «горячего» коридора отрицательное влияние на охлаждение такого оборудования?
Для ответа на эти вопросы давайте рассмотри два идентичных серверных зала (в каждом 65 стоек, 235 кВт ИТ-нагрузки, два отдельно стоящих ИТ-устройствами), но в одном выполнена изоляция «горячего» коридора, в другая – нет.

Ниже представлены результаты расчетов температуры в залах при использовании 14-ти кондиционеров, равномерно распределенными по ним. На каждой стойке указан КИОВ. В случае отсутствия изоляции горячих коридоров средняя температура на воздухозаборниках отдельно стоящего оборудования составляет 22˚C.
Результат моделирования ЦОДа с рядными кондиционерами без изоляции горячих коридоров. Совокупная нагрузка 235 кВт. Всего 65 стоек: широкие – по 5 кВт на стойку, узкие – по 3 кВт на стойку.
При изоляции «горячих» коридоров для большинства стоек КИОВ составляет 100%. Средняя температура на воздухозаборниках обоих отдельно стоящих устройств — 21˚C.

Результат моделирования ЦОДа с рядными кондиционерами и изоляцией горячих коридоров. Совокупная нагрузка 235 кВт. Всего 65 стоек: широкие – по 5 кВт на стойку, узкие – по 3 кВт на стойку.
При установке отдельно стоящего оборудования температура в помещении сначала повышается. Затем ближайшие кондиционеры обнаруживают это и увеличивают свою холодопроизводительность. После достижения нового состояния равновесия все показатели далее остаются на постоянном уровне.

Такой процесс «подхвата новой вспомогательной нагрузки» имеет место и при наличии систем изоляции «горячих» коридоров. В любом случае следует иметь в виду, что отдельно стоящее ИТ-оборудование будет работать при более высоких температурах (по сравнению с оборудованием, установленным в стойки зон с кондиционерами), и чем дальше оборудование располагается от кондиционеров, тем выше будет температура на его воздухозаборниках. Но при грамотном проектировании эта температура будет приемлемой для его надежной работы.

В свое время компания Schneider Electric была пионером по разработке рядных систем охлаждения для ИТ-комнат. Сегодня такие системы уже стали индустриальным стандартом, но компания сохраняет первенство в этой области. В ее портфеле решений – «внутрирядники», работающие как на охлажденной воде (InRow Chilled Water), так и фреоновые системы (InRow Direct Expansion). Заказчик может выбрать кондиционеры шириной 30 или 60 см и использовать наиболее удобную в конкретном проекте схему подвода труб (сверху или снизу). Устройства InRow оснащены датчиками температуры и влажности для автоматизации процедур регулирования режима работы. Они совместимы с системами изоляции Hot Aisle Containment и Rack Air Containment, повышающими эффективность функционирования систем охлаждения.

Системы InRow установлены и успешно эксплуатируются во многих российских ЦОДах, причем и в корпоративных, и в коммерческих центрах. Это эффективное и экономичное решение для создания оптимального климата для работы ИТ-оборудования.

Евгений А 20 октября 2018

ЦОД DataPro: системы охлаждения и пожаротушеня

Немного о проекте DataPro. В предыдущем материале мы рассказывали о системе бесперебойного гарантированного электроснабжения и дизель-роторных ИБП (DRUPS) дата-центра DataPro, имеющего сертификат соответствия уровню доступности Tier III Uptime Institute. DRUPS практически полностью исключают возможность отказа резервной системы энергоснабжения и выходят на рабочую мощность всего за несколько секунд.


Теперь речь пойдет о системах охлаждения и пожаротушения, используемых в DataPro. Под катом больше деталей и видео срабатывания системы газового пожаротушения при тестовых испытаниях.

Система охлаждения EcoBreeze

В типичном дата-центре значение PUE (Power Usage Effectiveness — определяется, как соотношение мощности, потребляемой всем дата-центром, к мощности, потребляемой ИТ-оборудованием) достигает в среднем 1,6–2 именно за счет питания систем охлаждения. Поэтому производители этого оборудования давно пытаются разработать более эффективные системы. Одним из таких решений стала модульная система естественного охлаждения (фрикулинга) с дополнительным орошением — EcoBreeze.

В центре обработки данных DataPro находится одна из первых и крупнейших в России инсталляций системы охлаждения EcoBreeze от Schneider Electric.

В 2010 году компания American Power Conversion (APC), позднее вошедшая в состав Schneider Electric, представила первую воздушную систему кондиционирования ЦОД с экономайзером, разделяющим внутренний и наружный воздушные потоки. Эта система была разработана в соответствии с повышающимися требованиями к энергоэффективности ЦОД. В ней используется «естественное» охлаждение («непрямой» фрикулинг).

В EcoBreeze применяется принцип косвенно-испарительного охлаждения воздуха. Теплый воздух от стоек в ЦОД поднимается вверх и через воздуховод попадает в теплообменник кондиционера вне помещения ЦОД. Теплообменник продувается уличным воздухом, горячий воздух охлаждается и поступает назад в ЦОД.

EcoBreeze использует несколько методов переноса тепла из ЦОД в окружающую среду. В отличие от других систем фрикулинга, здесь применяется два метода естественного охлаждения:

1. Охлаждение воздушных потоков, в ходе которого происходит теплообмен между прохладным наружным воздухом и горячим воздухом из помещения дата-центра, причем их смешения не происходит. В теплообменнике для передачи тепла от одного воздушного потока к другому используются улучшенные материалы.

2. Если температура наружного воздуха недостаточно низкая для охлаждения, система переходит на режим дополнительного орошения — поверхность теплообменника покрывается тонким слоем воды.

На крайний случай, когда и системы орошения оказывается недостаточно, у EcoBreeze есть третий режим работы — фреоновый цикл с компрессором переменной производительности. По существу, это классический фреоновый кондиционер, призванный обеспечить круглогодичное охлаждение.

Решения EcoBreeze устанавливаются за пределами ЦОД, не занимая в нем полезной площади. После заводской сборки модули системы проходят предварительную проверку и монтируются на объекте.

Система кондиционирования ЦОД EcoBreeze поставляется в виде модулей мощностью по 50 кВт, которые можно объединять в группы, включающие до четырех (200 кВт) или восьми (400 кВт) модулей. Модульная конструкция позволяет масштабировать систему по холодопроизводительности.Такой подход дает возможность приобретать оборудование, которое соответствует текущим требованиям к кондиционированию ЦОД, сэкономить как начальные инвестиции так и эксплуатационные расходы. Кроме того, модульность системы обеспечивает резервирование на уровне модулей и ее работоспособность во время технического обслуживания или ремонта.

Как она работает?

Рассмотрим теперь подробнее, как все это работает. Выпущенная в 2010 году система и сегодня продолжает оставаться передовым решением. В 2014 году Schneider Electric начала серийное производство EcoBreeze. Пока что во всем мире смонтировано немногим более двух десятков систем.

Итак, для максимальной энергоэффективности ЦОД EcoBreeze использует преимущества климата, и в ней предусмотрено несколько способов охлаждения с возможностью автоматического переключения между ними:

  • При прямом воздушном теплообмене для охлаждения используются только электронно-коммутируемые вентиляторы, а воздушный экономайзер системы EcoBreeze работает в режиме рекуператора. В режиме прямого воздушного теплообмена горячий воздух прокачивается электронно-коммутируемыми вентиляторами через каналы косвенного испарительного охладителя (IEC). После первоначального охлаждения воздух выходит из IEC, проходит через систему кондиционирования и возвращается в центр обработки данных.
  • При превышении окружающей температурой порога +7°C (эта величина может корректироваться) подключается дополнительное орошение. Используется косвенно-испарительное охлаждение: воздух охлаждается за счет испарения воды с наружной стороны каналов теплообменника.
  • При высокой температуре окружающей среды (+27°C и выше) подключается фреоновый контур, компрессор которого имеет частотное регулирование.

Таким образом, при низких температурах система обходится и без воды, и без фреона, работая только от окружающего воздуха. При повышении температуры окружающей среды задействуется орошение, а если и этого недостаточно, то применяются компрессоры.

В условиях нашего климата большую часть года EcoBreeze может охлаждать ИТ-нагрузку без включения фреонового контура, затрачивая на это минимум электроэнергии. Считается, что применение EcoBreeze совместно с другими энергоэффективными компонентами инженерной инфраструктуры ЦОД позволяет достичь среднегодового значения PUE 1,25–1,3.

Наружный воздух не смешивается с воздухом из ЦОД, исключено попадание воды и фреона в машинный зал. А для наращивания мощности можно просто добавлять модули EcoBreeze.

Система интеллектуального управления и резервируемые компоненты воздушных экономайзеров EcoBreeze призваны обеспечить высокую надежность и готовность системы охлаждения ЦОД.

Система EcoBreeze предусматривает непрямой фрикулинг (то есть наружный и внутренний воздух не перемешиваются) с дополнительным орошением теплообменника «воздух-воздух»: испаряясь, вода остужает наружный воздух, охлаждающий трубки, по которым передается воздух внутреннего контура.

Вся система кондиционирования ЦОД расположена за его пределами. В DataPro она смонтирована на крыше здания. Сейчас установлено пять таких систем по восемь модулей в каждой.

Что это дает?

Подобная технология позволяет значительную часть года тратить электроэнергию лишь на питание вентиляторов, подающих воздух из ЦОД и обратно, а также вентиляторов, продувающих воздух через теплообменник. Для систем, подобных EcoBreeze, коэффициент эффективности (Coefficient of Performance, COP) может в несколько раз превосходить показатель лучших классических чиллерных систем. Кроме экономии электроэнергии достигается и выигрыш по площади: альтернативные решения занимают вдвое больше места.

По оценкам экспертов, для московского климата энергопотребление системы EcoBreeze примерно в три раза ниже, чем у системы на охлажденной воде, и примерно в шесть раз ниже, чем энергопотребление системы на фреоне. Кроме того, благодаря возможности перенаправления формируемых EcoBreeze потоков воздуха из одного машинного зала в другой, в ЦОД DataPro удалось повысить уровень утилизации мощности системы холодоснабжения до 80%. 3–4 месяца в году EcoBreeze работает «в полную силу», остальное время она функционирует в режиме фрикулинга.

Два пожарных бака на 260 м3 используются как резервные емкости для воды, которую можно использовать при проблемах в системе городского водоснабжения. Вода рециркулируется, но требует регулярного обновления из-за загрязнения. Летом уходит порядка 200 м3 воды в месяц. Нормальный расход составляет всего 20–30 м3 ежемесячно.

Еще одна особенность ЦОД DataPro: соединение фреоновых трасс кондиционеров в нем выполнено без пайки, с помощью фитингов. Такая реализация позволяет производить оперативный монтаж и ремонт без проведения огнеопасных работ.

Пример работы системы охлаждения ЦОД с отображением в системе диспетчеризации.

Сейчас расчетная нагрузка на каждый зал — 260 кВт. Проектная нагрузка на зал — 360 кВт. В процессе сертификации на Uptime Tier III одна система EcoBreeze выключалась полностью, и все машзалы работали при полной проектной нагрузке (5 залов по 360 кВт.). Если из строя выйдет более двух модулей EcoBreeze, запустятся резервные фреоновые кондиционеры.

Детальная информация по EcoBreeze. Цифры показывают реальную загрузку модулей. Индикаторы показывают, когда нужно менять или чистить воздушные фильтры.

Почему же в ЦОД DataPro используются еще и фреоновые кондиционеры? На самом деле, у них двойная функция: кроме резервирования они служат для поддержания требуемого уровня влажности. Кроме того, для поддержания требуемого уровня влажности, в машинных залах ЦОД установлена отдельная система адиабатического увлажнения.

Контрольные панели EcoBreeze в центре управления ЦОД DataPro.

Первоначально планировалось развернуть в новом ЦОД DataPro 26 установок EcoBreeze холодопроизводительностью 350 кВт каждая. Это была бы одна из крупнейших инсталляций системы в Европе. Однако на сегодняшний день смонтированы восемь систем EcoBreeze.

Схема охлаждения машинных залов.

Система позволила осуществить поэтапное развертывание и добиться высокого коэффициента энергоэффективности.

Специфика эксплуатации EcoBreeze

Система EcoBreeze подойдет далеко не для всех дата-центров. Дело в том, что для ее размещения потребуется значительная площадь, при вводе в эксплуатацию может возникнуть необходимость внести определенные «доработки», а ее обслуживание предъявляет высокие требования к квалификации персонала. Следующий момент, о котором мы говорили ранее, — EcoBreeze целесообразно использовать в масштабных проектах при нагрузке, приближенной к 100%. Именно в таких условиях система демонстрирует наилучший показатель PUE, в расчете которого следует учитывать, в том числе, и расход на подачу воды, требующей «водоподготовки» — снижения уровня жесткости. Также стоит обратить внимание на высокие капитальные затраты на покупку и монтаж модулей по сравнению с фреоновыми кондиционерами эквивалентной мощности. Отдельный нюанс для ЦОДов, размещенных в черте города, — требуется регулярная замена воздушных фильтров HEPA в системе прямого фрикулинга, которые в некоторых случаях могут стоить дороже сэкономленной ею электроэнергии.

Продуманное планирование всегда поможет оценить перспективность того или иного проекта, а также найти возможные пути нивелирования минусов. Например, в DataPro предусмотрели практически все, в частности, для оптимизации расходов на эксплуатацию, вместо фирменных воздушных фильтров производителя оборудования используются фильтры собственного изготовления из нетканого фильтрующего материала

Система пожаротушения Vesda

Система пожарной безопасности в ЦОД DataPro реализована с помощью оборудования Vesda производства компании Autronica, a в качестве огнетушащего вещества системы газового пожаротушения выбран биобезопасный газ — хладон 227. Хладон распределяется по защищаемому объему помещений с помощью трубной разводки и насадок радиального распыла. Огнетушащее вещество размещается в модулях газового пожаротушения.

Машинный зал оборудован системой сверхраннего обнаружения дыма Vesda, в которой для контроля воздуха горячего коридора используется лазерный газоанализатор. С помощью газоанализатора система раннего пожаро- и дымообнаружения постоянно анализирует состав воздуха. В отличие от обычных офисных детекторов дыма, это позволяет выявить признаки возгорания на самых ранних этапах и предотвратить ущерб от огня.

Газоанализатор выявляет наличие примесей, типичных для горения пластмассы или изоляции. При обнаружении таких примесей дается тревожное сообщение. Для исключения ложных срабатываний система газового пожаротушения функционирует в ручном режиме, то есть запускается дежурным инженером и сотрудником охраны при значительном возгорании.

При получении тревожного сообщения персонал, действуя по заранее составленному плану, проверяет наличие очага возгорания и при обнаружении такового приводит в действие систему пожаротушения или просто использует огнетушитель, обесточив соответствующий сервер или стойку. Это позволяет избежать случайного срабатывания системы и адекватно реагировать на такие события, как появление дыма от неисправного конденсатора в сервере.

В случае выявления, например, повышенной концентрации углерода система дает тревожный сигнал в центр управления ЦОД и на пульт охраны, показывая на соответствующем индикаторе место возможного возгорания. Цифры на панелях системы пожарной сигнализации показывают уровень сигнала лазера.


В отличие от большинства других ЦОД, система пожаротушения в дата-центре DataPro проверялась в «боевом» режиме: имитировалось возгорание, в результате срабатывания системы после эвакуации персонала машзал заполнялся углекислым газом, «пожар» в отсутствии кислорода гас, и углекислый газ из зала откачивался. Кроме того, регулярно проводятся учения и тренинги персонала.

Как проходил тест системы пожаротушения. Рекомендуем уменьшит звук, т.к. сигнализацию невозможно не услышать.
Дополнительно установлена штатная система пожарной сигнализации Bosch. Некоторым клиентам DataPro, в соответствии со своими корпоративными стандартами, требуется установки дополнительного оборудования защиты от возгорания, в этом случае устанавливаются необходимые для них системы.

Все оборудование дата-центра и клиентское оборудование застраховано.

Один из клиентов дата-центра инициировал проведение внешнего аудита ЦОД. По результатам аудита специально для этого клиента была дополнительно смонтирована система автоматического газового пожаротушения в помещении РП-10 кВ. В первоначальном проекте установка данной системы в РП не предусматривалась.

В настоящее время газовое пожаротушение предусмотрено во всех машзалах, помещениях кроссовых и дизель-роторных ИБП. Система способна справиться с возгоранием одновременно в двух машзалах и имеет 100% резерв, что позволит ей уже через минуту прекратить пожар еще в двух залах. После этого потребуется перезарядка баллонов.

Корпоративные ЦОД для «моноклиентов» сегодня научились строить многие российские интеграторы. Коммерческий ЦОД — совсем другая история, здесь несколько иные требования к системам жизнеобеспечения. Рассказ об этом мы продолжим в наших следующих материалах, посвященных ЦОД DataPro.


DataPro размещает проекты от одной стойки, также клиенту следует самостоятельно договариваться о сотрудничестве с операторами связи.
HOSTKEY является официальным розничным партнером DataPro. Если необходимо разместить оборудование, арендовать выделенные сервера или реализовать сложный конвергентный проект под высокий SLA в сертифицированном на Tier III ЦОД DataPro, обращайтесь.

Размещение в наших стойках 1U оборудования (современный сервер с любым блоком питания, не твин) с резервированным выделенным каналом доступа в Интернет 100Мбит/сек стоит 4000 руб. в месяц, включая НДС или всего 40000 руб. в год. Можно арендовать целую стойку, 1/2 или четверть стандартной стойки, в том числе и под пломбу. Мы поможем с установкой, подключением и предварительной настройкой переданного оборудования.

Мы предлагаем для аренды в DataPro любые выделенные серверы Supermicro или HP, дисковые полки HP/Dell и сетевую инфраструктуру (VLAN) от 100Мбит/сек до 10Гбит/сек (включая средства защиты и роутеры) по разумным ценам. Вы можете создать гибридное решение, состоящее из ваших серверов, арендованных серверов и сетевой инфраструктуры. HOSTKEY предоставляет высочайший SLA по обслуживанию собственного оборудования клиентов.

Евгений А 20 октября 2018

Строим дата-цетр, часть 3: подавать охлаждённым


После топиков о строительстве нового дата-центра в Ярославле и выборе системы энергообеспечения ЦОД остались ещё вопросы по железу и его выбору. В этой серии — про то, почему мы выбрали Natural Free Cooling и то, как это работает.

Ликбез

Техника греется. Просто махнуть рукой на этот факт не получается: повышенная температура опасна для железа, в первую очередь, процессоров и жестких дисков, плюс вызывает ещё ряд негативных эффектов. Многие производители жестко указывают температурный режим, в котором должна работать техника. Плюс — в нашем дата-центре нет унификации оборудования, поэтому вполне может быть ситуация, когда устройства разных производителей стоят рядом друг с другом.
Система охлаждения — это, в первую очередь, дорогое оборудование и много потребляемой энергии. Во вторую, от выбора такой системы во многом зависит плотность использования помещений: можно вместить больше серверов, а не вспомогательных узлов в полезный объём.
Кроме самих серверов нужно учитывать и другие параметры: количество персонала в помещениях, требования производителей к железу, системы освещения (и частоту их включения), а также другие вещи, например, толщину стен и их материалы. На основе таких данных делается расчёт тепла, которое нужно удалять. Такой расчёт даёт возможность подобрать нужную систему охлаждения. Возвращаясь к предыдущим сериям, мы специально выбирали место под ЦОД в условиях, где климат в целом прохладен и стабилен, поскольку система должна быть рассчитана по пикам, а не по средним показателям.
Продолжаем ликбез: на первый взгляд может показаться, что обычные офисные кондиционеры могут решить проблему. Да, для человека они приемлемы, но в ЦОД нужна точная регулировка температуры и влажности воздуха. Максимальная скорость изменения температуры может быть не более 5 градусов в час в диапазоне 18-27 градусов Цельсия, а влажность в пределах 40-60% Это связано со многими факторами, но главный из них — это защита оборудования от перегрева и выхода его из строя ввиду выпадения росы (если слишком влажно и холодно) или появления статического разряда, если сухо и жарко.

Чуть детальнее

В серверной необходимо создать прецизионные климатические условия, основные из которых — это температура охлажденного воздуха на входе в сервер, температура горячего воздуха на входе в кондиционер (разница между этими параметрами называется ΔT), а также влажность, измеряемая гигрометром.

  • Температура на входе в сервер может быть очень низкой (+10 или +12 градусов Цельсия), но для этого потребуется очень производительная система кондиционирования и огромные энергетические затраты на создание такого холода, что будет несоизмеримо по затратам с планируемой выгодой.
  • Температура на входе в кондиционер не может быть слишком высокой (выше 30-32 градусов) из-за особенности внутренних блоков кондиционеров, в противном случае они просто не будут холодить либо вообще выдут из строя.
  • ΔT — параметр, характеризующий производительность системы кондиционирования, должен варьироваться в пределах 10-12 градусов. Т.е. если на выходе из кондиционера 16 градусов, то на входе в кондиционер, после прохождения воздуха через горячий сервер, должно быть 26-28 градусов. Понятно, что воздух внутри сервера нагревается гораздо выше и чтобы снизить его температуру, необходимо разбавлять горячий воздух холодным на выходе из сервера: это так называемый подмес. Задача — чтобы внутренний блок кондиционера не перегрелся. На данной операции СКВ теряет свою эффективность и энергия тратится впустую.
  • Относительная влажность в помещении не должна быть слишком низкой (ниже 30%), т.к. на платах серверов начинает накапливаться статический заряд, что может вывести их из строя. Есть и специфическое оборудование типа магнитных лент (и сразу — нет, мы не используем накопители на магнитофонной ленте): оно сохнет и портится. Высокая влажность (более 70 %) может привести к выпадению конденсата и замыканию контактов.
  • Важно следовать стандартам Uptime Institute, с его классификацией TIER: система должна работать непрерывно с учётом возможного отказа любого из узлов.

Выбор решения

При разработке Технического задания на СКВ, мы руководствовались рекомендациями специальных стандартов в области проектирования и строительства ЦОД (TIA 942, ASHRAE, BICSI) и приняли следующие параметры:

  • Надежность всех компонент системы не ниже TIER 3 по классификации Uptime Institute;
  • Резервирование всех компонент N+2, где N число необходимых по проекту компонент СКВ;
  • Режим работы круглосуточный, 365 дней в году;
  • Температура на входе в стойку от +18 до +27 градусов Цельсия;
  • Влажность 40%-60%;
  • Система должна функционировать в штатном (не аварийном) режиме при наружной температуре от -40 до +40 градусов Цельсия;
  • Среднегодовой показатель PUE (Power Usage Effectiveness) — не выше 1.3, причём это один из важнейших критериев выбора.

При подборе решения для организации СКВ мы рассматривали множество вариантов, начиная от классических кондиционеров на фреоне, заканчивая футуристическими колесами Киото. Однако, при соответствии всем требуемым параметрам, нам необходимо было решение, реализация которого, и что важней, долгосрочная эксплуатация, должна быть дешевле любых классических схем, применяемых в ЦОД.

Варианты выбора

Классическая система прецизионного кондиционирования построенная на фреоновых кондиционерах DX

Эти системы работают на разрешенном типе фреонов, не разрушающих озоновый слой. Фреонами называются вещества, образованные на основе двух газов — этана и метана с замещением атомов водорода на атомы хлора и фтора (поэтому их еще называют хлорфторуглеродами). Все хладагенты, используемые в кондиционерах, являются негорючими и безопасными для людей и животных веществами. Однако считается, что большая часть хлорфторуглеродов разрушает озоновый слой (точных доказательств нет, но эффективные хладагенты на всякий случай под запретом). Так или иначе, но европейские производители, а также производители, ориентированные на европейский рынок были вынуждены искать замену «классическому» фреону R-22, который используется в 90% кондиционеров. В качестве замены были выбраны хладагенты R-410A и R-407C. За единицу опасности для озонового слоя принят потенциал френона R-12, на котором до сих пор работает множество холодильников. Озоноразрушающий потенциал фреона R-22 равен 0.05, а новых фреонов R-410A и R-407C — нулю.


Прецизионный фреоновый сплит-кондиционер с наружным блоком DX

Это своего рода холодильник. Серверная — это место где хранятся сервера (продукты). Применение данной технологии подразумевает высокие затраты на оплату электроэнергии. Минимальный PUE, который можно достичь при прочих равных условиях не будет эффективней значения 2.0. Т.е. чтобы обеспечить питанием сервера мощностью 500 Киловатт, нам необходимо подвести к серверной 1000 Киловатт, таким образом, 500 Киловатт мы тратим просто на ветер.

Электроэнергия тратится на работу большого количества механических систем: компрессора, вентиляторов внутреннего блока, насоса увлажнителя, наружных вентиляторов. Тепло отводится за счет циркуляции фреона в замкнутом контуре. Горячий фреон перекачивается компрессором по трубкам в радиатор внешнего блока, вентилятор охлаждает трубки и охлажденный фреон поступает обратно во внутренний блок, который установлен в серверной. Работа данного типа кондиционирования не зависит от времени года и работает все время в неэкономном режиме.

Это решение применимо в помещениях, где нет доступа к системе с охлажденной водой или где вы не можете разместить чиллер. Самая старая и наименее эффективная технология.

Система прецизионного кондиционирования построенная на чиллерах CW (free cooling)


Прецизионный кондиционер с водяным теплоносителем (вода, гликоль), с внешним чиллером и сухой градирней

Система объединяющая в себе сухую градирню и чиллер с применением технологии Free-cooling (свободное охлаждение) работающая на охлажденной воде. Решение похоже на предыдущий вариант — есть теплоноситель (вода) который бегает между внутренним и внешним блоком. Энергия тратится на вращение внешних и внутренних вентиляторов, а также насосную группу, которая гоняет эту самую воду. Однако запас воды предусматривается по объему большой (так называемый аккумулятор холода), поэтому в холодное и относительно холодное время года (до +10 градусов), система тратит минимальное количество энергии только на перегонку воды, которая охлаждается за счет контакта с окружающим воздухом.

Подобное решение позволяет оптимизировать энергопотребление инженерной инфраструктуры ЦОДа, а также обеспечить модульность и гибкость всей системы СКВ. Применение данной системы позволяет снизить значение PUE до 1,7, однако первоначальные вложения гораздо выше, чем в случае применения DX-систем.

Прямое охлаждение наружным воздухом. Direct Free Cooling (DFC)


Схема блока системы с прямым охлаждением воздухом (DFC)

Система охлаждения с использованием внешнего атмосферного воздуха, который напрямую попадает в серверную с улицы. Система устроена следующим образом: вентиляторы забирают воздух с улицы, гонят его по воздуховодам через фильтры, причем система фильтрации должна быть последовательной: сначала грубая очистка (фильтрация по классу EU1-3), далее удаление вредных взвесей и частиц (фильтрация по классу EU4-7), затем финальная подготовка и подача воздуха в серверную (фильтрация EU8-13). Горячий воздух из серверной выбрасывается на улицу вентиляторами, поднимаясь за счет конвекции к потолку помещения.

Эффективность такой системы гораздо выше — PUE до 1,3 — но появляется большое количество минусов. Необходимо постоянно менять фильтры. Из-за большого количества фильтров, скорость прохождения воздуха падает, поэтому необходимо устанавливать более мощные вентиляторы, а это создает повышенную вибрацию и шум. По сути в серверную попадает атмосферные воздух с теми же параметрами влажности, что и на улице: если осенью идут дожди, влажность в северной будет подниматься до 100% значения, значит необходимо будет применять систему осушения воздуха. В условиях низкой влажности или лесных пожаров, доступ наружного воздуха необходимо будет ограничивать или вообще закрывать заслонку и переходить на охлаждение серверной традиционными кондиционерами DX или CW, что снизит энергоэффективность и повысит эксплуатационные расходы, в том числе на электроэнергию.
Более того, система естественного прямого охлаждения, равно как и любая система с использованием технологии freecooling, не может работать круглый год, т.к. летом воздух нагревается и не позволит охлаждать серверную. Для этого необходимо применять дополнительную систему кондиционирования из первых двух вариантов (CW или DX системы). Конечно, время их работы будет гораздо меньшим, чем в первых двух случаях (не более 50%). Но в совокупности, решение DFC эффективней и дешевле чем DX или CW системы в чистом виде.

Естественное охлаждение. Natural Free Cooling (NFC)


Схема блока системы естественного охлаждения (NFC)

Система охлаждения с использованием внешнего атмосферного воздуха, однако воздух не попадает напрямую в серверную, а охлаждает теплообменник. При этом мы освобождаемся от необходимости использовать цепочку фильтрации, достаточно только грубой очистки воздуха на входе в рекуператор, а также избавляемся от проблемы постоянного поддержания заданной влажности внутри помещения серверной, т.к. контур охлаждения серверной замкнутый. PUE такой системы достигает значений 1,09 в наших климатических широтах.
Как и DFC, система NFC не может работать круглый год, однако эффективность решения позволяет увеличить суммарный годовой цикл работы до 80% без использования CW или DX. Ещё один важный фактор — есть возможность достаточно простого (в сравнении с экзотическими системами) дублирования узлов. Мы выбрали именно его — Natural Free Cooling (NFC).

Как это работает

Система представляет собой два разомкнутых отдельных контура, наружный и внутренний. Во внутреннем контуре циркулирует воздух ЦОД, в наружный контур подается уличный воздух. Основным элементом системы является рекуперативный теплообменник, в котором происходит теплообмен между наружным воздухом окружающей среды и воздухом в помещении МЦОД. Нагретый воздух удаляется из горячих зон вытяжными воздуховодами, охлажденный воздух подается в холодные коридоры. Если к рекуператору добавить вентиляторы и поместить все это в коробку, то получится модуль NFC.

В нормальном режиме работы, до +18 наружного воздуха, система NFC работает следующим образом:
— Вентиляторы забирают воздух из горячего коридора серверной (с диапазоном температур от 35ºC до 40ºC), создаваемый оборудованием в телекоммуникационных стойках, и транспортирует в нижнюю область рекуператора. Наружный воздух забирается извне и подается в верхнюю зону рекуператора. Проходя через рекуператор внешний воздух охлаждает внутренний контур, после холодный воздух поступает обратно в серверную, в зону фальшпола.


Принцип работы NFC.

При подъеме температуры наружного воздуха в диапазоне от +18 до +24, включается дополнительная система адиабатического охлаждения:


Схема работы адиабатического охлаждения.

Данная система используется для создания водяного тумана, проходя через который наружный воздух будет охлаждаться. Снижение температуры достигается за счет испарения воды.
При подъеме температуры выше +24 или при авариях или же при признаках горения в наружном воздухе в работу включается дополнительный контур охлаждения, построенный на системе CW (чиллерная, двухконтурная установка, резервирование которой само по себе выполнено по принципу N+2)


Выносной конденсаторный блок.


Чиллер.

Заключение

Перед нами стояла задача создания технического центра, оптимального по стоимости времени запуска с нуля. Подбор технологий был непростым: конечно, в первую очередь все смотрели в сторону классических, проверенных решений, заблуждаясь, что все новое и инновационное обязательно дорогое. Однако, как оказалось, все технологии и не дороже классических с точки зрения TCO и не так уж новы, в Европе их успешно применяют, в чем мы лично убедились, проехавшись по основным ЦОД европейских телекоммуникационных операторов.

Риск быть первыми в ряде решений и наступить на грабли велик, однако у нас есть страховка в виде обычных чиллерных систем, которые проверены временем и будут работать в случае каких-то аварий или нештатных ситуаций.

Евгений А 20 октября 2018

Холодное совершенство: новости на рынке систем охлаждения ЦОД


Какое количество воды израсходует типичный ЦОД за два дня? — Приблизительно столько, сколько бы вместилось внутри бассейна олимпийских размеров (объем воды в чаше бассейна составляет 3375 м3). Цифра довольно таки внушительная. И здесь возникает проблема, ведь за последнее десятилетие вода, которая обычно не рассматривается как объект инвестиции, подорожала на 12 процентов. К примеру, золото с 1990 года выросло на 7 процентов в стоимости. Поэтому использование градирен для отвода тепла от охлаждающей жидкости через испарение воды крайне неэкономно и расточительно.

Еще в 2010 году консорциум The Green Grid, деятельность которого направлена на выработку стандартов в области энергоэффективности дата-центров (славится созданием шаблона измерения эффективности использования энергии (PUE) — широко известной метрики для измерения энергоэффективности ЦОД), было представлено метрику WUE (Water Usage Effectiveness – эффективность использования водных ресурсов), которая предназначена специально для применения в ЦОД, использующих водяное охлаждение.

Данная метрика включает две математических модели: стандартную WUE и WUE (source). В WUE (source) учитывается не только количество потребляемой воды в точке размещения ДЦ, но и весь объем воды, извлекаемый из источника для выработки энергии, потребляемой в дата-центре.
Метрики предназначены для того, чтобы оказать помощь операторам в планировании, проектировании и эксплуатации дата-центров. Некоторые гипермасштабные ЦОД, например, Facebook, в открытом доступе начали публиковать данные по WUE своих дата-центров. Но нельзя утверждать, что эта метрика получила широкое распространение.

На высоком уровне, WUE определяется путем деления годового потребления воды на количество энергии, используемой ИТ-оборудованием. Единицами измерения WUE – л/кВт*ч.

Сэкономить на расходе воды во время эксплуатации серверных ферм реально; понятное дело, такую инициативу операторы ЦОД должны брать в свои руки. Снизить потребление воды системой охлаждения серверов возможно за счет перехода на более продвинутые технологии по типу прямоконтактного жидкостного охлаждения и охлаждения погружением(иммерсионное охлаждение).

Такие вендоры как Asetek и Airflow1 , а также свежий стандарт организации ACCA предложили свои новые инициативы операторам дата-центров, чтобы добиться желаемого результата.

Крупный заказ Asetek на системы жидкостного охлаждения серверов RackCDU

Asetek — датский производитель систем жидкостного охлаждения серверов, рабочих станций и высокопроизводительных десктопов, продолжает продвигать свои системы жидкостного охлаждения за счет партнерства с известными производителями серверного оборудования, таких как Fujitsu, Cray и Ciara. Еще одним партнером вендора стал неназванный производитель IT-оборудования, заказавший партию систем жидкостного охлаждения из линейки RackCDU.

В соответствии с данными Asetek, примерно 80 процентов выделяемого серверной стойкой тепла отводится непосредственно при помощи хладагента. Это тепло может быть использовано для отопления здания, что делает рассматриваемое решение еще более энергоэффективным. Интегрированный в RackCDU комплекс программного обеспечения для мониторинга и контроля характеристик позволяет выводить собранные данные на настенные дисплеи. На экранах отображается информация о мониторинге производительности узлов, повторном использовании энергии, температуре жидкости на входе и выходе, а также другие статистические данные, получаемые с системы охлаждения. Решение Asetek также дает операторам ЦОД возможность моментально изменять ключевые параметры, такие как интенсивности циркуляции хладагента, температуры и нагрузки. Это позволяет продемонстрировать пользователям практически любой сценарий эксплуатации систем, позволяя оценить соответствующие уровни экономии энергии и производительности.

RackCDU D2C использует воду при температуре около +40 градусов для отвода тепла от центральных и графических процессоров, модулей оперативной памяти сервера. Согласно результатам тестов, проводившихся в Lawrence Berkeley National Laboratory, применение RackCDU D2C может до двух раз сократить затраты на охлаждение серверной инфраструктуры дата-центра и более чем на 20% снизить общее энергопотребление дата-центра по сравнению с традиционным воздушным охлаждением. Кроме того, эта технология позволяет увеличить от 2,5 до 5 раз плотность размещения серверов в дата-центре. В феврале этого года Энергетическая комиссия штата Калифорния заключила с Asetek контракт стоимостью $3,5 млн на поставку для двух своих дата-центров систем охлаждения RackCDU D2C.

Asetek предварительно ожидает, что в ближайший год данный клиент приобретет более чем 100 стоечных блоков RackCDU. Такие стойки способны вместить свыше 6000 вычислительных узлов. В течении 3 лет партнерства предвидится объем заказов более чем 300 штук.

Выполнением заказа вендор будет занят еще пару месяцев, а часть вырученных средств будет потрачено на дальнейшую доработку системы жидкостного охлаждения.

«Мы наблюдали рост актуальности систем жидкостного охлаждения для видеокарт на протяжении многих лет, и наше новое партнерство с крупным OEM-вендором служит подтверждением формирования восходящего тренда на рынке СЖО для GPU-ускорителей. Эта крупнейшая победа в истории компании и отличный пример эффективности наших долгосрочных программ в области исследований и разработок, для реализации которых требуются значительные инвестиции. Мы ожидаем, что спрос на системы жидкостного охлаждения для графических ускорителей будет и впредь увеличиваться, что самым благоприятным образом отразится на доходах и состоянии бизнеса Asetek ,» сказал основатель и генеральный директор Asetek Андре Слос Эриксен.
Airflow1 продвигает систему мониторинга засорённых фильтров в кондиционерах

Компания Airflow1 анонсировала систему мониторинга засорённых воздушных фильтров для кондиционеров. Продукт называется CFM-GM. Благодаря этому инструменту, владельцы зданий, в которых установлены системы кондиционирования воздуха, смогут получать уведомления о наступлении оптимального времени для замены воздушных фильтров. Такое решение поможет минимизировать расходы на ремонт и техническое обслуживание климатического оборудования, что в результате повысит общую надежность инфраструктуры здания в целом, а затраты на электроэнергию снижаются за счет сохранения эффективности кондиционеров на оптимальном уровне.

Правда, для вывода устройства в массовое производство не хватает финансирования. В данный момент вендор ведет кампанию по сбору средств на платформе Kickstarter.

“Миссия Kickstarter‘а состоит в том, чтобы помочь привести творческие проекты в чувство. Мы измеряем наш успех как компания тем, как хорошо мы достигаем той миссии, а не размером нашей прибыли”. Kickstarter — сайт для привлечения денежных средств конечных пользователей на реализацию разнообразных проектов по системе краудфандинга. На данный момент самыми дорогими игровыми проектами на Kickstarter являются конcоль Ouya ($ 8.596.474), Project Ethernity ($ 3.986.929), Double Fine Adventure ($3.336.371), Wasteland 2 ($2.933.252), Torment: Tides of Numenera ($2,847,930; сбор средств не завершен), Oculus Rift ($2.437.429) и Elite: Dangerous ($2.405.511).Краудфаундинг — коллективный сбор средств, с помощью которого люди поддерживают работу других людей или организаций. Организаторы сбора средств должны указать цели кампании, а так же сумму, необходимую для завершения проекта. Участникам предлагают разнообразные бонусы за финансирование проектов — как правило, это копии итогового продукта и разнообразные бонусы (зависит от вложенной суммы). В случае, если за определенное количество дней проект не набирает нужной суммы — деньги возвращаются на счет соискателя. Если же проект успешно набрал требуемую сумму, то 5% суммы получит Kickstarter в качестве комиссии.

Сейчас устройство применяется в жилых зданиях, но если проект будет удачен на Kickstarter и возрастет спрос на CFM-GM, инженеры Airflow1 готовы оптимизировать систему и для работы с более мощными кондиционерами, которые используются в ЦОД.

Американская Ассоциация Климатических Подрядчиков (Air Conditioning Contractors of America, ACCA) поможет при чистке кондиционеров

Общество подрядчиков по кондиционированию воздуха Америки (Air Conditioning Contractors of America; ACCA) обновило стандарт ANSI/ACCA 6 QR «Восстановление чистоты систем вентиляции, отопления и кондиционирование воздуха», предыдущая версия которого увидела свет в 2007 году.

Один из ключевых моментов данного стандарта: при очистке какой-либо секции кондиционера, вся климатическая система также должна рассматриваться в качестве кандидата на очистку или, при необходимости, на замену, что полностью исключает потенциальную возможность перекрестного загрязнения внутри системы.

Tom Yacobellis, многолетний специалист на рынке очистки воздуховодов считает:

Существует объективная необходимость в этом виде услуг, помимо ремонта и восстановления системы в результате пожара или другого экологического ущерба, что также учитывается новыми стандартами. Кондиционерная реставрация является отсутствующим сегментом на климатическом рынке. Многие системы, лишенные надлежащего сервиса, еще слишком “молоды” для замены, однако их функциональное состояние уже лежит за пределами возможностей традиционного технического обслуживания как средства поддержания их работоспособности. Испокон века, кондиционерный бизнес заключался в установке, техническом обслуживании и ремонте. В процессе разработки этого стандарта, а также стандарта ASHRAE 180 по обслуживанию кондиционерных систем, мне удалось установить причину непонимания климатическими подрядчиками существования этого бизнеса — по сути, разницу между техническим обслуживанием и «реставрацией». Налицо серьезные противоречия в отношении этого понятия”.

Документ был пересмотрен с целью упрощения набора инструкций, уточнения терминологии и обновления информации по релевантным стандартам. Он описывает минимальные требования по восстановлению чистоты теплохладотехники для жилых и коммерческих зданий. Обновленный стандарт позволяет оценить чистоту подобного оборудования, проконтролировать распространение загрязняющих веществ и проанализировать рабочие поверхности на предмет необходимости их очистки, ремонта или замены.

Евгений А 20 октября 2018

FAQ про охлаждение дата-центров: как сделать дёшево, сердито, надёжно и вписаться в габариты площадки


— Какой обычно есть выбор для охлаждения ЦОДа?

  • Фреоновое охлаждение. Проработано, просто, доступно, но главный минус — ограниченные возможности по манёвру в энергоэффективности. Также часто мешают физические ограничения по длине трассы между наружными и внутренними блоками.
  • Системы с водой и гликолевыми растворами. То есть хладагентом всё ещё остаётся фреон, а вот хладоносителем уже будет другое вещество. Трасса может быть длиннее, но главное, что открывается многообразие вариантов настройки режимов работы системы.
  • Системы комбинированного типа: кондиционер может быть и фреонового, и водяного охлаждения (здесь масса нюансов).
  • Охлаждение воздухом с улицы — это различные варианты фрикулинга: роторные теплообменные аппараты, прямые и косвенные охладители и так далее. Общий смысл — либо прямой теплоотвод фильтрованным воздухом, либо замкнутая система, где уличный воздух охлаждает внутренний через теплообменник. Нужно смотреть на возможности площадки, так как возможны внезапные решения.

— Так давайте бахнем классические фреоновые системы, в чём проблема?
Классические фреоновые системы отлично работают в малых серверных и, не часто, средних ЦОДах. Как только машзал переваливает за 500–700 кВт, возникают проблемы с размещением наружных блоков кондиционеров. Для них банально не хватает места. Приходится искать свободные площади подальше от ЦОДов, но тут вмешивается длина трассы (её не хватает). Конечно, можно спроектировать систему на пределе возможностей, но тогда растут потери в контуре, снижается эффективность, усложняется эксплуатация. В итоге для средних и больших ЦОДов сугубо фреоновые системы зачастую невыгодны.

— Как насчёт того, чтобы использовать промежуточный хладоноситель?
Всё верно! Если применять промежуточный хладоноситель (например, воду, пропилен или этиленгликоль), то длина трассы становится практически неограниченной. Фреоновый контур, как ясно, никуда не девается, а охлаждает уже не сами машзалы, а хладоноситель. Он уже и идёт дальше по магистрали до потребителя.

— Какие плюсы и минусы у промежуточных хладагентов?
Ну, во-первых, существенно экономится место на крыше или прилегающей территории. При этом трассы под фреон, на случай дальнейшего роста нагрузки, нужно прокладывать заранее и глушить, а вот под ту же воду можно добавлять новые устройства по мере потребности или внезапной необходимости, заранее смонтировав трубопровод необходимого диаметра. Можно сделать заранее отводы, а потом просто подключить их. Система гибче, легче масштабируется. Обратная сторона системы с промежуточным хладоносителем — увеличение тепловых потерь, рост количества энергопотребителей. Для малых ЦОДов удельная цена охлаждения на стойку получается выше, чем у фреоновых систем. Также надо помнить о промерзании системы. Мороз противопоказан воде, этиленгликоли считаются опасными для ряда объектов. Пропилен менее эффективен. Ищем компромисс в зависимости от задачи.


Обычный проект выглядит так

— Бывают системы пассивного охлаждения?
Да, но, как правило, для ЦОДов не применяются. Пассивное охлаждение возможно для небольших помещений с 1–3 стойками. Так называемая диссипация тепла помогает при общей мощности не более 2 кВт на помещение, а в ЦОДах обычно уже по 6 кВт на стойку, да и плотность размещения высокая, потому и не применимо.

— Как насчёт охлаждения через теплообменник в ближайшем озере?
Отличная технология. Делали подобный проект для крупного заказчика в Сибири. Очень важно рассчитать режим и рабочую точку, на которую можно рассчитывать круглый год, предусмотреть риски, не связанные с эксплуатацией ЦОДа напрямую. Грубо говоря, смысл технологии такой: в озеро или реку погружается теплообменник, к которому подходит трасса с хладоносителем. Дальше — фрикулинг, только вместо воздуха во внешнем контуре — вода.

— Вы говорили про какой-то «лайфхак» с уличным охлаждением.
Да, есть и альтернативные варианты — использование оборотной технологической воды промышленных предприятий. Не то чтобы прямо лайфхак, но иногда не стоит упускать из виду подобные возможности.

— Я слышал, что на малых объектах используются геозонды...
Да, на базовых станциях и подобных объектах, где максимум пара стоек, можно увидеть и такие решения. Принцип тот же, что и с озером: под землю закапывается теплообменник, и благодаря постоянной разнице температур можно напрямую охлаждать «железо» внутри контейнера. Технология уже достаточно налажена и хорошо протестирована, но при необходимости можно доукомплектовать резервным фреоновым блоком.

— A для больших объектов остаётся возможность сэкономить только фрикулингом, верно?
Да, по экономическим соображениям системы фрикулинга являются одним из наиболее интересных вариантов. Главная особенность — мы полагаемся на внешнюю среду, то есть всё же могут быть дни, когда снаружи воздух будет слишком тёплым. В этом случае потребуется его доохлаждать, используя традиционные методы. От резервных систем не часто удается отказаться. Но это основной вектор в проектировании подобных систем — полный отказ от резервного фреонового контура.

— И каково оптимальное решение?
Универсального оптимального решения, как ни банально, нет. Если климат позволяет, то 350 дней в году используем «чистый» фрикулинг, а 15 дней, когда особенно жарко, охлаждаем воздух какой-либо дополнительной традиционной системой. В переходные дни, когда свободного охлаждения недостаточно, выходим на смешанный режим. Желание сделать систему со множеством режимов упирается в ее возрастающую стоимостью. Проще говоря, учитывая коэффициент спроса на работу такой традиционной системы, она должна быть дешёвой в закупке, монтаже и при этом без жёстких требований к эффективности работы под нагрузкой. В идеале же мы всегда стремимся рассчитать систему так, что в конкретном регионе при штатной климатической ситуации (как за последние 10 лет) вообще не должно быть включений традиционной системы. Понятное дело, что климат части регионов, современный уровень технологий и лояльность заказчиков к прогрессивным системам охлаждения не позволяют это реализовать постоянно.

— А как соотносятся затраты энергии для режимов работы системы?
Схема простая: берём холодный воздух с улицы, загоняем внутрь ЦОДа (с теплообменником или без него — неважно). Если воздух достаточно холодный — всё хорошо, система потребляет, скажем, 20% питания. Если тёплый — надо его доохладить, и у нас добавляется ещё 80% электропотребления. Естественно, хочется «вырезать» эту часть и работать на холодном воздухе.

— Но ведь летом не всегда бывает нужная температура для чистого фрикулинга. Можно увеличить время его работы?
К примеру, у нас всегда есть запас в несколько градусов за счёт того, что воздух можно продуть через камеру испарения. Несколько градусов — это сотни рабочих часов в году. Это грубый пример того, как можно усложнением системы сделать контур более экономичным — суть проектирования в том, чтобы добиться оптимального решения задачи, используя десятки вариантов таких инженерных практик. Зачастую возникает необходимость в дополнительных ресурсах (вода, например). Ну, и от климата всё очень зависимо.

— А какие температурные потери на теплообменниках при фрикулинге?
Пример. В Москве и Петербурге при температуре воздуха 21 градус по Цельсию за окном хладоноситель будет примерно 23 градуса, а температура в машзале — 25 градусов. Очень важны детали, конечно же. Можно обойтись без промежуточного хладоносителя и сэкономить пару градусов. К примеру выше, то же адиабатическое увлажнение позволяет выиграть в некоторых регионах 7 градусов, но не работает во влажном климате (воздух уже приходит достаточно увлажнённым).

— Стало понятнее. Фреон для малых ЦОДов, фреон плюс вода или подобные системы — для крупных объектов. Свободное охлаждение лучше, если позволяет климат. Верно?
В целом — да. Но всё это нужно считать, потому что нюансов по каждой системе очень много. Например, если вы вдруг используете автономный энергоцентр для питания ЦОДа с тригенерацией, гораздо логичнее утилизировать тепло, выделяемое при генерации электричества, в АБХМ и, следовательно, охлаждать ЦОД. В этом случае можно меньше задумываться о затратах энергии. Но появляется масса других вопросов, как то: непрерывность процесса генерации электроэнергии, достаточность утилизируемого тепла.

— Насколько велик разброс эффективности системы чиллеров и доводчиков?
Это очень хороший вопрос, особенно приятно, когда его задают заказчики, понимающие фишку. Всё зависит от конкретного объекта. Где-то чиллер с высоким EER неоправданно дорог, просто никогда не окупится. Нужно помнить, что производители постоянно экспериментируют с компрессорами, холодильными контурами и режимами загрузки. На текущий момент для системы чиллер-фанкойл сформирован некий потолок по эффективности, который можно закладывать в расчёты и стремиться к нему снизу. В рамках одной и той же схемы возможны достаточно сильные колебания по цене и эффективности в зависимости от подбора устройств и их совместимости. В цифрах, к сожалению, говорить сложно, т. к. для каждого региона они свои. Ну, например, для Москвы успешным PUE системы кондиционирования считается равным 1,1.

— Глупый вопрос про фрикулинг: а если снаружи –38 градусов по Цельсию, в машзале так и будет?
Нет, конечно. Система на то и система, чтобы держать заданные параметры круглый год при любых наружных условиях. Слишком низкая температура, понятно, для железа вредна — близка точка росы со всеми вытекающими. Как правило, температура в холодном коридоре устанавливается в диапазоне от +17 до +28 градусов Цельсия. Коммерческие ЦОДы имеют по SLA режим, например, 18–24, и опускаться за нижнюю границу столь же неприемлемо, как и заходить за верхнюю.

— А какие проблемы у комбинированных систем при минусовых температурах?
Если наружу выходит часть контура с водой, то она определённо замёрзнет и станет причиной разрушения трубопровода и остановки работы контура. Поэтому используется пропилен или этиленгликоль. Но и этого не всегда достаточно. У нас на ЦОДе «Компрессор», например, неактивные наружные блоки до включения «прогреваются» за счёт того, что через них проходит трасса с хладоносителем рабочей температуры.

— Можно ещё раз: какова обычная практика выбора системы охлаждения?
До 500 кВт — обычно фреон. От 500 кВт до 1 МВт — переходим на «воду», но не всегда. Выше 1 МВт экономический кейс по организации системы бескомпрессорного холода (довольно сложной в плане капитальных затрат) становится положительным. ЦОДы на 1 МВт и выше без фрикулинга сегодня редко кто может позволить себе сделать, если есть расчёт на долговременную эксплуатацию.

— Можно ещё раз на пальцах?
Да. Прямой фреон — дёшево и сердито во внедрении, но очень дорого в эксплуатации. Фреон плюс вода — экономия площадей, масштабирование, разумные расходы для крупных площадок. Бескомпрессорный холод дорог при внедрении, но очень дёшев в эксплуатации. При расчёте используется, например, 10-летний кейс и считаются как капитальные, так и операционные затраты в совокупности.

— Почему фрикулинг такой дешёвый в эксплуатации?
Потому что современный фрикулинг удобен сам по себе использованием внешнего неограниченного ресурса, плюс объединяет в себе максимально энергоэффективные решения для ЦОДа, минимум движущихся частей. А питание ЦОДа — примерно 20% бюджета. Подняли на пару процентов КПД — сэкономили миллион долларов в год.

— А что с резервированием?
В зависимости от требуемого уровня отказоустойчивости ЦОДа может потребоваться резервирование N+1 или 2N по узлам системы охлаждения. И если в случае стандартных фреоновых систем это вполне просто и отработано годами, то в случае с рекуператорами зарезервировать систему целиком будет несколько дороговато. Поэтому конкретная система всегда считается под конкретный ЦОД.

— Ок, а как быть с питанием?
Здесь тоже не всё тривиально. Давайте начнём с простой вещи: если питание отключится, потребуется просто невероятно много батарей для ИБП, чтобы поддержать работу системы охлаждения до момента запуска дизеля. По этой причине нередко аварийное питание системы кондиционирования сильно ужимается, так сказать, ограничивается.

— А какие варианты?
Наиболее распространённый способ — бассейн с заранее захоложенной водой (как у нас на ЦОДе «Компрессор»). Он может быть открытым или закрытым. Бассейн выступает в роли аккумулятора холода. Питание пропадает, и вода в бассейне позволяет ещё около 10–15 минут охлаждать ЦОД в штатном режиме. От сети работают только насосы и вентиляторы кондиционеров. Этого времени с большим запасом достаточно для запуска дизель-генераторов.


За лампами видно край бассейна открытого типа. У нас там 90 тонн воды, это 15 минут охлаждения без питания чиллеров.

— Открытый или закрытый бассейн — есть разница?
Открытый дешевле, его не надо регистрировать в надзорных органах (сосуды под давлением по российским нормативам инспектируются), естественная деаэрация. Закрытая ёмкость, с другой стороны, может располагаться где угодно, нет особых ограничений по насосам. Не цветёт и не пахнет. За это приходится платить значительно более высокими капитальными и эксплуатационными затратами.

— Что ещё надо знать про бассейны?
Тот простой факт, что мало кто считает их правильно, если нет длительного опыта эксплуатации. Мы вот собаку съели на таких системах, знаем, что при правильном проектировании и применении разных подходов можно сократить ёмкость в несколько раз. Это и дешевле в эксплуатации, и меньше по объёму и площади. Вопрос инженерного подхода.

— А как же стены, сами стойки — они же тоже накапливают тепло?
Практика показывает, что в нормализованных расчётах стены, стойки и другие объекты в машзале не стоит рассматривать как аккумуляторы холода или тепла. В смысле, что их не трудно просчитать, но они идут как НЗ. Эксплуатационщики знают, что благодаря холоду, накопленному в стенах, фальшполе, потолке, у них в случае серьёзной аварии будет примерно ещё от 40 до 90 секунд на реакцию. С другой стороны, был случай у одного из заказчиков, когда разогретый зал ЦОДа охлаждался работающей на полную системой кондиционирования до штатной температуры несколько часов — стены отдавали накопленное тепло. Им повезло: наверняка такое помещение при отключении охлаждения позволяет продержаться не полминуты, а все 3–5.

— А если у нас в ЦОДе будет ДДИБП?
ДДИБП — это прекрасный вариант для аварийного энергоснабжения. Если коротко — у вас постоянно крутится тяжеленный волчок, поддерживать вращение которого почти ничего не стоит. Как только питание пропадает, этот же волчок без перерыва начинает отдавать накопленную энергию в сеть, что позволяет быстро переключить контуры. Соответственно, нет проблемы долгого запуска резерва (при условии готовности дизеля к быстрому пуску) — и о бассейне можно забыть.

— Как выглядит процесс проектирования?
Как правило, заказчик обращается с предварительными данными по объекту. Нужна примерная прикидка нескольких вариантов. Часто важно просто понимать, где какие затраты и организационные сложности ожидаются или уже есть у клиента. Редко охлаждение заказывается отдельно, поэтому обычно уже есть вводные и по питанию, и по деталям резервирования. Учитывая, что наши системы в конечном итоге занимают далеко не верхние строчки бюджета ЦОДа, коллеги шутят, что мы занимаемся «разной требухой». Тем не менее от качества исполнения проекта и последующей реализации зависит очень многое в эксплуатации. Затем, как правило, заказчик или подрядчик (то есть мы) останавливается на одном из вариантов по совокупности систем. Мы просчитываем детали и «вытягиваем» каждое звено за счёт подбора правильного оборудования и режимов. Фрагмент схемы есть выше.

— Есть какие-то особенности на тендерах?
Да. Ряд наших решений дешевле и эффективнее, чем у других участников. Сказывается практика. Всё же нами поднято более сотни ЦОДов по всей стране. Но люди удивляются, спрашивают, откуда такие расчёты. Приходится приезжать, всё это объяснять с применением температурных графиков. Дальше они нашим конкурентам всё это дело выкладывают, чтобы те тоже откорректировались. И новый виток. Дальше вопросы: выбор правильного насоса, выбор холодильных машин, драйкулеров, чтобы они и по цене были приемлемыми, и эффективно работали.

— А подробнее?
Взять тот же чиллер. Первое, на что все смотрят, — это холодопроизводительность, дальше вписывают его в необходимые габариты, третий этап — сравнение вариантов (если имеются) по годовому энергопотреблению. Это классический подход. Дальше люди, как правило, не идут. Мы стали обращать внимание на режим работы чиллера при полной и частичной загрузке. То есть в зависимости от того, насколько он загружен, его эффективность меняется, поэтому важно выбрать в том числе и резерв по всей системе по количеству чиллеров таким образом, чтобы, когда все чиллеры работают постоянно в режиме, они были в самой эффективной точке своей работы. Очень грубый пример, но таких деталей просто море.

Ещё один типичный пример — чиллер со встроенными фрикулингом или с выносной градирней. Здесь можно в ущерб габаритам существенно увеличить эффективность и управляемость, что часто экономически важнее. Здесь уже надо искать подход к заказчику.


Из-под фальшпола выходит холодный поток, охлаждает стойку и поднимает в потолок, где прогретый воздух отбирается из зала на охлаждение.


Заготовка воздуха для машзала в венткамере.


Тесты охлаждения на «Компрессоре». В зале стояли нагреватели по 100 кВт, которые греют воздух 72 часа.


Чиллеры и сухие градирни на крыше.

— Какова самая частая ошибка при запуске ЦОДа?
Вода, воздух и другие среды в трассах и помещениях ЦОДа должны быть чистыми. Вода в магистралях подготавливается специальным образом, в машзалах поддерживается избыточное давление, для того чтобы пыль не засасывало через двери (в рассказе про эпидемию «Когда сисадмины правили Землёй» это очень хорошо раскрыто), внутрь никого не пускают без бахил. Уровень чистоты, думаю, понятен. Так вот, перед запуском ЦОДа в эксплуатацию нужно обязательно позвать клининговую компанию, которая отдраит машзал так, как будто в нём будут собирать процессоры. Иначе вечером же система охлаждения перейдёт на аварийный режим из-за забитых воздушных фильтров. «Монтажники ушли, мы запустили ЦОД», — довольно частый случай, несмотря на наши предупреждения. Где-то раз в год такое случается, приходим, меняем фильтры. А если забыли поставить фильтры — то и сами кондиционеры. Сразу скажу: уборка дешевле.

Вопросы
Надеюсь, я помог разобраться в основах охлаждения для ЦОДов. Если интересны детали — спрашивайте здесь в комментариях или прямо в почту astepanov@croc.ru. Можно задавать вопросы по конкретным площадкам, подскажу варианты и посоветую неочевидные решения с оборудованием, если нужно.

Евгений А 20 октября 2018

Согласно прогнозам Stratistics MRC, к 2023 году стоимость рынка технологий водяного охлаждения в ЦОД достигнет 4,55 млрд долларов. Под катом разбираемся в причинах роста спроса на такие разработки и рассказываем о самих технологиях, которые развиваются в этой области.


/ фото Rolf Brink CC / Система иммерсионного охлаждения

Одна из причин роста рынка — увеличение объемов обрабатываемых данных. Согласно исследованию IDC, к 2025 году объем данных, генерируемых человечеством, составит 163 зеттабайта. С ростом объемов данных растет и нагрузка на серверы в дата-центрах, особенно в тех, что занимаются высокопроизводительными вычислениями (HPC). Для охлаждения таких систем обычных воздушных установок уже недостаточно.

Например, для охлаждения тензорных процессоров Google (TPU), которые заточены под TensorFlow, ИТ-гиганту впервые пришлось использовать воду. Из-за того, что новое поколение процессоров (TPU 3.0) отличается мощностью и высоким энергопотреблением, воздушное охлаждение оказалось для них неприменимо.

Почему воздушное охлаждение уступает водяному

Клайв Лонгботтом (Clive Longbottom), директор по сервисному обслуживанию аналитической компании Quocirca, отмечает, что воздух не настолько хорош в качестве теплоносителя: по сравнению с водой он от 50 до 1000 раз хуже отводит тепло от оборудования.

Кроме того, традиционные установки для воздушного охлаждения занимают больше места и потребляют больше энергии. А это сказывается и на счетах за электричество. Поэтому в машинных залах дата-центров, где постоянно повышается плотность оборудования, использовать воздух для охлаждения становится невыгодно. По этой причине вентиляторы в ЦОД Агентства национальной безопасности США заменили системой иммерсионного охлаждения (о других альтернативных решениях мы писали в одном из постов).

Вали Сорелл (Vali Sorell), президент компании Sorell Engineering, занимающейся техническим проектированием зданий и прокладкой инженерных коммуникаций, и Марк Хурикен (Mark Hourican), управляющий партнер консалтинговой компании Syska Hennessy Group, полагают, что ЦОД-индустрия пока не готова взять и полностью отказаться от «инвестиций в воздух» и целиком перейти на охлаждение водой. В этом случае придется полностью перестраивать всю инфраструктуру ЦОД, что довольно дорого.

Однако компании, которым приходится работать с большими нагрузками, уже разрабатывают и применяют жидкостные системы охлаждения.

О технологиях жидкостного охлаждения ЦОД

Иммерсионное охлаждение. Одна из множества технологий жидкостного охлаждения — иммерсионное охлаждение (о котором мы уже рассказывали в блоге). Технология подразумевает полное погружение оборудования в специальную масляную среду. Главное достоинство технологии в том, что масло имеет более высокую теплопроводность, по сравнению с воздухом. Это помогает системе эффективнее поглощать тепло и удалять его избытки.

В 2015 году систему для погружного охлаждения представили Horizon Computing: в компании разработали специальный бокс для серверов, который заполняется минеральным маслом. Конструкция бокса поддерживает оптимальную температуру оборудования с помощью конвекции. Такой «контейнер» способен работать на улице без кондиционеров, а низкие затраты на изготовление и незамысловатый дизайн бокса позволяют использовать его без изменения инфраструктуры дата-центра.

Непрямое жидкостное охлаждение. Эту технологию уже используют в ЦОД Facebook: в начале июня компания продемонстрировала, как новая система охлаждения сделала ЦОД в Северной Каролине более энергоэффективным.

Представители Facebook отмечают, что в некоторых дата-центрах использовать фрикулинг невозможно из-за суровых природных условий или высокого уровня загрязнения воздуха (с этой проблемой, например, борются в Китае). Поэтому компания приняла решение разработать систему непрямого жидкостного охлаждения.

В основе системы лежит технология испарительного охлаждения. Вода для системы охлаждается в специальном теплообменнике, испаряясь через особый мембранный слой. Затем она охлаждает воздух внутри дата-центра, сохраняя оптимальную температуру серверов (схему работы технологии можно посмотреть в посте из блога Facebook).

Тестирование системы показало, что она способна уменьшить потребление воды в ЦОД на 20% (в местах с жарким и влажным климатом) и на 90% (в умеренных и холодных климатических условиях).


/ фото poolie CC

Теплообменники на задней части серверной стойки. В этом случае охлаждённая вода поступает непосредственно к стойке с оборудованием, удаляя избытки тепла. Эту технологию используют Lenovo в своем проекте Neptune: теплообменники уже применяют 30% клиентов компании для своих HPC-систем.

Помимо упомянутого теплообменника, в проект Neptune входят теплообменный модуль (Thermal Transfer Module) и система непосредственного охлаждения узлов (Direct to Node Cooling).

Модуль использует жидкость из теплопоглощающего резервуара, чтобы по специальным трубкам переместить избытки тепла от процессора в область с разреженным воздухом. Система имеет компактные размеры, потому позволяет уменьшить традиционный гул в серверной. А система непосредственного охлаждения доставляет холодную воду прямо к узлу и «снимает» лишнее тепло с ключевых компонентов системы.

Будущее технологий водяного охлаждения

Как говорят эксперты отрасли Сорелл и Хурикен, воздушное охлаждение полностью уступит водяному свое место тогда, когда применять его будет совершенно невыгодно или невозможно (например, из-за физических ограничений дата-центров). Однако специалисты прогнозируют, что переход не будет единовременным. Сперва распространятся гибридные технологии (например, системы на базе испарительных охладителей, как в Facebook), а затем уже будет осуществлен переход на прямо охлаждение с помощью воды.

В Lenovo также надеются, что применение водяного охлаждения выйдет за рамки HPC-систем и станет популярным среди обычных ЦОД. Для этого компания будет работать над снижением стоимости их реализации. Их цель — сделать системы водяного охлаждения дешевле и доступнее для обычных компаний.

Евгений А 20 октября 2018

Корпорации стремятся сделать свои дата-центры более энергоэффективными и снизить их воздействие на окружающую среду. Но не всегда чем холоднее, тем лучше. Исследования показывают, что оборудование может нормально функционировать и при температуре в 27ºC. При этом экономия электроэнергии составит 4-5% на каждый повышенный градус.

Поэтому компании не только пытаются найти новые технологии для охлаждения, иногда весьма экстремальные, но и занимаются усовершенствованием оборудования и помещений. Сегодня поговорим о том, какие решения становятся более популярными, а какие являются скорее исключением из общих правил.

/ PublicDomainPictures / George Hodan / PD

Не все то вода, что охлаждает

Многие дата-центры сегодня выбирают для охлаждения воду, которая считается эффективнее воздуха в десятки раз, особенно для «горячих точек». К тому же современные системы исключают возможность утечки и повреждения оборудования. Однако ЦОДы сегодня становятся все более «зелеными», и большой расход воды превращается в недостаток.

Только в США в 2014 году было использовано 626 миллиардов литров воды, включая воду для охлаждения и для производства электричества, необходимого для работы дата-центров. Поэтому кроме показателя PUE для ЦОДов все популярнее становится показатель эффективности расхода воды (WUE).

Одно из решений — использование хладагентов для охлаждения воды, которая в этом случае может циркулировать без потерь. Другой вариант — применение специальных жидкостей вместо воды. Например, жидкость GreenDEF, которая сделана из минерального масла, может снизить энергозатраты дата-центра на 30-40%.

Но у минеральных масел есть определенные недостатки: они загрязняют окружающую среду и легко воспламеняются. Поэтому многие предпочитают использовать диэлектрические жидкости, которые также предполагают прямой контакт между хладагентом и микросхемами.

Одна из таких жидкостей производства 3M применяется для двухфазного иммерсионного охлаждения. Подробнее о ней можно почитать тут. На ежегодной международной конференции SC16 были представлены некоторые новые решения, например, иммерсионное охлаждение от LiquidMips, которое в том числе устраняет проблему возможного повреждения оптических подключений.

И нашим, и вашим

Но не все дата-центры готовы сразу перейти на жидкостное охлаждение. Поэтому сегодня в качестве промежуточного варианта достаточно популярны гибридные системы, в которых комбинируется охлаждение жидкостью и воздухом. Но непонятно, насколько такие системы способствуют экономии средств, так как для них требуется в два раза больше оборудования.

Тем не менее новые решения появляются и в этой области: компания CoolIT совместно со STULZ представила модульную систему Chip-to-Atmosphere, которая позволяет использовать жидкостное охлаждение для наиболее горячих компонентов, а охлаждение воздухом — для всего остального.

Что естественно, то не безобразно

Все больше корпораций выбирают естественное охлаждение в попытке снизить влияние на окружающую среду. Наверняка все слышали о дата-центре Google в Финляндии, который охлаждают морской водой.

В дата-центр воду доставляют по тоннелю, существовавшему там еще со времен бумажной фабрики, которая раньше стояла на месте ЦОДа. Но соленая вода вызывает коррозию, поэтому в теплообменниках приходится применять армированные стекловолокном трубы и титановые пластины, а также устанавливать дополнительную фильтрацию.

С похожей проблемой столкнулись в Facebook при строительстве нового дата-центра в Ирландии, где для охлаждения используется прохладный морской воздух с высоким содержанием соли. Поэтому воздух должен проходить через дополнительные фильтры перед тем, как он попадает в сам дата-центр.

Согласно исследованию, проведенному Ратгерским университетом, частота отказов оборудования в дата-центрах с естественным охлаждением без контроля уровня влажности во влажном климате выше на 107-260%. Несмотря на возможные сложности в Ирландии находится большое количество дата-центров разных корпораций, которые используют «free cooling» и являются энергоэффективными.


/ Flickr / Shawn O'Neil / CC-BY

Парю, где хочу

В сочетании с естественным охлаждением воздухом выгодно применять охлаждение испарением, так как в этом случае можно существенно снизить объем потребляемой электроэнергии. Но вот выбранный метод зависит от температуры и влажности поступающего воздуха. Так, прямое охлаждение испарением возможно при более высокой температуре и не очень влажном воздухе. Большую выгоду от таких систем можно получить именно в сухом климате с высокой температурой. А вот в холодном климате нужды в них нет.

Для косвенного охлаждения температура и влажность воздуха снаружи должны быть выше, чем внутри. Сам воздух при этом не становится более влажным. Если климат не совсем подходит для таких систем, специалисты советуют прибегать к гибридной схеме охлаждения и применять охлаждение испарением только при определенной погоде, например, летом. Ну и, конечно, нельзя забывать о необходимости удалять лишнюю влагу из воздуха.

И дата-центр плывет

Мы уже писали о том, как устроены подземные дата-центры, но сегодня существуют и подводные. Первый такой ЦОД — проект Microsoft под названием Natick. Испытания прошли успешно и компания уже запатентовала свое изобретение. Сейчас ведется разработка второго поколения Natick, который будет гораздо больших размеров.

Основное преимущество — дата-центр практически не требует обслуживания и постоянного присутствия человека. Но все элементы находятся в отдельных капсулах, которые при необходимости можно извлечь или заменить.

Такие дата-центры подойдут для прибрежных регионов, а сэкономить можно будет также за счет отсутствия необходимости занимать территорию на земле. ЦОД получает энергию от движения волн, а охлаждается океанической водой. При этом расположение на достаточно большой глубине или даже на дне защищает от воздействия сильных волн. Но пока конструирование водонепроницаемых модулей обходится на 10-20% дороже, чем наземных модульных дата-центров, и говорить о массовом производстве не приходится.

А компания Nautilus Data Technologies проводит испытания плавучего дата-центра, который, по заявлениям компании, будет на 50% энергоэффективнее наземных аналогов. Такая разработка, несомненно, поможет сэкономить водные ресурсы, так как для охлаждения используется вода из водоема, которая после выполнения своей функции возвращается обратно. По мнению специалистов, разница температур при этом настолько мала, что не сможет серьезно повлиять на общую температуру водоема и на жизнь его обитателей.

Но полноценно такой ЦОД может функционировать только в порту. И необходимы будут дополнительные затраты, так как вода должна проходить систему очистки и фильтрации. А если размещать плавучий дата-центр в морском порту, то понадобятся специальные материалы, чтобы избежать коррозии, что также не способствует удешевлению строительства.

Интеллект на страже холода

Кроме всем известного примера Google, системы искусственного интеллекта сегодня используются и другими компаниями. Так, компания Vertiv, бывшая Emerson Network Power, благодаря системе контроля температуры Liebert iCOM-S Vertiv смогла устранить повторное попадание холодного воздуха в систему до выполнения своего прямого назначения по охлаждению оборудования.

В системах водного охлаждения, функция автонастройки позволяет сбалансировать скорость вращения вентилятора, температуру воды и скорости потока. Есть и другие компании, которые применяют системы искусственного интеллекта в дата-центрах в основном для повышения их энергоэффективности. Например, стартап Coolan и Romonet.

Сегодня компании стараются не только удешевить охлаждение, но и максимально снизить влияние дата-центров на окружающую среду. И иногда выбрать какую-то одну технологию и даже место для строительства дата-центра бывает очень сложно. Правительство Швеции предлагает для размещения ЦОДов специальные парки, которые находятся в пределах Стокгольма, чтобы использовать выработанное дата-центрами тепло для отопления близлежащих домов.

Государство снизило налоги на электричество на 97% (для ЦОДов) и готово покупать выработанное тепло. По другому сценарию дата-парки могут бесплатно предоставлять системы охлаждения своим резидентам. Поэтому, возможно, предложение «cooling-as-a-service» из Швеции устранит головную боль многих компаний и позволит им вообще не задумываться о том, какую технологию охлаждения выбирать.

P.S. Что еще можно почитать в нашем блоге: