общий+риск

 

управление электропитанием
-
[Интент]

Управление электропитанием ЦОД

Автор: Жилкина Наталья
Опубликовано 23 апреля 2009 года

Источники бесперебойного питания, функционирующие в ЦОД, составляют важный элемент общей системы его энергообеспечения. Вписываясь в контур управления ЦОД, система мониторинга и управления ИБП становится ядром для реализации эксплуатационных функций.

Три задачи

Системы мониторинга, диагностики и управления питанием нагрузки решают три основные задачи: позволяют ИБП выполнять свои функции, оповещать персонал о происходящих с ними событиях и посылать команды для автоматического завершения работы защищаемого устройства.

Мониторинг параметров ИБП предполагает отображение и протоколирование состояния устройства и всех событий, связанных с его изменением. Диагностика реализуется функциями самотестирования системы. Управляющие же функции предполагают активное вмешательство в логику работы устройства.

Многие специалисты этого рынка, отмечая важность процедуры мониторинга, считают, что управление должно быть сведено к минимуму. «Функция управления ИБП тоже нужна, но скорее факультативно, — говорит Сергей Ермаков, технический директор компании Inelt и эксперт в области систем Chloride. — Я глубоко убежден, что решения об активном управляющем вмешательстве в работу систем защиты электропитания ответственной нагрузки должен принимать человек, а не автоматизированная система. Завершение работы современных мощных серверов, на которых функционируют ответственные приложения, — это, как правило, весьма длительный процесс. ИБП зачастую не способны обеспечивать необходимое для него время, не говоря уж о времени запуска какого-то сервиса». Функция же мониторинга позволяет предотвратить наступление нежелательного события — либо, если таковое произошло, проанализировать его причины, опираясь не на слова, а на запротоколированные данные, хранящиеся в памяти адаптера или файлах на рабочей станции мониторинга.

Эту точку зрения поддерживает и Алексей Сарыгин, технический директор компании Radius Group: «Дистанционное управление мощных ИБП — это вопрос, к которому надо подходить чрезвычайно аккуратно. Если функции дистанционного мониторинга и диспетчеризации необходимы, то практика предоставления доступа персоналу к функциям дистанционного управления представляется радикально неверной. Доступность модулей управления извне потенциально несет в себе риск нарушения безопасности и категорически снижает надежность системы. Если существует физическая возможность дистанционно воздействовать на ИБП, на его параметры, отключение, снятие нагрузки, закрытие выходных тиристорных ключей или блокирование цепи байпаса, то это чревато потерей питания всего ЦОД».

Практически на всех трехфазных ИБП предусмотрена кнопка E.P.O. (Emergency Power Off), дублер которой может быть выведен на пульт управления диспетчерской. Она обеспечивает аварийное дистанционное отключение блоков ИБП при наступлении аварийных событий. Это, пожалуй, единственная возможность обесточить нагрузку, питаемую от трехфазного аппарата, но реализуется она в исключительных случаях.

Что же касается диагностики электропитания, то, как отмечает Юрий Копылов, технический директор московского офиса корпорации Eaton, в последнее время характерной тенденцией в управляющем программном обеспечении стал отказ от предоставления функций удаленного тестирования батарей даже системному администратору.

— Адекватно сравнивать состояние батарей необходимо под нагрузкой, — говорит он, — сам тест запускать не чаще чем раз в два дня, а разряжать батареи надо при одном и том же токе и уровне нагрузки. К тому же процесс заряда — довольно долгий. Все это не идет батареям на пользу.

Средства мониторинга

Производители ИБП предоставляют, как правило, сразу несколько средств мониторинга и в некоторых случаях даже управления ИБП — все они основаны на трех основных методах.

В первом случае устройство подключается напрямую через интерфейс RS-232 (Com-порт) к консоли администратора. Дальность такого подключения не превышает 15 метров, но может быть увеличена с помощью конверторов RS-232/485 и RS-485/232 на концах провода, связывающего ИБП с консолью администратора. Такой способ обеспечивает низкую скорость обмена информацией и пригоден лишь для топологии «точка — точка».

Второй способ предполагает использование SNMP-адаптера — встроенной или внешней интерфейсной карты, позволяющей из любой точки локальной сети получить информацию об основных параметрах ИБП. В принципе, для доступа к ИБП через SNMP достаточно веб-браузера. Однако для большего комфорта производители оснащают свои системы более развитым графическим интерфейсом, обеспечивающим функции мониторинга и корректного завершения работы. На базе SNMP-протокола функционируют все основные системы мониторинга и управления ИБП, поставляемые штатно или опционально вместе с ИБП.

Стандартные SNMP-адаптеры поддерживают подключение нескольких аналоговых или пороговых устройств — датчик температуры, движения, открытия двери и проч. Интеграция таких устройств в общую систему мониторинга крупного объекта (например, дата-центра) позволяет охватить огромное количество точек наблюдения и отразить эту информацию на экране диспетчера.

Большое удобство предоставляет метод эксплуатационного удаленного контроля T.SERVICE, позволяющий отследить работу оборудования посредством телефонной линии (через модем GSM) или через Интернет (с помощью интерфейса Net Vision путем рассылки e-mail на электронный адрес потребителя). T.SERVICE обеспечивает диагностирование оборудования в режиме реального времени в течение 24 часов в сутки 365 дней в году. ИБП автоматически отправляет в центр технического обслуживания регулярные отчеты или отчеты при обнаружении неисправности. В зависимости от контролируемых параметров могут отправляться уведомления о неправильной эксплуатации (с пользователем связывается опытный специалист и рекомендует выполнить простые операции для предотвращения ухудшения рабочих характеристик оборудования) или о наличии отказа (пользователь информируется о состоянии устройства, а на место установки немедленно отправляется технический специалист).

Профессиональное мнение

Наталья Маркина, коммерческий директор представительства компании SOCOMEC

Управляющее ПО фирмы SOCOMEC легко интегрируется в общий контур управления инженерной инфраструктурой ЦОД посредством разнообразных интерфейсов передачи данных ИБП. Установленное в аппаратной или ЦОД оборудование SOCOMEC может дистанционно обмениваться информацией о своих рабочих параметрах с системами централизованного управления и компьютерными сетями посредством сухих контактов, последовательных портов RS232, RS422, RS485, а также через интерфейс MODBUS TCP и GSS.

Интерфейс GSS предназначен для коммуникации с генераторными установками и включает в себя 4 входа (внешние контакты) и 1 выход (60 В). Это позволяет программировать особые процедуры управления, Global Supply System, которые обеспечивают полную совместимость ИБП с генераторными установками.

У компании Socomec имеется широкий выбор интерфейсов и коммуникационного программного обеспечения для установки диалога между ИБП и удаленными системами мониторинга промышленного и компьютерного оборудования. Такие опции связи, как панель дистанционного управления, интерфейс ADC (реконфигурируемые сухие контакты), обеспечивающий ввод и вывод данных при помощи сигналов сухих контактов, интерфейсы последовательной передачи данных RS232, RS422, RS485 по протоколам JBUS/MODBUS, PROFIBUS или DEVICENET, MODBUS TCP (JBUS/MODBUS-туннелирование), интерфейс NET VISION для локальной сети Ethernet, программное обеспечение TOP VISION для выполнения мониторинга с помощью рабочей станции Windows XP PRO — все это позволяет контролировать работу ИБП удобным для пользователя способом.

Весь контроль управления ИБП, ДГУ, контроль окружающей среды сводится в единый диспетчерский пункт посредством протоколов JBUS/MODBUS.
 

Индустриальный подход

Третий метод основан на использовании высокоскоростной индустриальной интерфейсной шины: CANBus, JBus, MODBus, PROFIBus и проч. Некоторые модели ИБП поддерживают разновидность универсального smart-слота для установки как карточек SNMP, так и интерфейсной шины. Система мониторинга на базе индустриальной шины может быть интегрирована в уже существующую промышленную SCADA-систему контроля и получения данных либо создана как заказное решение на базе многофункциональных стандартных контроллеров с выходом на шину. Промышленная шина через шлюзы передает информацию на удаленный диспетчерский пункт или в систему управления зданием (Building Management System, BMS). В эту систему могут быть интегрированы и контроллеры, управляющие ИБП.

Универсальные SCADA-системы поддерживают датчики и контроллеры широкого перечня производителей, но они недешевы и к тому же неудобны для внесения изменений. Но если подобная система уже функционирует на объекте, то интеграция в нее дополнительных ИБП не представляет труда.

Сергей Ермаков, технический директор компании Inelt, считает, что применение универсальных систем управления на базе промышленных контроллеров нецелесообразно, если используется для мониторинга только ИБП и ДГУ. Один из практичных подходов — создание заказной системы, с удобной для заказчика графической оболочкой и необходимым уровнем детализации — от карты местности до поэтажного плана и погружения в мнемосхему компонентов ИБП.

— ИБП может передавать одинаковое количество информации о своем состоянии и по прямому соединению, и по SNMP, и по Bus-шине, — говорит Сергей Ермаков. — Применение того или иного метода зависит от конкретной задачи и бюджета. Создав первоначально систему UPS Look для мониторинга ИБП, мы интегрировали в нее систему мониторинга ДГУ на основе SNMP-протокола, после чего по желанию одного из заказчиков конвертировали эту систему на промышленную шину Jbus. Новое ПО JSLook для мониторинга неограниченного количества ИБП и ДГУ по протоколу JBus является полнофункциональным средством мониторинга всей системы электроснабжения объекта.

Профессиональное мение

Денис Андреев, руководитель департамента ИБП компании Landata

Практически все ИБП Eaton позволяют использовать коммуникационную Web-SNMP плату Connect UPS и датчик EMP (Environmental Monitoring Probe). Такой комплект позволяет в числе прочего осуществлять мониторинг температуры, влажности и состояния пары «сухих» контактов, к которым можно подключить внешние датчики.

Решение Eaton Environmental Rack Monitor представляет собой аналог такой связки, но с существенно более широким функционалом. Внешне эта система мониторинга температуры, влажности и состояния «сухих» контактов выполнена в виде компактного устройства, которое занимает минимум места в шкафу или в помещении.

Благодаря наличию у Eaton Environmental Rack Monitor (ERM) двух выходов датчики температуры или влажности можно разместить в разных точках стойки или помещения. Поскольку каждый из двух датчиков имеет еще по два сухих контакта, с них дополнительно можно принимать сигналы от датчиков задымления, утечки и проч. В центре обработки данных такая недорогая система ERM, состоящая из неограниченного количества датчиков, может транслировать информацию по протоколу SNMP в HTML-страницу и позволяет, не приобретая специального ПО, получить сводную таблицу измеряемых величин через веб-браузер.

Проблему дефицита пространства и высокой плотности размещения оборудования в серверных и ЦОД решают системы распределения питания линейки Eaton eDPU, которые можно установить как внутри стойки, так и на группу стоек.

Все модели этой линейки представляют четыре семейства: системы базового исполнения, системы с индикацией потребляемого тока, с мониторингом (локальным и удаленным, по сети) и управляемые, с возможностью мониторинга и управления электропитанием вплоть до каждой розетки. С помощью этих устройств можно компактным способом увеличить количество розеток в одной стойке, обеспечить контроль уровня тока и напряжения критичной нагрузки.

Контроль уровня потребляемой мощности может осуществляться с высокой степенью детализации, вплоть до сервера, подключенного к конкретной розетке. Это позволяет выяснить, какой сервер перегревается, где вышел из строя вентилятор, блок питания и т. д. Программным образом можно запустить сервер, подключенный к розетке ePDU. Интеграция системы контроля ePDU в платформу управления Eaton находится в процессе реализации.

Требование объекта

Как поясняет Олег Письменский, в критичных объектах, таких как ЦОД, можно условно выделить две области контроля и управления. Первая, Grey Space, — это собственно здание и соответствующая система его энергообеспечения и энергораспределения. Вторая, White Space, — непосредственно машинный зал с его системами.

Выбор системы управления энергообеспечением ЦОД определяется типом объекта, требуемым функционалом системы управления и отведенным на эти цели бюджетом. В большинстве случаев кратковременная задержка между наступлением события и получением информации о нем системой мониторинга по SNMP-протоколу допустима. Тем не менее в целом ряде случаев, если характеристики объекта подразумевают непрерывность его функционирования, объект является комплексным и содержит большое количество элементов, требующих контроля и управления в реальном времени, ни одна стандартная система SNMP-мониторинга не обеспечит требуемого функционала. Для таких объектов применяют системы управления real-time, построенные на базе программно-аппаратных комплексов сбора данных, в том числе c функциями Softlogic.

Системы диспетчеризации и управления крупными объектами реализуются SCADA-системами, широкий перечень которых сегодня присутствует на рынке; представлены они и в портфеле решений Schneider Electric. Тип SCADA-системы зависит от класса и размера объекта, от количества его элементов, требующих контроля и управления, от уровня надежности. Частный вид реализации SCADA — это BMS-система(Building Management System).

«Дата-центры с объемом потребляемой мощности до 1,5 МВт и уровнем надежности Tier I, II и, с оговорками, даже Tier III, могут обслуживаться без дополнительной SCADA-системы, — говорит Олег Письменский. — На таких объектах целесообразно применять ISX Central — программно-аппаратный комплекс, использующий SNMP. Если же категория и мощность однозначно предполагают непрерывность управления, в таких случаях оправданна комбинация SNMP- и SCADA-системы. Например, для машинного зала (White Space) применяется ISX Central с возможными расширениями как Change & Capacity Manager, в комбинации со SCADA-системой, управляющей непосредственно объектом (Grey Space)».

Профессиональное мнение

Олег Письменский, директор департамента консалтинга APC by Schneider Electric в России и СНГ

Подход APC by Schneider Electric к реализации полномасштабного полноуправляемого и надежного ЦОД изначально был основан на базисных принципах управления ИТ-инфраструктурой в рамках концепции ITIL/ITSM. И история развития системы управления инфраструктурой ЦОД ISX Manager, которая затем интегрировалась с программно-аппаратным комплексом NetBotz и трансформировалась в портал диспетчеризации ISX Central, — лучшее тому доказательство.

Первым итогом поэтапного приближения к намеченной цели стало наращивание функций контроля параметров энергообеспечения. Затем в этот контур подключилась система управления кондиционированием, система контроля параметров окружающей среды. Очередным шагом стало измерение скорости воздуха, влажности, пыли, радиации, интеграция сигналов от камер аудио- и видеонаблюдения, системы управления блоками розеток, завершения работы сервера и т. д.

Эта система не может и не должна отвечать абсолютно всем принципам ITSM, потому что не все они касаются существа поставленной задачи. Но как только в отношении политик и некоторых тактик управления емкостью и изменениями в ЦОД потребовался соответствующий инструментарий — это нашло отражение в расширении функционала ISX Central, который в настоящее время реализуют ПО APC by Schneider Electric Capacity Manager и APC by Schneider Electric Change Manager. С появлением этих двух решений, интегрированных в систему управления реальным объектом, АРС предоставляет возможность службе эксплуатации оптимально планировать изменения количественного и качественного состава оборудования машинного зала — как на ежедневном оперативном уровне, так и на уровне стратегических задач массовых будущих изменений.

Решение APC by Schneider Electric Capacity обеспечивает автоматизированную обработку информации о свободных ресурсах инженерной инфраструктуры, реальном потреблении мощности и пространстве в стойках. Обращаясь к серверу ISX Central, системы APC by Schneider Electric Capacity Manager и APC by Schneider Electric Change Manager оценивают степень загрузки ИБП и систем охлаждения InRow, прогнозируют воздействие предполагаемых изменений и предлагают оптимальное место для установки нового или перестановки имеющегося оборудования. Новые решения позволяют, выявив последствия от предполагаемых изменений, правильно спланировать замену оборудования в ЦОД.

Переход от частного к общему может потребовать интеграции ISX Central в такие, например, порталы управления, как Tivoli или Open View. Возможны и другие сценарии, когда ISX Central вписывается и в SCADA–систему. В этом случае ISX Central выполняет роль диспетчерской настройки, функционал которой распространяется на серверную комнату, но не охватывает целиком периметр объекта.

Случай из практики

Решение задачи управления энергообеспечением ЦОД иногда вступает в противоречие с правилами устройств электроустановок (ПУЭ). Может оказаться, что в соответствии с ПУЭ в ряде случаев (например, при компоновке щитов ВРУ) необходимо обеспечить механические блокировки. Однако далеко не всегда это удается сделать. Поэтому такая задача часто требует нетривиального решения.

— В одном из проектов, — вспоминает Алексей Сарыгин, — где система управления включала большое количество точек со взаимными пересечениями блокировок, требовалось не допустить снижения общей надежности системы. В этом случае мы пришли к осознанному компромиссу, сделали систему полуавтоматической. Там, где это было возможно, присутствовали механические блокировки, за пультом дежурной смены были оставлены функции мониторинга и анализа, куда сводились все данные о положении всех автоматов. Но исполнительную часть вывели на отдельную панель управления уже внутри ВРУ, где были расположены подробные пользовательские инструкции по оперативному переключению. Таким образом мы избавились от излишней автоматизации, но постарались минимизировать потери в надежности и защититься от ошибок персонала.

[ http://www.computerra.ru/cio/old/products/infrastructure/421312/]

Тематики

• ЦОДы (центры обработки данных)

EN

• power management

 

контроль потребления электроэнергии
контроль энергопотребления
—
[Интент]

Тематики

• ЦОДы (центры обработки данных)

Синонимы

• контроль энергопотребления

EN

• power management

 

управление электропитанием
-
[Интент]

Управление электропитанием ЦОД

Автор: Жилкина Наталья
Опубликовано 23 апреля 2009 года

Источники бесперебойного питания, функционирующие в ЦОД, составляют важный элемент общей системы его энергообеспечения. Вписываясь в контур управления ЦОД, система мониторинга и управления ИБП становится ядром для реализации эксплуатационных функций.

Три задачи

Системы мониторинга, диагностики и управления питанием нагрузки решают три основные задачи: позволяют ИБП выполнять свои функции, оповещать персонал о происходящих с ними событиях и посылать команды для автоматического завершения работы защищаемого устройства.

Мониторинг параметров ИБП предполагает отображение и протоколирование состояния устройства и всех событий, связанных с его изменением. Диагностика реализуется функциями самотестирования системы. Управляющие же функции предполагают активное вмешательство в логику работы устройства.

Многие специалисты этого рынка, отмечая важность процедуры мониторинга, считают, что управление должно быть сведено к минимуму. «Функция управления ИБП тоже нужна, но скорее факультативно, — говорит Сергей Ермаков, технический директор компании Inelt и эксперт в области систем Chloride. — Я глубоко убежден, что решения об активном управляющем вмешательстве в работу систем защиты электропитания ответственной нагрузки должен принимать человек, а не автоматизированная система. Завершение работы современных мощных серверов, на которых функционируют ответственные приложения, — это, как правило, весьма длительный процесс. ИБП зачастую не способны обеспечивать необходимое для него время, не говоря уж о времени запуска какого-то сервиса». Функция же мониторинга позволяет предотвратить наступление нежелательного события — либо, если таковое произошло, проанализировать его причины, опираясь не на слова, а на запротоколированные данные, хранящиеся в памяти адаптера или файлах на рабочей станции мониторинга.

Эту точку зрения поддерживает и Алексей Сарыгин, технический директор компании Radius Group: «Дистанционное управление мощных ИБП — это вопрос, к которому надо подходить чрезвычайно аккуратно. Если функции дистанционного мониторинга и диспетчеризации необходимы, то практика предоставления доступа персоналу к функциям дистанционного управления представляется радикально неверной. Доступность модулей управления извне потенциально несет в себе риск нарушения безопасности и категорически снижает надежность системы. Если существует физическая возможность дистанционно воздействовать на ИБП, на его параметры, отключение, снятие нагрузки, закрытие выходных тиристорных ключей или блокирование цепи байпаса, то это чревато потерей питания всего ЦОД».

Практически на всех трехфазных ИБП предусмотрена кнопка E.P.O. (Emergency Power Off), дублер которой может быть выведен на пульт управления диспетчерской. Она обеспечивает аварийное дистанционное отключение блоков ИБП при наступлении аварийных событий. Это, пожалуй, единственная возможность обесточить нагрузку, питаемую от трехфазного аппарата, но реализуется она в исключительных случаях.

Что же касается диагностики электропитания, то, как отмечает Юрий Копылов, технический директор московского офиса корпорации Eaton, в последнее время характерной тенденцией в управляющем программном обеспечении стал отказ от предоставления функций удаленного тестирования батарей даже системному администратору.

— Адекватно сравнивать состояние батарей необходимо под нагрузкой, — говорит он, — сам тест запускать не чаще чем раз в два дня, а разряжать батареи надо при одном и том же токе и уровне нагрузки. К тому же процесс заряда — довольно долгий. Все это не идет батареям на пользу.

Средства мониторинга

Производители ИБП предоставляют, как правило, сразу несколько средств мониторинга и в некоторых случаях даже управления ИБП — все они основаны на трех основных методах.

В первом случае устройство подключается напрямую через интерфейс RS-232 (Com-порт) к консоли администратора. Дальность такого подключения не превышает 15 метров, но может быть увеличена с помощью конверторов RS-232/485 и RS-485/232 на концах провода, связывающего ИБП с консолью администратора. Такой способ обеспечивает низкую скорость обмена информацией и пригоден лишь для топологии «точка — точка».

Второй способ предполагает использование SNMP-адаптера — встроенной или внешней интерфейсной карты, позволяющей из любой точки локальной сети получить информацию об основных параметрах ИБП. В принципе, для доступа к ИБП через SNMP достаточно веб-браузера. Однако для большего комфорта производители оснащают свои системы более развитым графическим интерфейсом, обеспечивающим функции мониторинга и корректного завершения работы. На базе SNMP-протокола функционируют все основные системы мониторинга и управления ИБП, поставляемые штатно или опционально вместе с ИБП.

Стандартные SNMP-адаптеры поддерживают подключение нескольких аналоговых или пороговых устройств — датчик температуры, движения, открытия двери и проч. Интеграция таких устройств в общую систему мониторинга крупного объекта (например, дата-центра) позволяет охватить огромное количество точек наблюдения и отразить эту информацию на экране диспетчера.

Большое удобство предоставляет метод эксплуатационного удаленного контроля T.SERVICE, позволяющий отследить работу оборудования посредством телефонной линии (через модем GSM) или через Интернет (с помощью интерфейса Net Vision путем рассылки e-mail на электронный адрес потребителя). T.SERVICE обеспечивает диагностирование оборудования в режиме реального времени в течение 24 часов в сутки 365 дней в году. ИБП автоматически отправляет в центр технического обслуживания регулярные отчеты или отчеты при обнаружении неисправности. В зависимости от контролируемых параметров могут отправляться уведомления о неправильной эксплуатации (с пользователем связывается опытный специалист и рекомендует выполнить простые операции для предотвращения ухудшения рабочих характеристик оборудования) или о наличии отказа (пользователь информируется о состоянии устройства, а на место установки немедленно отправляется технический специалист).

Профессиональное мнение

Наталья Маркина, коммерческий директор представительства компании SOCOMEC

Управляющее ПО фирмы SOCOMEC легко интегрируется в общий контур управления инженерной инфраструктурой ЦОД посредством разнообразных интерфейсов передачи данных ИБП. Установленное в аппаратной или ЦОД оборудование SOCOMEC может дистанционно обмениваться информацией о своих рабочих параметрах с системами централизованного управления и компьютерными сетями посредством сухих контактов, последовательных портов RS232, RS422, RS485, а также через интерфейс MODBUS TCP и GSS.

Интерфейс GSS предназначен для коммуникации с генераторными установками и включает в себя 4 входа (внешние контакты) и 1 выход (60 В). Это позволяет программировать особые процедуры управления, Global Supply System, которые обеспечивают полную совместимость ИБП с генераторными установками.

У компании Socomec имеется широкий выбор интерфейсов и коммуникационного программного обеспечения для установки диалога между ИБП и удаленными системами мониторинга промышленного и компьютерного оборудования. Такие опции связи, как панель дистанционного управления, интерфейс ADC (реконфигурируемые сухие контакты), обеспечивающий ввод и вывод данных при помощи сигналов сухих контактов, интерфейсы последовательной передачи данных RS232, RS422, RS485 по протоколам JBUS/MODBUS, PROFIBUS или DEVICENET, MODBUS TCP (JBUS/MODBUS-туннелирование), интерфейс NET VISION для локальной сети Ethernet, программное обеспечение TOP VISION для выполнения мониторинга с помощью рабочей станции Windows XP PRO — все это позволяет контролировать работу ИБП удобным для пользователя способом.

Весь контроль управления ИБП, ДГУ, контроль окружающей среды сводится в единый диспетчерский пункт посредством протоколов JBUS/MODBUS.
 

Индустриальный подход

Третий метод основан на использовании высокоскоростной индустриальной интерфейсной шины: CANBus, JBus, MODBus, PROFIBus и проч. Некоторые модели ИБП поддерживают разновидность универсального smart-слота для установки как карточек SNMP, так и интерфейсной шины. Система мониторинга на базе индустриальной шины может быть интегрирована в уже существующую промышленную SCADA-систему контроля и получения данных либо создана как заказное решение на базе многофункциональных стандартных контроллеров с выходом на шину. Промышленная шина через шлюзы передает информацию на удаленный диспетчерский пункт или в систему управления зданием (Building Management System, BMS). В эту систему могут быть интегрированы и контроллеры, управляющие ИБП.

Универсальные SCADA-системы поддерживают датчики и контроллеры широкого перечня производителей, но они недешевы и к тому же неудобны для внесения изменений. Но если подобная система уже функционирует на объекте, то интеграция в нее дополнительных ИБП не представляет труда.

Сергей Ермаков, технический директор компании Inelt, считает, что применение универсальных систем управления на базе промышленных контроллеров нецелесообразно, если используется для мониторинга только ИБП и ДГУ. Один из практичных подходов — создание заказной системы, с удобной для заказчика графической оболочкой и необходимым уровнем детализации — от карты местности до поэтажного плана и погружения в мнемосхему компонентов ИБП.

— ИБП может передавать одинаковое количество информации о своем состоянии и по прямому соединению, и по SNMP, и по Bus-шине, — говорит Сергей Ермаков. — Применение того или иного метода зависит от конкретной задачи и бюджета. Создав первоначально систему UPS Look для мониторинга ИБП, мы интегрировали в нее систему мониторинга ДГУ на основе SNMP-протокола, после чего по желанию одного из заказчиков конвертировали эту систему на промышленную шину Jbus. Новое ПО JSLook для мониторинга неограниченного количества ИБП и ДГУ по протоколу JBus является полнофункциональным средством мониторинга всей системы электроснабжения объекта.

Профессиональное мение

Денис Андреев, руководитель департамента ИБП компании Landata

Практически все ИБП Eaton позволяют использовать коммуникационную Web-SNMP плату Connect UPS и датчик EMP (Environmental Monitoring Probe). Такой комплект позволяет в числе прочего осуществлять мониторинг температуры, влажности и состояния пары «сухих» контактов, к которым можно подключить внешние датчики.

Решение Eaton Environmental Rack Monitor представляет собой аналог такой связки, но с существенно более широким функционалом. Внешне эта система мониторинга температуры, влажности и состояния «сухих» контактов выполнена в виде компактного устройства, которое занимает минимум места в шкафу или в помещении.

Благодаря наличию у Eaton Environmental Rack Monitor (ERM) двух выходов датчики температуры или влажности можно разместить в разных точках стойки или помещения. Поскольку каждый из двух датчиков имеет еще по два сухих контакта, с них дополнительно можно принимать сигналы от датчиков задымления, утечки и проч. В центре обработки данных такая недорогая система ERM, состоящая из неограниченного количества датчиков, может транслировать информацию по протоколу SNMP в HTML-страницу и позволяет, не приобретая специального ПО, получить сводную таблицу измеряемых величин через веб-браузер.

Проблему дефицита пространства и высокой плотности размещения оборудования в серверных и ЦОД решают системы распределения питания линейки Eaton eDPU, которые можно установить как внутри стойки, так и на группу стоек.

Все модели этой линейки представляют четыре семейства: системы базового исполнения, системы с индикацией потребляемого тока, с мониторингом (локальным и удаленным, по сети) и управляемые, с возможностью мониторинга и управления электропитанием вплоть до каждой розетки. С помощью этих устройств можно компактным способом увеличить количество розеток в одной стойке, обеспечить контроль уровня тока и напряжения критичной нагрузки.

Контроль уровня потребляемой мощности может осуществляться с высокой степенью детализации, вплоть до сервера, подключенного к конкретной розетке. Это позволяет выяснить, какой сервер перегревается, где вышел из строя вентилятор, блок питания и т. д. Программным образом можно запустить сервер, подключенный к розетке ePDU. Интеграция системы контроля ePDU в платформу управления Eaton находится в процессе реализации.

Требование объекта

Как поясняет Олег Письменский, в критичных объектах, таких как ЦОД, можно условно выделить две области контроля и управления. Первая, Grey Space, — это собственно здание и соответствующая система его энергообеспечения и энергораспределения. Вторая, White Space, — непосредственно машинный зал с его системами.

Выбор системы управления энергообеспечением ЦОД определяется типом объекта, требуемым функционалом системы управления и отведенным на эти цели бюджетом. В большинстве случаев кратковременная задержка между наступлением события и получением информации о нем системой мониторинга по SNMP-протоколу допустима. Тем не менее в целом ряде случаев, если характеристики объекта подразумевают непрерывность его функционирования, объект является комплексным и содержит большое количество элементов, требующих контроля и управления в реальном времени, ни одна стандартная система SNMP-мониторинга не обеспечит требуемого функционала. Для таких объектов применяют системы управления real-time, построенные на базе программно-аппаратных комплексов сбора данных, в том числе c функциями Softlogic.

Системы диспетчеризации и управления крупными объектами реализуются SCADA-системами, широкий перечень которых сегодня присутствует на рынке; представлены они и в портфеле решений Schneider Electric. Тип SCADA-системы зависит от класса и размера объекта, от количества его элементов, требующих контроля и управления, от уровня надежности. Частный вид реализации SCADA — это BMS-система(Building Management System).

«Дата-центры с объемом потребляемой мощности до 1,5 МВт и уровнем надежности Tier I, II и, с оговорками, даже Tier III, могут обслуживаться без дополнительной SCADA-системы, — говорит Олег Письменский. — На таких объектах целесообразно применять ISX Central — программно-аппаратный комплекс, использующий SNMP. Если же категория и мощность однозначно предполагают непрерывность управления, в таких случаях оправданна комбинация SNMP- и SCADA-системы. Например, для машинного зала (White Space) применяется ISX Central с возможными расширениями как Change & Capacity Manager, в комбинации со SCADA-системой, управляющей непосредственно объектом (Grey Space)».

Профессиональное мнение

Олег Письменский, директор департамента консалтинга APC by Schneider Electric в России и СНГ

Подход APC by Schneider Electric к реализации полномасштабного полноуправляемого и надежного ЦОД изначально был основан на базисных принципах управления ИТ-инфраструктурой в рамках концепции ITIL/ITSM. И история развития системы управления инфраструктурой ЦОД ISX Manager, которая затем интегрировалась с программно-аппаратным комплексом NetBotz и трансформировалась в портал диспетчеризации ISX Central, — лучшее тому доказательство.

Первым итогом поэтапного приближения к намеченной цели стало наращивание функций контроля параметров энергообеспечения. Затем в этот контур подключилась система управления кондиционированием, система контроля параметров окружающей среды. Очередным шагом стало измерение скорости воздуха, влажности, пыли, радиации, интеграция сигналов от камер аудио- и видеонаблюдения, системы управления блоками розеток, завершения работы сервера и т. д.

Эта система не может и не должна отвечать абсолютно всем принципам ITSM, потому что не все они касаются существа поставленной задачи. Но как только в отношении политик и некоторых тактик управления емкостью и изменениями в ЦОД потребовался соответствующий инструментарий — это нашло отражение в расширении функционала ISX Central, который в настоящее время реализуют ПО APC by Schneider Electric Capacity Manager и APC by Schneider Electric Change Manager. С появлением этих двух решений, интегрированных в систему управления реальным объектом, АРС предоставляет возможность службе эксплуатации оптимально планировать изменения количественного и качественного состава оборудования машинного зала — как на ежедневном оперативном уровне, так и на уровне стратегических задач массовых будущих изменений.

Решение APC by Schneider Electric Capacity обеспечивает автоматизированную обработку информации о свободных ресурсах инженерной инфраструктуры, реальном потреблении мощности и пространстве в стойках. Обращаясь к серверу ISX Central, системы APC by Schneider Electric Capacity Manager и APC by Schneider Electric Change Manager оценивают степень загрузки ИБП и систем охлаждения InRow, прогнозируют воздействие предполагаемых изменений и предлагают оптимальное место для установки нового или перестановки имеющегося оборудования. Новые решения позволяют, выявив последствия от предполагаемых изменений, правильно спланировать замену оборудования в ЦОД.

Переход от частного к общему может потребовать интеграции ISX Central в такие, например, порталы управления, как Tivoli или Open View. Возможны и другие сценарии, когда ISX Central вписывается и в SCADA–систему. В этом случае ISX Central выполняет роль диспетчерской настройки, функционал которой распространяется на серверную комнату, но не охватывает целиком периметр объекта.

Случай из практики

Решение задачи управления энергообеспечением ЦОД иногда вступает в противоречие с правилами устройств электроустановок (ПУЭ). Может оказаться, что в соответствии с ПУЭ в ряде случаев (например, при компоновке щитов ВРУ) необходимо обеспечить механические блокировки. Однако далеко не всегда это удается сделать. Поэтому такая задача часто требует нетривиального решения.

— В одном из проектов, — вспоминает Алексей Сарыгин, — где система управления включала большое количество точек со взаимными пересечениями блокировок, требовалось не допустить снижения общей надежности системы. В этом случае мы пришли к осознанному компромиссу, сделали систему полуавтоматической. Там, где это было возможно, присутствовали механические блокировки, за пультом дежурной смены были оставлены функции мониторинга и анализа, куда сводились все данные о положении всех автоматов. Но исполнительную часть вывели на отдельную панель управления уже внутри ВРУ, где были расположены подробные пользовательские инструкции по оперативному переключению. Таким образом мы избавились от излишней автоматизации, но постарались минимизировать потери в надежности и защититься от ошибок персонала.

[ http://www.computerra.ru/cio/old/products/infrastructure/421312/]

Тематики

• ЦОДы (центры обработки данных)

EN

• power management

 

энергоменеджмент
-
[Интент]

Тематики

• электроагрегаты генераторные

EN

• power management

 

система охлаждения ЦОДа
-
[Интент]т

Система охлаждения для небольшого ЦОДа

Александр Барсков

Вы­мыш­лен­ная ком­па­ния (далее За­каз­чик) по­про­си­ла пред­ло­жить си­сте­му охла­жде­ния для стро­я­ще­го­ся ком­мер­че­ско­го ЦОДа. В ос­нов­ном зале пла­ни­ру­ет­ся установить:

• 60 стоек с энер­го­по­треб­ле­ни­ем по 5 кВт (всего 300 кВт) — все эле­мен­ты, необ­хо­ди­мые для обес­пе­че­ния тре­бу­е­мой тем­пе­ра­ту­ры и влаж­но­сти, долж­ны быть уста­нов­ле­ны сразу;
• 16 стоек с энер­го­по­треб­ле­ни­ем по 20 кВт (всего 320 кВт) — это обо­ру­до­ва­ние будет уста­нав­ли­вать­ся по­сте­пен­но (по мере необ­хо­ди­мо­сти), и сред­ства охла­жде­ния пла­ни­ру­ет­ся раз­вер­ты­вать и за­дей­ство­вать по мере под­клю­че­ния и за­груз­ки стоек.

За­каз­чик за­явил, что пред­по­чте­ние будет от­да­но энер­го­эф­фек­тив­ным ре­ше­ни­ям, по­это­му же­ла­тель­но за­дей­ство­вать «зе­ле­ные» тех­но­ло­гии, в первую оче­редь фри­ку­линг (есте­ствен­ное охла­жде­ние на­руж­ным воз­ду­хом — free cooling), и предо­ста­вить рас­чет оку­па­е­мо­сти со­от­вет­ству­ю­щей опции (с уче­том того, что объ­ект на­хо­дит­ся в Мос­ков­ской об­ла­сти). Пла­ни­ру­е­мый уро­вень ре­зер­ви­ро­ва­ния — N+1, но воз­мож­ны и дру­гие ва­ри­ан­ты — при на­ли­чии долж­но­го обос­но­ва­ния. Кроме того, За­каз­чик по­про­сил из­на­чаль­но преду­смот­реть сред­ства мо­ни­то­рин­га энер­го­по­треб­ле­ния с целью оп­ти­ми­за­ции рас­хо­да электроэнергии.

ЧТО ПРО­ГЛЯ­ДЕЛ ЗАКАЗЧИК

В сфор­му­ли­ро­ван­ной в столь общем виде за­да­че не учтен ряд су­ще­ствен­ных де­та­лей, на ко­то­рые не пре­ми­ну­ли ука­зать экс­пер­ты. Так, Дмит­рий Ча­га­ров, ру­ко­во­ди­тель на­прав­ле­ния вен­ти­ля­ции и кон­ди­ци­о­ни­ро­ва­ния ком­па­нии «Ути­лекс», за­ме­тил, что в за­да­нии ни­че­го не ска­за­но о ха­рак­те­ре на­груз­ки. Он, как и осталь­ные про­ек­ти­ров­щи­ки, ис­хо­дил из пред­по­ло­же­ния, что воз­душ­ный поток на­прав­лен с фрон­таль­ной части стоек назад, но, как из­вест­но, неко­то­рые ком­му­та­то­ры спро­ек­ти­ро­ва­ны для охла­жде­ния сбоку — для них при­дет­ся ис­поль­зо­вать спе­ци­аль­ные бо­ко­вые блоки рас­пре­де­ле­ния воз­душ­но­го потока.

В за­да­нии ска­за­но о раз­ме­ще­нии всех стоек (5 и 20 кВт) в ос­нов­ном зале, од­на­ко неко­то­рые экс­пер­ты на­сто­я­тель­но ре­ко­мен­ду­ют вы­де­лить от­дель­ную зону для вы­со­ко­на­гру­жен­ных стоек. По сло­вам Алек­сандра Мар­ты­ню­ка, ге­не­раль­но­го ди­рек­то­ра кон­сал­тин­го­вой ком­па­нии «Ди Си квад­рат», «это будет пра­виль­нее и с точки зре­ния про­ек­ти­ро­ва­ния, и с по­зи­ций удоб­ства экс­плу­а­та­ции». Такое вы­де­ле­ние (изо­ля­ция осу­ществ­ля­ет­ся при по­мо­щи вы­го­ро­док) преду­смот­ре­но, на­при­мер, в про­ек­те ком­па­нии «Ком­плит»: Вла­ди­слав Яко­вен­ко, на­чаль­ник от­де­ла ин­фра­струк­тур­ных про­ек­тов, уве­рен, что по­доб­ное ре­ше­ние, во-пер­вых, об­лег­чит об­слу­жи­ва­ние обо­ру­до­ва­ния, а во-вто­рых, поз­во­лит ис­поль­зо­вать раз­лич­ные тех­но­ло­гии хо­ло­до­снаб­же­ния в раз­ных зонах. Впро­чем, боль­шин­ство про­ек­ти­ров­щи­ков не ис­пы­та­ли осо­бых про­блем при ре­ше­нии за­да­чи по от­во­ду тепла от стоек 5 и 20 кВт, уста­нов­лен­ных в одном помещении.

Один из пер­вых во­про­сов, с ко­то­рым За­каз­чик об­ра­тил­ся к бу­ду­ще­му парт­не­ру, был свя­зан с фаль­шпо­лом: «Необ­хо­дим ли он во­об­ще, и если нужен, то какой вы­со­ты?». Алек­сандр Мар­ты­нюк ука­зал, что гра­мот­ный рас­чет вы­со­ты фаль­шпо­ла воз­мо­жен толь­ко при усло­вии предо­став­ле­ния до­пол­ни­тель­ной ин­фор­ма­ции: о типе стоек (как в них будет ор­га­ни­зо­ва­на по­да­ча охла­жда­ю­ще­го воз­ду­ха?); об ор­га­ни­за­ции ка­бель­ной про­вод­ки (под полом или по­тол­ком? сколь­ко ка­бе­лей? ка­ко­го диа­мет­ра?); об осо­бен­но­стях по­ме­ще­ния (вы­со­та по­тол­ков, со­от­но­ше­ние длин стен, на­ли­чие вы­сту­пов и опор­ных ко­лонн) и т. д. Он со­ве­ту­ет вы­пол­нить тем­пе­ра­тур­но-кли­ма­ти­че­ское мо­де­ли­ро­ва­ние по­ме­ще­ния с уче­том вы­ше­пе­ре­чис­лен­ных па­ра­мет­ров и, если по­тре­бу­ет­ся, уточ­ня­ю­щих дан­ных. В ре­зуль­та­те можно будет под­го­то­вить ре­ко­мен­да­ции в от­но­ше­нии оп­ти­маль­ной вы­со­ты фаль­шпо­ла, а также дать оцен­ку це­ле­со­об­раз­но­сти раз­ме­ще­ния в одном зале стоек с раз­ной энергонагруженностью.

Что ж, мы дей­стви­тель­но не предо­ста­ви­ли всей ин­фор­ма­ции, необ­хо­ди­мой для по­доб­но­го мо­де­ли­ро­ва­ния, и про­ек­ти­ров­щи­кам при­ш­лось до­воль­ство­вать­ся скуд­ны­ми ис­ход­ны­ми дан­ны­ми. И все же, на­де­ем­ся, пред­став­лен­ные ре­ше­ния ока­жут­ся ин­те­рес­ны­ми и по­лез­ны­ми ши­ро­ко­му кругу за­каз­чи­ков. Им оста­нет­ся толь­ко «по­до­гнать» ре­ше­ния «под себя».

«КЛАС­СИ­КА» ОХЛАЖДЕНИЯ

Для сня­тия тепла со стоек при на­груз­ке 5 кВт боль­шин­ство про­ек­ти­ров­щи­ков пред­ло­жи­ли самый рас­про­стра­нен­ный на се­год­ня ва­ри­ант — уста­нов­ку шкаф­ных пре­ци­зи­он­ных кон­ди­ци­о­не­ров, по­да­ю­щих хо­лод­ный воз­дух в про­стран­ство под фаль­шпо­лом. Под­вод воз­ду­ха к обо­ру­до­ва­нию осу­ществ­ля­ет­ся в зоне хо­лод­ных ко­ри­до­ров через пер­фо­ри­ро­ван­ные плиты или воз­ду­хо­рас­пре­де­ли­тель­ные ре­шет­ки фаль­шпо­ла, а отвод воз­ду­ха от кон­ди­ци­о­не­ров — из зоны го­ря­чих ко­ри­до­ров через верх­нюю часть зала или про­стран­ство на­вес­но­го по­тол­ка (см. Рисунок 1). Такая схема может быть ре­а­ли­зо­ва­на толь­ко при на­ли­чии фаль­шпо­ла до­ста­точ­ной высоты

В во­про­се вы­бо­ра места для уста­нов­ки шкаф­ных кон­ди­ци­о­не­ров един­ство мне­ний от­сут­ству­ет, мно­гие ука­за­ли на воз­мож­ность их раз­ме­ще­ния как в сер­вер­ном зале, так и в со­сед­нем по­ме­ще­нии. Алек­сей Кар­пин­ский, ди­рек­тор де­пар­та­мен­та ин­же­нер­ных си­стем ком­па­нии «Асте­рос», уве­рен, что для низ­ко­на­гру­жен­ных стоек луч­шим ре­ше­ни­ем будет вынос «тя­же­лой ин­же­не­рии» за пре­де­лы сер­вер­но­го зала (см. Рисунок 2) — тогда для об­слу­жи­ва­ния кон­ди­ци­о­не­ров внутрь зала вхо­дить не при­дет­ся. «Это по­вы­ша­ет на­деж­ность ра­бо­ты обо­ру­до­ва­ния, ведь, как из­вест­но, наи­бо­лее часто оно вы­хо­дит из строя вслед­ствие че­ло­ве­че­ско­го фак­то­ра, — объ­яс­ня­ет он. — При­чем по­ме­ще­ние с кон­ди­ци­о­не­ра­ми может быть со­вер­шен­но не свя­зан­ным с ма­шин­ным залом и рас­по­ла­гать­ся, на­при­мер, через ко­ри­дор или на дру­гом этаже».

Если стой­ки мощ­но­стью 5 и 20 кВт уста­нав­ли­ва­ют­ся в одном по­ме­ще­нии, Алек­сандр Ласый, за­ме­сти­тель ди­рек­то­ра де­пар­та­мен­та ин­тел­лек­ту­аль­ных зда­ний ком­па­нии «Крок», ре­ко­мен­ду­ет ор­га­ни­зо­вать фи­зи­че­ское раз­де­ле­ние го­ря­чих и хо­лод­ных ко­ри­до­ров. В си­ту­а­ции, когда для вы­со­ко­на­гру­жен­ных стоек вы­де­ля­ет­ся от­дель­ное по­ме­ще­ние, по­доб­но­го раз­де­ле­ния для стоек на 5 кВт не требуется.

ФРЕОН ИЛИ ВОДА

Шкаф­ные кон­ди­ци­о­не­ры на рынке пред­став­ле­ны как во фре­о­но­вом ис­пол­не­нии, так и в ва­ри­ан­тах с во­дя­ным охла­жде­ни­ем. При ис­поль­зо­ва­нии фре­о­но­вых кон­ди­ци­о­не­ров на крыше или при­ле­га­ю­щей тер­ри­то­рии необ­хо­ди­мо преду­смот­реть место для уста­нов­ки кон­ден­са­тор­ных бло­ков, а при во­дя­ном охла­жде­нии по­тре­бу­ет­ся место под на­сос­ную и во­до­охла­жда­ю­щие ма­ши­ны (чиллеры).

Спе­ци­а­ли­сты ком­па­нии «АМД­тех­но­ло­гии» пред­ста­ви­ли За­каз­чи­ку срав­не­ние раз­лич­ных ва­ри­ан­тов фре­о­но­вых и во­дя­ных си­стем кон­ди­ци­о­ни­ро­ва­ния. Наи­бо­лее бюд­жет­ный ва­ри­ант преду­смат­ри­ва­ет уста­нов­ку обыч­ных шкаф­ных фре­о­но­вых кон­ди­ци­о­не­ров HPM M50 UA с по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. При­мер­но на чет­верть до­ро­же обой­дут­ся мо­де­ли кон­ди­ци­о­не­ров с циф­ро­вым спи­раль­ным ком­прес­со­ром и элек­трон­ным тер­мо­рас­ши­ри­тель­ным вен­ти­лем (HPM D50 UA, Digital). Мощ­ность кон­ди­ци­о­не­ров ре­гу­ли­ру­ет­ся в за­ви­си­мо­сти от тем­пе­ра­ту­ры в по­ме­ще­нии, это поз­во­ля­ет до­бить­ся 12-про­цент­ной эко­но­мии элек­тро­энер­гии, а также умень­шить ко­ли­че­ство пусков и оста­но­ва ком­прес­со­ра, что по­вы­ша­ет срок служ­бы си­сте­мы. В слу­чае от­сут­ствия на объ­ек­те фаль­шпо­ла (или его недо­ста­точ­ной вы­со­ты) пред­ло­жен более до­ро­гой по на­чаль­ным вло­же­ни­ям, но эко­но­мич­ный в экс­плу­а­та­ции ва­ри­ант с внут­ри­ряд­ны­ми фре­о­но­вы­ми кондиционерами.

Как по­ка­зы­ва­ет пред­став­лен­ный ана­лиз, фре­о­но­вые кон­ди­ци­о­не­ры менее эф­фек­тив­ны по срав­не­нию с си­сте­мой во­дя­но­го охла­жде­ния. При этом, о чем на­по­ми­на­ет Вик­тор Гав­ри­лов, тех­ни­че­ский ди­рек­тор «АМД­тех­но­ло­гий», фре­о­но­вая си­сте­ма имеет огра­ни­че­ние по длине тру­бо­про­во­да и пе­ре­па­ду высот между внут­рен­ни­ми и на­руж­ны­ми бло­ка­ми (эк­ви­ва­лент­ная общая длина трас­сы фре­о­но­про­во­да не долж­на пре­вы­шать 50 м, а ре­ко­мен­ду­е­мый пе­ре­пад по вы­со­те — 30 м); у во­дя­ной си­сте­мы таких огра­ни­че­ний нет, по­это­му ее можно при­спо­со­бить к любым осо­бен­но­стям зда­ния и при­ле­га­ю­щей тер­ри­то­рии. Важно также пом­нить, что при при­ме­не­нии фре­о­но­вой си­сте­мы пер­спек­ти­вы раз­ви­тия (уве­ли­че­ние плот­но­сти энер­го­по­треб­ле­ния) су­ще­ствен­но огра­ни­че­ны, тогда как при за­клад­ке необ­хо­ди­мой ин­фра­струк­ту­ры по­да­чи хо­лод­ной воды к стой­кам (тру­бо­про­во­ды, на­со­сы, ар­ма­ту­ра) на­груз­ку на стой­ку можно впо­след­ствии уве­ли­чи­вать до 30 кВт и выше, не при­бе­гая к ка­пи­таль­ной ре­кон­струк­ции сер­вер­но­го помещения.

К фак­то­рам, ко­то­рые могут опре­де­лить выбор в поль­зу фре­о­но­вых кон­ди­ци­о­не­ров, можно от­не­сти от­сут­ствие места на улице (на­при­мер из-за невоз­мож­но­сти обес­пе­чить по­жар­ный про­езд) или на кров­ле (вслед­ствие осо­бен­но­стей кон­струк­ции или ее недо­ста­точ­ной несу­щей спо­соб­но­сти) для мон­та­жа мо­но­блоч­ных чил­ле­ров на­руж­ной уста­нов­ки. При этом боль­шин­ство экс­пер­тов еди­но­душ­но вы­ска­зы­ва­ют мне­ние, что при ука­зан­ных мощ­но­стях ре­ше­ние на воде эко­но­ми­че­ски це­ле­со­об­раз­нее и проще в ре­а­ли­за­ции. Кроме того, при ис­поль­зо­ва­нии воды и/или эти­лен­гли­ко­ле­вой смеси в ка­че­стве хо­ло­до­но­си­те­ля можно за­дей­ство­вать ти­по­вые функ­ции фри­ку­лин­га в чиллерах.

Впро­чем, функ­ции фри­ку­лин­га воз­мож­но за­дей­ство­вать и во фре­о­но­вых кон­ди­ци­о­не­рах. Такие ва­ри­ан­ты ука­за­ны в пред­ло­же­ни­ях ком­па­ний RC Group и «Ин­же­нер­ное бюро ’’Хос­сер‘‘», где ис­поль­зу­ют­ся фре­о­но­вые кон­ди­ци­о­не­ры со встро­ен­ны­ми кон­ден­са­то­ра­ми во­дя­но­го охла­жде­ния и внеш­ни­ми теп­ло­об­мен­ни­ка­ми с функ­ци­ей фри­ку­лин­га (сухие гра­дир­ни). Спе­ци­а­ли­сты RC Group сразу от­ка­за­лись от ва­ри­ан­та с уста­нов­кой кон­ди­ци­о­не­ров с вы­нос­ны­ми кон­ден­са­то­ра­ми воз­душ­но­го охла­жде­ния, по­сколь­ку он не со­от­вет­ству­ет тре­бо­ва­нию За­каз­чи­ка за­дей­ство­вать режим фри­ку­лин­га. По­ми­мо уже на­зван­но­го они пред­ло­жи­ли ре­ше­ние на ос­но­ве кон­ди­ци­о­не­ров, ра­бо­та­ю­щих на охла­жден­ной воде. Ин­те­рес­но от­ме­тить, что и про­ек­ти­ров­ши­ки «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» раз­ра­бо­та­ли вто­рой ва­ри­ант на воде.

Если ком­па­ния «АМД­тех­но­ло­гии» пред­ло­жи­ла для стоек на 5 кВт ре­ше­ние на базе внут­ри­ряд­ных кон­ди­ци­о­не­ров толь­ко как один из воз­мож­ных ва­ри­ан­тов, то APC by Schneider Electric (см. Ри­су­нок 3), а также один из парт­не­ров этого про­из­во­ди­те­ля, ком­па­ния «Ути­лекс», от­да­ют пред­по­чте­ние кон­ди­ци­о­не­рам, уста­нав­ли­ва­е­мым в ряды стоек. В обоих ре­ше­ни­ях пред­ло­же­но изо­ли­ро­вать го­ря­чий ко­ри­дор с по­мо­щью си­сте­мы HACS (см. Ри­су­нок 4). «Для эф­фек­тив­но­го охла­жде­ния необ­хо­ди­мо сни­зить по­те­ри при транс­пор­ти­ров­ке хо­лод­но­го воз­ду­ха, по­это­му си­сте­мы кон­ди­ци­о­ни­ро­ва­ния лучше уста­но­вить рядом с на­груз­кой. Раз­ме­ще­ние кон­ди­ци­о­не­ров в от­дель­ном по­ме­ще­нии — такая мо­дель при­ме­ня­лась в со­вет­ских вы­чис­ли­тель­ных цен­трах — в дан­ном слу­чае менее эф­фек­тив­но», — счи­та­ет Дмит­рий Ча­га­ров. В слу­чае ис­поль­зо­ва­ния внут­ри­ряд­ных кон­ди­ци­о­не­ров фаль­шпол уже не яв­ля­ет­ся необ­хо­ди­мо­стью, хотя в про­ек­те «Ути­лек­са» он преду­смот­рен — для про­клад­ки трасс хо­ло­до­снаб­же­ния, элек­тро­пи­та­ния и СКС.

Ми­ха­ил Бал­ка­ров, си­стем­ный ин­же­нер ком­па­нии APC by Schneider Electric, от­ме­ча­ет, что при от­сут­ствии фаль­шпо­ла трубы можно про­ло­жить либо в штро­бах, либо свер­ху, преду­смот­рев до­пол­ни­тель­ный уро­вень за­щи­ты в виде лот­ков или ко­ро­бов для кон­тро­ли­ру­е­мо­го слива воз­мож­ных про­те­чек. Если же фаль­шпол преду­смат­ри­ва­ет­ся, то его ре­ко­мен­ду­е­мая вы­со­та со­став­ля­ет не менее 40 см — из со­об­ра­же­ний удоб­ства про­клад­ки труб.

ЧИЛ­ЛЕР И ЕГО «ОБВЯЗКА»

В боль­шин­стве про­ек­тов преду­смат­ри­ва­ет­ся уста­нов­ка внеш­не­го чил­ле­ра и ор­га­ни­за­ция двух­кон­тур­ной си­сте­мы хо­ло­до­снаб­же­ния. Во внеш­нем кон­ту­ре, свя­зы­ва­ю­щем чил­ле­ры и про­ме­жу­точ­ные теп­ло­об­мен­ни­ки, хо­ло­до­но­си­те­лем слу­жит вод­ный рас­твор эти­лен­гли­ко­ля, а во внут­рен­нем — между теп­ло­об­мен­ни­ка­ми и кон­ди­ци­о­не­ра­ми (шкаф­ны­ми и/или внут­ри­ряд­ны­ми) — цир­ку­ли­ру­ет уже чи­стая вода. Необ­хо­ди­мость ис­поль­зо­ва­ния эти­лен­гли­ко­ля во внеш­нем кон­ту­ре легко объ­яс­ни­ма — это ве­ще­ство зимой не за­мер­за­ет. У За­каз­чи­ка воз­ник ре­зон­ный во­прос: зачем нужен вто­рой кон­тур, и по­че­му нель­зя ор­га­ни­зо­вать всего один — ведь в этом слу­чае КПД будет выше?

По сло­вам Вла­ди­сла­ва Яко­вен­ко, двух­кон­тур­ная схема поз­во­ля­ет сни­зить объем до­ро­го­го хо­ло­до­но­си­те­ля (эти­лен­гли­ко­ля) и яв­ля­ет­ся более эко­ло­гич­ной. Эти­лен­гли­коль — ядо­ви­тое, хи­ми­че­ски ак­тив­ное ве­ще­ство, и если про­теч­ка слу­чит­ся внут­ри по­ме­ще­ния ЦОД, лик­ви­да­ция по­след­ствий такой ава­рии ста­нет се­рьез­ной про­бле­мой для служ­бы экс­плу­а­та­ции. Сле­ду­ет также учи­ты­вать, что при со­дер­жа­нии гли­ко­ля в рас­тво­ре хо­ло­до­но­си­те­ля на уровне 40% по­тре­бу­ют­ся более мощ­ные на­со­сы (из-за вы­со­кой вяз­ко­сти рас­тво­ра), по­это­му по­треб­ле­ние энер­гии и, со­от­вет­ствен­но, экс­плу­а­та­ци­он­ные рас­хо­ды уве­ли­чат­ся. На­ко­нец, тре­бо­ва­ние к мон­та­жу си­сте­мы без гли­ко­ля го­раз­до ниже, а экс­плу­а­ти­ро­вать ее проще.

При ис­поль­зо­ва­нии чил­ле­ров функ­цию «бес­пе­ре­бой­но­го охла­жде­ния» ре­а­ли­зо­вать до­воль­но про­сто: при воз­ник­но­ве­нии пе­ре­бо­ев с по­да­чей элек­тро­энер­гии си­сте­ма спо­соб­на обес­пе­чить охла­жде­ние сер­вер­ной до за­пус­ка ди­зе­ля или кор­рект­но­го вы­клю­че­ния сер­ве­ров за счет хо­лод­ной воды, за­па­сен­ной в ба­ках-ак­ку­му­ля­то­рах. Как от­ме­ча­ет Вик­тор Гав­ри­лов, ре­а­ли­за­ция по­доб­ной схемы поз­во­ля­ет удер­жать из­ме­не­ние гра­ди­ен­та тем­пе­ра­ту­ры в до­пу­сти­мых пре­де­лах (ве­ду­щие про­из­во­ди­те­ли сер­ве­ров тре­бу­ют, чтобы ско­рость из­ме­не­ния тем­пе­ра­ту­ры со­став­ля­ла не более 50С/час, а уве­ли­че­ние этой ско­ро­сти может при­ве­сти к по­лом­ке сер­вер­но­го обо­ру­до­ва­ния, что осо­бен­но часто про­ис­хо­дит при воз­об­нов­ле­нии охла­жде­ния в ре­зуль­та­те рез­ко­го сни­же­ния тем­пе­ра­ту­ры). При про­па­да­нии элек­тро­пи­та­ния для под­дер­жа­ния ра­бо­ты чил­лер­ной си­сте­мы кон­ди­ци­о­ни­ро­ва­ния необ­хо­ди­мо толь­ко обес­пе­чить функ­ци­о­ни­ро­ва­ние пе­ре­ка­чи­ва­ю­щих на­со­сов и вен­ти­ля­то­ров кон­ди­ци­о­не­ров — по­треб­ле­ние от ИБП сво­дит­ся к ми­ни­му­му. Для клас­си­че­ских фре­о­но­вых си­стем необ­хо­ди­мо обес­пе­чить пи­та­ни­ем весь ком­плекс це­ли­ком (при этом все ком­прес­со­ры долж­ны быть осна­ще­ны функ­ци­ей «мяг­ко­го за­пус­ка»), по­это­му тре­бу­ют­ся кон­ди­ци­о­не­ры и ИБП более до­ро­гой комплектации.

КОГДА РАС­ТЕТ ПЛОТНОСТЬ

Боль­шин­ство пред­ло­жен­ных За­каз­чи­ку ре­ше­ний для охла­жде­ния вы­со­ко­на­гру­жен­ных стоек (20 кВт) преду­смат­ри­ва­ет ис­поль­зо­ва­ние внут­ри­ряд­ных кон­ди­ци­о­не­ров. Как по­ла­га­ет Алек­сандр Ласый, ос­нов­ная слож­ность при от­во­де от стой­ки 20 кВт тепла с по­мо­щью клас­си­че­ской схемы охла­жде­ния, ба­зи­ру­ю­щей­ся на шкаф­ных кон­ди­ци­о­не­рах, свя­за­на с по­да­чей охла­жден­но­го воз­ду­ха из-под фаль­шполь­но­го про­стран­ства и до­став­кой его до теп­ло­вы­де­ля­ю­ще­го обо­ру­до­ва­ния. «Зна­чи­тель­ные пе­ре­па­ды дав­ле­ния на пер­фо­ри­ро­ван­ных ре­шет­ках фаль­шпо­ла и вы­со­кие ско­ро­сти дви­же­ния воз­ду­ха со­зда­ют нерав­но­мер­ный воз­душ­ный поток в зоне перед стой­ка­ми даже при раз­де­ле­нии го­ря­чих и хо­лод­ных ко­ри­до­ров, — от­ме­ча­ет он. — Это при­во­дит к нерав­но­мер­но­му охла­жде­нию стоек и их пе­ре­гре­ву. В слу­чае пе­ре­мен­ной за­груз­ки стоек воз­ни­ка­ет необ­хо­ди­мость пе­ре­на­стра­и­вать си­сте­му воз­ду­хо­рас­пре­де­ле­ния через фаль­шпол, что до­воль­но затруднительно».

Впро­чем, неко­то­рые ком­па­нии «риск­ну­ли» пред­ло­жить для стоек на 20 кВт си­сте­му, ос­но­ван­ную на тех же прин­ци­пах, что при­ме­ня­ют­ся для стоек на 5кВт, — по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. По сло­вам Сер­гея Бон­да­ре­ва, ру­ко­во­ди­те­ля от­де­ла про­даж «Вайсс Кли­ма­тех­ник», его опыт по­ка­зы­ва­ет, что уста­нов­ка до­пол­ни­тель­ных ре­ше­ток во­круг стой­ки для уве­ли­че­ния пло­ща­ди се­че­ния, через ко­то­рое по­сту­па­ет хо­лод­ный воз­дух (а зна­чит и его объ­е­ма), поз­во­ля­ет сни­мать теп­ло­вую на­груз­ку в 20 кВт. Ре­ше­ние этой ком­па­нии от­ли­ча­ет­ся от дру­гих про­ек­тов ре­а­ли­за­ци­ей фри­ку­лин­га: кон­струк­ция кон­ди­ци­о­не­ров Deltaclima FC про­из­вод­ства Weiss Klimatechnik поз­во­ля­ет под­во­дить к ним хо­лод­ный воз­дух прямо с улицы.

Ин­те­рес­ное ре­ше­ние пред­ло­жи­ла ком­па­ния «Юни­Конд», парт­нер ита­льян­ской Uniflair: клас­си­че­ская си­сте­ма охла­жде­ния через фаль­шпол до­пол­ня­ет­ся обо­ру­до­ван­ны­ми вен­ти­ля­то­ра­ми мо­ду­ля­ми «ак­тив­но­го пола», ко­то­рые уста­нав­ли­ва­ют­ся вме­сто обыч­ных пли­ток фаль­шпо­ла. По утвер­жде­нию спе­ци­а­ли­стов «Юни­Конд», такие мо­ду­ли поз­во­ля­ют су­ще­ствен­но уве­ли­чить объ­е­мы ре­гу­ли­ру­е­мых по­то­ков воз­ду­ха: до 4500 м³/час вме­сто 800–1000 м³/час от обыч­ной ре­шет­ки 600х600 мм. Они также от­ме­ча­ют, что про­сто уста­но­вить вен­ти­ля­тор в под­поль­ном про­стран­стве недо­ста­точ­но для обес­пе­че­ния га­ран­ти­ро­ван­но­го охла­жде­ния сер­вер­ных стоек. Важно пра­виль­но ор­га­ни­зо­вать воз­душ­ный поток как по дав­ле­нию, так и по на­прав­ле­нию воз­ду­ха, чтобы обес­пе­чить по­да­чу воз­ду­ха не толь­ко в верх­нюю часть стой­ки, но и, в слу­чае необ­хо­ди­мо­сти, в ее ниж­нюю часть. Для этого па­нель «ак­тив­но­го пола» по­ми­мо вен­ти­ля­то­ра ком­плек­ту­ет­ся про­цес­со­ром, дат­чи­ка­ми тем­пе­ра­ту­ры и по­во­рот­ны­ми ла­ме­ля­ми (см. Ри­су­нок 5). При­ме­не­ние мо­ду­лей «ак­тив­но­го пола» без до­пол­ни­тель­ной изо­ля­ции по­то­ков воз­ду­ха поз­во­ля­ет уве­ли­чить мощ­ность стой­ки до 15 кВт, а при гер­ме­ти­за­ции хо­лод­но­го ко­ри­до­ра (в «Юни­Конд» это ре­ше­ние на­зы­ва­ют «хо­лод­ным бас­сей­ном») — до 25 кВт.

Как уже го­во­ри­лось, боль­шин­ство про­ек­ти­ров­щи­ков ре­ко­мен­до­ва­ли для стоек на 20 кВт си­сте­мы с внут­ри­ряд­ным охла­жде­ни­ем и изо­ля­цию по­то­ков го­ря­че­го и хо­лод­но­го воз­ду­ха. Как от­ме­ча­ет Алек­сандр Ласый, ис­поль­зо­ва­ние вы­со­ко­на­гру­жен­ных стоек в со­че­та­нии с внут­ри­ряд­ны­ми кон­ди­ци­о­не­ра­ми поз­во­ля­ет уве­ли­чить плот­ность раз­ме­ще­ния сер­вер­но­го обо­ру­до­ва­ния и со­кра­тить про­стран­ство (ко­ри­до­ры, про­хо­ды) для его об­слу­жи­ва­ния. Вза­им­ное рас­по­ло­же­ние сер­вер­ных стоек и кон­ди­ци­о­не­ров в этом слу­чае сво­дит к ми­ни­му­му нерав­но­мер­ность рас­пре­де­ле­ния хо­ло­да в ава­рий­ной ситуации.

Выбор раз­лич­ных ва­ри­ан­тов за­кры­той ар­хи­тек­ту­ры цир­ку­ля­ции воз­ду­ха пред­ло­жи­ла ком­па­ния «Асте­рос»: от изо­ля­ции хо­лод­но­го (ре­ше­ние от Knuеrr и Emerson) или го­ря­че­го ко­ри­до­ра (APC) до изо­ля­ции воз­душ­ных по­то­ков на уровне стой­ки (Rittal, APC, Emerson, Knuеrr). При­чем, как от­ме­ча­ет­ся в про­ек­те, 16 вы­со­ко­на­гру­жен­ных стоек можно раз­ме­стить и в от­дель­ном по­ме­ще­нии, и в общем зале. В ка­че­стве ва­ри­ан­тов кон­ди­ци­о­нер­но­го обо­ру­до­ва­ния спе­ци­а­ли­сты «Асте­рос» рас­смот­ре­ли воз­мож­ность уста­нов­ки внут­ри­ряд­ных кон­ди­ци­о­не­ров APC InRowRP/RD (с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра), Emerson CR040RC и за­кры­тых ре­ше­ний на базе обо­ру­до­ва­ния Knuеrr CoolLoop — во всех этих слу­ча­ях обес­пе­чи­ва­ет­ся ре­зер­ви­ро­ва­ние на уровне ряда по схеме N+1. Еще один ва­ри­ант — ряд­ные кон­ди­ци­о­не­ры LCP ком­па­нии Rittal, со­сто­я­щие из трех охла­жда­ю­щих мо­ду­лей, каж­дый из ко­то­рых можно за­ме­нить в «го­ря­чем» ре­жи­ме. В пол­ной мере до­ка­зав свою «вен­до­ро­не­за­ви­си­мость», ин­те­гра­то­ры «Асте­рос» все же от­ме­ти­ли, что при ис­поль­зо­ва­нии мо­но­брен­до­во­го ре­ше­ния, на­при­мер на базе про­дук­тов Emerson, все эле­мен­ты могут быть объ­еди­не­ны в еди­ную ло­каль­ную сеть, что поз­во­лит оп­ти­ми­зи­ро­вать ра­бо­ту си­сте­мы и сни­зить рас­ход энергии.

Как по­ла­га­ют в «Асте­рос», раз­ме­щать тру­бо­про­во­ды в под­по­то­лоч­ной зоне неже­ла­тель­но, по­сколь­ку при на­ли­чии под­вес­но­го по­тол­ка об­на­ру­жить и предот­вра­тить про­теч­ку и об­ра­зо­ва­ние кон­ден­са­та очень слож­но. По­это­му они ре­ко­мен­ду­ют обу­стро­ить фаль­шпол вы­со­той до 300 мм — этого до­ста­точ­но для про­клад­ки ка­бель­ной про­дук­ции и тру­бо­про­во­дов хо­ло­до­снаб­же­ния. Так же как и в ос­нов­ном полу, здесь необ­хо­ди­мо преду­смот­реть сред­ства для сбора жид­ко­сти при воз­ник­но­ве­нии ава­рий­ных си­ту­а­ций (гид­ро­изо­ля­ция, при­ям­ки, разу­к­лон­ка и т. д.).

Как и шкаф­ные кон­ди­ци­о­не­ры, внут­ри­ряд­ные до­вод­чи­ки вы­пус­ка­ют­ся не толь­ко в во­дя­ном, но и во фре­о­но­вом ис­пол­не­нии. На­при­мер, но­вин­ка ком­па­нии RC Group — внут­ри­ряд­ные си­сте­мы охла­жде­ния Coolside — по­став­ля­ет­ся в сле­ду­ю­щих ва­ри­ан­тах: с фре­о­но­вы­ми внут­рен­ни­ми бло­ка­ми, с внут­рен­ни­ми бло­ка­ми на охла­жден­ной воде, с одним на­руж­ным и одним внут­рен­ним фре­о­но­вым бло­ком, а также с одним на­руж­ным и несколь­ки­ми внут­рен­ни­ми фре­о­но­вы­ми бло­ка­ми. Учи­ты­вая по­же­ла­ние За­каз­чи­ка от­но­си­тель­но энер­го­сбе­ре­же­ния, для дан­но­го про­ек­та вы­бра­ны си­сте­мы Coolside, ра­бо­та­ю­щие на охла­жден­ной воде, по­лу­ча­е­мой от чил­ле­ра. Число чил­ле­ров, уста­нов­лен­ных на пер­вом этапе про­ек­та, при­дет­ся вдвое увеличить.

Для вы­со­ко­плот­ных стоек ком­па­ния «АМД­тех­но­ло­гии» раз­ра­бо­та­ла несколь­ко ва­ри­ан­тов ре­ше­ний — в за­ви­си­мо­сти от кон­цеп­ции, при­ня­той для стоек на 5 кВт. Если За­каз­чик вы­бе­рет бюд­жет­ный ва­ри­ант (фре­о­но­вые кон­ди­ци­о­не­ры), то в стой­ках на 20 кВт пред­ла­га­ет­ся уста­но­вить ряд­ные кон­ди­ци­о­не­ры-до­вод­чи­ки XDH, а в ка­че­стве хо­ло­диль­ной ма­ши­ны — чил­лер внут­рен­ней уста­нов­ки с вы­нос­ны­ми кон­ден­са­то­ра­ми XDC, обес­пе­чи­ва­ю­щий цир­ку­ля­цию хо­ло­до­но­си­те­ля для до­вод­чи­ков XDH. Если же За­каз­чик с са­мо­го на­ча­ла ори­ен­ти­ру­ет­ся на чил­ле­ры, то ре­ко­мен­ду­ет­ся до­ба­вить еще один чил­лер SBH 030 и также ис­поль­зо­вать кон­ди­ци­о­не­ры-до­вод­чи­ки XDH. Чтобы «раз­вя­зать» чил­лер­ную воду и фреон 134, ис­поль­зу­е­мый кон­ди­ци­о­не­ра­ми XDH, при­ме­ня­ют­ся спе­ци­аль­ные гид­рав­ли­че­ские мо­ду­ли XDP (см. Рисунок 6).

Спе­ци­а­ли­сты са­мо­го про­из­во­ди­те­ля — ком­па­нии Emerson Network — преду­смот­ре­ли толь­ко один ва­ри­ант, ос­но­ван­ный на раз­ви­тии чил­лер­ной си­сте­мы, пред­ло­жен­ной для стоек на 5 кВт. Они от­ме­ча­ют, что ис­поль­зо­ва­ние в си­сте­ме Liebert XD фрео­на R134 ис­клю­ча­ет ввод воды в по­ме­ще­ние ЦОД. В ос­но­ву ра­бо­ты этой си­сте­мы по­ло­же­но свой­ство жид­ко­стей по­гло­щать тепло при ис­па­ре­нии. Жид­кий хо­ло­до­но­си­тель, на­гне­та­е­мый на­со­сом, ис­па­ря­ет­ся в теп­ло­об­мен­ни­ках бло­ков охла­жде­ния XDH, а затем по­сту­па­ет в мо­дуль XDP, где вновь пре­вра­ща­ет­ся в жид­кость в ре­зуль­та­те про­цес­са кон­ден­са­ции. Таким об­ра­зом, ком­прес­си­он­ный цикл, при­сут­ству­ю­щий в тра­ди­ци­он­ных си­сте­мах, ис­клю­ча­ет­ся. Даже если слу­чит­ся утеч­ка жид­ко­сти, эко­ло­ги­че­ски без­вред­ный хо­ло­до­но­си­тель про­сто ис­па­рит­ся, не при­чи­нив ни­ка­ко­го вреда оборудованию.

Дан­ная схема пред­по­ла­га­ет воз­мож­ность по­этап­но­го ввода обо­ру­до­ва­ния: по мере уве­ли­че­ния мощ­но­сти на­груз­ки уста­нав­ли­ва­ют­ся до­пол­ни­тель­ные до­вод­чи­ки, ко­то­рые под­со­еди­ня­ют­ся к су­ще­ству­ю­щей си­сте­ме тру­бо­про­во­дов при по­мо­щи гиб­ких под­во­док и быст­ро­разъ­ем­ных со­еди­не­ний, что не тре­бу­ет оста­нов­ки си­сте­мы кондиционирования.

СПЕЦ­ШКА­ФЫ

Как счи­та­ет Алек­сандр Ша­пи­ро, на­чаль­ник от­де­ла ин­же­нер­ных си­стем «Кор­по­ра­ции ЮНИ», теп­ло­вы­де­ле­ние 18–20 кВт на шкаф — это при­мер­но та гра­ни­ца, когда тепло можно от­ве­сти за ра­зум­ную цену тра­ди­ци­он­ны­ми ме­то­да­ми (с при­ме­не­ни­ем внут­ри­ряд­ных и/или под­по­то­лоч­ных до­вод­чи­ков, вы­го­ра­жи­ва­ния рядов и т. п.). При более вы­со­кой плот­но­сти энер­го­по­треб­ле­ния вы­год­нее ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы с ло­каль­ны­ми си­сте­ма­ми во­дя­но­го охла­жде­ния. Же­ла­ние при­ме­нить для от­во­да тепла от вто­рой груп­пы шка­фов тра­ди­ци­он­ные ме­то­ды объ­яс­ни­мо, но, как пре­ду­пре­жда­ет спе­ци­а­лист «Кор­по­ра­ции ЮНИ», по­яв­ле­ние в зале новых энер­го­ем­ких шка­фов по­тре­бу­ет мон­та­жа до­пол­ни­тель­ных хо­ло­диль­ных машин, из­ме­не­ния кон­фи­гу­ра­ции вы­го­ро­док, кон­тро­ля за из­ме­нив­шей­ся «теп­ло­вой кар­ти­ной». Про­ве­де­ние таких («гряз­ных») работ в дей­ству­ю­щем ЦОДе не це­ле­со­об­раз­но. По­это­му в ка­че­стве энер­го­ем­ких шка­фов спе­ци­а­ли­сты «Кор­по­ра­ции ЮНИ» пред­ло­жи­ли ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы CoolLoop с от­во­дом тепла водой про­из­вод­ства Knuеrr в ва­ри­ан­те с тремя мо­ду­ля­ми охла­жде­ния (10 кВт каж­дый, N+1). По­доб­ный ва­ри­ант преду­смот­ре­ли и неко­то­рые дру­гие про­ек­ти­ров­щи­ки.

Ми­ну­сы та­ко­го ре­ше­ния свя­за­ны с по­вы­ше­ни­ем сто­и­мо­сти про­ек­та (CAPEX) и необ­хо­ди­мо­стью за­ве­де­ния воды в сер­вер­ный зал. Глав­ный плюс — в от­лич­ной мас­шта­би­ру­е­мо­сти: уста­нов­ка новых шка­фов не до­бав­ля­ет теп­ло­вой на­груз­ки в зале и не при­во­дит к пе­ре­рас­пре­де­ле­нию тепла, а под­клю­че­ние шкафа к си­сте­ме хо­ло­до­снаб­же­ния За­каз­чик может вы­пол­нять сво­и­ми си­ла­ми. Кроме того, он имеет воз­мож­ность путем до­бав­ле­ния вен­ти­ля­ци­он­но­го мо­ду­ля от­ве­сти от шкафа еще 10 кВт тепла (всего 30 кВт при со­хра­не­нии ре­зер­ви­ро­ва­ния N+1) — фак­ти­че­ски это ре­зерв для роста. На­ко­нец, как утвер­жда­ет Алек­сандр Ша­пи­ро, с точки зре­ния энер­го­сбе­ре­же­ния (OPEX) дан­ное ре­ше­ние яв­ля­ет­ся наи­бо­лее эффективным.

В про­ек­те «Кор­по­ра­ции ЮНИ» шкафы CoolLoop пред­по­ла­га­ет­ся уста­но­вить в общем сер­вер­ном зале с уче­том прин­ци­па че­ре­до­ва­ния го­ря­чих и хо­лод­но­го ко­ри­до­ров, чем га­ран­ти­ру­ет­ся ра­бо­то­спо­соб­ность шка­фов при ава­рий­ном или тех­но­ло­ги­че­ском от­кры­ва­нии две­рей. При­чем общее кон­ди­ци­о­ни­ро­ва­ние воз­ду­ха в зоне энер­го­ем­ких шка­фов обес­пе­чи­ва­ет­ся ана­ло­гич­но ос­нов­ной зоне сер­вер­но­го зала за одним ис­клю­че­ни­ем — запас хо­ло­да со­став­ля­ет 20–30 кВт. Кон­ди­ци­о­не­ры ре­ко­мен­до­ва­но уста­но­вить в от­дель­ном по­ме­ще­нии, смеж­ном с сер­вер­ным залом и залом раз­ме­ще­ния ИБП (см. Рисунок 7). Такая ком­по­нов­ка имеет ряд пре­иму­ществ: во-пер­вых, тем самым раз­гра­ни­чи­ва­ют­ся зоны от­вет­ствен­но­сти служ­бы кон­ди­ци­о­ни­ро­ва­ния и ИТ-служб (со­труд­ни­кам служ­бы кон­ди­ци­о­ни­ро­ва­ния нет необ­хо­ди­мо­сти за­хо­дить в сер­вер­ный зал); во-вто­рых, из зоны раз­ме­ще­ния кон­ди­ци­о­не­ров обес­пе­чи­ва­ет­ся по­да­ча/забор воз­ду­ха как в сер­вер­ный зал, так и в зал ИБП; в-тре­тьих, со­кра­ща­ет­ся число ре­зерв­ных кон­ди­ци­о­не­ров (ре­зерв общий).

ФРИ­КУ­ЛИНГ И ЭНЕРГОЭФФЕКТИВНОСТЬ

Как и про­сил За­каз­чик, все про­ек­ти­ров­щи­ки вклю­чи­ли функ­цию фри­ку­лин­га в свои ре­ше­ния, но мало кто рас­счи­тал энер­ге­ти­че­скую эф­фек­тив­ность ее ис­поль­зо­ва­ния. Такой рас­чет про­вел Ми­ха­ил Бал­ка­ров из APC by Schneider Electric. Вы­де­лив три ре­жи­ма ра­бо­ты си­сте­мы охла­жде­ния — с тем­пе­ра­ту­рой гли­ко­ле­во­го кон­ту­ра 22, 20 и 7°С (режим фри­ку­лин­га), — для каж­до­го он ука­зал ее по­треб­ле­ние (в про­цен­тах от по­лез­ной на­груз­ки) и ко­эф­фи­ци­ент энер­ге­ти­че­ской эф­фек­тив­но­сти (Energy Efficiency Ratio, EER), ко­то­рый опре­де­ля­ет­ся как от­но­ше­ние хо­ло­до­про­из­во­ди­тель­но­сти кон­ди­ци­о­не­ра к по­треб­ля­е­мой им мощ­но­сти. Для на­груз­ки в 600 кВт сред­не­го­до­вое по­треб­ле­ние пред­ло­жен­ной АРС си­сте­мы охла­жде­ния ока­за­лось рав­ным 66 кВт с функ­ци­ей фри­ку­лин­га и 116 кВт без та­ко­вой. Раз­ни­ца 50 кВт в год дает эко­но­мию 438 тыс. кВт*ч.

Объ­яс­няя вы­со­кую энер­го­эф­фек­тив­ность пред­ло­жен­но­го ре­ше­ния, Ми­ха­ил Бал­ка­ров от­ме­ча­ет, что в первую оче­редь эти по­ка­за­те­ли обу­слов­ле­ны вы­бо­ром чил­ле­ров с вы­со­ким EER и при­ме­не­ни­ем эф­фек­тив­ных внут­рен­них бло­ков — по его дан­ным, внут­ри­ряд­ные мо­де­ли кон­ди­ци­о­не­ров в со­че­та­нии с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра обес­пе­чи­ва­ют при­мер­но дву­крат­ную эко­но­мию по срав­не­нию с наи­луч­ши­ми фаль­шполь­ны­ми ва­ри­ан­та­ми и по­лу­то­ра­крат­ную эко­но­мию по срав­не­нию с ре­ше­ни­я­ми, где ис­поль­зу­ет­ся кон­тей­не­ри­за­ция хо­лод­но­го ко­ри­до­ра. Вклад же соб­ствен­но фри­ку­лин­га вто­ри­чен — имен­но по­это­му ра­бо­чая тем­пе­ра­ту­ра воды вы­бра­на не самой вы­со­кой (всего 12°С).

По рас­че­там спе­ци­а­ли­стов «Ком­плит», в усло­ви­ях Мос­ков­ской об­ла­сти пред­ло­жен­ное ими ре­ше­ние с функ­ци­ей фри­ку­лин­га за год поз­во­ля­ет сни­зить рас­ход элек­тро­энер­гии при­мер­но на 50%. Дан­ная функ­ция (в про­ек­те «Ком­плит») ак­ти­ви­зи­ру­ет­ся при тем­пе­ра­ту­ре около +7°С, при по­ни­же­нии тем­пе­ра­ту­ры на­руж­но­го воз­ду­ха вклад фри­ку­лин­га в хо­ло­до­про­из­во­ди­тель­ность будет воз­рас­тать. Пол­но­стью си­сте­ма вы­хо­дит на режим эко­но­мии при тем­пе­ра­ту­ре ниже -5°С.

Спе­ци­а­ли­сты «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» пред­ло­жи­ли рас­чет эко­но­мии, ко­то­рую дает при­ме­не­ние кон­ди­ци­о­не­ров с функ­ци­ей фри­ку­лин­га (мо­дель ALD-702-GE) по срав­не­нию с ис­поль­зо­ва­ни­ем устройств, не осна­щен­ных такой функ­ци­ей (мо­дель ASD-802-A). Как и про­сил За­каз­чик, рас­чет при­вя­зан к Мос­ков­ско­му ре­ги­о­ну (см. Рисунок 8).

Как от­ме­ча­ет Вик­тор Гав­ри­лов, энер­го­по­треб­ле­ние в лет­ний пе­ри­од (при мак­си­маль­ной за­груз­ке) у фре­о­но­вой си­сте­мы ниже, чем у чил­лер­ной, но при тем­пе­ра­ту­ре менее 14°С, энер­го­по­треб­ле­ние по­след­ней сни­жа­ет­ся, что обу­слов­ле­но ра­бо­той фри­ку­лин­га. Эта функ­ция поз­во­ля­ет су­ще­ствен­но по­вы­сить срок экс­плу­а­та­ции и на­деж­ность си­сте­мы, так как в зим­ний пе­ри­од ком­прес­со­ры прак­ти­че­ски не ра­бо­та­ют — в связи с этим ре­сурс ра­бо­ты чил­лер­ных си­стем, как ми­ни­мум, в пол­то­ра раза боль­ше чем у фреоновых.

К пре­иму­ще­ствам пред­ло­жен­ных За­каз­чи­ку чил­ле­ров Emerson Вик­тор Гав­ри­лов от­но­сит воз­мож­ность их объ­еди­не­ния в еди­ную сеть управ­ле­ния и ис­поль­зо­ва­ния функ­ции кас­кад­ной ра­бо­ты хо­ло­диль­ных машин в ре­жи­ме фри­ку­лин­га. Более того, раз­ра­бо­тан­ная ком­па­ни­ей Emerson си­сте­ма Supersaver поз­во­ля­ет управ­лять тем­пе­ра­ту­рой хо­ло­до­но­си­те­ля в со­от­вет­ствии с из­ме­не­ни­я­ми теп­ло­вой на­груз­ки, что уве­ли­чи­ва­ет пе­ри­од вре­ме­ни, в те­че­ние ко­то­ро­го воз­мож­но функ­ци­о­ни­ро­ва­ние си­сте­мы в этом ре­жи­ме. По дан­ным Emerson, при уста­нов­ке чил­ле­ров на 330 кВт режим фри­ку­лин­га поз­во­ля­ет сэко­но­мить 45% элек­тро­энер­гии, кас­кад­ное вклю­че­ние — 5%, тех­но­ло­гия Supersaver — еще 16%, итого — 66%.

Но не все столь оп­ти­ми­стич­ны в от­но­ше­нии фри­ку­лин­га. Алек­сандр Ша­пи­ро на­по­ми­на­ет, что в нашу стра­ну куль­ту­ра ис­поль­зо­ва­ния фри­ку­лин­га в зна­чи­тель­ной мере при­не­се­на с За­па­да, между тем как по­тре­би­тель­ская сто­и­мость этой опции во мно­гом за­ви­сит от сто­и­мо­сти элек­тро­энер­гии, а на се­го­дняш­ний день в Рос­сии и За­пад­ной Ев­ро­пе цены се­рьез­но раз­ли­ча­ют­ся. «Опция фри­ку­лин­га ощу­ти­мо до­ро­га, в Рос­сии же до­ста­точ­но часто ИТ-про­ек­ты пла­ни­ру­ют­ся с де­фи­ци­том бюд­же­та. По­это­му За­каз­чик вы­нуж­ден вы­би­рать: либо обес­пе­чить пла­ни­ру­е­мые тех­ни­че­ские по­ка­за­те­ли ЦОД путем про­сто­го ре­ше­ния (не думая о про­бле­ме уве­ли­че­ния OPEX), либо «ло­мать копья» в по­пыт­ке до­ка­зать це­ле­со­об­раз­ность фри­ку­лин­га, со­гла­ша­ясь на сни­же­ние па­ра­мет­ров ЦОД. В боль­шин­стве слу­ча­ев выбор де­ла­ет­ся в поль­зу пер­во­го ва­ри­ан­та», — за­клю­ча­ет он.

Среди пред­ло­жен­ных За­каз­чи­ку более по­лу­то­ра де­сят­ков ре­ше­ний оди­на­ко­вых нет — даже те, что по­стро­е­ны на ана­ло­гич­ных ком­по­нен­тах од­но­го про­из­во­ди­те­ля, имеют свои осо­бен­но­сти. Это го­во­рит о том, что за­да­чи, свя­зан­ные с охла­жде­ни­ем, от­но­сят­ся к числу наи­бо­лее слож­ных, и ти­по­вые от­ра­бо­тан­ные ре­ше­ния по сути от­сут­ству­ют. Тем не менее, среди пред­став­лен­ных ва­ри­ан­тов За­каз­чик на­вер­ня­ка смо­жет вы­брать наи­бо­лее под­хо­дя­щий с уче­том пред­по­чте­ний в части CAPEX/OPEX и пла­нов по даль­ней­ше­му раз­ви­тию ЦОД.

Алек­сандр Бар­сков — ве­ду­щий ре­дак­тор «Жур­на­ла се­те­вых ре­ше­ний/LAN»

[ http://www.osp.ru/lan/2010/05/13002554/]

Тематики

• ЦОДы (центры обработки данных)

EN

• data center cooling system