ЦОД

1) General subject: data center (сокр. от "центр обработки данных"; Центр выполняет функции обработки, хранения и распространения информации, как правило, в интересах корпоративных клиентов. ЦОД ориентирован в первую очередь на решени)

2) Mining: final separation unit (цех окончательной доводки)

3) Information technology: DPC (data processing center, data center)

4) Sakhalin energy glossary: Центр обеспечения деятельности

5) Automation: digital optical disk

сокр. от центр обработки данных

 

стандарт на телекоммуникационную инфраструктуру центров обработки данных (ЦОД)
-
[Интент]

Стандарт TIA/EIA-942

Ассоциация TIA завершает разработку стандарта на телекоммуникационную инфраструктуру ЦОД—TIA/EIA-942 (Telecommunications Infrustructure Standard for Data Centers), который, по всей вероятности, будет опубликован в начале 2005 г. Основная цель данного стандарта — предоставить разработчикам исчерпывающую информацию о проектировании инфраструктуры ЦОД, в том числе сведения о планировке его помещений и структуре кабельной системы. Он призван способствовать взаимодействию архитекторов, инженеров-строителей и телекоммуникационных инженеров.

Помимо рекомендаций по проектированию, в стандарте содержатся приложения с информацией по широкому кругу тем, связанных с организацией ЦОД. Вот некоторые из них: выбор места для развертывания ЦОД; администрирование его кабельной системы; архитектурные вопросы; обеспечение безопасности и защита от огня; электрические, заземляющие и механические системы; взаимодействие с операторами сетей общего пользования.

Кроме того, в спецификациях стандарта отражены принятые в отрасли уровни надежности ЦОД. Уровень 1 обозначает отсутствие резервирования подсистем, а значит, низкую степень отказоустойчивости, а уровень 4 — высочайшую степень отказоустойчивости.

Помещения и участки ЦОД

Стандарт TIA/EIA-942 определяет ЦОД как здание или его часть, предназначенные для организации компьютерного зала и необходимых для функционирования последнего вспомогательных служб. Компьютерный зал — это часть ЦОД, основным предназначением которой является размещение оборудования обработки данных.

В стандарте обозначены требования к компьютерному залу и комнатам для ввода кабелей (от сетей общего пользования). Так, для этих помещений определены: высота потолка (2,6 м); покрытие полов и стен; характеристики освещения; нагрузка на полы (минимальная — 732 кг/м2, рекомендуемая — 1220 кг/м2); параметры систем нагревания, вентиляции и кондиционирования воздуха; температура воздуха (20—25 °С), относительная влажность (40—55%); характеристики систем электропитания, заземления и противопожарной защиты.

В число телекоммуникационных помещений и участков ЦОД входят:

• Комната для ввода кабелей.

• Главный распределительный пункт (Main Distribution Area — MDA).

• Распределительный пункт горизонтальной подсистемы кабельной системы ЦОД (Horizontal Distribution Area — HDA).

• Распределительный пункт зоны (Zone Distribution Area — ZDA).

• Распределительный пункт оборудования (Equipment Distribution Area — EDA).

Комната для ввода кабелей — это помещение, в котором кабельная система ЦОД соединяется с кабельными системами кампуса и операторов сетей общего пользования. Она может находиться как снаружи, так и внутри компьютерного зала. При организации соединения названных кабельных систем внутри компьютерного зала соответствующие средства можно оборудовать в MDA.

С целью резервирования элементов инфраструктуры ЦОД или соблюдения ограничений на максимальную длину каналов связи в ЦОД можно организовать несколько комнат для ввода кабелей. Например, максимальная длина канала T-1, как правило, не должна превышать 200 м, тогда как типичное ограничение на длину канала T-3 составляет 137 м. Однако использование тех или иных типов кабеля и промежуточных коммутационных панелей в ряде случаев суще-ственно уменьшает максимально допустимую длину линии. В стандарте TIA/EIA-942 имеются рекомендации по максимальной длине кабельных каналов в ЦОД.

MDA содержит главный кросс, являющийся центром коммутации каналов кабельной системы ЦОД. В помещении MDA могут находиться и горизонтальные кроссы, предназначенные для коммутации горизонтальных кабелей, идущих к оборудованию, которое напрямую взаимодействует с оборудованием MDA. Кроме того, в помещении MDA обычно устанавливают маршрутизаторы и магистральные коммутаторы локальной сети и сети SAN ЦОД. Согласно стандарту, ЦОД должен иметь по крайней мере один MDA, а в целях резервирования допускается организация второго MDA.

Помещение HDA предназначено для установки горизонтального кросса, с помощью которого осуществляется коммутация горизонтальных кабелей, идущих к оборудованию EDA, а также переключателей KVM и коммутаторов ЛВС и SAN, взаимодействующих с оборудованием HDA.

ZDA — факультативный элемент горизонтальной подсистемы, располагающийся между HDA и EDA. Он призван обеспечить гибкость реконфигурации этой подсистемы. В ZDA горизонтальные кабели терминируются в зоновых розетках или точках консолидации. Подключение оборудования к зоновым розеткам осуществляется посредством соединительных кабелей. Стандарт не рекомендует размещать в ZDA коммутационную панель или активное оборудование, за исключением устройств подачи электропитания по горизонтальным кабелям.

EDA — это участок ЦОД, выделенный для размещения оконечного оборудования, в том числе компьютеров и телекоммуникационных устройств. В EDA горизонтальные кабели терминируются на розетках, которые обычно располагают на коммутационных панелях, устанавливаемых в монтажных стойках или шкафах. Стандартом допускается и соединение устройств EDA напрямую друг с другом (например, blade-серверы могут напрямую подключаться к коммутаторам, а обычные серверы — к периферийным устройствам).

В составе ЦОД вне пределов компьютерного зала можно оборудовать телекоммуникационную комнату, предназначенную для поддержки горизонтальных кабелей, проложенных к офисам обслуживающего персонала, центру управления, помещениям с механическим и электрическим оборудованием и другим помещениям или участкам ЦОД, расположенным вне стен компьютерного зала. Типичный ЦОД имеет одну или две комнаты для ввода кабелей, одну или несколько телекоммуникационных комнат, один MDA и несколько HDA.

Кабельная система ЦОД состоит из следующих элементов:

• горизонтальная подсистема;

• магистральная подсистема;

• входной кросс, находящийся в комнате для ввода кабелей или в помещении MDA (если комната ввода кабелей объединена с MDA);

• главный кросс, установленный в MDA;

• горизонтальный кросс, размещенный в HDA, MDA или в телекоммуникационной комнате;

• зоновая розетка или точка консолидации, смонтированная в ZDA;

• розетка, установленная в EDA.

Горизонтальная подсистема — это часть кабельной системы ЦОД, проходящая между розеткой в EDA (или зоновой розеткой в ZDA) и горизонтальным кроссом, который находится в HDA или MDA. В состав горизонтальной подсистемы может входить факультативная точка консолидации. Магистральная подсистема связывает MDA с HDA, телекоммуникационными комнатами и комнатами для ввода кабелей.

Топология кабельной системы

Горизонтальная и магистральная подсистемы кабельной системы ЦОД имеют топологию типа “звезда”. Горизонтальные кабели подключаются к горизонтальному кроссу в HDA или MDA. С целью резервирования путей передачи данных разные розетки в EDA или ZDA можно соединять (горизонтальными кабелями) с разными горизонтальными кроссами.

В звездообразной топологии магистральной подсистемы каждый горизонтальный кросс, расположенный в HDA, подключен напрямую к главному кроссу в MDA. Промежуточных кроссов в кабельной инфраструктуре ЦОД не предусмотрено.

Чтобы повысить надежность работы инфраструктуры, как уже отмечалось, допускается резервирование HDA. В этом случае все горизонтальные кроссы должны быть связаны с основным и резервным HDA.

Стоит также отметить, что для резервирования элементов инфраструктуры и поддержки приложений, которые не могут функционировать из-за того, что длина путей передачи данных в рамках звездообразной топологии превышает максимальную дальность связи с использованием этих приложений, допускается организация прямых кабельных соединений между HDA. Кроме того, для соблюдения ограничений на максимальную длину кабельных каналов разрешено организовывать прямые соединения между второй комнатой для ввода кабелей и помещениями HDA.

Типы кабелей

Для поддержки разнообразных приложений стандарт TIA/EIA-942 допускает установку самых разных типов кабелей, но при этом в новых инсталляциях рекомендует использовать кабели с максимально широкой полосой пропускания. Это весьма значительно увеличивает возможный срок службы кабельной инфраструктуры ЦОД.

К разрешенным стандартом типам кабелей относятся:

• 100-Ом кабель из витых пар, соответствующий стандарту ANSI/TIA/EIA-568-B.2; рекомендуется использовать кабель категории 6, специфицированный в приложении ANSI/TIA/EIA-568-B.2-1.

• Кабель с 62,5/125-мкм или 50/125-мкм многомодовым волокном, соответствующий стандарту ANSI/TIA/EIA-568-B.3; рекомендуется использовать 50/125-мкм многомодовое волокно, оптимизированное для работы с 850-нм лазером и специфицированное в документе ANSI/TIA-568-B.3-1.

• Одномодовый оптоволоконный кабель стандарта ANSI/TIA/EIA-568-B.3.

• 75-Ом коаксиальный кабель (типа 734 или 735), соответствующий документу GR-139-CORE фирмы Telcordia Technologies, и коаксиальные разъемы стандарта ANSI T1.404. Эти кабели и разъемы рекомендованы для организации каналов T-3, E-1 и E-3.

Прокладка кабелей и размещение оборудования

Для прокладки кабелей в ЦОД стандарт TIA/EIA-942 разрешает использовать самые разные полости и конструкции, включая пространство под фальшполом и верхние кабельные лотки, уже получившие широкое распространение в ЦОД. Стандарт рекомендует реализовывать фальшполы в тех ЦОД, где предполагается высокая концентрация оборудования с большим энергопотреблением, или устанавливать большую компьютерную систему, сконструированную для подвода кабелей снизу. Под фальшполом телекоммуникационные кабели следует размещать в кабельных лотках, причем они не должны мешать потоку воздуха и иметь острых краев.

Верхние кабельные лотки стандарт рекомендует подвешивать к потолку, а не прикреплять их к верхним частям монтажных стоек или шкафов. Это обеспечивает большую гибкость применения монтажного оборудования разной высоты. И еще. Размещать осветительные приборы и водораспыляющие головки нужно в проходах между рядами стоек или шкафов с оборудованием, а не прямо над ними.

Согласно стандарту, для организации так называемых холодных и горячих проходов между рядами стоек или шкафов с оборудованием их следует устанавливать таким образом, чтобы стойки или шкафы соседних рядов были обращены либо передними, либо задними сторонами друг к другу. Холодные проходы образуются впереди стоек или шкафов — в этих проходах плиты фальшпола имеют отверстия, через которые в помещение ЦОД поступает холодный воздух. Силовые кабели обычно прокладывают под холодными проходами. Соседние с ними проходы называются горячими — в ту сторону обращены задние части шкафов или стоек. Лотки с телекоммуникационными кабелями, как правило, располагают под горячими проходами.

В стойках или шкафах оборудование должно быть смонтировано так, чтобы его вентиляционные отверстия, через которые всасывается холодный воздух, находились в передней части шкафа или стойки, а выход горячего воздуха осуществлялся в задней части. В противном случае система охлаждения оборудования, основанная на концепции холодных и горячих проходов, не будет работать. Данная концепция ориентирована на устройства, в которых охлаждающий воздух перемещается от передней панели к задней.

Чтобы обеспечивать надлежащее охлаждение установленного оборудования, монтажные шкафы должны иметь средства воздухообмена. Если шкафы не оснащены вентиляторами, способствующими более эффективному функционированию горячих и холодных проходов, то в дверях шкафов должно быть большое число вентиляционных отверстий или прорезей, общая площадь которых составляла бы не менее половины площади двери.

Для удобства монтажа оборудования и прокладки кабелей проходы между рядами шкафов или стоек не должны быть слишком узкими. Рекомендуемое расстояние между передними сторонами стоек или шкафов (соседних рядов) — 1,2 м, а минимальное — 0,9 м. Расстояние между задними сторонами стоек или шкафов (опять же соседних рядов) должно составлять 0,9 м, а минимальное — 0,6 м.

Размещать ряды стоек или шкафов нужно так, чтобы можно было снимать плиты фальшпола спереди и сзади ряда. Таким образом, все шкафы следует выравнивать вдоль краев плит фальшпола. Чтобы резьбовые стержни, которыми монтажные стойки крепятся к межэтажным перекрытиям, не попадали на крепежные элементы плит фальшпола, стойки устанавливаются ближе к центру этих плит.

Размеры прорезей в плитах фальшпола, находящихся под стойками или шкафами, должны быть не больше, чем это необходимо, чтобы свести к минимуму снижение давления воздуха под фальшполом. Кроме того, для минимизации продольной электромагнитной связи между силовыми и телекоммуникационными кабелями из витых пар в стандарте TIA/EIA-942 оговорены требования к расстоянию между ними.

Стандарт TIA/EIA-942 разрабатывается с целью удовлетворения потребности ИТ-отрасли в рекомендациях по проектированию инфраструктуры для любого ЦОД независимо от его размеров (небольшой, средний или крупный) и характера использования (корпоративный ЦОД или ЦОД, в котором базируются Интернет-серверы разных компаний).

[ http://www.ccc.ru/magazine/depot/04_13/read.html?1102.htm]

Тематики

• ЦОДы (центры обработки данных)

EN

• telecommunications infrustructure standard for data centers

 

модульный центр обработки данных (ЦОД)
-
[Интент]

Параллельные тексты EN-RU

[ http://loosebolts.wordpress.com/2008/12/02/our-vision-for-generation-4-modular-data-centers-one-way-of-getting-it-just-right/]

[ http://dcnt.ru/?p=9299#more-9299]

Data Centers are a hot topic these days. No matter where you look, this once obscure aspect of infrastructure is getting a lot of attention. For years, there have been cost pressures on IT operations and this, when the need for modern capacity is greater than ever, has thrust data centers into the spotlight. Server and rack density continues to rise, placing DC professionals and businesses in tighter and tougher situations while they struggle to manage their IT environments. And now hyper-scale cloud infrastructure is taking traditional technologies to limits never explored before and focusing the imagination of the IT industry on new possibilities.

В настоящее время центры обработки данных являются широко обсуждаемой темой. Куда ни посмотришь, этот некогда малоизвестный аспект инфраструктуры привлекает все больше внимания. Годами ИТ-отделы испытывали нехватку средств и это выдвинуло ЦОДы в центр внимания, в то время, когда необходимость в современных ЦОДах стала как никогда высокой. Плотность серверов и стоек продолжают расти, все больше усложняя ситуацию для специалистов в области охлаждения и организаций в их попытках управлять своими ИТ-средами. И теперь гипермасштабируемая облачная инфраструктура подвергает традиционные технологии невиданным ранее нагрузкам, и заставляет ИТ-индустрию искать новые возможности.

At Microsoft, we have focused a lot of thought and research around how to best operate and maintain our global infrastructure and we want to share those learnings. While obviously there are some aspects that we keep to ourselves, we have shared how we operate facilities daily, our technologies and methodologies, and, most importantly, how we monitor and manage our facilities. Whether it’s speaking at industry events, inviting customers to our “Microsoft data center conferences” held in our data centers, or through other media like blogging and white papers, we believe sharing best practices is paramount and will drive the industry forward. So in that vein, we have some interesting news to share.

В компании MicroSoft уделяют большое внимание изучению наилучших методов эксплуатации и технического обслуживания своей глобальной инфраструктуры и делятся результатами своих исследований. И хотя мы, конечно, не раскрываем некоторые аспекты своих исследований, мы делимся повседневным опытом эксплуатации дата-центров, своими технологиями и методологиями и, что важнее всего, методами контроля и управления своими объектами. Будь то доклады на отраслевых событиях, приглашение клиентов на наши конференции, которые посвящены центрам обработки данных MicroSoft, и проводятся в этих самых дата-центрах, или использование других средств, например, блоги и спецификации, мы уверены, что обмен передовым опытом имеет первостепенное значение и будет продвигать отрасль вперед.

Today we are sharing our Generation 4 Modular Data Center plan. This is our vision and will be the foundation of our cloud data center infrastructure in the next five years. We believe it is one of the most revolutionary changes to happen to data centers in the last 30 years. Joining me, in writing this blog are Daniel Costello, my director of Data Center Research and Engineering and Christian Belady, principal power and cooling architect. I feel their voices will add significant value to driving understanding around the many benefits included in this new design paradigm.

Сейчас мы хотим поделиться своим планом модульного дата-центра четвертого поколения. Это наше видение и оно будет основанием для инфраструктуры наших облачных дата-центров в ближайшие пять лет. Мы считаем, что это одно из самых революционных изменений в дата-центрах за последние 30 лет. Вместе со мной в написании этого блога участвовали Дэниел Костелло, директор по исследованиям и инжинирингу дата-центров, и Кристиан Белади, главный архитектор систем энергоснабжения и охлаждения. Мне кажется, что их авторитет придаст больше веса большому количеству преимуществ, включенных в эту новую парадигму проектирования.

Our “Gen 4” modular data centers will take the flexibility of containerized servers—like those in our Chicago data center—and apply it across the entire facility. So what do we mean by modular? Think of it like “building blocks”, where the data center will be composed of modular units of prefabricated mechanical, electrical, security components, etc., in addition to containerized servers.

Was there a key driver for the Generation 4 Data Center?

Наши модульные дата-центры “Gen 4” будут гибкими с контейнерами серверов – как серверы в нашем чикагском дата-центре. И гибкость будет применяться ко всему ЦОД. Итак, что мы подразумеваем под модульностью? Мы думаем о ней как о “строительных блоках”, где дата-центр будет состоять из модульных блоков изготовленных в заводских условиях электрических систем и систем охлаждения, а также систем безопасности и т.п., в дополнение к контейнеризованным серверам.
Был ли ключевой стимул для разработки дата-центра четвертого поколения?

If we were to summarize the promise of our Gen 4 design into a single sentence it would be something like this: “A highly modular, scalable, efficient, just-in-time data center capacity program that can be delivered anywhere in the world very quickly and cheaply, while allowing for continued growth as required.” Sounds too good to be true, doesn’t it? Well, keep in mind that these concepts have been in initial development and prototyping for over a year and are based on cumulative knowledge of previous facility generations and the advances we have made since we began our investments in earnest on this new design.

Если бы нам нужно было обобщить достоинства нашего проекта Gen 4 в одном предложении, это выглядело бы следующим образом: “Центр обработки данных с высоким уровнем модульности, расширяемости, и энергетической эффективности, а также возможностью постоянного расширения, в случае необходимости, который можно очень быстро и дешево развертывать в любом месте мира”. Звучит слишком хорошо для того чтобы быть правдой, не так ли? Ну, не забывайте, что эти концепции находились в процессе начальной разработки и создания опытного образца в течение более одного года и основываются на опыте, накопленном в ходе развития предыдущих поколений ЦОД, а также успехах, сделанных нами со времени, когда мы начали вкладывать серьезные средства в этот новый проект.

One of the biggest challenges we’ve had at Microsoft is something Mike likes to call the ‘Goldilock’s Problem’. In a nutshell, the problem can be stated as:

The worst thing we can do in delivering facilities for the business is not have enough capacity online, thus limiting the growth of our products and services.

Одну из самых больших проблем, с которыми приходилось сталкиваться Майкрософт, Майк любит называть ‘Проблемой Лютика’. Вкратце, эту проблему можно выразить следующим образом:

Самое худшее, что может быть при строительстве ЦОД для бизнеса, это не располагать достаточными производственными мощностями, и тем самым ограничивать рост наших продуктов и сервисов.

The second worst thing we can do in delivering facilities for the business is to have too much capacity online.

А вторым самым худшим моментом в этой сфере может слишком большое количество производственных мощностей.

This has led to a focus on smart, intelligent growth for the business — refining our overall demand picture. It can’t be too hot. It can’t be too cold. It has to be ‘Just Right!’ The capital dollars of investment are too large to make without long term planning. As we struggled to master these interesting challenges, we had to ensure that our technological plan also included solutions for the business and operational challenges we faced as well.
So let’s take a high level look at our Generation 4 design

Это заставило нас сосредоточиваться на интеллектуальном росте для бизнеса — refining our overall demand picture. Это не должно быть слишком горячим. И это не должно быть слишком холодным. Это должно быть ‘как раз, таким как надо!’ Нельзя делать такие большие капиталовложения без долгосрочного планирования. Пока мы старались решить эти интересные проблемы, мы должны были гарантировать, что наш технологический план будет также включать решения для коммерческих и эксплуатационных проблем, с которыми нам также приходилось сталкиваться.
Давайте рассмотрим наш проект дата-центра четвертого поколения

Are you ready for some great visuals? Check out this video at Soapbox. Click here for the Microsoft 4th Gen Video.

It’s a concept video that came out of my Data Center Research and Engineering team, under Daniel Costello, that will give you a view into what we think is the future.

From a configuration, construct-ability and time to market perspective, our primary goals and objectives are to modularize the whole data center. Not just the server side (like the Chicago facility), but the mechanical and electrical space as well. This means using the same kind of parts in pre-manufactured modules, the ability to use containers, skids, or rack-based deployments and the ability to tailor the Redundancy and Reliability requirements to the application at a very specific level.

Посмотрите это видео, перейдите по ссылке для просмотра видео о Microsoft 4th Gen:

Это концептуальное видео, созданное командой отдела Data Center Research and Engineering, возглавляемого Дэниелом Костелло, которое даст вам наше представление о будущем.

С точки зрения конфигурации, строительной технологичности и времени вывода на рынок, нашими главными целями и задачами агрегатирование всего дата-центра. Не только серверную часть, как дата-центр в Чикаго, но также системы охлаждения и электрические системы. Это означает применение деталей одного типа в сборных модулях, возможность использования контейнеров, салазок, или стоечных систем, а также возможность подстраивать требования избыточности и надежности для данного приложения на очень специфичном уровне.

Our goals from a cost perspective were simple in concept but tough to deliver. First and foremost, we had to reduce the capital cost per critical Mega Watt by the class of use. Some applications can run with N-level redundancy in the infrastructure, others require a little more infrastructure for support. These different classes of infrastructure requirements meant that optimizing for all cost classes was paramount. At Microsoft, we are not a one trick pony and have many Online products and services (240+) that require different levels of operational support. We understand that and ensured that we addressed it in our design which will allow us to reduce capital costs by 20%-40% or greater depending upon class.

Нашими целями в области затрат были концептуально простыми, но трудно реализуемыми. В первую очередь мы должны были снизить капитальные затраты в пересчете на один мегаватт, в зависимости от класса резервирования. Некоторые приложения могут вполне работать на базе инфраструктуры с резервированием на уровне N, то есть без резервирования, а для работы других приложений требуется больше инфраструктуры. Эти разные классы требований инфраструктуры подразумевали, что оптимизация всех классов затрат имеет преобладающее значение. В Майкрософт мы не ограничиваемся одним решением и располагаем большим количеством интерактивных продуктов и сервисов (240+), которым требуются разные уровни эксплуатационной поддержки. Мы понимаем это, и учитываем это в своем проекте, который позволит нам сокращать капитальные затраты на 20%-40% или более в зависимости от класса.

For example, non-critical or geo redundant applications have low hardware reliability requirements on a location basis. As a result, Gen 4 can be configured to provide stripped down, low-cost infrastructure with little or no redundancy and/or temperature control. Let’s say an Online service team decides that due to the dramatically lower cost, they will simply use uncontrolled outside air with temperatures ranging 10-35 C and 20-80% RH. The reality is we are already spec-ing this for all of our servers today and working with server vendors to broaden that range even further as Gen 4 becomes a reality. For this class of infrastructure, we eliminate generators, chillers, UPSs, and possibly lower costs relative to traditional infrastructure.

Например, некритичные или гео-избыточные системы имеют низкие требования к аппаратной надежности на основе местоположения. В результате этого, Gen 4 можно конфигурировать для упрощенной, недорогой инфраструктуры с низким уровнем (или вообще без резервирования) резервирования и / или температурного контроля. Скажем, команда интерактивного сервиса решает, что, в связи с намного меньшими затратами, они будут просто использовать некондиционированный наружный воздух с температурой 10-35°C и влажностью 20-80% RH. В реальности мы уже сегодня предъявляем эти требования к своим серверам и работаем с поставщиками серверов над еще большим расширением диапазона температур, так как наш модуль и подход Gen 4 становится реальностью. Для подобного класса инфраструктуры мы удаляем генераторы, чиллеры, ИБП, и, возможно, будем предлагать более низкие затраты, по сравнению с традиционной инфраструктурой.

Applications that demand higher level of redundancy or temperature control will use configurations of Gen 4 to meet those needs, however, they will also cost more (but still less than traditional data centers). We see this cost difference driving engineering behavioral change in that we predict more applications will drive towards Geo redundancy to lower costs.

Системы, которым требуется более высокий уровень резервирования или температурного контроля, будут использовать конфигурации Gen 4, отвечающие этим требованиям, однако, они будут также стоить больше. Но все равно они будут стоить меньше, чем традиционные дата-центры. Мы предвидим, что эти различия в затратах будут вызывать изменения в методах инжиниринга, и по нашим прогнозам, это будет выражаться в переходе все большего числа систем на гео-избыточность и меньшие затраты.

Another cool thing about Gen 4 is that it allows us to deploy capacity when our demand dictates it. Once finalized, we will no longer need to make large upfront investments. Imagine driving capital costs more closely in-line with actual demand, thus greatly reducing time-to-market and adding the capacity Online inherent in the design. Also reduced is the amount of construction labor required to put these “building blocks” together. Since the entire platform requires pre-manufacture of its core components, on-site construction costs are lowered. This allows us to maximize our return on invested capital.

Еще одно достоинство Gen 4 состоит в том, что он позволяет нам разворачивать дополнительные мощности, когда нам это необходимо. Как только мы закончим проект, нам больше не нужно будет делать большие начальные капиталовложения. Представьте себе возможность более точного согласования капитальных затрат с реальными требованиями, и тем самым значительного снижения времени вывода на рынок и интерактивного добавления мощностей, предусматриваемого проектом. Также снижен объем строительных работ, требуемых для сборки этих “строительных блоков”. Поскольку вся платформа требует предварительного изготовления ее базовых компонентов, затраты на сборку также снижены. Это позволит нам увеличить до максимума окупаемость своих капиталовложений.
Мы все подвергаем сомнению

In our design process, we questioned everything. You may notice there is no roof and some might be uncomfortable with this. We explored the need of one and throughout our research we got some surprising (positive) results that showed one wasn’t needed.

В своем процессе проектирования мы все подвергаем сомнению. Вы, наверное, обратили внимание на отсутствие крыши, и некоторым специалистам это могло не понравиться. Мы изучили необходимость в крыше и в ходе своих исследований получили удивительные результаты, которые показали, что крыша не нужна.
Серийное производство дата центров

In short, we are striving to bring Henry Ford’s Model T factory to the data center. http://en.wikipedia.org/wiki/Henry_Ford#Model_T. Gen 4 will move data centers from a custom design and build model to a commoditized manufacturing approach. We intend to have our components built in factories and then assemble them in one location (the data center site) very quickly. Think about how a computer, car or plane is built today. Components are manufactured by different companies all over the world to a predefined spec and then integrated in one location based on demands and feature requirements. And just like Henry Ford’s assembly line drove the cost of building and the time-to-market down dramatically for the automobile industry, we expect Gen 4 to do the same for data centers. Everything will be pre-manufactured and assembled on the pad.

Мы хотим применить модель автомобильной фабрики Генри Форда к дата-центру. Проект Gen 4 будет способствовать переходу от модели специализированного проектирования и строительства к товарно-производственному, серийному подходу. Мы намерены изготавливать свои компоненты на заводах, а затем очень быстро собирать их в одном месте, в месте строительства дата-центра. Подумайте о том, как сегодня изготавливается компьютер, автомобиль или самолет. Компоненты изготавливаются по заранее определенным спецификациям разными компаниями во всем мире, затем собираются в одном месте на основе спроса и требуемых характеристик. И точно так же как сборочный конвейер Генри Форда привел к значительному уменьшению затрат на производство и времени вывода на рынок в автомобильной промышленности, мы надеемся, что Gen 4 сделает то же самое для дата-центров. Все будет предварительно изготавливаться и собираться на месте.
Невероятно энергоэффективный ЦОД

And did we mention that this platform will be, overall, incredibly energy efficient? From a total energy perspective not only will we have remarkable PUE values, but the total cost of energy going into the facility will be greatly reduced as well. How much energy goes into making concrete? Will we need as much of it? How much energy goes into the fuel of the construction vehicles? This will also be greatly reduced! A key driver is our goal to achieve an average PUE at or below 1.125 by 2012 across our data centers. More than that, we are on a mission to reduce the overall amount of copper and water used in these facilities. We believe these will be the next areas of industry attention when and if the energy problem is solved. So we are asking today…“how can we build a data center with less building”?

А мы упоминали, что эта платформа будет, в общем, невероятно энергоэффективной? С точки зрения общей энергии, мы получим не только поразительные значения PUE, но общая стоимость энергии, затраченной на объект будет также значительно снижена. Сколько энергии идет на производство бетона? Нам нужно будет столько энергии? Сколько энергии идет на питание инженерных строительных машин? Это тоже будет значительно снижено! Главным стимулом является достижение среднего PUE не больше 1.125 для всех наших дата-центров к 2012 году. Более того, у нас есть задача сокращения общего количества меди и воды в дата-центрах. Мы думаем, что эти задачи станут следующей заботой отрасли после того как будет решена энергетическая проблема. Итак, сегодня мы спрашиваем себя…“как можно построить дата-центр с меньшим объемом строительных работ”?
Строительство дата центров без чиллеров

We have talked openly and publicly about building chiller-less data centers and running our facilities using aggressive outside economization. Our sincerest hope is that Gen 4 will completely eliminate the use of water. Today’s data centers use massive amounts of water and we see water as the next scarce resource and have decided to take a proactive stance on making water conservation part of our plan.

Мы открыто и публично говорили о строительстве дата-центров без чиллеров и активном использовании в наших центрах обработки данных технологий свободного охлаждения или фрикулинга. Мы искренне надеемся, что Gen 4 позволит полностью отказаться от использования воды. Современные дата-центры расходуют большие объемы воды и так как мы считаем воду следующим редким ресурсом, мы решили принять упреждающие меры и включить экономию воды в свой план.

By sharing this with the industry, we believe everyone can benefit from our methodology. While this concept and approach may be intimidating (or downright frightening) to some in the industry, disclosure ultimately is better for all of us.

Делясь этим опытом с отраслью, мы считаем, что каждый сможет извлечь выгоду из нашей методологией. Хотя эта концепция и подход могут показаться пугающими (или откровенно страшными) для некоторых отраслевых специалистов, раскрывая свои планы мы, в конечном счете, делаем лучше для всех нас.

Gen 4 design (even more than just containers), could reduce the ‘religious’ debates in our industry. With the central spine infrastructure in place, containers or pre-manufactured server halls can be either AC or DC, air-side economized or water-side economized, or not economized at all (though the sanity of that might be questioned). Gen 4 will allow us to decommission, repair and upgrade quickly because everything is modular. No longer will we be governed by the initial decisions made when constructing the facility. We will have almost unlimited use and re-use of the facility and site. We will also be able to use power in an ultra-fluid fashion moving load from critical to non-critical as use and capacity requirements dictate.

Проект Gen 4 позволит уменьшить ‘религиозные’ споры в нашей отрасли. Располагая базовой инфраструктурой, контейнеры или сборные серверные могут оборудоваться системами переменного или постоянного тока, воздушными или водяными экономайзерами, или вообще не использовать экономайзеры. Хотя можно подвергать сомнению разумность такого решения. Gen 4 позволит нам быстро выполнять работы по выводу из эксплуатации, ремонту и модернизации, поскольку все будет модульным. Мы больше не будем руководствоваться начальными решениями, принятыми во время строительства дата-центра. Мы сможем использовать этот дата-центр и инфраструктуру в течение почти неограниченного периода времени. Мы также сможем применять сверхгибкие методы использования электрической энергии, переводя оборудование в режимы критической или некритической нагрузки в соответствии с требуемой мощностью.
Gen 4 – это стандартная платформа

Finally, we believe this is a big game changer. Gen 4 will provide a standard platform that our industry can innovate around. For example, all modules in our Gen 4 will have common interfaces clearly defined by our specs and any vendor that meets these specifications will be able to plug into our infrastructure. Whether you are a computer vendor, UPS vendor, generator vendor, etc., you will be able to plug and play into our infrastructure. This means we can also source anyone, anywhere on the globe to minimize costs and maximize performance. We want to help motivate the industry to further innovate—with innovations from which everyone can reap the benefits.

Наконец, мы уверены, что это будет фактором, который значительно изменит ситуацию. Gen 4 будет представлять собой стандартную платформу, которую отрасль сможет обновлять. Например, все модули в нашем Gen 4 будут иметь общепринятые интерфейсы, четко определяемые нашими спецификациями, и оборудование любого поставщика, которое отвечает этим спецификациям можно будет включать в нашу инфраструктуру. Независимо от того производите вы компьютеры, ИБП, генераторы и т.п., вы сможете включать свое оборудование нашу инфраструктуру. Это означает, что мы также сможем обеспечивать всех, в любом месте земного шара, тем самым сводя до минимума затраты и максимальной увеличивая производительность. Мы хотим создать в отрасли мотивацию для дальнейших инноваций – инноваций, от которых каждый сможет получать выгоду.
Главные характеристики дата-центров четвертого поколения Gen4

To summarize, the key characteristics of our Generation 4 data centers are:

Scalable
Plug-and-play spine infrastructure
Factory pre-assembled: Pre-Assembled Containers (PACs) & Pre-Manufactured Buildings (PMBs)
Rapid deployment
De-mountable
Reduce TTM
Reduced construction
Sustainable measures

Ниже приведены главные характеристики дата-центров четвертого поколения Gen 4:

Расширяемость;
Готовая к использованию базовая инфраструктура;
Изготовление в заводских условиях: сборные контейнеры (PAC) и сборные здания (PMB);
Быстрота развертывания;
Возможность демонтажа;
Снижение времени вывода на рынок (TTM);
Сокращение сроков строительства;
Экологичность;

Map applications to DC Class

We hope you join us on this incredible journey of change and innovation!

Long hours of research and engineering time are invested into this process. There are still some long days and nights ahead, but the vision is clear. Rest assured however, that we as refine Generation 4, the team will soon be looking to Generation 5 (even if it is a bit farther out). There is always room to get better.

Использование систем электропитания постоянного тока.

Мы надеемся, что вы присоединитесь к нам в этом невероятном путешествии по миру изменений и инноваций!

На этот проект уже потрачены долгие часы исследований и проектирования. И еще предстоит потратить много дней и ночей, но мы имеем четкое представление о конечной цели. Однако будьте уверены, что как только мы доведем до конца проект модульного дата-центра четвертого поколения, мы вскоре начнем думать о проекте дата-центра пятого поколения. Всегда есть возможность для улучшений.

So if you happen to come across Goldilocks in the forest, and you are curious as to why she is smiling you will know that she feels very good about getting very close to ‘JUST RIGHT’.

Generations of Evolution – some background on our data center designs

Так что, если вы встретите в лесу девочку по имени Лютик, и вам станет любопытно, почему она улыбается, вы будете знать, что она очень довольна тем, что очень близко подошла к ‘ОПИМАЛЬНОМУ РЕШЕНИЮ’.
Поколения эволюции – история развития наших дата-центров

We thought you might be interested in understanding what happened in the first three generations of our data center designs. When Ray Ozzie wrote his Software plus Services memo it posed a very interesting challenge to us. The winds of change were at ‘tornado’ proportions. That “plus Services” tag had some significant (and unstated) challenges inherent to it. The first was that Microsoft was going to evolve even further into an operations company. While we had been running large scale Internet services since 1995, this development lead us to an entirely new level. Additionally, these “services” would span across both Internet and Enterprise businesses. To those of you who have to operate “stuff”, you know that these are two very different worlds in operational models and challenges. It also meant that, to achieve the same level of reliability and performance required our infrastructure was going to have to scale globally and in a significant way.

Мы подумали, что может быть вам будет интересно узнать историю первых трех поколений наших центров обработки данных. Когда Рэй Оззи написал свою памятную записку Software plus Services, он поставил перед нами очень интересную задачу. Ветра перемен двигались с ураганной скоростью. Это окончание “plus Services” скрывало в себе какие-то значительные и неопределенные задачи. Первая заключалась в том, что Майкрософт собиралась в еще большей степени стать операционной компанией. Несмотря на то, что мы управляли большими интернет-сервисами, начиная с 1995 г., эта разработка подняла нас на абсолютно новый уровень. Кроме того, эти “сервисы” охватывали интернет-компании и корпорации. Тем, кому приходится всем этим управлять, известно, что есть два очень разных мира в области операционных моделей и задач. Это также означало, что для достижения такого же уровня надежности и производительности требовалось, чтобы наша инфраструктура располагала значительными возможностями расширения в глобальных масштабах.

It was that intense atmosphere of change that we first started re-evaluating data center technology and processes in general and our ideas began to reach farther than what was accepted by the industry at large. This was the era of Generation 1. As we look at where most of the world’s data centers are today (and where our facilities were), it represented all the known learning and design requirements that had been in place since IBM built the first purpose-built computer room. These facilities focused more around uptime, reliability and redundancy. Big infrastructure was held accountable to solve all potential environmental shortfalls. This is where the majority of infrastructure in the industry still is today.

Именно в этой атмосфере серьезных изменений мы впервые начали переоценку ЦОД-технологий и технологий вообще, и наши идеи начали выходить за пределы общепринятых в отрасли представлений. Это была эпоха ЦОД первого поколения. Когда мы узнали, где сегодня располагается большинство мировых дата-центров и где находятся наши предприятия, это представляло весь опыт и навыки проектирования, накопленные со времени, когда IBM построила первую серверную. В этих ЦОД больше внимания уделялось бесперебойной работе, надежности и резервированию. Большая инфраструктура была призвана решать все потенциальные экологические проблемы. Сегодня большая часть инфраструктуры все еще находится на этом этапе своего развития.

We soon realized that traditional data centers were quickly becoming outdated. They were not keeping up with the demands of what was happening technologically and environmentally. That’s when we kicked off our Generation 2 design. Gen 2 facilities started taking into account sustainability, energy efficiency, and really looking at the total cost of energy and operations.

Очень быстро мы поняли, что стандартные дата-центры очень быстро становятся устаревшими. Они не поспевали за темпами изменений технологических и экологических требований. Именно тогда мы стали разрабатывать ЦОД второго поколения. В этих дата-центрах Gen 2 стали принимать во внимание такие факторы как устойчивое развитие, энергетическая эффективность, а также общие энергетические и эксплуатационные.

No longer did we view data centers just for the upfront capital costs, but we took a hard look at the facility over the course of its life. Our Quincy, Washington and San Antonio, Texas facilities are examples of our Gen 2 data centers where we explored and implemented new ways to lessen the impact on the environment. These facilities are considered two leading industry examples, based on their energy efficiency and ability to run and operate at new levels of scale and performance by leveraging clean hydro power (Quincy) and recycled waste water (San Antonio) to cool the facility during peak cooling months.

Мы больше не рассматривали дата-центры только с точки зрения начальных капитальных затрат, а внимательно следили за работой ЦОД на протяжении его срока службы. Наши объекты в Куинси, Вашингтоне, и Сан-Антонио, Техас, являются образцами наших ЦОД второго поколения, в которых мы изучали и применяли на практике новые способы снижения воздействия на окружающую среду. Эти объекты считаются двумя ведущими отраслевыми примерами, исходя из их энергетической эффективности и способности работать на новых уровнях производительности, основанных на использовании чистой энергии воды (Куинси) и рециклирования отработанной воды (Сан-Антонио) для охлаждения объекта в самых жарких месяцах.

As we were delivering our Gen 2 facilities into steel and concrete, our Generation 3 facilities were rapidly driving the evolution of the program. The key concepts for our Gen 3 design are increased modularity and greater concentration around energy efficiency and scale. The Gen 3 facility will be best represented by the Chicago, Illinois facility currently under construction. This facility will seem very foreign compared to the traditional data center concepts most of the industry is comfortable with. In fact, if you ever sit around in our container hanger in Chicago it will look incredibly different from a traditional raised-floor data center. We anticipate this modularization will drive huge efficiencies in terms of cost and operations for our business. We will also introduce significant changes in the environmental systems used to run our facilities. These concepts and processes (where applicable) will help us gain even greater efficiencies in our existing footprint, allowing us to further maximize infrastructure investments.

Так как наши ЦОД второго поколения строились из стали и бетона, наши центры обработки данных третьего поколения начали их быстро вытеснять. Главными концептуальными особенностями ЦОД третьего поколения Gen 3 являются повышенная модульность и большее внимание к энергетической эффективности и масштабированию. Дата-центры третьего поколения лучше всего представлены объектом, который в настоящее время строится в Чикаго, Иллинойс. Этот ЦОД будет выглядеть очень необычно, по сравнению с общепринятыми в отрасли представлениями о дата-центре. Действительно, если вам когда-либо удастся побывать в нашем контейнерном ангаре в Чикаго, он покажется вам совершенно непохожим на обычный дата-центр с фальшполом. Мы предполагаем, что этот модульный подход будет способствовать значительному повышению эффективности нашего бизнеса в отношении затрат и операций. Мы также внесем существенные изменения в климатические системы, используемые в наших ЦОД. Эти концепции и технологии, если применимо, позволят нам добиться еще большей эффективности наших существующих дата-центров, и тем самым еще больше увеличивать капиталовложения в инфраструктуру.

This is definitely a journey, not a destination industry. In fact, our Generation 4 design has been under heavy engineering for viability and cost for over a year. While the demand of our commercial growth required us to make investments as we grew, we treated each step in the learning as a process for further innovation in data centers. The design for our future Gen 4 facilities enabled us to make visionary advances that addressed the challenges of building, running, and operating facilities all in one concerted effort.

Это определенно путешествие, а не конечный пункт назначения. На самом деле, наш проект ЦОД четвертого поколения подвергался серьезным испытаниям на жизнеспособность и затраты на протяжении целого года. Хотя необходимость в коммерческом росте требовала от нас постоянных капиталовложений, мы рассматривали каждый этап своего развития как шаг к будущим инновациям в области дата-центров. Проект наших будущих ЦОД четвертого поколения Gen 4 позволил нам делать фантастические предположения, которые касались задач строительства, управления и эксплуатации объектов как единого упорядоченного процесса.

Тематики

• ЦОДы (центры обработки данных)

Синонимы

• модульный ЦОД

EN

• modular data center

 

большой ЦОД
крупный ЦОД
-
[Интент]

Тематики

• ЦОДы (центры обработки данных)

Синонимы

• крупный ЦОД

EN

• large data center

 

управление инфраструктурой центров обработки данных (ЦОД)
-
[Интент]

Тематики

• ЦОДы (центры обработки данных)

EN

• data center infrastructure management
• DCIM

 

управление электропитанием
-
[Интент]

Управление электропитанием ЦОД

Автор: Жилкина Наталья
Опубликовано 23 апреля 2009 года

Источники бесперебойного питания, функционирующие в ЦОД, составляют важный элемент общей системы его энергообеспечения. Вписываясь в контур управления ЦОД, система мониторинга и управления ИБП становится ядром для реализации эксплуатационных функций.

Три задачи

Системы мониторинга, диагностики и управления питанием нагрузки решают три основные задачи: позволяют ИБП выполнять свои функции, оповещать персонал о происходящих с ними событиях и посылать команды для автоматического завершения работы защищаемого устройства.

Мониторинг параметров ИБП предполагает отображение и протоколирование состояния устройства и всех событий, связанных с его изменением. Диагностика реализуется функциями самотестирования системы. Управляющие же функции предполагают активное вмешательство в логику работы устройства.

Многие специалисты этого рынка, отмечая важность процедуры мониторинга, считают, что управление должно быть сведено к минимуму. «Функция управления ИБП тоже нужна, но скорее факультативно, — говорит Сергей Ермаков, технический директор компании Inelt и эксперт в области систем Chloride. — Я глубоко убежден, что решения об активном управляющем вмешательстве в работу систем защиты электропитания ответственной нагрузки должен принимать человек, а не автоматизированная система. Завершение работы современных мощных серверов, на которых функционируют ответственные приложения, — это, как правило, весьма длительный процесс. ИБП зачастую не способны обеспечивать необходимое для него время, не говоря уж о времени запуска какого-то сервиса». Функция же мониторинга позволяет предотвратить наступление нежелательного события — либо, если таковое произошло, проанализировать его причины, опираясь не на слова, а на запротоколированные данные, хранящиеся в памяти адаптера или файлах на рабочей станции мониторинга.

Эту точку зрения поддерживает и Алексей Сарыгин, технический директор компании Radius Group: «Дистанционное управление мощных ИБП — это вопрос, к которому надо подходить чрезвычайно аккуратно. Если функции дистанционного мониторинга и диспетчеризации необходимы, то практика предоставления доступа персоналу к функциям дистанционного управления представляется радикально неверной. Доступность модулей управления извне потенциально несет в себе риск нарушения безопасности и категорически снижает надежность системы. Если существует физическая возможность дистанционно воздействовать на ИБП, на его параметры, отключение, снятие нагрузки, закрытие выходных тиристорных ключей или блокирование цепи байпаса, то это чревато потерей питания всего ЦОД».

Практически на всех трехфазных ИБП предусмотрена кнопка E.P.O. (Emergency Power Off), дублер которой может быть выведен на пульт управления диспетчерской. Она обеспечивает аварийное дистанционное отключение блоков ИБП при наступлении аварийных событий. Это, пожалуй, единственная возможность обесточить нагрузку, питаемую от трехфазного аппарата, но реализуется она в исключительных случаях.

Что же касается диагностики электропитания, то, как отмечает Юрий Копылов, технический директор московского офиса корпорации Eaton, в последнее время характерной тенденцией в управляющем программном обеспечении стал отказ от предоставления функций удаленного тестирования батарей даже системному администратору.

— Адекватно сравнивать состояние батарей необходимо под нагрузкой, — говорит он, — сам тест запускать не чаще чем раз в два дня, а разряжать батареи надо при одном и том же токе и уровне нагрузки. К тому же процесс заряда — довольно долгий. Все это не идет батареям на пользу.

Средства мониторинга

Производители ИБП предоставляют, как правило, сразу несколько средств мониторинга и в некоторых случаях даже управления ИБП — все они основаны на трех основных методах.

В первом случае устройство подключается напрямую через интерфейс RS-232 (Com-порт) к консоли администратора. Дальность такого подключения не превышает 15 метров, но может быть увеличена с помощью конверторов RS-232/485 и RS-485/232 на концах провода, связывающего ИБП с консолью администратора. Такой способ обеспечивает низкую скорость обмена информацией и пригоден лишь для топологии «точка — точка».

Второй способ предполагает использование SNMP-адаптера — встроенной или внешней интерфейсной карты, позволяющей из любой точки локальной сети получить информацию об основных параметрах ИБП. В принципе, для доступа к ИБП через SNMP достаточно веб-браузера. Однако для большего комфорта производители оснащают свои системы более развитым графическим интерфейсом, обеспечивающим функции мониторинга и корректного завершения работы. На базе SNMP-протокола функционируют все основные системы мониторинга и управления ИБП, поставляемые штатно или опционально вместе с ИБП.

Стандартные SNMP-адаптеры поддерживают подключение нескольких аналоговых или пороговых устройств — датчик температуры, движения, открытия двери и проч. Интеграция таких устройств в общую систему мониторинга крупного объекта (например, дата-центра) позволяет охватить огромное количество точек наблюдения и отразить эту информацию на экране диспетчера.

Большое удобство предоставляет метод эксплуатационного удаленного контроля T.SERVICE, позволяющий отследить работу оборудования посредством телефонной линии (через модем GSM) или через Интернет (с помощью интерфейса Net Vision путем рассылки e-mail на электронный адрес потребителя). T.SERVICE обеспечивает диагностирование оборудования в режиме реального времени в течение 24 часов в сутки 365 дней в году. ИБП автоматически отправляет в центр технического обслуживания регулярные отчеты или отчеты при обнаружении неисправности. В зависимости от контролируемых параметров могут отправляться уведомления о неправильной эксплуатации (с пользователем связывается опытный специалист и рекомендует выполнить простые операции для предотвращения ухудшения рабочих характеристик оборудования) или о наличии отказа (пользователь информируется о состоянии устройства, а на место установки немедленно отправляется технический специалист).

Профессиональное мнение

Наталья Маркина, коммерческий директор представительства компании SOCOMEC

Управляющее ПО фирмы SOCOMEC легко интегрируется в общий контур управления инженерной инфраструктурой ЦОД посредством разнообразных интерфейсов передачи данных ИБП. Установленное в аппаратной или ЦОД оборудование SOCOMEC может дистанционно обмениваться информацией о своих рабочих параметрах с системами централизованного управления и компьютерными сетями посредством сухих контактов, последовательных портов RS232, RS422, RS485, а также через интерфейс MODBUS TCP и GSS.

Интерфейс GSS предназначен для коммуникации с генераторными установками и включает в себя 4 входа (внешние контакты) и 1 выход (60 В). Это позволяет программировать особые процедуры управления, Global Supply System, которые обеспечивают полную совместимость ИБП с генераторными установками.

У компании Socomec имеется широкий выбор интерфейсов и коммуникационного программного обеспечения для установки диалога между ИБП и удаленными системами мониторинга промышленного и компьютерного оборудования. Такие опции связи, как панель дистанционного управления, интерфейс ADC (реконфигурируемые сухие контакты), обеспечивающий ввод и вывод данных при помощи сигналов сухих контактов, интерфейсы последовательной передачи данных RS232, RS422, RS485 по протоколам JBUS/MODBUS, PROFIBUS или DEVICENET, MODBUS TCP (JBUS/MODBUS-туннелирование), интерфейс NET VISION для локальной сети Ethernet, программное обеспечение TOP VISION для выполнения мониторинга с помощью рабочей станции Windows XP PRO — все это позволяет контролировать работу ИБП удобным для пользователя способом.

Весь контроль управления ИБП, ДГУ, контроль окружающей среды сводится в единый диспетчерский пункт посредством протоколов JBUS/MODBUS.
 

Индустриальный подход

Третий метод основан на использовании высокоскоростной индустриальной интерфейсной шины: CANBus, JBus, MODBus, PROFIBus и проч. Некоторые модели ИБП поддерживают разновидность универсального smart-слота для установки как карточек SNMP, так и интерфейсной шины. Система мониторинга на базе индустриальной шины может быть интегрирована в уже существующую промышленную SCADA-систему контроля и получения данных либо создана как заказное решение на базе многофункциональных стандартных контроллеров с выходом на шину. Промышленная шина через шлюзы передает информацию на удаленный диспетчерский пункт или в систему управления зданием (Building Management System, BMS). В эту систему могут быть интегрированы и контроллеры, управляющие ИБП.

Универсальные SCADA-системы поддерживают датчики и контроллеры широкого перечня производителей, но они недешевы и к тому же неудобны для внесения изменений. Но если подобная система уже функционирует на объекте, то интеграция в нее дополнительных ИБП не представляет труда.

Сергей Ермаков, технический директор компании Inelt, считает, что применение универсальных систем управления на базе промышленных контроллеров нецелесообразно, если используется для мониторинга только ИБП и ДГУ. Один из практичных подходов — создание заказной системы, с удобной для заказчика графической оболочкой и необходимым уровнем детализации — от карты местности до поэтажного плана и погружения в мнемосхему компонентов ИБП.

— ИБП может передавать одинаковое количество информации о своем состоянии и по прямому соединению, и по SNMP, и по Bus-шине, — говорит Сергей Ермаков. — Применение того или иного метода зависит от конкретной задачи и бюджета. Создав первоначально систему UPS Look для мониторинга ИБП, мы интегрировали в нее систему мониторинга ДГУ на основе SNMP-протокола, после чего по желанию одного из заказчиков конвертировали эту систему на промышленную шину Jbus. Новое ПО JSLook для мониторинга неограниченного количества ИБП и ДГУ по протоколу JBus является полнофункциональным средством мониторинга всей системы электроснабжения объекта.

Профессиональное мение

Денис Андреев, руководитель департамента ИБП компании Landata

Практически все ИБП Eaton позволяют использовать коммуникационную Web-SNMP плату Connect UPS и датчик EMP (Environmental Monitoring Probe). Такой комплект позволяет в числе прочего осуществлять мониторинг температуры, влажности и состояния пары «сухих» контактов, к которым можно подключить внешние датчики.

Решение Eaton Environmental Rack Monitor представляет собой аналог такой связки, но с существенно более широким функционалом. Внешне эта система мониторинга температуры, влажности и состояния «сухих» контактов выполнена в виде компактного устройства, которое занимает минимум места в шкафу или в помещении.

Благодаря наличию у Eaton Environmental Rack Monitor (ERM) двух выходов датчики температуры или влажности можно разместить в разных точках стойки или помещения. Поскольку каждый из двух датчиков имеет еще по два сухих контакта, с них дополнительно можно принимать сигналы от датчиков задымления, утечки и проч. В центре обработки данных такая недорогая система ERM, состоящая из неограниченного количества датчиков, может транслировать информацию по протоколу SNMP в HTML-страницу и позволяет, не приобретая специального ПО, получить сводную таблицу измеряемых величин через веб-браузер.

Проблему дефицита пространства и высокой плотности размещения оборудования в серверных и ЦОД решают системы распределения питания линейки Eaton eDPU, которые можно установить как внутри стойки, так и на группу стоек.

Все модели этой линейки представляют четыре семейства: системы базового исполнения, системы с индикацией потребляемого тока, с мониторингом (локальным и удаленным, по сети) и управляемые, с возможностью мониторинга и управления электропитанием вплоть до каждой розетки. С помощью этих устройств можно компактным способом увеличить количество розеток в одной стойке, обеспечить контроль уровня тока и напряжения критичной нагрузки.

Контроль уровня потребляемой мощности может осуществляться с высокой степенью детализации, вплоть до сервера, подключенного к конкретной розетке. Это позволяет выяснить, какой сервер перегревается, где вышел из строя вентилятор, блок питания и т. д. Программным образом можно запустить сервер, подключенный к розетке ePDU. Интеграция системы контроля ePDU в платформу управления Eaton находится в процессе реализации.

Требование объекта

Как поясняет Олег Письменский, в критичных объектах, таких как ЦОД, можно условно выделить две области контроля и управления. Первая, Grey Space, — это собственно здание и соответствующая система его энергообеспечения и энергораспределения. Вторая, White Space, — непосредственно машинный зал с его системами.

Выбор системы управления энергообеспечением ЦОД определяется типом объекта, требуемым функционалом системы управления и отведенным на эти цели бюджетом. В большинстве случаев кратковременная задержка между наступлением события и получением информации о нем системой мониторинга по SNMP-протоколу допустима. Тем не менее в целом ряде случаев, если характеристики объекта подразумевают непрерывность его функционирования, объект является комплексным и содержит большое количество элементов, требующих контроля и управления в реальном времени, ни одна стандартная система SNMP-мониторинга не обеспечит требуемого функционала. Для таких объектов применяют системы управления real-time, построенные на базе программно-аппаратных комплексов сбора данных, в том числе c функциями Softlogic.

Системы диспетчеризации и управления крупными объектами реализуются SCADA-системами, широкий перечень которых сегодня присутствует на рынке; представлены они и в портфеле решений Schneider Electric. Тип SCADA-системы зависит от класса и размера объекта, от количества его элементов, требующих контроля и управления, от уровня надежности. Частный вид реализации SCADA — это BMS-система(Building Management System).

«Дата-центры с объемом потребляемой мощности до 1,5 МВт и уровнем надежности Tier I, II и, с оговорками, даже Tier III, могут обслуживаться без дополнительной SCADA-системы, — говорит Олег Письменский. — На таких объектах целесообразно применять ISX Central — программно-аппаратный комплекс, использующий SNMP. Если же категория и мощность однозначно предполагают непрерывность управления, в таких случаях оправданна комбинация SNMP- и SCADA-системы. Например, для машинного зала (White Space) применяется ISX Central с возможными расширениями как Change & Capacity Manager, в комбинации со SCADA-системой, управляющей непосредственно объектом (Grey Space)».

Профессиональное мнение

Олег Письменский, директор департамента консалтинга APC by Schneider Electric в России и СНГ

Подход APC by Schneider Electric к реализации полномасштабного полноуправляемого и надежного ЦОД изначально был основан на базисных принципах управления ИТ-инфраструктурой в рамках концепции ITIL/ITSM. И история развития системы управления инфраструктурой ЦОД ISX Manager, которая затем интегрировалась с программно-аппаратным комплексом NetBotz и трансформировалась в портал диспетчеризации ISX Central, — лучшее тому доказательство.

Первым итогом поэтапного приближения к намеченной цели стало наращивание функций контроля параметров энергообеспечения. Затем в этот контур подключилась система управления кондиционированием, система контроля параметров окружающей среды. Очередным шагом стало измерение скорости воздуха, влажности, пыли, радиации, интеграция сигналов от камер аудио- и видеонаблюдения, системы управления блоками розеток, завершения работы сервера и т. д.

Эта система не может и не должна отвечать абсолютно всем принципам ITSM, потому что не все они касаются существа поставленной задачи. Но как только в отношении политик и некоторых тактик управления емкостью и изменениями в ЦОД потребовался соответствующий инструментарий — это нашло отражение в расширении функционала ISX Central, который в настоящее время реализуют ПО APC by Schneider Electric Capacity Manager и APC by Schneider Electric Change Manager. С появлением этих двух решений, интегрированных в систему управления реальным объектом, АРС предоставляет возможность службе эксплуатации оптимально планировать изменения количественного и качественного состава оборудования машинного зала — как на ежедневном оперативном уровне, так и на уровне стратегических задач массовых будущих изменений.

Решение APC by Schneider Electric Capacity обеспечивает автоматизированную обработку информации о свободных ресурсах инженерной инфраструктуры, реальном потреблении мощности и пространстве в стойках. Обращаясь к серверу ISX Central, системы APC by Schneider Electric Capacity Manager и APC by Schneider Electric Change Manager оценивают степень загрузки ИБП и систем охлаждения InRow, прогнозируют воздействие предполагаемых изменений и предлагают оптимальное место для установки нового или перестановки имеющегося оборудования. Новые решения позволяют, выявив последствия от предполагаемых изменений, правильно спланировать замену оборудования в ЦОД.

Переход от частного к общему может потребовать интеграции ISX Central в такие, например, порталы управления, как Tivoli или Open View. Возможны и другие сценарии, когда ISX Central вписывается и в SCADA–систему. В этом случае ISX Central выполняет роль диспетчерской настройки, функционал которой распространяется на серверную комнату, но не охватывает целиком периметр объекта.

Случай из практики

Решение задачи управления энергообеспечением ЦОД иногда вступает в противоречие с правилами устройств электроустановок (ПУЭ). Может оказаться, что в соответствии с ПУЭ в ряде случаев (например, при компоновке щитов ВРУ) необходимо обеспечить механические блокировки. Однако далеко не всегда это удается сделать. Поэтому такая задача часто требует нетривиального решения.

— В одном из проектов, — вспоминает Алексей Сарыгин, — где система управления включала большое количество точек со взаимными пересечениями блокировок, требовалось не допустить снижения общей надежности системы. В этом случае мы пришли к осознанному компромиссу, сделали систему полуавтоматической. Там, где это было возможно, присутствовали механические блокировки, за пультом дежурной смены были оставлены функции мониторинга и анализа, куда сводились все данные о положении всех автоматов. Но исполнительную часть вывели на отдельную панель управления уже внутри ВРУ, где были расположены подробные пользовательские инструкции по оперативному переключению. Таким образом мы избавились от излишней автоматизации, но постарались минимизировать потери в надежности и защититься от ошибок персонала.

[ http://www.computerra.ru/cio/old/products/infrastructure/421312/]

Тематики

• ЦОДы (центры обработки данных)

EN

• power management

 

система охлаждения ЦОДа
-
[Интент]т

Система охлаждения для небольшого ЦОДа

Александр Барсков

Вы­мыш­лен­ная ком­па­ния (далее За­каз­чик) по­про­си­ла пред­ло­жить си­сте­му охла­жде­ния для стро­я­ще­го­ся ком­мер­че­ско­го ЦОДа. В ос­нов­ном зале пла­ни­ру­ет­ся установить:

• 60 стоек с энер­го­по­треб­ле­ни­ем по 5 кВт (всего 300 кВт) — все эле­мен­ты, необ­хо­ди­мые для обес­пе­че­ния тре­бу­е­мой тем­пе­ра­ту­ры и влаж­но­сти, долж­ны быть уста­нов­ле­ны сразу;
• 16 стоек с энер­го­по­треб­ле­ни­ем по 20 кВт (всего 320 кВт) — это обо­ру­до­ва­ние будет уста­нав­ли­вать­ся по­сте­пен­но (по мере необ­хо­ди­мо­сти), и сред­ства охла­жде­ния пла­ни­ру­ет­ся раз­вер­ты­вать и за­дей­ство­вать по мере под­клю­че­ния и за­груз­ки стоек.

За­каз­чик за­явил, что пред­по­чте­ние будет от­да­но энер­го­эф­фек­тив­ным ре­ше­ни­ям, по­это­му же­ла­тель­но за­дей­ство­вать «зе­ле­ные» тех­но­ло­гии, в первую оче­редь фри­ку­линг (есте­ствен­ное охла­жде­ние на­руж­ным воз­ду­хом — free cooling), и предо­ста­вить рас­чет оку­па­е­мо­сти со­от­вет­ству­ю­щей опции (с уче­том того, что объ­ект на­хо­дит­ся в Мос­ков­ской об­ла­сти). Пла­ни­ру­е­мый уро­вень ре­зер­ви­ро­ва­ния — N+1, но воз­мож­ны и дру­гие ва­ри­ан­ты — при на­ли­чии долж­но­го обос­но­ва­ния. Кроме того, За­каз­чик по­про­сил из­на­чаль­но преду­смот­реть сред­ства мо­ни­то­рин­га энер­го­по­треб­ле­ния с целью оп­ти­ми­за­ции рас­хо­да электроэнергии.

ЧТО ПРО­ГЛЯ­ДЕЛ ЗАКАЗЧИК

В сфор­му­ли­ро­ван­ной в столь общем виде за­да­че не учтен ряд су­ще­ствен­ных де­та­лей, на ко­то­рые не пре­ми­ну­ли ука­зать экс­пер­ты. Так, Дмит­рий Ча­га­ров, ру­ко­во­ди­тель на­прав­ле­ния вен­ти­ля­ции и кон­ди­ци­о­ни­ро­ва­ния ком­па­нии «Ути­лекс», за­ме­тил, что в за­да­нии ни­че­го не ска­за­но о ха­рак­те­ре на­груз­ки. Он, как и осталь­ные про­ек­ти­ров­щи­ки, ис­хо­дил из пред­по­ло­же­ния, что воз­душ­ный поток на­прав­лен с фрон­таль­ной части стоек назад, но, как из­вест­но, неко­то­рые ком­му­та­то­ры спро­ек­ти­ро­ва­ны для охла­жде­ния сбоку — для них при­дет­ся ис­поль­зо­вать спе­ци­аль­ные бо­ко­вые блоки рас­пре­де­ле­ния воз­душ­но­го потока.

В за­да­нии ска­за­но о раз­ме­ще­нии всех стоек (5 и 20 кВт) в ос­нов­ном зале, од­на­ко неко­то­рые экс­пер­ты на­сто­я­тель­но ре­ко­мен­ду­ют вы­де­лить от­дель­ную зону для вы­со­ко­на­гру­жен­ных стоек. По сло­вам Алек­сандра Мар­ты­ню­ка, ге­не­раль­но­го ди­рек­то­ра кон­сал­тин­го­вой ком­па­нии «Ди Си квад­рат», «это будет пра­виль­нее и с точки зре­ния про­ек­ти­ро­ва­ния, и с по­зи­ций удоб­ства экс­плу­а­та­ции». Такое вы­де­ле­ние (изо­ля­ция осу­ществ­ля­ет­ся при по­мо­щи вы­го­ро­док) преду­смот­ре­но, на­при­мер, в про­ек­те ком­па­нии «Ком­плит»: Вла­ди­слав Яко­вен­ко, на­чаль­ник от­де­ла ин­фра­струк­тур­ных про­ек­тов, уве­рен, что по­доб­ное ре­ше­ние, во-пер­вых, об­лег­чит об­слу­жи­ва­ние обо­ру­до­ва­ния, а во-вто­рых, поз­во­лит ис­поль­зо­вать раз­лич­ные тех­но­ло­гии хо­ло­до­снаб­же­ния в раз­ных зонах. Впро­чем, боль­шин­ство про­ек­ти­ров­щи­ков не ис­пы­та­ли осо­бых про­блем при ре­ше­нии за­да­чи по от­во­ду тепла от стоек 5 и 20 кВт, уста­нов­лен­ных в одном помещении.

Один из пер­вых во­про­сов, с ко­то­рым За­каз­чик об­ра­тил­ся к бу­ду­ще­му парт­не­ру, был свя­зан с фаль­шпо­лом: «Необ­хо­дим ли он во­об­ще, и если нужен, то какой вы­со­ты?». Алек­сандр Мар­ты­нюк ука­зал, что гра­мот­ный рас­чет вы­со­ты фаль­шпо­ла воз­мо­жен толь­ко при усло­вии предо­став­ле­ния до­пол­ни­тель­ной ин­фор­ма­ции: о типе стоек (как в них будет ор­га­ни­зо­ва­на по­да­ча охла­жда­ю­ще­го воз­ду­ха?); об ор­га­ни­за­ции ка­бель­ной про­вод­ки (под полом или по­тол­ком? сколь­ко ка­бе­лей? ка­ко­го диа­мет­ра?); об осо­бен­но­стях по­ме­ще­ния (вы­со­та по­тол­ков, со­от­но­ше­ние длин стен, на­ли­чие вы­сту­пов и опор­ных ко­лонн) и т. д. Он со­ве­ту­ет вы­пол­нить тем­пе­ра­тур­но-кли­ма­ти­че­ское мо­де­ли­ро­ва­ние по­ме­ще­ния с уче­том вы­ше­пе­ре­чис­лен­ных па­ра­мет­ров и, если по­тре­бу­ет­ся, уточ­ня­ю­щих дан­ных. В ре­зуль­та­те можно будет под­го­то­вить ре­ко­мен­да­ции в от­но­ше­нии оп­ти­маль­ной вы­со­ты фаль­шпо­ла, а также дать оцен­ку це­ле­со­об­раз­но­сти раз­ме­ще­ния в одном зале стоек с раз­ной энергонагруженностью.

Что ж, мы дей­стви­тель­но не предо­ста­ви­ли всей ин­фор­ма­ции, необ­хо­ди­мой для по­доб­но­го мо­де­ли­ро­ва­ния, и про­ек­ти­ров­щи­кам при­ш­лось до­воль­ство­вать­ся скуд­ны­ми ис­ход­ны­ми дан­ны­ми. И все же, на­де­ем­ся, пред­став­лен­ные ре­ше­ния ока­жут­ся ин­те­рес­ны­ми и по­лез­ны­ми ши­ро­ко­му кругу за­каз­чи­ков. Им оста­нет­ся толь­ко «по­до­гнать» ре­ше­ния «под себя».

«КЛАС­СИ­КА» ОХЛАЖДЕНИЯ

Для сня­тия тепла со стоек при на­груз­ке 5 кВт боль­шин­ство про­ек­ти­ров­щи­ков пред­ло­жи­ли самый рас­про­стра­нен­ный на се­год­ня ва­ри­ант — уста­нов­ку шкаф­ных пре­ци­зи­он­ных кон­ди­ци­о­не­ров, по­да­ю­щих хо­лод­ный воз­дух в про­стран­ство под фаль­шпо­лом. Под­вод воз­ду­ха к обо­ру­до­ва­нию осу­ществ­ля­ет­ся в зоне хо­лод­ных ко­ри­до­ров через пер­фо­ри­ро­ван­ные плиты или воз­ду­хо­рас­пре­де­ли­тель­ные ре­шет­ки фаль­шпо­ла, а отвод воз­ду­ха от кон­ди­ци­о­не­ров — из зоны го­ря­чих ко­ри­до­ров через верх­нюю часть зала или про­стран­ство на­вес­но­го по­тол­ка (см. Рисунок 1). Такая схема может быть ре­а­ли­зо­ва­на толь­ко при на­ли­чии фаль­шпо­ла до­ста­точ­ной высоты

В во­про­се вы­бо­ра места для уста­нов­ки шкаф­ных кон­ди­ци­о­не­ров един­ство мне­ний от­сут­ству­ет, мно­гие ука­за­ли на воз­мож­ность их раз­ме­ще­ния как в сер­вер­ном зале, так и в со­сед­нем по­ме­ще­нии. Алек­сей Кар­пин­ский, ди­рек­тор де­пар­та­мен­та ин­же­нер­ных си­стем ком­па­нии «Асте­рос», уве­рен, что для низ­ко­на­гру­жен­ных стоек луч­шим ре­ше­ни­ем будет вынос «тя­же­лой ин­же­не­рии» за пре­де­лы сер­вер­но­го зала (см. Рисунок 2) — тогда для об­слу­жи­ва­ния кон­ди­ци­о­не­ров внутрь зала вхо­дить не при­дет­ся. «Это по­вы­ша­ет на­деж­ность ра­бо­ты обо­ру­до­ва­ния, ведь, как из­вест­но, наи­бо­лее часто оно вы­хо­дит из строя вслед­ствие че­ло­ве­че­ско­го фак­то­ра, — объ­яс­ня­ет он. — При­чем по­ме­ще­ние с кон­ди­ци­о­не­ра­ми может быть со­вер­шен­но не свя­зан­ным с ма­шин­ным залом и рас­по­ла­гать­ся, на­при­мер, через ко­ри­дор или на дру­гом этаже».

Если стой­ки мощ­но­стью 5 и 20 кВт уста­нав­ли­ва­ют­ся в одном по­ме­ще­нии, Алек­сандр Ласый, за­ме­сти­тель ди­рек­то­ра де­пар­та­мен­та ин­тел­лек­ту­аль­ных зда­ний ком­па­нии «Крок», ре­ко­мен­ду­ет ор­га­ни­зо­вать фи­зи­че­ское раз­де­ле­ние го­ря­чих и хо­лод­ных ко­ри­до­ров. В си­ту­а­ции, когда для вы­со­ко­на­гру­жен­ных стоек вы­де­ля­ет­ся от­дель­ное по­ме­ще­ние, по­доб­но­го раз­де­ле­ния для стоек на 5 кВт не требуется.

ФРЕОН ИЛИ ВОДА

Шкаф­ные кон­ди­ци­о­не­ры на рынке пред­став­ле­ны как во фре­о­но­вом ис­пол­не­нии, так и в ва­ри­ан­тах с во­дя­ным охла­жде­ни­ем. При ис­поль­зо­ва­нии фре­о­но­вых кон­ди­ци­о­не­ров на крыше или при­ле­га­ю­щей тер­ри­то­рии необ­хо­ди­мо преду­смот­реть место для уста­нов­ки кон­ден­са­тор­ных бло­ков, а при во­дя­ном охла­жде­нии по­тре­бу­ет­ся место под на­сос­ную и во­до­охла­жда­ю­щие ма­ши­ны (чиллеры).

Спе­ци­а­ли­сты ком­па­нии «АМД­тех­но­ло­гии» пред­ста­ви­ли За­каз­чи­ку срав­не­ние раз­лич­ных ва­ри­ан­тов фре­о­но­вых и во­дя­ных си­стем кон­ди­ци­о­ни­ро­ва­ния. Наи­бо­лее бюд­жет­ный ва­ри­ант преду­смат­ри­ва­ет уста­нов­ку обыч­ных шкаф­ных фре­о­но­вых кон­ди­ци­о­не­ров HPM M50 UA с по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. При­мер­но на чет­верть до­ро­же обой­дут­ся мо­де­ли кон­ди­ци­о­не­ров с циф­ро­вым спи­раль­ным ком­прес­со­ром и элек­трон­ным тер­мо­рас­ши­ри­тель­ным вен­ти­лем (HPM D50 UA, Digital). Мощ­ность кон­ди­ци­о­не­ров ре­гу­ли­ру­ет­ся в за­ви­си­мо­сти от тем­пе­ра­ту­ры в по­ме­ще­нии, это поз­во­ля­ет до­бить­ся 12-про­цент­ной эко­но­мии элек­тро­энер­гии, а также умень­шить ко­ли­че­ство пусков и оста­но­ва ком­прес­со­ра, что по­вы­ша­ет срок служ­бы си­сте­мы. В слу­чае от­сут­ствия на объ­ек­те фаль­шпо­ла (или его недо­ста­точ­ной вы­со­ты) пред­ло­жен более до­ро­гой по на­чаль­ным вло­же­ни­ям, но эко­но­мич­ный в экс­плу­а­та­ции ва­ри­ант с внут­ри­ряд­ны­ми фре­о­но­вы­ми кондиционерами.

Как по­ка­зы­ва­ет пред­став­лен­ный ана­лиз, фре­о­но­вые кон­ди­ци­о­не­ры менее эф­фек­тив­ны по срав­не­нию с си­сте­мой во­дя­но­го охла­жде­ния. При этом, о чем на­по­ми­на­ет Вик­тор Гав­ри­лов, тех­ни­че­ский ди­рек­тор «АМД­тех­но­ло­гий», фре­о­но­вая си­сте­ма имеет огра­ни­че­ние по длине тру­бо­про­во­да и пе­ре­па­ду высот между внут­рен­ни­ми и на­руж­ны­ми бло­ка­ми (эк­ви­ва­лент­ная общая длина трас­сы фре­о­но­про­во­да не долж­на пре­вы­шать 50 м, а ре­ко­мен­ду­е­мый пе­ре­пад по вы­со­те — 30 м); у во­дя­ной си­сте­мы таких огра­ни­че­ний нет, по­это­му ее можно при­спо­со­бить к любым осо­бен­но­стям зда­ния и при­ле­га­ю­щей тер­ри­то­рии. Важно также пом­нить, что при при­ме­не­нии фре­о­но­вой си­сте­мы пер­спек­ти­вы раз­ви­тия (уве­ли­че­ние плот­но­сти энер­го­по­треб­ле­ния) су­ще­ствен­но огра­ни­че­ны, тогда как при за­клад­ке необ­хо­ди­мой ин­фра­струк­ту­ры по­да­чи хо­лод­ной воды к стой­кам (тру­бо­про­во­ды, на­со­сы, ар­ма­ту­ра) на­груз­ку на стой­ку можно впо­след­ствии уве­ли­чи­вать до 30 кВт и выше, не при­бе­гая к ка­пи­таль­ной ре­кон­струк­ции сер­вер­но­го помещения.

К фак­то­рам, ко­то­рые могут опре­де­лить выбор в поль­зу фре­о­но­вых кон­ди­ци­о­не­ров, можно от­не­сти от­сут­ствие места на улице (на­при­мер из-за невоз­мож­но­сти обес­пе­чить по­жар­ный про­езд) или на кров­ле (вслед­ствие осо­бен­но­стей кон­струк­ции или ее недо­ста­точ­ной несу­щей спо­соб­но­сти) для мон­та­жа мо­но­блоч­ных чил­ле­ров на­руж­ной уста­нов­ки. При этом боль­шин­ство экс­пер­тов еди­но­душ­но вы­ска­зы­ва­ют мне­ние, что при ука­зан­ных мощ­но­стях ре­ше­ние на воде эко­но­ми­че­ски це­ле­со­об­раз­нее и проще в ре­а­ли­за­ции. Кроме того, при ис­поль­зо­ва­нии воды и/или эти­лен­гли­ко­ле­вой смеси в ка­че­стве хо­ло­до­но­си­те­ля можно за­дей­ство­вать ти­по­вые функ­ции фри­ку­лин­га в чиллерах.

Впро­чем, функ­ции фри­ку­лин­га воз­мож­но за­дей­ство­вать и во фре­о­но­вых кон­ди­ци­о­не­рах. Такие ва­ри­ан­ты ука­за­ны в пред­ло­же­ни­ях ком­па­ний RC Group и «Ин­же­нер­ное бюро ’’Хос­сер‘‘», где ис­поль­зу­ют­ся фре­о­но­вые кон­ди­ци­о­не­ры со встро­ен­ны­ми кон­ден­са­то­ра­ми во­дя­но­го охла­жде­ния и внеш­ни­ми теп­ло­об­мен­ни­ка­ми с функ­ци­ей фри­ку­лин­га (сухие гра­дир­ни). Спе­ци­а­ли­сты RC Group сразу от­ка­за­лись от ва­ри­ан­та с уста­нов­кой кон­ди­ци­о­не­ров с вы­нос­ны­ми кон­ден­са­то­ра­ми воз­душ­но­го охла­жде­ния, по­сколь­ку он не со­от­вет­ству­ет тре­бо­ва­нию За­каз­чи­ка за­дей­ство­вать режим фри­ку­лин­га. По­ми­мо уже на­зван­но­го они пред­ло­жи­ли ре­ше­ние на ос­но­ве кон­ди­ци­о­не­ров, ра­бо­та­ю­щих на охла­жден­ной воде. Ин­те­рес­но от­ме­тить, что и про­ек­ти­ров­ши­ки «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» раз­ра­бо­та­ли вто­рой ва­ри­ант на воде.

Если ком­па­ния «АМД­тех­но­ло­гии» пред­ло­жи­ла для стоек на 5 кВт ре­ше­ние на базе внут­ри­ряд­ных кон­ди­ци­о­не­ров толь­ко как один из воз­мож­ных ва­ри­ан­тов, то APC by Schneider Electric (см. Ри­су­нок 3), а также один из парт­не­ров этого про­из­во­ди­те­ля, ком­па­ния «Ути­лекс», от­да­ют пред­по­чте­ние кон­ди­ци­о­не­рам, уста­нав­ли­ва­е­мым в ряды стоек. В обоих ре­ше­ни­ях пред­ло­же­но изо­ли­ро­вать го­ря­чий ко­ри­дор с по­мо­щью си­сте­мы HACS (см. Ри­су­нок 4). «Для эф­фек­тив­но­го охла­жде­ния необ­хо­ди­мо сни­зить по­те­ри при транс­пор­ти­ров­ке хо­лод­но­го воз­ду­ха, по­это­му си­сте­мы кон­ди­ци­о­ни­ро­ва­ния лучше уста­но­вить рядом с на­груз­кой. Раз­ме­ще­ние кон­ди­ци­о­не­ров в от­дель­ном по­ме­ще­нии — такая мо­дель при­ме­ня­лась в со­вет­ских вы­чис­ли­тель­ных цен­трах — в дан­ном слу­чае менее эф­фек­тив­но», — счи­та­ет Дмит­рий Ча­га­ров. В слу­чае ис­поль­зо­ва­ния внут­ри­ряд­ных кон­ди­ци­о­не­ров фаль­шпол уже не яв­ля­ет­ся необ­хо­ди­мо­стью, хотя в про­ек­те «Ути­лек­са» он преду­смот­рен — для про­клад­ки трасс хо­ло­до­снаб­же­ния, элек­тро­пи­та­ния и СКС.

Ми­ха­ил Бал­ка­ров, си­стем­ный ин­же­нер ком­па­нии APC by Schneider Electric, от­ме­ча­ет, что при от­сут­ствии фаль­шпо­ла трубы можно про­ло­жить либо в штро­бах, либо свер­ху, преду­смот­рев до­пол­ни­тель­ный уро­вень за­щи­ты в виде лот­ков или ко­ро­бов для кон­тро­ли­ру­е­мо­го слива воз­мож­ных про­те­чек. Если же фаль­шпол преду­смат­ри­ва­ет­ся, то его ре­ко­мен­ду­е­мая вы­со­та со­став­ля­ет не менее 40 см — из со­об­ра­же­ний удоб­ства про­клад­ки труб.

ЧИЛ­ЛЕР И ЕГО «ОБВЯЗКА»

В боль­шин­стве про­ек­тов преду­смат­ри­ва­ет­ся уста­нов­ка внеш­не­го чил­ле­ра и ор­га­ни­за­ция двух­кон­тур­ной си­сте­мы хо­ло­до­снаб­же­ния. Во внеш­нем кон­ту­ре, свя­зы­ва­ю­щем чил­ле­ры и про­ме­жу­точ­ные теп­ло­об­мен­ни­ки, хо­ло­до­но­си­те­лем слу­жит вод­ный рас­твор эти­лен­гли­ко­ля, а во внут­рен­нем — между теп­ло­об­мен­ни­ка­ми и кон­ди­ци­о­не­ра­ми (шкаф­ны­ми и/или внут­ри­ряд­ны­ми) — цир­ку­ли­ру­ет уже чи­стая вода. Необ­хо­ди­мость ис­поль­зо­ва­ния эти­лен­гли­ко­ля во внеш­нем кон­ту­ре легко объ­яс­ни­ма — это ве­ще­ство зимой не за­мер­за­ет. У За­каз­чи­ка воз­ник ре­зон­ный во­прос: зачем нужен вто­рой кон­тур, и по­че­му нель­зя ор­га­ни­зо­вать всего один — ведь в этом слу­чае КПД будет выше?

По сло­вам Вла­ди­сла­ва Яко­вен­ко, двух­кон­тур­ная схема поз­во­ля­ет сни­зить объем до­ро­го­го хо­ло­до­но­си­те­ля (эти­лен­гли­ко­ля) и яв­ля­ет­ся более эко­ло­гич­ной. Эти­лен­гли­коль — ядо­ви­тое, хи­ми­че­ски ак­тив­ное ве­ще­ство, и если про­теч­ка слу­чит­ся внут­ри по­ме­ще­ния ЦОД, лик­ви­да­ция по­след­ствий такой ава­рии ста­нет се­рьез­ной про­бле­мой для служ­бы экс­плу­а­та­ции. Сле­ду­ет также учи­ты­вать, что при со­дер­жа­нии гли­ко­ля в рас­тво­ре хо­ло­до­но­си­те­ля на уровне 40% по­тре­бу­ют­ся более мощ­ные на­со­сы (из-за вы­со­кой вяз­ко­сти рас­тво­ра), по­это­му по­треб­ле­ние энер­гии и, со­от­вет­ствен­но, экс­плу­а­та­ци­он­ные рас­хо­ды уве­ли­чат­ся. На­ко­нец, тре­бо­ва­ние к мон­та­жу си­сте­мы без гли­ко­ля го­раз­до ниже, а экс­плу­а­ти­ро­вать ее проще.

При ис­поль­зо­ва­нии чил­ле­ров функ­цию «бес­пе­ре­бой­но­го охла­жде­ния» ре­а­ли­зо­вать до­воль­но про­сто: при воз­ник­но­ве­нии пе­ре­бо­ев с по­да­чей элек­тро­энер­гии си­сте­ма спо­соб­на обес­пе­чить охла­жде­ние сер­вер­ной до за­пус­ка ди­зе­ля или кор­рект­но­го вы­клю­че­ния сер­ве­ров за счет хо­лод­ной воды, за­па­сен­ной в ба­ках-ак­ку­му­ля­то­рах. Как от­ме­ча­ет Вик­тор Гав­ри­лов, ре­а­ли­за­ция по­доб­ной схемы поз­во­ля­ет удер­жать из­ме­не­ние гра­ди­ен­та тем­пе­ра­ту­ры в до­пу­сти­мых пре­де­лах (ве­ду­щие про­из­во­ди­те­ли сер­ве­ров тре­бу­ют, чтобы ско­рость из­ме­не­ния тем­пе­ра­ту­ры со­став­ля­ла не более 50С/час, а уве­ли­че­ние этой ско­ро­сти может при­ве­сти к по­лом­ке сер­вер­но­го обо­ру­до­ва­ния, что осо­бен­но часто про­ис­хо­дит при воз­об­нов­ле­нии охла­жде­ния в ре­зуль­та­те рез­ко­го сни­же­ния тем­пе­ра­ту­ры). При про­па­да­нии элек­тро­пи­та­ния для под­дер­жа­ния ра­бо­ты чил­лер­ной си­сте­мы кон­ди­ци­о­ни­ро­ва­ния необ­хо­ди­мо толь­ко обес­пе­чить функ­ци­о­ни­ро­ва­ние пе­ре­ка­чи­ва­ю­щих на­со­сов и вен­ти­ля­то­ров кон­ди­ци­о­не­ров — по­треб­ле­ние от ИБП сво­дит­ся к ми­ни­му­му. Для клас­си­че­ских фре­о­но­вых си­стем необ­хо­ди­мо обес­пе­чить пи­та­ни­ем весь ком­плекс це­ли­ком (при этом все ком­прес­со­ры долж­ны быть осна­ще­ны функ­ци­ей «мяг­ко­го за­пус­ка»), по­это­му тре­бу­ют­ся кон­ди­ци­о­не­ры и ИБП более до­ро­гой комплектации.

КОГДА РАС­ТЕТ ПЛОТНОСТЬ

Боль­шин­ство пред­ло­жен­ных За­каз­чи­ку ре­ше­ний для охла­жде­ния вы­со­ко­на­гру­жен­ных стоек (20 кВт) преду­смат­ри­ва­ет ис­поль­зо­ва­ние внут­ри­ряд­ных кон­ди­ци­о­не­ров. Как по­ла­га­ет Алек­сандр Ласый, ос­нов­ная слож­ность при от­во­де от стой­ки 20 кВт тепла с по­мо­щью клас­си­че­ской схемы охла­жде­ния, ба­зи­ру­ю­щей­ся на шкаф­ных кон­ди­ци­о­не­рах, свя­за­на с по­да­чей охла­жден­но­го воз­ду­ха из-под фаль­шполь­но­го про­стран­ства и до­став­кой его до теп­ло­вы­де­ля­ю­ще­го обо­ру­до­ва­ния. «Зна­чи­тель­ные пе­ре­па­ды дав­ле­ния на пер­фо­ри­ро­ван­ных ре­шет­ках фаль­шпо­ла и вы­со­кие ско­ро­сти дви­же­ния воз­ду­ха со­зда­ют нерав­но­мер­ный воз­душ­ный поток в зоне перед стой­ка­ми даже при раз­де­ле­нии го­ря­чих и хо­лод­ных ко­ри­до­ров, — от­ме­ча­ет он. — Это при­во­дит к нерав­но­мер­но­му охла­жде­нию стоек и их пе­ре­гре­ву. В слу­чае пе­ре­мен­ной за­груз­ки стоек воз­ни­ка­ет необ­хо­ди­мость пе­ре­на­стра­и­вать си­сте­му воз­ду­хо­рас­пре­де­ле­ния через фаль­шпол, что до­воль­но затруднительно».

Впро­чем, неко­то­рые ком­па­нии «риск­ну­ли» пред­ло­жить для стоек на 20 кВт си­сте­му, ос­но­ван­ную на тех же прин­ци­пах, что при­ме­ня­ют­ся для стоек на 5кВт, — по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. По сло­вам Сер­гея Бон­да­ре­ва, ру­ко­во­ди­те­ля от­де­ла про­даж «Вайсс Кли­ма­тех­ник», его опыт по­ка­зы­ва­ет, что уста­нов­ка до­пол­ни­тель­ных ре­ше­ток во­круг стой­ки для уве­ли­че­ния пло­ща­ди се­че­ния, через ко­то­рое по­сту­па­ет хо­лод­ный воз­дух (а зна­чит и его объ­е­ма), поз­во­ля­ет сни­мать теп­ло­вую на­груз­ку в 20 кВт. Ре­ше­ние этой ком­па­нии от­ли­ча­ет­ся от дру­гих про­ек­тов ре­а­ли­за­ци­ей фри­ку­лин­га: кон­струк­ция кон­ди­ци­о­не­ров Deltaclima FC про­из­вод­ства Weiss Klimatechnik поз­во­ля­ет под­во­дить к ним хо­лод­ный воз­дух прямо с улицы.

Ин­те­рес­ное ре­ше­ние пред­ло­жи­ла ком­па­ния «Юни­Конд», парт­нер ита­льян­ской Uniflair: клас­си­че­ская си­сте­ма охла­жде­ния через фаль­шпол до­пол­ня­ет­ся обо­ру­до­ван­ны­ми вен­ти­ля­то­ра­ми мо­ду­ля­ми «ак­тив­но­го пола», ко­то­рые уста­нав­ли­ва­ют­ся вме­сто обыч­ных пли­ток фаль­шпо­ла. По утвер­жде­нию спе­ци­а­ли­стов «Юни­Конд», такие мо­ду­ли поз­во­ля­ют су­ще­ствен­но уве­ли­чить объ­е­мы ре­гу­ли­ру­е­мых по­то­ков воз­ду­ха: до 4500 м³/час вме­сто 800–1000 м³/час от обыч­ной ре­шет­ки 600х600 мм. Они также от­ме­ча­ют, что про­сто уста­но­вить вен­ти­ля­тор в под­поль­ном про­стран­стве недо­ста­точ­но для обес­пе­че­ния га­ран­ти­ро­ван­но­го охла­жде­ния сер­вер­ных стоек. Важно пра­виль­но ор­га­ни­зо­вать воз­душ­ный поток как по дав­ле­нию, так и по на­прав­ле­нию воз­ду­ха, чтобы обес­пе­чить по­да­чу воз­ду­ха не толь­ко в верх­нюю часть стой­ки, но и, в слу­чае необ­хо­ди­мо­сти, в ее ниж­нюю часть. Для этого па­нель «ак­тив­но­го пола» по­ми­мо вен­ти­ля­то­ра ком­плек­ту­ет­ся про­цес­со­ром, дат­чи­ка­ми тем­пе­ра­ту­ры и по­во­рот­ны­ми ла­ме­ля­ми (см. Ри­су­нок 5). При­ме­не­ние мо­ду­лей «ак­тив­но­го пола» без до­пол­ни­тель­ной изо­ля­ции по­то­ков воз­ду­ха поз­во­ля­ет уве­ли­чить мощ­ность стой­ки до 15 кВт, а при гер­ме­ти­за­ции хо­лод­но­го ко­ри­до­ра (в «Юни­Конд» это ре­ше­ние на­зы­ва­ют «хо­лод­ным бас­сей­ном») — до 25 кВт.

Как уже го­во­ри­лось, боль­шин­ство про­ек­ти­ров­щи­ков ре­ко­мен­до­ва­ли для стоек на 20 кВт си­сте­мы с внут­ри­ряд­ным охла­жде­ни­ем и изо­ля­цию по­то­ков го­ря­че­го и хо­лод­но­го воз­ду­ха. Как от­ме­ча­ет Алек­сандр Ласый, ис­поль­зо­ва­ние вы­со­ко­на­гру­жен­ных стоек в со­че­та­нии с внут­ри­ряд­ны­ми кон­ди­ци­о­не­ра­ми поз­во­ля­ет уве­ли­чить плот­ность раз­ме­ще­ния сер­вер­но­го обо­ру­до­ва­ния и со­кра­тить про­стран­ство (ко­ри­до­ры, про­хо­ды) для его об­слу­жи­ва­ния. Вза­им­ное рас­по­ло­же­ние сер­вер­ных стоек и кон­ди­ци­о­не­ров в этом слу­чае сво­дит к ми­ни­му­му нерав­но­мер­ность рас­пре­де­ле­ния хо­ло­да в ава­рий­ной ситуации.

Выбор раз­лич­ных ва­ри­ан­тов за­кры­той ар­хи­тек­ту­ры цир­ку­ля­ции воз­ду­ха пред­ло­жи­ла ком­па­ния «Асте­рос»: от изо­ля­ции хо­лод­но­го (ре­ше­ние от Knuеrr и Emerson) или го­ря­че­го ко­ри­до­ра (APC) до изо­ля­ции воз­душ­ных по­то­ков на уровне стой­ки (Rittal, APC, Emerson, Knuеrr). При­чем, как от­ме­ча­ет­ся в про­ек­те, 16 вы­со­ко­на­гру­жен­ных стоек можно раз­ме­стить и в от­дель­ном по­ме­ще­нии, и в общем зале. В ка­че­стве ва­ри­ан­тов кон­ди­ци­о­нер­но­го обо­ру­до­ва­ния спе­ци­а­ли­сты «Асте­рос» рас­смот­ре­ли воз­мож­ность уста­нов­ки внут­ри­ряд­ных кон­ди­ци­о­не­ров APC InRowRP/RD (с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра), Emerson CR040RC и за­кры­тых ре­ше­ний на базе обо­ру­до­ва­ния Knuеrr CoolLoop — во всех этих слу­ча­ях обес­пе­чи­ва­ет­ся ре­зер­ви­ро­ва­ние на уровне ряда по схеме N+1. Еще один ва­ри­ант — ряд­ные кон­ди­ци­о­не­ры LCP ком­па­нии Rittal, со­сто­я­щие из трех охла­жда­ю­щих мо­ду­лей, каж­дый из ко­то­рых можно за­ме­нить в «го­ря­чем» ре­жи­ме. В пол­ной мере до­ка­зав свою «вен­до­ро­не­за­ви­си­мость», ин­те­гра­то­ры «Асте­рос» все же от­ме­ти­ли, что при ис­поль­зо­ва­нии мо­но­брен­до­во­го ре­ше­ния, на­при­мер на базе про­дук­тов Emerson, все эле­мен­ты могут быть объ­еди­не­ны в еди­ную ло­каль­ную сеть, что поз­во­лит оп­ти­ми­зи­ро­вать ра­бо­ту си­сте­мы и сни­зить рас­ход энергии.

Как по­ла­га­ют в «Асте­рос», раз­ме­щать тру­бо­про­во­ды в под­по­то­лоч­ной зоне неже­ла­тель­но, по­сколь­ку при на­ли­чии под­вес­но­го по­тол­ка об­на­ру­жить и предот­вра­тить про­теч­ку и об­ра­зо­ва­ние кон­ден­са­та очень слож­но. По­это­му они ре­ко­мен­ду­ют обу­стро­ить фаль­шпол вы­со­той до 300 мм — этого до­ста­точ­но для про­клад­ки ка­бель­ной про­дук­ции и тру­бо­про­во­дов хо­ло­до­снаб­же­ния. Так же как и в ос­нов­ном полу, здесь необ­хо­ди­мо преду­смот­реть сред­ства для сбора жид­ко­сти при воз­ник­но­ве­нии ава­рий­ных си­ту­а­ций (гид­ро­изо­ля­ция, при­ям­ки, разу­к­лон­ка и т. д.).

Как и шкаф­ные кон­ди­ци­о­не­ры, внут­ри­ряд­ные до­вод­чи­ки вы­пус­ка­ют­ся не толь­ко в во­дя­ном, но и во фре­о­но­вом ис­пол­не­нии. На­при­мер, но­вин­ка ком­па­нии RC Group — внут­ри­ряд­ные си­сте­мы охла­жде­ния Coolside — по­став­ля­ет­ся в сле­ду­ю­щих ва­ри­ан­тах: с фре­о­но­вы­ми внут­рен­ни­ми бло­ка­ми, с внут­рен­ни­ми бло­ка­ми на охла­жден­ной воде, с одним на­руж­ным и одним внут­рен­ним фре­о­но­вым бло­ком, а также с одним на­руж­ным и несколь­ки­ми внут­рен­ни­ми фре­о­но­вы­ми бло­ка­ми. Учи­ты­вая по­же­ла­ние За­каз­чи­ка от­но­си­тель­но энер­го­сбе­ре­же­ния, для дан­но­го про­ек­та вы­бра­ны си­сте­мы Coolside, ра­бо­та­ю­щие на охла­жден­ной воде, по­лу­ча­е­мой от чил­ле­ра. Число чил­ле­ров, уста­нов­лен­ных на пер­вом этапе про­ек­та, при­дет­ся вдвое увеличить.

Для вы­со­ко­плот­ных стоек ком­па­ния «АМД­тех­но­ло­гии» раз­ра­бо­та­ла несколь­ко ва­ри­ан­тов ре­ше­ний — в за­ви­си­мо­сти от кон­цеп­ции, при­ня­той для стоек на 5 кВт. Если За­каз­чик вы­бе­рет бюд­жет­ный ва­ри­ант (фре­о­но­вые кон­ди­ци­о­не­ры), то в стой­ках на 20 кВт пред­ла­га­ет­ся уста­но­вить ряд­ные кон­ди­ци­о­не­ры-до­вод­чи­ки XDH, а в ка­че­стве хо­ло­диль­ной ма­ши­ны — чил­лер внут­рен­ней уста­нов­ки с вы­нос­ны­ми кон­ден­са­то­ра­ми XDC, обес­пе­чи­ва­ю­щий цир­ку­ля­цию хо­ло­до­но­си­те­ля для до­вод­чи­ков XDH. Если же За­каз­чик с са­мо­го на­ча­ла ори­ен­ти­ру­ет­ся на чил­ле­ры, то ре­ко­мен­ду­ет­ся до­ба­вить еще один чил­лер SBH 030 и также ис­поль­зо­вать кон­ди­ци­о­не­ры-до­вод­чи­ки XDH. Чтобы «раз­вя­зать» чил­лер­ную воду и фреон 134, ис­поль­зу­е­мый кон­ди­ци­о­не­ра­ми XDH, при­ме­ня­ют­ся спе­ци­аль­ные гид­рав­ли­че­ские мо­ду­ли XDP (см. Рисунок 6).

Спе­ци­а­ли­сты са­мо­го про­из­во­ди­те­ля — ком­па­нии Emerson Network — преду­смот­ре­ли толь­ко один ва­ри­ант, ос­но­ван­ный на раз­ви­тии чил­лер­ной си­сте­мы, пред­ло­жен­ной для стоек на 5 кВт. Они от­ме­ча­ют, что ис­поль­зо­ва­ние в си­сте­ме Liebert XD фрео­на R134 ис­клю­ча­ет ввод воды в по­ме­ще­ние ЦОД. В ос­но­ву ра­бо­ты этой си­сте­мы по­ло­же­но свой­ство жид­ко­стей по­гло­щать тепло при ис­па­ре­нии. Жид­кий хо­ло­до­но­си­тель, на­гне­та­е­мый на­со­сом, ис­па­ря­ет­ся в теп­ло­об­мен­ни­ках бло­ков охла­жде­ния XDH, а затем по­сту­па­ет в мо­дуль XDP, где вновь пре­вра­ща­ет­ся в жид­кость в ре­зуль­та­те про­цес­са кон­ден­са­ции. Таким об­ра­зом, ком­прес­си­он­ный цикл, при­сут­ству­ю­щий в тра­ди­ци­он­ных си­сте­мах, ис­клю­ча­ет­ся. Даже если слу­чит­ся утеч­ка жид­ко­сти, эко­ло­ги­че­ски без­вред­ный хо­ло­до­но­си­тель про­сто ис­па­рит­ся, не при­чи­нив ни­ка­ко­го вреда оборудованию.

Дан­ная схема пред­по­ла­га­ет воз­мож­ность по­этап­но­го ввода обо­ру­до­ва­ния: по мере уве­ли­че­ния мощ­но­сти на­груз­ки уста­нав­ли­ва­ют­ся до­пол­ни­тель­ные до­вод­чи­ки, ко­то­рые под­со­еди­ня­ют­ся к су­ще­ству­ю­щей си­сте­ме тру­бо­про­во­дов при по­мо­щи гиб­ких под­во­док и быст­ро­разъ­ем­ных со­еди­не­ний, что не тре­бу­ет оста­нов­ки си­сте­мы кондиционирования.

СПЕЦ­ШКА­ФЫ

Как счи­та­ет Алек­сандр Ша­пи­ро, на­чаль­ник от­де­ла ин­же­нер­ных си­стем «Кор­по­ра­ции ЮНИ», теп­ло­вы­де­ле­ние 18–20 кВт на шкаф — это при­мер­но та гра­ни­ца, когда тепло можно от­ве­сти за ра­зум­ную цену тра­ди­ци­он­ны­ми ме­то­да­ми (с при­ме­не­ни­ем внут­ри­ряд­ных и/или под­по­то­лоч­ных до­вод­чи­ков, вы­го­ра­жи­ва­ния рядов и т. п.). При более вы­со­кой плот­но­сти энер­го­по­треб­ле­ния вы­год­нее ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы с ло­каль­ны­ми си­сте­ма­ми во­дя­но­го охла­жде­ния. Же­ла­ние при­ме­нить для от­во­да тепла от вто­рой груп­пы шка­фов тра­ди­ци­он­ные ме­то­ды объ­яс­ни­мо, но, как пре­ду­пре­жда­ет спе­ци­а­лист «Кор­по­ра­ции ЮНИ», по­яв­ле­ние в зале новых энер­го­ем­ких шка­фов по­тре­бу­ет мон­та­жа до­пол­ни­тель­ных хо­ло­диль­ных машин, из­ме­не­ния кон­фи­гу­ра­ции вы­го­ро­док, кон­тро­ля за из­ме­нив­шей­ся «теп­ло­вой кар­ти­ной». Про­ве­де­ние таких («гряз­ных») работ в дей­ству­ю­щем ЦОДе не це­ле­со­об­раз­но. По­это­му в ка­че­стве энер­го­ем­ких шка­фов спе­ци­а­ли­сты «Кор­по­ра­ции ЮНИ» пред­ло­жи­ли ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы CoolLoop с от­во­дом тепла водой про­из­вод­ства Knuеrr в ва­ри­ан­те с тремя мо­ду­ля­ми охла­жде­ния (10 кВт каж­дый, N+1). По­доб­ный ва­ри­ант преду­смот­ре­ли и неко­то­рые дру­гие про­ек­ти­ров­щи­ки.

Ми­ну­сы та­ко­го ре­ше­ния свя­за­ны с по­вы­ше­ни­ем сто­и­мо­сти про­ек­та (CAPEX) и необ­хо­ди­мо­стью за­ве­де­ния воды в сер­вер­ный зал. Глав­ный плюс — в от­лич­ной мас­шта­би­ру­е­мо­сти: уста­нов­ка новых шка­фов не до­бав­ля­ет теп­ло­вой на­груз­ки в зале и не при­во­дит к пе­ре­рас­пре­де­ле­нию тепла, а под­клю­че­ние шкафа к си­сте­ме хо­ло­до­снаб­же­ния За­каз­чик может вы­пол­нять сво­и­ми си­ла­ми. Кроме того, он имеет воз­мож­ность путем до­бав­ле­ния вен­ти­ля­ци­он­но­го мо­ду­ля от­ве­сти от шкафа еще 10 кВт тепла (всего 30 кВт при со­хра­не­нии ре­зер­ви­ро­ва­ния N+1) — фак­ти­че­ски это ре­зерв для роста. На­ко­нец, как утвер­жда­ет Алек­сандр Ша­пи­ро, с точки зре­ния энер­го­сбе­ре­же­ния (OPEX) дан­ное ре­ше­ние яв­ля­ет­ся наи­бо­лее эффективным.

В про­ек­те «Кор­по­ра­ции ЮНИ» шкафы CoolLoop пред­по­ла­га­ет­ся уста­но­вить в общем сер­вер­ном зале с уче­том прин­ци­па че­ре­до­ва­ния го­ря­чих и хо­лод­но­го ко­ри­до­ров, чем га­ран­ти­ру­ет­ся ра­бо­то­спо­соб­ность шка­фов при ава­рий­ном или тех­но­ло­ги­че­ском от­кры­ва­нии две­рей. При­чем общее кон­ди­ци­о­ни­ро­ва­ние воз­ду­ха в зоне энер­го­ем­ких шка­фов обес­пе­чи­ва­ет­ся ана­ло­гич­но ос­нов­ной зоне сер­вер­но­го зала за одним ис­клю­че­ни­ем — запас хо­ло­да со­став­ля­ет 20–30 кВт. Кон­ди­ци­о­не­ры ре­ко­мен­до­ва­но уста­но­вить в от­дель­ном по­ме­ще­нии, смеж­ном с сер­вер­ным залом и залом раз­ме­ще­ния ИБП (см. Рисунок 7). Такая ком­по­нов­ка имеет ряд пре­иму­ществ: во-пер­вых, тем самым раз­гра­ни­чи­ва­ют­ся зоны от­вет­ствен­но­сти служ­бы кон­ди­ци­о­ни­ро­ва­ния и ИТ-служб (со­труд­ни­кам служ­бы кон­ди­ци­о­ни­ро­ва­ния нет необ­хо­ди­мо­сти за­хо­дить в сер­вер­ный зал); во-вто­рых, из зоны раз­ме­ще­ния кон­ди­ци­о­не­ров обес­пе­чи­ва­ет­ся по­да­ча/забор воз­ду­ха как в сер­вер­ный зал, так и в зал ИБП; в-тре­тьих, со­кра­ща­ет­ся число ре­зерв­ных кон­ди­ци­о­не­ров (ре­зерв общий).

ФРИ­КУ­ЛИНГ И ЭНЕРГОЭФФЕКТИВНОСТЬ

Как и про­сил За­каз­чик, все про­ек­ти­ров­щи­ки вклю­чи­ли функ­цию фри­ку­лин­га в свои ре­ше­ния, но мало кто рас­счи­тал энер­ге­ти­че­скую эф­фек­тив­ность ее ис­поль­зо­ва­ния. Такой рас­чет про­вел Ми­ха­ил Бал­ка­ров из APC by Schneider Electric. Вы­де­лив три ре­жи­ма ра­бо­ты си­сте­мы охла­жде­ния — с тем­пе­ра­ту­рой гли­ко­ле­во­го кон­ту­ра 22, 20 и 7°С (режим фри­ку­лин­га), — для каж­до­го он ука­зал ее по­треб­ле­ние (в про­цен­тах от по­лез­ной на­груз­ки) и ко­эф­фи­ци­ент энер­ге­ти­че­ской эф­фек­тив­но­сти (Energy Efficiency Ratio, EER), ко­то­рый опре­де­ля­ет­ся как от­но­ше­ние хо­ло­до­про­из­во­ди­тель­но­сти кон­ди­ци­о­не­ра к по­треб­ля­е­мой им мощ­но­сти. Для на­груз­ки в 600 кВт сред­не­го­до­вое по­треб­ле­ние пред­ло­жен­ной АРС си­сте­мы охла­жде­ния ока­за­лось рав­ным 66 кВт с функ­ци­ей фри­ку­лин­га и 116 кВт без та­ко­вой. Раз­ни­ца 50 кВт в год дает эко­но­мию 438 тыс. кВт*ч.

Объ­яс­няя вы­со­кую энер­го­эф­фек­тив­ность пред­ло­жен­но­го ре­ше­ния, Ми­ха­ил Бал­ка­ров от­ме­ча­ет, что в первую оче­редь эти по­ка­за­те­ли обу­слов­ле­ны вы­бо­ром чил­ле­ров с вы­со­ким EER и при­ме­не­ни­ем эф­фек­тив­ных внут­рен­них бло­ков — по его дан­ным, внут­ри­ряд­ные мо­де­ли кон­ди­ци­о­не­ров в со­че­та­нии с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра обес­пе­чи­ва­ют при­мер­но дву­крат­ную эко­но­мию по срав­не­нию с наи­луч­ши­ми фаль­шполь­ны­ми ва­ри­ан­та­ми и по­лу­то­ра­крат­ную эко­но­мию по срав­не­нию с ре­ше­ни­я­ми, где ис­поль­зу­ет­ся кон­тей­не­ри­за­ция хо­лод­но­го ко­ри­до­ра. Вклад же соб­ствен­но фри­ку­лин­га вто­ри­чен — имен­но по­это­му ра­бо­чая тем­пе­ра­ту­ра воды вы­бра­на не самой вы­со­кой (всего 12°С).

По рас­че­там спе­ци­а­ли­стов «Ком­плит», в усло­ви­ях Мос­ков­ской об­ла­сти пред­ло­жен­ное ими ре­ше­ние с функ­ци­ей фри­ку­лин­га за год поз­во­ля­ет сни­зить рас­ход элек­тро­энер­гии при­мер­но на 50%. Дан­ная функ­ция (в про­ек­те «Ком­плит») ак­ти­ви­зи­ру­ет­ся при тем­пе­ра­ту­ре около +7°С, при по­ни­же­нии тем­пе­ра­ту­ры на­руж­но­го воз­ду­ха вклад фри­ку­лин­га в хо­ло­до­про­из­во­ди­тель­ность будет воз­рас­тать. Пол­но­стью си­сте­ма вы­хо­дит на режим эко­но­мии при тем­пе­ра­ту­ре ниже -5°С.

Спе­ци­а­ли­сты «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» пред­ло­жи­ли рас­чет эко­но­мии, ко­то­рую дает при­ме­не­ние кон­ди­ци­о­не­ров с функ­ци­ей фри­ку­лин­га (мо­дель ALD-702-GE) по срав­не­нию с ис­поль­зо­ва­ни­ем устройств, не осна­щен­ных такой функ­ци­ей (мо­дель ASD-802-A). Как и про­сил За­каз­чик, рас­чет при­вя­зан к Мос­ков­ско­му ре­ги­о­ну (см. Рисунок 8).

Как от­ме­ча­ет Вик­тор Гав­ри­лов, энер­го­по­треб­ле­ние в лет­ний пе­ри­од (при мак­си­маль­ной за­груз­ке) у фре­о­но­вой си­сте­мы ниже, чем у чил­лер­ной, но при тем­пе­ра­ту­ре менее 14°С, энер­го­по­треб­ле­ние по­след­ней сни­жа­ет­ся, что обу­слов­ле­но ра­бо­той фри­ку­лин­га. Эта функ­ция поз­во­ля­ет су­ще­ствен­но по­вы­сить срок экс­плу­а­та­ции и на­деж­ность си­сте­мы, так как в зим­ний пе­ри­од ком­прес­со­ры прак­ти­че­ски не ра­бо­та­ют — в связи с этим ре­сурс ра­бо­ты чил­лер­ных си­стем, как ми­ни­мум, в пол­то­ра раза боль­ше чем у фреоновых.

К пре­иму­ще­ствам пред­ло­жен­ных За­каз­чи­ку чил­ле­ров Emerson Вик­тор Гав­ри­лов от­но­сит воз­мож­ность их объ­еди­не­ния в еди­ную сеть управ­ле­ния и ис­поль­зо­ва­ния функ­ции кас­кад­ной ра­бо­ты хо­ло­диль­ных машин в ре­жи­ме фри­ку­лин­га. Более того, раз­ра­бо­тан­ная ком­па­ни­ей Emerson си­сте­ма Supersaver поз­во­ля­ет управ­лять тем­пе­ра­ту­рой хо­ло­до­но­си­те­ля в со­от­вет­ствии с из­ме­не­ни­я­ми теп­ло­вой на­груз­ки, что уве­ли­чи­ва­ет пе­ри­од вре­ме­ни, в те­че­ние ко­то­ро­го воз­мож­но функ­ци­о­ни­ро­ва­ние си­сте­мы в этом ре­жи­ме. По дан­ным Emerson, при уста­нов­ке чил­ле­ров на 330 кВт режим фри­ку­лин­га поз­во­ля­ет сэко­но­мить 45% элек­тро­энер­гии, кас­кад­ное вклю­че­ние — 5%, тех­но­ло­гия Supersaver — еще 16%, итого — 66%.

Но не все столь оп­ти­ми­стич­ны в от­но­ше­нии фри­ку­лин­га. Алек­сандр Ша­пи­ро на­по­ми­на­ет, что в нашу стра­ну куль­ту­ра ис­поль­зо­ва­ния фри­ку­лин­га в зна­чи­тель­ной мере при­не­се­на с За­па­да, между тем как по­тре­би­тель­ская сто­и­мость этой опции во мно­гом за­ви­сит от сто­и­мо­сти элек­тро­энер­гии, а на се­го­дняш­ний день в Рос­сии и За­пад­ной Ев­ро­пе цены се­рьез­но раз­ли­ча­ют­ся. «Опция фри­ку­лин­га ощу­ти­мо до­ро­га, в Рос­сии же до­ста­точ­но часто ИТ-про­ек­ты пла­ни­ру­ют­ся с де­фи­ци­том бюд­же­та. По­это­му За­каз­чик вы­нуж­ден вы­би­рать: либо обес­пе­чить пла­ни­ру­е­мые тех­ни­че­ские по­ка­за­те­ли ЦОД путем про­сто­го ре­ше­ния (не думая о про­бле­ме уве­ли­че­ния OPEX), либо «ло­мать копья» в по­пыт­ке до­ка­зать це­ле­со­об­раз­ность фри­ку­лин­га, со­гла­ша­ясь на сни­же­ние па­ра­мет­ров ЦОД. В боль­шин­стве слу­ча­ев выбор де­ла­ет­ся в поль­зу пер­во­го ва­ри­ан­та», — за­клю­ча­ет он.

Среди пред­ло­жен­ных За­каз­чи­ку более по­лу­то­ра де­сят­ков ре­ше­ний оди­на­ко­вых нет — даже те, что по­стро­е­ны на ана­ло­гич­ных ком­по­нен­тах од­но­го про­из­во­ди­те­ля, имеют свои осо­бен­но­сти. Это го­во­рит о том, что за­да­чи, свя­зан­ные с охла­жде­ни­ем, от­но­сят­ся к числу наи­бо­лее слож­ных, и ти­по­вые от­ра­бо­тан­ные ре­ше­ния по сути от­сут­ству­ют. Тем не менее, среди пред­став­лен­ных ва­ри­ан­тов За­каз­чик на­вер­ня­ка смо­жет вы­брать наи­бо­лее под­хо­дя­щий с уче­том пред­по­чте­ний в части CAPEX/OPEX и пла­нов по даль­ней­ше­му раз­ви­тию ЦОД.

Алек­сандр Бар­сков — ве­ду­щий ре­дак­тор «Жур­на­ла се­те­вых ре­ше­ний/LAN»

[ http://www.osp.ru/lan/2010/05/13002554/]

Тематики

• ЦОДы (центры обработки данных)

EN

• data center cooling system

 

центр обработки данных
центр обработки и хранения данных
ЦОД
Консолидированный комплекс инженерно-технических средств, обеспечивающий безопасную централизованную обработку, хранение и предоставление данных, сервисов и приложений, а также вычислительную инфраструктуру для автоматизации бизнес-задач компании. ЦОД состоит из следующих элементов: серверного комплекса, хранилища данных, сети передачи данных, инфраструктуры, организационной структуры, системы управления.
[ http://www.dtln.ru/slovar-terminov]

Тематики

• ЦОДы (центры обработки данных)

Синонимы

• центр обработки и хранения данных
• ЦОД

EN

• data center
• DC

 

класс (ЦОДа)
Категория ЦОД по классификации Uptime Institute. Согласно этой классификации, дата-центры варьируются по уровням отказоустойчивости (от Tier I до Tier IV): чем выше уровень, тем выше требования к дата-центру. Классификация Tier связывает уровень надежности ЦОД с топологией, мощностью, схемами резервирования инфраструктуры и множеством других факторов.
[ http://www.dtln.ru/slovar-terminov]

Тематики

• информационные технологии в целом

EN

• tier

 

компьютерный зал
Часть ЦОДа, основным предназначением которой является размещение оборудования обработки данных.
[ Cтандарт на телекоммуникационную инфраструктуру центров обработки данных (ЦОД)]

Тематики

• ЦОДы (центры обработки данных)

EN

• computer room

 

коэффициент использования энергии
Отношение количества энергии, поступающей в ЦОД, к количеству энергии, расходуемой компьютерной инфраструктурой внутри него.
[ http://www.dtln.ru/slovar-terminov]

Тематики

• информационные технологии в целом

EN

• PUE
• power usage effectiveness

 

критически важная физическая инфраструктура
-
[Интент]

Инженерная инфраструктура ЦОД является комплексом взаимосвязанных инженерных систем, цель которого — обеспечение надежной работы и эксплуатации серверного, сетевого и телекоммуникационного оборудования входящих в ядро корпоративных информационных систем.

Выбор технологических решений и проектирование инженерных систем для центра обработки данных производится исходя из требуемого уровня надежности и доступности информационных систем.

Объединение таких инженерных систем называемых NCPI (Network Critical Physical Infrastructure), или критически важной физической инфраструктурой, включает:

• архитектурно-строительное решение
• системы бесперебойного и гарантированного электроснабжения, распределительные сети электропитания
• системы кондиционирования и вентиляции
• структурированные кабельные системы (СКС)
• системы пожарной сигнализации и пожаротушения
• системы контроля доступа, видеонаблюдения и охранной сигнализации
• системы диспетчеризации и мониторинга
• кабельная канализация и механические конструкции

 

показатель среднего энергопотребления процессоров
Показатель среднего энергопотребления процессоров, введенный компанией AMD. Учитывает энергопотребление ядер, интегрированного контроллера памяти и каналов HyperTransport при исполнении типичного набора ресурсоемких приложений.
В компании считают, что показатель ACP полезен при оценке расходов на энергопотребление в ЦОД. Для разработчиков платформ AMD по-прежнему будет также указывать характеристику "теплового пакета" процессора (Total Dissipated Power, TDP).
Как заявляют в компании, новые четырехъядерные процессоры AMD Opteron предоставляют самую энергоэффективную архитектуру x86, усиленную рядом новых энергосберегающих технологий: AMD CoolCore, снижающей энергопотребление путем выключения незадействованных компонентов процессора; Independent Dynamic Core, позволяющей каждому ядру менять свою тактовую частоту в зависимости от требований приложений; и Dual Dynamic Power Management (DDPM), обеспечивающей независимое питание ядер ЦП и контроллера памяти, что позволяет им работать при различных напряжениях, определяемых сценарием использования.
[ http://www.morepc.ru/dict/]

Тематики

• ЦОДы (центры обработки данных)
• информационные технологии в целом

EN

• ACP
• Average CPU Power

 

узел обмена трафиком
Место в пределах ЦОД, где телекоммуникационные компании могут физически соединиться между собой и обмениваться данными без абонентской платы.
[ http://www.dtln.ru/slovar-terminov]

Тематики

• информационные технологии в целом

EN

• meet-me-room