торёный

система охлаждения ЦОДа
-
[Интент]т

Система охлаждения для небольшого ЦОДа

Александр Барсков

Вы­мыш­лен­ная ком­па­ния (далее За­каз­чик) по­про­си­ла пред­ло­жить си­сте­му охла­жде­ния для стро­я­ще­го­ся ком­мер­че­ско­го ЦОДа. В ос­нов­ном зале пла­ни­ру­ет­ся установить:

• 60 стоек с энер­го­по­треб­ле­ни­ем по 5 кВт (всего 300 кВт) — все эле­мен­ты, необ­хо­ди­мые для обес­пе­че­ния тре­бу­е­мой тем­пе­ра­ту­ры и влаж­но­сти, долж­ны быть уста­нов­ле­ны сразу;
• 16 стоек с энер­го­по­треб­ле­ни­ем по 20 кВт (всего 320 кВт) — это обо­ру­до­ва­ние будет уста­нав­ли­вать­ся по­сте­пен­но (по мере необ­хо­ди­мо­сти), и сред­ства охла­жде­ния пла­ни­ру­ет­ся раз­вер­ты­вать и за­дей­ство­вать по мере под­клю­че­ния и за­груз­ки стоек.

За­каз­чик за­явил, что пред­по­чте­ние будет от­да­но энер­го­эф­фек­тив­ным ре­ше­ни­ям, по­это­му же­ла­тель­но за­дей­ство­вать «зе­ле­ные» тех­но­ло­гии, в первую оче­редь фри­ку­линг (есте­ствен­ное охла­жде­ние на­руж­ным воз­ду­хом — free cooling), и предо­ста­вить рас­чет оку­па­е­мо­сти со­от­вет­ству­ю­щей опции (с уче­том того, что объ­ект на­хо­дит­ся в Мос­ков­ской об­ла­сти). Пла­ни­ру­е­мый уро­вень ре­зер­ви­ро­ва­ния — N+1, но воз­мож­ны и дру­гие ва­ри­ан­ты — при на­ли­чии долж­но­го обос­но­ва­ния. Кроме того, За­каз­чик по­про­сил из­на­чаль­но преду­смот­реть сред­ства мо­ни­то­рин­га энер­го­по­треб­ле­ния с целью оп­ти­ми­за­ции рас­хо­да электроэнергии.

ЧТО ПРО­ГЛЯ­ДЕЛ ЗАКАЗЧИК

В сфор­му­ли­ро­ван­ной в столь общем виде за­да­че не учтен ряд су­ще­ствен­ных де­та­лей, на ко­то­рые не пре­ми­ну­ли ука­зать экс­пер­ты. Так, Дмит­рий Ча­га­ров, ру­ко­во­ди­тель на­прав­ле­ния вен­ти­ля­ции и кон­ди­ци­о­ни­ро­ва­ния ком­па­нии «Ути­лекс», за­ме­тил, что в за­да­нии ни­че­го не ска­за­но о ха­рак­те­ре на­груз­ки. Он, как и осталь­ные про­ек­ти­ров­щи­ки, ис­хо­дил из пред­по­ло­же­ния, что воз­душ­ный поток на­прав­лен с фрон­таль­ной части стоек назад, но, как из­вест­но, неко­то­рые ком­му­та­то­ры спро­ек­ти­ро­ва­ны для охла­жде­ния сбоку — для них при­дет­ся ис­поль­зо­вать спе­ци­аль­ные бо­ко­вые блоки рас­пре­де­ле­ния воз­душ­но­го потока.

В за­да­нии ска­за­но о раз­ме­ще­нии всех стоек (5 и 20 кВт) в ос­нов­ном зале, од­на­ко неко­то­рые экс­пер­ты на­сто­я­тель­но ре­ко­мен­ду­ют вы­де­лить от­дель­ную зону для вы­со­ко­на­гру­жен­ных стоек. По сло­вам Алек­сандра Мар­ты­ню­ка, ге­не­раль­но­го ди­рек­то­ра кон­сал­тин­го­вой ком­па­нии «Ди Си квад­рат», «это будет пра­виль­нее и с точки зре­ния про­ек­ти­ро­ва­ния, и с по­зи­ций удоб­ства экс­плу­а­та­ции». Такое вы­де­ле­ние (изо­ля­ция осу­ществ­ля­ет­ся при по­мо­щи вы­го­ро­док) преду­смот­ре­но, на­при­мер, в про­ек­те ком­па­нии «Ком­плит»: Вла­ди­слав Яко­вен­ко, на­чаль­ник от­де­ла ин­фра­струк­тур­ных про­ек­тов, уве­рен, что по­доб­ное ре­ше­ние, во-пер­вых, об­лег­чит об­слу­жи­ва­ние обо­ру­до­ва­ния, а во-вто­рых, поз­во­лит ис­поль­зо­вать раз­лич­ные тех­но­ло­гии хо­ло­до­снаб­же­ния в раз­ных зонах. Впро­чем, боль­шин­ство про­ек­ти­ров­щи­ков не ис­пы­та­ли осо­бых про­блем при ре­ше­нии за­да­чи по от­во­ду тепла от стоек 5 и 20 кВт, уста­нов­лен­ных в одном помещении.

Один из пер­вых во­про­сов, с ко­то­рым За­каз­чик об­ра­тил­ся к бу­ду­ще­му парт­не­ру, был свя­зан с фаль­шпо­лом: «Необ­хо­дим ли он во­об­ще, и если нужен, то какой вы­со­ты?». Алек­сандр Мар­ты­нюк ука­зал, что гра­мот­ный рас­чет вы­со­ты фаль­шпо­ла воз­мо­жен толь­ко при усло­вии предо­став­ле­ния до­пол­ни­тель­ной ин­фор­ма­ции: о типе стоек (как в них будет ор­га­ни­зо­ва­на по­да­ча охла­жда­ю­ще­го воз­ду­ха?); об ор­га­ни­за­ции ка­бель­ной про­вод­ки (под полом или по­тол­ком? сколь­ко ка­бе­лей? ка­ко­го диа­мет­ра?); об осо­бен­но­стях по­ме­ще­ния (вы­со­та по­тол­ков, со­от­но­ше­ние длин стен, на­ли­чие вы­сту­пов и опор­ных ко­лонн) и т. д. Он со­ве­ту­ет вы­пол­нить тем­пе­ра­тур­но-кли­ма­ти­че­ское мо­де­ли­ро­ва­ние по­ме­ще­ния с уче­том вы­ше­пе­ре­чис­лен­ных па­ра­мет­ров и, если по­тре­бу­ет­ся, уточ­ня­ю­щих дан­ных. В ре­зуль­та­те можно будет под­го­то­вить ре­ко­мен­да­ции в от­но­ше­нии оп­ти­маль­ной вы­со­ты фаль­шпо­ла, а также дать оцен­ку це­ле­со­об­раз­но­сти раз­ме­ще­ния в одном зале стоек с раз­ной энергонагруженностью.

Что ж, мы дей­стви­тель­но не предо­ста­ви­ли всей ин­фор­ма­ции, необ­хо­ди­мой для по­доб­но­го мо­де­ли­ро­ва­ния, и про­ек­ти­ров­щи­кам при­ш­лось до­воль­ство­вать­ся скуд­ны­ми ис­ход­ны­ми дан­ны­ми. И все же, на­де­ем­ся, пред­став­лен­ные ре­ше­ния ока­жут­ся ин­те­рес­ны­ми и по­лез­ны­ми ши­ро­ко­му кругу за­каз­чи­ков. Им оста­нет­ся толь­ко «по­до­гнать» ре­ше­ния «под себя».

«КЛАС­СИ­КА» ОХЛАЖДЕНИЯ

Для сня­тия тепла со стоек при на­груз­ке 5 кВт боль­шин­ство про­ек­ти­ров­щи­ков пред­ло­жи­ли самый рас­про­стра­нен­ный на се­год­ня ва­ри­ант — уста­нов­ку шкаф­ных пре­ци­зи­он­ных кон­ди­ци­о­не­ров, по­да­ю­щих хо­лод­ный воз­дух в про­стран­ство под фаль­шпо­лом. Под­вод воз­ду­ха к обо­ру­до­ва­нию осу­ществ­ля­ет­ся в зоне хо­лод­ных ко­ри­до­ров через пер­фо­ри­ро­ван­ные плиты или воз­ду­хо­рас­пре­де­ли­тель­ные ре­шет­ки фаль­шпо­ла, а отвод воз­ду­ха от кон­ди­ци­о­не­ров — из зоны го­ря­чих ко­ри­до­ров через верх­нюю часть зала или про­стран­ство на­вес­но­го по­тол­ка (см. Рисунок 1). Такая схема может быть ре­а­ли­зо­ва­на толь­ко при на­ли­чии фаль­шпо­ла до­ста­точ­ной высоты

В во­про­се вы­бо­ра места для уста­нов­ки шкаф­ных кон­ди­ци­о­не­ров един­ство мне­ний от­сут­ству­ет, мно­гие ука­за­ли на воз­мож­ность их раз­ме­ще­ния как в сер­вер­ном зале, так и в со­сед­нем по­ме­ще­нии. Алек­сей Кар­пин­ский, ди­рек­тор де­пар­та­мен­та ин­же­нер­ных си­стем ком­па­нии «Асте­рос», уве­рен, что для низ­ко­на­гру­жен­ных стоек луч­шим ре­ше­ни­ем будет вынос «тя­же­лой ин­же­не­рии» за пре­де­лы сер­вер­но­го зала (см. Рисунок 2) — тогда для об­слу­жи­ва­ния кон­ди­ци­о­не­ров внутрь зала вхо­дить не при­дет­ся. «Это по­вы­ша­ет на­деж­ность ра­бо­ты обо­ру­до­ва­ния, ведь, как из­вест­но, наи­бо­лее часто оно вы­хо­дит из строя вслед­ствие че­ло­ве­че­ско­го фак­то­ра, — объ­яс­ня­ет он. — При­чем по­ме­ще­ние с кон­ди­ци­о­не­ра­ми может быть со­вер­шен­но не свя­зан­ным с ма­шин­ным залом и рас­по­ла­гать­ся, на­при­мер, через ко­ри­дор или на дру­гом этаже».

Если стой­ки мощ­но­стью 5 и 20 кВт уста­нав­ли­ва­ют­ся в одном по­ме­ще­нии, Алек­сандр Ласый, за­ме­сти­тель ди­рек­то­ра де­пар­та­мен­та ин­тел­лек­ту­аль­ных зда­ний ком­па­нии «Крок», ре­ко­мен­ду­ет ор­га­ни­зо­вать фи­зи­че­ское раз­де­ле­ние го­ря­чих и хо­лод­ных ко­ри­до­ров. В си­ту­а­ции, когда для вы­со­ко­на­гру­жен­ных стоек вы­де­ля­ет­ся от­дель­ное по­ме­ще­ние, по­доб­но­го раз­де­ле­ния для стоек на 5 кВт не требуется.

ФРЕОН ИЛИ ВОДА

Шкаф­ные кон­ди­ци­о­не­ры на рынке пред­став­ле­ны как во фре­о­но­вом ис­пол­не­нии, так и в ва­ри­ан­тах с во­дя­ным охла­жде­ни­ем. При ис­поль­зо­ва­нии фре­о­но­вых кон­ди­ци­о­не­ров на крыше или при­ле­га­ю­щей тер­ри­то­рии необ­хо­ди­мо преду­смот­реть место для уста­нов­ки кон­ден­са­тор­ных бло­ков, а при во­дя­ном охла­жде­нии по­тре­бу­ет­ся место под на­сос­ную и во­до­охла­жда­ю­щие ма­ши­ны (чиллеры).

Спе­ци­а­ли­сты ком­па­нии «АМД­тех­но­ло­гии» пред­ста­ви­ли За­каз­чи­ку срав­не­ние раз­лич­ных ва­ри­ан­тов фре­о­но­вых и во­дя­ных си­стем кон­ди­ци­о­ни­ро­ва­ния. Наи­бо­лее бюд­жет­ный ва­ри­ант преду­смат­ри­ва­ет уста­нов­ку обыч­ных шкаф­ных фре­о­но­вых кон­ди­ци­о­не­ров HPM M50 UA с по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. При­мер­но на чет­верть до­ро­же обой­дут­ся мо­де­ли кон­ди­ци­о­не­ров с циф­ро­вым спи­раль­ным ком­прес­со­ром и элек­трон­ным тер­мо­рас­ши­ри­тель­ным вен­ти­лем (HPM D50 UA, Digital). Мощ­ность кон­ди­ци­о­не­ров ре­гу­ли­ру­ет­ся в за­ви­си­мо­сти от тем­пе­ра­ту­ры в по­ме­ще­нии, это поз­во­ля­ет до­бить­ся 12-про­цент­ной эко­но­мии элек­тро­энер­гии, а также умень­шить ко­ли­че­ство пусков и оста­но­ва ком­прес­со­ра, что по­вы­ша­ет срок служ­бы си­сте­мы. В слу­чае от­сут­ствия на объ­ек­те фаль­шпо­ла (или его недо­ста­точ­ной вы­со­ты) пред­ло­жен более до­ро­гой по на­чаль­ным вло­же­ни­ям, но эко­но­мич­ный в экс­плу­а­та­ции ва­ри­ант с внут­ри­ряд­ны­ми фре­о­но­вы­ми кондиционерами.

Как по­ка­зы­ва­ет пред­став­лен­ный ана­лиз, фре­о­но­вые кон­ди­ци­о­не­ры менее эф­фек­тив­ны по срав­не­нию с си­сте­мой во­дя­но­го охла­жде­ния. При этом, о чем на­по­ми­на­ет Вик­тор Гав­ри­лов, тех­ни­че­ский ди­рек­тор «АМД­тех­но­ло­гий», фре­о­но­вая си­сте­ма имеет огра­ни­че­ние по длине тру­бо­про­во­да и пе­ре­па­ду высот между внут­рен­ни­ми и на­руж­ны­ми бло­ка­ми (эк­ви­ва­лент­ная общая длина трас­сы фре­о­но­про­во­да не долж­на пре­вы­шать 50 м, а ре­ко­мен­ду­е­мый пе­ре­пад по вы­со­те — 30 м); у во­дя­ной си­сте­мы таких огра­ни­че­ний нет, по­это­му ее можно при­спо­со­бить к любым осо­бен­но­стям зда­ния и при­ле­га­ю­щей тер­ри­то­рии. Важно также пом­нить, что при при­ме­не­нии фре­о­но­вой си­сте­мы пер­спек­ти­вы раз­ви­тия (уве­ли­че­ние плот­но­сти энер­го­по­треб­ле­ния) су­ще­ствен­но огра­ни­че­ны, тогда как при за­клад­ке необ­хо­ди­мой ин­фра­струк­ту­ры по­да­чи хо­лод­ной воды к стой­кам (тру­бо­про­во­ды, на­со­сы, ар­ма­ту­ра) на­груз­ку на стой­ку можно впо­след­ствии уве­ли­чи­вать до 30 кВт и выше, не при­бе­гая к ка­пи­таль­ной ре­кон­струк­ции сер­вер­но­го помещения.

К фак­то­рам, ко­то­рые могут опре­де­лить выбор в поль­зу фре­о­но­вых кон­ди­ци­о­не­ров, можно от­не­сти от­сут­ствие места на улице (на­при­мер из-за невоз­мож­но­сти обес­пе­чить по­жар­ный про­езд) или на кров­ле (вслед­ствие осо­бен­но­стей кон­струк­ции или ее недо­ста­точ­ной несу­щей спо­соб­но­сти) для мон­та­жа мо­но­блоч­ных чил­ле­ров на­руж­ной уста­нов­ки. При этом боль­шин­ство экс­пер­тов еди­но­душ­но вы­ска­зы­ва­ют мне­ние, что при ука­зан­ных мощ­но­стях ре­ше­ние на воде эко­но­ми­че­ски це­ле­со­об­раз­нее и проще в ре­а­ли­за­ции. Кроме того, при ис­поль­зо­ва­нии воды и/или эти­лен­гли­ко­ле­вой смеси в ка­че­стве хо­ло­до­но­си­те­ля можно за­дей­ство­вать ти­по­вые функ­ции фри­ку­лин­га в чиллерах.

Впро­чем, функ­ции фри­ку­лин­га воз­мож­но за­дей­ство­вать и во фре­о­но­вых кон­ди­ци­о­не­рах. Такие ва­ри­ан­ты ука­за­ны в пред­ло­же­ни­ях ком­па­ний RC Group и «Ин­же­нер­ное бюро ’’Хос­сер‘‘», где ис­поль­зу­ют­ся фре­о­но­вые кон­ди­ци­о­не­ры со встро­ен­ны­ми кон­ден­са­то­ра­ми во­дя­но­го охла­жде­ния и внеш­ни­ми теп­ло­об­мен­ни­ка­ми с функ­ци­ей фри­ку­лин­га (сухие гра­дир­ни). Спе­ци­а­ли­сты RC Group сразу от­ка­за­лись от ва­ри­ан­та с уста­нов­кой кон­ди­ци­о­не­ров с вы­нос­ны­ми кон­ден­са­то­ра­ми воз­душ­но­го охла­жде­ния, по­сколь­ку он не со­от­вет­ству­ет тре­бо­ва­нию За­каз­чи­ка за­дей­ство­вать режим фри­ку­лин­га. По­ми­мо уже на­зван­но­го они пред­ло­жи­ли ре­ше­ние на ос­но­ве кон­ди­ци­о­не­ров, ра­бо­та­ю­щих на охла­жден­ной воде. Ин­те­рес­но от­ме­тить, что и про­ек­ти­ров­ши­ки «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» раз­ра­бо­та­ли вто­рой ва­ри­ант на воде.

Если ком­па­ния «АМД­тех­но­ло­гии» пред­ло­жи­ла для стоек на 5 кВт ре­ше­ние на базе внут­ри­ряд­ных кон­ди­ци­о­не­ров толь­ко как один из воз­мож­ных ва­ри­ан­тов, то APC by Schneider Electric (см. Ри­су­нок 3), а также один из парт­не­ров этого про­из­во­ди­те­ля, ком­па­ния «Ути­лекс», от­да­ют пред­по­чте­ние кон­ди­ци­о­не­рам, уста­нав­ли­ва­е­мым в ряды стоек. В обоих ре­ше­ни­ях пред­ло­же­но изо­ли­ро­вать го­ря­чий ко­ри­дор с по­мо­щью си­сте­мы HACS (см. Ри­су­нок 4). «Для эф­фек­тив­но­го охла­жде­ния необ­хо­ди­мо сни­зить по­те­ри при транс­пор­ти­ров­ке хо­лод­но­го воз­ду­ха, по­это­му си­сте­мы кон­ди­ци­о­ни­ро­ва­ния лучше уста­но­вить рядом с на­груз­кой. Раз­ме­ще­ние кон­ди­ци­о­не­ров в от­дель­ном по­ме­ще­нии — такая мо­дель при­ме­ня­лась в со­вет­ских вы­чис­ли­тель­ных цен­трах — в дан­ном слу­чае менее эф­фек­тив­но», — счи­та­ет Дмит­рий Ча­га­ров. В слу­чае ис­поль­зо­ва­ния внут­ри­ряд­ных кон­ди­ци­о­не­ров фаль­шпол уже не яв­ля­ет­ся необ­хо­ди­мо­стью, хотя в про­ек­те «Ути­лек­са» он преду­смот­рен — для про­клад­ки трасс хо­ло­до­снаб­же­ния, элек­тро­пи­та­ния и СКС.

Ми­ха­ил Бал­ка­ров, си­стем­ный ин­же­нер ком­па­нии APC by Schneider Electric, от­ме­ча­ет, что при от­сут­ствии фаль­шпо­ла трубы можно про­ло­жить либо в штро­бах, либо свер­ху, преду­смот­рев до­пол­ни­тель­ный уро­вень за­щи­ты в виде лот­ков или ко­ро­бов для кон­тро­ли­ру­е­мо­го слива воз­мож­ных про­те­чек. Если же фаль­шпол преду­смат­ри­ва­ет­ся, то его ре­ко­мен­ду­е­мая вы­со­та со­став­ля­ет не менее 40 см — из со­об­ра­же­ний удоб­ства про­клад­ки труб.

ЧИЛ­ЛЕР И ЕГО «ОБВЯЗКА»

В боль­шин­стве про­ек­тов преду­смат­ри­ва­ет­ся уста­нов­ка внеш­не­го чил­ле­ра и ор­га­ни­за­ция двух­кон­тур­ной си­сте­мы хо­ло­до­снаб­же­ния. Во внеш­нем кон­ту­ре, свя­зы­ва­ю­щем чил­ле­ры и про­ме­жу­точ­ные теп­ло­об­мен­ни­ки, хо­ло­до­но­си­те­лем слу­жит вод­ный рас­твор эти­лен­гли­ко­ля, а во внут­рен­нем — между теп­ло­об­мен­ни­ка­ми и кон­ди­ци­о­не­ра­ми (шкаф­ны­ми и/или внут­ри­ряд­ны­ми) — цир­ку­ли­ру­ет уже чи­стая вода. Необ­хо­ди­мость ис­поль­зо­ва­ния эти­лен­гли­ко­ля во внеш­нем кон­ту­ре легко объ­яс­ни­ма — это ве­ще­ство зимой не за­мер­за­ет. У За­каз­чи­ка воз­ник ре­зон­ный во­прос: зачем нужен вто­рой кон­тур, и по­че­му нель­зя ор­га­ни­зо­вать всего один — ведь в этом слу­чае КПД будет выше?

По сло­вам Вла­ди­сла­ва Яко­вен­ко, двух­кон­тур­ная схема поз­во­ля­ет сни­зить объем до­ро­го­го хо­ло­до­но­си­те­ля (эти­лен­гли­ко­ля) и яв­ля­ет­ся более эко­ло­гич­ной. Эти­лен­гли­коль — ядо­ви­тое, хи­ми­че­ски ак­тив­ное ве­ще­ство, и если про­теч­ка слу­чит­ся внут­ри по­ме­ще­ния ЦОД, лик­ви­да­ция по­след­ствий такой ава­рии ста­нет се­рьез­ной про­бле­мой для служ­бы экс­плу­а­та­ции. Сле­ду­ет также учи­ты­вать, что при со­дер­жа­нии гли­ко­ля в рас­тво­ре хо­ло­до­но­си­те­ля на уровне 40% по­тре­бу­ют­ся более мощ­ные на­со­сы (из-за вы­со­кой вяз­ко­сти рас­тво­ра), по­это­му по­треб­ле­ние энер­гии и, со­от­вет­ствен­но, экс­плу­а­та­ци­он­ные рас­хо­ды уве­ли­чат­ся. На­ко­нец, тре­бо­ва­ние к мон­та­жу си­сте­мы без гли­ко­ля го­раз­до ниже, а экс­плу­а­ти­ро­вать ее проще.

При ис­поль­зо­ва­нии чил­ле­ров функ­цию «бес­пе­ре­бой­но­го охла­жде­ния» ре­а­ли­зо­вать до­воль­но про­сто: при воз­ник­но­ве­нии пе­ре­бо­ев с по­да­чей элек­тро­энер­гии си­сте­ма спо­соб­на обес­пе­чить охла­жде­ние сер­вер­ной до за­пус­ка ди­зе­ля или кор­рект­но­го вы­клю­че­ния сер­ве­ров за счет хо­лод­ной воды, за­па­сен­ной в ба­ках-ак­ку­му­ля­то­рах. Как от­ме­ча­ет Вик­тор Гав­ри­лов, ре­а­ли­за­ция по­доб­ной схемы поз­во­ля­ет удер­жать из­ме­не­ние гра­ди­ен­та тем­пе­ра­ту­ры в до­пу­сти­мых пре­де­лах (ве­ду­щие про­из­во­ди­те­ли сер­ве­ров тре­бу­ют, чтобы ско­рость из­ме­не­ния тем­пе­ра­ту­ры со­став­ля­ла не более 50С/час, а уве­ли­че­ние этой ско­ро­сти может при­ве­сти к по­лом­ке сер­вер­но­го обо­ру­до­ва­ния, что осо­бен­но часто про­ис­хо­дит при воз­об­нов­ле­нии охла­жде­ния в ре­зуль­та­те рез­ко­го сни­же­ния тем­пе­ра­ту­ры). При про­па­да­нии элек­тро­пи­та­ния для под­дер­жа­ния ра­бо­ты чил­лер­ной си­сте­мы кон­ди­ци­о­ни­ро­ва­ния необ­хо­ди­мо толь­ко обес­пе­чить функ­ци­о­ни­ро­ва­ние пе­ре­ка­чи­ва­ю­щих на­со­сов и вен­ти­ля­то­ров кон­ди­ци­о­не­ров — по­треб­ле­ние от ИБП сво­дит­ся к ми­ни­му­му. Для клас­си­че­ских фре­о­но­вых си­стем необ­хо­ди­мо обес­пе­чить пи­та­ни­ем весь ком­плекс це­ли­ком (при этом все ком­прес­со­ры долж­ны быть осна­ще­ны функ­ци­ей «мяг­ко­го за­пус­ка»), по­это­му тре­бу­ют­ся кон­ди­ци­о­не­ры и ИБП более до­ро­гой комплектации.

КОГДА РАС­ТЕТ ПЛОТНОСТЬ

Боль­шин­ство пред­ло­жен­ных За­каз­чи­ку ре­ше­ний для охла­жде­ния вы­со­ко­на­гру­жен­ных стоек (20 кВт) преду­смат­ри­ва­ет ис­поль­зо­ва­ние внут­ри­ряд­ных кон­ди­ци­о­не­ров. Как по­ла­га­ет Алек­сандр Ласый, ос­нов­ная слож­ность при от­во­де от стой­ки 20 кВт тепла с по­мо­щью клас­си­че­ской схемы охла­жде­ния, ба­зи­ру­ю­щей­ся на шкаф­ных кон­ди­ци­о­не­рах, свя­за­на с по­да­чей охла­жден­но­го воз­ду­ха из-под фаль­шполь­но­го про­стран­ства и до­став­кой его до теп­ло­вы­де­ля­ю­ще­го обо­ру­до­ва­ния. «Зна­чи­тель­ные пе­ре­па­ды дав­ле­ния на пер­фо­ри­ро­ван­ных ре­шет­ках фаль­шпо­ла и вы­со­кие ско­ро­сти дви­же­ния воз­ду­ха со­зда­ют нерав­но­мер­ный воз­душ­ный поток в зоне перед стой­ка­ми даже при раз­де­ле­нии го­ря­чих и хо­лод­ных ко­ри­до­ров, — от­ме­ча­ет он. — Это при­во­дит к нерав­но­мер­но­му охла­жде­нию стоек и их пе­ре­гре­ву. В слу­чае пе­ре­мен­ной за­груз­ки стоек воз­ни­ка­ет необ­хо­ди­мость пе­ре­на­стра­и­вать си­сте­му воз­ду­хо­рас­пре­де­ле­ния через фаль­шпол, что до­воль­но затруднительно».

Впро­чем, неко­то­рые ком­па­нии «риск­ну­ли» пред­ло­жить для стоек на 20 кВт си­сте­му, ос­но­ван­ную на тех же прин­ци­пах, что при­ме­ня­ют­ся для стоек на 5кВт, — по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. По сло­вам Сер­гея Бон­да­ре­ва, ру­ко­во­ди­те­ля от­де­ла про­даж «Вайсс Кли­ма­тех­ник», его опыт по­ка­зы­ва­ет, что уста­нов­ка до­пол­ни­тель­ных ре­ше­ток во­круг стой­ки для уве­ли­че­ния пло­ща­ди се­че­ния, через ко­то­рое по­сту­па­ет хо­лод­ный воз­дух (а зна­чит и его объ­е­ма), поз­во­ля­ет сни­мать теп­ло­вую на­груз­ку в 20 кВт. Ре­ше­ние этой ком­па­нии от­ли­ча­ет­ся от дру­гих про­ек­тов ре­а­ли­за­ци­ей фри­ку­лин­га: кон­струк­ция кон­ди­ци­о­не­ров Deltaclima FC про­из­вод­ства Weiss Klimatechnik поз­во­ля­ет под­во­дить к ним хо­лод­ный воз­дух прямо с улицы.

Ин­те­рес­ное ре­ше­ние пред­ло­жи­ла ком­па­ния «Юни­Конд», парт­нер ита­льян­ской Uniflair: клас­си­че­ская си­сте­ма охла­жде­ния через фаль­шпол до­пол­ня­ет­ся обо­ру­до­ван­ны­ми вен­ти­ля­то­ра­ми мо­ду­ля­ми «ак­тив­но­го пола», ко­то­рые уста­нав­ли­ва­ют­ся вме­сто обыч­ных пли­ток фаль­шпо­ла. По утвер­жде­нию спе­ци­а­ли­стов «Юни­Конд», такие мо­ду­ли поз­во­ля­ют су­ще­ствен­но уве­ли­чить объ­е­мы ре­гу­ли­ру­е­мых по­то­ков воз­ду­ха: до 4500 м³/час вме­сто 800–1000 м³/час от обыч­ной ре­шет­ки 600х600 мм. Они также от­ме­ча­ют, что про­сто уста­но­вить вен­ти­ля­тор в под­поль­ном про­стран­стве недо­ста­точ­но для обес­пе­че­ния га­ран­ти­ро­ван­но­го охла­жде­ния сер­вер­ных стоек. Важно пра­виль­но ор­га­ни­зо­вать воз­душ­ный поток как по дав­ле­нию, так и по на­прав­ле­нию воз­ду­ха, чтобы обес­пе­чить по­да­чу воз­ду­ха не толь­ко в верх­нюю часть стой­ки, но и, в слу­чае необ­хо­ди­мо­сти, в ее ниж­нюю часть. Для этого па­нель «ак­тив­но­го пола» по­ми­мо вен­ти­ля­то­ра ком­плек­ту­ет­ся про­цес­со­ром, дат­чи­ка­ми тем­пе­ра­ту­ры и по­во­рот­ны­ми ла­ме­ля­ми (см. Ри­су­нок 5). При­ме­не­ние мо­ду­лей «ак­тив­но­го пола» без до­пол­ни­тель­ной изо­ля­ции по­то­ков воз­ду­ха поз­во­ля­ет уве­ли­чить мощ­ность стой­ки до 15 кВт, а при гер­ме­ти­за­ции хо­лод­но­го ко­ри­до­ра (в «Юни­Конд» это ре­ше­ние на­зы­ва­ют «хо­лод­ным бас­сей­ном») — до 25 кВт.

Как уже го­во­ри­лось, боль­шин­ство про­ек­ти­ров­щи­ков ре­ко­мен­до­ва­ли для стоек на 20 кВт си­сте­мы с внут­ри­ряд­ным охла­жде­ни­ем и изо­ля­цию по­то­ков го­ря­че­го и хо­лод­но­го воз­ду­ха. Как от­ме­ча­ет Алек­сандр Ласый, ис­поль­зо­ва­ние вы­со­ко­на­гру­жен­ных стоек в со­че­та­нии с внут­ри­ряд­ны­ми кон­ди­ци­о­не­ра­ми поз­во­ля­ет уве­ли­чить плот­ность раз­ме­ще­ния сер­вер­но­го обо­ру­до­ва­ния и со­кра­тить про­стран­ство (ко­ри­до­ры, про­хо­ды) для его об­слу­жи­ва­ния. Вза­им­ное рас­по­ло­же­ние сер­вер­ных стоек и кон­ди­ци­о­не­ров в этом слу­чае сво­дит к ми­ни­му­му нерав­но­мер­ность рас­пре­де­ле­ния хо­ло­да в ава­рий­ной ситуации.

Выбор раз­лич­ных ва­ри­ан­тов за­кры­той ар­хи­тек­ту­ры цир­ку­ля­ции воз­ду­ха пред­ло­жи­ла ком­па­ния «Асте­рос»: от изо­ля­ции хо­лод­но­го (ре­ше­ние от Knuеrr и Emerson) или го­ря­че­го ко­ри­до­ра (APC) до изо­ля­ции воз­душ­ных по­то­ков на уровне стой­ки (Rittal, APC, Emerson, Knuеrr). При­чем, как от­ме­ча­ет­ся в про­ек­те, 16 вы­со­ко­на­гру­жен­ных стоек можно раз­ме­стить и в от­дель­ном по­ме­ще­нии, и в общем зале. В ка­че­стве ва­ри­ан­тов кон­ди­ци­о­нер­но­го обо­ру­до­ва­ния спе­ци­а­ли­сты «Асте­рос» рас­смот­ре­ли воз­мож­ность уста­нов­ки внут­ри­ряд­ных кон­ди­ци­о­не­ров APC InRowRP/RD (с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра), Emerson CR040RC и за­кры­тых ре­ше­ний на базе обо­ру­до­ва­ния Knuеrr CoolLoop — во всех этих слу­ча­ях обес­пе­чи­ва­ет­ся ре­зер­ви­ро­ва­ние на уровне ряда по схеме N+1. Еще один ва­ри­ант — ряд­ные кон­ди­ци­о­не­ры LCP ком­па­нии Rittal, со­сто­я­щие из трех охла­жда­ю­щих мо­ду­лей, каж­дый из ко­то­рых можно за­ме­нить в «го­ря­чем» ре­жи­ме. В пол­ной мере до­ка­зав свою «вен­до­ро­не­за­ви­си­мость», ин­те­гра­то­ры «Асте­рос» все же от­ме­ти­ли, что при ис­поль­зо­ва­нии мо­но­брен­до­во­го ре­ше­ния, на­при­мер на базе про­дук­тов Emerson, все эле­мен­ты могут быть объ­еди­не­ны в еди­ную ло­каль­ную сеть, что поз­во­лит оп­ти­ми­зи­ро­вать ра­бо­ту си­сте­мы и сни­зить рас­ход энергии.

Как по­ла­га­ют в «Асте­рос», раз­ме­щать тру­бо­про­во­ды в под­по­то­лоч­ной зоне неже­ла­тель­но, по­сколь­ку при на­ли­чии под­вес­но­го по­тол­ка об­на­ру­жить и предот­вра­тить про­теч­ку и об­ра­зо­ва­ние кон­ден­са­та очень слож­но. По­это­му они ре­ко­мен­ду­ют обу­стро­ить фаль­шпол вы­со­той до 300 мм — этого до­ста­точ­но для про­клад­ки ка­бель­ной про­дук­ции и тру­бо­про­во­дов хо­ло­до­снаб­же­ния. Так же как и в ос­нов­ном полу, здесь необ­хо­ди­мо преду­смот­реть сред­ства для сбора жид­ко­сти при воз­ник­но­ве­нии ава­рий­ных си­ту­а­ций (гид­ро­изо­ля­ция, при­ям­ки, разу­к­лон­ка и т. д.).

Как и шкаф­ные кон­ди­ци­о­не­ры, внут­ри­ряд­ные до­вод­чи­ки вы­пус­ка­ют­ся не толь­ко в во­дя­ном, но и во фре­о­но­вом ис­пол­не­нии. На­при­мер, но­вин­ка ком­па­нии RC Group — внут­ри­ряд­ные си­сте­мы охла­жде­ния Coolside — по­став­ля­ет­ся в сле­ду­ю­щих ва­ри­ан­тах: с фре­о­но­вы­ми внут­рен­ни­ми бло­ка­ми, с внут­рен­ни­ми бло­ка­ми на охла­жден­ной воде, с одним на­руж­ным и одним внут­рен­ним фре­о­но­вым бло­ком, а также с одним на­руж­ным и несколь­ки­ми внут­рен­ни­ми фре­о­но­вы­ми бло­ка­ми. Учи­ты­вая по­же­ла­ние За­каз­чи­ка от­но­си­тель­но энер­го­сбе­ре­же­ния, для дан­но­го про­ек­та вы­бра­ны си­сте­мы Coolside, ра­бо­та­ю­щие на охла­жден­ной воде, по­лу­ча­е­мой от чил­ле­ра. Число чил­ле­ров, уста­нов­лен­ных на пер­вом этапе про­ек­та, при­дет­ся вдвое увеличить.

Для вы­со­ко­плот­ных стоек ком­па­ния «АМД­тех­но­ло­гии» раз­ра­бо­та­ла несколь­ко ва­ри­ан­тов ре­ше­ний — в за­ви­си­мо­сти от кон­цеп­ции, при­ня­той для стоек на 5 кВт. Если За­каз­чик вы­бе­рет бюд­жет­ный ва­ри­ант (фре­о­но­вые кон­ди­ци­о­не­ры), то в стой­ках на 20 кВт пред­ла­га­ет­ся уста­но­вить ряд­ные кон­ди­ци­о­не­ры-до­вод­чи­ки XDH, а в ка­че­стве хо­ло­диль­ной ма­ши­ны — чил­лер внут­рен­ней уста­нов­ки с вы­нос­ны­ми кон­ден­са­то­ра­ми XDC, обес­пе­чи­ва­ю­щий цир­ку­ля­цию хо­ло­до­но­си­те­ля для до­вод­чи­ков XDH. Если же За­каз­чик с са­мо­го на­ча­ла ори­ен­ти­ру­ет­ся на чил­ле­ры, то ре­ко­мен­ду­ет­ся до­ба­вить еще один чил­лер SBH 030 и также ис­поль­зо­вать кон­ди­ци­о­не­ры-до­вод­чи­ки XDH. Чтобы «раз­вя­зать» чил­лер­ную воду и фреон 134, ис­поль­зу­е­мый кон­ди­ци­о­не­ра­ми XDH, при­ме­ня­ют­ся спе­ци­аль­ные гид­рав­ли­че­ские мо­ду­ли XDP (см. Рисунок 6).

Спе­ци­а­ли­сты са­мо­го про­из­во­ди­те­ля — ком­па­нии Emerson Network — преду­смот­ре­ли толь­ко один ва­ри­ант, ос­но­ван­ный на раз­ви­тии чил­лер­ной си­сте­мы, пред­ло­жен­ной для стоек на 5 кВт. Они от­ме­ча­ют, что ис­поль­зо­ва­ние в си­сте­ме Liebert XD фрео­на R134 ис­клю­ча­ет ввод воды в по­ме­ще­ние ЦОД. В ос­но­ву ра­бо­ты этой си­сте­мы по­ло­же­но свой­ство жид­ко­стей по­гло­щать тепло при ис­па­ре­нии. Жид­кий хо­ло­до­но­си­тель, на­гне­та­е­мый на­со­сом, ис­па­ря­ет­ся в теп­ло­об­мен­ни­ках бло­ков охла­жде­ния XDH, а затем по­сту­па­ет в мо­дуль XDP, где вновь пре­вра­ща­ет­ся в жид­кость в ре­зуль­та­те про­цес­са кон­ден­са­ции. Таким об­ра­зом, ком­прес­си­он­ный цикл, при­сут­ству­ю­щий в тра­ди­ци­он­ных си­сте­мах, ис­клю­ча­ет­ся. Даже если слу­чит­ся утеч­ка жид­ко­сти, эко­ло­ги­че­ски без­вред­ный хо­ло­до­но­си­тель про­сто ис­па­рит­ся, не при­чи­нив ни­ка­ко­го вреда оборудованию.

Дан­ная схема пред­по­ла­га­ет воз­мож­ность по­этап­но­го ввода обо­ру­до­ва­ния: по мере уве­ли­че­ния мощ­но­сти на­груз­ки уста­нав­ли­ва­ют­ся до­пол­ни­тель­ные до­вод­чи­ки, ко­то­рые под­со­еди­ня­ют­ся к су­ще­ству­ю­щей си­сте­ме тру­бо­про­во­дов при по­мо­щи гиб­ких под­во­док и быст­ро­разъ­ем­ных со­еди­не­ний, что не тре­бу­ет оста­нов­ки си­сте­мы кондиционирования.

СПЕЦ­ШКА­ФЫ

Как счи­та­ет Алек­сандр Ша­пи­ро, на­чаль­ник от­де­ла ин­же­нер­ных си­стем «Кор­по­ра­ции ЮНИ», теп­ло­вы­де­ле­ние 18–20 кВт на шкаф — это при­мер­но та гра­ни­ца, когда тепло можно от­ве­сти за ра­зум­ную цену тра­ди­ци­он­ны­ми ме­то­да­ми (с при­ме­не­ни­ем внут­ри­ряд­ных и/или под­по­то­лоч­ных до­вод­чи­ков, вы­го­ра­жи­ва­ния рядов и т. п.). При более вы­со­кой плот­но­сти энер­го­по­треб­ле­ния вы­год­нее ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы с ло­каль­ны­ми си­сте­ма­ми во­дя­но­го охла­жде­ния. Же­ла­ние при­ме­нить для от­во­да тепла от вто­рой груп­пы шка­фов тра­ди­ци­он­ные ме­то­ды объ­яс­ни­мо, но, как пре­ду­пре­жда­ет спе­ци­а­лист «Кор­по­ра­ции ЮНИ», по­яв­ле­ние в зале новых энер­го­ем­ких шка­фов по­тре­бу­ет мон­та­жа до­пол­ни­тель­ных хо­ло­диль­ных машин, из­ме­не­ния кон­фи­гу­ра­ции вы­го­ро­док, кон­тро­ля за из­ме­нив­шей­ся «теп­ло­вой кар­ти­ной». Про­ве­де­ние таких («гряз­ных») работ в дей­ству­ю­щем ЦОДе не це­ле­со­об­раз­но. По­это­му в ка­че­стве энер­го­ем­ких шка­фов спе­ци­а­ли­сты «Кор­по­ра­ции ЮНИ» пред­ло­жи­ли ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы CoolLoop с от­во­дом тепла водой про­из­вод­ства Knuеrr в ва­ри­ан­те с тремя мо­ду­ля­ми охла­жде­ния (10 кВт каж­дый, N+1). По­доб­ный ва­ри­ант преду­смот­ре­ли и неко­то­рые дру­гие про­ек­ти­ров­щи­ки.

Ми­ну­сы та­ко­го ре­ше­ния свя­за­ны с по­вы­ше­ни­ем сто­и­мо­сти про­ек­та (CAPEX) и необ­хо­ди­мо­стью за­ве­де­ния воды в сер­вер­ный зал. Глав­ный плюс — в от­лич­ной мас­шта­би­ру­е­мо­сти: уста­нов­ка новых шка­фов не до­бав­ля­ет теп­ло­вой на­груз­ки в зале и не при­во­дит к пе­ре­рас­пре­де­ле­нию тепла, а под­клю­че­ние шкафа к си­сте­ме хо­ло­до­снаб­же­ния За­каз­чик может вы­пол­нять сво­и­ми си­ла­ми. Кроме того, он имеет воз­мож­ность путем до­бав­ле­ния вен­ти­ля­ци­он­но­го мо­ду­ля от­ве­сти от шкафа еще 10 кВт тепла (всего 30 кВт при со­хра­не­нии ре­зер­ви­ро­ва­ния N+1) — фак­ти­че­ски это ре­зерв для роста. На­ко­нец, как утвер­жда­ет Алек­сандр Ша­пи­ро, с точки зре­ния энер­го­сбе­ре­же­ния (OPEX) дан­ное ре­ше­ние яв­ля­ет­ся наи­бо­лее эффективным.

В про­ек­те «Кор­по­ра­ции ЮНИ» шкафы CoolLoop пред­по­ла­га­ет­ся уста­но­вить в общем сер­вер­ном зале с уче­том прин­ци­па че­ре­до­ва­ния го­ря­чих и хо­лод­но­го ко­ри­до­ров, чем га­ран­ти­ру­ет­ся ра­бо­то­спо­соб­ность шка­фов при ава­рий­ном или тех­но­ло­ги­че­ском от­кры­ва­нии две­рей. При­чем общее кон­ди­ци­о­ни­ро­ва­ние воз­ду­ха в зоне энер­го­ем­ких шка­фов обес­пе­чи­ва­ет­ся ана­ло­гич­но ос­нов­ной зоне сер­вер­но­го зала за одним ис­клю­че­ни­ем — запас хо­ло­да со­став­ля­ет 20–30 кВт. Кон­ди­ци­о­не­ры ре­ко­мен­до­ва­но уста­но­вить в от­дель­ном по­ме­ще­нии, смеж­ном с сер­вер­ным залом и залом раз­ме­ще­ния ИБП (см. Рисунок 7). Такая ком­по­нов­ка имеет ряд пре­иму­ществ: во-пер­вых, тем самым раз­гра­ни­чи­ва­ют­ся зоны от­вет­ствен­но­сти служ­бы кон­ди­ци­о­ни­ро­ва­ния и ИТ-служб (со­труд­ни­кам служ­бы кон­ди­ци­о­ни­ро­ва­ния нет необ­хо­ди­мо­сти за­хо­дить в сер­вер­ный зал); во-вто­рых, из зоны раз­ме­ще­ния кон­ди­ци­о­не­ров обес­пе­чи­ва­ет­ся по­да­ча/забор воз­ду­ха как в сер­вер­ный зал, так и в зал ИБП; в-тре­тьих, со­кра­ща­ет­ся число ре­зерв­ных кон­ди­ци­о­не­ров (ре­зерв общий).

ФРИ­КУ­ЛИНГ И ЭНЕРГОЭФФЕКТИВНОСТЬ

Как и про­сил За­каз­чик, все про­ек­ти­ров­щи­ки вклю­чи­ли функ­цию фри­ку­лин­га в свои ре­ше­ния, но мало кто рас­счи­тал энер­ге­ти­че­скую эф­фек­тив­ность ее ис­поль­зо­ва­ния. Такой рас­чет про­вел Ми­ха­ил Бал­ка­ров из APC by Schneider Electric. Вы­де­лив три ре­жи­ма ра­бо­ты си­сте­мы охла­жде­ния — с тем­пе­ра­ту­рой гли­ко­ле­во­го кон­ту­ра 22, 20 и 7°С (режим фри­ку­лин­га), — для каж­до­го он ука­зал ее по­треб­ле­ние (в про­цен­тах от по­лез­ной на­груз­ки) и ко­эф­фи­ци­ент энер­ге­ти­че­ской эф­фек­тив­но­сти (Energy Efficiency Ratio, EER), ко­то­рый опре­де­ля­ет­ся как от­но­ше­ние хо­ло­до­про­из­во­ди­тель­но­сти кон­ди­ци­о­не­ра к по­треб­ля­е­мой им мощ­но­сти. Для на­груз­ки в 600 кВт сред­не­го­до­вое по­треб­ле­ние пред­ло­жен­ной АРС си­сте­мы охла­жде­ния ока­за­лось рав­ным 66 кВт с функ­ци­ей фри­ку­лин­га и 116 кВт без та­ко­вой. Раз­ни­ца 50 кВт в год дает эко­но­мию 438 тыс. кВт*ч.

Объ­яс­няя вы­со­кую энер­го­эф­фек­тив­ность пред­ло­жен­но­го ре­ше­ния, Ми­ха­ил Бал­ка­ров от­ме­ча­ет, что в первую оче­редь эти по­ка­за­те­ли обу­слов­ле­ны вы­бо­ром чил­ле­ров с вы­со­ким EER и при­ме­не­ни­ем эф­фек­тив­ных внут­рен­них бло­ков — по его дан­ным, внут­ри­ряд­ные мо­де­ли кон­ди­ци­о­не­ров в со­че­та­нии с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра обес­пе­чи­ва­ют при­мер­но дву­крат­ную эко­но­мию по срав­не­нию с наи­луч­ши­ми фаль­шполь­ны­ми ва­ри­ан­та­ми и по­лу­то­ра­крат­ную эко­но­мию по срав­не­нию с ре­ше­ни­я­ми, где ис­поль­зу­ет­ся кон­тей­не­ри­за­ция хо­лод­но­го ко­ри­до­ра. Вклад же соб­ствен­но фри­ку­лин­га вто­ри­чен — имен­но по­это­му ра­бо­чая тем­пе­ра­ту­ра воды вы­бра­на не самой вы­со­кой (всего 12°С).

По рас­че­там спе­ци­а­ли­стов «Ком­плит», в усло­ви­ях Мос­ков­ской об­ла­сти пред­ло­жен­ное ими ре­ше­ние с функ­ци­ей фри­ку­лин­га за год поз­во­ля­ет сни­зить рас­ход элек­тро­энер­гии при­мер­но на 50%. Дан­ная функ­ция (в про­ек­те «Ком­плит») ак­ти­ви­зи­ру­ет­ся при тем­пе­ра­ту­ре около +7°С, при по­ни­же­нии тем­пе­ра­ту­ры на­руж­но­го воз­ду­ха вклад фри­ку­лин­га в хо­ло­до­про­из­во­ди­тель­ность будет воз­рас­тать. Пол­но­стью си­сте­ма вы­хо­дит на режим эко­но­мии при тем­пе­ра­ту­ре ниже -5°С.

Спе­ци­а­ли­сты «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» пред­ло­жи­ли рас­чет эко­но­мии, ко­то­рую дает при­ме­не­ние кон­ди­ци­о­не­ров с функ­ци­ей фри­ку­лин­га (мо­дель ALD-702-GE) по срав­не­нию с ис­поль­зо­ва­ни­ем устройств, не осна­щен­ных такой функ­ци­ей (мо­дель ASD-802-A). Как и про­сил За­каз­чик, рас­чет при­вя­зан к Мос­ков­ско­му ре­ги­о­ну (см. Рисунок 8).

Как от­ме­ча­ет Вик­тор Гав­ри­лов, энер­го­по­треб­ле­ние в лет­ний пе­ри­од (при мак­си­маль­ной за­груз­ке) у фре­о­но­вой си­сте­мы ниже, чем у чил­лер­ной, но при тем­пе­ра­ту­ре менее 14°С, энер­го­по­треб­ле­ние по­след­ней сни­жа­ет­ся, что обу­слов­ле­но ра­бо­той фри­ку­лин­га. Эта функ­ция поз­во­ля­ет су­ще­ствен­но по­вы­сить срок экс­плу­а­та­ции и на­деж­ность си­сте­мы, так как в зим­ний пе­ри­од ком­прес­со­ры прак­ти­че­ски не ра­бо­та­ют — в связи с этим ре­сурс ра­бо­ты чил­лер­ных си­стем, как ми­ни­мум, в пол­то­ра раза боль­ше чем у фреоновых.

К пре­иму­ще­ствам пред­ло­жен­ных За­каз­чи­ку чил­ле­ров Emerson Вик­тор Гав­ри­лов от­но­сит воз­мож­ность их объ­еди­не­ния в еди­ную сеть управ­ле­ния и ис­поль­зо­ва­ния функ­ции кас­кад­ной ра­бо­ты хо­ло­диль­ных машин в ре­жи­ме фри­ку­лин­га. Более того, раз­ра­бо­тан­ная ком­па­ни­ей Emerson си­сте­ма Supersaver поз­во­ля­ет управ­лять тем­пе­ра­ту­рой хо­ло­до­но­си­те­ля в со­от­вет­ствии с из­ме­не­ни­я­ми теп­ло­вой на­груз­ки, что уве­ли­чи­ва­ет пе­ри­од вре­ме­ни, в те­че­ние ко­то­ро­го воз­мож­но функ­ци­о­ни­ро­ва­ние си­сте­мы в этом ре­жи­ме. По дан­ным Emerson, при уста­нов­ке чил­ле­ров на 330 кВт режим фри­ку­лин­га поз­во­ля­ет сэко­но­мить 45% элек­тро­энер­гии, кас­кад­ное вклю­че­ние — 5%, тех­но­ло­гия Supersaver — еще 16%, итого — 66%.

Но не все столь оп­ти­ми­стич­ны в от­но­ше­нии фри­ку­лин­га. Алек­сандр Ша­пи­ро на­по­ми­на­ет, что в нашу стра­ну куль­ту­ра ис­поль­зо­ва­ния фри­ку­лин­га в зна­чи­тель­ной мере при­не­се­на с За­па­да, между тем как по­тре­би­тель­ская сто­и­мость этой опции во мно­гом за­ви­сит от сто­и­мо­сти элек­тро­энер­гии, а на се­го­дняш­ний день в Рос­сии и За­пад­ной Ев­ро­пе цены се­рьез­но раз­ли­ча­ют­ся. «Опция фри­ку­лин­га ощу­ти­мо до­ро­га, в Рос­сии же до­ста­точ­но часто ИТ-про­ек­ты пла­ни­ру­ют­ся с де­фи­ци­том бюд­же­та. По­это­му За­каз­чик вы­нуж­ден вы­би­рать: либо обес­пе­чить пла­ни­ру­е­мые тех­ни­че­ские по­ка­за­те­ли ЦОД путем про­сто­го ре­ше­ния (не думая о про­бле­ме уве­ли­че­ния OPEX), либо «ло­мать копья» в по­пыт­ке до­ка­зать це­ле­со­об­раз­ность фри­ку­лин­га, со­гла­ша­ясь на сни­же­ние па­ра­мет­ров ЦОД. В боль­шин­стве слу­ча­ев выбор де­ла­ет­ся в поль­зу пер­во­го ва­ри­ан­та», — за­клю­ча­ет он.

Среди пред­ло­жен­ных За­каз­чи­ку более по­лу­то­ра де­сят­ков ре­ше­ний оди­на­ко­вых нет — даже те, что по­стро­е­ны на ана­ло­гич­ных ком­по­нен­тах од­но­го про­из­во­ди­те­ля, имеют свои осо­бен­но­сти. Это го­во­рит о том, что за­да­чи, свя­зан­ные с охла­жде­ни­ем, от­но­сят­ся к числу наи­бо­лее слож­ных, и ти­по­вые от­ра­бо­тан­ные ре­ше­ния по сути от­сут­ству­ют. Тем не менее, среди пред­став­лен­ных ва­ри­ан­тов За­каз­чик на­вер­ня­ка смо­жет вы­брать наи­бо­лее под­хо­дя­щий с уче­том пред­по­чте­ний в части CAPEX/OPEX и пла­нов по даль­ней­ше­му раз­ви­тию ЦОД.

Алек­сандр Бар­сков — ве­ду­щий ре­дак­тор «Жур­на­ла се­те­вых ре­ше­ний/LAN»

[ http://www.osp.ru/lan/2010/05/13002554/]

Тематики

• ЦОДы (центры обработки данных)

EN

• data center cooling system

система охлаждения ЦОДа
-
[Интент]т

Система охлаждения для небольшого ЦОДа

Александр Барсков

Вы­мыш­лен­ная ком­па­ния (далее За­каз­чик) по­про­си­ла пред­ло­жить си­сте­му охла­жде­ния для стро­я­ще­го­ся ком­мер­че­ско­го ЦОДа. В ос­нов­ном зале пла­ни­ру­ет­ся установить:

• 60 стоек с энер­го­по­треб­ле­ни­ем по 5 кВт (всего 300 кВт) — все эле­мен­ты, необ­хо­ди­мые для обес­пе­че­ния тре­бу­е­мой тем­пе­ра­ту­ры и влаж­но­сти, долж­ны быть уста­нов­ле­ны сразу;
• 16 стоек с энер­го­по­треб­ле­ни­ем по 20 кВт (всего 320 кВт) — это обо­ру­до­ва­ние будет уста­нав­ли­вать­ся по­сте­пен­но (по мере необ­хо­ди­мо­сти), и сред­ства охла­жде­ния пла­ни­ру­ет­ся раз­вер­ты­вать и за­дей­ство­вать по мере под­клю­че­ния и за­груз­ки стоек.

За­каз­чик за­явил, что пред­по­чте­ние будет от­да­но энер­го­эф­фек­тив­ным ре­ше­ни­ям, по­это­му же­ла­тель­но за­дей­ство­вать «зе­ле­ные» тех­но­ло­гии, в первую оче­редь фри­ку­линг (есте­ствен­ное охла­жде­ние на­руж­ным воз­ду­хом — free cooling), и предо­ста­вить рас­чет оку­па­е­мо­сти со­от­вет­ству­ю­щей опции (с уче­том того, что объ­ект на­хо­дит­ся в Мос­ков­ской об­ла­сти). Пла­ни­ру­е­мый уро­вень ре­зер­ви­ро­ва­ния — N+1, но воз­мож­ны и дру­гие ва­ри­ан­ты — при на­ли­чии долж­но­го обос­но­ва­ния. Кроме того, За­каз­чик по­про­сил из­на­чаль­но преду­смот­реть сред­ства мо­ни­то­рин­га энер­го­по­треб­ле­ния с целью оп­ти­ми­за­ции рас­хо­да электроэнергии.

ЧТО ПРО­ГЛЯ­ДЕЛ ЗАКАЗЧИК

В сфор­му­ли­ро­ван­ной в столь общем виде за­да­че не учтен ряд су­ще­ствен­ных де­та­лей, на ко­то­рые не пре­ми­ну­ли ука­зать экс­пер­ты. Так, Дмит­рий Ча­га­ров, ру­ко­во­ди­тель на­прав­ле­ния вен­ти­ля­ции и кон­ди­ци­о­ни­ро­ва­ния ком­па­нии «Ути­лекс», за­ме­тил, что в за­да­нии ни­че­го не ска­за­но о ха­рак­те­ре на­груз­ки. Он, как и осталь­ные про­ек­ти­ров­щи­ки, ис­хо­дил из пред­по­ло­же­ния, что воз­душ­ный поток на­прав­лен с фрон­таль­ной части стоек назад, но, как из­вест­но, неко­то­рые ком­му­та­то­ры спро­ек­ти­ро­ва­ны для охла­жде­ния сбоку — для них при­дет­ся ис­поль­зо­вать спе­ци­аль­ные бо­ко­вые блоки рас­пре­де­ле­ния воз­душ­но­го потока.

В за­да­нии ска­за­но о раз­ме­ще­нии всех стоек (5 и 20 кВт) в ос­нов­ном зале, од­на­ко неко­то­рые экс­пер­ты на­сто­я­тель­но ре­ко­мен­ду­ют вы­де­лить от­дель­ную зону для вы­со­ко­на­гру­жен­ных стоек. По сло­вам Алек­сандра Мар­ты­ню­ка, ге­не­раль­но­го ди­рек­то­ра кон­сал­тин­го­вой ком­па­нии «Ди Си квад­рат», «это будет пра­виль­нее и с точки зре­ния про­ек­ти­ро­ва­ния, и с по­зи­ций удоб­ства экс­плу­а­та­ции». Такое вы­де­ле­ние (изо­ля­ция осу­ществ­ля­ет­ся при по­мо­щи вы­го­ро­док) преду­смот­ре­но, на­при­мер, в про­ек­те ком­па­нии «Ком­плит»: Вла­ди­слав Яко­вен­ко, на­чаль­ник от­де­ла ин­фра­струк­тур­ных про­ек­тов, уве­рен, что по­доб­ное ре­ше­ние, во-пер­вых, об­лег­чит об­слу­жи­ва­ние обо­ру­до­ва­ния, а во-вто­рых, поз­во­лит ис­поль­зо­вать раз­лич­ные тех­но­ло­гии хо­ло­до­снаб­же­ния в раз­ных зонах. Впро­чем, боль­шин­ство про­ек­ти­ров­щи­ков не ис­пы­та­ли осо­бых про­блем при ре­ше­нии за­да­чи по от­во­ду тепла от стоек 5 и 20 кВт, уста­нов­лен­ных в одном помещении.

Один из пер­вых во­про­сов, с ко­то­рым За­каз­чик об­ра­тил­ся к бу­ду­ще­му парт­не­ру, был свя­зан с фаль­шпо­лом: «Необ­хо­дим ли он во­об­ще, и если нужен, то какой вы­со­ты?». Алек­сандр Мар­ты­нюк ука­зал, что гра­мот­ный рас­чет вы­со­ты фаль­шпо­ла воз­мо­жен толь­ко при усло­вии предо­став­ле­ния до­пол­ни­тель­ной ин­фор­ма­ции: о типе стоек (как в них будет ор­га­ни­зо­ва­на по­да­ча охла­жда­ю­ще­го воз­ду­ха?); об ор­га­ни­за­ции ка­бель­ной про­вод­ки (под полом или по­тол­ком? сколь­ко ка­бе­лей? ка­ко­го диа­мет­ра?); об осо­бен­но­стях по­ме­ще­ния (вы­со­та по­тол­ков, со­от­но­ше­ние длин стен, на­ли­чие вы­сту­пов и опор­ных ко­лонн) и т. д. Он со­ве­ту­ет вы­пол­нить тем­пе­ра­тур­но-кли­ма­ти­че­ское мо­де­ли­ро­ва­ние по­ме­ще­ния с уче­том вы­ше­пе­ре­чис­лен­ных па­ра­мет­ров и, если по­тре­бу­ет­ся, уточ­ня­ю­щих дан­ных. В ре­зуль­та­те можно будет под­го­то­вить ре­ко­мен­да­ции в от­но­ше­нии оп­ти­маль­ной вы­со­ты фаль­шпо­ла, а также дать оцен­ку це­ле­со­об­раз­но­сти раз­ме­ще­ния в одном зале стоек с раз­ной энергонагруженностью.

Что ж, мы дей­стви­тель­но не предо­ста­ви­ли всей ин­фор­ма­ции, необ­хо­ди­мой для по­доб­но­го мо­де­ли­ро­ва­ния, и про­ек­ти­ров­щи­кам при­ш­лось до­воль­ство­вать­ся скуд­ны­ми ис­ход­ны­ми дан­ны­ми. И все же, на­де­ем­ся, пред­став­лен­ные ре­ше­ния ока­жут­ся ин­те­рес­ны­ми и по­лез­ны­ми ши­ро­ко­му кругу за­каз­чи­ков. Им оста­нет­ся толь­ко «по­до­гнать» ре­ше­ния «под себя».

«КЛАС­СИ­КА» ОХЛАЖДЕНИЯ

Для сня­тия тепла со стоек при на­груз­ке 5 кВт боль­шин­ство про­ек­ти­ров­щи­ков пред­ло­жи­ли самый рас­про­стра­нен­ный на се­год­ня ва­ри­ант — уста­нов­ку шкаф­ных пре­ци­зи­он­ных кон­ди­ци­о­не­ров, по­да­ю­щих хо­лод­ный воз­дух в про­стран­ство под фаль­шпо­лом. Под­вод воз­ду­ха к обо­ру­до­ва­нию осу­ществ­ля­ет­ся в зоне хо­лод­ных ко­ри­до­ров через пер­фо­ри­ро­ван­ные плиты или воз­ду­хо­рас­пре­де­ли­тель­ные ре­шет­ки фаль­шпо­ла, а отвод воз­ду­ха от кон­ди­ци­о­не­ров — из зоны го­ря­чих ко­ри­до­ров через верх­нюю часть зала или про­стран­ство на­вес­но­го по­тол­ка (см. Рисунок 1). Такая схема может быть ре­а­ли­зо­ва­на толь­ко при на­ли­чии фаль­шпо­ла до­ста­точ­ной высоты

В во­про­се вы­бо­ра места для уста­нов­ки шкаф­ных кон­ди­ци­о­не­ров един­ство мне­ний от­сут­ству­ет, мно­гие ука­за­ли на воз­мож­ность их раз­ме­ще­ния как в сер­вер­ном зале, так и в со­сед­нем по­ме­ще­нии. Алек­сей Кар­пин­ский, ди­рек­тор де­пар­та­мен­та ин­же­нер­ных си­стем ком­па­нии «Асте­рос», уве­рен, что для низ­ко­на­гру­жен­ных стоек луч­шим ре­ше­ни­ем будет вынос «тя­же­лой ин­же­не­рии» за пре­де­лы сер­вер­но­го зала (см. Рисунок 2) — тогда для об­слу­жи­ва­ния кон­ди­ци­о­не­ров внутрь зала вхо­дить не при­дет­ся. «Это по­вы­ша­ет на­деж­ность ра­бо­ты обо­ру­до­ва­ния, ведь, как из­вест­но, наи­бо­лее часто оно вы­хо­дит из строя вслед­ствие че­ло­ве­че­ско­го фак­то­ра, — объ­яс­ня­ет он. — При­чем по­ме­ще­ние с кон­ди­ци­о­не­ра­ми может быть со­вер­шен­но не свя­зан­ным с ма­шин­ным залом и рас­по­ла­гать­ся, на­при­мер, через ко­ри­дор или на дру­гом этаже».

Если стой­ки мощ­но­стью 5 и 20 кВт уста­нав­ли­ва­ют­ся в одном по­ме­ще­нии, Алек­сандр Ласый, за­ме­сти­тель ди­рек­то­ра де­пар­та­мен­та ин­тел­лек­ту­аль­ных зда­ний ком­па­нии «Крок», ре­ко­мен­ду­ет ор­га­ни­зо­вать фи­зи­че­ское раз­де­ле­ние го­ря­чих и хо­лод­ных ко­ри­до­ров. В си­ту­а­ции, когда для вы­со­ко­на­гру­жен­ных стоек вы­де­ля­ет­ся от­дель­ное по­ме­ще­ние, по­доб­но­го раз­де­ле­ния для стоек на 5 кВт не требуется.

ФРЕОН ИЛИ ВОДА

Шкаф­ные кон­ди­ци­о­не­ры на рынке пред­став­ле­ны как во фре­о­но­вом ис­пол­не­нии, так и в ва­ри­ан­тах с во­дя­ным охла­жде­ни­ем. При ис­поль­зо­ва­нии фре­о­но­вых кон­ди­ци­о­не­ров на крыше или при­ле­га­ю­щей тер­ри­то­рии необ­хо­ди­мо преду­смот­реть место для уста­нов­ки кон­ден­са­тор­ных бло­ков, а при во­дя­ном охла­жде­нии по­тре­бу­ет­ся место под на­сос­ную и во­до­охла­жда­ю­щие ма­ши­ны (чиллеры).

Спе­ци­а­ли­сты ком­па­нии «АМД­тех­но­ло­гии» пред­ста­ви­ли За­каз­чи­ку срав­не­ние раз­лич­ных ва­ри­ан­тов фре­о­но­вых и во­дя­ных си­стем кон­ди­ци­о­ни­ро­ва­ния. Наи­бо­лее бюд­жет­ный ва­ри­ант преду­смат­ри­ва­ет уста­нов­ку обыч­ных шкаф­ных фре­о­но­вых кон­ди­ци­о­не­ров HPM M50 UA с по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. При­мер­но на чет­верть до­ро­же обой­дут­ся мо­де­ли кон­ди­ци­о­не­ров с циф­ро­вым спи­раль­ным ком­прес­со­ром и элек­трон­ным тер­мо­рас­ши­ри­тель­ным вен­ти­лем (HPM D50 UA, Digital). Мощ­ность кон­ди­ци­о­не­ров ре­гу­ли­ру­ет­ся в за­ви­си­мо­сти от тем­пе­ра­ту­ры в по­ме­ще­нии, это поз­во­ля­ет до­бить­ся 12-про­цент­ной эко­но­мии элек­тро­энер­гии, а также умень­шить ко­ли­че­ство пусков и оста­но­ва ком­прес­со­ра, что по­вы­ша­ет срок служ­бы си­сте­мы. В слу­чае от­сут­ствия на объ­ек­те фаль­шпо­ла (или его недо­ста­точ­ной вы­со­ты) пред­ло­жен более до­ро­гой по на­чаль­ным вло­же­ни­ям, но эко­но­мич­ный в экс­плу­а­та­ции ва­ри­ант с внут­ри­ряд­ны­ми фре­о­но­вы­ми кондиционерами.

Как по­ка­зы­ва­ет пред­став­лен­ный ана­лиз, фре­о­но­вые кон­ди­ци­о­не­ры менее эф­фек­тив­ны по срав­не­нию с си­сте­мой во­дя­но­го охла­жде­ния. При этом, о чем на­по­ми­на­ет Вик­тор Гав­ри­лов, тех­ни­че­ский ди­рек­тор «АМД­тех­но­ло­гий», фре­о­но­вая си­сте­ма имеет огра­ни­че­ние по длине тру­бо­про­во­да и пе­ре­па­ду высот между внут­рен­ни­ми и на­руж­ны­ми бло­ка­ми (эк­ви­ва­лент­ная общая длина трас­сы фре­о­но­про­во­да не долж­на пре­вы­шать 50 м, а ре­ко­мен­ду­е­мый пе­ре­пад по вы­со­те — 30 м); у во­дя­ной си­сте­мы таких огра­ни­че­ний нет, по­это­му ее можно при­спо­со­бить к любым осо­бен­но­стям зда­ния и при­ле­га­ю­щей тер­ри­то­рии. Важно также пом­нить, что при при­ме­не­нии фре­о­но­вой си­сте­мы пер­спек­ти­вы раз­ви­тия (уве­ли­че­ние плот­но­сти энер­го­по­треб­ле­ния) су­ще­ствен­но огра­ни­че­ны, тогда как при за­клад­ке необ­хо­ди­мой ин­фра­струк­ту­ры по­да­чи хо­лод­ной воды к стой­кам (тру­бо­про­во­ды, на­со­сы, ар­ма­ту­ра) на­груз­ку на стой­ку можно впо­след­ствии уве­ли­чи­вать до 30 кВт и выше, не при­бе­гая к ка­пи­таль­ной ре­кон­струк­ции сер­вер­но­го помещения.

К фак­то­рам, ко­то­рые могут опре­де­лить выбор в поль­зу фре­о­но­вых кон­ди­ци­о­не­ров, можно от­не­сти от­сут­ствие места на улице (на­при­мер из-за невоз­мож­но­сти обес­пе­чить по­жар­ный про­езд) или на кров­ле (вслед­ствие осо­бен­но­стей кон­струк­ции или ее недо­ста­точ­ной несу­щей спо­соб­но­сти) для мон­та­жа мо­но­блоч­ных чил­ле­ров на­руж­ной уста­нов­ки. При этом боль­шин­ство экс­пер­тов еди­но­душ­но вы­ска­зы­ва­ют мне­ние, что при ука­зан­ных мощ­но­стях ре­ше­ние на воде эко­но­ми­че­ски це­ле­со­об­раз­нее и проще в ре­а­ли­за­ции. Кроме того, при ис­поль­зо­ва­нии воды и/или эти­лен­гли­ко­ле­вой смеси в ка­че­стве хо­ло­до­но­си­те­ля можно за­дей­ство­вать ти­по­вые функ­ции фри­ку­лин­га в чиллерах.

Впро­чем, функ­ции фри­ку­лин­га воз­мож­но за­дей­ство­вать и во фре­о­но­вых кон­ди­ци­о­не­рах. Такие ва­ри­ан­ты ука­за­ны в пред­ло­же­ни­ях ком­па­ний RC Group и «Ин­же­нер­ное бюро ’’Хос­сер‘‘», где ис­поль­зу­ют­ся фре­о­но­вые кон­ди­ци­о­не­ры со встро­ен­ны­ми кон­ден­са­то­ра­ми во­дя­но­го охла­жде­ния и внеш­ни­ми теп­ло­об­мен­ни­ка­ми с функ­ци­ей фри­ку­лин­га (сухие гра­дир­ни). Спе­ци­а­ли­сты RC Group сразу от­ка­за­лись от ва­ри­ан­та с уста­нов­кой кон­ди­ци­о­не­ров с вы­нос­ны­ми кон­ден­са­то­ра­ми воз­душ­но­го охла­жде­ния, по­сколь­ку он не со­от­вет­ству­ет тре­бо­ва­нию За­каз­чи­ка за­дей­ство­вать режим фри­ку­лин­га. По­ми­мо уже на­зван­но­го они пред­ло­жи­ли ре­ше­ние на ос­но­ве кон­ди­ци­о­не­ров, ра­бо­та­ю­щих на охла­жден­ной воде. Ин­те­рес­но от­ме­тить, что и про­ек­ти­ров­ши­ки «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» раз­ра­бо­та­ли вто­рой ва­ри­ант на воде.

Если ком­па­ния «АМД­тех­но­ло­гии» пред­ло­жи­ла для стоек на 5 кВт ре­ше­ние на базе внут­ри­ряд­ных кон­ди­ци­о­не­ров толь­ко как один из воз­мож­ных ва­ри­ан­тов, то APC by Schneider Electric (см. Ри­су­нок 3), а также один из парт­не­ров этого про­из­во­ди­те­ля, ком­па­ния «Ути­лекс», от­да­ют пред­по­чте­ние кон­ди­ци­о­не­рам, уста­нав­ли­ва­е­мым в ряды стоек. В обоих ре­ше­ни­ях пред­ло­же­но изо­ли­ро­вать го­ря­чий ко­ри­дор с по­мо­щью си­сте­мы HACS (см. Ри­су­нок 4). «Для эф­фек­тив­но­го охла­жде­ния необ­хо­ди­мо сни­зить по­те­ри при транс­пор­ти­ров­ке хо­лод­но­го воз­ду­ха, по­это­му си­сте­мы кон­ди­ци­о­ни­ро­ва­ния лучше уста­но­вить рядом с на­груз­кой. Раз­ме­ще­ние кон­ди­ци­о­не­ров в от­дель­ном по­ме­ще­нии — такая мо­дель при­ме­ня­лась в со­вет­ских вы­чис­ли­тель­ных цен­трах — в дан­ном слу­чае менее эф­фек­тив­но», — счи­та­ет Дмит­рий Ча­га­ров. В слу­чае ис­поль­зо­ва­ния внут­ри­ряд­ных кон­ди­ци­о­не­ров фаль­шпол уже не яв­ля­ет­ся необ­хо­ди­мо­стью, хотя в про­ек­те «Ути­лек­са» он преду­смот­рен — для про­клад­ки трасс хо­ло­до­снаб­же­ния, элек­тро­пи­та­ния и СКС.

Ми­ха­ил Бал­ка­ров, си­стем­ный ин­же­нер ком­па­нии APC by Schneider Electric, от­ме­ча­ет, что при от­сут­ствии фаль­шпо­ла трубы можно про­ло­жить либо в штро­бах, либо свер­ху, преду­смот­рев до­пол­ни­тель­ный уро­вень за­щи­ты в виде лот­ков или ко­ро­бов для кон­тро­ли­ру­е­мо­го слива воз­мож­ных про­те­чек. Если же фаль­шпол преду­смат­ри­ва­ет­ся, то его ре­ко­мен­ду­е­мая вы­со­та со­став­ля­ет не менее 40 см — из со­об­ра­же­ний удоб­ства про­клад­ки труб.

ЧИЛ­ЛЕР И ЕГО «ОБВЯЗКА»

В боль­шин­стве про­ек­тов преду­смат­ри­ва­ет­ся уста­нов­ка внеш­не­го чил­ле­ра и ор­га­ни­за­ция двух­кон­тур­ной си­сте­мы хо­ло­до­снаб­же­ния. Во внеш­нем кон­ту­ре, свя­зы­ва­ю­щем чил­ле­ры и про­ме­жу­точ­ные теп­ло­об­мен­ни­ки, хо­ло­до­но­си­те­лем слу­жит вод­ный рас­твор эти­лен­гли­ко­ля, а во внут­рен­нем — между теп­ло­об­мен­ни­ка­ми и кон­ди­ци­о­не­ра­ми (шкаф­ны­ми и/или внут­ри­ряд­ны­ми) — цир­ку­ли­ру­ет уже чи­стая вода. Необ­хо­ди­мость ис­поль­зо­ва­ния эти­лен­гли­ко­ля во внеш­нем кон­ту­ре легко объ­яс­ни­ма — это ве­ще­ство зимой не за­мер­за­ет. У За­каз­чи­ка воз­ник ре­зон­ный во­прос: зачем нужен вто­рой кон­тур, и по­че­му нель­зя ор­га­ни­зо­вать всего один — ведь в этом слу­чае КПД будет выше?

По сло­вам Вла­ди­сла­ва Яко­вен­ко, двух­кон­тур­ная схема поз­во­ля­ет сни­зить объем до­ро­го­го хо­ло­до­но­си­те­ля (эти­лен­гли­ко­ля) и яв­ля­ет­ся более эко­ло­гич­ной. Эти­лен­гли­коль — ядо­ви­тое, хи­ми­че­ски ак­тив­ное ве­ще­ство, и если про­теч­ка слу­чит­ся внут­ри по­ме­ще­ния ЦОД, лик­ви­да­ция по­след­ствий такой ава­рии ста­нет се­рьез­ной про­бле­мой для служ­бы экс­плу­а­та­ции. Сле­ду­ет также учи­ты­вать, что при со­дер­жа­нии гли­ко­ля в рас­тво­ре хо­ло­до­но­си­те­ля на уровне 40% по­тре­бу­ют­ся более мощ­ные на­со­сы (из-за вы­со­кой вяз­ко­сти рас­тво­ра), по­это­му по­треб­ле­ние энер­гии и, со­от­вет­ствен­но, экс­плу­а­та­ци­он­ные рас­хо­ды уве­ли­чат­ся. На­ко­нец, тре­бо­ва­ние к мон­та­жу си­сте­мы без гли­ко­ля го­раз­до ниже, а экс­плу­а­ти­ро­вать ее проще.

При ис­поль­зо­ва­нии чил­ле­ров функ­цию «бес­пе­ре­бой­но­го охла­жде­ния» ре­а­ли­зо­вать до­воль­но про­сто: при воз­ник­но­ве­нии пе­ре­бо­ев с по­да­чей элек­тро­энер­гии си­сте­ма спо­соб­на обес­пе­чить охла­жде­ние сер­вер­ной до за­пус­ка ди­зе­ля или кор­рект­но­го вы­клю­че­ния сер­ве­ров за счет хо­лод­ной воды, за­па­сен­ной в ба­ках-ак­ку­му­ля­то­рах. Как от­ме­ча­ет Вик­тор Гав­ри­лов, ре­а­ли­за­ция по­доб­ной схемы поз­во­ля­ет удер­жать из­ме­не­ние гра­ди­ен­та тем­пе­ра­ту­ры в до­пу­сти­мых пре­де­лах (ве­ду­щие про­из­во­ди­те­ли сер­ве­ров тре­бу­ют, чтобы ско­рость из­ме­не­ния тем­пе­ра­ту­ры со­став­ля­ла не более 50С/час, а уве­ли­че­ние этой ско­ро­сти может при­ве­сти к по­лом­ке сер­вер­но­го обо­ру­до­ва­ния, что осо­бен­но часто про­ис­хо­дит при воз­об­нов­ле­нии охла­жде­ния в ре­зуль­та­те рез­ко­го сни­же­ния тем­пе­ра­ту­ры). При про­па­да­нии элек­тро­пи­та­ния для под­дер­жа­ния ра­бо­ты чил­лер­ной си­сте­мы кон­ди­ци­о­ни­ро­ва­ния необ­хо­ди­мо толь­ко обес­пе­чить функ­ци­о­ни­ро­ва­ние пе­ре­ка­чи­ва­ю­щих на­со­сов и вен­ти­ля­то­ров кон­ди­ци­о­не­ров — по­треб­ле­ние от ИБП сво­дит­ся к ми­ни­му­му. Для клас­си­че­ских фре­о­но­вых си­стем необ­хо­ди­мо обес­пе­чить пи­та­ни­ем весь ком­плекс це­ли­ком (при этом все ком­прес­со­ры долж­ны быть осна­ще­ны функ­ци­ей «мяг­ко­го за­пус­ка»), по­это­му тре­бу­ют­ся кон­ди­ци­о­не­ры и ИБП более до­ро­гой комплектации.

КОГДА РАС­ТЕТ ПЛОТНОСТЬ

Боль­шин­ство пред­ло­жен­ных За­каз­чи­ку ре­ше­ний для охла­жде­ния вы­со­ко­на­гру­жен­ных стоек (20 кВт) преду­смат­ри­ва­ет ис­поль­зо­ва­ние внут­ри­ряд­ных кон­ди­ци­о­не­ров. Как по­ла­га­ет Алек­сандр Ласый, ос­нов­ная слож­ность при от­во­де от стой­ки 20 кВт тепла с по­мо­щью клас­си­че­ской схемы охла­жде­ния, ба­зи­ру­ю­щей­ся на шкаф­ных кон­ди­ци­о­не­рах, свя­за­на с по­да­чей охла­жден­но­го воз­ду­ха из-под фаль­шполь­но­го про­стран­ства и до­став­кой его до теп­ло­вы­де­ля­ю­ще­го обо­ру­до­ва­ния. «Зна­чи­тель­ные пе­ре­па­ды дав­ле­ния на пер­фо­ри­ро­ван­ных ре­шет­ках фаль­шпо­ла и вы­со­кие ско­ро­сти дви­же­ния воз­ду­ха со­зда­ют нерав­но­мер­ный воз­душ­ный поток в зоне перед стой­ка­ми даже при раз­де­ле­нии го­ря­чих и хо­лод­ных ко­ри­до­ров, — от­ме­ча­ет он. — Это при­во­дит к нерав­но­мер­но­му охла­жде­нию стоек и их пе­ре­гре­ву. В слу­чае пе­ре­мен­ной за­груз­ки стоек воз­ни­ка­ет необ­хо­ди­мость пе­ре­на­стра­и­вать си­сте­му воз­ду­хо­рас­пре­де­ле­ния через фаль­шпол, что до­воль­но затруднительно».

Впро­чем, неко­то­рые ком­па­нии «риск­ну­ли» пред­ло­жить для стоек на 20 кВт си­сте­му, ос­но­ван­ную на тех же прин­ци­пах, что при­ме­ня­ют­ся для стоек на 5кВт, — по­да­чей хо­лод­но­го воз­ду­ха под фаль­шпол. По сло­вам Сер­гея Бон­да­ре­ва, ру­ко­во­ди­те­ля от­де­ла про­даж «Вайсс Кли­ма­тех­ник», его опыт по­ка­зы­ва­ет, что уста­нов­ка до­пол­ни­тель­ных ре­ше­ток во­круг стой­ки для уве­ли­че­ния пло­ща­ди се­че­ния, через ко­то­рое по­сту­па­ет хо­лод­ный воз­дух (а зна­чит и его объ­е­ма), поз­во­ля­ет сни­мать теп­ло­вую на­груз­ку в 20 кВт. Ре­ше­ние этой ком­па­нии от­ли­ча­ет­ся от дру­гих про­ек­тов ре­а­ли­за­ци­ей фри­ку­лин­га: кон­струк­ция кон­ди­ци­о­не­ров Deltaclima FC про­из­вод­ства Weiss Klimatechnik поз­во­ля­ет под­во­дить к ним хо­лод­ный воз­дух прямо с улицы.

Ин­те­рес­ное ре­ше­ние пред­ло­жи­ла ком­па­ния «Юни­Конд», парт­нер ита­льян­ской Uniflair: клас­си­че­ская си­сте­ма охла­жде­ния через фаль­шпол до­пол­ня­ет­ся обо­ру­до­ван­ны­ми вен­ти­ля­то­ра­ми мо­ду­ля­ми «ак­тив­но­го пола», ко­то­рые уста­нав­ли­ва­ют­ся вме­сто обыч­ных пли­ток фаль­шпо­ла. По утвер­жде­нию спе­ци­а­ли­стов «Юни­Конд», такие мо­ду­ли поз­во­ля­ют су­ще­ствен­но уве­ли­чить объ­е­мы ре­гу­ли­ру­е­мых по­то­ков воз­ду­ха: до 4500 м³/час вме­сто 800–1000 м³/час от обыч­ной ре­шет­ки 600х600 мм. Они также от­ме­ча­ют, что про­сто уста­но­вить вен­ти­ля­тор в под­поль­ном про­стран­стве недо­ста­точ­но для обес­пе­че­ния га­ран­ти­ро­ван­но­го охла­жде­ния сер­вер­ных стоек. Важно пра­виль­но ор­га­ни­зо­вать воз­душ­ный поток как по дав­ле­нию, так и по на­прав­ле­нию воз­ду­ха, чтобы обес­пе­чить по­да­чу воз­ду­ха не толь­ко в верх­нюю часть стой­ки, но и, в слу­чае необ­хо­ди­мо­сти, в ее ниж­нюю часть. Для этого па­нель «ак­тив­но­го пола» по­ми­мо вен­ти­ля­то­ра ком­плек­ту­ет­ся про­цес­со­ром, дат­чи­ка­ми тем­пе­ра­ту­ры и по­во­рот­ны­ми ла­ме­ля­ми (см. Ри­су­нок 5). При­ме­не­ние мо­ду­лей «ак­тив­но­го пола» без до­пол­ни­тель­ной изо­ля­ции по­то­ков воз­ду­ха поз­во­ля­ет уве­ли­чить мощ­ность стой­ки до 15 кВт, а при гер­ме­ти­за­ции хо­лод­но­го ко­ри­до­ра (в «Юни­Конд» это ре­ше­ние на­зы­ва­ют «хо­лод­ным бас­сей­ном») — до 25 кВт.

Как уже го­во­ри­лось, боль­шин­ство про­ек­ти­ров­щи­ков ре­ко­мен­до­ва­ли для стоек на 20 кВт си­сте­мы с внут­ри­ряд­ным охла­жде­ни­ем и изо­ля­цию по­то­ков го­ря­че­го и хо­лод­но­го воз­ду­ха. Как от­ме­ча­ет Алек­сандр Ласый, ис­поль­зо­ва­ние вы­со­ко­на­гру­жен­ных стоек в со­че­та­нии с внут­ри­ряд­ны­ми кон­ди­ци­о­не­ра­ми поз­во­ля­ет уве­ли­чить плот­ность раз­ме­ще­ния сер­вер­но­го обо­ру­до­ва­ния и со­кра­тить про­стран­ство (ко­ри­до­ры, про­хо­ды) для его об­слу­жи­ва­ния. Вза­им­ное рас­по­ло­же­ние сер­вер­ных стоек и кон­ди­ци­о­не­ров в этом слу­чае сво­дит к ми­ни­му­му нерав­но­мер­ность рас­пре­де­ле­ния хо­ло­да в ава­рий­ной ситуации.

Выбор раз­лич­ных ва­ри­ан­тов за­кры­той ар­хи­тек­ту­ры цир­ку­ля­ции воз­ду­ха пред­ло­жи­ла ком­па­ния «Асте­рос»: от изо­ля­ции хо­лод­но­го (ре­ше­ние от Knuеrr и Emerson) или го­ря­че­го ко­ри­до­ра (APC) до изо­ля­ции воз­душ­ных по­то­ков на уровне стой­ки (Rittal, APC, Emerson, Knuеrr). При­чем, как от­ме­ча­ет­ся в про­ек­те, 16 вы­со­ко­на­гру­жен­ных стоек можно раз­ме­стить и в от­дель­ном по­ме­ще­нии, и в общем зале. В ка­че­стве ва­ри­ан­тов кон­ди­ци­о­нер­но­го обо­ру­до­ва­ния спе­ци­а­ли­сты «Асте­рос» рас­смот­ре­ли воз­мож­ность уста­нов­ки внут­ри­ряд­ных кон­ди­ци­о­не­ров APC InRowRP/RD (с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра), Emerson CR040RC и за­кры­тых ре­ше­ний на базе обо­ру­до­ва­ния Knuеrr CoolLoop — во всех этих слу­ча­ях обес­пе­чи­ва­ет­ся ре­зер­ви­ро­ва­ние на уровне ряда по схеме N+1. Еще один ва­ри­ант — ряд­ные кон­ди­ци­о­не­ры LCP ком­па­нии Rittal, со­сто­я­щие из трех охла­жда­ю­щих мо­ду­лей, каж­дый из ко­то­рых можно за­ме­нить в «го­ря­чем» ре­жи­ме. В пол­ной мере до­ка­зав свою «вен­до­ро­не­за­ви­си­мость», ин­те­гра­то­ры «Асте­рос» все же от­ме­ти­ли, что при ис­поль­зо­ва­нии мо­но­брен­до­во­го ре­ше­ния, на­при­мер на базе про­дук­тов Emerson, все эле­мен­ты могут быть объ­еди­не­ны в еди­ную ло­каль­ную сеть, что поз­во­лит оп­ти­ми­зи­ро­вать ра­бо­ту си­сте­мы и сни­зить рас­ход энергии.

Как по­ла­га­ют в «Асте­рос», раз­ме­щать тру­бо­про­во­ды в под­по­то­лоч­ной зоне неже­ла­тель­но, по­сколь­ку при на­ли­чии под­вес­но­го по­тол­ка об­на­ру­жить и предот­вра­тить про­теч­ку и об­ра­зо­ва­ние кон­ден­са­та очень слож­но. По­это­му они ре­ко­мен­ду­ют обу­стро­ить фаль­шпол вы­со­той до 300 мм — этого до­ста­точ­но для про­клад­ки ка­бель­ной про­дук­ции и тру­бо­про­во­дов хо­ло­до­снаб­же­ния. Так же как и в ос­нов­ном полу, здесь необ­хо­ди­мо преду­смот­реть сред­ства для сбора жид­ко­сти при воз­ник­но­ве­нии ава­рий­ных си­ту­а­ций (гид­ро­изо­ля­ция, при­ям­ки, разу­к­лон­ка и т. д.).

Как и шкаф­ные кон­ди­ци­о­не­ры, внут­ри­ряд­ные до­вод­чи­ки вы­пус­ка­ют­ся не толь­ко в во­дя­ном, но и во фре­о­но­вом ис­пол­не­нии. На­при­мер, но­вин­ка ком­па­нии RC Group — внут­ри­ряд­ные си­сте­мы охла­жде­ния Coolside — по­став­ля­ет­ся в сле­ду­ю­щих ва­ри­ан­тах: с фре­о­но­вы­ми внут­рен­ни­ми бло­ка­ми, с внут­рен­ни­ми бло­ка­ми на охла­жден­ной воде, с одним на­руж­ным и одним внут­рен­ним фре­о­но­вым бло­ком, а также с одним на­руж­ным и несколь­ки­ми внут­рен­ни­ми фре­о­но­вы­ми бло­ка­ми. Учи­ты­вая по­же­ла­ние За­каз­чи­ка от­но­си­тель­но энер­го­сбе­ре­же­ния, для дан­но­го про­ек­та вы­бра­ны си­сте­мы Coolside, ра­бо­та­ю­щие на охла­жден­ной воде, по­лу­ча­е­мой от чил­ле­ра. Число чил­ле­ров, уста­нов­лен­ных на пер­вом этапе про­ек­та, при­дет­ся вдвое увеличить.

Для вы­со­ко­плот­ных стоек ком­па­ния «АМД­тех­но­ло­гии» раз­ра­бо­та­ла несколь­ко ва­ри­ан­тов ре­ше­ний — в за­ви­си­мо­сти от кон­цеп­ции, при­ня­той для стоек на 5 кВт. Если За­каз­чик вы­бе­рет бюд­жет­ный ва­ри­ант (фре­о­но­вые кон­ди­ци­о­не­ры), то в стой­ках на 20 кВт пред­ла­га­ет­ся уста­но­вить ряд­ные кон­ди­ци­о­не­ры-до­вод­чи­ки XDH, а в ка­че­стве хо­ло­диль­ной ма­ши­ны — чил­лер внут­рен­ней уста­нов­ки с вы­нос­ны­ми кон­ден­са­то­ра­ми XDC, обес­пе­чи­ва­ю­щий цир­ку­ля­цию хо­ло­до­но­си­те­ля для до­вод­чи­ков XDH. Если же За­каз­чик с са­мо­го на­ча­ла ори­ен­ти­ру­ет­ся на чил­ле­ры, то ре­ко­мен­ду­ет­ся до­ба­вить еще один чил­лер SBH 030 и также ис­поль­зо­вать кон­ди­ци­о­не­ры-до­вод­чи­ки XDH. Чтобы «раз­вя­зать» чил­лер­ную воду и фреон 134, ис­поль­зу­е­мый кон­ди­ци­о­не­ра­ми XDH, при­ме­ня­ют­ся спе­ци­аль­ные гид­рав­ли­че­ские мо­ду­ли XDP (см. Рисунок 6).

Спе­ци­а­ли­сты са­мо­го про­из­во­ди­те­ля — ком­па­нии Emerson Network — преду­смот­ре­ли толь­ко один ва­ри­ант, ос­но­ван­ный на раз­ви­тии чил­лер­ной си­сте­мы, пред­ло­жен­ной для стоек на 5 кВт. Они от­ме­ча­ют, что ис­поль­зо­ва­ние в си­сте­ме Liebert XD фрео­на R134 ис­клю­ча­ет ввод воды в по­ме­ще­ние ЦОД. В ос­но­ву ра­бо­ты этой си­сте­мы по­ло­же­но свой­ство жид­ко­стей по­гло­щать тепло при ис­па­ре­нии. Жид­кий хо­ло­до­но­си­тель, на­гне­та­е­мый на­со­сом, ис­па­ря­ет­ся в теп­ло­об­мен­ни­ках бло­ков охла­жде­ния XDH, а затем по­сту­па­ет в мо­дуль XDP, где вновь пре­вра­ща­ет­ся в жид­кость в ре­зуль­та­те про­цес­са кон­ден­са­ции. Таким об­ра­зом, ком­прес­си­он­ный цикл, при­сут­ству­ю­щий в тра­ди­ци­он­ных си­сте­мах, ис­клю­ча­ет­ся. Даже если слу­чит­ся утеч­ка жид­ко­сти, эко­ло­ги­че­ски без­вред­ный хо­ло­до­но­си­тель про­сто ис­па­рит­ся, не при­чи­нив ни­ка­ко­го вреда оборудованию.

Дан­ная схема пред­по­ла­га­ет воз­мож­ность по­этап­но­го ввода обо­ру­до­ва­ния: по мере уве­ли­че­ния мощ­но­сти на­груз­ки уста­нав­ли­ва­ют­ся до­пол­ни­тель­ные до­вод­чи­ки, ко­то­рые под­со­еди­ня­ют­ся к су­ще­ству­ю­щей си­сте­ме тру­бо­про­во­дов при по­мо­щи гиб­ких под­во­док и быст­ро­разъ­ем­ных со­еди­не­ний, что не тре­бу­ет оста­нов­ки си­сте­мы кондиционирования.

СПЕЦ­ШКА­ФЫ

Как счи­та­ет Алек­сандр Ша­пи­ро, на­чаль­ник от­де­ла ин­же­нер­ных си­стем «Кор­по­ра­ции ЮНИ», теп­ло­вы­де­ле­ние 18–20 кВт на шкаф — это при­мер­но та гра­ни­ца, когда тепло можно от­ве­сти за ра­зум­ную цену тра­ди­ци­он­ны­ми ме­то­да­ми (с при­ме­не­ни­ем внут­ри­ряд­ных и/или под­по­то­лоч­ных до­вод­чи­ков, вы­го­ра­жи­ва­ния рядов и т. п.). При более вы­со­кой плот­но­сти энер­го­по­треб­ле­ния вы­год­нее ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы с ло­каль­ны­ми си­сте­ма­ми во­дя­но­го охла­жде­ния. Же­ла­ние при­ме­нить для от­во­да тепла от вто­рой груп­пы шка­фов тра­ди­ци­он­ные ме­то­ды объ­яс­ни­мо, но, как пре­ду­пре­жда­ет спе­ци­а­лист «Кор­по­ра­ции ЮНИ», по­яв­ле­ние в зале новых энер­го­ем­ких шка­фов по­тре­бу­ет мон­та­жа до­пол­ни­тель­ных хо­ло­диль­ных машин, из­ме­не­ния кон­фи­гу­ра­ции вы­го­ро­док, кон­тро­ля за из­ме­нив­шей­ся «теп­ло­вой кар­ти­ной». Про­ве­де­ние таких («гряз­ных») работ в дей­ству­ю­щем ЦОДе не це­ле­со­об­раз­но. По­это­му в ка­че­стве энер­го­ем­ких шка­фов спе­ци­а­ли­сты «Кор­по­ра­ции ЮНИ» пред­ло­жи­ли ис­поль­зо­вать за­кры­тые сер­вер­ные шкафы CoolLoop с от­во­дом тепла водой про­из­вод­ства Knuеrr в ва­ри­ан­те с тремя мо­ду­ля­ми охла­жде­ния (10 кВт каж­дый, N+1). По­доб­ный ва­ри­ант преду­смот­ре­ли и неко­то­рые дру­гие про­ек­ти­ров­щи­ки.

Ми­ну­сы та­ко­го ре­ше­ния свя­за­ны с по­вы­ше­ни­ем сто­и­мо­сти про­ек­та (CAPEX) и необ­хо­ди­мо­стью за­ве­де­ния воды в сер­вер­ный зал. Глав­ный плюс — в от­лич­ной мас­шта­би­ру­е­мо­сти: уста­нов­ка новых шка­фов не до­бав­ля­ет теп­ло­вой на­груз­ки в зале и не при­во­дит к пе­ре­рас­пре­де­ле­нию тепла, а под­клю­че­ние шкафа к си­сте­ме хо­ло­до­снаб­же­ния За­каз­чик может вы­пол­нять сво­и­ми си­ла­ми. Кроме того, он имеет воз­мож­ность путем до­бав­ле­ния вен­ти­ля­ци­он­но­го мо­ду­ля от­ве­сти от шкафа еще 10 кВт тепла (всего 30 кВт при со­хра­не­нии ре­зер­ви­ро­ва­ния N+1) — фак­ти­че­ски это ре­зерв для роста. На­ко­нец, как утвер­жда­ет Алек­сандр Ша­пи­ро, с точки зре­ния энер­го­сбе­ре­же­ния (OPEX) дан­ное ре­ше­ние яв­ля­ет­ся наи­бо­лее эффективным.

В про­ек­те «Кор­по­ра­ции ЮНИ» шкафы CoolLoop пред­по­ла­га­ет­ся уста­но­вить в общем сер­вер­ном зале с уче­том прин­ци­па че­ре­до­ва­ния го­ря­чих и хо­лод­но­го ко­ри­до­ров, чем га­ран­ти­ру­ет­ся ра­бо­то­спо­соб­ность шка­фов при ава­рий­ном или тех­но­ло­ги­че­ском от­кры­ва­нии две­рей. При­чем общее кон­ди­ци­о­ни­ро­ва­ние воз­ду­ха в зоне энер­го­ем­ких шка­фов обес­пе­чи­ва­ет­ся ана­ло­гич­но ос­нов­ной зоне сер­вер­но­го зала за одним ис­клю­че­ни­ем — запас хо­ло­да со­став­ля­ет 20–30 кВт. Кон­ди­ци­о­не­ры ре­ко­мен­до­ва­но уста­но­вить в от­дель­ном по­ме­ще­нии, смеж­ном с сер­вер­ным залом и залом раз­ме­ще­ния ИБП (см. Рисунок 7). Такая ком­по­нов­ка имеет ряд пре­иму­ществ: во-пер­вых, тем самым раз­гра­ни­чи­ва­ют­ся зоны от­вет­ствен­но­сти служ­бы кон­ди­ци­о­ни­ро­ва­ния и ИТ-служб (со­труд­ни­кам служ­бы кон­ди­ци­о­ни­ро­ва­ния нет необ­хо­ди­мо­сти за­хо­дить в сер­вер­ный зал); во-вто­рых, из зоны раз­ме­ще­ния кон­ди­ци­о­не­ров обес­пе­чи­ва­ет­ся по­да­ча/забор воз­ду­ха как в сер­вер­ный зал, так и в зал ИБП; в-тре­тьих, со­кра­ща­ет­ся число ре­зерв­ных кон­ди­ци­о­не­ров (ре­зерв общий).

ФРИ­КУ­ЛИНГ И ЭНЕРГОЭФФЕКТИВНОСТЬ

Как и про­сил За­каз­чик, все про­ек­ти­ров­щи­ки вклю­чи­ли функ­цию фри­ку­лин­га в свои ре­ше­ния, но мало кто рас­счи­тал энер­ге­ти­че­скую эф­фек­тив­ность ее ис­поль­зо­ва­ния. Такой рас­чет про­вел Ми­ха­ил Бал­ка­ров из APC by Schneider Electric. Вы­де­лив три ре­жи­ма ра­бо­ты си­сте­мы охла­жде­ния — с тем­пе­ра­ту­рой гли­ко­ле­во­го кон­ту­ра 22, 20 и 7°С (режим фри­ку­лин­га), — для каж­до­го он ука­зал ее по­треб­ле­ние (в про­цен­тах от по­лез­ной на­груз­ки) и ко­эф­фи­ци­ент энер­ге­ти­че­ской эф­фек­тив­но­сти (Energy Efficiency Ratio, EER), ко­то­рый опре­де­ля­ет­ся как от­но­ше­ние хо­ло­до­про­из­во­ди­тель­но­сти кон­ди­ци­о­не­ра к по­треб­ля­е­мой им мощ­но­сти. Для на­груз­ки в 600 кВт сред­не­го­до­вое по­треб­ле­ние пред­ло­жен­ной АРС си­сте­мы охла­жде­ния ока­за­лось рав­ным 66 кВт с функ­ци­ей фри­ку­лин­га и 116 кВт без та­ко­вой. Раз­ни­ца 50 кВт в год дает эко­но­мию 438 тыс. кВт*ч.

Объ­яс­няя вы­со­кую энер­го­эф­фек­тив­ность пред­ло­жен­но­го ре­ше­ния, Ми­ха­ил Бал­ка­ров от­ме­ча­ет, что в первую оче­редь эти по­ка­за­те­ли обу­слов­ле­ны вы­бо­ром чил­ле­ров с вы­со­ким EER и при­ме­не­ни­ем эф­фек­тив­ных внут­рен­них бло­ков — по его дан­ным, внут­ри­ряд­ные мо­де­ли кон­ди­ци­о­не­ров в со­че­та­нии с изо­ля­ци­ей го­ря­че­го ко­ри­до­ра обес­пе­чи­ва­ют при­мер­но дву­крат­ную эко­но­мию по срав­не­нию с наи­луч­ши­ми фаль­шполь­ны­ми ва­ри­ан­та­ми и по­лу­то­ра­крат­ную эко­но­мию по срав­не­нию с ре­ше­ни­я­ми, где ис­поль­зу­ет­ся кон­тей­не­ри­за­ция хо­лод­но­го ко­ри­до­ра. Вклад же соб­ствен­но фри­ку­лин­га вто­ри­чен — имен­но по­это­му ра­бо­чая тем­пе­ра­ту­ра воды вы­бра­на не самой вы­со­кой (всего 12°С).

По рас­че­там спе­ци­а­ли­стов «Ком­плит», в усло­ви­ях Мос­ков­ской об­ла­сти пред­ло­жен­ное ими ре­ше­ние с функ­ци­ей фри­ку­лин­га за год поз­во­ля­ет сни­зить рас­ход элек­тро­энер­гии при­мер­но на 50%. Дан­ная функ­ция (в про­ек­те «Ком­плит») ак­ти­ви­зи­ру­ет­ся при тем­пе­ра­ту­ре около +7°С, при по­ни­же­нии тем­пе­ра­ту­ры на­руж­но­го воз­ду­ха вклад фри­ку­лин­га в хо­ло­до­про­из­во­ди­тель­ность будет воз­рас­тать. Пол­но­стью си­сте­ма вы­хо­дит на режим эко­но­мии при тем­пе­ра­ту­ре ниже -5°С.

Спе­ци­а­ли­сты «Ин­же­нер­но­го бюро ’’Хос­сер‘‘» пред­ло­жи­ли рас­чет эко­но­мии, ко­то­рую дает при­ме­не­ние кон­ди­ци­о­не­ров с функ­ци­ей фри­ку­лин­га (мо­дель ALD-702-GE) по срав­не­нию с ис­поль­зо­ва­ни­ем устройств, не осна­щен­ных такой функ­ци­ей (мо­дель ASD-802-A). Как и про­сил За­каз­чик, рас­чет при­вя­зан к Мос­ков­ско­му ре­ги­о­ну (см. Рисунок 8).

Как от­ме­ча­ет Вик­тор Гав­ри­лов, энер­го­по­треб­ле­ние в лет­ний пе­ри­од (при мак­си­маль­ной за­груз­ке) у фре­о­но­вой си­сте­мы ниже, чем у чил­лер­ной, но при тем­пе­ра­ту­ре менее 14°С, энер­го­по­треб­ле­ние по­след­ней сни­жа­ет­ся, что обу­слов­ле­но ра­бо­той фри­ку­лин­га. Эта функ­ция поз­во­ля­ет су­ще­ствен­но по­вы­сить срок экс­плу­а­та­ции и на­деж­ность си­сте­мы, так как в зим­ний пе­ри­од ком­прес­со­ры прак­ти­че­ски не ра­бо­та­ют — в связи с этим ре­сурс ра­бо­ты чил­лер­ных си­стем, как ми­ни­мум, в пол­то­ра раза боль­ше чем у фреоновых.

К пре­иму­ще­ствам пред­ло­жен­ных За­каз­чи­ку чил­ле­ров Emerson Вик­тор Гав­ри­лов от­но­сит воз­мож­ность их объ­еди­не­ния в еди­ную сеть управ­ле­ния и ис­поль­зо­ва­ния функ­ции кас­кад­ной ра­бо­ты хо­ло­диль­ных машин в ре­жи­ме фри­ку­лин­га. Более того, раз­ра­бо­тан­ная ком­па­ни­ей Emerson си­сте­ма Supersaver поз­во­ля­ет управ­лять тем­пе­ра­ту­рой хо­ло­до­но­си­те­ля в со­от­вет­ствии с из­ме­не­ни­я­ми теп­ло­вой на­груз­ки, что уве­ли­чи­ва­ет пе­ри­од вре­ме­ни, в те­че­ние ко­то­ро­го воз­мож­но функ­ци­о­ни­ро­ва­ние си­сте­мы в этом ре­жи­ме. По дан­ным Emerson, при уста­нов­ке чил­ле­ров на 330 кВт режим фри­ку­лин­га поз­во­ля­ет сэко­но­мить 45% элек­тро­энер­гии, кас­кад­ное вклю­че­ние — 5%, тех­но­ло­гия Supersaver — еще 16%, итого — 66%.

Но не все столь оп­ти­ми­стич­ны в от­но­ше­нии фри­ку­лин­га. Алек­сандр Ша­пи­ро на­по­ми­на­ет, что в нашу стра­ну куль­ту­ра ис­поль­зо­ва­ния фри­ку­лин­га в зна­чи­тель­ной мере при­не­се­на с За­па­да, между тем как по­тре­би­тель­ская сто­и­мость этой опции во мно­гом за­ви­сит от сто­и­мо­сти элек­тро­энер­гии, а на се­го­дняш­ний день в Рос­сии и За­пад­ной Ев­ро­пе цены се­рьез­но раз­ли­ча­ют­ся. «Опция фри­ку­лин­га ощу­ти­мо до­ро­га, в Рос­сии же до­ста­точ­но часто ИТ-про­ек­ты пла­ни­ру­ют­ся с де­фи­ци­том бюд­же­та. По­это­му За­каз­чик вы­нуж­ден вы­би­рать: либо обес­пе­чить пла­ни­ру­е­мые тех­ни­че­ские по­ка­за­те­ли ЦОД путем про­сто­го ре­ше­ния (не думая о про­бле­ме уве­ли­че­ния OPEX), либо «ло­мать копья» в по­пыт­ке до­ка­зать це­ле­со­об­раз­ность фри­ку­лин­га, со­гла­ша­ясь на сни­же­ние па­ра­мет­ров ЦОД. В боль­шин­стве слу­ча­ев выбор де­ла­ет­ся в поль­зу пер­во­го ва­ри­ан­та», — за­клю­ча­ет он.

Среди пред­ло­жен­ных За­каз­чи­ку более по­лу­то­ра де­сят­ков ре­ше­ний оди­на­ко­вых нет — даже те, что по­стро­е­ны на ана­ло­гич­ных ком­по­нен­тах од­но­го про­из­во­ди­те­ля, имеют свои осо­бен­но­сти. Это го­во­рит о том, что за­да­чи, свя­зан­ные с охла­жде­ни­ем, от­но­сят­ся к числу наи­бо­лее слож­ных, и ти­по­вые от­ра­бо­тан­ные ре­ше­ния по сути от­сут­ству­ют. Тем не менее, среди пред­став­лен­ных ва­ри­ан­тов За­каз­чик на­вер­ня­ка смо­жет вы­брать наи­бо­лее под­хо­дя­щий с уче­том пред­по­чте­ний в части CAPEX/OPEX и пла­нов по даль­ней­ше­му раз­ви­тию ЦОД.

Алек­сандр Бар­сков — ве­ду­щий ре­дак­тор «Жур­на­ла се­те­вых ре­ше­ний/LAN»

[ http://www.osp.ru/lan/2010/05/13002554/]

Тематики

• ЦОДы (центры обработки данных)

EN

• data center cooling system

I'm your man разг. я к ва́шим услу́гам, я согла́сен

man and wife муж и жена́

man of law адвока́т, юри́ст

man of letters писа́тель, литера́тор; учёный

man of office чино́вник

man of the pen литера́тор

man of character челове́к с хара́ктером

man of courage хра́брый, му́жественный челове́к

man of decision реши́тельный челове́к

man of distinction ( или mark, note) выдаю́щийся, знамени́тый челове́к

man of family зна́тный челове́к; амер. семе́йный челове́к

man of genius гениа́льный челове́к

man of ideas изобрета́тельный, нахо́дчивый челове́к

man of pleasure сластолю́бец

man of principle принципиа́льный челове́к

man of no principles беспринци́пный челове́к

man of no scruples недобросо́вестный, бессо́вестный челове́к

man of sense здравомы́слящий, разу́мный челове́к

man of straw

man of taste челове́к со вку́сом

man of worth досто́йный, почте́нный челове́к; сочетания типа family man, self-made man, medical man, leading man, etc. см. под family, self-made, medical, leading, etc.

to be one's own man

man in (амер. on) the street зауря́дный челове́к, обыва́тель

man about town све́тский челове́к; прожига́тель жи́зни

man of the world

good man! здоро́во!, здра́вствуй!

man and boy с ю́ных лет

to a man все до одного́; все без исключе́ния

as one man как оди́н (челове́к), в унисо́н

every man to his own taste ≅ на вкус, на цвет това́рищей нет

to man oneself мужа́ться, брать себя́ в ру́ки

I'm your man разг. я к ва́шим услу́гам, я согла́сен

man and wife муж и жена́

man of law адвока́т, юри́ст

man of letters писа́тель, литера́тор; учёный

man of office чино́вник

man of the pen литера́тор

man of character челове́к с хара́ктером

man of courage хра́брый, му́жественный челове́к

man of decision реши́тельный челове́к

man of distinction ( или mark, note) выдаю́щийся, знамени́тый челове́к

man of family зна́тный челове́к; амер. семе́йный челове́к

man of genius гениа́льный челове́к

man of ideas изобрета́тельный, нахо́дчивый челове́к

man of pleasure сластолю́бец

man of principle принципиа́льный челове́к

man of no principles беспринци́пный челове́к

man of no scruples недобросо́вестный, бессо́вестный челове́к

man of sense здравомы́слящий, разу́мный челове́к

man of straw

man of taste челове́к со вку́сом

man of worth досто́йный, почте́нный челове́к; сочетания типа family man, self-made man, medical man, leading man, etc. см. под family, self-made, medical, leading, etc.

to be one's own man

man in (амер. on) the street зауря́дный челове́к, обыва́тель

man about town све́тский челове́к; прожига́тель жи́зни

man of the world

good man! здоро́во!, здра́вствуй!

man and boy с ю́ных лет

to a man все до одного́; все без исключе́ния

as one man как оди́н (челове́к), в унисо́н

every man to his own taste ≅ на вкус, на цвет това́рищей нет

to man oneself мужа́ться, брать себя́ в ру́ки

бер-берсенә тию — каса́ться друг дру́га

башы түшәмгә тия — достаёт голово́й до потолка́

акылым кыска, кулым озын - танавыңа тимәгәй — ум мой ко́роток, ру́ки длинны́, как бы твое́й мо́рды не заде́ли

киемгә былчырак тигән — на оде́жду попа́ла грязь

пуля тигән — попа́ла пу́ля; заде́то пу́лей

ток тимәсен — что́бы не уда́рило (не уби́ло) то́ком

кеше әйберенә тию — тро́гать, хвата́ть чужу́ю вещь

бу сүзләр сиңа да тия — э́ти слова́ отно́сятся и к тебе́

көя тигән — моль повреди́ла; повреждён(ный) мо́лью

алмага корт тигән — я́блоко попо́рчено червяко́м

камыт тигән — натёрло хомуто́м

ыңгырчак тигән — натёрло седёлкой

кырау тигән бәрәңге басуы — карто́фельное по́ле, прихва́ченное за́морозками

төтен күзгә тия — дым раздража́ет (разъеда́ет) глаза́

миңа да чират тиде, ниһаять — и до меня́ дошла́ о́чередь, наконе́ц

ул эшкә вакыт (кул) тими — до той рабо́ты ру́ки не дохо́дят

файдасы бер тимәсә, бер тияр — не в э́тот раз, так в друго́й принесёт по́льзу

наданлыкның зыяны тияр — неве́жество принесёт вред

ул миңа баҗай тия — он мне прихо́дится свояко́м

балта тимәгән урман — не тро́нутый топоро́м лес; лес, к кото́рому не прикосну́лся ещё топо́р

себерке тимәгән йорт — двор, кото́рого не косну́лась метла́

ис тию — угоре́ть

салкын тию — простуди́ться

тисә - тиенгә, тимәсә - ботакка — наобу́м; на аво́сь; ли́бо в сук, ли́бо в тете́рю

тиясе булма — не тронь, не смей тро́гать

на видном месте — күренеп торған урында

видный человек — күренекле кеше

играть видную роль в жизни — тормошта ҙур роль уйнау

видный учёный — танылған ғалим

видный парень — күрмәлекле егет

тавык йомыркасы — кури́ное яйцо́; яйцо́ ку́рицы

тавык аяк — челове́к, кото́рый при ходьбе́ ча́сто задева́ет ного́й ве́щи

тавык кетәгенә кертү — загна́ть, поста́вить в глу́пое положе́ние

тавыклар көләр (көләрлек) — ку́рам на́ смех; о́чень глу́пый, неле́пый и смешно́й

one inch high высото́й в оди́н дюйм

high ideals благоро́дные идеа́лы

high official вы́сший чино́вник

H. Command верхо́вное кома́ндование

high wind си́льный ве́тер

high colour румя́нец

high quality вы́сшее ка́чество

high opinion высо́кая оце́нка

high feeding роско́шный стол

high spirits весёлое, припо́днятое настрое́ние

to have a high time хорошо́ повесели́ться, хорошо́ провести́ вре́мя

at a high cost по высо́кой цене́

high Tory кра́йний консерва́тор

high summer разга́р ле́та

high noon са́мый по́лдень

at high noon то́чно в по́лдень

high antiquity глубо́кая дре́вность

high and dry

high and low (лю́ди) вся́кого зва́ния [ср. тж. high 2]

high and mighty высокоме́рный, надме́нный

to mount ( или to ride) the high horse, to ride one's high horse, to be on one's high horse ва́жничать, вести́ себя́ высокоме́рно

with a high hand высокоме́рно

high road

(it is) high time давно́ пора́; са́мая пора́

high words гне́вные слова́; разгово́р в повы́шенном то́не

to aim high ме́тить высоко́

the wind blows high ве́тер си́льно ду́ет

to live high жить в ро́скоши, жить бога́то, на широ́кую но́гу

high and low повсю́ду, везде́ [ср. тж. high 1]

to play high карт. игра́ть по большо́й; ходи́ть с кру́пной ка́рты

to run high

passions ran high стра́сти разгоре́лись

in the original в оригина́ле

the original edition пе́рвое изда́ние

original sin рел. перворо́дный грех

original scientist учёный-нова́тор

the original picture по́длинник карти́ны

үзешчән сәнгать коллективы — коллекти́в худо́жественной самоде́ятельности

бердәм, тату коллектив — еди́ный, дру́жный коллекти́в

коллектив җитәкчелек — коллекти́вное руково́дство

коллектив оештыручы — коллекти́вный организа́тор

мактаулы сүзләр сөйләү — говори́ть хвале́бные (до́брые) слова́

мактаулы эш эшләү — соверши́ть до́брое (похва́льное) де́ло

мактаулы исем бирү — присво́ить почётное зва́ние

мактаулы урын тоту — занима́ть почётное ме́сто

яхшы механизатор булу белән мактаулы — он зна́тен как хоро́ший механиза́тор

мәшһүр язучы — изве́стный писа́тель

мәшһүр артист — знамени́тый (популя́рный) арти́ст

мәшһүр нефтьче — просла́вленный нефтя́ник

мәшһүр галим — изве́стный (знамени́тый) учёный

ул маркалар җыю белән мәшһүр — он знамени́т как собира́тель ма́рок

ул композитор буларак мәшһүр — он изве́стен как компози́тор

әнә багана тора — вон стои́т столб

сакта тору — стоя́ть на часа́х, быть в положе́нии часово́го

постта тору — стоя́ть на посту́, быть постовы́м

алда зур эшләр тора — пе́ред на́ми стоя́т больши́е дела́ (зада́чи)

биш километр(да) тору — отстоя́ть в пяти́ киломе́трах

авыл су буенда тора — дере́вня нахо́дится во́зле воды́

куйган җирендә торыр — бу́дет находи́ться там, куда́ ты поста́вил (положи́л)

урыныннан тору — подня́ться с ме́ста

бер минут торма — ни на мину́ту не заде́рживайся

озак торган бал — до́лго храни́вшийся мед

авылда тору — жить в дере́вне

торырга килү — прие́хать, что́бы прожива́ть

гомер буе ярлы тордылар — всю жизнь они́ жи́ли бе́дно

улым белән киленем әйбәт торалар — мой сын и сноха́ живу́т хорошо́

сак астында тору — находи́ться под надзо́ром

тынычлыкта тору — пребыва́ть в поко́е

моңсулыкта тору — быть, пребыва́ть в тоскли́вости

мәсьәлә болай тора — вопро́с обстои́т (вот) так

эшнең шулай торуы — тако́е состоя́ние дел

(фәлән) карашта тору — приде́рживаться тако́го-то мне́ния

тиешле югарылыкта тора — находи́ться на до́лжной высоте́

йомшак тору — быть мя́гким, выка́зывать мя́гкое отноше́ние

отряд 30 кешедән торган — отря́д состоя́л из тридцати́ челове́к

әсәрнең биш бүлектән торуы мәгълүм — изве́стно то, что произведе́ние состоя́ло из пяти́ разде́лов

дуслык ярдәмләшүдән тора — дру́жба состои́т во взаимопо́мощи

дуслар өчен торам — стою́ за друзе́й

бармы бездә милләт өчен торган кеше? — есть ли у нас челове́к, кото́рый бо́рется за на́цию?

тынычлык өчен торабыз — отста́иваем мир

кырык сум торуы мәгълүм — изве́стно то, что сто́ит со́рок рубле́й

бер галим мең наданга тора — оди́н учёный сто́ит ты́сяч неве́жд

бөтенесе үзеңнән тора — всё зави́сит от тебя́ самого́

мәсьәлә Әхмәтнең килүеннән тора — вопро́с упира́ется в прие́зд Ахме́та

вәгъдәдә тору — вы́полнить обеща́ние

дусларым арта тора — мои́ друзья́ всё прибыва́ют, мои́ друзья́ умножа́ются

син уйлый тор, мин җыена торам — ты пока́ поду́май, а я тем вре́менем пособеру́сь

ишектән салкын керә дә тора — из двере́й (вот доса́да) всё вре́мя ду́ет ветеро́к

сөйлисең дә торасың бер сүз — без конца́ говори́шь одно́ и то же

күрә торып һәлакәткә бару — (гля́дючи) идти́ на ве́рную ги́бель

белә торып әйтмәү — зна́я (зна́ючи), не сказа́ть

коралы була торып — име́ючи (име́я) да́же ору́жие

тирең кипми торып, су эчмә — пре́жде чем не пообсо́хнешь от по́та, не пей холо́дной воды́

белми торып, сүз әйтмә — не зна́я (в чём де́ло), не говори́

күп белә торган — мно́го зна́ющий

туры әйтә торган кеше — челове́к, говоря́щий напрями́к (пра́вду)

эшли торган ат — рабо́тающая (рабо́чая) ло́шадь

ул колхозда эшли торгандыр — он, наве́рно, рабо́тает в колхо́зе

үзе белә торгандыр — сам, наве́рное, зна́ет

ни уйлый торгандыр инде — нея́сно, что он ду́мает

өй түрендәге талларны тибрәтә торган идем — моңлы бала нинди була дип әйтә

ул бездә эшли торган булган — говоря́т, он часте́нько рабо́тал у нас

әби сөйли торган булган — ещё ба́бушка (говоря́т) расска́зывала

ул бездә озак-озак утыра торган булды — он стал подо́лгу заси́живаться у нас

яшеренеп тору — притаи́ться и ждать

хәбәрләшеп тору — регуля́рно осведомля́ться друг о дру́ге; всё вре́мя сообща́ться, извести́ться

яңгырлар явып тора — дожди́ иду́т всё вре́мя (с переры́вами)

авырып торам — немно́жко боле́ю

эшкә ярап тора — пока́ годи́тся для рабо́ты

яңгыр бөркеп тора — чу́точку мороси́т дождь

карап та тормады — не стал да́же смотре́ть

авырып та тормыйча — ни чу́точки не боле́я

безнеңчә аңламый дип торам — я-то ду́мал, что он не понима́ет по-на́шему

мин сине шәһәрдә дип торам — я-то полага́л, что ты в го́роде

караңгы дип тормадылар — не ста́ли заде́рживаться из-за темноты́

авыр дип тормыйча — невзира́я на тру́дности

чыгып китәргә торганда — то́лько собира́лся бы́ло вы́йти

кузгалыш башланырга тора — вот-вот начнётся восста́ние

ул инде кайтырга тора — он уже́ пригото́вился е́хать домо́й

hombre hecho (y derecho) — взро́слый, сложи́вшийся челове́к, мужчи́на

hombre de acción — челове́к де́йствия

hombre de bien — че́стный, поря́дочный, досто́йный челове́к

hombre de ciencia — учёный; де́ятель нау́ки

hombre de estado — госуда́рственный де́ятель

hombre de letras — литера́тор; писа́тель

hombre de leyes — юри́ст; правове́д

hombre de mundo — све́тский челове́к

hombre de negocios — делово́й челове́к; коммерса́нт

hombre de palabra — челове́к сло́ва

hombre de suerte — люби́мец, ба́ловень судьбы́

hombre público — обще́ственный де́ятель

buen hombre — до́брый, хоро́ший челове́к

el hombre de la calle; el hombre medio — обы́чный, сре́дний челове́к

pobre hombre — а) ма́ленький челове́к; ме́лкая со́шка б) несча́стный; бедня́га

ser otro hombre — о́чень измени́ться; стать други́м челове́ком

pred tb todo un hombre — настоя́щий мужчи́на

no es un hombre — он - не мужчи́на

poco hombre — за́ячья душа́

¡anda | vamos |, hombre! — [ протест] ну уж нет!; ну, зна́ешь, зна́ете ли!

¡pero, hombre! — [ упрёк] ну, как же та́к?; ай-ай-а́й!