Blade servery v praxi: Doslova horká technologie

Blade servery se těší rostoucí oblibě uživatelů, kteří je nasazují ve stále širším spektru aplikací. Obzvlášt...


Blade servery se těší rostoucí oblibě uživatelů, kteří je nasazují ve stále
širším spektru aplikací. Obzvláště v případech, kdy je třeba využít služeb
desítek serverů, omezují blady významně množství potřebných hardwarových
komponent, šetří místo a nabízejí vysokou flexibilitu. Nepřinášejí však pouze
výhody: Nasazení blade serverů s sebou totiž nese jeden nezanedbatelný problém,
a to generování velkého množství tepla.
Tradičním způsobem využití blade serverů jsou webové farmy, spolu s poklesem
jejich cen však nyní nacházejí využití i v dalších aplikacích. Problematika
správného chlazení se tak dostává na program dne i ve firmách, kde byla dosud
vzhledem k používaným technologiím až na druhé koleji. K nezaplacení jsou pak
zkušenosti těch, kdo už blade servery využívají.
Mnoho manažerů datových center je v současnosti pouze na začátku úvah o
hromadném zavádění racků ultrakompaktních blade serverů. Tyto nové systémy
zabírají podstatně méně místa než tradiční do racků montované servery, avšak
dramatickým způsobem zvyšují množství generovaného tepla v malém prostoru.
Pokud umístíte větší počet takových racků do datového centra, můžete způsobit
celou řadu problémů od naprostého selhání přes nevysvětlitelné zpomalení
výpočtů až po zkrácenou životnost hardwaru.
Správa datových center pro firemní klientelu je každodenním chlebem Johna
Sawyera. Jeho mateřská firma Johnson Controls má bohaté zkušenosti s jejich
návrhem i správou. I přesto však nedávno po instalaci blade serverů zažila
problémy s přehříváním.
"Vzhledem ke stávající konfiguraci vzduchotechniky nejsme schopni zvládnout
vyšší výkon než 2 kW na jeden rack," říká John Sawyer, ředitel pro správu
kritických zařízení společnosti Johnson Controls. Moderní vzduchotechnika podle
něj umožní toto číslo zvýšit na 3-4 kW. Nicméně nové blade servery jsou při
plném využití schopny spotřebovat i více než 15 kW za hodinu. To je více než
například u pečicí trouby v běžné domácnosti; požadovaná chladicí kapacita by
byla schopna zajistit klimatizaci dvou rodinných domků, vysvětlují Sawyerovi
inženýři. Sawyer tedy může buď rozmístit racky v dostatečné vzdálenosti od
sebe, nebo jejich kapacitu využít pouze zčásti, eventuálně namontovat dodatečné
lokální chladicí systémy.

Novinky přicházejí
Ačkoliv ve většině datových center není v současnosti k nalezení příliš
takových racků, nahrazování těch stávajících jinými, těmi s kompaktnějším
designem, již započalo. Některé typy jsou schopné pojmout do jediného racku o
velikosti 42 U na 300 serverů (1 U = 1,75 "). "A tady již vidíte blížící se
katastrofu," komentuje nárůst Kenneth Brill, výkonný ředitel Uptime Institute.
I když výrobci tvrdí, že jimi navržené systémy jsou schopny provozu v kapacitně
plně využitých rackových skříních, nemusí to nutně znamenat, že vzali v potaz
širší vliv, jaký může mít větší počet takových racků na zbylou část datových
center. "Zvládneme jednu nebo dvě takové krabice, ale opravdu nevíme, jak to
zvládnout, pokud jich bude velké množství," neskrývá své obavy Brill.
Problém má dvě části: Jednak je každé datové centrum navrženo jiným způsobem,
jednak dosud neexistuje průmyslový standard pro návrh chladicích systémů
datových center schopných spolehlivě uchladit 15 až 20 kW výkonu na jeden rack.
"Návrháři používají standardy z dob děrných štítků a vodou chlazených
mainframů," říká Edward Koplin, prezident inženýrské konzultantské společnosti
Jack Dale Associates PC. "Tato atlantská firma pilně pracuje na nových
směrnicích," říká Don Beaty, předseda High-density Electronic Equipment
Facility Cooling Committee. Jejich zveřejnění očekává koncem tohoto roku.
Pro Rona Richardsona, manažera centra IT operací firmy Qualcomm, ale
představuje chlazení racků skutečně aktuální problém. Jedna z divizí
společnosti totiž hodlá upgradovat rozsáhlou farmu výpočetních serverů tak, aby
maximálně efektivně využila svůj software. "Být to jen na nich, měli bychom 100
racků plných blade serverů, ale nevěřím, že budeme schopni takové množství
systémů zvládnout. Patnáct kilowattů je prostě neuvěřitelné číslo. Musíte
podniknout mimořádná opatření, abyste vše uchladili, pokud nechcete, aby to
vzplálo jasným plamenem," varuje. A myšlenka využít kapacitu racků jen zčásti
je nepoužitelná. "Kdo by chtěl umístit servery jen do části racku a zbytek
nechat nevyužitý?" ptá se Richardson sugestivně.
Některé problémy spojené s teplem vznikají v důsledku nesprávného návrhu
prostředí, konstatují inženýři, kteří se problematikou chlazení bladů zabývají.
"Zjišťujeme, že mnozí uživatelé mají přetrvávající problémy s uchlazením 2-3kW
racků. Teplotní rozdíl 10 stupňů Celsia mezi podlahou a stropem je zcela
běžný," tvrdí Pitt Turner, ředitel ComputerSite Engineering, jenž současně
pracuje jako konzultant pro Uptime Institute. Problém je ve skutečnosti v
proudění vzduchu. "Běžně zjišťujeme, že chladicí kapacity instalované na
podlahách jsou nadbytečné a nedostatečně využité," říká.

Jak nevyhořet
Jakmile teplota v horní části racků překročí 75 ?C, začnou se hromadit problémy
spojené s teplem, od selhání po zkrácenou životnost počítačového vybavení.
Navíc mnohé high-endové procesory určené pro blade servery v takovém případě
automaticky sníží svou pracovní frekvenci. "Tím jsou sice chráněny další
komponenty, ale současně mohou administrátoři, kteří nemonitorují teplotu
vzduchu, špatně interpretovat příčinu poklesu výkonu a přidat další blade
servery, čímž jenom přilévají příslovečný olej do ohně," říká Brill.
Richardson se rozhodl, že navrhne nové datové centrum, schopné pojmout blade
servery. "Věříme, že jsme schopni zvládnout 10 kW na jeden rack," tvrdí.
Plánuje využít systém takzvaných horkých a studených uliček, kdy jsou racky
postaveny v řadě čelem k sobě. Chladný vzduch u podlahy prochází jednotlivými
racky a fouká z jejich zadní části do takzvaných horkých uliček, kde je odsáván
a opětovně ochlazen. "Pokud bychom měli překročit hranici 10 kW, bylo by nutno
použít pro každý z racků navíc lokální chladicí zařízení," vysvětluje
Richardson.
Firma Liebert, která je divizí společnosti Emerson Network Power Systeme,
nabízí zařízení, jež slouží k odsávání horkého vzduchu z racků a k jeho
rychlému zchlazení, a to včetně klimatizačních jednotek montovaných na strop a
odsávacích větráků připojitelných na zadní část racku, kde nasávají horký
vzduch. "Problémem tohoto řešení je škálovatelnost," namítá Brian Benson,
strojní inženýr zaměstnaný u konzultantské firmy Mazzetti & Associates. "Pokud
umístíte podobné řešení na 500 racků, pak se požadavky na škálovatelnost a
údržbu zvyšují až na hranici únosnosti," vysvětluje.
Konzultanti se neshodují v tom, kolik kilowattů lze účinně uchladit tradičním
způsobem za pomoci klimatizace využívající zvýšené podlahy v místnosti s
počítači. Většina z nich považuje za horní limit 4-5 kW, ale skutečný údaj
závisí na tom, jakým způsobem jsou jednotlivá datová centra navržena.
Každý kilowatt výkonu k účinnému uchlazení vyžaduje, aby rackem protekly 4 m3
vzduchu za minutu, upozorňuje Fred Stach, viceprezident společnosti Liebert. "V
budoucích rackových skříních to představuje více než 28 m3 za minutu," říká.
Podle Brilla je problém řešitelný, ale neexistuje už žádný prostor pro
případnou chybu. "Je absolutně nutné zvládnout správně tucet věcí současně, a
to je nad možnosti většiny datových center," obává se. Mezi jinými je nutný
dostatečný prostor pod podlahou, prostý jakékoliv kabeláže, trubek a dalších
překážek v proudění vzduchu, a dále je nutné racky pečlivě utěsnit tak, aby
bylo možno kontrolovat proudění vzduchu.
"Nákup dalších chladicích kapacit může být stejně zkázonosný jako
poddimenzovaný systém, pokud dojde k tomu, že vzduch proudí pod podlahou příliš
rychle," dodává Neil Rassmussen, šéftechnolog firmy American Power Consumption.
"Vzduch proudící velkou rychlostí pod podlahou způsobuje takzvaný Venturiho
efekt, v jehož důsledku je vzduch z místnosti nasáván pod podlahu, místo aby
byl tlačen směrem vzhůru do chladných uliček mezi racky," říká. A horký vzduch
poté proudí přes horní část racků a recirkuluje jejich vnitřkem, čímž dochází k
přehřívání.

Jde to
Bob Sullivan, konzultant ComputerSite Engineering, říká, že chladí 7kW racky.
Ale dodává, že to vyžaduje takové množství vzduchu přiváděného pod podlahou, že
maximem pro opravdu velký chladicí systém je šest takových racků. Celkovou
tepelnou zátěž v datovém centru je podle něj nutné udržet pod hranicí cca 1 100
W na čtvereční metr. "Po jejím překročení zabere potřebné chlazení více místa,
než kolik ušetříte kompresí systémů do racků," konstatuje.
Mezitím výrobci racků jako Hewlett-Packard, Sun Microsystems a IBM říkají, že
jejich blade servery se budou zmenšovat a jejich výpočetní síla zvyšovat. IBM,
která již má zkušenosti s chlazením souvisejícím s mainframy, tvrdí, že
budoucnost chlazení může vlastně znamenat návrat do minulosti. "Nechceme přejít
zpět k vodnímu chlazení, ale zdá se, že to je jednoduše nevyhnutelné. Koncem
roku se dostaneme na hranice únosnosti," říká Heft Benck, viceprezident eServer
BladeCenter společnosti IBM. A v roce 2005 podle něj budou externí vodní
systémy, chladící jednotlivé blady nebo blade servery, nezbytným vybavením.
Stávající design IBM využívá větráky montované na jednotlivé blady, čímž se
dosahuje lepší kontroly, přesto šéftechnolog IBM pro chlazení bladů Subodh
Bapat říká, že budoucnost spatřuje právě u vodního chlazení.
Sawyer z firmy Johnson Controls se obává, že se zvyšující se hustotou serverů
budou stále komplexnější chladicí řešení znamenat nárůst nákladů a problémy s
údržbou. "Potřebujeme alternativu, která bude realizovatelná a která současně
nebude znamenat zvýšení rizik," tvrdí.
Richardson ze společnosti Qualcomm podotýká, že problém rozebíral s několika
dodavateli. "Každý s nich má nějaký ten poznatek, od každého se můžete něčemu
přiučit, ale kompletní odpověď nemá žádný z nich."

Spolupráce při chlazení
Jednou z příčin, proč datová centra bojují s problémy s přehříváním, je
nedostatečná komunikace. Lidé z IT nerozumějí chlazení a inženýři spravující
datová centra, kteří by jim mohli pomoci, nejsou při návrhu vybavení zase
dotazováni.
"Strávil jsem v jednom takovém centru celý týden a mluvil jsem s plánovači IT
hardwaru i s lidmi z datového centra. Musel jsem je vzájemně představit,
protože se spolu nikdy nesetkali," všímá si Bob Sullivan, konzultant
ComputerSite Engineering. Pokud mají rackové servery překročit v příštím roce
hranici 20 kW, tato praxe se bude muset podle odborníků změnit.
V mnoha organizacích již existují počáteční návrhy podoby datových center,
vytvořené skupinami, jež mají na starosti jejich správu. Ale spolu s tím, jak
se chladicí systémy přesouvají z úrovně jednotlivých místností na úroveň
jednotlivých serverů, a dokonce jednotlivých bladů, posouvá se i imaginární
demarkační linie. "Je nutno položit otázku: Pod čí odpovědnost spadá rack,
pokud v něm není jen IT vybavení, ale také chlazení," říká John Sawyer, manažer
správy kritických zařízení společnosti Johnson Controls.
Manažeři datových center by možná udělali dobře, kdyby napodobili postup
vytvořený firmou MasterCard International. Tato společnost dokončila před rokem
datové centrum se zvýšenou podlahou o ploše přes 4 800 m2. MasterCard nepoužívá
farmy blade serverů, ale problematika návrhu je podle jejích představitelů
podobná, pokud navrhujete řešení pro "velké železo", jako je např. Sun E15K,
které spotřebuje 24 kilowattů na ploše pouhých 1,4 m2.
"IT a zaměstnanci datového centra musejí úzce spolupracovat. Vzájemné vztahy a
spolupráce mezi nimi musí fungovat, aby věci běžely hladce," konstatuje Mike
Bray, viceprezident divize MasterCard pro správu síťových a počítačových
služeb. U MasterCard pracovali na návrhu zaměstnanci IT a datového centra přes
dva a půl roku.
"Pracoval jsem v oddělení IT, ale fungovali jsme jako jeden tým," vzpomíná
Franz Vincent, viceprezident korporátních služeb. "Konzultace odborníků z
datových center s pracovníky IT dává smysl, neboť je to právě IT, kdo chápe
kritické požadavky datových center," říká Bray.
Přestože skupina IT měla na starosti návrh podlahové plochy, pracovala společně
se skupinou datových center na každém jednotlivém kroku celého procesu. "Nyní
inženýři našeho centrálního datového centra spolupracují se zaměstnanci, a
pokud provádějí preventivní údržbu, radí se s nimi, kdy je vhodné ji dělat a
jaká rizika jsou s tím spojena. Je opravdu důležité, že se podařilo vybudovat
tyto vztahy," pochvaluje si Bray.

Jak zchladit racky
Navrhněte rozmístění racků tak, aby se snížila průměrná hustota tepla na metr
čtvereční.
Zmapujte vertikální teplotní profil vzduchu v počítačové místnosti nejméně
jednou za čtvrt roku. Udržujte teplotu pod 75 ?C.
Využijte konfiguraci horkých a studených uliček a dodržujte příslušné postupy.
Instalujte vnitřní záslepky tak, abyste uzavřeli přední část racku a zabránili
zpětnému proudění vzduchu ze zadní části racku do přední.
Udržujte míru úniku vzduchu pod zvýšenými podlahami do
10 % utěsněním otvorů v podlaze.
Instalujte odpovídající počet perforovaných mřížek z chladných uliček. 40% či
60% perforace je optimální pro skříně od 3 kW výše.
Odstraňte kryty na konci ventilačního potrubí chladicích jednotek. Ty zvyšují
vertikální rychlost chladného vzduchu, což škodí zařízením umístěným nejblíže
chladicím jednotkám. ďĘNastavte body pro návrat vzduchu v chladicích jednotkách
na 72 ?C, abyste omezili odpařování vody a zvýšili dostupnou kapacitu chlazení.
(Platí, pouze pokud je objem postranního toku vzduchu nižší než 20 %.)
Zvažte přemístění chladicích jednotek, pokud existence horkých míst přetrvává.
Nezbavujte se starých mainframových vodních chladicích systémů. Vodní chlazení
se vrátí během jednoho až dvou roků a bude sloužit právě k chlazení high-end
blade serverů.









Komentáře
K tomuto článku není připojena žádná diskuze, nebo byla zakázána.