Gridy vstupují do praktického života

Techniky gridu, tedy výpočtů rozložených do množství počítačů v síti, dokáží ve vědeckém a akademickém prost...


Techniky gridu, tedy výpočtů rozložených do množství počítačů v síti, dokáží ve
vědeckém a akademickém prostředí skutečné zázraky. Podpora v běžných komerčních
aplikacích je ale stále spíše otázkou dalšího vývoje. Přesto už se objevuje
řada příkladů nasazení z podnikové praxe.
Když například farmaceutická firma Novartis potřebovala nedávno další výpočetní
výkon pro své výzkumy, našla ho právě díky technologii gridu. Objevila totiž 5
bilionů (ano, skutečně jde o 5 x 1012) flops (floating-point operations per
second) nevyužité kapacity na 2 700 desktopech ve svém ústředí ve švýcarské
Basileji. A firma tyto počítače využila k vytvoření výpočetního gridu, jenž
nyní používá pro provozování superpočítačových aplikací modelujících interakce
mezi proteiny a dalšími chemikáliemi, které lze využít v léčivech.
"Grid nám otevřel řadu příležitostí, které jsme nikdy předtím neměli," říká
Manul Peitsch, šéf informatiky a znalostního managementu Novartis Research.
"Lidé si vůbec neuměli představit, jak dělat věci, které nyní rutinně
provádíme."
Software firmy Novartis pro výzkum léčiv je na stolní počítače nahráván ze
serveru, na němž běží Grid MetaProcessor od společnosti United Devices.
Investicí 400 tisíc amerických dolarů do gridové technologie Novartis ušetřil 2
miliony dolarů, které by musel zaplatit za nový linuxový cluster.
Úspěch firmy Novartis zdaleka není ojedinělý. Výrobci léčiv, univerzitní
výpočetní centra, vývojáři a návrháři nejrůznějších produktů, výzkumná sdružení
financovaná z veřejných zdrojů, a dokonce i několik firem zabývajících se
finančními službami vytvořili své vlastní počítačové gridy. Hlásí velké úspory
za hardware a někdy také zvýšení produktivity.

Není grid jako grid
Gridy se skládají z geograficky rozptýlených počítačů, které se dynamicky
propojují, aby mohly uživatelům nabídnout jednotný pohled na své volné
výpočetní zdroje, jakými jsou výpočetní cykly, prostor na disku a podobně.
Existují vnitrofiremní gridy, jakým je ten u firmy Novartis, nebo partnerské
gridy, třeba TeraGrid sponzorovaný National Science Foundation.
Snem firem jako IBM či Hewlett-Packard jsou komunální (utility) gridy, o nichž
příznivci tvrdí, že by mohly poskytnout neomezený přístup k výpočetním zdrojů
na vyžádání prakticky stejným způsobem, jakým například elektrická rozvodná síť
nabízí přístup k elektrickému proudu. A podobným způsobem by se potom také
platilo za jejich využití. Dosud však ve skutečnosti neexistují.

Omezení
Dnešní gridové aplikace mají tři charakteristické vlastnosti. Zaprvé jsou
náročné na výpočetní výkon. Zadruhé většina z nich je napsána pro paralelní
nebo masivně paralelní vykonávání. A konečně stejně jako grid firmy Novartis
jsou navrženy tak, aby zužitkovaly nevyužité výpočetní cykly. Některé z nich se
soustřeďují také na získávání distribuovaných dat nebo diskových zdrojů.
Přestože dodavatelé diskutují o využití gridů pro všechny druhy aplikací, zatím
se jen pozvolna začínají posouvat i mimo oblast vědeckých, inženýrských a
matematicko-statistických aplikací. Jedním z důvodů je skutečnost, že většina
komerčních aplikací nebyla napsána s ohledem na paralelní zpracování, takže
nejsou schopny v takové míře zužitkovat velké množství částečně nezávislých
procesorů, z nichž jsou gridy vytvořeny.
"Paralelizace těchto aplikací vyžaduje jejich kompletní přepsání," říká
analytik Meta Group Cart Greiner. "Proto se gridy obtížně prosazují v komerční
sféře." Předpovídá, že bude trvat pět let, než se aplikace, jako jsou třeba
systémy pro dodavatelské řetězce, stanou vhodnými pro výpočty v gridu.
Další překážkou je podle Greinera skutečnost, že dosud nejsou příliš rozvinuté
nástroje pro monitorování využití gridů, vyúčtování, a dokonce ani pro
zajištění bezpečnosti. "Nedostatek podobných funkcí představuje problém
obzvláště tehdy, pokud gridy přesáhnou hranice několika oddělení nebo firem,"
dodává.
V průzkumu 50 firem, sponzorovaném firmou Platform Computing, jež se zabývá
vývojem gridového softwaru, na 89 % respondentů uvádělo jako bariéru pro
implementaci gridů organizační politiky. Námitky zahrnovaly obavy ze ztráty
kontroly nad IT zdroji a také strach ze snížení rozpočtu na IT.
Ahmar Abbas, výkonný ředitel Grid Technology Partners, shrnuje překážky
rozšířenějšího přijetí gridů následovně: "Zaprvé je třeba skutečně rozumět
vlastním aplikacím. A za druhé je třeba vědět, zda je, už z jejich podstaty,
můžeme distribuovat." Abbas ovšem tvrdí, že dodavatelé už nyní často pomáhají
uživatelům přizpůsobit jejich aplikace pro využívání gridů. Například IBM loni
oznámila novou verzi WebSphere Application Serveru, která dovoluje uživatelům
vytvořit z několika serverů grid, s jehož využitím lze vyvážit zátěž napříč
několika aplikacemi WebSphere. A budoucí rozšíření budou nabízet i podporu
gridů pro jiné aplikace než ty na WebSphere.

Webové služby
Klíčem k využití gridů pro komerční aplikace by se mohly stát webové služby.
"Firemní aplikace využijí výhod gridu s pomocí XML, UDDI, SOAP a WDSL. Standard
Open Grid Services Architecture zahrnuje všechny schopnosti, jež může grid
nabídnout a přesouvá vhodné zdroje do podobného seznamu jako aplikace pro
webové služby," dodává Abbas.
Mezi výrobci, uživateli a výzkumnými pracovníky nyní probíhá usilovná práce na
tvorbě gridových standardů. Mnohé aplikace však dosud těmto standardům
neodpovídají někteří dodavatelé gridových produktů se dokonce domnívají, že
standardy nejsou dostatečně vyspělé pro komerční aplikace.
Přestože tedy takové aplikace nejsou dosud připraveny, využívání tradičních
gridových aplikací roste. Výzkumní pracovníci Purdue University vyzvořili celou
hierarchii distribuovaných výpočetních zdrojů na vrcholu jsou superpočítače,
uprostřed stojí šestice 48uzlových clusterů Linux/Intel a vespodu je grid
složený ze 2 300 PC využívajících software firmy United Devices. Podle
viceprezidenta pro výzkumné výpočty Davida Moffetta je cílem přesouvat
výpočetní úlohy v této hierarchii směrem dolů, protože je to levnější.
"Dávám velmi vysokou naději tomu, že se nám zdaří přesunout celý proud úloh z
clusterového prostoru na software firmy United Devices," doufá Moffett.
"Přestože PC grid vyžaduje licence za software a dva dedikované gridové
servery, je jeho využití ve srovnání s alternativními řešeními prakticky
zadarmo," dodává.
Moffett plánuje rozšířit grid tak, aby zahrnoval i počítače na fakultě a v
administrativních budovách. Přitom tvrdí, že výpočetní cykly uvolněné na
výzkumných počítačích stávajícím PC gridem zpřístupní pro komerční aplikace.
"Uvolnili jsme dostatek zdrojů na strojích vysoko v naší hierarchii, abychom to
dokázali," věří.

Middleware, který umožňuje gridům fungovat
Významní dodavatelé IT infrastruktury, a to včetně firem IBM, Hewlett-Packard
nebo Sun Microsystems, vyvíjejí množství aktivit zaměřených na výpočty v
gridech. Avšak většina gridů je závislá na middlewaru od menších firem
specializujících se na tuto problematiku. Zde uvádíme některé z těchto produktů
a firem:
Data Grid firmy Avaki se zaměřuje na strukturovaná a nestrukturovaná data
rozložená napříč jednotlivými odděleními, místy a firmami. Na rozdíl od
datového skladu, kde se informace kopírují z různých zdrojů do centrálního
úložiště, Data Grid dovoluje, aby data zůstala na místě a aplikacím nabízí
katalog údajů s unifikovaným a bezpečným pohledem na celý grid.
GridServer od společnosti DataSynapse se soustředí na datově a výpočetně
náročné finanční služby, energetiku a vládní aplikace běžící na operačním
systému Linux, na Unixu nebo pod Windows. Snaží se o přetvoření middle-tier
infrastruktury stejným způsobem, jakým kupříkladu J2EE aplikační servery
urychlily a standardizovaly integraci aplikací.
DCGrid firmy Entropia spravuje, plánuje, rozmisťuje a provádí aplikace náročné
na výpočetní výkon napříč gridem osobních počítačů s operačním systémem Windows.
Platform Symphony od Platform Computing je vývojovým rámcem pro gridy sloužící
k provozování datově a výpočetně náročných aplikací v reálném čase. Platform
LSF a JobScheduler slouží pro dávkově orientované plánování úloh, jejich
monitorování a správu napříč celým gridem. Výrobce také nabízí produkt Globus
Toolkit od společnosti The Globus Alliance.
Grid MetaProcessor firmy United Devices má za cíl využití volných výpočetních
cyklů na desktopech, serverech a clusterech. Virtualizuje přístup k výpočetním
zdrojům, aplikacím a datům pomocí jediného přehledného grafického uživatelského
rozhraní přístupného odkudkoliv v rámci celé firmy. Umí emulovat linuxové
binární soubory na platformách Windows, takže uživatelé mohou provozovat jak
linuxové aplikace, tak aplikace určené pro Windows.

Inovátoři v oblasti gridů
Někteří průkopníci rozšiřují využití gridů za hranice, které jsou dnes jinak
běžné. Patří mezi ně jak firmy zmiňované v hlavním textu, tak i řada dalších.
Například již zmíněná firma Novartis využívá volnou výpočetní kapacitu stolních
počítačů, avšak tento výrobce léčiv s obratem 19 miliard dolarů ročně hledá
také volné místo pro ukládání dat na desktopech. "Lidé mají v počítačích 30GB
nebo 40GB pevné disky, ale většina jejich dat je uložena na síti," říká Manuel
Pietsch, šéf informatiky a znalostního managementu Novartisu. Před vytvořením
datových gridů je ale podle Pietsche třeba najít odpověď na několik obtížných
otázek. "Jak data naleznete, pokud je budete potřebovat? Jaký je výkon v
porovnání s výkonem SAN? Jaké jsou náklady na podobné distribuované ukládání
dat oproti provozování prakticky bezdiskových počítačů a centrálnímu ukládání
dat?" ptá se Peitsch. Říká, že také zkoumá možnost rozšíření gridu do oblasti
mimo výzkum, např. do CRM.
Grid na Purdue University sestávající ze 2 300 PC zatím prostě "sklízí"
výpočetní cykly. Ale i David Moffett, viceprezident pro vědecké výpočty této
univerzity, hodlá využít nějaký software k vytvoření aplikace, která by byla
schopna využít volný prostor na pevných discích. Padl mu přitom do oka produkt
firmy United Devices.
"Nastavení gridu pro ukládání dat je obtížnější než jeho využití pro výpočty.
Musíte mít síť, která bude schopna všechen ten provoz zvládnout," upozorňuje.
"Navíc distribuované ukládání dat vyžaduje vyřešení závažných problémů jejich
bezpečnosti, replikace, dostupnosti a spolehlivosti počítačů," dodává.
Přesto hodlá Moffett rozšířit využívání gridů "Moji zaměstnanci jsou otráveni
tím, že se snažím ukrást cykly z čehokoliv, co má procesor," směje se. "Kdyby
automat na kolu měl Ethernetovou přípojku, určitě bychom ho využili."









Komentáře
K tomuto článku není připojena žádná diskuze, nebo byla zakázána.