Nasazení AI nemusí znamenat vyšší spotřebu elektřiny

Protože AI a ML mají tendenci využívat velmi často náročné výpočty, mohou náklady za napájení a chlazení pozřít částku, kterou by oddělení IT nemuselo očekávat.

Není to nový problém, ale jeho dopad se zvětšuje. Když začíná převládat množství aplikací náročných na výpočetní výkon, jako jsou například datové sklady a business intelligence, často si oddělení IT nepovšimne, že se to odráží i v účtech za elektrickou energii, zejména když faktury putují na provozní oddělení, a nikoliv na oddělení IT.

„Lídři týmů datové vědy mají často neomezené povolení spustit cokoli a kdykoli,“ popisuje Mark Swartz, výkonný ředitel společnosti Neural, která je vývojářem AI. „Tyto luxusní přístupy pro řešení náročných výpočetních požadavků se začnou v příštích pěti letech postupně omezovat.“

Jedním z důvodů pro větší kontrolu nákladů za výkon a chlazení je, že AI často vyžaduje vysoce výkonné výpočetní prostředky (HPC, High-Performance Computing), zatímco datové sklady a aplikace BI mohou běžet na standardních systémech.

HPC a AI mají výrazně větší nároky, takže by nikoho nemělo překvapit, že výsledkem je vyšší účet za energii, upozorňuje Addison Snell, výkonný ředitel výzkumné společnosti Intersect360 zaměřené na problematiku HPC.

„U každého projektu IT je potřebné udržet kontrolu nad spotřebou energie a chlazením. Pokud nejste na AI připraveni, může vás překvapit výše nákladů za elektřinu a chlazení, jestliže jste předpokládali, že to bude podobné jako u běžných podnikových serverů,“ upozorňuje Snell.

Co tedy lze udělat, aby šok nebyl tak velký? Zde je šest kroků.

1. Hledejte levnější zdroj energie

Máte-li možnost umístit datové centrum mimo sídlo firmy, hledejte dobré zdroje obnovitelné energie a začněte hydroelektrárnami. Elektřina z hydroelektrárny může být jedním z nejlevnějších zdrojů elektrické energie.

„Existuje pádný důvod, proč společnosti Microsoft či Google mají svá datová centra umístěná v blízkosti velkých zdrojů vody,“ prohlašuje Steve Conway, hlavní poradce pro dynamiku trhu HPC ve společnosti Hyperion Research.

Větrná energie je také levnější než fosilní paliva, což je důvod, proč se mnoho datových center nachází ve větrnějších částech světa. Elektřina také může být levnější v některých regionech.

Pište pro Computerworld

Máte dobré nápady, máte co říct? Chcete se podělit o své znalosti se čtenáři Computerworldu?

Je tu ideální příležitost. V redakci neustále hledáme externí autory, kteří rozšíří náš záběr. Nabízíme možnost publikací zajímavých článků nejen na webu, ale také v našem tištěném magazínu.

Pokud máte zájem, ozvěte se šéfredaktorovi na e-mail: radan.dolejs@iinfo.cz

Kromě toho se pokuste spouštět výpočetně náročné aplikace v noci, kdy může být cena elektrické energie nižší než ve špičce během dne, radí Conway.

2. Použijte AI k optimalizaci napájení

Může vás to překvapit, ale jeden z nejlepších způsobů, jak spravovat počítače datového centra, nabízí sama AI. Může optimalizovat provoz napájení a chlazení, zlepšit distribuci pracovní zátěže, dělat prediktivní údržbu a varovat před hrozbou selhání hardwaru.

Je to jiný typ AI, spíše z oblasti monitoringu než z oblasti strojového učení, a neklade tak velké nároky na svůj provoz. Servery také mohou používat senzory pro sledování špičkového vytížení napájecích jednotek a procesorů a informovat klienty, když jsou systémy zatížené více, než je norma, popisuje Swartz.

„Spotřebu energie lze snížit i správným využíváním AI. Existuje velmi mnoho aplikací, které mohou běžet efektivněji, pokud lidé začnou používat AI,“ dodává Jo De Boeck, šéf zabezpečení společnosti Imec, což je výzkumná organizace zaměřená na digitální technologie.

3. Volte hardware s nižším příkonem, kde to lze

Strojové učení je dvoufázový proces: trénování a usuzování. Tréninková fáze zahrnuje učení systému, aby něco dokázal rozpoznat, například obrazy nebo vzory. Tato etapa klade největší nároky na výpočetní výkon.

Ve fázi usuzování dochází k posuzování a odpovídání na otázku stylem ano/ne: odpovídá případ modelu? K nalezení shody je zapotřebí významně méně výpočetního výkonu než k trénování systému, aby byl schopný rozpoznávat.

K učicímu módu je nejlepší využívat grafické procesory (GPU), ale jedna GPU může mít spotřebu i stovky wattů. Lze je používat i k usuzování, ale proč to dělat, když je k tomu možné využít mnohem nižší výkon?

Třeba Intel měl speciální čip zaměřený na usuzování (Nervana), ale vzdal se ho ve prospěch čipu Habana. Nervana při usuzování spotřebovala v raných testech jen cca 10 až 50 W.

Řešením je vyvinout hardware specifičtěji zaměřený na účel využití, prohlašuje De Boeck. „Namísto využití CPU a GPU, které jsou stále obecně zaměřené, uvidíme časem specializovanější hardware, do něhož bude možné přidávat speciální funkční jednotky, které zvýší efektivitu algoritmů strojového učení.“

4. Zkraťte dobu trénování

Dalším způsobem, jak řešit problém spotřeby energie, je trénovat v menším rozsahu. Když budete mít s učením AI více zkušeností, můžete přezkoumat své trénovací algoritmy a zeštíhlit je, aniž dojde ke snížení přesnosti.

„Špičkové usuzování vyžaduje velké množství vytrénování jednoduchých úloh. Lidé pracují na zlepšování usuzování, takže jsou počítače chytřejší, a je tak zapotřebí menší rozsah tréninku. Přidání více inteligence do oblasti usuzování zároveň umožňuje snížit objem trénování,“ popisuje Conway.

Trénování se obvykle dělá s využitím 32bitové (single) či 64bitové (double) přesnosti výpočtů. Čím vyšší je přesnost, tím pomalejší je zpracování, ale spotřeba energie se nemění.

Mnoho vývojářů AI, jako jsou třeba společnosti Nvidia nebo Google, už nějakou dobu upozorňuje, že takovou přesnost ve většině případů nepotřebujeme, kromě výjimek při zpracování obrazu a videa, kde je přesnost jemné grafiky důležitá.

„Stále se rozsáhle pracuje na snižování počtu potřebných operací ve snaze maximalizovat kompaktnost těchto sítí a využít specifické vlastnosti algoritmů,“ popisuje De Boeck.

Společnosti se podle něj snaží využívat specifické vlastnosti neuronových sítí redukcí a zjišťováním parametrů, které mohou být nulové, takže se ani v některých případech nemusí výpočet zahájit. Tomuto procesu se říká pruning (prořezávání).

Výpočty se sníženou přesností získaly za posledních několika let zvýšenou pozornost. Formát bfloat16 je standardem IEEE pro výpočty s plovoucí čárkou s 16bitovou přesností.

Používá se v procesorech Intel pro AI a v procesorech Intel Xeon, v FPGA a využívá ho také Google ve svých jednotkách TPU. Obsahuje ho i framework TensorFlow. Je populární, protože je ve většině případů jeho přesnost dostatečná.

5. Vždy optimalizujte svůj trénink

Je důležité pravidelně opakovat trénování úsudku, aby se zlepšovaly a optimalizovaly algoritmy, připomíná De Boeck. „Teoreticky můžete trénink udělat jen několikrát, ale nemůžete říci, že už to nebudete muset opakovat,“ vysvětluje. „Některé společnosti se neustále snaží zlepšit výkon algoritmů AI, takže je také nepřetržitě trénují.“

Přečtěte si také:

TOP IT osobnost: Marek Rabas

Swartz uvádí, že jejich týmy pro AI a ML využívají proces, při kterém společně stanoví prahové úrovně pro trénovací sady a lhůtu pro vytvoření nových modelů. Přidáním nových školicích informací se zkracuje doba potřebná k trénování modelů.

„Všechny modely musejí obsahovat schopnost přenosu učení, tedy transfer learning, což je forma zjištění rozdílu mezi dvěma modely, takže se přidávají do další trénovací sady ke zpracování jen nová data. Naše týmy to dělaly ručně roky, ale nyní máme algoritmy, které to dokážou udělat samy,“ pochvaluje si Swartz.

6. Posuzujte možnosti cloudu

Všichni hlavní poskytovatelé cloudu mají nabídky AI. V čele je Google a jeho TensorFlow AI. Ve finále můžete zjistit, že jeho využití pro vás může být ekonomičtější cestou, zejména pokud musíte začínat z nuly, upozorňuje Snell.

„Lidé často zvažují cloud z důvodu snižování nákladů. Zda je to ekonomicky příznivé, však záleží na využití a na poskytovateli. Energie se prostě spotřebuje.“

Součástí nákladů za službu poskytovatele cloudu je podle něj také cena spotřebované energie. Není to automaticky levnější. Pokud vám interně chybějí některé dovednosti jako např. datová věda, možná budete chtít využít outsourcing, uzavírá Snell.