IBM zrychluje analýzu dat pomocí revolučního algoritmu

Společnosti IBM oznámila dokončení vývoje nového univerzálního matematického algoritmu, který má být schopný analyzovat v minutách terabajty surových dat, na konci tohoto týdne. Algoritmus byl vyvinut v laboratořích ve švýcarském Curychu a je schopný třídit, analyzovat a dávat do souvislostí miliony náhodných setů dat, což je úkol, který i dnešním superpočítačům trvá většinou celé dne, říká Costas Bekas, výzkumník společnosti IBM.

Zajímavé je, že délka celého algoritmu je méně než tisíc řádek kódu a má se podle Bekase stát důležitým prvkem při hledání vzorců chování nebo trendů založených na datech získaný ze zdrojů, jakými jsou např. automatické senzory nebo chytré měřiče. Využití se dá očekávat v nejrůznějších oblastech, od předpovědi trendů využití elektrické energie, přes úrovně znečištění vzduchu či vody až po aplikaci na finanční trhy, kde může upozorňovat na možná rizika.

Bekas potvrdil, že pro efektivní analýzu velkých setů dat bylo potřeba vytvořit zcela nové matematické přístupy, redukující výpočetní komplexitu. Algoritmus IBM kombinuje modely kalibrace dat a statistických analýz, které mohou odhalovat skryté vztahy mezi soubory dat. Výzkumníci IBM na jeho vývoji pracovali dva roky.

Tento algoritmus může také výrazně zefektivnit analýzy obchodních dat ve firmách a laboratoř, která používá počítač Blue Gene/P byla s jeho pomocí schopná analyzovat 9 TB dat za méně než 20 minut. Za pomocí konvenčních metod trvala stená činnost celý den při nutnosti držet výpočetní výkon superpočítače na maximu, což mělo nepříjemný vliv na výdaje za elektřinu na jeho provoz a chlazení, dodává Costas Bekas. Blue Gene/P je podle žebříčku Top500.org čtvrtý nejvýkonnější superpočítač na světě, který disponuje 294 912 procesorovými jádry a dosahuje výkonu až 1 petaflop.