Zřejmě nejvýkonnější úložiště optimalizované pro Hadoop má SGI

22. 11. 2013

Sdílet

InfiniteData Cluster, který využívá procesory Intel Xeon E5- 2600 v2 a až 12 4TB disků na uzel, je optimalizován pro Hadoop, a ve spojení s vysokorychlostním propojením poskytuje až 40 uzlů, respektive až 1,9PB na jeden rack, což je podle SGI nejméně dvojnásobná vyšší hustota na podlahovou plochu oproti jiným HPC řešením pro analýzy big dat.

InfiniteData Cluster se integruje s distribucí Cloudera Hadoop, která běží na operačním systému Red Hat Linux a spravuje se prostřednictvím SGI Management Centra. Tato řešení se dodávají předkonfigurovaná a otestovaná, což prý šetří stovky až tisíce hodin práce IT pracovníkům a nabízejí firmám analytickou platformu, kterou je možné nasadit do provozu během několika dnů místo obvyklých měsíců.

InfiniteData Cluster je součástí komplexní sady HPC řešení pro big data analýzy a řeší dva základní aspekty - analýzu dat a zkrácení času potřebného ke generování výsledků.

Systém ObjectStore zase zaručuje mimořádnou úložnou kapacitu a cloudovou škálovatelnost pro big data řešení. Integrací softwaru Scality RING s hardwarem Modular InfiniteStorage Server poskytuje ObjectStore objektové, scale-out úložné řešení pro petabajtová prostředí.

Architektura systému ObjectStore přináší sdílené úložiště obsluhující současně až miliony uživatelů s neomezenou velikostí i množstvím souborů. Uzly lze kdykoli přidat, a tím navýšit kapacitu bez nutnosti přerušovat uživatele nebo snižovat výkonnostní úroveň.

Pokročilá technologie “erasure code“ prý snižuje riziko ztráty dat v případě selhání uzlu nebo disku prakticky na nulu. Prostředí systému provádí „samoléčbu“ bez RAID rekonstrukcí, jež by zvyšovaly servisní nároky. ObjectStore přináší až 2,8PB v racku.

LiveArc AE je speciální appliance softwaru SGI LiveArc, který přináší inteligentní správu pro aktivní archiv, poskytuje rychlé vyhledávání, rozšiřuje přístupová práva, a pomáhá zotavení systému po havárii systému. Jakmile se data nepravidelně využívají, přesunou se do systému InfiniteStorage Gateway a LiveArc AE automaticky indexuje jejich metadata a obsah souborů, což umožňuje řadu užitečných funkcí.

Uživatelé mohou rychle vyhledávat v archivu pomocí volných textových dotazů, aby vyhledali potřebné soubory. Historie verzí může být zachycena pomocí auditní stopy. Funkce typu Write Once Read Many (WORM) může být implementována jako ochrana proti smazání nebo změně souborů. Vzdálená replikace archivovaných dat se může automatizovat na základě nastavitelných pravidel s in-line šifrováním pro zabezpečení přenosu a deduplikací souborů pro snížení spotřeby úložného prostoru.

Našli jste v článku chybu?