Facebook chce vyřešit hlavní nedostatky platformy Hadoop

O novém projektu se na konferenci Hadoop Summit, která se v tomto týdnu koná v San Jose, rozpovídal technický pracovník Facebooku Andrew Ryan. Svou řeč posléze okomentoval také přímo na Facebooku.Facebook podle Ryana disponuje největší kolekcí dat v HDFS (Hadoop Distributed File System) na světě. Konkrétně by mělo jít o více než 100 PB dat umístěných na více než 100 výpočetních clusterech napříč datovými centry Facebooku.

Hadoop je velmi oblíbeným nástrojem pro provádění analýz velkého objemu dat, stejně tak je ale znám jako systém trpící vážnými nedostatky, které plynou z jeho samotné podstaty. Hadoop je totiž možné nasadit do stovek až tisíců serverů, celý jeho provoz je však vždy závislý na jediném z nich – serveru zvaném namenode, který koordinuje provoz mezi všemi datovými uzly. Pokud namenode vypadne z provozu, datové uzly spolu nemohou komunikovat, což má za následek pád celého systému.

Facebook odhaduje, že vyřešení tohoto problému by mohlo snížit odstávky datových centrech až o polovinu. Jinými slovy by se o tolik zvýšila dostupnost serverů. Společnost proto vytvořila software Avatarnode, který dokáže přesunout provoz na záložní namenode v případě, že primární server z nějakého důvodu selže. Při takovém nastavení se datové uzly normálně snaží o komunikaci s oběma servery, čímž je zajištěn rychlý přechod v případě poruchy. Software, který je pojmenován po známém filmu Avatar, spoléhá mimo jiné na konfigurační nástroj Hadoop Zookeeper.

Společnost nabízí Avatarnode jako open source v naději, že z jeho použití budou těžit všichni administrátoři serverů Hadoop. „Avatarnode v současné době obstarává ty nejnáročnější úlohy uvnitř Facebooku a výrazně se díky němu zlepšila spolehlivost a obsluha clusterů HDFS,“ napsal Ryan. Facebook hodlá svůj software i nadále zlepšovat a plánuje například jeho integraci s platformou umožňujícím automatické přepnutí při selhání služeb (failover).