Apache zařadil Sqoop mezi nejdůležitější projekty

S tím, jak roste popularita nástroje na zpracování velkého objemu dat Hadoop, roste i zájem podniků o přesun velkého objemu dat mezi Hadoopem a stávajícími databázemi, diskovými poli a ostatními datovými úložišti. Dobrovolníci, kteří spustili projekt nového rychlého prostředku pro přenos dat, nyní získali plnou podporu ASF. Nadace v pondělí oznámila že nástroj na přenos velkého objemu dat Sqoop zařadila mezi své nejdůležitější projekty (TLP).

Sqoop má díky získání statutu TLP zaručenu plnou podporu infrastruktury Apache včetně všech nástrojů pro podporu a zlepšení spolupráce v rámci pracovní skupiny nebo prostředků pro uchovávání a distribuci zdrojového kódu. Přidělení stavu TLP také znamená, že pracovní skupina pro Sqoop dodržuje postupy a zásady Apache pro vývoj a správu softwaru.

Sqoop funguje jako nástroj pro přenos velkých objemů dat mezi platformou pro jejich zpracování Hadoop a externími zdroji dat. Spolupracuje se všemi běžnými relačními databázemi (MySQL, PostgreSQL, Oracle, Microsoft SQL Server a IBM DB2) i velkými úložišti dat určenými pro podniky.

Podle prohlášení Arvinda Prabhakara, vedoucího projektu Sqoop, přenáší tento nástroj data do Hadoopu paralelně. Sqoop ukládá data buď přímo do úložného prostoru ve správě systému souborů HDFS, nebo je předává dalším aplikacím Hadoopu, jako jsou úložiště velkých tabulek HBase nebo software pro správu dat Hive Hadoop.

Sqoop, který je aktuálně k dispozici ve verzi 1.4, byl nasazen do běžného provozu v řadě instalací využívajících Hadoop. Mezi tyto uživatele například patří portál slevových kupónů Coupons.com nebo vzdělávací instituce Apollo Group. Nástroj přitom vznikl jako jeden z projektů v rámci inkubátoru Apache teprve v loňském roce.

ASF podporuje více než 150 projektů typu open source včetně webového serveru Apache, aplikačního serveru Tomcat, databáze Cassandra, vyhledávače Lucene, programovacího jazyka Perl nebo platformy pro analýzu dat Hadoop. Na aktivity této nadace finančně přispívají společnosti jako Facebook, Google, IBM, Hewlett-Packard, Microsoft, VMware nebo Yahoo.