Zpracování dat v paměti pomocí bezplatného nástroje Big Data

Přehled

Apache Spark je bezplatný a otevřený zdrojový motor pro zpracování dat. Je založen na Hadoop MapReduce a je navržen pro rychlý výpočet. Apache Spark rozšiřuje model Hadoop MapReduce, aby umožnil efektivněji provádět více typů výpočtů, jako jsou interaktivní dotazy a zpracování proudu. Podporuje výpočetní technika v paměti, která zvyšuje rychlost zpracování aplikace. Apache Spark zpracovává celou řadu pracovních zátěží včetně iteračních algoritmů, interaktivních dotazů a streamování. Dodává se s funkcemi mimo box, jako je tolerance poruch, pokročilá analytika, líné hodnocení, zpracování toku v reálném čase, zpracování dat v paměti a mnoho dalších. V Apache Spark je k dispozici více než 80 operátorů na vysoké úrovni, které lze použít k vytváření paralelních aplikací. Zahrnuje také API, které umožňuje zpracování proudu v reálném čase. V Apache Spark jsou všechny transformace líné povahy. To znamená, že místo toho, aby výsledek okamžitě poskytl, vytvoří nový RDD z existujícího. Výsledkem je, že se výkon systému zlepšuje. Apache Spark podporuje několik jazyků, jako jsou Java, R, Scala, Python, zatímco Hadoop podporuje pouze Java Jazy. Apache Spark umožňuje zpracování úkolů, které zvyšují masivní rychlost. Apache Spark dobře funguje se systémem souborů HDFS HDFS HDFS a více formáty souborů, jako jsou Parquet, JSON, CSV, ORC. Hadoop lze snadno integrovat s Apache Spark buď jako zdroj vstupních dat nebo cíle.