Memóriában lévő adatfeldolgozás ingyenes Big Data eszközzel

Áttekintés

Az Apache Spark egy ingyenes és nyílt forráskódú nagy adatfeldolgozó motor. A Hadoop MapReduce -on alapul, és a gyors számításra tervezték. Az Apache Spark kiterjeszti a Hadoop MapReduce modellt, hogy több típusú számítás, például interaktív lekérdezések és patakfeldolgozás hatékonyabban hajtsa végre. Támogatja a memóriában lévő klaszter számítástechnikát, amely növeli az alkalmazás feldolgozási sebességét. Az Apache Spark különféle munkaterhelést kezeli, beleértve az iteratív algoritmusokat, az interaktív lekérdezéseket és a streaminget. A dobozon kívüli funkciókkal, például a hibatűrés, a fejlett elemzés, a lusta értékelés, a valós idejű patak feldolgozása, a memória-adatfeldolgozás és még sok más. Több mint 80 magas szintű operátor érhető el az Apache Sparkban, amely felhasználható párhuzamos alkalmazások létrehozására. Ez magában foglal egy API-t is, amely lehetővé teszi a valós idejű patak feldolgozását. Az Apache Sparkban az összes átalakulás lusta jellegű. Ez azt jelenti, hogy az eredmény azonnali megadása helyett új RDD -t hoz létre a meglévőből. Ennek eredményeként a rendszer teljesítménye javul. Az Apache Spark több nyelvet támogat, például Java, R, Scala, Python, míg a Hadoop csak a Java nyelvet támogatja. Az Apache Spark lehetővé teszi a memóriában lévő feladatok feldolgozását, amelyek növelik a hatalmas sebességet. Az Apache Spark jól működik a Hadoop HDFS fájlrendszerével és több fájlformátummal, mint például a Parquet, a JSON, a CSV, az ORC. A Hadoop könnyen integrálható az Apache Spark -hoz, akár bemeneti adatforrásként, akár célként.