In-Memory-Datenverarbeitung mit kostenlosen Big-Data-Tool

Überblick

Apache Spark ist eine kostenlose und Open -Source -Big -Data -Verarbeitungsmaschine. Es basiert auf Hadoop MapReduce und ist für schnelle Berechnung ausgelegt. Apache Spark erweitert das Hadoop -MapReduce -Modell, damit mehr Berechnungen wie interaktive Abfragen und Stream -Verarbeitung effizienter durchgeführt werden können. Es unterstützt das Memory-Cluster-Computing, das die Verarbeitungsgeschwindigkeit einer Anwendung stärkt. Apache Spark behandelt eine Vielzahl von Workloads, einschließlich iterativer Algorithmen, interaktiven Abfragen und Streaming. Es wird mit außergewöhnlichen Funktionen wie Fehlertoleranz, fortschrittlicher Analyse, fauler Bewertung, Echtzeit-Stream-Verarbeitung, In-Memory-Datenverarbeitung und vielem mehr geliefert. Über 80 hochrangige Operatoren sind in Apache Spark verfügbar, mit denen parallele Anwendungen erstellt werden können. Es enthält auch eine API, die eine Echtzeit-Stream-Verarbeitung ermöglicht. In Apache Spark sind alle Transformationen in der Natur faul. Dies impliziert, dass es anstatt das Ergebnis sofort bereitzustellen, eine neue RDD aus dem vorhandenen erstellt. Infolgedessen wird die Leistung des Systems verbessert. Apache Spark unterstützt mehrere Sprachen wie Java, R, Scala, Python, während Hadoop nur die Java -Sprache unterstützt. Apache Spark ermöglicht die In-Memory-Verarbeitung von Aufgaben, die die massive Geschwindigkeit erhöhen. Apache Spark funktioniert gut mit dem HDFS-Dateisystem von Hadoop und mehreren Dateiformaten wie Parquet, JSON, CSV, ORC. Hadoop kann leicht in Apache Spark entweder als Eingabedatenquelle oder als Ziel integriert werden.