Gegevensverwerking in het geheugen met gratis big data tool

Overzicht

Apache Spark is een gratis en open source Big Data Processing Engine. Het is gebaseerd op Hadoop MapReduce en is ontworpen voor snelle berekening. Apache Spark breidt het Hadoop MapReduce -model uit om meer soorten berekeningen, zoals interactieve query’s en stroomverwerking, efficiënter te kunnen uitvoeren. Het ondersteunt in-memory cluster computing, die de verwerkingssnelheid van een applicatie verhoogt. Apache Spark behandelt verschillende werklast, waaronder iteratieve algoritmen, interactieve vragen en streaming. Het wordt geleverd met out-of-the-box-functies zoals fouttolerantie, geavanceerde analyses, luie evaluatie, realtime streamverwerking, gegevensverwerking in het geheugen en nog veel meer. Meer dan 80 operators op hoog niveau zijn beschikbaar in Apache Spark, die kunnen worden gebruikt om parallelle toepassingen te maken. Het bevat ook een API die realtime stream-verwerking mogelijk maakt. In Apache Spark zijn alle transformaties lui van aard. Het houdt in dat het in plaats van het resultaat onmiddellijk te leveren, het een nieuwe RDD van de bestaande creëert. Als gevolg hiervan zijn de prestaties van het systeem verbeterd. Apache Spark ondersteunt meerdere talen zoals Java, R, Scala, Python, terwijl Hadoop alleen Java -taal ondersteunt. Apache Spark maakt in-memory-verwerking van taken mogelijk die de enorme snelheid verhogen. Apache Spark werkt goed met het HDFS-bestandssysteem van Hadoop en meerdere bestandsformaten zoals Parquet, JSON, CSV, ORC. Hadoop kan gemakkelijk worden geïntegreerd met Apache Spark, hetzij als invoergegevensbron of bestemming.