Databehandling i minnet med gratis big data-verktyg

Översikt

Apache Spark är en gratis och öppen källkod Big Data Processing Engine. Det är baserat på Hadoop MapReduce och är designad för snabb beräkning. Apache Spark utvidgar Hadoop MapReduce -modellen för att möjliggöra fler typer av beräkningar, såsom interaktiva frågor och strömbehandling, som ska utföras mer effektivt. Det stöder computing i minnet kluster, som ökar en applikations bearbetningshastighet. Apache Spark hanterar olika arbetsbelastningar inklusive iterativa algoritmer, interaktiva frågor och strömning. Det kommer med out-of-the-box-funktioner som feltolerans, avancerad analys, lat utvärdering, realtidsströmbehandling, databehandling i minnet och många fler. Över 80 operatörer på hög nivå finns i Apache Spark, som kan användas för att skapa parallella applikationer. Det inkluderar också ett API som möjliggör realtidsströmbehandling. I Apache Spark är alla transformationer lata till sin natur. Det innebär att istället för att tillhandahålla resultatet omedelbart skapar det en ny RDD från den befintliga. Som ett resultat förbättras systemets prestanda. Apache Spark stöder flera språk som Java, R, Scala, Python medan Hadoop bara stöder Java -språk. Apache Spark tillåter behandling i minnet av uppgifter som ökar enorm hastighet. Apache Spark fungerar bra med Hadoops HDFS-filsystem och flera filformat som Parquet, JSON, CSV, ORC. Hadoop kan enkelt integreras med Apache Spark antingen som en inmatningsdatakälla eller destination.