Επεξεργασία δεδομένων εντός μνήμης με δωρεάν εργαλείο μεγάλων δεδομένων

ΣΦΑΙΡΙΚΗ ΕΙΚΟΝΑ

Το Apache Spark είναι ένας μηχανισμός επεξεργασίας μεγάλων δεδομένων και ανοικτού κώδικα. Βασίζεται στο Hadoop MapReduce και έχει σχεδιαστεί για γρήγορο υπολογισμό. Το Apache Spark επεκτείνει το μοντέλο Hadoop MapReduce για να επιτρέψει περισσότερους τύπους υπολογισμών, όπως διαδραστικά ερωτήματα και επεξεργασία ροής, να εκτελούνται πιο αποτελεσματικά. Υποστηρίζει υπολογισμό συμπλέγματος σε μνήμη, η οποία ενισχύει την ταχύτητα επεξεργασίας μιας εφαρμογής. Το Apache Spark χειρίζεται μια ποικιλία φόρτων εργασίας, συμπεριλαμβανομένων επαναληπτικών αλγορίθμων, διαδραστικών ερωτημάτων και ροής. Έρχεται με χαρακτηριστικά εκτός κουτιού, όπως ανοχή σφάλματος, προηγμένες αναλύσεις, τεμπέλης αξιολόγηση, επεξεργασία ροής σε πραγματικό χρόνο, επεξεργασία δεδομένων στη μνήμη και πολλά άλλα. Πάνω από 80 χειριστές υψηλού επιπέδου διατίθενται στο Apache Spark, το οποίο μπορεί να χρησιμοποιηθεί για τη δημιουργία παράλληλων εφαρμογών. Περιλαμβάνει επίσης ένα API που επιτρέπει την επεξεργασία ροής σε πραγματικό χρόνο. Στο Apache Spark, όλοι οι μετασχηματισμοί είναι τεμπέλης στη φύση. Υπονοεί ότι αντί να παρέχει αμέσως το αποτέλεσμα, δημιουργεί ένα νέο RDD από το υπάρχον. Ως αποτέλεσμα, η απόδοση του συστήματος βελτιώνεται. Το Apache Spark υποστηρίζει πολλές γλώσσες όπως η Java, R, Scala, Python, ενώ ο Hadoop υποστηρίζει μόνο τη γλώσσα Java. Το Apache Spark επιτρέπει την επεξεργασία των εργασιών σε μνήμη που αυξάνουν την τεράστια ταχύτητα. Το Apache Spark λειτουργεί καλά με το σύστημα αρχείων HDFS του Hadoop και πολλαπλές μορφές αρχείων όπως το Parquet, το JSON, το CSV, το ORC. Το Hadoop μπορεί εύκολα να ενσωματωθεί στο Apache Spark είτε ως πηγή δεδομένων εισόδου είτε ως προορισμός εισόδου.