Αναλύστε σύνθετα σύνολα δεδομένων με λογισμικό μεγάλης ανάλυσης δεδομένων

ΣΦΑΙΡΙΚΗ ΕΙΚΟΝΑ

Το Hadoop είναι ένα ελεύθερο και ανοιχτό εργαλείο μεγάλων δεδομένων. Είναι εύρωστο, αξιόπιστο και κλιμακωτό λογισμικό μεγάλων αναλύσεων δεδομένων. HDFS (υψηλό κατανεμημένο σύστημα αρχείων), MapReduce και νήματα είναι τα τρία βασικά συστατικά του Hadoop. Το HDFS είναι ένα στρώμα αποθήκευσης που αποτελείται από δύο είδη κόμβων: ονόματα και datanodes. Τα μεταδεδομένα σχετικά με την τοποθεσία ενός μπλοκ αποθηκεύονται στο Namenode. Σε μια προκαθορισμένη περίοδο, το DataNodes αποθηκεύει το μπλοκ και στέλνει αναφορές μπλοκ στο NameNode. Το στρώμα επεξεργασίας MapReduce χωρίζεται σε δύο φάσεις: τη φάση του χάρτη και τη φάση μείωσης. Προορίζεται για ταυτόχρονη επεξεργασία δεδομένων που διανέμονται σε διάφορους κόμβους. Στο Hadoop Big Data, το YARN είναι το επίπεδο προγραμματισμού εργασίας και διαχείρισης πόρων. Το Hadoop είναι ένα από τα καλύτερα μεγάλα λογισμικά δεδομένων για την επεξεργασία μεγάλων δεδομένων. Το Hadoop cluster είναι εξαιρετικά κλιμακωτό, οπότε επιτρέπει την οριζόντια και κατακόρυφη κλιμάκωση στο πλαίσιο Hadoop. Έχει μια συνάρτηση ανοχής σφάλματος που βασίζεται σε έναν μηχανισμό αναπαραγωγής για να εξασφαλίσει την ανοχή σφάλματος. Ο Hadoop εξασφαλίζει ότι τα δεδομένα είναι ακόμα διαθέσιμα, ακόμη και όταν τα πράγματα δεν πάνε καλά. Εάν ένα από τα datanodes αποτύχει, ο χρήστης μπορεί να έχει πρόσβαση σε δεδομένα από άλλα datanodes που έχουν αντίγραφο των ίδιων δεδομένων. Το Hadoop είναι ένα κατανεμημένο σύστημα αποθήκευσης δεδομένων που επιτρέπει την επεξεργασία δεδομένων μέσω ενός συστάδων κόμβων. Ως αποτέλεσμα, δίνει στο Hadoop Framework Lightning-Fast δυνατότητες επεξεργασίας.