Εργαλείο επεξεργασίας δεδομένων πραγματικού χρόνου

Apache Storm Δωρεάν εργαλείο μεγάλων δεδομένων

Δωρεάν εργαλεία ανάλυσης μεγάλων δεδομένων για την επεξεργασία ροών δεδομένων

Επεξεργαστείτε γρήγορα μεγάλη ποσότητα δεδομένων σε μια ανθεκτική σε σφάλματα και οριζόντια κλιμακωτή μέθοδο χρησιμοποιώντας μεγάλο εργαλείο επεξεργασίας δεδομένων και πρόσβαση στην ανάλυση δεδομένων σε πραγματικό χρόνο.

ΣΦΑΙΡΙΚΗ ΕΙΚΟΝΑ

Το Apache Storm είναι ένα εργαλείο επεξεργασίας δεδομένων σε πραγματικό χρόνο ανοιχτού κώδικα. Είναι ένα απλό, φιλικό προς το χρήστη μεγάλο εργαλείο επεξεργασίας δεδομένων που λειτουργεί με οποιαδήποτε γλώσσα προγραμματισμού. Μπορεί να ενσωματωθεί τόσο σε μικρές όσο και σε μεγάλες επιχειρήσεις. Είναι εξαιρετικά κλιμακωτό και μπορεί να διατηρήσει την αποτελεσματικότητα ακόμη και όταν το φορτίο αυξάνεται, προσθέτοντας πόρους με γραμμικό τρόπο. Το Apache Storm επεξεργάζεται ροές δεδομένων σε πραγματικό χρόνο, ενώ ο Hadoop επεξεργάζεται δεδομένα σε παρτίδες. Οι υπάρχουσες τεχνολογίες ουράς και βάσεων δεδομένων μπορούν να ενσωματωθούν στην καταιγίδα Apache. Εξασφαλίζει την επεξεργασία δεδομένων, ακόμη και αν αποτύχουν ένας ή περισσότεροι από τους συνδεδεμένους κόμβους του συμπλέγματος ή τα μηνύματα χάνονται. Το Apache Storm έχει τέσσερα συστατικά, όπως η πλειάδα, το ρεύμα, τα σβήνει και τα μπουλόνια. Στην καταιγίδα Apache, η πλειάδα είναι η κύρια δομή δεδομένων. Υποστηρίζει όλους τους τύπους δεδομένων και έχει μια λίστα με παραγγελθέντα στοιχεία. Η ροή είναι μια μη διαταγμένη ακολουθία πλειάδων. Το Spouts είναι μια πηγή ροών που χρησιμοποιείται για την ανάγνωση δεδομένων από πηγές δεδομένων. Η κύρια διεπαφή για την εφαρμογή των εξοπλισμού είναι το ISPOUT. Επιπλέον, υπάρχουν πολλές διεπαφές, συμπεριλαμβανομένων των Irichspout, Baserichspout και Kafkaspout. Τα μπουλόνια είναι συστατικά της λογικής επεξεργασίας. Τα κτύπημα στέλνουν πληροφορίες στη διαδικασία Bolts and Bolts, η οποία έχει ως αποτέλεσμα μια νέα ροή εξόδου. Η κεντρική διεπαφή για την εφαρμογή των μπουλονιών ονομάζεται “Ibolt”. Επιπλέον, το Apache Storm είναι γνωστό εργαλείο ανάλυσης μεγάλων δεδομένων REE. Ως αποτέλεσμα, πολλές μεγάλες εταιρείες το χρησιμοποιούν όπως το Twitter, το Navisite, το Wego, το Yahoo και πολλά άλλα. Αυτό το εργαλείο ανάλυσης σε πραγματικό χρόνο αναπτύσσεται στη γλώσσα Java. Η άδεια για αυτό το εργαλείο επεξεργασίας δεδομένων σε πραγματικό χρόνο είναι το Apache 2.0.

Απαιτήσεις συστήματος

Για να εγκαταστήσετε το Apache Storm, πρέπει να έχετε τα ακόλουθα λογισμικά:

  • Java
  • Χρήστης με προνόμια sudo

Χαρακτηριστικά

Ακολουθούν τα βασικά χαρακτηριστικά της καταιγίδας Apache:

  • Δωρεάν και ανοιχτή πηγή
  • Επεξεργασία δεδομένων σε πραγματικό χρόνο
  • Γρήγορα και αξιόπιστα
  • εξαιρετικά κλιμακωτό και παραλληλισμό
  • Ανοχή σε σφάλματα
  • απλό API
  • Χρησιμοποιήστε με οποιαδήποτε γλώσσα
  • Εύκολο στη χρήση και ανάπτυξη
  • Ενσωμάτωση με συστήματα ουράς και βάσεων δεδομένων

Εγκατάσταση

Εγκαταστήστε την καταιγίδα Apache στο Ubuntu 18.04

Εγκαταστήστε το πλαίσιο Zookeeper

Πρώτον, εγκαταστήστε το πλαίσιο ZOOKEEPER στο διακομιστή. Δημιουργήστε κατάλογο και περιηγηθείτε σε αυτό.

$ mkdir ~/bigdata
$ cd ~/bigdata

Εκτέλεση εντολής για λήψη του πλαισίου Zookeeper.

$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz

Εξαγάγετε τα αρχεία και αλλάξτε τον κατάλογο εκτελώντας τις παρακάτω εντολές.

$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz

Αντιγραφή αρχείου διαμόρφωσης δείγματος με το νέο όνομα.

$ cp conf/zoo_sample.cfg conf/zoo.cfg

Ανοίξτε το αρχείο Conf/Zoo.cfg και προσθέστε τον ακόλουθο κωδικό σε αυτό.

admin.enableServer=true
admin.serverPort=9990

Εκτέλεση εντολής για να ξεκινήσετε το zookeeper.

$ bin/zkServer.sh start

Εγκαταστήστε την καταιγίδα Apache

Εκτέλεση εντολής για να κατεβάσετε το Apache Storm.

$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz

Εξαγάγετε το αρχείο TAR και αλλάξτε τον κατάλογο χρησιμοποιώντας τις παρακάτω εντολές.

$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0

Ανοίξτε το αρχείο conf/storm.yaml και προσθέστε παρακάτω γραμμές σε αυτό.

storm.zookeeper.servers:
 - "localhost"
nimbus.seeds: [ "localhost" ]

Εκτέλεση εντολής για να ξεκινήσετε το NIMBUS.

$ bin/storm nimbus

Ξεκινήστε τον επόπτη εκτελώντας κάτω από την εντολή.

$ bin/storm supervisor

Ξεκινήστε το UI.

$ bin/storm ui

Ανοίξτε το πρόγραμμα περιήγησής σας και εισαγάγετε το http: // localhost: 8080 για να αποκτήσετε πρόσβαση στις πληροφορίες συστάδων θύελλας και την τοπολογία της.

Εξερευνήστε

Μπορείτε να βρείτε τους ακόλουθους συνδέσμους που σχετίζονται με τους συνδέσμους:

 Ελληνικά