Apache Storm Nemokamas didelis duomenų įrankis
Nemokami didelių duomenų analizės įrankiai duomenų srautams apdoroti
Greitai apdorokite didelį duomenų kiekį atspariu ir horizontaliam keičiamo masto metodui, naudodamiesi dideliais duomenų apdorojimo įrankiu ir pasiekite realaus laiko duomenų analizę.
Apžvalga
„Apache Storm“ yra atvirojo kodo realaus laiko duomenų apdorojimo įrankis. Tai paprastas, patogus didelių duomenų apdorojimo įrankis, veikiantis su bet kokia programavimo kalba. Jis gali būti įtrauktas tiek į mažą, tiek didelę verslą. Jis yra labai keičiamas ir gali išlaikyti efektyvumą net ir didėjant apkrovai, pridedant išteklių linijiniu būdu. „Apache Storm“ apdoroja duomenų srautus realiuoju laiku, o „Hadoop“ apdoroja duomenis partijomis. Esamos eilės ir duomenų bazių technologijos gali būti integruotos su „Apache Storm“. Tai garantuoja duomenų apdorojimą, net jei vienas ar kelios klasterio susieti mazgai sugenda arba prarandami pranešimai. „Apache Storm“ turi keturis komponentus, įskaitant tuple, upelį, snapelius ir varžtus. „Apache“ audroje pagrindinis duomenų struktūra yra pagrindinė duomenų struktūra. Tai palaiko visus duomenų tipus ir turi užsakytų elementų sąrašą. Srautas yra neorganizuota smulkmenų seka. Spouts yra srautų šaltinis, naudojamas skaityti duomenis iš duomenų šaltinių. Pagrindinė „Spouts“ įdiegimo sąsaja yra ISPOUT. Be to, yra daugybė sąsajų, įskaitant „Irichspout“, „Baserichspout“ ir „Kafkopout“. Varžtai yra loginio apdorojimo komponentai. Spedai siunčia informaciją į varžtus ir varžtus, dėl kurių atsiranda naujas išvesties srautas. Centrinė varžtų įdiegimo sąsaja vadinama „Ibolt“. Be to, „Apache Storm“ yra gerai žinomas „Ree Big Data Analytics“ įrankis. Dėl to daugelis didelių korporacijų naudoja tai, pavyzdžiui, „Twitter“, „Navisite“, „Wego“, „Yahoo“ ir daugelis kitų. Šis realaus laiko analizės įrankis yra sukurtas „Java“ kalba. Šio realaus laiko duomenų apdorojimo įrankio licencija yra „Apache 2.0“.
Sistemos reikalavimai
Norėdami įdiegti „Apache Storm“, turite turėti šias programines įrangas:
- Java
- Vartotojas, turintis sudo privilegijų
Funkcijos
Toliau pateikiami pagrindiniai „Apache Storm“ savybės:
- Nemokamas ir atviras kodas
- Duomenų apdorojimas realiuoju laiku
- Greitas ir patikimas
- labai keičiamas ir lygiagretus
- Tolerancija dėl gedimų
- Paprasta API
- Naudokite bet kurią kalbą
- Lengva naudoti ir diegti
- Integruokite su eilės ir duomenų bazių sistemomis
diegimas
Įdiekite „Apache Storm“ Ubuntu 18.04
Įdiegti „Zookeeper Framework“
Pirmiausia įdiekite „ZooKeeeper Framework“ serveryje. Sukurkite katalogą ir eikite į jį.
$ mkdir ~/bigdata
$ cd ~/bigdata
Vykdykite komandą, kad atsisiųstumėte „Zookeeper Framework“.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Ištraukite failus ir pakeiskite katalogą paleisdami žemiau esančias komandas.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Nukopijuokite pavyzdžio konfigūracijos failą nauju pavadinimu.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Atidarykite failą „Conf/Zoo.cfg“ ir į jį pridėkite šį kodą.
admin.enableServer=true
admin.serverPort=9990
Paleiskite komandą, kad paleistumėte „ZooKeeeper“.
$ bin/zkServer.sh start
Įdiekite „Apache Storm“
Vykdykite komandą, kad atsisiųstumėte „Apache Storm“.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Ištraukite TAR failo ir pakeiskite katalogą naudodami žemiau esančias komandas.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Atidarykite conf/Storm.yaml failą ir pridėkite žemiau esančias eilutes.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Paleiskite komandą, kad paleistumėte „Nimbus“.
$ bin/storm nimbus
Pradėkite vadovą paleisdami žemiau esančią komandą.
$ bin/storm supervisor
Pradėkite vartotojo sąsają.
$ bin/storm ui
Atidarykite savo naršyklę ir įveskite http: // localhost: 8080, kad pasiektumėte „Storm Cluster“ informaciją ir jos veikiančią topologiją.
