„Real-IM“ duomenų apdorojimo įrankis

Apache Storm Nemokamas didelis duomenų įrankis

Nemokami didelių duomenų analizės įrankiai duomenų srautams apdoroti

Greitai apdorokite didelį duomenų kiekį atspariu ir horizontaliam keičiamo masto metodui, naudodamiesi dideliais duomenų apdorojimo įrankiu ir pasiekite realaus laiko duomenų analizę.

Apžvalga

„Apache Storm“ yra atvirojo kodo realaus laiko duomenų apdorojimo įrankis. Tai paprastas, patogus didelių duomenų apdorojimo įrankis, veikiantis su bet kokia programavimo kalba. Jis gali būti įtrauktas tiek į mažą, tiek didelę verslą. Jis yra labai keičiamas ir gali išlaikyti efektyvumą net ir didėjant apkrovai, pridedant išteklių linijiniu būdu. „Apache Storm“ apdoroja duomenų srautus realiuoju laiku, o „Hadoop“ apdoroja duomenis partijomis. Esamos eilės ir duomenų bazių technologijos gali būti integruotos su „Apache Storm“. Tai garantuoja duomenų apdorojimą, net jei vienas ar kelios klasterio susieti mazgai sugenda arba prarandami pranešimai. „Apache Storm“ turi keturis komponentus, įskaitant tuple, upelį, snapelius ir varžtus. „Apache“ audroje pagrindinis duomenų struktūra yra pagrindinė duomenų struktūra. Tai palaiko visus duomenų tipus ir turi užsakytų elementų sąrašą. Srautas yra neorganizuota smulkmenų seka. Spouts yra srautų šaltinis, naudojamas skaityti duomenis iš duomenų šaltinių. Pagrindinė „Spouts“ įdiegimo sąsaja yra ISPOUT. Be to, yra daugybė sąsajų, įskaitant „Irichspout“, „Baserichspout“ ir „Kafkopout“. Varžtai yra loginio apdorojimo komponentai. Spedai siunčia informaciją į varžtus ir varžtus, dėl kurių atsiranda naujas išvesties srautas. Centrinė varžtų įdiegimo sąsaja vadinama „Ibolt“. Be to, „Apache Storm“ yra gerai žinomas „Ree Big Data Analytics“ įrankis. Dėl to daugelis didelių korporacijų naudoja tai, pavyzdžiui, „Twitter“, „Navisite“, „Wego“, „Yahoo“ ir daugelis kitų. Šis realaus laiko analizės įrankis yra sukurtas „Java“ kalba. Šio realaus laiko duomenų apdorojimo įrankio licencija yra „Apache 2.0“.

Sistemos reikalavimai

Norėdami įdiegti „Apache Storm“, turite turėti šias programines įrangas:

  • Java
  • Vartotojas, turintis sudo privilegijų

Funkcijos

Toliau pateikiami pagrindiniai „Apache Storm“ savybės:

  • Nemokamas ir atviras kodas
  • Duomenų apdorojimas realiuoju laiku
  • Greitas ir patikimas
  • labai keičiamas ir lygiagretus
  • Tolerancija dėl gedimų
  • Paprasta API
  • Naudokite bet kurią kalbą
  • Lengva naudoti ir diegti
  • Integruokite su eilės ir duomenų bazių sistemomis

diegimas

Įdiekite „Apache Storm“ Ubuntu 18.04

Įdiegti „Zookeeper Framework“

Pirmiausia įdiekite „ZooKeeeper Framework“ serveryje. Sukurkite katalogą ir eikite į jį.

$ mkdir ~/bigdata
$ cd ~/bigdata

Vykdykite komandą, kad atsisiųstumėte „Zookeeper Framework“.

$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz

Ištraukite failus ir pakeiskite katalogą paleisdami žemiau esančias komandas.

$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz

Nukopijuokite pavyzdžio konfigūracijos failą nauju pavadinimu.

$ cp conf/zoo_sample.cfg conf/zoo.cfg

Atidarykite failą „Conf/Zoo.cfg“ ir į jį pridėkite šį kodą.

admin.enableServer=true
admin.serverPort=9990

Paleiskite komandą, kad paleistumėte „ZooKeeeper“.

$ bin/zkServer.sh start

Įdiekite „Apache Storm“

Vykdykite komandą, kad atsisiųstumėte „Apache Storm“.

$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz

Ištraukite TAR failo ir pakeiskite katalogą naudodami žemiau esančias komandas.

$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0

Atidarykite conf/Storm.yaml failą ir pridėkite žemiau esančias eilutes.

storm.zookeeper.servers:
 - "localhost"
nimbus.seeds: [ "localhost" ]

Paleiskite komandą, kad paleistumėte „Nimbus“.

$ bin/storm nimbus

Pradėkite vadovą paleisdami žemiau esančią komandą.

$ bin/storm supervisor

Pradėkite vartotojo sąsają.

$ bin/storm ui

Atidarykite savo naršyklę ir įveskite http: // localhost: 8080, kad pasiektumėte „Storm Cluster“ informaciją ir jos veikiančią topologiją.

tyrinėti

Galite rasti šias tinkamas nuorodas:

 Latviski