Apache Storm Ingyenes nagy adat eszköz
Ingyenes nagy adat -elemző eszközök az adatfolyamok feldolgozásához
Gyorsan dolgozzon fel nagy mennyiségű adatot hibatűrő és vízszintes skálázható módszerrel, nagy adatfeldolgozó eszköz segítségével, és hozzáférjen a valós idejű adatelemzéshez.
Áttekintés
Az Apache Storm egy nyílt forráskódú valós idejű adatfeldolgozó eszköz. Ez egy egyszerű, felhasználóbarát nagy adatfeldolgozó eszköz, amely bármilyen programozási nyelvvel működik. Beépíthető mind a kis, mind a nagyvállalatokba. Nagyon méretezhető és fenntarthatja a hatékonyságot akkor is, ha a terhelés növekszik, az erőforrások lineáris hozzáadásával. Az Apache Storm valós időben feldolgozza az adatfolyamokat, míg a Hadoop adatait tételekben dolgozza fel. A meglévő sorba helyezés és az adatbázis -technológiák integrálhatók az Apache Storm -hoz. Garantálja az adatfeldolgozást akkor is, ha a klaszter összekapcsolt csomópontjai közül egy vagy több meghibásodik, vagy az üzenetek elvesznek. Az Apache Stormnak négy alkatrésze van, köztük a tuple, a patak, a kifutók és a csavarok. Az Apache Stormban a tuple az elsődleges adatszerkezet. Támogatja az összes adattípust, és rendelkezik a rendezett elemek listájával. A patak egy rendetlen sorrendű sorrend. A Spouts az adatforrásokból származó adatok olvasására használják az adatfolyamok forrása. A kifolyók megvalósításának fő felülete az ISPout. Ezenkívül számos interfész áll rendelkezésre, köztük az Irichspout, a Baserichspout és a Kafkaspout. A csavarok a logikai feldolgozás alkotóelemei. A Spouts információkat küld a csavarok és csavarok folyamatához, ami új kimeneti áramot eredményez. A csavarok végrehajtásának központi felületét “IBolt” -nak hívják. Ezenkívül az Apache Storm jól ismert REE Big Data Analytics eszköz. Ennek eredményeként sok nagyvállalat használja, például a Twitter, a Navisite, a Wego, a Yahoo és még sokan mások. Ezt a valós idejű elemző eszközt Java nyelven fejlesztették ki. A valós idejű adatfeldolgozó eszköz licencje az Apache 2.0.
Rendszerkövetelmények
Az Apache Storm telepítéséhez a következő szoftverekkel kell rendelkeznie:
- Java
- Felhasználó sudo kiváltságokkal
Jellemzők
Az alábbiakban bemutatjuk az Apache Storm legfontosabb jellemzőit:
- Ingyenes és nyílt forráskódú
- Valós idejű adatfeldolgozás
- Gyors és megbízható
- Nagyon skálázható és párhuzamosítható
- Hibatűrés
- Egyszerű API
- Használjon bármilyen nyelven
- Könnyen használható és telepíthető
- Integráljon a sorba helyezés és az adatbázis -rendszerekbe
telepítés
Telepítse az Apache Storm -ot az Ubuntu 18.04 -re
Telepítse a Zookeeper keretrendszert
Először telepítse a Zookeeper keretrendszert a szerverre. Hozzon létre könyvtárat, és navigáljon bele.
$ mkdir ~/bigdata
$ cd ~/bigdata
Végezze el a parancsot a Zookeeper Framework letöltéséhez.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Kivonat a fájlok és a könyvtár módosítása segítségével a parancsok alatt.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Másolja a minta konfigurációs fájlt az új névvel.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Nyissa meg a Conf/Zoo.cfg fájlt, és adja hozzá a következő kódot.
admin.enableServer=true
admin.serverPort=9990
Futtassa a parancsot a Zookeeper elindításához.
$ bin/zkServer.sh start
Telepítse az Apache Storm -ot
Végezze el a parancsot az Apache Storm letöltéséhez.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Kivonat a TAR fájlt, és változtassa meg a könyvtárat az alábbi parancsok segítségével.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Nyissa meg a Conf/Storm.yaml fájlt, és adja hozzá az alábbi sorokat.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Futtassa a parancsot a nimbus elindításához.
$ bin/storm nimbus
Indítsa el a felügyelőt az alábbi parancs futtatásával.
$ bin/storm supervisor
Indítsa el az UI -t.
$ bin/storm ui
Nyissa meg a böngészőt, és írja be a http: // localhost: 8080 hüvelyt, hogy hozzáférjen a viharfürt információkhoz és annak futó topológiájához.
