Real-Iime databehandlingsverktyg

Apache Storm Gratis big data -verktyg

Gratis big data -analysverktyg för bearbetning av dataströmmar

Behandla snabbt stora mängder data i en feltolerant och horisontell skalbar metod med hjälp av Big Data Processing-verktyg och åtkomst till realtidsdataanalys.

Översikt

Apache Storm är ett open source realtidsdatabehandlingsverktyg. Det är ett enkelt, användarvänligt big data-behandlingsverktyg som fungerar med alla programmeringsspråk. Det kan införlivas i både små och stora företag. Det är mycket skalbart och kan bibehålla effektiviteten även när lasten ökar genom att lägga till resurser på ett linjärt sätt. Apache Storm bearbetar dataströmmar i realtid, medan Hadoop bearbetar data i partier. Befintliga kö- och databasteknologier kan integreras med Apache Storm. Det garanterar databehandling även om en eller flera av klusterens länkade noder misslyckas eller meddelanden går förlorade. Apache Storm har fyra komponenter inklusive tupel, ström, pip och bultar. I Apache Storm är tupeln den primära datastrukturen. Den stöder alla datatyper och har en lista över ordnade element. Stream är en oordnad sekvens av tuples. Spout är en källa till strömmar som används för att läsa data från datakällor. Huvudgränssnittet för implementering av pip är ispout. Vidare finns det många gränssnitt tillgängliga, inklusive IrichSpout, BaserichSpout och Kafkaspout. Bultar är komponenter i logisk bearbetning. Spetsar skickar information till bultar och bultar, vilket resulterar i en ny utgångsström. Det centrala gränssnittet för implementering av bultar kallas “Ibolt.” Apache Storm är dessutom välkänd REE Big Data Analytics-verktyg. Som ett resultat använder många stora företag det som Twitter, Navisite, Wego, Yahoo och många andra. Detta realtidsanalysverktyg utvecklas på Java -språket. Licensen för detta realtidsdatabehandlingsverktyg är Apache 2.0.

Systemkrav

För att installera Apache Storm måste du ha följande programvara:

  • Java
  • Användare med sudo -privilegier

Funktioner

Följande är de viktigaste funktionerna i Apache Storm:

  • Gratis och öppen källkod
  • Databehandling i realtid
  • Snabb och pålitlig
  • Mycket skalbar och parallelliserbar
  • Feltolerans
  • Enkelt API
  • Använd med vilket språk som helst
  • lätt att använda och distribuera
  • Integrera med kö och databassystem

Installation

** Installera Apache Storm på Ubuntu 18.04 **

Installera Zookeeper Framework

Installera först Zookeeper -ramverk på servern. Skapa katalog och navigera i den.

$ mkdir ~/bigdata
$ cd ~/bigdata

Kör kommandot för att ladda ner Zookeeper Framework.

$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz

Extrahera filerna och ändra katalogen genom att köra under kommandon.

$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz

Kopiera provkonfigurationsfil med det nya namnet.

$ cp conf/zoo_sample.cfg conf/zoo.cfg

Öppna conf/zoo.cfg -filen och lägg till följande kod i den.

admin.enableServer=true
admin.serverPort=9990

Kör kommandot för att starta Zookeeper.

$ bin/zkServer.sh start

Installera Apache Storm

Utför kommandot för att ladda ner Apache Storm.

$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz

Extrahera TAR -filen och ändra katalogen med nedanstående kommandon.

$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0

Öppna Conf/Storm.yaml -filen och lägg till nedan i den i den.

storm.zookeeper.servers:
 - "localhost"
nimbus.seeds: [ "localhost" ]

Kör kommandot för att starta Nimbus.

$ bin/storm nimbus

Starta handledaren genom att köra under kommandot.

$ bin/storm supervisor

Starta användargränssnittet.

$ bin/storm ui

Öppna din webbläsare och ange http: // localhost: 8080 för att komma åt stormklusterinformationen och dess löpande topologi.

** Utforska **

Du kan hitta följande länkar relevanta:

 Svenska