Apache Storm Ücretsiz Büyük Veri Aracı
Veri akışlarını işlemek için ücretsiz büyük veri analizi araçları
Büyük veri işleme aracını kullanarak ve gerçek zamanlı veri analitiğine erişerek hataya dayanıklı ve yatay ölçeklenebilir bir yöntemde büyük miktarda veriyi hızlı bir şekilde işleyin.
Genel Bakış
Apache Storm, açık kaynaklı gerçek zamanlı veri işleme aracıdır. Herhangi bir programlama dili ile çalışan basit, kullanıcı dostu büyük bir veri işleme aracıdır. Hem küçük hem de büyük işletmelere dahil edilebilir. Oldukça ölçeklenebilir ve kaynak arttığında bile verimliliği koruyabilir, kaynaklar doğrusal bir şekilde ekleyerek. Apache Storm, veri akışlarını gerçek zamanlı olarak işlerken, Hadoop verileri gruplar halinde işler. Mevcut kuyruk ve veritabanı teknolojileri Apache Storm ile entegre edilebilir. Kümenin bağlantılı düğümlerinden biri veya daha fazlası başarısız olsa veya mesajlar kaybolsa bile veri işlemeyi garanti eder. Apache Storm, tuple, akarsu, spouts ve cıvatalar gibi dört bileşene sahiptir. Apache Storm’da tuple birincil veri yapısıdır. Tüm veri türlerini destekler ve sıralı öğelerin bir listesine sahiptir. Akış, düzensiz bir tuples dizisidir. Spouts, veri kaynaklarından verileri okumak için kullanılan bir akış kaynağıdır. Spouts uygulamak için ana arayüz ispout’dur. Ayrıca, Irichspout, Baserichspout ve Kafkaspout dahil olmak üzere çok sayıda arayüz mevcuttur. Cıvatalar mantıksal işlemenin bileşenleridir. Spouts, yeni bir çıkış akışı ile sonuçlanan cıvatalar ve cıvatalar işlemine bilgi gönderir. Cıvataların uygulanması için merkezi arayüze “Ibolt” denir. Ayrıca, Apache Storm iyi bilinen Ree Big Data Analytics aracıdır. Sonuç olarak, birçok büyük şirket bunu Twitter, Navisite, Wego, Yahoo ve diğerleri gibi kullanıyor. Bu gerçek zamanlı analiz aracı Java dilinde geliştirilmiştir. Bu gerçek zamanlı veri işleme aracı için lisans Apache 2.0’dır.
Sistem gereksinimleri
Apache Storm’u kurmak için aşağıdaki yazılımlara sahip olmanız gerekir:
- Java
- sudo ayrıcalıkları olan kullanıcı
Özellikler
Apache Storm’un temel özellikleri aşağıdadır:
- Ücretsiz ve açık kaynak
- Gerçek zamanlı veri işleme
- hızlı ve güvenilir
- son derece ölçeklenebilir ve paralelleştirilebilir
- Hata Toleransı
- Basit API
- Herhangi bir dilde kullanın
- Kullanımı ve dağıtımı kolay
- Kuyruk ve Veritabanı Sistemleri ile Entegre
Kurulum
Ubuntu’ya Apache Storm’u Yükle 18.04
Zookeeper çerçevesini yükleyin
İlk olarak, Zookeeper çerçevesini sunucuya yükleyin. Dizin oluşturun ve içine girin.
$ mkdir ~/bigdata
$ cd ~/bigdata
Zookeeper çerçevesini indirmek için komutu yürüt.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Aşağıdaki komutları çalıştırarak dosyaları çıkarın ve dizini değiştirin.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Örnek yapılandırma dosyasını yeni adla kopyalayın.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Conf/Zoo.cfg dosyasını açın ve içine aşağıdaki kodu ekleyin.
admin.enableServer=true
admin.serverPort=9990
Zookeeper’ı başlatmak için komutu çalıştırın.
$ bin/zkServer.sh start
Apache Fırtınası Yükle
Apache Storm’u indirmek için komutu yürüt.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Aşağıdaki komutları kullanarak TAR dosyasını ve dizini değiştirin.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Conf/Storm.yaml dosyasını açın ve içine aşağı satır ekleyin.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Nimbus’u başlatmak için komutu çalıştırın.
$ bin/storm nimbus
Aşağıdaki komutu çalıştırarak süpervizörü başlatın.
$ bin/storm supervisor
Kullanıcı arayüzünü başlatın.
$ bin/storm ui
Tarayıcınızı açın ve fırtına küme bilgilerine ve çalışan topolojisine erişmek için http: // localhost: 8080 girin.
