Apache Storm Бесплатный инструмент больших данных
Бесплатные инструменты анализа больших данных для обработки потоков данных
Быстро обработайте большой объем данных в сдержанном и горизонтальном масштабируемом методе, используя инструмент обработки больших данных и доступ к аналитике данных в реальном времени.
Обзор
Apache Storm-это инструмент обработки данных в реальном времени с открытым исходным кодом. Это простой, удобный для пользователя инструмент обработки больших данных, который работает с любым языком программирования. Это может быть включено как в малых, так и в крупных предприятиях. Он очень масштабируется и может поддерживать эффективность, даже когда нагрузка увеличивается, добавляя ресурсы линейным образом. Apache Storm обрабатывает потоки данных в режиме реального времени, в то время как Hadoop обрабатывает данные в партиях. Существующие технологии очереди и базы данных могут быть интегрированы с Apache Storm. Он гарантирует обработку данных, даже если один или несколько из связанных узлов кластера не сбои, или сообщения теряются. Apache Storm имеет четыре компонента, включая кортеж, ручей, носики и болты. В Apache Storm кортеж является основной структурой данных. Он поддерживает все типы данных и имеет список упорядоченных элементов. Поток - это неупорядоченная последовательность кортежей. Spouts является источником потоков, который используется для чтения данных из источников данных. Основным интерфейсом для реализации Spouts является ispout. Кроме того, есть многочисленные интерфейсы, в том числе Irichspout, Baserichspout и Kafkaspout. Болты являются компонентами логической обработки. Словы отправляют информацию в процесс болтов и болтов, что приводит к новому выходному потоку. Центральный интерфейс для реализации болтов называется «иболтом». Кроме того, Apache Storm является известным инструментом Analytics REE Big Data. В результате многие крупные корпорации используют его, такие как Twitter, Navisite, Wego, Yahoo и многие другие. Этот аналитический инструмент в реальном времени разработан на Java Language. Лицензия на этот инструмент обработки данных в реальном времени - Apache 2.0.
Системные Требования
Чтобы установить Apache Storm, вы должны иметь следующие программные материалы:
- Джава
- Пользователь с привилегиями SUDO
Функции
Ниже приведены ключевые особенности Apache Storm:
- Бесплатный и открытый исходный код
- Обработка данных в реальном времени
- Быстрый и надежный
- высоко масштабируемые и параллелизируемые
- Отказоустойчивость
- простой API
- Использовать с любым языком
- простой в использовании и развертывании
- Интеграция с системами очередей и баз данных
Монтаж
Установите Apache Storm на Ubuntu 18.04
Установите Zookeeper Framework
Во -первых, установите Zookeeper Framework на сервер. Создайте каталог и перейдите в него.
$ mkdir ~/bigdata
$ cd ~/bigdata
Выполнить команду, чтобы загрузить Zookeeper Framework.
$ wget https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz
Извлеките файлы и измените каталог, выполняя команды ниже.
$ tar xfvz apache-zookeeper-3.6.0-bin.tar.gz
$ cd apache-zookeeper-3.6.0-bin.tar.gz
Скопируйте пример файла конфигурации с новым именем.
$ cp conf/zoo_sample.cfg conf/zoo.cfg
Откройте файл conf/Zoo.cfg и добавьте в него следующий код.
admin.enableServer=true
admin.serverPort=9990
Запустите команду, чтобы начать Zookeeper.
$ bin/zkServer.sh start
Установить Apache Storm
Выполнить команду для загрузки Apache Storm.
$ wget ftp://apache.uib.no/pub/apache/storm/apache-storm-2.1.0/apache-storm-2.1.0.tar.gz
Извлеките файл TAR и измените каталог, используя команды ниже.
$ tar -zxf apache-storm-2.1.0.tar.gz
$ cd apache-storm-2.1.0
Откройте файл conf/storm.yaml и добавьте в него линии ниже.
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: [ "localhost" ]
Запустите команду, чтобы запустить Nimbus.
$ bin/storm nimbus
Начните руководителя, работая ниже команды.
$ bin/storm supervisor
Начните пользовательский интерфейс.
$ bin/storm ui
Откройте свой браузер и введите http: // localhost: 8080, чтобы получить доступ к информации о штормовом кластере и его запущенной топологии.
