Kafka Бесплатное программное обеспечение очереди
Платформа потоковой передачи распределенного события на базе Scala & Java
Apache Kafka - это распределенная платформа для распределенных событий с открытым исходным кодом. Это надежный брокер по очереди и создан как внутренняя система обмена сообщениями, разработанная Linked-In
Обзор
Кафка - это система обмена сообщениями с открытым исходным кодом и надежный брокер в очередь. Это распределенная платформа потоковой передачи событий и имеет возможность обрабатывать большой объем сообщений. Сообщения Kafka хранятся на диске, и это позволяет отправлять сообщения из одной точки в другую. Сообщения воспроизводятся во всем кластере Kafka, чтобы предотвратить нежелательные операции, как любая потеря данных. Платформа обмена сообщениями Kafka, созданная для обработки потоковой передачи событий в реальном времени, поддавливания труб и воспроизведения данных для быстрых, масштабируемых операций. Программное обеспечение для распределенных сообщений Apache Kafka используется тысячами компаний для высокопроизводительных конвейеров данных и его интеграции с Apache Storm и Spark. Кафка предлагает высокую производительность по сравнению с брокерами сообщений и очередей, такими как ActiveMQ и Rabbitmq и т. Д. Apache Kafka является альтернативой различным системам обмена сообщениями предприятия. Он был построен как внутренняя система обмена сообщениями, разработанная Linked-In для обработки 1,4 триллиона сообщений в день. Это лучшая и подходящая платформа для реализации очередей, поскольку она повышает производительность с использованием операций ввода -вывода последовательных дисков. Это также идеальный выбор для вариантов использования больших данных, поскольку он может достичь высокой пропускной способности с ограниченным количеством ресурсов, то есть миллионы сообщений в секунду. Программное обеспечение с открытым исходным кодом Kafka имеет 19,4K GitHub Stars и 10,3K Forks.
Системные Требования
Требования к настройке программного обеспечения Apache Kafka включают:
- Java 8+
- Работник зоопарка
- Ubuntu 20.04 LTS
- Git
Функции
Некоторые из ключевых особенностей Apache Kafka перечислены ниже:
- Масштабируемость
- Большой объем
- Преобразования данных
- Отказоустойчивость
- Надежность
- Долговечность
- Производительность
- Нулевое время простоя
- Расширяемость
- Репликация
- Открытый источник
Инструкции по установке
Установите Apache Kafka на Ubuntu
Это руководство объясняет, как настроить и кафку. Ниже шаги установки предполагают, что все пакеты Depency Kafka установлены и актуальны в вашей системе. Пожалуйста, следите за этапами установки. Получить Kafka, загрузив последний релиз Kafka и извлечь его с помощью команд:
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
Далее, начните окружающую среду Kafka. В вашей местной системе должна быть установлена Java 8+. Выполнить следующие команды, чтобы запустить все службы в правильном порядке:
bin/zookeeper-server-start.sh config/zookeeper.properties
Откройте еще одну сессию терминала, и DTART Кафка брокерская служба:
bin/kafka-server-start.sh config/server.properties
Когда все службы успешно установили, у вас будет базовая среда Kafka, которая работает и готова к доступу. Вам нужно создать тему перед написанием вашего первого мероприятия. Откройте еще один сеанс терминала и запустите команду:
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
Теперь запустите клиент -консоли, чтобы написать несколько отдельных событий в тему:
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
Откройте еще один консольный сеанс терминала и запустите клиента Console Consumer, чтобы прочитать только что созданные события:
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
Вы можете постоянно импортировать/экспортировать свои данные в Kafka. Используйте Ctrl-C, чтобы остановить брокера Kafka. Если вы также хотите удалить какие -либо данные из вашей локальной среды Kafka, включая любые события, которые вы создали на этом пути, запустите команду:
rm -rf /tmp/kafka-logs /tmp/zookeeper
Поздравляю! Вы успешно настроили платформу Apache Kafka на Ubuntu. Наслаждаться!
FAQS
Для чего используется Apache Kafka?
Kafka - это программное обеспечение с открытым исходным кодом, которое обеспечивает основу для хранения, чтения и анализа потоковых данных. Быть открытым исходным кодом означает, что он, по сути, свободен в использовании и имеет большую сеть пользователей и разработчиков, которые вносят вклад в обновления, новые функции и предлагают поддержку для новых пользователей.
Apache Kafka бесплатно?
Apache Kafka является бесплатным, а Confluent Cloud очень дешево для небольших вариантов использования, около 1 доллара в месяц для производства, хранения и потребления GB данных.
Apache Kafka с открытым исходным кодом?
Apache Kafka-это платформа потоковой потоковой передачи с открытым исходным кодом, используемая тысячами компаний для высокопроизводительных трубопроводов, потоковой аналитики, интеграции данных и критических приложений. Исходный код приложения CEPH доступен по адресу GitHub.
На каком языке написан Кафка?
Кафка начал как проект в LinkedIn, а затем был открыт, чтобы облегчить его принятие. Он написан в Scala и Java, и он является частью программного обеспечения Apache с открытым исходным кодом.
Почему Кафка такая быстрая?
Сжатие и пакетирование данных: Kafka перечисляет данные в куски, что помогает в уменьшении сетевых вызовов и преобразовании большинства случайных записей в последовательные. Это более эффективно сжать партию данных по сравнению с сжатием отдельных сообщений.
Исследовать
В этой статье мы обсуждали об Апаче Кафке. Чтобы узнать о другом программном обеспечении очереди (MQ), посетите следующие страницы:
5 топ -5 -й очередь сообщений с открытым исходным кодом программное обеспечение MQ Software
