Kafka 무료 메시지 대기열 소프트웨어
Scala & Java 기반 분산 이벤트 스트리밍 플랫폼
Apache Kafka는 오픈 소스 분산 이벤트 스트리밍 플랫폼입니다. 강력한 대기열 중개인이며 링크 인이 개발 한 내부 메시징 시스템으로 제작되었습니다.
개요
Kafka는 오픈 소스 메시징 시스템이자 강력한 대기열 중개인입니다. 분산 이벤트 스트리밍 플랫폼이며 많은 양의 메시지를 처리 할 수 있습니다. Kafka 메시지는 디스크에 저장되며 한 지점에서 다른 지점에서 완벽하게 메시지를 보낼 수 있습니다. 데이터 손실과 같이 원치 않는 작업이 발생하는 것을 방지하기 위해 전체 Kafka 클러스터 내에서 메시지가 복제됩니다. Kafka 메시징 플랫폼은 빠르고 확장 가능한 작업을위한 실시간 이벤트 스트리밍, 파이프 라이닝 및 데이터 재생 처리를 처리하기 위해 구축되었습니다. Apache Kafka 분산 메시지 큐 소프트웨어는 고성능 데이터 파이프 라인과 Apache Storm 및 Spark와의 통합에 수천 개의 회사에서 사용됩니다. Kafka는 ActiveMQ 및 RabbitMQ 등과 같은 메시지 및 대기열 중개인과 비교하여 고성능을 제공합니다. Apache Kafka는 다양한 엔터프라이즈 메시징 시스템의 대안입니다. 그것은 하루에 1.4 조 메시지를 처리하기 위해 링크 인으로 개발 된 내부 메시징 시스템으로 구축되었습니다. 순차 디스크 I/O 작업을 사용하여 성능을 향상시키기 때문에 대기열을 구현하기에 가장 적합하고 적합한 플랫폼입니다. 또한 빅 데이터 사용 사례에 대한 완벽한 선택입니다. 제한된 수의 리소스, 즉 초당 수백만 개의 메시지로 높은 처리량을 달성 할 수 있기 때문입니다. Kafka 오픈 소스 소프트웨어에는 19.4k Github 스타와 10.3k Github 포크가 있습니다.
설치 지침
Ubuntu에 Apache Kafka 설치
이 안내서는 설정 방법과 Kafka를 설명합니다. 아래 설치 단계는 Kafka의 모든 퇴적 패키지가 시스템에 설치되어 최신 상태라고 가정합니다. 아래 설치 단계를 따르십시오. 최신 릴리스 Kafka를 다운로드하여 Kafka를 받고 명령으로 추출하십시오.
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
다음으로 Kafka 환경을 시작하십시오. 지역 시스템 환경에는 Java 8+가 설치되어 있어야합니다. 올바른 순서로 모든 서비스를 시작하려면 다음 명령을 실행하십시오.
bin/zookeeper-server-start.sh config/zookeeper.properties
다른 터미널 세션을 열고 DTART Kafka Broker Service :
bin/kafka-server-start.sh config/server.properties
모든 서비스가 성공적으로 설치되면 기본 Kafka 환경이 실행되고 액세스 할 수 있습니다. 첫 번째 이벤트를 작성하기 전에 주제를 만들어야합니다. 다른 터미널 세션을 열고 실행 명령 :
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
이제 콘솔 생산자 클라이언트를 실행하여 주제에 몇 가지 별도의 이벤트를 작성하십시오.
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
다른 콘솔 터미널 세션을 열고 콘솔 소비자 클라이언트를 실행하여 방금 만든 이벤트를 읽으십시오.
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
Kafka에서 데이터를 지속적으로 가져 오거나 내보낼 수 있습니다. Ctrl-C를 사용하여 Kafka 브로커를 중지하십시오. 또한 로컬 Kafka 환경에서 데이터를 삭제하려면 길을 따라 만든 이벤트를 포함하여 명령을 실행하십시오.
rm -rf /tmp/kafka-logs /tmp/zookeeper
축하해요! 우분투에서 Apache Kafka 플랫폼을 성공적으로 구성했습니다. 즐기다!
FAQs
What is Apache Kafka used for?
Kafka is an open source software which provides a framework for storing, reading and analysing streaming data. Being open source means that it is essentially free to use and has a large network of users and developers who contribute towards updates, new features and offering support for new users.
Is Apache Kafka free?
Apache Kafka is free, and Confluent Cloud is very cheap for small use cases, about $1 a month to produce, store, and consume a GB of data.
Is Apache Kafka open source?
Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications. The source code of Ceph application is available at Github.
What language is Kafka written in?
Kafka started as a project in LinkedIn and was later open-sourced to facilitate its adoption. It is written in Scala and Java, and it is part of the open-source Apache Software Foundation.
Why Kafka is so fast?
Compression & Batching of Data: Kafka batches the data into chunks which helps in reducing the network calls and converting most of the random writes to sequential ones. It’s more efficient to compress a batch of data as compared to compressing individual messages.
탐구하다
이 기사에서 우리는 Apache Kafka에 대해 논의했습니다. 다른 메시지 큐 (MQ) 소프트웨어에 대해 알아 보려면 다음 페이지를 방문하십시오.
