Kafka 無料のメッセージキューソフトウェア
Scala＆Javaベースの分散イベントストリーミングプラットフォーム
Apache Kafkaは、オープンソース分散イベントストリーミングプラットフォームです。これは堅牢なキューブローカーであり、Linked-Inによって開発された内部メッセージングシステムとして構築されています
概要
Kafkaは、オープンソースメッセージングシステムであり、堅牢なキューブローカーです。分散イベントストリーミングプラットフォームであり、大量のメッセージを処理する機能があります。 Kafkaメッセージはディスクに保存され、あるポイントから別のポイントにメッセージをシームレスに送信できます。メッセージは、データの損失のように不要な操作が発生しないように、Kafkaクラスター全体で複製されます。リアルタイムのイベントストリーミング、パイプライニング、および高速でスケーラブルな操作のためのデータのリプレイを処理するために構築されたKafkaメッセージングプラットフォーム。 Apache Kafka配布メッセージキューソフトウェアは、数千の企業が高性能データパイプラインとApache Storm and Sparkとの統合に使用しています。 Kafkaは、ActiveMQやRabbitMQなどのメッセージブローカーやキューブローカーと比較して高性能を提供します。ApacheKafkaは、さまざまなエンタープライズメッセージングシステムに代わるものです。 Linked-Inによって開発された内部メッセージングシステムとして構築され、1日で1.4兆のメッセージを処理しました。シーケンシャルディスクI/O操作を使用してパフォーマンスを向上させるため、キューを実装するための最良かつ適切なプラットフォームです。また、リソースの数が限られているため、つまり毎秒数百万のメッセージを備えた高スループットを達成できるため、ビッグデータのユースケースにも最適です。 Kafka Open Sourceソフトウェアには、19.4K Github Starsと10.3K Githubフォークがあります。
特徴
Apache Kafkaの主要な機能のいくつかを以下に示します。 *スケーラビリティ
- 大音量 *データ変換 *フォールトトレランス
- 信頼性 *耐久性
- パフォーマンス *ダウンタイムゼロ *拡張性 *複製
- オープンソース
インストール手順
** ubuntuにapache kafkaをインストール**
このガイドでは、セットアップとKafkaの方法について説明します。インストール手順以下では、Kafkaのすべての極端なパッケージがインストールされており、システムに最新の状態であると仮定します。以下のインストール手順をフォローしてください。最新リリースのKafkaをダウンロードしてKafkaを入手し、コマンドで抽出します。
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
次に、Kafka環境を開始します。ローカルシステム環境には、Java 8+がインストールされている必要があります。正しい順序ですべてのサービスを開始するために、次のコマンドを実行します。
bin/zookeeper-server-start.sh config/zookeeper.properties
別のターミナルセッションを開き、次のことでkafkaブローカーサービスをdtartします。
bin/kafka-server-start.sh config/server.properties
すべてのサービスが正常にインストールされている場合、基本的なKafka環境が実行され、アクセスできるようになります。最初のイベントを書く前にトピックを作成する必要があります。別の端末セッションを開き、コマンドを実行します。
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
次に、コンソールプロデューサークライアントを実行して、トピックにいくつかの別々のイベントを作成します。
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
別のコンソール端末セッションを開き、コンソールコンシューマクライアントを実行して、作成したイベントを読み取ります。
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
Kafkaにデータを継続的にインポート/エクスポートできます。 Ctrl-Cを使用して、Kafkaブローカーを停止します。また、途中で作成したイベントを含むローカルカフカ環境からデータを削除したい場合は、コマンドを実行します。
rm -rf /tmp/kafka-logs /tmp/zookeeper
おめでとう！ UbuntuでApache Kafkaプラットフォームを正常に構成しました。楽しみ！
FAQS
Apache Kafkaは何に使用されていますか？
Kafkaは、ストリーミングデータを保存、読み取り、分析するためのフレームワークを提供するオープンソースソフトウェアです。オープンソースであることは、本質的に自由に使用できることを意味し、更新、新機能、新しいユーザーへのサポートに貢献するユーザーと開発者の大きなネットワークを持っています。
apache kafkaは無料ですか？
Apache Kafkaは無料で、Confluent Cloudは小規模なユースケースでは非常に安価で、GBのデータを生産、保管、消費するのに月額約1ドルです。
Apache Kafkaはオープンソースですか？
Apache Kafkaは、数千の企業が高性能データパイプライン、ストリーミング分析、データ統合、およびミッションクリティカルアプリケーションに使用するオープンソース分散イベントストリーミングプラットフォームです。 CEPHアプリケーションのソースコードは、githubで入手できます。
カフカはどの言語で書かれていますか？
KafkaはLinkedInでプロジェクトとしてスタートし、後に採用を促進するためにオープンソースを受けました。 ScalaとJavaで書かれており、オープンソースApache Software Foundationの一部です。
なぜカフカはそんなに速いのですか？
データの圧縮とバッチ：Kafkaは、データをチャンクにバッチバッチし、ネットワーク呼び出しの削減とランダムな書き込みのほとんどをシーケンシャルなものに変換するのに役立ちます。個々のメッセージの圧縮と比較して、データのバッチを圧縮する方が効率的です。
