Kafka 免费消息队列软件
基于Scala&Java的分布式事件流平台
Apache Kafka是一个开源分布式事件流平台。这是一个强大的队列经纪人,是由链接中开发的内部消息系统建造的
概述
Kafka是一个开源消息传递系统和强大的队列经纪人。它是分布式事件流平台,并且具有处理大量消息的能力。 Kafka消息存储在磁盘上,它允许您无缝将消息从一个点发送到另一个点。消息在整个KAFKA群集中复制,以防止不必要的操作像任何数据丢失一样发生。 KAFKA消息传递平台构建了用于处理实时事件流,管道和重播数据的快速操作的数据。 Apache Kafka分布式消息队列软件被成千上万的公司用于高性能数据管道及其与Apache Storm和Spark的集成。与消息相比,Kafka提供了高性能,例如ActiveMQ和RabbitMQ等队列经纪人Apache Kafka是各种企业消息传递系统的替代品。它是作为内部消息系统构建的,该系统由链接中的链接系统开发,可在一天内处理1.4万亿条消息。它是实现队列的最佳平台,因为它通过使用顺序磁盘I/O操作来提高性能。对于大数据用例,它也是一个理想的选择,因为它可以实现有限数量的资源,即每秒数百万条消息。 Kafka开源软件具有19.4k GitHub星和10.3K GitHub叉。
安装说明
**在Ubuntu上安装Apache Kafka **
本指南说明了如何设置和Kafka。下面的安装步骤假设已安装了KAFKA的所有级别软件包并在系统上最新。请按照以下安装步骤进行操作。通过下载最新版本的kafka获取kafka,并用命令提取它:
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
接下来,启动卡夫卡环境。您本地的系统环境必须安装Java 8+。执行以下命令以按正确的顺序启动所有服务:
bin/zookeeper-server-start.sh config/zookeeper.properties
打开另一个终端会议,并通过:
bin/kafka-server-start.sh config/server.properties
成功安装了所有服务后,您将拥有一个基本的Kafka环境,可以访问。您需要在编写第一个活动之前创建一个主题。打开另一个终端会话并运行命令:
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
现在,运行控制台生产者客户端以将一些单独的事件写入该主题:
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
打开另一个控制台终端会话并运行控制台消费者客户端以阅读您刚刚创建的事件:
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
您可以将数据连续导入/导出到Kafka。使用CTRL-C停止Kafka经纪人。如果您还想从本地KAFKA环境中删除任何数据,包括您在途中创建的任何事件,请运行命令:
rm -rf /tmp/kafka-logs /tmp/zookeeper
恭喜!您已经在Ubuntu上成功配置了Apache Kafka平台。享受!
常见问题
Apache Kafka使用了什么?
Kafka是一种开源软件,它为存储,阅读和分析流数据提供了一个框架。成为开源意味着它基本上是免费使用的,并且拥有大量的用户和开发人员网络,这些用户和开发人员为更新,新功能和为新用户提供支持。
Apache Kafka免费吗?
Apache Kafka是免费的,对于小型用例而言,Confluent Cloud非常便宜,每月约1美元来生产,存储和消费GB数据。
Apache Kafka开源吗?
Apache Kafka是一个开源分布式事件流平台,数千家公司用于高性能数据管道,流分析,数据集成和关键任务应用程序。 CEPH应用程序的源代码可在github处获得。
Kafka写了哪种语言?
卡夫卡(Kafka)最初是在LinkedIn的一个项目,后来被开源以促进其采用。它是用Scala和Java编写的,它是开源Apache软件基金会的一部分。
为什么卡夫卡这么快?
数据的压缩和批处理:Kafka将数据批量分为块,有助于减少网络调用并将大部分随机写入转换为顺序的写入。与压缩单个消息相比,压缩一批数据更有效。