Kafka Ingyenes üzenet sor szoftver
Scala & Java alapú elosztott eseményfolyam -platform
Az Apache Kafka egy nyílt forráskódú, elosztott esemény streaming platform. Ez egy robusztus sor bróker, és belső üzenetküldő rendszerként épült fel a Linked-In
Áttekintés
A Kafka egy nyílt forráskódú üzenetküldő rendszer és egy robusztus sor bróker. Elosztott esemény streaming platformon van, és képes nagy mennyiségű üzenet kezelésére. A Kafka üzeneteket a lemezen tárolják, és lehetővé teszi, hogy üzeneteket küldjön egyik pontról a másikra zökkenőmentesen. Az üzeneteket a teljes Kafka -klaszterben replikálják, hogy megakadályozzák a nem kívánt műveletek történését, mint bármilyen adatveszteség. Kafka üzenetküldő platform, amely a valós idejű események streamingjének, a csövek bélelésének és az adatok újbóli lejátszásának kezelésére épült a gyors, méretezhető műveletekhez. Az Apache Kafka elosztott üzenetsor -szoftvert több ezer vállalat használja a nagyteljesítményű adatvezetékekhez, valamint annak integrációja az Apache Storm és a Spark -hoz. A Kafka nagy teljesítményt kínál, összehasonlítva az olyan üzenet- és sor brókerekkel, mint az ActiveMQ és a RabbitMQ stb. Az Apache Kafka a különféle vállalati üzenetküldő rendszerek alternatívája. Belső üzenetküldő rendszerként építették, amelyet a Linked-In fejlesztett ki, hogy egy nap 1,4 trillió üzenetet kezeljen. Ez a legjobb és megfelelő platform a sorok megvalósításához, mivel szekvenciális I/O műveletek használatával növeli a teljesítményt. Ez egy tökéletes választás a nagy adathasználati eseteknél is, mivel korlátozott számú erőforrással, azaz több millió üzenet másodpercenként képes elérni a nagy teljesítményt. A KAFKA Open Source Software 19,4K GitHub csillaggal és 10.3K GitHub villákkal rendelkezik.
Rendszerkövetelmények
Az Apache Kafka szoftver beállításának követelményei a következők:
- Java 8+
- Állatgondozó
- Ubuntu 20.04 LTS
- Git
Jellemzők
Az Apache Kafka néhány legfontosabb jellemzője az alábbiakban található:
- Skálázhatóság
- Magas hangerő
- Adat -transzformációk
- Hibatűrés
- Megbízhatóság
- Tartósság
- Teljesítmény
- Nulla állásidő
- Bővíthetőség
- Replikáció
- Nyílt forráskód
Telepítési útmutató
Telepítse az Apache Kafka -t az Ubuntu -ra
Ez az útmutató elmagyarázza, hogyan kell beállítani és Kafka. A telepítési lépések alatt feltételezzük, hogy a KAFKA összes deprációs csomagja telepítve van és naprakészen van a rendszerre. Kérjük, kövesse az alábbi telepítési lépéseket. Szerezd meg a Kafka -t a legújabb kiadás letöltésével, és kibontani a parancsokkal:
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
Ezután indítsa el a Kafka környezetet. A helyi rendszer környezetének telepítve kell lennie a Java 8+ -nak. Végezze el a következő parancsokat annak érdekében, hogy az összes szolgáltatást megfelelő sorrendben indítsa el:
bin/zookeeper-server-start.sh config/zookeeper.properties
Nyisson meg egy újabb terminál ülést, és dtart A Kafka bróker szolgáltatás:
bin/kafka-server-start.sh config/server.properties
Ha az összes szolgáltatás sikeresen telepítve van, akkor alapvető Kafka -környezetet fog futni és készen áll a hozzáférésre. Az első esemény megírása előtt meg kell hoznia egy témát. Nyisson meg egy másik terminál munkamenetet és futtassa a parancsot:
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
Most futtassa a Console Producer Client -t, hogy néhány külön eseményt írjon a témába:
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
Nyisson meg egy másik konzol -terminál munkamenetet, és futtassa a konzol fogyasztói kliensét az éppen létrehozott események elolvasásához:
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
Folyamatosan importálhatja/exportálhatja adatait a Kafka -ba és onnan. A Ctrl-C segítségével állítsa le a Kafka brókert. Ha bármilyen adatot törölni szeretne a helyi Kafka környezetből, beleértve az út mentén létrehozott eseményeket is, akkor futtassa a parancsot:
rm -rf /tmp/kafka-logs /tmp/zookeeper
Gratulálunk! Sikeresen konfigurálta az Apache Kafka platformot az Ubuntu -on. Élvezd!
FAQs
What is Apache Kafka used for?
Kafka is an open source software which provides a framework for storing, reading and analysing streaming data. Being open source means that it is essentially free to use and has a large network of users and developers who contribute towards updates, new features and offering support for new users.
Is Apache Kafka free?
Apache Kafka is free, and Confluent Cloud is very cheap for small use cases, about $1 a month to produce, store, and consume a GB of data.
Is Apache Kafka open source?
Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications. The source code of Ceph application is available at Github.
What language is Kafka written in?
Kafka started as a project in LinkedIn and was later open-sourced to facilitate its adoption. It is written in Scala and Java, and it is part of the open-source Apache Software Foundation.
Why Kafka is so fast?
Compression & Batching of Data: Kafka batches the data into chunks which helps in reducing the network calls and converting most of the random writes to sequential ones. It’s more efficient to compress a batch of data as compared to compressing individual messages.
Fedezd fel
Ebben a cikkben az Apache Kafkáról beszéltünk. Ha megismerheti a többi üzenetsor (MQ) szoftvert, kérjük, látogasson el a következő oldalakra:
Az 5 legjobb nyílt forráskódú üzenet sor MQ szoftver
