Kafka Gratis berichtwachtrijsoftware
Scala & Java gebaseerd gedistribueerd evenementenstreamingplatform
Apache Kafka is een open source gedistribueerd evenement streaming platform. Het is een robuuste wachtrijder en gebouwd als een intern berichtensysteem ontwikkeld door Linked-In
Overzicht
Kafka is een open source berichtensysteem en een robuuste wachtrijmakelaar. Het is gedistribueerd platform voor gebeurtenisstreaming en heeft de mogelijkheid om een groot aantal berichten te verwerken. Kafka -berichten worden opgeslagen op de schijf en hiermee kunt u berichten van het ene punt naar het andere naadloos verzenden. Berichten worden gerepliceerd binnen het hele Kafka -cluster om te voorkomen dat ongewenste bewerkingen plaatsvinden zoals elk gegevensverlies. KAFKA-berichtenplatform gebouwd om realtime evenementenstreaming, pijpvoering en het opnieuw afspelen van gegevens voor snelle, schaalbare bewerkingen te verwerken. Apache Kafka Distributed Message Queue Software wordt door duizenden bedrijven gebruikt voor gegevenspijplijnen met hoge prestaties en de integratie ervan met Apache Storm en Spark. Kafka biedt hoge prestaties in vergelijking met bericht- en wachtrijmakelaars zoals ActiveMQ en RabbitMQ enz. Apache Kafka is een alternatief voor een verscheidenheid aan bedrijfsberichten. Het werd gebouwd als een intern berichtensysteem ontwikkeld door Linked-In om 1,4 biljoen berichten op een dag te verwerken. Het is een beste en geschikt platform voor de implementatie van wachtrijen, omdat het de prestaties verhoogt met behulp van sequentiële schijf I/O -bewerkingen. Het is ook een perfecte keuze voor big data -use cases omdat het een hoge doorvoer kan bereiken met een beperkt aantal bronnen, d.w.z. miljoenen berichten per seconde. Kafka Open Source Software heeft 19,4K GitHub -sterren en 10,3K Github Forks.
Systeem vereisten
Vereisten om Apache Kafka -software in te stellen, zijn onder meer:
- Java 8+
- Dierentuinmedewerker
- Ubuntu 20.04 LTS
- Git
Functies
Enkele van de belangrijkste kenmerken van Apache Kafka worden hieronder vermeld:
- Schaalbaarheid
- Hoog volume
- Data -transformaties
- Fouttolerantie
- Betrouwbaarheid
- Duurzaamheid
- Prestatie
- Nul downtime
- Uitbreidbaarheid
- Replicatie
- Open source
Installatie instructies
Apache kafka op ubuntu installeren
Deze gids legt uit hoe u moet instellen en kafka. Hieronder gaan installatiestappen ervan uit dat alle depentiepakketten van Kafka zijn geïnstalleerd en actueel op uw systeem. Volg hieronder installatiestappen. Koop Kafka door de nieuwste release Kafka te downloaden en uit te pakken met opdrachten:
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
Start vervolgens de Kafka -omgeving. Uw lokale systeemomgeving moet Java 8+ hebben geïnstalleerd. Voer de volgende opdrachten uit om alle services in de juiste volgorde te starten:
bin/zookeeper-server-start.sh config/zookeeper.properties
Open nog een terminal sessie en Dtart de Kafka Broker Service door:
bin/kafka-server-start.sh config/server.properties
Wanneer alle services met succes zijn geïnstalleerd, hebt u een eenvoudige KAFKA -omgeving die actief is en klaar voor toegang. U moet een onderwerp maken voordat u uw eerste evenement schrijft. Open nog een terminal sessie en voer opdracht uit:
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
Voer nu de client van de console -producent uit om een paar afzonderlijke evenementen in het onderwerp te schrijven:
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
Open nog een console -terminalessie en voer de consumentenclient van de console uit om de gebeurtenissen te lezen die u zojuist hebt gemaakt:
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
U kunt uw gegevens continu in en uit Kafka importeren/exporteren. Gebruik CTRL-C om de Kafka-makelaar te stoppen. Als u ook gegevens uit uw lokale Kafka -omgeving wilt verwijderen, inclusief evenementen die u onderweg hebt gemaakt, voert u de opdracht uit:
rm -rf /tmp/kafka-logs /tmp/zookeeper
Gefeliciteerd! U hebt Apache Kafka -platform met succes geconfigureerd op Ubuntu. Genieten!
FAQs
What is Apache Kafka used for?
Kafka is an open source software which provides a framework for storing, reading and analysing streaming data. Being open source means that it is essentially free to use and has a large network of users and developers who contribute towards updates, new features and offering support for new users.
Is Apache Kafka free?
Apache Kafka is free, and Confluent Cloud is very cheap for small use cases, about $1 a month to produce, store, and consume a GB of data.
Is Apache Kafka open source?
Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications. The source code of Ceph application is available at Github.
What language is Kafka written in?
Kafka started as a project in LinkedIn and was later open-sourced to facilitate its adoption. It is written in Scala and Java, and it is part of the open-source Apache Software Foundation.
Why Kafka is so fast?
Compression & Batching of Data: Kafka batches the data into chunks which helps in reducing the network calls and converting most of the random writes to sequential ones. It’s more efficient to compress a batch of data as compared to compressing individual messages.
Ontdekken
In dit artikel hebben we besproken over Apache Kafka. Ga naar de volgende pagina’s voor meer informatie over andere berichtwachtrij (MQ) software:
Top 5 open source berichtwachtrij MQ -software
