Kafka Bezpłatne oprogramowanie do kolejki wiadomości
Platforma rozproszonego zdarzeń oparta na Scala i Java
Apache Kafka to platforma strumieniowa zdarzeń rozproszonych typu open source. Jest to solidny broker kolejki i zbudowany jako wewnętrzny system przesyłania wiadomości opracowany przez Linked-In
Przegląd
Kafka to system przesyłania wiadomości typu open source i solidny broker kolejki. Jest to platforma przesyłania strumieniowego zdarzeń rozproszonych i ma możliwość obsługi dużej ilości komunikatów. Wiadomości Kafka są przechowywane na dysku i pozwalają bezproblemowo wysyłać wiadomości z jednego punktu do drugiego. Wiadomości są replikowane w całym klastrze Kafka, aby zapobiec niechcianym operacjom, jak każda utrata danych. Platforma przesyłania wiadomości Kafka zbudowana do obsługi strumieniowania zdarzeń w czasie rzeczywistym, rur i odtwarzania danych dla szybkich, skalowalnych operacji. Apache Kafka rozproszone oprogramowanie do kolejki komunikatów jest używane przez tysiące firm do wysokowydajnych rurociągów danych i ich integracji z Apache Storm i Spark. Kafka oferuje wysoką wydajność w porównaniu z brokerami komunikatów i kolejki, takich jak ActiveMQ i Rabbitmq itp. Apache Kafka jest alternatywą dla różnych systemów przesyłania wiadomości przedsiębiorstw. Został zbudowany jako wewnętrzny system przesyłania wiadomości opracowany przez Linked-In do obsługi 1,4 biliona komunikatów dziennie. Jest to najlepsza i odpowiednia platforma do implementacji kolejki, ponieważ zwiększa wydajność za pomocą sekwencyjnych operacji we/wy dysku. Jest to również idealny wybór dla przypadków użycia dużych zbiorów danych, ponieważ może osiągnąć wysoką przepustowość przy ograniczonej liczbie zasobów, tj. Miliony wiadomości na sekundę. Oprogramowanie open source Kafka ma 19,4 tys. Github gwiazdy i 10,3 tys. Forków Github.
Wymagania systemowe
Wymagania dotyczące konfigurowania oprogramowania Apache Kafka obejmują:
- Java 8+
- Zookeeper
- Ubuntu 20.04 LTS
- Git
Cechy
Niektóre z kluczowych funkcji Apache Kafka są wymienione poniżej:
- Skalowalność
- Wysoka głośność
- Transformacje danych
- Tolerancja błędów
- Niezawodność
- Trwałość
- Wydajność
- Zero przestoju
- Rozszerzalność
- Replikacja
- Otwarte źródło
Instrukcje Instalacji
** Zainstaluj Apache Kafka na Ubuntu **
Ten przewodnik wyjaśnia, jak skonfigurować i Kafkę. Poniżej kroki instalacji Załóżmy, że wszystkie pakiety delegatu Kafka są zainstalowane i aktualne w systemie. Postępuj zgodnie z krokami instalacji. Pobierz Kafkę, pobierając najnowszą wersję Kafka i wyodrębnij ją z poleceniami:
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
Następnie rozpocznij środowisko Kafka. Lokalne środowisko systemowe musi mieć zainstalowane Java 8+. Wykonaj następujące polecenia, aby uruchomić wszystkie usługi we właściwej kolejności:
bin/zookeeper-server-start.sh config/zookeeper.properties
Otwórz kolejną sesję terminalową i dtart The Kafka Broker Service przez:
bin/kafka-server-start.sh config/server.properties
Po pomyślnym zainstalowaniu wszystkich usług będziesz mieć podstawowe środowisko Kafka działające i gotowe do dostępu. Musisz stworzyć temat przed napisaniem pierwszego wydarzenia. Otwórz kolejną sesję terminalową i uruchom polecenie:
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
Teraz uruchom klienta producenta konsoli, aby napisać kilka oddzielnych wydarzeń na temat:
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
Otwórz kolejną sesję terminali konsoli i uruchom klienta konsoli, aby przeczytać wydarzenia, które właśnie utworzyłeś:
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
Możesz stale importować/wyeksportować swoje dane do i z Kafki. Użyj Ctrl-C, aby zatrzymać brokera Kafka. Jeśli chcesz również usunąć dane z lokalnego środowiska Kafka, w tym wszelkie zdarzenia, które utworzyłeś po drodze, uruchom polecenie:
rm -rf /tmp/kafka-logs /tmp/zookeeper
Gratulacje! Pomyślnie skonfigurowałeś platformę Apache Kafka na Ubuntu. Cieszyć się!
FAQs
What is Apache Kafka used for?
Kafka is an open source software which provides a framework for storing, reading and analysing streaming data. Being open source means that it is essentially free to use and has a large network of users and developers who contribute towards updates, new features and offering support for new users.
Is Apache Kafka free?
Apache Kafka is free, and Confluent Cloud is very cheap for small use cases, about $1 a month to produce, store, and consume a GB of data.
Is Apache Kafka open source?
Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications. The source code of Ceph application is available at Github.
What language is Kafka written in?
Kafka started as a project in LinkedIn and was later open-sourced to facilitate its adoption. It is written in Scala and Java, and it is part of the open-source Apache Software Foundation.
Why Kafka is so fast?
Compression & Batching of Data: Kafka batches the data into chunks which helps in reducing the network calls and converting most of the random writes to sequential ones. It’s more efficient to compress a batch of data as compared to compressing individual messages.
Badać
W tym artykule omówiliśmy o Apache Kafce. Aby dowiedzieć się o innym oprogramowaniu w kolejce wiadomości (MQ), odwiedź następujące strony:
** Top 5 Oprogramowanie MQ Commerse Mescowe **
** Redisbacked System kolejkowania do przetwarzania w tle **
