Kafka Software de fila de mensagens grátis
Plataforma de streaming de eventos distribuídos baseados em Scala e Java
O Apache Kafka é uma plataforma de streaming de eventos distribuídos de código aberto. É um corretor de filas robusto e construído como um sistema de mensagens interno desenvolvido pela Linked-In
Visão geral
Kafka é um sistema de mensagens de código aberto e um corretor robusto da fila. Ele é distribuído plataforma de streaming de eventos e tem a capacidade de lidar com um alto volume de mensagens. As mensagens kafka são armazenadas no disco e permite enviar mensagens de um ponto para outro sem problemas. As mensagens são replicadas em todo o cluster Kafka para impedir que operações indesejadas aconteçam como qualquer perda de dados. A plataforma de mensagens Kafka criada para lidar com o streaming de eventos em tempo real, o revestimento de tubos e a reprodução de dados para operações rápidas e escaláveis. O software da fila de mensagens distribuído do Apache Kafka é usado por milhares de empresas para pipelines de dados de alto desempenho e sua integração com a Apache Storm e Spark. A Kafka oferece alto desempenho em comparação com corretores de mensagens e filas como ActiveMQ e RabbitMQ etc. Apache Kafka é uma alternativa a uma variedade de sistemas de mensagens corporativas. Foi construído como um sistema de mensagens internas desenvolvido pela Linked-In para lidar com 1,4 trilhão de mensagens em um dia. É uma plataforma melhor e adequada para a implementação de filas, pois aumenta o desempenho usando operações de E/S de disco sequencial. Também é uma escolha perfeita para casos de uso de big data, pois pode obter alta taxa de transferência com número limitado de recursos, ou seja, milhões de mensagens por segundo. O software de código aberto Kafka possui 19,4k Github Stars e 10,3k Github Forks.
Requisitos de sistema
Os requisitos para configurar o software Apache Kafka incluem:
- Java 8+
- Funcionário do zoológico
- Ubuntu 20.04 LTS
- Git
Características
Alguns dos principais recursos do Apache Kafka estão listados abaixo:
- Escalabilidade
- Volume alto
- Transformações de dados
- Tolerância ao erro
- Confiabilidade
- Durabilidade
- Desempenho
- Tempo de inatividade zero
- Extensibilidade
- Replicação
- Código aberto
Instruções de instalação
Instale o Apache Kafka no Ubuntu
Este guia explica como configurar e kafka. As etapas de instalação abaixo supõem que todos os pacotes de dependência do Kafka estejam instalados e atualizados no seu sistema. Siga as etapas de instalação abaixo. Obtenha Kafka baixando o último lançamento Kafka e extraia -o com comandos:
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
Em seguida, inicie o ambiente Kafka. O ambiente do sistema local deve ter o Java 8+ instalado. Execute os seguintes comandos para iniciar todos os serviços na ordem correta:
bin/zookeeper-server-start.sh config/zookeeper.properties
Abra outra sessão do terminal e dtart o Kafka Broker Service por:
bin/kafka-server-start.sh config/server.properties
Quando todos os serviços forem instalados com sucesso, você terá um ambiente Kafka básico em execução e pronto para acessar. Você precisa criar um tópico antes de escrever seu primeiro evento. Abra outra sessão do terminal e execute o comando:
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
Agora, execute o cliente do produtor de console para escrever alguns eventos separados no tópico:
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
Abra outra sessão do terminal do console e execute o cliente do console para ler os eventos que você acabou de criar:
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
Você pode importar/exportar continuamente seus dados para dentro e fora de Kafka. Use Ctrl-C para interromper o corretor Kafka. Se você também deseja excluir quaisquer dados do seu ambiente Kafka local, incluindo os eventos que você criou ao longo do caminho, execute o comando:
rm -rf /tmp/kafka-logs /tmp/zookeeper
Parabéns! Você configurou com sucesso a plataforma Apache Kafka no Ubuntu. Aproveitar!
Perguntas frequentes
Para que é o Apache Kafka?
A Kafka é um software de código aberto que fornece uma estrutura para armazenar, ler e analisar dados de streaming. Ser de código aberto significa que é essencialmente gratuito para usar e possui uma grande rede de usuários e desenvolvedores que contribuem para atualizações, novos recursos e oferecendo suporte para novos usuários.
O Apache Kafka é grátis?
O Apache Kafka é gratuito e a nuvem confluente é muito barata para pequenos casos de uso, cerca de US $ 1 por mês para produzir, armazenar e consumir um GB de dados.
é o Apache Kafka Open Source?
O Apache Kafka é uma plataforma de streaming de eventos distribuída de código aberto usado por milhares de empresas para pipelines de dados de alto desempenho, análise de streaming, integração de dados e aplicativos críticos da missão. O código -fonte do aplicativo CEPH está disponível em Github.
Em que idioma Kafka está escrito?
Kafka começou como um projeto no LinkedIn e foi posteriormente de código aberto para facilitar sua adoção. Está escrito em Scala e Java, e faz parte da base de software Apache de código aberto.
Por que Kafka é tão rápido?
Compressão e lote de dados: Kafka lotes dos dados em pedaços que ajudam a reduzir as chamadas de rede e converter a maioria das gravações aleatórias em sequenciais. É mais eficiente comprimir um lote de dados em comparação com a compactação de mensagens individuais.
Explore
Neste artigo, discutimos sobre o Apache Kafka. Para saber sobre outro software de fila de mensagens (MQ), visite as seguintes páginas:
5 principais mensagens de código aberto Fila MQ Software
Sistema de filas Redisbacked para processamento em segundo plano
