Processamento de dados na memória com ferramenta gratuita de big data

Visão geral

O Apache Spark é um mecanismo de processamento de big data de código aberto e gratuito. É baseado no Hadoop MapReduce e foi projetado para computação rápida. O Apache Spark estende o modelo Hadoop MapReduce para permitir que mais tipos de cálculos, como consultas interativas e processamento de fluxos, sejam executados com mais eficiência. Ele suporta computação de cluster em memória, que aumenta a velocidade de processamento de um aplicativo. O Apache Spark lida com uma variedade de cargas de trabalho, incluindo algoritmos iterativos, consultas interativas e streaming. Ele vem com recursos prontos para uso, como tolerância a falhas, análise avançada, avaliação preguiçosa, processamento de fluxos em tempo real, processamento de dados na memória e muito mais. Mais de 80 operadores de alto nível estão disponíveis no Apache Spark, que pode ser usado para criar aplicativos paralelos. Ele também inclui uma API que permite o processamento de fluxos em tempo real. Em Apache Spark, todas as transformações são preguiçosas por natureza. Isso implica que, em vez de fornecer o resultado imediatamente, ele cria um novo RDD a partir do existente. Como resultado, o desempenho do sistema é aprimorado. O Apache Spark suporta vários idiomas como Java, R, Scala, Python, enquanto o Hadoop só suporta o idioma Java. O Apache Spark permite o processamento na memória de tarefas que aumentam a velocidade maciça. O Apache Spark funciona bem com o sistema de arquivos HDFS do Hadoop e vários formatos de arquivo como Parquet, JSON, CSV, ORC. O Hadoop pode ser facilmente integrado ao Apache Spark como uma fonte de dados de entrada ou destino.