Обработка данных в памяти с бесплатным инструментом больших данных

Обзор

Apache Spark - это бесплатный и открытый механизм обработки больших данных. Он основан на Hadoop MapReduce и предназначен для быстрых вычислений. Apache Spark расширяет модель Hadoop MapReduce, чтобы обеспечить больше типов вычислений, таких как интерактивные запросы и обработка потоков, для более эффективного выполнения. Он поддерживает кластерные вычисления в памяти, что повышает скорость обработки приложения. Apache Spark обрабатывает множество рабочих нагрузок, включая итерационные алгоритмы, интерактивные запросы и потоковую передачу. Он поставляется с необычными функциями, такими как толерантность к разлому, усовершенствованная аналитика, ленивая оценка, обработка потока в реальном времени, обработка данных в памяти и многое другое. Более 80 операторов высокого уровня доступны в Apache Spark, которую можно использовать для создания параллельных приложений. Он также включает в себя API, который позволяет обрабатывать потоковую передачу в реальном времени. В Apache Spark все преобразования ленивы по своей природе. Это подразумевает, что вместо того, чтобы немедленно предоставить результат, он создает новый RDD из существующего. В результате производительность системы улучшается. Apache Spark поддерживает несколько языков, таких как Java, R, Scala, Python, тогда как Hadoop поддерживает только язык Java. Apache Spark позволяет в память о обработке задач, которые увеличивают массовую скорость. Apache Spark хорошо работает с файловой системой HDFS от Hadoop и несколькими форматами файлов, такими как Parquet, JSON, CSV, ORC. Hadoop может быть легко интегрирован с Apache Spark в качестве источника входных данных или пункта назначения.