Przetwarzanie danych w pamięci za pomocą bezpłatnego narzędzia Big Data

Przegląd

Apache Spark to bezpłatny i otwarty silnik przetwarzania dużych danych. Opiera się na Hadoop MapReduce i jest przeznaczony do szybkich obliczeń. Apache Spark rozszerza model MapReduce Hadoop, aby umożliwić bardziej wydajne wykonywanie większej liczby rodzajów obliczeń, takich jak interaktywne zapytania i przetwarzanie strumienia. Obsługuje obliczenia klastrów w pamięci, co zwiększa szybkość przetwarzania aplikacji. Apache iskra obsługuje różnorodne obciążenia, w tym algorytmy iteracyjne, interaktywne zapytania i przesyłanie strumieniowe. Jest wyposażony w nietypowe funkcje, takie jak tolerancja błędów, zaawansowana analityka, leniwa ocena, przetwarzanie strumienia w czasie rzeczywistym, przetwarzanie danych w pamięci i wiele innych. Ponad 80 operatorów wysokiego poziomu jest dostępnych w Apache Spark, których można użyć do tworzenia równoległych aplikacji. Zawiera także interfejs API, który umożliwia przetwarzanie strumienia w czasie rzeczywistym. W Apache Spark wszystkie transformacje mają charakter leniwy. Oznacza to, że zamiast natychmiastowego dostarczenia wyniku, tworzy nowy RDD z istniejącego. W rezultacie wydajność systemu uległa poprawie. Apache Spark obsługuje wiele języków, takich jak Java, R, Scala, Python, podczas gdy Hadoop obsługuje tylko język Java. Apache Spark umożliwia przetwarzanie zadań w pamięci, które zwiększają ogromną prędkość. Apache Spark działa dobrze z systemem plików HDFS Hadfs i wieloma formatami plików, takimi jak Parquet, Json, CSV, ORC. Hadoop można łatwo zintegrować z Apache Spark albo jako wejściowe źródło danych lub miejsce docelowe.