Pemrosesan data dalam memori dengan alat data besar gratis

Ringkasan

Apache Spark adalah mesin pemrosesan data besar yang gratis dan open. Ini didasarkan pada Hadoop MapReduce dan dirancang untuk perhitungan cepat. Apache Spark memperluas model Hadoop MapReduce untuk memungkinkan lebih banyak jenis perhitungan, seperti kueri interaktif dan pemrosesan aliran, untuk dilakukan secara lebih efisien. Ini mendukung komputasi cluster in-memory, yang meningkatkan kecepatan pemrosesan aplikasi. Apache Spark menangani berbagai beban kerja termasuk algoritma iteratif, pertanyaan interaktif, dan streaming. Muncul dengan fitur out-of-the-box seperti toleransi kesalahan, analitik canggih, evaluasi malas, pemrosesan aliran waktu nyata, pemrosesan data dalam memori, dan banyak lagi. Lebih dari 80 operator tingkat tinggi tersedia di Apache Spark, yang dapat digunakan untuk membuat aplikasi paralel. Ini juga termasuk API yang memungkinkan pemrosesan aliran waktu nyata. Dalam Apache Spark, semua transformasi bersifat malas. Ini menyiratkan bahwa alih -alih memberikan hasilnya segera, itu menciptakan RDD baru dari yang sudah ada. Akibatnya, kinerja sistem ditingkatkan. Apache Spark mendukung berbagai bahasa seperti Java, R, Scala, Python sedangkan Hadoop hanya mendukung bahasa Java. Apache Spark memungkinkan pemrosesan tugas dalam memori yang meningkatkan kecepatan besar. Apache Spark bekerja dengan baik dengan sistem file HDFS Hadoop dan beberapa format file seperti parket, json, csv, orc. Hadoop dapat dengan mudah diintegrasikan dengan Apache Spark baik sebagai sumber data input atau tujuan.