インストール
** Ubuntu 18.04にApache Sparkをインストールします**
コマンドを実行して、Apache Sparkをダウンロードします。
$ wget https://archive.apache.org/dist/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz
以下のコマンドを使用してTARファイルを抽出します。
$ tar -zxf spark-3.1.1-bin-hadoop3.2.tgz
抽出されたディレクトリを移動します。
$ sudo mv spark-3.1.1-bin-hadoop3.2 /opt/spark
.bashrcファイルを開き、以下の行を追加します。
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
次のコマンドで環境を有効にします。
$ source ~/.bashrc
Spark Masterサーバーを開始します。
$ start-master.sh
Browserを開き、Webインターフェイスにアクセスするためにhttp:// server-ip:8080を入力します。