[Spark] Spark 설치하기

Spark logo

Spark를 터미널을 사용해 설치하기 위해서는 wget을 사용해야 한다. 그리고 Http 통신을 통해서 다운받을 주소가 필요하다. 다운받을 주소는 다음의 주소로 가서 Spark를 다운로드 받을 링크를 클릭해야 얻을 수 있다.

spark.apache.org/downloads.html

Downloads | Apache Spark

$ wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

위 명령어를 통해서 $HOME/Downloads 경로에 Spark 설치를 위한 zip 파일을 받는다.

$ cd $HOME/Downloads
$ tar -xvf spark~
$ rm spark~.tgz

차례대로 입력하여 압축을 풉니다.

$ cd $HOME
$ mkdir -p bin/sparks
$ mv Downloads/spark~ bin/sparks

bin 폴더에 sparks 폴더에 현재 및 미래 버전까지 모두 담아놓습니다. Spark 커뮤니티는 거의 2개월 마다 새로운 버전을 릴리즈할 정도로 활발하기 때문에 버전을 업데이트하여 쓸 수 있도록 설정해놓습니다.

$ cd $HOME/bin
$ ln -s sparks/spark-2.0.0-bin-hadoop2.7 spark

현재 스파크 버전의 설치 폴더를 가리키는 심볼릭 링크 폴더를 $HOME/bin 폴더 아래에 만드는 것이다. 심볼릭 링크는 리눅스에서 여러 버전의 프로그램을 관리하는 데 매우 유용하다.

결론, 스파크 루트 폴더를 항상 동일한 방식으로 참조할 수 있어서 좋습니다.