스파크 도커 쉽게 설치 방법

es-spark 연동겸 스파크 공부겸(엘라스틱 능력 대비 실력이 로우 하다) 일단 할려면 설치를 해야 되니 설치를 알아보던중 이전 회사에서 사용하던 bash 자동설치 스크립트 (물론 회사에 있는걸 가져온게 아니라 집에서 만들어서 쓰던걸 회사에 가져간 경우이니 오해가 없기를)의 경우 괭장히 오래전에 만든거라 하둡2 스파크2 버전으로 되어 있다. 이왕하는거 최신버전으로 해야 하지 않을까 싶기도 하고 자동 설치 스크립트도 좋지만 요즘 도커의 매력에 빠져 있던 터라 도커 기반으로 해보고 싶어졌다.

 

예전에 사용하던 HDP3.1 가상 이미지도 있긴 한데 집에서 개발환경을 도커로 통합 할겸 해서 도커로 진행하는 방향으로 가닥 잡았다. 다만 핵심 공부 목적은 설치가 아니라 es-spark 연동과 스칼라 공부 인데 굳이 설치로 너무 스트레스 받기 싫어서 이미지를 찾다가 괜찮은 이미지가 있어서 남겨 둔다. 

 

해당 깃들어가면 설명이 되어 있으나 컴포즈 내용까지 적어둔다.

포트 정도면 적당히 바꿔주면된다.

 

docker-compose up 하면 특별한게 없다면 잘 실행 된다.

https://github.com/big-data-europe/docker-spark

GitHub - big-data-europe/docker-spark: Apache Spark docker image

해당 깃 방문하면 하둡 제펠린 등등도 많다. 

나중에 시간 날떄 나도 나만의 셋팅으로 하나 만들어 둬야 겠다.

git clone https://github.com/big-data-europe/docker-spark

docker-compose.yml
version: '3'
services:
  spark-master:
    image: bde2020/spark-master:3.3.0-hadoop3.3
    container_name: spark-master
    ports:
      - "8080:8080"
      - "7077:7077"
    environment:
      - INIT_DAEMON_STEP=setup_spark
  spark-worker-1:
    image: bde2020/spark-worker:3.3.0-hadoop3.3
    container_name: spark-worker-1
    depends_on:
      - spark-master
    ports:
      - "8081:8081"
    environment:
      - "SPARK_MASTER=spark://spark-master:7077"
  spark-worker-2:
    image: bde2020/spark-worker:3.3.0-hadoop3.3
    container_name: spark-worker-2
    depends_on:
      - spark-master
    ports:
      - "8082:8081"
    environment:
      - "SPARK_MASTER=spark://spark-master:7077"
  spark-history-server:
      image: bde2020/spark-history-server:3.3.0-hadoop3.3
      container_name: spark-history-server
      depends_on:
        - spark-master
      ports:
        - "18081:18081"
      volumes:
        - /tmp/spark-events-local:/tmp/spark-events