ambari 기반 HDP 3.1 설치 #1
요즘 너무 일반 글만 싸지르는거 같아서 명색이 기술블로그 인데 과거 작성 메뉴을 사골도 우릴겸 작성해본다.
하둡이 뭔지도 모르던 시절 클라우데라 홈피(당시엔 호튼웍스 홈피 인수전이였다.) 보면서 삽질의 결과물 이다.
HDP3.1의 미스테리는 내가 못하는걸 수도 있지만 똑같이 설치 해도 매번 반응이 다르다 가상화로 테스트를 해도 매번 달라서 실제 운영 설치당시 거이 기도메타로 설치 했던 기억이 있다. 암턴 이번엔 이걸 적어보자 한다.
1. OS Hostname을 설정
shell에서 hostname 확인후
1) hostnamectl set-hostname '원하는 호스트명'
2) /etc/hostname 설정파일 변경으로도 가능
3) 재부팅 하면 내용 반영 => 재접속시도 반영됨.
2. ssh 접속 설정
1) 오픈튜토리얼 해당 내용으로 대체 동일하게 진행하면 된다. 하둡의 경우 엘라스틱과 달리 ssh로 통신을 한다. 해당 설정이 필수.
https://opentutorials.org/module/432/3742
SSH Key - 비밀번호 없이 로그인 - 원격제어
SSH Key란? 서버에 접속 할 때 비밀번호 대신 key를 제출하는 방식이다. SSH Key는 언제 사용하는가? 비밀번호 보다 높은 수준의 보안을 필요로 할 때 로그인 없이 자동으로 서버에 접속 할 때 SSH Key
opentutorials.org
3. NTP 서비스 설치 및 실행
서버간 시간동기화를 위한 설치 같은데 경험적으로 폐쇄망에서 시간동기화가 불가능한 환경에서 특별히 문제가 된적은 없어서 안해도 될거 같긴하나 폐쇄망 설치 메뉴얼 만드는게 아니므로 아래와 같이 설치 한다.
yum install ntp
service ntpd start
chkconfig ntpd on
service --status-all | grep ntpd
4. SELinux 비활성화
vi /etc/selinux/config
SELINUX=disabled
5. priorities 다운로드
yum install yum-priorities
6. iptables 설정
systemctl stop firewalld
systemctl mask firewalld
yum install iptables-services
systemctl enable iptables
chkconfig iptables off
7. wget 설치후 ambari.repo 다운로드 (로컬상태 설치시 해당 실행은 스킵)
해당은 현재 변경되었을 수도 있다. 클라우데라 홈피 확인 필요.
centos7 미니멈설치시 wget패키지가 설치되지 않는다. WGET 패키지 설치후 repo진행
wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
- repository list 확인
8. 암바리 설치
yum install ambari-server
암바리 설치의 경우 ambari-server는 한개의 서버 암바리UI를 구동할 서버에서만 설치하면 된다. agent의 경우 하둡 설치 대상 모든 서버에서 구동이 필요 하다.
9. 암바리 셋업
ambari-server setup
default 설정값으로 설치한다.
JAVA_HOME 설정에서만 openjdk1.8 설치 기준 /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64 해당으로 설정 한다
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64
자바의 경우 당연한거지만 1.8 이상이 이미 설치되어 있다면 굳이 또 설치할 필요는 없다.
10. ambari-server start
11. yum install ambari-agent
yum install ambari-agent
12. 혹시 모르니 ambari-server, amabari-agent restart 를 진행 한다.
ambari-server restart
amabari-agent restart
일단 여기까지 기본 설치는 끝이다. 물론 이후할게 많지만 연속연재 포스팅이니 다음에 다시 하기로 한다.
'빅데이터' 카테고리의 다른 글
NIFI 실행 방법 도커기반 (0) | 2022.12.19 |
---|---|
ambari 기반 HDP 3.1 설치 #2 (0) | 2022.12.18 |
Cribl Stream Docker 설치 방법 (0) | 2022.12.06 |
Cribl.io stream (0) | 2022.11.17 |
예전에 만들었던 NIFI 데이터 흐름도 (0) | 2022.09.30 |