아파치 하둡 완전분산 설치 1 (Apache Hadoop Full Distributed)

아파치 하둡 StandAlong/의사분산 모드는 설치 방법이 쉬워 자료가 많아

실제 업무에서 사용되는 완전분산 관련 설치 내용을 정리한다.

 

1. JDK 1.6 설치

하둡은 JVM 기반에서 동작하므로 JDK 설치가 선행되어야 한다.

 

(1) 설치

아래의 링크에서 각 플랫폼에 따른 JDK 버전 설치

하둡은 JDK 1.6을 지원

http://www.oracle.com/technetwork/java/javase/downloads/jdk6u35-downloads-1836443.html

 

(2) 환경변수 설정

.profile 등 각자의 Shell에 맞도록 아래와 같이 환경변수 설정

export JAVA_HOME=/usr/java/jdk1.6.0_33
export PATH=$PATH:$JAVA_HOME:$JAVA_HOME/bin
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib

와 같이 JAVA_HOME, PATH, CLASSPATH을 설정한다.

(운영체제 및 JDK 빌드에 따라 일부 경로를 달라질 수 있다.)

* chmod 755 .profile 을 수행하여 수행권한 부여

 

2. 아파치 하둡 다운로드

   http://www.apache.org/dyn/closer.cgi/hadoop/common/

   에서 Stable Version Download

   (혹은 http://mirror.apache-kr.org/hadoop/common/stable/  한국 Site에서 Download)

   현재 Stable Version은 hadoop-1.0.4-bin.tar.gz

 

3. OS 계정 설정

  groupadd dba

  useradd bigdata -g dba -pbigdata_password -d/hbase/hadoop-1.0.4 -s /bin/ksh

  위는 bigdata:dba 계정을 bigdata_password Password로

  /hbase/hadoop-1.0.4를 홈디렉토리로 하는 /bin/ksh을 Shell로 가지는 계정을 생성하는 예이다.

 

4. FTP 전송

  설치하고자 하는 서버에 FTP로 설치 파일 전송 (Binary Mode도 전송해야 정상적으로 파일 사용 가능)

  본 테스트 시에는 /hbase 디렉토리에 전송

 

5. 압축풀기 

  적당한 Directory에다음과 같이

 

  gunzip -S .tgz hadoop-1.0.4-bin.tar.gz
  tar -xvf hadoop-1.0.4-bin.tar

 

  /hbase 디렉토리에서 위의 명령을 수행하여 기존에 만든 /hbase/hadoop-1.0.4 디렉토리에

 그대로 OverWrite 되도록 수행

 

6.  하둡을 위한 기본환경설정

.profile 등에 아래와 같이 환경 설정 추가 (Hadoop을 /hbase/hadoop-1.0.4 에 설치했다고 가정)

export HADOOP_HOME=/hbase/hadoop-1.0.4
export HADOOP_CLASSPATH=$CLASSPATH:$HADOOP_HOME:$HADOOP_HOME/lib
export PATH=$HADOOP_HOME:$HADOOP_HOME/bin:$PATH
export HADOOP_HOME_WARN_SUPPRESS=TRUE

export CLASSPATH=$CLASSPATH:.:$HADOOP_HOME/conf/log4j.properties:$HADOOP_HOME/hadoop-examples-1.0.4.jar:$JAVA_HOME/lib
for f in ${HADOOP_HOME}/*.jar; do
  CLASSPATH=${CLASSPATH}:$f;
done
export CLASSPATH

export PS1=[`hostname`:'$PWD']#

 

(HADOOP_HOME_WARN_SUPPRESS 설정은 Warning: $HADOOP_HOME is deprecated. 막기 위함)

 

7. 하둡 설정 확인

아래와 같이 Version 정보 확인

 

$HADOOP_HOME/bin/hadoop version
(결과값)
Hadoop 1.0.4
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290
Compiled by hortonfo on Wed Oct  3 05:13:58 UTC 2012
From source with checksum fe2baea87c4c81a2c505767f3f9b71f4

위와 같이 Version 정보가 정상적으로 출력되는지 확인

해당 작업까지 끝마쳤으면, 하둡의 기본적인 설치는 완료되었다.

이제부터 설치의 시작이라고 보면 되며, 아파치 하둡 완전분산 설치 II에서

가장 시간이 많이 걸리는 설정 과정을 설명하도록 하겠다.