현재 서버 상태
CentOS 6.3
OpenJdk 1.6
ant
Hadoop 설치
http://hadoop.apache.org
에서 다운로드
http://www.apache.org/dyn/closer.cgi/hadoop/common/
$ cd /opt
1. 다운로드 처리
$ wget http://apache.tt.co.kr/hadoop/common/hadoop-1.1.2/hadoop-1.1.2-bin.tar.gz
2. 압축해제 후 디렉토리명 변경
$ tar zxvf hadoop-1.1.2-bin.tar.gz
“hadoop-1.1.2” 디렉토리 생성됨
$ mv hadoop-1.1.2 hadoop
3. 자바패스 추가
$ vi /etc/profile
—– —– —– —–
맨 자바 패스 설정 추가 bash_profile를 사용해도 좋은데 모르면 그냥 따라하기
export JAVA_HOME=/usr/lib/jvm/java-openjdk
export PATH=$PATH:$JAVA_HOME/bin
—– —– —– —–
$ source /etc/profile
4. 하둡설정 편집
$ vi {hadoop_home}/conf/hadoop-env.sh
—– —– —– —–
export JAVA_HOME=/usr/lib/jvm/java-openjdk
—– —– —– —–
5. WordCount 테스트 작업
이 명령어가 수행되도록 작업
$ bin/hadoop jar hadoop-examples-1.1.2.jar wordcount input out1
$ bin/hadoop {jar파일} {처리할 jar파일} {wordcount모듈} {input text file directory} {outputdirectory}
명령어 실행해보면 한단계씩 설명이 잘 나온다
$ bin/hadoop
$ bin/hadoop jar
$ bin/hadoop jar hadoop-examples-1.1.2.jar
이런식으로 한단계씩 입력해보자
위 작업이 테스트까지 잘 수행이 되면 output 디렉토리에 처리된 파일이 올라온다.
Pig 설치
http://pig.apache.org
http://www.apache.org/dyn/closer.cgi/pig
1. 다운로드 처리
$ wget http://apache.mirror.cdnetworks.com/pig/pig-0.11.0/pig-0.11.0.tar.gz
2. 압축해제 후 디렉토리 변경
$ tar zxvf pig-0.11.0.tar.gz
$ mv pig-0.11.0 pig
3. 돼지 패스 추가
$ vi /etc/profile
—– —– —– —–
export PIG_HOME=/opt/pig
export PATH=$PATH:$PIG_HOME/bin
—– —– —– —–
4. 돼지 설정 변경
conf/pig.properties에서는 변경할게 없다
$ vi bin/pig
패스 추가
—– —– —– —–
export HADOOP_CONF_DIR=/opt/hadoop/conf
export PIG_HOME=/opt/pig
export PIG_CONF_DIR=$PIG_HOME/conf
—– —– —– —–
5. 실행 및 테스트
$ bin/pig
제대로 설정했으면 grunt> 쉘로 진입한다