하둡 설정 파일 동기화


하둡은 한곳의 설정 파일 및 관련 모든 파일들의 동기화를 할 수 있다.
 
conf/hadoop-env.sh 내에는 아래와 같은 속성이 있다.

# host:path where hadoop code should be rsync'd from.  Unset by default.

export HADOOP_MASTER=hadoop@master:/var/hadoop-1.0.3


모든 노드의 conf/hadoop-env.sh 파일에  master의 HADOOP_HOME 위치를 설정하게 되면 노드가 구동될 때 rsync 를 이용하여 master의 파일과 동기화가 이루어 진다.


위에서 설정한 값은 아래의 스크립트에서 동작하게 된다. 반드시 HADOOP_HOME 환경변수가 설정 되어 있어야 한다.

$ vi /opt/hadoop/bin/hadoop-daemon.sh

[127 line] 

  if [ "$HADOOP_MASTER" != "" ]; then
       echo rsync from $HADOOP_MASTER
       rsync -a -e ssh --delete --exclude=.svn --exclude='logs/*' --exclude='c    ontrib/hod/logs/*' $HADOOP_MASTER/ "$HADOOP_HOME"
     fi



클러스터 환경에서는 HADOOP_HOME 변수를 설정하게 되면 hadoop_home deprecated 주의 메시지가 뜬다. 
이 때에는  conf/hadoop-env.sh 파일에 export HADOOP_HOME_WARN_SUPPRESS="TRUE" 를 추가하면 더이상 주의 메시지가 표시되지 않는다.

'빅데이터' 카테고리의 다른 글

Hadoop Distributed Mode  (4) 2012.06.04
[Error] incompatible namespaceids in namenode  (0) 2012.05.29
Hadoop Deprecated Properties  (0) 2012.05.29
관리 도구  (0) 2012.05.29
hadoop-en.sh 설정  (0) 2012.05.28