hadoop site

How To Install Apache Hadoop Pseudo Distributed Mode on a Single Node http://www.thegeekstuff.com/2012/02/hadoop-pseudo-distributed-installation/ Hadoop Troubleshooting http://pages.cs.brandeis.edu/~cs147a/lab/hadoop-troubleshooting/ &

  • format_list_bulleted 빅데이터
  • · 2012. 6. 4.
  • textsms
Hadoop Distributed Mode

Hadoop Distributed Mode

앞서 Cluster Mode 로 구축을 했었다. (Hadoop 클러스터 구성: http://tawool.tistory.com/281) 분산 모드는 하나의 PC 에 구축한다. 하둡 데몬이 local 에서 구동하므로 간단하게 작은 규모의 클러스터 테스트가 가능하다. OS 설정 SSH hadoop 설치 및 설정 테스트 OS 설정 hostname $ hostname dist /etc/hosts xxx.xxx.xxx.xxx dist localhost localhost.localdomain java $ java -version java version "1.6.0_32" Java(TM) SE Runtime Environment (build 1.6.0_32-b05) Java HotSpot(TM) 64-Bit Serve..

  • format_list_bulleted 빅데이터
  • · 2012. 6. 4.
  • textsms

[Error] incompatible namespaceids in namenode

사용중이던 NameNode 를 hadoop namenode -format 를 하고 나서 start-dfs.sh 를 했는데 datanode 쪽 Log 를 보니 아래와 같은 에러가 발생하면서 뜨질 않는다. ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /dfs/data: namenode namespaceID = 40728838; datanode namespaceID = 1893716758 즉 현재 네임노드의 매타정보는 namespaceID 40728838 이지만, 현재 데이터 노드의 namespaceID가 1893716758 이라서 뜨지 않는 문제이다. 데이터는 중요하..

  • format_list_bulleted 빅데이터
  • · 2012. 5. 29.
  • textsms
하둡 설정 파일 동기화

하둡 설정 파일 동기화

하둡은 한곳의 설정 파일 및 관련 모든 파일들의 동기화를 할 수 있다. conf/hadoop-env.sh 내에는 아래와 같은 속성이 있다. # host:path where hadoop code should be rsync'd from. Unset by default. export HADOOP_MASTER=hadoop@master:/var/hadoop-1.0.3 모든 노드의 conf/hadoop-env.sh 파일에 master의 HADOOP_HOME 위치를 설정하게 되면 노드가 구동될 때 rsync 를 이용하여 master의 파일과 동기화가 이루어 진다. 위에서 설정한 값은 아래의 스크립트에서 동작하게 된다. 반드시 HADOOP_HOME 환경변수가 설정 되어 있어야 한다. $ vi /opt/hadoop/b..

  • format_list_bulleted 빅데이터
  • · 2012. 5. 29.
  • textsms

Hadoop Deprecated Properties

이 문서는 0.23 버전에 해당된다. 만약 그 이후 버전은 해당 버전의 문서를 참고한다. Deprecated Properties The following table lists the configuration property names that are deprecated in this version of Hadoop, and their replacements. Deprecated property name New property name StorageId dfs.datanode.StorageId create.empty.dir.if.nonexist mapreduce.jobcontrol.createdir.ifnotexist dfs.access.time.precision dfs.namenode.accesstime..

  • format_list_bulleted 빅데이터
  • · 2012. 5. 29.
  • textsms

관리 도구

$ hadoop dfsadmin -report Warning: $HADOOP_HOME is deprecated. Configured Capacity: 25342345216 (23.6 GB) Present Capacity: 23723536384 (22.09 GB) DFS Remaining: 23715270656 (22.09 GB) DFS Used: 8265728 (7.88 MB) DFS Used%: 0.03% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 2 (2 total, 0 dead) ..

  • format_list_bulleted 빅데이터
  • · 2012. 5. 29.
  • textsms