hadoop-env.sh 파일에는 Hadoop의 스크립트에서 쓰이는 여러가지 환경 변수가 들어 있다. 메모리 영역 설정 HADOOP_HEAPSIZE와 자식 태스크 설정 기본적으로 하둡은 데몬당 1GB 할당한다. 즉, 마스터 노드의 경우 네임노드 데몬, 보조 네임노드 데몬, 잡트레커 데몬 총 3Gb 가 필요하다. WorkNode 의 경우에는 아래와 같다. Worker Node worker Node 로 사용되는 컴퓨터에서는 태스크 트래커와 데이터 노드 태스크 데몬이 실행된다. 태스크 트래커 노드 태스크 트래커로 사용되는 노드의 경우 맵과 리듀스 테스크가 사용할 메모리가 있다. 기본적값으로 맵과 리듀스 태스크가 각각 2개의 자식 JVM 으로 동작한다. 태스크 크래커 : 1 GB 맵태스크 : 200 MB * 2..
Master 성격의 노드란 네임노드, 보조 네임노드, 잡트래커 정도이다. 작은 규모의 클러스터 환경에서는 하나의 컴퓨터에 두고 구동해도 관계없지만, 실제 운영을 하는 환경, 즉 규모가 큰 클러스터 구성에서는 이 마스터 노드들은 서로 분리를 해야 좋다. 네임노드 많은 메모리가 필요하다. 모든 네임스페이스의 파일과 블록 메타정보를 메모리에 유지 보조 네임노드 체크 포인트를 생성할 때에는 주 네임노드와 비슷한 메모리공간이 필요 잡트래커 (Job Tracker) 많은 MapReduce Job 을 실행하는 환경에서 잡트래커는 많은 자원을 필요로 한다. 다수의 마스터 노드를 가지는 환경에서 구동법 1. 네임노드에서 start-dfs.sh 실행 - masters 파일에 보조 네임노드는 설정되어 있어야 함 2. 잡트래..
아직 작성 중인 문서임을 밝힙니다. 언제든지 수정될 수 있으며 삽질중입니다 잘못된 곳이 있다면 알려주세요 ㅠㅠ. 현재 벤치마킹 부분을 진행중인. 아래와 같은 에러가 발생중입니다 ㅠㅠ.. 저번 포스팅에서는 클라우데라의 CDH3 를 이용하여 설치를 진행했었다. 이번엔 직접 아파치 사이트에서 Hadoop 을 내려받아서 설치해보도록 한다. 이 문서에서는 hadoop Core (HDFS, MapReduce) Cluster 설치만 진행하고, 추후 이 환경을 바탕으로 hadoop 서브 프로젝트들을 구축하는 것을 목표로 하고 있습니다. 준비 사항 java 1.6.14 이상 - download : http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u32-down..
테스트 환경 OS : CentOS 5.8 - 64bit java : jdk1.6.32 사용자 및 그룹 : user : hadoop / group : hadoop Java 1.6.32 CDH3 환경구성 순서는 아래와 같이 진행된다. 1. java 버전확인 2. 클라우데라 CDH3 Package 다운 및 설치 3. Hadoop 소스 다운 및 설치 4. 필요한 서브 프로젝트 다운 및 설치 5 끝! Hadoop 은 최소 Mapreduce 와 HDFS 만 구성하면 Hadoop 환경이라고 할 수 있다. 하지만 그외 Hbase, Hive, Pig, Zookeeper 와 같은 Hadoop 서브프로젝트를 함께 사용해야 편리하고 생산성이 높다. cloudera(클라우데라)에서는 하둡과 서브프로젝트를 호환성과 설치가 편리하..
