Hadoop Master Node

Master 성격의 노드란 네임노드, 보조 네임노드, 잡트래커 정도이다.

작은 규모의 클러스터 환경에서는  하나의 컴퓨터에 두고 구동해도 관계없지만, 실제 운영을 하는 환경, 즉 규모가 큰 클러스터 구성에서는 이 마스터 노드들은 서로 분리를 해야 좋다.

네임노드
많은 메모리가 필요하다.
모든 네임스페이스의 파일과 블록 메타정보를 메모리에 유지



보조 네임노드
체크 포인트를 생성할 때에는 주 네임노드와 비슷한 메모리공간이 필요


잡트래커 (Job Tracker)

많은 MapReduce Job 을 실행하는 환경에서 잡트래커는 많은 자원을 필요로 한다.



다수의 마스터 노드를 가지는 환경에서 구동법

1. 네임노드에서 start-dfs.sh 실행
- masters 파일에 보조 네임노드는 설정되어 있어야 함

2. 잡트래커 노드에서 start-mapred.sh 실행

위와 같이 각각의 노드에서 스크립트를 실행해야 하며 slaves 파일은 각 마스터 노드가 동일하게 동기화 되어야 한다.
각각 네임노드에서는 데이터 노드를 실행하게 되고 잡트래커 노드는 태스크 크래커를 구동하기 때문이다.



참조

O`REILLY : Hadoop 완벽 가이드 개정판

&