hadoop-env.sh 파일에는 Hadoop의 스크립트에서 쓰이는 여러가지 환경 변수가 들어 있다. 메모리 영역 설정 HADOOP_HEAPSIZE와 자식 태스크 설정 기본적으로 하둡은 데몬당 1GB 할당한다. 즉, 마스터 노드의 경우 네임노드 데몬, 보조 네임노드 데몬, 잡트레커 데몬 총 3Gb 가 필요하다. WorkNode 의 경우에는 아래와 같다. Worker Node worker Node 로 사용되는 컴퓨터에서는 태스크 트래커와 데이터 노드 태스크 데몬이 실행된다. 태스크 트래커 노드 태스크 트래커로 사용되는 노드의 경우 맵과 리듀스 테스크가 사용할 메모리가 있다. 기본적값으로 맵과 리듀스 태스크가 각각 2개의 자식 JVM 으로 동작한다. 태스크 크래커 : 1 GB 맵태스크 : 200 MB * 2..
Master 성격의 노드란 네임노드, 보조 네임노드, 잡트래커 정도이다. 작은 규모의 클러스터 환경에서는 하나의 컴퓨터에 두고 구동해도 관계없지만, 실제 운영을 하는 환경, 즉 규모가 큰 클러스터 구성에서는 이 마스터 노드들은 서로 분리를 해야 좋다. 네임노드 많은 메모리가 필요하다. 모든 네임스페이스의 파일과 블록 메타정보를 메모리에 유지 보조 네임노드 체크 포인트를 생성할 때에는 주 네임노드와 비슷한 메모리공간이 필요 잡트래커 (Job Tracker) 많은 MapReduce Job 을 실행하는 환경에서 잡트래커는 많은 자원을 필요로 한다. 다수의 마스터 노드를 가지는 환경에서 구동법 1. 네임노드에서 start-dfs.sh 실행 - masters 파일에 보조 네임노드는 설정되어 있어야 함 2. 잡트래..
아직 작성 중인 문서임을 밝힙니다. 언제든지 수정될 수 있으며 삽질중입니다 잘못된 곳이 있다면 알려주세요 ㅠㅠ. 현재 벤치마킹 부분을 진행중인. 아래와 같은 에러가 발생중입니다 ㅠㅠ.. 저번 포스팅에서는 클라우데라의 CDH3 를 이용하여 설치를 진행했었다. 이번엔 직접 아파치 사이트에서 Hadoop 을 내려받아서 설치해보도록 한다. 이 문서에서는 hadoop Core (HDFS, MapReduce) Cluster 설치만 진행하고, 추후 이 환경을 바탕으로 hadoop 서브 프로젝트들을 구축하는 것을 목표로 하고 있습니다. 준비 사항 java 1.6.14 이상 - download : http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u32-down..
원래는 LANG=C 하면 영어로 바뀌더니 CentOS 6.2 버전을 설치하고 했는데 안바뀐다 ㅠㅠ. 현재 상태 확인 ( locale ) [root@localhost ~]# locale LANG=en_US.UTF-8 LC_CTYPE="en_US.UTF-8" LC_NUMERIC="en_US.UTF-8" LC_TIME="en_US.UTF-8" LC_COLLATE="en_US.UTF-8" LC_MONETARY="en_US.UTF-8" LC_MESSAGES="en_US.UTF-8" LC_PAPER="en_US.UTF-8" LC_NAME="en_US.UTF-8" LC_ADDRESS="en_US.UTF-8" LC_TELEPHONE="en_US.UTF-8" LC_MEASUREMENT="en_US.UTF-8" LC_ID..
Hadoop 클러스터 환경을 구성해보고자 CentOS 6.2 를 Vmware 설치하고 총 3대로 복사하여 하고자 하였다. 각각의 아이피를 확인하고 Putty로 접속하려고 하는데 아래와 같은 에러가 뜨면서 접속이 안되는것이다. ssh: connect to host 192.168.116.133 port 22: Connection refused 네트워크 설정이 잘못된건가 하면서 네트워크쪽과 방화벽만 한참을 보다가 sshd 이 stop 되어 있는것을 발견했다.. -_- 기본적으로 CentOS 5.x 는 sshd 이 항상 start 가 되어 있는데.. 리눅스 초보인 나는 이 문제로 1시간이 넘는 시간동안 원인을 찾았다 ㅠㅠ 문법 /etc/init.d/sshd {start|stop|restart|reload|for..
시작 과정 Free-process > process > Control > Meta > Service 약간 이름만 봐서는 끝에 Service를 제외하고 나머지 단계는 이름만 들어선 알기 힘들다. Free Process 한마디로 꺼져있는 상태.. Process Oracle 의 Nomount 단계와 유사한 properties를 읽은 상태이다.특이한 점은 Database 를 생성 할 수 있다. Control Oracle의 Mount 단계와 Open 단계의 중단쯤?? 데이터베이스 파일들을 로드하고 복구를 준비하는 단계..;; Meta 복구 완료된 상태. 딕셔너리 테이블에대한 업그레이드 및 온라인 로그 리셋이 가능한 단계 Service Oracle의 Open 과 유사한 사용자가 Access 할 수 있는 단계이다. ..
