테스트 환경 OS : CentOS 5.8 - 64bit java : jdk1.6.32 사용자 및 그룹 : user : hadoop / group : hadoop Java 1.6.32 CDH3 환경구성 순서는 아래와 같이 진행된다. 1. java 버전확인 2. 클라우데라 CDH3 Package 다운 및 설치 3. Hadoop 소스 다운 및 설치 4. 필요한 서브 프로젝트 다운 및 설치 5 끝! Hadoop 은 최소 Mapreduce 와 HDFS 만 구성하면 Hadoop 환경이라고 할 수 있다. 하지만 그외 Hbase, Hive, Pig, Zookeeper 와 같은 Hadoop 서브프로젝트를 함께 사용해야 편리하고 생산성이 높다. cloudera(클라우데라)에서는 하둡과 서브프로젝트를 호환성과 설치가 편리하..
Delayed block cleanout의 개념을 이해하려면 우선 오라클에서 사용하는 몇가지 용어에 대해 알아야 한다. Cleanout 또는 block cleanout이란 블록에 설정된 로우 레벨 락을 해제(Cleanout)한다는 의미이다. Cleanout이 발생하면 로우 레벨 락이 해제되고 ITL 정보(SCN, Flag, Lock Byte 등)가 갱신된다. Fast commit이란 커밋 시점에 모든 블록에 대해 cleanout을 수행하지 않는다는 것을 의미한다. 오라클은 성능상의 문제로 변경된 데이터 블록들 중 버퍼 캐시에 올라와 있는 일부 블록들에 대해서만 cleanout을 수행한다. Fast Commit이 발생하는 경우, 변경되는 정보의 량을 최소화하기 위해 ITL 정보에서 Flag와 SCN 정보만..
오라클에서는 대량의 대이터 Insert 가 발생하게 되면 해당 블록을 찾아서 캐시에 올리고 다시 내려쓰는 작업을 해야 하기 때문에 느릴 수 밖에 없다. 그래서 오라클은 미리 리두로그에 기록하게 되는데 이를 선로그기법이라고 하며 빠른 commit 이라고 한다. 사용자는 데이터를 insert 하고 commit 을 하게 되면 데이터파일에는 기록이 되지 않았지만, 리두로그에 모두 기록되어 있으므로 commit 이 완료 될 수 있다. 1. 사용자가 insert 명령을 날림 2. 리두에 기록(선로그) 3. commit 날림 4. 컨트롤파일에 commit SCN 번호 기록됨 (commit 완료) log switch 가 발생시 1. ckpt 가 checkpoint 발생시킴 - DBWn 에게 checkpointSCN 을..
MC/Serviceguard Cluster on HP-UX 11.31 HP Serviceguard is specialized software for protecting mission-critical applications from a wide variety of hardware and software failures. With Serviceguard, multiple servers (nodes) and/or server partitions are organized into an enterprise cluster that delivers highly available application services to LAN-attached clients. HP Serviceguard monitors the hea..
1. 사전 준비 사항 - 각 시스템의 Node 명 - Fail Over시 사용될 VIP - 공유될 볼륨 그룹의 사전 생성 및 vg lock에 사용할 볼륨 그룹 2. SW install - T1905CA A.11.17.01 Serviceguard - T1907BA A.11.17.01 Serviceguard Extension for RAC 3. Host file 설정 /etc/hosts - hosts file 10.113.5.212 rvdb01 10.113.5.215 rvdb02 10.1.1.1 rvdb01-priv 10.1.1.2 rvdb02-priv 10.113.5.213 rvdb01-vip 10.113.5.216 rvdb02-vip 4. 보안 설정 양 시스템간에 rlogin, rsh, ssh가 Pass..
* Steps to Configure a Cluster 0 . /etc/cmcluster/ 에서 작업 -> cd /etc/cmcluster/ 1 . cmclnodelist 생성 -> vi /etc/cmcluster/cmclnodelist Node_host_name or IP address ID(root) ㆍ cluster의 node끼리 equivalency(.hosts) 같이 member를 설정한다 ㆍ ftp, rcp를 통해서 모든 node 에 전송해주어야 된다 2 . Build cluster configuration file -> cmquerycl -v -C filename -n node1 -n node2 ... ㆍ -C filename : 아스키 파일을 생성한다 일반적으로 cmclconfig.asci..
