본문 바로가기
Hadoop

Name Node의 고가용성(High Availability)

by under_coverzzz 2022. 5. 31.
반응형

네임노드의 고가용성(HA : High Availability)

  • 네임노드 고가용성은 active/passive 한쌍의 네임노드로 구성이 됨.
  • active 네임노드가 변경된 내용을 edits 로그에 쓰면, Stand-by 네임노드는 트랜잭션을 계속 반영하여 최신정보를 유지함.
  • 실패하면 active NameNode를 즉시 대체할 수 있도록 준비를 함.
  • 데이터 노드들은 HA 설정 정보로 두 네임노드(active/passive)를 알고 있고, 두 네임노드에 모두 블록 리포트를 보냄.

 

네임노드의 고가용성은 수동과 자동 장애 복구(Failover)를 지원함.

 

수동 장애 복구

  • 직접 명령어를 입력하여 다른 네임노드로 상태 전환을 하는 방법.

자동 장애 복구

  • 네임노드들은 프로세스의 상태를 모니터링 및 상태 전환을 관리하는 장애 복구 컨트롤러(Failover Controller) 프로세스를 각각 작동 시킴.
  • 다른 HA 시스템처럼 관리자가 직접 초기화하는 방법과 Active 프로세스의 실패를 탐지하는 방법이 있음.
    • 위에서 말한 두 방법 모두 네임노드가 액티브 상태에서 벗어난 것인지 혹은 Stand-by 네임노드와 접속이 안되는것인지 명확하게 구별을 할 수 없음.

장애 발생으로 두 네임노드가 계속 실행되면, 둘은 공유 상태 정보를 동시에 수정함. => 파일 시스템 메타 데이터는 엉망이 됨. ( split brain scenario )

 

위와 같은 이유로 관리 시스템은 실패 노드의 확실하게 동작 중단을 보장하는 기술을 사용 해야 함.

 

RPC로 중단 요청을 하는 방법.

STONITH ( Shoot The Other Node In The Head) 를 사용해야함.

=> 데이터 센터의 PDU ( Power Distribution Unit )로 장치의 전원을 즉시 차단하는 방법으로도 가능함.

 

고가용성 기능이 활성화 되면, 보조 네임노드의 역할은 스탠바이 네임노드가 대신 담당하며, HA클러스터에 보조 네임노드 프로세스는 따로 없고, 한쌍의 네임 노드 프로세스만 있음.

반응형

'Hadoop' 카테고리의 다른 글

NameNode Federation  (0) 2022.06.02
Secondary Name Node  (0) 2022.05.28
 HDFS의 파일 시스템 특징  (0) 2022.05.15
Parquet 파일이란  (0) 2022.05.11
JDBC와 ODBC 정리  (0) 2022.05.11