KR20100071491A - 데이터 관리 방법 및 그 시스템 - Google Patents

데이터 관리 방법 및 그 시스템 Download PDF

Info

Publication number
KR20100071491A
KR20100071491A KR1020080130226A KR20080130226A KR20100071491A KR 20100071491 A KR20100071491 A KR 20100071491A KR 1020080130226 A KR1020080130226 A KR 1020080130226A KR 20080130226 A KR20080130226 A KR 20080130226A KR 20100071491 A KR20100071491 A KR 20100071491A
Authority
KR
South Korea
Prior art keywords
partition
data
partition server
server
service
Prior art date
Application number
KR1020080130226A
Other languages
English (en)
Other versions
KR101035857B1 (ko
Inventor
이명철
박경현
이미영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080130226A priority Critical patent/KR101035857B1/ko
Publication of KR20100071491A publication Critical patent/KR20100071491A/ko
Application granted granted Critical
Publication of KR101035857B1 publication Critical patent/KR101035857B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 파일 복제를 제공하는 클러스터 시스템을 기초로한 데이터 관리 방법 및 이를 이용한 데이터 관리 시스템에서는, 동일한 파티션을 다수의 파티션 서버가 동시에 서비스하기 위하여 복제 파티션 서버군이 할당되고, 상기 복제 파티션 서버군을 이용하여 서비스를 제공한다. 이때, 노드 오류 발생시 데이터를 복구하여, 상기 복제 파티션 서버군을 재구성한다.

Description

데이터 관리 방법 및 그 시스템{METHOD FOR DATA MANAGEMENT BASED ON CLUSTER SYSTEM AND SYSTEM USING THE SAME}
본 발명은 데이터 관리 방법 및 그 장치에 관한 것으로서, 구체적으로, 분산 데이터 관리 시스템을 기반으로 하는 데이터 관리 방법 및 그 시스템에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원 IT성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다.[과제관리번호: 2007-S-016-02, 과제명: 저비용 대규모 글로벌 인터넷 서비스 솔루션 개발]
웹 2.0의 등장으로 인터넷 서비스가 공급자 중심에서 사용자 중심으로 패러다임이 바뀌고 있다. 이에 따라 UCC(User Created Contents), 개인화 서비스와 같은 인터넷 서비스 시장이 급속도로 증가하고 있다.
이와 같이, 인터넷 서비스가 공급자 중심에서 사용자 중심으로 바뀌는 패러다임 변화로 인해, 인터넷 서비스를 제공하기 위하여 관리해야되는 데이터의 양이 급속도로 증가하고 있는 추세이다. 따라서, 인터넷 서비스를 제공하기 위해서는 대용량의 데이터에 대한 효율적인 관리가 요구된다.
최근에는 저비용의 컴퓨팅 노드들을 대규모로 엮어서 컴퓨팅 파워 및 디스크 공간을 확보하여 대용량의 데이터에 대한 지원을 제공할 수 있는 시스템들이 개발되고 있다. 이러한 시스템들은 다수의 노드들로 구성되어, 노드에 이상이 발생하는 경우를 대비하여, 파일 복제 기술 및 로깅(Logging) 기술을 이용한 고가용성(High Availability)을 제공하고 있다.
이와 관련된 연구로 구글(google)의 "GFS", Apache Software Foundation의 "HDFS"와 같은 분산 파일 시스템 기술들이 있다. 이 분산 파일 시스템은 시스템의 고가용성을 제공하기 위해 파일에 대한 복제 기술을 채택하고 있다.
또한 클러스터 기반의 분산 데이터 관리 시스템인 "Bigtable"과 "HBase"는 이와 같은 파일 복제를 제공하는 분산 파일 시스템을 기반으로 데이터 연산에 대한 로깅과 로깅 정보를 이용한 재수행 기법을 이용하여 데이터에 대한 고가용성을 제공하고 있다.
도 1은 일반적인 클러스터 기반의 분산 데이터 관리 시스템을 보여주는 도면이다.
도 1을 참조하면, 일반적인 클러스터 기반의 분산 데이터 관리 시스템들은 하나의 마스터 서버(12)와 n개의 파티션 서버들(14-1, 14-2, ..., 14-n)로 구성된다.
마스터 서버(12)는 전체 부하 분산 및 메타 데이터 관리 등을 수행하다.
각 파티션 서버들(14-1, 14-2, ..., 14-n)는 실제 데이터 서비스를 담당한다. 각 파티션 서버(14-1, 14-2, ..., 14-n)는 데이터베이스의 특정 부분만 서비스 한다. 이와 같은 시스템은 이전의 데이터 관리 시스템들과 달리 다음과 같은 특징이 있다.
먼저, 첫 번째로 변경 연산에 대해서 하나의 행에 대한 싱글(single) 연산 트랜잭션만을 지원한다. 두 번째, 데이터에 대한 삽입, 삭제, 변경 발생시 이전 데이터에 대해 변경하는 것이 아니라 삭제가 되었다는 표시나 새로운 값을 가지는 데이터가 추가되는 형태로 처리한다. 세 번째, 데이터의 변경 연산은 메모리 상의 갱신 버퍼(update buffer)에서 수행되며, 이 갱신 버퍼는 일정 크기가 되거나 주기적으로 디스크에 기록된다. 네 번째, 갱신 버퍼의 기록에 의해 생성된 파일들은 주기적으로 통합되어 불필요한 데이터의 삭제 등을 실시한다. 다섯 번째, 시스템 오류에 대한 대처를 위해 메모리 내 수행된 변경 연산은 먼저 로그 파일에 기록한다. 여섯 번째, 디스크 오류에 대한 대처는 분산 파일 시스템의 파일 복제(file replication) 기능과 로그 파일에 저장된 정보를 이용한 재수행 기법을 이용한다.
도 2는 일반적인 클러스터 기반의 분산 데이터 관리 시스템의 관리 절차를 보여주는 흐름도이다.
도 2를 참조하면, 사용자의 서비스 요청을 수행할 서버를 마스터 서버에게 요청한다(201), 마스터 서버는 파티션 할당 정보를 이용하여 서비스할 서버를 선정하고(202), 마스터 서버에 의해 선정된 서버로 서비스 요청이 전달되고, 서비스 타입에 따라 해당 파티션 서버에 변경 연산을 요청한다(211). 먼저 로그 파일에 변경 내역을 기록하고(212) 메모리 상에 변경을 수행한다(213). 메모리 상의 정보들이 일정 크기 이상으로 누적되거나 일정 시간이 경과 한 경우 등 디스크에 메모리 내 용을 반영할 시점인지 확인하여(214), 디스크에 반영할 시점이면 이를 디스크 파일로 반영하여(215) 데이터를 영구적으로 저장한다. 디스크 파일에 일정 크기 이상의 데이터가 기록이 되면 분산 파일 시스템에서 이에 대한 복제를 수행하고(216), 변경 연산을 완료한다(217).
복제 방법은 데이터가 기록되기 시점에 복제까지 완료하는 동기 방법과 하나의 파일이 기록되면 사용자 요청을 완료한 것으로 보고 시스템 내부에서 알아서 복제를 수행하는 비동기 수행 방법이 가능하다.
사용자의 검색 연산 요청(221)은 먼저 메모리 버퍼 내 내용을 확인하여 있으면(222) 이를 제공하고, 아니면 디스크에 저장되어 있던 정보를 읽어 들여(224) 이로부터 검색 결과를 제공한다(225).
도 3은 일반적인 클러스터 기반의 분산 데이터 관리 시스템에서의 데이터 복구 절차를 보여주는 흐름도이다.
도 3을 참조하면, 우선 마스터 서버(12)에서 노드 오류가 탐지되면(301),
오류가 발생한 노드에서 작성한 로그 파일을 파티션 분할에 사용된 기준과 로깅 기록 순서로 정렬하고(302), 로그를 파티션 별로 분할한다(303). 이후 오류가 발생한 노드에서 서비스 중인 파티션을 새로운 파티션 서버에서 서비스하도록 할당하면서 재수행 로그 경로 정보를 함께 전달한다(304).
해당 파티션 서버(14-1, 14-2, ..., 14-n)에서는 재수행 로그를 순차적으로 읽어서 갱신 사항을 갱신 버퍼에 반영한 후 디스크에 기록하는 과정을 통해 데이터를 복구하고(305), 데이터 서비스를 시작한다(306).
이와 같은 시스템은 대용량의 데이터에 대한 확장성과 데이터에 대한 고가용성을 제공한다.
하지만 사용자의 요청이 특정 데이터에 몰릴 경우에는 해당 파티션을 서비스하는 노드에 부하가 증가하여, 서비스를 제대로 수행할 수 없는 경우가 발생한다. 이를 해결하기 위해서는 같은 데이터를 복제하여 여러 노드에서 서비스하는 방법이 필요하다. 즉, 사용자가 집중되는 데이터를 여러 노드에 복제하여 여러 노드에서 서비스를 제공하는 방식으로 부하를 분산시켜야 한다. 이를 위해 기존 데이터 관리 시스템에서는 복제 시스템을 구축하고 원본 시스템과 복제 시스템 간의 데이터 동기화를 실시하여, 서비스를 제공하고 있다.
그러나, 기존 데이터 관리 시스템에서는 데이터 복제와 복제된 데이터의 변경 시에 동기화 등의 물리적인 복제를 직접 해당 시스템이 처리해야하므로, 고성능이 요구된다. 또한 기존의 데이터 관리 시스템은 테이블 단위의 데이터 복제 기능만을 제공함으로써, 데이터 복제의 낭비를 초래하고 있다.
따라서, 본 발명은 물리적 데이터 복제 기능을 이미 제공하는 클러스터 시스템의 분산 파일 시스템을 이용함으로써, 기존의 방식과는 달리 이미 분산 파일 시스템에서 복제된 파일들과 재수행 로그를 이용하는 논리적인 데이터 복제 방법을 통하여 고성능의 데이터 복제 방법을 제공할 수 있고, 더 나아가 테이블의 일부인 파티션 단위의 데이터 복제 기능을 제공할 수 있는 데이터 관리 방법 및 그 시스템을 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 데이터 관리 방법은, 동일한 파티션을 다수의 파티션 서버가 동시에 서비스하기 위하여 복제 파티션 서버군을 할당하는 단계와, 상기 복제 파티션 서버군을 이용하여 서비스를 제공하는 단계 및 노드 오류 발생시 데이터를 복구하여, 상기 복제 파티션 서버군을 재구성하는 단계를 포함한다.
본 발명의 다른 일면에 따른 데이터 관리 시스템은 동일한 파티션을 동시에 서비스하는 복제 파티션 서버군 및 상기 복제 파티션 서버군을 할당하는 마스터 서버를 포함한다. 이때, 상기 복제 파티션 서버군은 노드 오류 발생시 데이터를 복구하여, 메모리 내의 데이터를 재구성한다.
이러한 본 발명에 의하면, 기본적으로 파일 복제 기능을 제공하는 클러스터 기반의 분산 파일 시스템을 이용하여 복제된 파일들과 재수행 로그를 이용하는 논리적인 데이터 복제 방법을 통하여 고성능의 데이터 복제 기능을 제공한다. 또한, 테이블 단위의 데이터 복제 기능을 제공하는 기존과는 달리 파티션 단위의 데이터 복제 기능을 제공함으로써, 데이터 복제의 낭비를 방지할 수 있다.
이하, 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 4는 본 발명의 실시예에 따른 클러스터 기반의 분산 데이터 관리 시스템의 관리 절차를 보여주는 흐름도이다. 단, 도 4에서는 점선을 기준으로 클라이언트와 마스터 서버가 구분된다.
도 4를 참조하면, 클라이언트가 마스터 서버에게 서비스 수행 서버에 대한 액세스을 요청하면(S401), 마스터 서버는 상기 액세스에 대한 요청을 수신한 후(S411), 파티션 할당 정보를 검색하고(S412), 해당 파티션을 서비스하는 파티션 서버군을 검색한다.
이후, 마스터 서버는 상기 파티션 할당 정보로부터 연산 유형을 판별하여, 파티션 서버를 결정한다(S414). 이때, 연산 유형이 변경 연산으로 판별되면(S413), 파티션 서버군에서 1차 파티션 서버(primary partition server)가 결정된다(S418). 연산 유형이 검색 연산으로 판별되면(S413), 노드의 부하 상태에 따라 1차 파티션 서버와 2차 서버(secondary partition server) 중 어느 하나의 파티션 서버가 결정된다(S416).
클라이언트는 결정된 파티션 서버 정보를 수신하고(402), 해당 파티션 서버에 서비스 수행을 요청한다(403).
위와 같이 동일한 파티션을 다수의 파티션 서버가 동시에 서비스하게 하기 위해서는 먼저 파티션 별로 파티션 서버 할당이 필요하다.
마스터 서버가 클라이언트에게 서비스를 제공하기 위하여 파티션 서버를 결정하는 경우, 핫 데이터(hot data)의 경우에서는 동일한 파티션들을 서비스하는 파티션 서버를 복제된 파일 개수만큼 할당한다. 여기서, 핫 데이터란 액세스 빈도가 높을 것으로 예상되는 데이터를 일컫는다. 참고로, 콜드 데이터(cold data)는 액세스 빈도가 낮을 것으로 예상되는 데이터를 일컫는다.
결정된 복제 파티션 서버군에서 하나는 1차 파티션 서버로 지정되고, 나머지는 2차 파티션 서버로 지정된다. 1차 파티션 서버는 변경 및 검색 서비스 모두를 담당하고, 2차 파티션 서버는 검색 서비스만 담당하도록 한다.
복제 파티션 서버군에 대한 정보는 기존 방식과 마찬가지로 파티션 할당 정보를 아래의 표 1과 같이 관리한다.
테이블 이름(Table Name) & 파티션 레인지(partition Range) 파티션 서비스 서버(Partition Service Server) 1차서버(Primary Server)
T1 & from 1 to 100 노드 1, 노드 2, 노드 3 노드 1
T1 & from 101 to 150 노드 2 노드 2
T2 & from 1 to 200 노드 2, 노드 3, Node 4 노드 3
사용자의 서비스 요청이 들어오면, 서비스 타입, 해당 행의 키 정보 등을 고려하여 서비스할 파티션 서버를 결정한다.
검색 서비스이고, 동시에 서비스 서버가 복제된 경우라면, 기존 작업(work) 로드 분배 방식을 따라 파티션 서버를 할당하고(S416), 변경 연산인 경우(S413)에는 1차 파티션 서버에게 할당이 된다(S418).
검색 서비스는 도 2를 참조하여 설명한 방식과 동일한 방식으로 서비스되고, 변경 연산에 대해서는 아래의 도 5에 도시된 바와 같이 수행된다.
도 5는 본 발명의 실시예에 따른 변경 연산에 대한 서비스 제공 방법을 나타내는 흐름도이다. 단, 도 5에서는 점선을 기준으로 프라이버리 파티션 서버와 2차 파티션 서버가 나타난다.
도 5를 참조하면, 클라이언트로부터 변경 연산에 대한 요청을 수신하면(S511), 1차 파티션 서버는 기존의 방법처럼 로그 파일에 정보를 기록한다(S512). 이후, 1차 파티션 서버는 2차 파티션 서버들에게 메모리 내의 데이터의 변경 연산을 요청한다(S513).
2차 파티션 서버들은 메모리 내 변경 요청을 수신하면(S521), 메모리 변경 연산을 수행하고(S522), 1차 파티션 서버에 상기 변경 연산에 대한 수행 완료 메시지를 송신한다(523).
1차 파티션 서버는 2차 파티션 서버들로부터 상기 수행 완료 메시지를 받으면(S514), 자신의 메모리 내의 데이터에 대한 변경 연산을 수행한다(S515).
메모리 내의 갱신 버퍼의 데이터는 특정 조건이 만족하면 디스크에 반영(또는 저장)되고, 동시에 갱신 버퍼의 데이터는 삭제된다. 이때, 1차 파티션 서버가 관리하는 파티션과 2차 파티션 서버가 관리하는 파티션에 대해 달리 동작한다.
즉, 1차 파티션 서버로서 관리하던 파티션에 대해서만 해당 정보들을 디스크에 반영하도록 한다. 상기 해당 정보들을 디스크에 반영하는 과정(S516, S517, S518, S519)은 도 2에서 설명한 디스크에 반영하는 과정(S214, S215, S216, S217)과 각각 동일하다. 따라서 이에 대한 구체적인 설명은 생략된다.
본 실시예에서, 노드 오류 시의 데이터 복구 방법은 오류가 발생한 노드에서 관리하던 로그 파일 정보를 파티션 별로 분할한 다음 각 파티션을 새로운 서버들에게 할당하는 경우, 서버의 역할이 1차(primary)인지, 2차(secondary)인지에 따라 다르다.
서버의 역할이 1차적인 경우, 기존 시스템에서 복구하는 방법과 동일하게 파티션에 대한 로깅 정보를 이용하여 메모리 내의 데이터를 복구한 후 디스크에 반영한다.
서버의 역할이 2차적인 경우, 오류가 발생한 서버에서는 변경 연산은 발생하지 않으므로, 로깅 정보는 존재하지 않는다. 따라서 2차 파티션 서버로서 할당된 새로운 파티션 서버는 해당 파티션을 서비스하던 1차 파티션 서버로부터 현재까지 메모리 내에 누적된 데이터들에 대한 변경 내역을 모두 디스크에 반영한다.
도 6은 본 발명의 실시예에 따른 데이터 관리 시스템에서의 노드 오류시 데이터 복구 방법을 보여주기 위한 흐름도이다.
도 6을 참조하면, 마스터 서버는 오류가 발생한 노드에서 관리하던 로그 파일을 파티션 별로 분할하고(S601), 분할된 각 파티션을 서비스할 노드들을 선정한다(S602). 이후, 각 파티션 별로 오류가 발생한 노드의 역할이 무엇인지를 판별한다(S603). 이때, 오류가 발생한 노드가 1차적인 역할로 판별되면, 파티션 로그 정보를 1차 파티션 서버로 전달하여(S604), 새롭게 선정된 노드가 해당 파티션에 대한 데이터의 복구를 수행한다(S605). 만일 오류가 발생한 노드가 2차적인 역할로 판별되면, 해당 파티션의 1차 파티션 서버에 대한 정보를 2차 파티션 서버에 전달하고(S606), 2차 파티션 서버로서 데이터의 복구(607)가 수행된다.
도 7은 본 발명의 실시예에 따른 2차 파티션 서버로서 데이트를 복구하는 방법을 보여주는 흐름도이다.
도 7을 참조하면, 먼저, 2차 파티션 서버는 1차 파티션 서버에게 현재까지 기록된 로깅 정보를 요청한다(S701).
1차 파티션 서버는 로깅 파일로부터 해당 파티션에 속하는 로깅 정보만을 추출하고(702), 추출된 로깅 정보를 다시 2차 파티션 서버에 전달한다(703). 이때, 1차 파티션 서버는 계속 서비스를 실시한다(S704).
2차 파티션 서버는 1차 파티션 서버로부터 로깅 정보 파일을 전달받아(705) 메모리 내에 데이터를 재구성하고(S706). 메모리내의 데이터의 재구성이 완료되면, 재구성이 완료되었음을 알리는 제1 완료 메시지를 1차 파티션 서버에 통지한다(S707).
1차 파티션 서버는 상기 완료 메시지를 수신하면(708), 로깅 정보 파일을 전달 후 변경 연산에 의해 추가된 로깅 정보만을 수집하여, 이를 2차 파티션 서버에 재전달한다(S709). 이때, 1차 파티션 서버는 2차 파티션 서버로부터 완료 통지를 받을 때(714)까지 서비스를 중단한다(S710).
2차 파티션 서버는 1차 파티션 서버로부터 상기 추가된 로깅 정보를 다시 전달받고(S711), 추가된 로깅 정보를 메모리 내에서 재구성하여, 상기 추가된 로깅 정보와 메모리 내의 데이터를 일치시킨다(S712).
상기 메모리 내에서 재구성된 추가된 로깅 정보와 상기 메모리 내의 데이터 간의 일치가 완료되면, 완료되었음을 알리는 제2 완료 메시지를 1차 파티션 서버측에 통지한다(713).
1차 파티션 서버는 2차 파티션 서버로부터 제2 재구성 완료 메시지를 통지받으면(S714), 새로운 제2 파티션 서버가 해당 파티션을 서비스함으로써, 서비스가 재개된다(S715).
한편, 상술한 바와 같이, 2 단계로 메모리 내의 정보를 복구하는 것은 복구하는 동안 1차 파티션 서버에 의한 서비스 중단시간을 최소화하기 위함이다.
지금까지 살펴본 바와 같이, 본 발명의 데이터 관리 방법에서는 기존의 방식과는 달리 이미 분산 파일 시스템에서 복제된 파일들과 재수행 로깅 정보를 이용한 논리적인 데이터 복제 방법을 제공한다.
더욱이, 본 발명에서는 테이블 단위보다 작은 파티션 단위로 데이터를 복제함으로써, 테이블 단위로 복제하는 종래와는 달리 파티션 단위로 데이터를 복제함으로써, 데이터 복제에 따른 낭비를 최소화시킬 수 있다.
도 1은 일반적인 클러스터 기반의 분산 데이터 관리 시스템을 보여주는 도면이다.
도 2는 일반적인 클러스터 기반의 분산 데이터 관리 시스템의 관리 절차를 보여주는 흐름도이다.
도 3은 일반적인 클러스터 기반의 분산 데이터 관리 시스템에서의 데이터 복구 절차를 보여주는 흐름도이다.
도 4는 본 발명의 실시예에 따른 클러스터 기반의 분산 데이터 관리 시스템의 관리 절차를 보여주는 흐름도이다.
도 5는 본 발명의 실시예에 따른 변경 연산에 대한 서비스 제공 방법을 나타내는 흐름도이다.
도 6은 본 발명의 실시예에 따른 데이터 관리 시스템에서의 노드 오류시 데이터 복구 방법을 보여주기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 2차 파티션 서버로서 데이트를 복구하는 방법을 보여주는 흐름도이다.

Claims (10)

  1. 파일 복제를 제공하는 클러스터 시스템 기반의 데이터 관리 방법에 있어서,
    동일한 파티션을 다수의 파티션 서버가 동시에 서비스하기 위하여 복제 파티션 서버군을 할당하는 단계;
    상기 복제 파티션 서버군을 이용하여 서비스를 제공하는 단계 및
    노드 오류 발생시 데이터를 복구하여, 상기 복제 파티션 서버군을 재구성하는 단계
    를 포함하는 클러스터 시스템 기반의 데이터 관리 방법.
  2. 제1항에 있어서, 상기 복제 파티션 서버군을 할당하는 단계는,
    상기 동일한 파티션을 서비스하는 파티션 서버를 복제된 파일 개수만큼 할당하는 단계; 및
    상기 할당된 파티션 서버의 역할이 변경 서비스 및 검색 서비스를 모두 담당하는 1차 파티션 서버(Primary partition sever)인지 오직 상기 검색 서비스만을 담당하는 2차 파티션 서버(Secondary partition sever)인지를 판별하는 단계
    를 포함하는 것인 클러스터 시스템 기반의 데이터 관리 방법.
  3. 제2항에 있어서, 복제 파티션 서버군을 이용하여 서비스를 제공하는 단계는,
    상기 변경 서비스를 제공하는 경우, 복제 파티션 서버군에 속하는 모든 2차 파티션 서버들의 각 메모리들이 변경 연산을 통해 동일한 데이터 정보를 저장하는 단계; 및
    상기 1차 파티션 서버에 의해 서비스가 제공되는 파티션만을 디스크에 반영하는 단계
    를 포함하는 것인 데이터 관리 방법.
  4. 제1항에 있어서, 상기 복제 파티션 서버군을 이용하여 서비스를 제공하는 단계는,
    사용자의 서비스 요구에 대한 해당 행의 키값 정보뿐만 아니라 서비스 타입을 고려하여 파티션 서버가 선정되어, 상기 서비스를 제공하는 단계인 것인 데이터 관리 방법.
  5. 제2항에 있어서, 노드 오류 발생시 데이터를 복구하여, 상기 복제 파티션 서버군을 재구성하는 단계에 있어서,
    상기 1차 파티션 서버에 의한 상기 데이터의 복구 절차와 상기 2차 파티션 서버에 의한 상기 데이터 복구 절차는 서로 다른 것인 데이터 관리 방법.
  6. 제5항에 있어서, 상기 2차 파티션 서버에 의한 데이터 복구 절차는 2단계의 절차로 수행되고,
    상기 2단계의 절차는,
    상기 1차 파티션 서버로부터의 로깅 정보 파일에 근거하여 상기 2차 파티션 서버 내의 메모리를 재구성하는 단계; 및
    상기 1차 파티션 서버로부터 추가된 로깅 정보 파일에 근거하여 상기 2차 파티션 서버의 메모리 내의 데이터를 재구성하여, 최신 데이터로 상기 메모리 내의 데이터를 일치화시키는 단계를 포함하는 것인 데이터 관리 방법.
  7. 파일 복제를 제공하는 클러스터 시스템 기반의 데이터 관리 시스템에 있어서,
    동일한 파티션을 동시에 서비스하는 복제 파티션 서버군; 및
    상기 복제 파티션 서버군을 할당하는 마스터 서버를 포함하고,
    상기 복제 파티션 서버군은 노드 오류 발생시 데이터를 복구하여, 메모리 내의 데이터를 재구성하는 것인 데이터 관리 시스템.
  8. 제7항에 있어서, 상기 복제 파티션 서버군은 상기 마스터 서버에 의해
    변경 서비스 및 검색 서비스를 모두를 제공하는 1차 파티션 서버와, 오직 검색 서비스만을 제공하는 2차 파티션 서버로 지정되는 것인 데이터 관리 시스템.
  9. 제8항에 있어서,
    상기 노드 오류 발생시, 상기 1차 파티션 서버의 경우, 파티션에 대한 로깅 정보를 이용하여 메모리 내의 데이터를 복구한 후, 이를 디스크에 반영하는 것인 데이터 관리 시스템.
  10. 제8항에 있어서,
    상기 노드 오류 발생시, 상기 2차 파티션 서버의 경우, 해당 파티션의 서비를 제공하는 상기 1차 파티션 서버로부터 현재까지 메모리 내에 누적된 데이터들에 대한 변경 내역을 모두 디스크에 반영하는 것인 데이터 관리 시스템.
KR1020080130226A 2008-12-19 2008-12-19 데이터 관리 방법 및 그 시스템 KR101035857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080130226A KR101035857B1 (ko) 2008-12-19 2008-12-19 데이터 관리 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080130226A KR101035857B1 (ko) 2008-12-19 2008-12-19 데이터 관리 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20100071491A true KR20100071491A (ko) 2010-06-29
KR101035857B1 KR101035857B1 (ko) 2011-05-19

Family

ID=42368982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080130226A KR101035857B1 (ko) 2008-12-19 2008-12-19 데이터 관리 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101035857B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130048093A (ko) * 2011-11-01 2013-05-09 한국전자통신연구원 분산 데이터 베이스 장치 및 그 장치에서의 스트림 데이터 처리 방법
KR20160000212A (ko) 2014-06-24 2016-01-04 삼성중공업 주식회사 선박의 오픈 랙식 기화기 어셈블리

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102038527B1 (ko) 2018-03-28 2019-11-26 주식회사 리얼타임테크 분산 클러스터 관리 시스템 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100478346B1 (ko) 2003-10-21 2005-03-25 한국전자통신연구원 그래프 파티션을 이용한 클러스터 서버 환경에서의 로드밸런싱 방법 및 그 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130048093A (ko) * 2011-11-01 2013-05-09 한국전자통신연구원 분산 데이터 베이스 장치 및 그 장치에서의 스트림 데이터 처리 방법
KR20160000212A (ko) 2014-06-24 2016-01-04 삼성중공업 주식회사 선박의 오픈 랙식 기화기 어셈블리

Also Published As

Publication number Publication date
KR101035857B1 (ko) 2011-05-19

Similar Documents

Publication Publication Date Title
CN111078121B (zh) 一种分布式存储系统数据迁移方法、系统、及相关组件
US10248356B2 (en) Using scratch extents to facilitate copying operations in an append-only storage system
US7546486B2 (en) Scalable distributed object management in a distributed fixed content storage system
CN109074306B (zh) 分布式存储系统中的混合垃圾收集
US11841844B2 (en) Index update pipeline
KR101453425B1 (ko) 메타데이터 서버 및 메타데이터 관리 방법
JP5918243B2 (ja) 分散型データベースにおいてインテグリティを管理するためのシステム及び方法
JP5607059B2 (ja) パーティション化した拡張可能で可用性の高い構造化ストレージにおけるパーティション管理
US9507843B1 (en) Efficient replication of distributed storage changes for read-only nodes of a distributed database
CN106547859B (zh) 一种多租户数据存储系统下的数据文件的存储方法及装置
US7689764B1 (en) Network routing of data based on content thereof
CN102955845A (zh) 数据访问方法、装置与分布式数据库系统
JP2013544386A5 (ko)
JP2016524750A5 (ko)
JP2005242403A (ja) 計算機システム
US20150254320A1 (en) Using colocation hints to facilitate accessing a distributed data storage system
KR100936238B1 (ko) 파일 입출력과 복제의 균형적 수행을 위한 지연복제 시스템및 방법
JP2014521176A (ja) インデックス構築方法、検索方法、検索デバイス、および検索システム
US9619322B2 (en) Erasure-coding extents in an append-only storage system
CN110188084A (zh) 一种分布式文件存储系统及文件存储方法
JP2004164401A (ja) データベースシステム、センタサーバ及びデータベースのアクセス方法
KR101035857B1 (ko) 데이터 관리 방법 및 그 시스템
EP2502415A2 (en) Record operation mode setting
CN116303789A (zh) 多分片多副本数据库并行同步方法、装置及可读介质
KR101335934B1 (ko) 비대칭 클러스터 분산 파일 시스템에서 데이터 복제 및 복구 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150427

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180426

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190503

Year of fee payment: 9