KR20180012436A - 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법 - Google Patents

테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법 Download PDF

Info

Publication number
KR20180012436A
KR20180012436A KR1020160095225A KR20160095225A KR20180012436A KR 20180012436 A KR20180012436 A KR 20180012436A KR 1020160095225 A KR1020160095225 A KR 1020160095225A KR 20160095225 A KR20160095225 A KR 20160095225A KR 20180012436 A KR20180012436 A KR 20180012436A
Authority
KR
South Korea
Prior art keywords
partition
journal file
synchronization
module
transaction
Prior art date
Application number
KR1020160095225A
Other languages
English (en)
Other versions
KR101875763B1 (ko
Inventor
김명근
김정현
Original Assignee
(주)선재소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)선재소프트 filed Critical (주)선재소프트
Priority to KR1020160095225A priority Critical patent/KR101875763B1/ko
Priority to PCT/KR2016/008261 priority patent/WO2018021593A1/ko
Publication of KR20180012436A publication Critical patent/KR20180012436A/ko
Application granted granted Critical
Publication of KR101875763B1 publication Critical patent/KR101875763B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/137—Hash-based
    • G06F17/30097—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법에 있어서, 테이블을 재구성하는 온라인 데이터 베이스 관리 시스템에 있어서, 테이블 생성시 다수개의 파티션으로 분할하고 파티션 해시맵을 구성하여 저장하는 파티션 해시맵 구성모듈; 파티션 해시맵 구성모듈에서 분할된 다수개의 파티션 중 이동의 대상이 되는 제1파티션을 선정하는 파티션선정모듈; 상기 파티션선정모듈에서 선정된 제1파티션에 레코드 삽입/삭제/변경 이력을 기록하는 동기화 저널 파일을 생성하는 저널파일생성모듈; 상기 저널파일생성모듈에서 동기화 저널 파일이 생성된 제1파티션에 상기 하나 이상의 이전될 제2파티션을 이전하는 파티션이전모듈; 상기 제1파티션에 제2파티션의 이전이 완료되면 제2파티션을 삭제하는 파티션삭제모듈; 및 상기 제1파티션에 생성된 동기화 저널 파일을 삭제하는 저널파일삭제모듈;를 포함하는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법에 관한 것이다. 본 발명에 따르면, 테이블 생성 당시 다수개의 파티션을 미리 분할시켜 놓음으로써 레코드 삭제 과정을 생략하는 것이 가능한 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법을 제공할 수 있다.

Description

테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법{The database management system and method for preventing performance degradation of transaction when table reconfiguring}
본 발명은 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법에 관한 것으로, 보다 상세하게는 테이블 생성 당시 다수개의 파티션을 미리 분할시켜 놓음으로써 레코드 삭제 과정을 생략하는 것이 가능한 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법에 관한 것이다.
본 발명은 데이터베이스 관리 시스템에 관한 것이다.
기존의 데이터베이스 관리 시스템에서 일반적으로 테이블을 재구성하는 과정은 도 1에 기재된 바와 같다.
기존의 테이블 재구성은 파티션드(partitioned) 테이블의 파티션 분할 처리와 비슷한 과정으로 이루어져 있다. 간단하게 설명하면 기존의 테이블 재구성 과정은 테이블에 새로운 파티션을 추가하고, 기존 파티션에서 새로운 파티션으로 조건에 맞는 레코드들을 이전하는 과정으로 이루어져 있다.
클러스터 데이터베이스 관리 시스템은 온라인에서 이러한 과정이 이루어져야 한다. 즉, 테이블 재구성 과정이 진행 중이라 하여도 해당 테이블에 접근하는 트랜잭션을 허용해야 한다.
기존 시스템들은 이러한 문제를 해결하기 위해서 동기화 트리거를 사용한다. 동기화 트리거는 새로운 파티션을 추가한 이후에 대상 테이블에 생성되며 새로운 파티션으로의 레코드 이전이 완료한 시점에 삭제된다. 만약 테이블 재구성 과정 중에 어떠한 트랜잭션이 레코드를 변경한다면 이를 원격에 반영하는 일을 수행한다.
기존 기술은 기존 파티션에 저장된 레코드를 새로운 파티션으로 이전하기 때문에 테이블 단편화 현상이 발생한다. 레코드의 이전은 기존 파티션에서 새로운 파티션으로 이루어지며, 이전이 종료한 시점 이후에 이를 삭제한다. 레코드를 삭제했다 하여도 전체 테이블 공간은 줄어들지 않으며 다른 테이블에서 삭제된 레코드만큼 재사용할 수 없다. 따라서 파티션 분할을 이용한 기존 기술은 공간 효율성이 떨어지는 문제를 갖는다.
또한 동기화 트리거를 사용함으로써 서비스 트랜잭션의 성능이 일시적으로 저하되는 문제를 갖는다. 테이블 재구성 과정 중 레코드 삽입/삭제/변경 연산이 발생하면, 원격으로 이전된 레코드와 동기화 시켜야만 한다. 동기화 과정은 트리거에 의해서 수행되며 원격으로의 통신과정을 수반하기 때문에 서비스 트랜잭션의 성능이 크게 저하되는 문제점이 있다.
상술한 바와 같은 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 테이블 생성 당시 다수개의 파티션을 미리 분할시켜 놓음으로써 레코드 삭제 과정을 생략하는 것이 가능한 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법을 제공하기 위함이다.
또한, 본 발명의 다른 목적은, 데이터 동기화를 위해서 서비스 트랜잭션의 성능저하를 최소화 할 수 있는 저널링 기법을 사용하여 서비스 트랜잭션에 의해 수행되는 트리거와는 달리 테이블 재구성 트랜잭션에 의해서 일괄처리되도록 함으로써 서비스 트랜잭션이 데이터 동기화를 위해 원격에 접근하지 않게 하는 것이 가능한 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법을 제공하기 위함이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명인 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템은, 테이블을 재구성하는 온라인 데이터 베이스 관리 시스템에 있어서, 테이블 생성시 다수개의 파티션으로 분할하고 파티션 해시맵을 구성하여 저장하는 파티션 해시맵 구성모듈; 파티션 해시맵 구성모듈에서 분할된 다수개의 파티션 중 이동의 대상이 되는 제1파티션을 선정하는 파티션선정모듈; 상기 파티션선정모듈에서 선정된 제1파티션에 레코드 삽입/삭제/변경 이력을 기록하는 동기화 저널 파일을 생성하는 저널파일생성모듈; 상기 저널파일생성모듈에서 동기화 저널 파일이 생성된 제1파티션에 상기 하나 이상의 이전될 제2파티션을 이전하는 파티션이전모듈; 상기 제1파티션에 제2파티션의 이전이 완료되면 제2파티션을 삭제하는 파티션삭제모듈; 및 상기 제1파티션에 생성된 동기화 저널 파일을 삭제하는 저널파일삭제모듈;를 포함하는 것을 특징으로 한다.
또한, 상기 동기화 저널 파일은, 저널 레코드의 집합으로 트랜잭션이 레코드를 삽입/삭제/변경할때마다 하나씩 저널 레코드가 기록되는 것을 특징으로 한다.
또한, 상기 파티션 해시맵은, 각 파티션의 키 컬럼의 해시값과 상기 키 컬럼의 해시값에 대응되는 노드번호를 포함하는 것을 특징으로 한다.
또한, 상기 파티션이전모듈은, 상기 제1파티션에 상기 동기화 저널파일을 실시간으로 동기화하는 저널파일동기화모듈을 포함하는 것을 특징으로 한다.
또한, 상기 파티션삭제모듈은, 제2파티션이 삭제되면 삭제된 제2파티션은 테이블스페이스로 반납되는 것을 특징으로 한다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명인 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 방법은, 테이블을 재구성하는 온라인 데이터 베이스 관리 방법에 있어서, (a) 테이블 생성시 다수개의 파티션으로 분할하고 파티션 해시맵을 구성하여 저장하는 단계; (b) 상기 (a) 단계에서 분할된 다수개의 파티션 중 이동의 대상이 되는 제1파티션을 선정하는 단계; (c) 상기 (b)단계에서 선정된 제1파티션에 레코드 삽입/삭제/변경 이력을 기록하는 동기화 저널 파일을 생성하는 단계; (d) 상기 (c)단계에서 동기화 저널 파일이 생성된 제1파티션에 상기 하나 이상의 이전될 제2파티션을 이전하는 단계; (e) 상기 제1파티션에 제2파티션의 이전이 완료되면 제2파티션을 삭제하는 단계; 및 (f) 상기 제1파티션에 생성된 동기화 저널 파일을 삭제하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 동기화 저널 파일은, 저널 레코드의 집합으로 트랜잭션이 레코드를 삽입/삭제/변경할때마다 하나씩 저널 레코드가 기록되는 것을 특징으로 한다.
또한, 상기 파티션 해시맵은, 각 파티션의 키 컬럼의 해시값과 상기 키 컬럼의 해시값에 대응되는 노드번호를 포함하는 것을 특징으로 한다.
또한, 상기 (d)단계는. (d1) 상기 제1파티션에 상기 동기화 저널파일을 실시간으로 동기화하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 (e)단계는, 제2파티션이 삭제되면 삭제된 제2파티션은 테이블스페이스로 반납되는 것을 특징으로 한다.
이상 살펴본 바와 같은 본 발명에 따르면, 테이블 생성 당시 다수개의 파티션을 미리 분할시켜 놓음으로써 레코드 삭제 과정을 생략하는 것이 가능한 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법을 제공할 수 있다.
또한, 본 발명에 따르면, 데이터 동기화를 위해서 서비스 트랜잭션의 성능저하를 최소화 할 수 있는 저널링 기법을 사용하여 서비스 트랜잭션에 의해 수행되는 트리거와는 달리 테이블 재구성 트랜잭션에 의해서 일괄처리되도록 함으로써 서비스 트랜잭션이 데이터 동기화를 위해 원격에 접근하지 않게 하는 것이 가능한 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법을 제공할 수 있다.
도 1은 기존 기술에서의 일반적인 테이블 재구성 과정을 나타낸 순서도
도 2는 본 발명의 실시예에 따른 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템의 구성을 나타낸 블럭도
도 3은 본 발명의 실시예에 따른 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법에서 테이블이 2개의 그룹에 16개의 파티션으로 이미 분할되어 있는 상태에서의 파티션 이전에 따른 파티션 이동구조를 나타낸 예시도
도 4는 본 발명의 실시예에 따른 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템을 제공하는 순서를 나타낸 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
본 발명은, 테이블을 재구성하는 온라인 데이터 베이스 관리 시스템에 관한 것이다.
도 2는 본 발명의 실시예에 따른 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템의 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법에서 테이블이 2개의 그룹에 16개의 파티션으로 이미 분할되어 있는 상태에서의 파티션 이전에 따른 파티션 이동구조를 나타낸 예시도이다.
도 2 및 도 3을 참고하면, 본 발명인 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템은, 파티션 해시맵 구성모듈, 파티션 선정모듈, 저널파일 생성모듈, 파티션 이전모듈, 파티션 삭제모듈, 저널파일 삭제모듈을 포함한다.
파티션 해시맵 구성모듈은, 테이블 생성시 다수개의 파티션으로 분할하고 파티션 해시맵을 구성하여 저장한다.
여기서, 상기 파티션 해시맵은, 각 파티션의 키 컬럼의 해시값과 상기 키 컬럼의 해시값에 대응되는 노드번호를 포함하는 것을 특징으로 한다.
즉, 파티션 해시맵은, 각 파티션이 저장되어 있는 노드의 위치를 관리하기 위한 자료 구조이며, 파티션 키 컬럼(key column)의 해시값과 이에 대응되는 노드번호로 구성되어 노드번호를 통해 파티션을 선정하는 것이 가능하다.
파티션선정모듈은, 파티션 해시맵 구성모듈에서 분할된 다수개의 파티션 중 이동의 대상이 되는 제1파티션을 선정한다.
여기서, 제1파티션은, 제2파티션의 크기보다 큰 것이 바람직하다.
저널파일생성모듈은, 상기 파티션선정모듈에서 선정된 제1파티션에 레코드 삽입/삭제/변경 이력을 기록하는 동기화 저널 파일을 생성한다.
이는 파티션 이전 과정 동안 다른 트랜잭션들에 의한 해당 파티션의 레코드 삽입/삭제/변경 연산 등의 변경 이력을 기록하기 위함이다.
동기화 저널 파일의 기록은 해당되는 트랜잭션에 의해서 수행되며 원격으로의 동기화 과정을 동반하지 않기 때문에 진행중인 트랜잭션들의 성능이 저하되지 장점을 갖는다.
그리고, 상기 동기화 저널 파일은, 저널 레코드의 집합으로 트랜잭션이 레코드를 삽입/삭제/변경할때마다 하나씩 저널 레코드가 기록되는 것을 특징으로 한다.
또한, 저널 레코드는, 트랜잭션 아이디, SCN(System Change Number; 저널 레코드가 기록된 순서), 변경된 레코드등의 정보가 기록되는 것이 바람직하다.
SCN은 저널파일동기화모듈의 저널 파일 동기화 과정에서 원격에 기록해야 할 저널 레코드를 선별하기 위해서 사용되는 것이 바람직하다.
예를 들어, 저널 파일 동기화 트랜잭션이 SCN 10으로 파티션을 이전했다면 저널 파일 동기화는 SCN이 10보다 큰 저널 레코드만 원격에 기록하는 것이 바람직하다.
본 발명은, 저널링을 이용한 지연 동기화 방식을 사용하기 때문에 데이터 동기화가 서비스 트랜잭션에 의해 수행되는 트리거와는 달리 저널파일 동기화 트랜잭션에 의해 일괄처리되는 것이 바람직하다.
즉, 서비스 트랜잭션이 이전중인 파티션에 레코드 삽입/삭제/갱신 연산을 수행한다고 가정할 때 수행 즉시 원격에 동기화하지 않고 변경내용을 저널 파일에 기록하여 파티션이전모듈을 통한 파티션 이전 직전에 저널파일 동기화 트랜잭션에 의해서 원격에 일괄처리 되는 것이 바람직하다.
지연 동기화 방식은 서비스 트랜잭션이 데이터 동기화를 위하여 원격에 접근하지 않기 때문에 성능저하를 최소화 할 수 있을 뿐만 아니라 원격에 일괄 처리 되기 때문에 빠르게 파티션이전을 완료할 수 있다.
파티션이전모듈은, 상기 저널파일생성모듈에서 동기화 저널 파일이 생성된 제1파티션에 상기 하나 이상의 이전될 제2파티션을 이전한다.
또한, 상기 파티션이전모듈은, 상기 제1파티션에 상기 동기화 저널파일을 실시간으로 동기화하는 저널파일동기화모듈을 포함하는 것을 특징으로 한다.
여기서, 저널동기화모듈은, 파티션 이전 과정 동안 해당 파티션의 변경이 발생했을 수도 있기 때문에 저널 데이터를 원격으로 동기화하게 된다.
그리고, 저널 파일 동기화 과정 동안에도 다른 트랜잭션에 의해서 파티션의 변경이 발생될 수도 있다.
이러한 저널 파일 동기화 모듈은 기록해야 할 저널 레코드가 미리 설정된 개수 이하가 남을 때까지 반복적으로 수행되며, 해당 조건을 만족하는 시점에는 해당 파티션에 공유 락(shared lock)을 획득하고 남은 저널 레코드를 동기화 없이 그대로 기록하는 것이 바람직하다.
저널 파일 동기화 모듈은 일괄 처리 형태로 수행되고 네트웍 대역폭을 최대한 활용함으로써 실시간으로 빠른 동기화가 가능하다.
파티션삭제모듈은, 저널파일삭제모듈은, 상기 제1파티션에 제2파티션의 이전이 완료되면 제2파티션을 삭제한다.
또한, 상기 파티션삭제모듈은, 제2파티션이 삭제되면 삭제된 제2파티션은 테이블스페이스로 반납되는 것을 특징으로 한다.
즉, 삭제된 파티션 공간은 다른 테이블에서 즉시 재사용 가능하며 기존 기술과는 달리 별도의 공간 회수 명령을 사용할 필요가 없다.
저널파일삭제모듈은, 제1파티션에 생성된 동기화 저널 파일을 삭제한다.
도 4는 본 발명의 실시예에 따른 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템을 제공하는 순서를 나타낸 순서도이다.
도 4를 참고하면, 우선 테이블 생성시 다수개의 파티션으로 분할하고 파티션 해시맵을 구성하여 저장한다(S110).
그 다음, 상기 (S110)단계에서 분할된 다수개의 파티션 중 이동의 대상이 되는 제1파티션을 선정한다(S120).
그 다음, 상기 (S120)단계에서 선정된 제1파티션에 레코드 삽입/삭제/변경 이력을 기록하는 동기화 저널 파일을 생성한다(S130).
그 다음, 상기 (S130)단계에서 동기화 저널 파일이 생성된 제1파티션에 상기 하나 이상의 이전될 제2파티션을 이전한다(S140).
여기서, (S140)단계는, 상기 제1파티션에 상기 동기화 저널파일을 실시간으로 동기화하는 단계를 포함하는 것이 바람직하고, 저널파일을 실시간으로 동기화하는 단계는, 기록해야 할 저널 레코드가 특정 개수 이하가 남을 때까지 반복적으로 수행되며, 해당 조건을 만족하는 시점에는 해당 파티션에 공유 락(shared lock)을 획득하고 남은 저널 레코드를 기록하는 것이 바람직하다.
그 다음, 상기 제1파티션에 제2파티션의 이전이 완료되면 제2파티션을 삭제한다(S150).
마지막으로, 상기 제1파티션에 생성된 동기화 저널 파일을 삭제한다(S160).
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 데이터 베이스 관리 시스템 110: 파티션 해시맵 구성모듈
120: 파티션 선정모듈 130: 저널파일 생성모듈
140: 파티션 이전모듈 145: 저널파일 동기화모듈
150: 파티션 삭제모듈 160: 저널파일 삭제모듈

Claims (10)

  1. 테이블을 재구성하는 온라인 데이터 베이스 관리 시스템에 있어서,
    테이블 생성시 다수개의 파티션으로 분할하고 파티션 해시맵을 구성하여 저장하는 파티션 해시맵 구성모듈;
    파티션 해시맵 구성모듈에서 분할된 다수개의 파티션 중 이동의 대상이 되는 제1파티션을 선정하는 파티션선정모듈;
    상기 파티션선정모듈에서 선정된 제1파티션에 레코드 삽입/삭제/변경 이력을 기록하는 동기화 저널 파일을 생성하는 저널파일생성모듈;
    상기 저널파일생성모듈에서 동기화 저널 파일이 생성된 제1파티션에 상기 하나 이상의 이전될 제2파티션을 이전하는 파티션이전모듈;
    상기 제1파티션에 제2파티션의 이전이 완료되면 제2파티션을 삭제하는 파티션삭제모듈; 및
    상기 제1파티션에 생성된 동기화 저널 파일을 삭제하는 저널파일삭제모듈;를 포함하는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템.
  2. 제1항에 있어서, 상기 동기화 저널 파일은,
    저널 레코드의 집합으로 트랜잭션이 레코드를 삽입/삭제/변경할때마다 하나씩 저널 레코드가 기록되는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템.
  3. 제1항에 있어서, 상기 파티션 해시맵은,
    각 파티션의 키 컬럼의 해시값과 상기 키 컬럼의 해시값에 대응되는 노드번호를 포함하는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템.
  4. 제1항에 있어서, 상기 파티션이전모듈은,
    상기 제1파티션에 상기 동기화 저널파일을 실시간으로 동기화하는 저널파일동기화모듈을 포함하는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템.
  5. 제1항에 있어서, 상기 파티션삭제모듈은,
    제2파티션이 삭제되면 삭제된 제2파티션은 테이블스페이스로 반납되는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템.
  6. 테이블을 재구성하는 온라인 데이터 베이스 관리 방법에 있어서,
    (a) 테이블 생성시 다수개의 파티션으로 분할하고 파티션 해시맵을 구성하여 저장하는 단계;
    (b) 상기 (a) 단계에서 분할된 다수개의 파티션 중 이동의 대상이 되는 제1파티션을 선정하는 단계;
    (c) 상기 (b)단계에서 선정된 제1파티션에 레코드 삽입/삭제/변경 이력을 기록하는 동기화 저널 파일을 생성하는 단계;
    (d) 상기 (c)단계에서 동기화 저널 파일이 생성된 제1파티션에 상기 하나 이상의 이전될 제2파티션을 이전하는 단계;
    (e) 상기 제1파티션에 제2파티션의 이전이 완료되면 제2파티션을 삭제하는 단계; 및
    (f) 상기 제1파티션에 생성된 동기화 저널 파일을 삭제하는 단계;를 포함하는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 방법.
  7. 제6항에 있어서, 상기 동기화 저널 파일은,
    저널 레코드의 집합으로 트랜잭션이 레코드를 삽입/삭제/변경할때마다 하나씩 저널 레코드가 기록되는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 방법.
  8. 제6항에 있어서, 상기 파티션 해시맵은,
    각 파티션의 키 컬럼의 해시값과 상기 키 컬럼의 해시값에 대응되는 노드번호를 포함하는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 방법.
  9. 제6항에 있어서, 상기 (d)단계는.
    (d1) 상기 제1파티션에 상기 동기화 저널파일을 실시간으로 동기화하는 단계;를 포함하는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 방법.
  10. 제6항에 있어서, 상기 (e)단계는,
    제2파티션이 삭제되면 삭제된 제2파티션은 테이블스페이스로 반납되는 것을 특징으로 하는 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 방법.
KR1020160095225A 2016-07-27 2016-07-27 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법 KR101875763B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160095225A KR101875763B1 (ko) 2016-07-27 2016-07-27 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법
PCT/KR2016/008261 WO2018021593A1 (ko) 2016-07-27 2016-07-28 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160095225A KR101875763B1 (ko) 2016-07-27 2016-07-27 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180012436A true KR20180012436A (ko) 2018-02-06
KR101875763B1 KR101875763B1 (ko) 2018-08-07

Family

ID=61017370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095225A KR101875763B1 (ko) 2016-07-27 2016-07-27 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101875763B1 (ko)
WO (1) WO2018021593A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840051A (zh) * 2018-12-27 2019-06-04 华为技术有限公司 一种存储系统的数据存储方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086840B2 (en) 2018-12-07 2021-08-10 Snowflake Inc. Transactional streaming of change tracking data
CN111723073B (zh) * 2019-03-19 2023-09-01 北京沃东天骏信息技术有限公司 数据存储处理方法、装置、处理系统以及存储介质
CN110046348B (zh) * 2019-03-19 2021-05-25 西安理工大学 一种基于规则和词典的地铁设计规范中主体识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293828A (ja) * 2006-04-14 2007-11-08 Hitachi Ltd 継続的データ保護の複数種類のイベントマーカを処理するシステムと方法
US20100235606A1 (en) * 2009-03-11 2010-09-16 Oracle America, Inc. Composite hash and list partitioning of database tables
KR101069350B1 (ko) * 2003-05-09 2011-10-04 마이크로소프트 코포레이션 클라이언트/서버 환경에서 동기화를 용이하게 하는 방법 및 컴퓨터 판독 가능 기록 매체
US20140164443A1 (en) * 2012-12-06 2014-06-12 Microsoft Corporation Database scale-out

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560584B2 (en) * 2010-12-15 2013-10-15 Teradata Us, Inc. Database partition management
KR101544356B1 (ko) * 2012-10-31 2015-08-13 삼성에스디에스 주식회사 메타데이터 및 트랜잭션 발생량을 고려한 동적 샤딩 기능을 지원하는 분산 데이터베이스 관리 방법 및 그 구성 노드

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101069350B1 (ko) * 2003-05-09 2011-10-04 마이크로소프트 코포레이션 클라이언트/서버 환경에서 동기화를 용이하게 하는 방법 및 컴퓨터 판독 가능 기록 매체
JP2007293828A (ja) * 2006-04-14 2007-11-08 Hitachi Ltd 継続的データ保護の複数種類のイベントマーカを処理するシステムと方法
US20100235606A1 (en) * 2009-03-11 2010-09-16 Oracle America, Inc. Composite hash and list partitioning of database tables
US20140164443A1 (en) * 2012-12-06 2014-06-12 Microsoft Corporation Database scale-out

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840051A (zh) * 2018-12-27 2019-06-04 华为技术有限公司 一种存储系统的数据存储方法及装置
CN109840051B (zh) * 2018-12-27 2020-08-07 华为技术有限公司 一种存储系统的数据存储方法及装置

Also Published As

Publication number Publication date
KR101875763B1 (ko) 2018-08-07
WO2018021593A1 (ko) 2018-02-01

Similar Documents

Publication Publication Date Title
CN106777225B (zh) 一种数据的迁移方法和系统
US10740300B1 (en) Synchronization of metadata in a distributed storage system
US11442961B2 (en) Active transaction list synchronization method and apparatus
CN108363813B (zh) 数据存储方法、装置和系统
EP2498476B1 (en) Massively scalable object storage system
CN101334797B (zh) 一种分布式文件系统及其数据块一致性管理的方法
KR101875763B1 (ko) 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법
EP3564835B1 (en) Data redistribution method and apparatus, and database cluster
CN105138571B (zh) 分布式文件系统及其存储海量小文件的方法
CN105183400B (zh) 一种基于内容寻址的对象存储方法和系统
EP2996308A1 (en) Massively scalable object storage system
CN103875229A (zh) 异步复制方法、装置与系统
WO2017088705A1 (zh) 数据处理方法和装置
CN102117287A (zh) 分布式文件系统访问方法、元数据服务器及客户端
CN104346373A (zh) 分区日志队列同步管理方法及设备
US10241963B2 (en) Hash-based synchronization of geospatial vector features
US20210349850A1 (en) Managing snapshotting of a dataset using an ordered set of b+ trees
US7200625B2 (en) System and method to enhance availability of a relational database
US8612717B2 (en) Storage system
CN105760398A (zh) 一种日志记录系统及日志记录操作方法
CN111143366B (zh) 一种针对海量大对象数据的高效能存储方法
KR101748913B1 (ko) 분산 저장 환경에서 게이트웨이를 선택하기 위한 클러스터 관리 방법 및 데이터 저장 시스템
CN113076298A (zh) 分布式小文件存储系统
CN110321322B (zh) 数据重建方法、装置、设备及计算机可读存储介质
CN104778180B (zh) 云存储元数据处理系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant