KR101562359B1 - Ｏｌｔｐ와 ｏｌａｐ의 동시 서비스를 위한 데이터 베이스 이중화 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 프라이머리(Primary)와 세컨더리(Secondary)에 각각 다른 저장방식( 예컨대, Row-Oriented 또는 Column-Oriented)을 가지는 데이터베이스를 동기화시켜 OLTP와 OLAP를 어플리케이션에 맞도록 분산 처리해서 결과에 대한 처리 성능을 향상시킬 수 있는 OLTP와 OLAP의 동시 서비스를 위한 데이터 베이스 이중화 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 데이터베이스 이중화 시스템은 행(Row) 단위로 테이블을 저장하는 프라이머리(Primary) 데이터베이스(10)와, 열(Column) 단위로 테이블을 저장하는 세컨더리(Secondary) 데이터베이스(20)와, 지정된 명령에 따라 로컬 또는 원격으로 쿼리를 수행할 때 OLTP인가 OLAP인가에 따라 프라이머리 데이터베이스(10)나 세컨더리 데이터베이스(20) 중 하나를 선택하는 어플리케이션(100)과, 어플리케이션(100)의 요구에 의해 프라이머리 데이터베이스(10)의 데이터가 조작되면 트랜잭션을 통해 복제로그를 생성하는 제1 이중화 로그(50-1)와, 생성된 복제로그를 세컨더리 데이터베이스(20)로 전송하기 위한 네트워크(80)와, 복제로그에 따라 세컨더리 데이터베이스(20)를 프라이머리 데이터베이스(10)와 동기화시키는 제2 이중화 로그(50-2)로 구성된다.

Description

ＯＬＴＰ와 ＯＬＡＰ의 동시 서비스를 위한 데이터 베이스 이중화 시스템 및 그 방법{The replication utilization system and method for simultaneous service of OLTP and OLAP}

본 발명은 데이터베이스 이중화 기술에 관한 것으로, 더욱 상세하게는 프라이머리(Primary)와 세컨더리(Secondary)에 각각 다른 저장방식( 예컨대, Row-Oriented 또는 Column-Oriented)을 가지는 데이터베이스를 동기화시켜 OLTP와 OLAP를 어플리케이션에 맞도록 분산 처리해서 결과에 대한 처리 성능을 향상시킬 수 있는 OLTP와 OLAP의 동시 서비스를 위한 데이터 베이스 이중화 시스템 및 그 방법에 관한 것이다.

일반적으로, 데이터베이스를 활용하고자 하는 근본적인 목적은 데이터를 체계적으로 관리하고 어플리케이션을 보다 쉽게 개발하며 어떠한 상황에서도 데이터를 안전하게 관리하기 위함이다. 특히, 통신 시스템이나 다수의 가입자를 관리하는 인터넷 서비스 시스템 등과 같은 분야는 고속의 데이터 처리가 필수적이기 때문에 데이터베이스의 처리 성능을 필요로 한다.

데이터베이스는 성능 보장은 물론이고, 데이터의 안정성을 보장하기 위해 테이블 변경에 대한 로깅(Logging)을 수행한다. 로깅(Logging)이란 발생하는 삽입/삭제/변경 등의 트랜잭션 로그를 디스크와 같이 안전한 저장 장치(Stable Storage)에 실시간으로 기록함으로써, 장애 발생시 이를 활용하여 최종의 데이터베이스 상태로 되돌리기 위한 데이터베이스의 기본 기능이다.

따라서　운영중인 데이터베이스 로그 파일은 다른 데이터베이스에 반영하여 운영중인 데이터베이스와 동일한 상태로 만들 수 있다. 이러한 방법은 데이터베이스에서 어떠한 장애 상황에서도 중단 없는 서비스를 보장해야 할 때, 이를 충족시키기 위해 사용하며, 이러한 기술을 데이터베이스 이중화라 말한다.

데이터베이스 이중화는 시스템의 서비스가 지속적으로 가동될 수 있도록 하는 것에 큰 목적이 있으며, 하나 이상의 데이터베이스의 데이터가 네트워크를 통해서 복제가 되어 항상 같은 데이터를 가지고 있기 때문에 운영중인 데이터베이스에 장애가 발생하면 동기화되어 있는 데이터베이스(Secondary)로 Fail-Over를 진행하고 지속적인 서비스를 제공할 수 있다.

이를 위한 데이터베이스 이중화(Replication)는 테이블 복제를 통한 백업, 장애 시 서비스를 다른 데이터베이스(Secondary)에서 처리할 수 있도록 하거나, 하나의 데이터베이스에 집중적인 트랜잭션 처리 작업을 다른 데이터베이스에서도 처리할 수 있도록 하는 동기화 메커니즘을 제공한다.

또한　데이터베이스 이중화 구성 시 주의할 사항으로 하나의 데이터베이스 서버 내에서 이중화 트랜잭션과 로컬 트랜잭션이 동시에 같은 데이터를 접근하는 경우처럼 데이터의 충돌(conflict)이 발생하는 것에 대한 대책이 필요하다. 또한 이중화 수행에 수반되는 오버헤드를 최소화하고, 독립 시스템으로 트랜잭션을 처리할 때의 성능을 유지하도록 하여야 한다.

그리고 트랜잭션 분산을 목적으로 서비스하는 다중 데이터베이스의 경우에는 트랜잭션 결과가 시스템 성능에 부하를 주지 않도록 로드 발란싱(Load Balancing)이 이루어져야 한다.

한편, 기존의 데이터베이스는 데이터 추가, 검색, 업데이트 또는 제거 등의 요청에 대하여 빠르게 처리할 수 있는 온라인 트랜잭션 처리(OLTP)에 적합한 구조로 설계되어 있다. 여기서,　OLTP는 Online Transaction Processing의 약어로, 발생한 데이터에 대하여 즉각적으로 처리할 수 있도록 고안된 시스템을 말하며, 일반적으로 데이터 저장 구조가 행 구조(Row-Oriented)인 것이 특징이다.

하지만 급격하게 증가하는 데이터 발생량은 OLTP의 데이터 분석에 성능적 취약점을 보여주게 된다. 이와 같은 문제를 해결하기 위해 온라인 분석 처리(OLAP)라는 열 구조(Column-Oriented)의 데이터베이스가 사용된다. OLAP는 Online Analytical Processing의 약어로, 데이터 분석에 초점을 맞춘 시스템이며, 대용량의 데이터를 분석하는데 효과적이다. OLAP는 다차원적으로 데이터를 분석하는 것이 가능하지만 데이터 발생에 대한 처리는 취약하다.

KR 10-0526221 B1 KR 10-0561229 B1 KR 10-2012-0064044 A

통상 데이터베이스 이중화는 같은 저장 방식을 가진 두 데이터베이스를 프라이머리(Primary)와 세컨더리(Secondary)로 구성함으로써 트랜잭션 분산을 통해 쿼리 수행에서 발생하는 오버헤드를 줄일 수 있다. 하지만 데이터 갱신이 많고 행 구조(Row-Oriented)인 OLTP에서 점차 데이터가 많아지고 어플리케이션의 형태가 삽입/삭제 등에서 주로 조회로 변경된다면 이중화를 통한 데이터베이스 트랜잭션 처리 분산의 목적이 무의미해질 수 있다.

이러한 경우 OLTP 데이터베이스 데이터를 OLAP 데이터베이스에 이전하여 조회업무를 수행하면 되지만 데이터 이전을 위해 많은 시간 소모되고, 변경 데이터에 대하여 반영이 즉각적이지 못한 문제점이 있다.

이에 본 발명은 상기와 같은 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 데이터베이스 이중화를 활용하여 OLAP 데이터베이스와 OLTP 데이터베이스를 동기화하고, 어플리케이션에 따라 두 데이터베이스중 적합한 데이터베이스를 선택하여 트랜잭션을 수행함으로써 빠르고 정확한 쿼리 성능을 보장할 수 있는 OLTP와 OLAP의 동시 서비스를 위한 데이터 베이스 이중화 시스템 및 그 방법을 제공하는 것이다.

즉, 본 발명은 특정 데이터베이스로 집중되는 트랜잭션을 분산하는 목적으로 이중화가 활용될 때, Primary와 Secondary에 각각 다른 저장 방식( 예컨대, Row-Oriented 또는 Column-Oriented)을 가지는 데이터베이스를 동기화시켜 OLTP와 OLAP를 어플리케이션에 맞도록 분산 처리해서 결과에 대한 처리 성능을 향상시킨 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 시스템은, 행(Row) 단위로 테이블을 저장하는 프라이머리(Primary) 데이터베이스; 열(Column) 단위로 테이블을 저장하는 세컨더리(Secondary) 데이터베이스; 지정된 명령에 따라 로컬 또는 원격으로 쿼리를 수행할 때 OLTP인가 OLAP인가에 따라 상기 프라이머리 데이터베이스나 상기 세컨더리 데이터베이스 중 하나를 선택하는 어플리케이션; 상기 어플리케이션의 요구에 의해 상기 프라이머리 데이터베이스의 데이터가 조작되면 트랜잭션을 통해 복제로그를 생성하는 제1 이중화 로그; 상기 생성된 복제로그를 상기 세컨더리 데이터베이스로 전송하기 위한 네트워크; 및 상기 복제로그에 따라 상기 세컨더리 데이터베이스를 상기 프라이머리 데이터베이스와 동기화시키는 제2 이중화 로그를 포함하는 것을 특징으로 한다.

상기 프라이머리 데이터베이스는 OLTP에 적합한 행 구조(Row-Oriented) 저장방식의 데이터베이스이고, 상기 세컨더리 데이터베이스는 OLAP에 적합한 열 구조(Column-Oriented) 저장방식의 데이터베이스인 것이다.

상기 어플리케이션은, 입력된 명령이 조회나 분석 요구이면 OLAP에 적합한 상기 세컨더리 데이터베이스를 선택하고, 입력된 명령이 변경이나 삭제 요구이면 OLTP에 적합한 상기 프라이머리 데이터베이스를 선택하여 쿼리를 신속하게 처리하는 것이다.

또한, 상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, 입력된 명령에 따라 어플리케이션이 OLTP나 OLAP로 구분하여 데이터베이스를 선택하는 단계; OLTP이면, 상기 어플리케이션의 요구에 따라 프라이머리 데이터베이스에 행(Row) 단위로 테이블을 처리하는 단계; 상기 프라이머리 데이터베이스의 데이터가 조작되면 트랜잭션을 통해 복제로그를 생성하는 단계; 생성된 복제로그를 세컨더리 데이터베이스로 전송하는 단계; 상기 복제로그에 따라 열(Column) 단위로 테이블을 처리하여 상기 세컨더리 데이터베이스를 상기 프라이머리 데이터베이스와 동기화시키는 단계; 및 OLAP이면, 상기 어플리케이션이 상기 세컨더리 데이터베이스를 억세스하는 단계로 구성된 것을 특징으로 한다.

상기 복제로그를 전송하는 단계는 TCP/UDP를 통해 전송하거나 IPC를 통해 전송하는 것이다.

본 발명에 따른 데이터베이스는 열 구조(Column-Oriented)의 저장방식을 가지는 데이터베이스와 행 구조(Row-Oriented)의 저장방식을 가지는 데이터베이스를 각각 프라이머리(Primary)와 세컨더리(Secondary)로 이중화를 구성하고, 어플리케이션에 따라 두 데이터베이스 중 적합한 데이터베이스를 선택하여 트랜잭션을 수행함으로써 보다 빠르고 정확한 쿼리 성능을 보장할 수 있는 장점이 있다.

또한, 본 발명에 따른 데이터베이스는 로컬 데이터베이스 이중화를 지원하며, 이는 네트워크 영역을 거치지 않고 테이블 복제를 진행하기 때문에 실시간으로 세컨더리(Secondary)에 데이터가 반영되어 어플리케이션이 OLAP, OLTP를 고려하지 않고 쿼리를 수행하여도 트랜잭션 성격에 맞는 성능과 결과를 얻을 수 있다.

도 1은 본 발명에 따른 데이터베이스 이중화 시스템의 전체적인 구성을 도시한 블록도이다.
도 2는 본 발명에 따라 행(Row) 단위로 테이블을 저장하는 프라이머리(Primary) 데이터베이스에서 데이터 삽입 및 변경 시 디스크에 저장되는 구성을 도시한 개략도이다.
도 3은 본 발명에 따라 열(Column) 단위로 테이블을 저장하는 세컨더리(Secondary) 데이터베이스에서 복제 로그 반영 시 디스크에 저장하는 구성을 도시한 개략도이다.
도 4는 본 발명에 따라 어플리케이션이 로컬 또는 원격으로 쿼리를 수행할 때 OLTP인가 OLAP인가에 따라 데이터베이스에 접근하는 과정을 보여주는 개략도이다.
도 5는 본 발명에 따라 OLTP와 OLAP를 동시 서비스하기 위한 데이터 베이스 이중화 절차를 도시한 순서도이다.

본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.

먼저, 본 발명의 주요 개념은 서로 다른 저장 구조를 가지는 두 데이터베이스를 이중화 로그를 활용하여 동기화시키고, 어플리케이션이 수행하는 쿼리에 대하여 빠른 결과를 얻을 수 있는 데이터베이스를 선택적으로 사용하는 것이다.

도 1은 본 발명에 따른 데이터베이스 이중화 시스템의 전체적인 구성을 도시한 블록도이다.

본 발명에 따른 데이터베이스 이중화 시스템은 도 1에 도시된 바와 같이, 행(Row) 단위로 테이블을 저장하는 프라이머리(Primary) 데이터베이스(10)와, 열(Column) 단위로 테이블을 저장하는 세컨더리(Secondary) 데이터베이스(20)와, 지정된 명령에 따라 로컬 또는 원격으로 쿼리를 수행할 때 OLTP인가 OLAP인가에 따라 프라이머리 데이터베이스(10)나 세컨더리 데이터베이스(20) 중 하나를 선택하는 어플리케이션(100)과, 어플리케이션(100)의 요구에 의해 프라이머리 데이터베이스(10)의 데이터가 조작되면 트랜잭션을 통해 복제로그를 생성하는 제1 이중화 로그(50-1)와, 생성된 복제로그를 세컨더리 데이터베이스(20)로 전송하기 위한 네트워크(80)와, 복제로그에 따라 세컨더리 데이터베이스(20)를 프라이머리 데이터베이스(10)와 동기화시키는 제2 이중화 로그(50-2)로 구성된다.

도 1을 참조하면, 프라이머리 데이터베이스의 어플리케이션은 각각의 지정된 명령에 따라 데이터베이스에 데이터를 변경 및 삭제, 조회를 수행한다. Primary는 발생한 트랜잭션을 통하여 복제 로그를 생성하고, Secondary로 송신(TCP/UDP 또는 IPC)한다

이와 같이 본 발명은 어플리케이션이 접근할 두 데이터베이스(10,20)가 존재하고, 각 데이터베이스(10,20)는 Primary(10), Secondary(20)로 명명하며, 서로 다른 저장 구조를 가지는 이중화로 구성되어 있다. Primary(10)와 Secondary(20)는 원격지라면 TCP/UDP로, 로컬이라면 IPC로 연결되어 복제 로그를 송수신하게 된다.

여기서, Primary(10)는 OLTP에 적합한 Row-Oriented 저장 방식을 가지는 데이터베이스(30)를 의미하고, Secondary(20)는 OLAP에 적합한 Column-Oriented 저장 방식을 가지는 데이터베이스(40)를 의미한다.

도 2는 본 발명에 따라 행(Row) 단위로 테이블을 저장하는 프라이머리(Primary) 데이터베이스에서 데이터 삽입 및 변경 시 디스크에 저장되는 구성을 도시한 개략도이다.

도 2를 참조하면, 어플리케이션(100)은 각각의 지정된 명령에 따라 데이터베이스(10)에 데이터를 변경 및 삭제, 조회를 수행한다. Primary(10)는 발생한 트랜잭션을 통하여 복제로그를 생성하고, Secondary(20)로 송신(TCP/UDP 또는 IPC)한다. 이때 Primary의 행 구조(Row-Oriented) 저장 방식은 테이블이 행 단위로 디스크에 기록된다. Primary(10)에서는 어플리케이션이 OLTP에 해당하는 쿼리를 수행하면, 빠르게 처리할 수 있다.

도 3은 본 발명에 따라 열(Column) 단위로 테이블을 저장하는 세컨더리(Secondary) 데이터베이스에서 복제 로그 반영 시 디스크에 저장하는 구성을 도시한 개략도이다.

도 3을 참조하면, Primary(10)를 통해 TCP/UDP 또는 IPC로 수신한 복제 로그를 Secondary(20)의 저장 구조인 열 구조(Column-Oriented)로 반영한다.

어플리케이션(100)은 Secondary(20)를 통해 조회 및 분석 요구에 대하여 빠르게 처리한다. Secondary의 열 구조(Column-Oriented) 저장방식은 테이블이 열 단위로 디스크에 기록된다.

도 4는 본 발명에 따라 어플리케이션이 로컬 또는 원격으로 쿼리를 수행할 때 OLTP인가 OLAP인가에 따라 데이터베이스에 접근하는 과정을 보여주는 개략도이다.

도 4를 참조하면, 실제 이중화 활용을 통해 어플리케이션에서 발생하는 OLTP 또는 OLAP 쿼리를 데이터베이스를 선택하여 처리하는 것이다. IPC로 구성된 Primary-Secondary 이중화는 TCP/UDP로 구성된 Primary-Secondary보다 데이터 동기화가 빠르다.

도 5는 본 발명에 따라 OLTP와 OLAP를 동시 서비스하기 위한 데이터 베이스 이중화 절차를 도시한 순서도이다.

본 발명에 따른 데이터베이스 이중화 방법은 도 5에 도시된 바와 같이, 입력된 명령(쿼리)에 따라 어플리케이션(100)이 OLTP나 OLAP로 구분하여 데이터베이스(30,40)를 선택하고(S101), 구분결과 OLTP이면, 어플리케이션의 요구에 따라 프라이머리 데이터베이스에 행(Row) 단위로 테이블을 처리한다(S102,S103).

프라이머리 데이터베이스의 데이터가 조작되면, 트랜잭션을 통해 복제로그를 생성하고(S104), 생성된 복제로그를 세컨더리 데이터베이스(20)로 전송한다(S105).

복제로그에 따라 열(Column) 단위로 테이블을 처리하여 세컨더리 데이터베이스(20)를 프라이머리 데이터베이스(10)와 동기화시킨다(S106).

만일 OLAP이면, 어플리케이션(100)이 세컨더리 데이터베이스(20)를 억세스한다(S107,S108).

이상에서 몇 가지 도면을 통하여 본 발명의 동작 예를 설명하였으나, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 구성 및 동작 예가 가능하다는 점을 이해할 것이다.

10 : 프라이머리 DBMS 20 :세컨더리 DBMS
30 : 행 구조(Row-Oriented) DB 40 : 열 구조(Column-Oriented) DB
50-1,2 : 이중화 로그(Replication Log) 80 : 네트워크(TCP/UDP)
90 : 로컬 복제(Location Replication) 100 : 응용(Application)
200 : 쿼리 인/아웃(Query In/Out)

Claims (6)

1. 행(Row) 단위로 테이블을 저장하는 프라이머리(Primary) 데이터베이스;
   열(Column) 단위로 테이블을 저장하는 세컨더리(Secondary) 데이터베이스;
   지정된 명령에 따라 로컬 또는 원격으로 쿼리를 수행할 때 OLTP인가 OLAP인가에 따라 상기 프라이머리 데이터베이스나 상기 세컨더리 데이터베이스 중 하나를 선택하는 어플리케이션;
   상기 어플리케이션의 요구에 의해 상기 프라이머리 데이터베이스의 데이터가 조작되면 트랜잭션을 통해 복제로그를 생성하는 제1 이중화 로그;
   상기 생성된 복제로그를 상기 세컨더리 데이터베이스로 전송하기 위한 네트워크; 및
   상기 복제로그에 따라 상기 세컨더리 데이터베이스를 상기 프라이머리 데이터베이스와 동기화시키는 제2 이중화 로그를 포함하는 OLTP와 OLAP의 동시 서비스를 위한 데이터 베이스 이중화 시스템.
2. 제1항에 있어서, 상기 프라이머리 데이터베이스는 OLTP에 적합한 행 구조(Row-Oriented) 저장방식의 데이터베이스이고, 상기 세컨더리 데이터베이스는 OLAP에 적합한 열 구조(Column-Oriented) 저장방식의 데이터베이스인 것을 특징으로 하는 OLTP와 OLAP의 동시 서비스를 위한 데이터 베이스 이중화 시스템.
3. 제2항에 있어서, 상기 어플리케이션은
   입력된 명령이 조회나 분석 요구이면 OLAP에 적합한 상기 세컨더리 데이터베이스를 선택하고,
   입력된 명령이 변경이나 삭제 요구이면 OLTP에 적합한 상기 프라이머리 데이터베이스를 선택하여 쿼리를 신속하게 처리하는 것을 특징으로 하는 OLTP와 OLAP의 동시 서비스를 위한 데이터 베이스 이중화 시스템.
4. 입력된 명령에 따라 어플리케이션이 OLTP나 OLAP로 구분하여 데이터베이스를 선택하는 단계;
   OLTP이면, 상기 어플리케이션의 요구에 따라 프라이머리 데이터베이스에 행(Row) 단위로 테이블을 처리하는 단계;
   상기 프라이머리 데이터베이스의 데이터가 조작되면 트랜잭션을 통해 복제로그를 생성하는 단계;
   생성된 복제로그를 세컨더리 데이터베이스로 전송하는 단계;
   상기 복제로그에 따라 열(Column) 단위로 테이블을 처리하여 상기 세컨더리 데이터베이스를 상기 프라이머리 데이터베이스와 동기화시키는 단계; 및
   OLAP이면, 상기 어플리케이션이 상기 세컨더리 데이터베이스를 억세스하는 단계로 구성된 것을 특징으로 하는 OLTP와 OLAP의 동시 서비스를 위한 데이터 베이스 이중화 방법.
5. 제4항에 있어서, 상기 데이터베이스를 선택하는 단계는
   입력된 명령이 조회나 분석 요구이면 OLAP에 적합한 상기 세컨더리 데이터베이스를 선택하고,
   입력된 명령이 변경이나 삭제 요구이면 OLTP에 적합한 상기 프라이머리 데이터베이스를 선택하여 쿼리를 신속하게 처리하는 것을 특징으로 하는 OLTP와 OLAP의 동시 서비스를 위한 데이터 베이스 이중화 방법.
6. 제4항에 있어서, 상기 복제로그를 전송하는 단계는
   TCP/UDP를 통해 전송하거나 IPC를 통해 전송하는 것을 특징으로 하는 OLTP와 OLAP의 동시 서비스를 위한 데이터 베이스 이중화 방법.

Images