KR20200130625A - 체인지 데이터 캡쳐 기술을 이용한 데이터베이스 서버 복제 방법과 컴퓨터 프로그램 - Google Patents

Abstract

원본 데이터베이스를 포함하는 제1데이터베이스 서버와 상기 원본 데이터베이스의 적어도 일부가 복제될 제2데이터베이스 서버를 액세스할 수 있는 사용자 컴퓨터를 이용하여 데이터베이스 서버 복제 서비스를 제공하는 방법은 상기 사용자 컴퓨터에서 실행되는 컴퓨터 프로그램이 체인지 데이터 캡쳐를 위한 GUI를 디스플레이하는 단계와 사용자가 상기 GUI를 이용하여 상기 제1데이터베이스 서버에 저장된 상기 원본 데이터베이스의 적어도 일부를 상기 제2데이터베이스 서버로 복제하기 위한 파라미터를 입력하면, 상기 컴퓨터 프로그램이 상기 파라미터를 이용하여 상기 체인지 데이터 캡쳐를 위한 작동을 수행하는 단계를 포함한다.

Description

체인지 데이터 캡쳐 기술을 이용한 데이터베이스 서버 복제 방법과 컴퓨터 프로그램{METHOD FOR REPLICATING DATABASE SERVER USING CHANGE DATA CAPTURE TECHNOLOGY AND CONPUTER PROGRAM PERFORMING THE METHOD}

본 발명은 체인지 데이터 캡쳐 기술을 이용한 데이터베이스 서버 복제 방법에 관한 것으로, 특히 GUI(Graphic User Interface)를 이용하여 체인지 데이터 캡쳐(Change Data Capture(cdc) 기술을 이용한 데이터베이스 서버를 복제하는 방법과 상기 방법을 수행할 수 있는 매체에 저장된 컴퓨터 프로그램에 관한 것이다.

대용량의 데이터를 분석하기 위한 데이터 창고를 데이터웨어하우스라고 하고 이를 구축하기 위해 기간계라고 하는 운영 시스템에서 데이터를 가져와서 변형 시키고 데이터를 최종 분석에 맞게 추출하고 변형해서 적재하는 작업을 연속적으로 실행하게 된다. 이때 운영하는 데이터베이스에서 데이터를 가져와서 직접 위에서 언급한 작업들을 하려고 하면 운영하고 있는 데이터베이스에 악영향을 끼칠 수 있다. 그런 이유로 운영 데이터베이스와 똑같은 데이터를 운영에 영향 없이 데이터를 가져올 수 있다면 끌어온 데이터로 많을 데이터를 연속 작업을 하여도 운영에 영향을 미치지 않아서 좋은 방법이 된다. 이러한 구조를 가능하게 하는 기술이 CDC(Data Change Capture)라는 기술이다.

본 발명이 이루고자 하는 기술적인 과제는 GUI(Graphic User Interface)를 이용하여 체인지 데이터 캡쳐(Change Data Capture(cdc) 기술을 이용한 데이터베이스 서버를 복제하는 방법과 상기 방법을 수행할 수 있는 매체에 저장된 컴퓨터 프로그램을 제공하는 것이다.

본 발명에 따른 체인지 데이터 캡쳐 기술을 이용한 데이터베이스 서버 복제 시스템은 원본 데이터베이스를 포함하는 제1데이터베이스 서버; 상기 원본 데이터베이스의 적어도 일부가 복제될 제2데이터베이스 서버; 및 상기 제1데이터베이스 서버와 상기 제2데이터베이스 서버를 액세스할 수 있는 사용자 컴퓨터를 포함하고, 상기 사용자 컴퓨터는 저장 매체에 저장된 컴퓨터 프로그램을 실행시키고, 상기 컴퓨터 프로그램을 상기 사용자 컴퓨터의 디스플레이 장치를 통해 GUI를 디스플레이하고, 상기 컴퓨터 프로그램는 상기 제1데이터베이스 서버에 저장된 상기 원본 데이터베이스의 적어도 일부를 상기 제2데이터베이스 서버로 복제하기 위해 사용자가 입력한 파라미터를 수신하여 처리한다.

본 발명에 따른 원본 데이터베이스를 포함하는 제1데이터베이스 서버와 상기 원본 데이터베이스의 적어도 일부가 복제될 제2데이터베이스 서버를 액세스할 수 있는 사용자 컴퓨터를 이용하여 데이터베이스 서버 복제 서비스를 제공하는 방법은 상기 사용자 컴퓨터에서 실행되는 컴퓨터 프로그램이 체인지 데이터 캡쳐를 위한 GUI를 디스플레이하는 단계; 및 사용자가 상기 GUI를 이용하여 상기 제1데이터베이스 서버에 저장된 상기 원본 데이터베이스의 적어도 일부를 상기 제2데이터베이스 서버로 복제하기 위한 파라미터를 입력하면, 상기 컴퓨터 프로그램이 상기 파라미터를 이용하여 상기 체인지 데이터 캡쳐를 위한 작동을 수행하는 단계를 포함한다.

본 발명에 따른 데이터베이스 서버 복제 서비스를 제공하는 방법을 수행하는 컴퓨터 프로그램은 매체(기록 매체 또는 저장 매체)에 저장된다.

본 발명의 실시 예에 따른 방법은 체인지 데이터 캡쳐(Change Data Capture(cdc))를 위해 GUI(Graphic User Interface)를 사용하므로, PC에 구축이 가능하고 명령어(command) 입력 방식이 아닌 화면으로 전체의 공정과 내용을 파악하기 쉽고 또한 모든 상황에 대해서 모니터링도 가능한 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명에 따른 데이터베이스 네트워크 시스템의 블록도이다.
도 2 내지 도 4는 CDC 모드 선택 시에 사용되는 5가지 모드들에 대한 개략적인 설명도이다.
도 5는 본 발명에 따른 데이터베이스 네트워크 시스템의 블록도와 파라미터 설정 탭에 대한 설명이다.
도 6과 도 7은 파라미터 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.
도 8 내지 도 10은 데이터베이스 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.
도 11 내지 도 13은 퍼블리셔 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.
도 14 내지 도 16은 소스/셋 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.
도 17 내지 도 19은 테이블/컬럼 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.
도 20 내지 도 22은 테이블/컬럼 생성 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.
도 23 내지 도 25는 추가 테이블/컬럼 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.

기존 CDC 구축 방법은 다음의 5가지 문제들이 존재한다.

1. 대부분의 CDC 구축 패키지(Package)는 명령(Command) 방식으로 구축하여 구축 시 어려운 환경에서 구축하게 된다. 전체적인 내용의 파악이 힘들고 진행 상황을 정확하게 판단하기 힘들다.

2. 외국산 패키지(Package)로 구축비용이 높다. 또한 커스터마이징 (Customizing)이 거의 불가능하고 유지보수 비용도 높다.

3. 구축 후 지속적인 모니터링 기능이 없고 데이터에 대한 검증 작업도 제공하지 않는다. DW(Data Warehousing)의 추가적인 기능인 ETL(Extract, Transform, Load) 기능도 없다.

4. CDC 구축 패키지(Package)가 보통 한가지의 데이터베이스에 적용만 가능하고 다른 데이터베이스(Oracle, Maria DB, Postgresql, MS SQL 등)도 구축은 불가능하다.

5. Unix, Linux, Windows등 DB가 설치된 OS에 종속적으로만 구축이 가능하다.

본 발명에 따른 방법은 위와 같은 문제들에 자유롭게 대처할 수 있다. 상기 방법과 컴퓨터 프로그램은 서버(Server)에 의존하여 CDC를 구축하는 것이 아니고 클라이언트(Client), 즉 PC에서 구축이 가능하게 하고 GUI(Graphic User Interface)를 이용하기 때문에 명령어(command) 입력 방식이 아닌 화면으로 전체의 공정과 내용을 파악하기 쉽고 또한 모든 상황에 대해서 모니터링도 가능하다.

데이터베이스 복제 기술은 여러가지 방법이 존재한다. 데이터베이스 엔진을 이용하여 복제하는 기술이 있고 데이터베이스 엔진에 부하를 주지 않고 로그(Log)에서 신규,변경,삭제 된 데이터의 내용을 가져와서 그 와 똑 같은 데이터를 실사간으로 복제하여 주는 기술이 존재한다.

기존의 이 복제 기술은 명령어 처리 방식으로 데이터의 복제를 하였고 어떤 특정 제품의 데이터베이스에 한하여 가능하였으나, 본 발명은 명령어 처리 방식이 아닌 GUI(Graphic User Interface)의 화면에서 데이터베이스에 관련되어 결정값들 (parameters) 만을 입력하고 나머지 모든 명령으로 처리 되었던 처리 과정상의 명령어는 패키지(package) 안에서 스크립트 생성과 실행으로 처리하게 되어서 과정의 모든 처리는 확인만 하면 된다.

또 중간의 모든 과정을 모니터링하고 성능의 측정도 가능하게 해 준다. 또한 본 발명은 어떤 특정한 데이터베이스 엔진에만 국한되지 않고 다양한 데이터베이스의 복제 기술을 담고 있다.

그래서 DW(Data Warehousing)을 구축하거나 데이터의 백업(backup), 실시간 데이터 마이닝(data mining) 등에 필요한 모든 복제 기능을 갖추어 데이터베이스에 부하를 주지 않고 안정되게 데이터를 복제하여 준다.

도 1은 본 발명에 따른 데이터베이스 네트워크 시스템의 블록도이다.

1. 데이터발생부

원본 데이터 베이스에서 데이터가 발생, 수정 혹은 삭제 되었을 때 로그로 저장되고 이 온라인 리두로그에 의해서 아카이브 파일이 생성된다.

2. 리모트 파일 시스템에 복제

Log_ARCHIVE_DEST_2에 의해서 리모트에 파일이 복제되고 이 파일로 자동로그 변경 소스의 테이블에 변경된 내용을 복제한다.

3. 파라미터의 지정

위의 과정에서 많은 파라미터 값과 명령어로 처리를 하는 부분이 발생하지만 본 발명은 파라미터 값만 세팅하고 나머지는 GUI에서 생성한 스크립트에 의해서 모든 것을 처리하여 준다. 이는 명령어 처리 방식에서 발생하는 오류의 가능성을 줄여주고 전체 공정에서 얼마나 처리 되었는지 처리율도 모니터링할 수 있다.

4. 대상 테이블과 컬럼의 지정

복제를 위한 테이블이나 테이블의 컬럼에 대해서 선택하여 지정이 가능하고 지정된 테이블이나 컬럼에 대해서만 보제를 가능하게 한다.

5. Oracle의 경우 복제 5가지 기술 모두 적용

Oracle 데이터베이스에서 사용 되어지는 CDC 기술이 모두 적용 가능하고 5가지 중에 사용되어질 기술에 대해서 지정하여 복제를 가능하게 하고 각각의 기술 중에 적용되어질 기술를 결정하여 사용할 수 있게 한다.

6. 적용 후의 데이터 검증과 모니터링

적용 후에 원본의 데이터와 일치하는 지 건수 검증과 몇 가지의 요소로 데이터의 합산이 맞는지 확인하여 데이터를 검증하는 기능과 적용 전후의 성능에 대해서 비교하는 모니터링 기능도 가지고 있다.

프로세스 설명(5가지 기술들 중에서 Asynchronous AutoLog 적용의 예)

1. 하드웨어 사양이나 사용 되어질 복제 데이터 들을 고려하여 파라미터 (parameter)를 결정하여 그 값을 계산하여 저장한다.(Online과 Archive 방식으로 나눈다.)

2. 위의 저장된 파라미터(parameter) 값을 이용하여 실제 복제 데이터베이스에 적용한다. 이때 적용 스크립트는 프로그램에서 생성하고 적용한다. 이때 적용 이전의 Parameter 값과 적용 이후의 Parameter 값을 데이터베이스에 저장하여 적용 후 성공 여부를 판단하는 모니터링에 사용한다. 이 Parameter 값은 적용되었을 뿐 활성화 상태는 아니다. 실제 적용을 데이터베이스 엔진을 한 번 껐다가 켰을 때 적용된다.

3. 원본 데이터베이스에 적용할 Parameter 값의 변경을 스크립트에 의해서 진행한다. 이 때 선행작업으로 복제 되어야 할 테이블와 컬럼의 지정이 먼저 이루어져야 한다. 지정된 테이블과 컬럼의 정보는 데이터베이스에 저장한다.

4. 복제 데이터베이스에 Standby Redo Log 파일을 만들어 준다. 이 과정도 역시 스크립트로 실행하지만 파일이 만들질 위치와 크기는 지정하여 준다.

5. CDC를 수행할 User의 생성과 권한을 부여한다. 이 때 User의 이름과 암호는 지정하여 주고 역시 스크립트로 수행하여 준다.

6. 원본 데이터베이스에서 로그에서 데이터를 자동으로 추출하여 줄 데이터 사전을 생성한다. 이 과정에서 시스템에서 부여하여준 번호를 부여 받게 되는데 이 번호는 잘 보관하여야 한다. 데이터베이스에 보관도 가능하다.

7. 원본 데이터 베이스의 원본 테이블을 준비한다. 이도 역시 스크립트로 실행한다.

8. 원본 데이터베이스의 그로벌 이름을 가져온다(데이터베이스의 정보에서 가져와서 데이터베이스에 저장한다).

9. 복제 데이터베이스 수행 User가 각 원본 데이터베이스와 변경과 변경된 원본 알 수 있도록 6번에서 보관한 번호로 변경 원본을 생성한다. 이 작업도 역시 스크립트로 실행한다.

10. 복제 데이터베이스에 변경세트를 CDC 작업 User가 생성하여 준다. 이 작업 역시 스크립트로 작업한다.

11. 복제 데이터베이스의 CDC 수행 User가 변경 데이터를 저장할 수 있는 테이블을 만든다. 이 때 만들어질 테이블과 컬럼은 3번에서 지정된 테이블과 컬럼에 대해서 테이블 생성이 이루어진다. 이 작업 역시 스크립트에 의해서 이루어진다.

12. 복제 데이터베이스의 CDC 수행 User가 변경세트를 유효하게 상태를 고친다. 이 상태의 변경에 의해서 지금까지 모든 설정들이 활성화가 된다.

13. 대상 테이블 원본에 데이터를 입력, 수정, 삭제 작업을 수행하여 복제 테이블에 데이터가 동시에 적재되는지 화면에서 확인한다. 물론 이 때 데이터에 대한 검증도 함께 할 수 있다.

적용예

1. DW 구축 시 원본 데이터를 즉시 확보

기업에서 경영정보시스템,의사결정시스템, 임원정보시스템,고객관계관리시스템 등 많응 분석 시스템을 구축하기 위해서는 데이터웨어하우스 구축이 필수적이고 이 구축에 데이터를 원활하게 제공하기 위해서는 ETL이라는 작업을 한다. 이 때 ETL의 원본이 운영시스템이라면 데이터를 가져오기 위해 운영시스템에 부하를 주게 되는데 이 부하를 줄이고 원본의 데이터를 확보하기 위한 필수적인 기술에 해당하는 CDC가 필요하게 된다.

2. 온라인백업의 대체

보통의 운영 데이터베이스에 데이터들은 전체의 백업도 중요하지만 필수적인 테이블 들이 존재한다. 온라인 쇼핑몰을 예로 들면 주문 데이터, 결제 데이터, 배송 데이터 등 몇 몇의 데이터 들은 중요도가 높은 데이터이다. 이런 데이터를 실 시간으로 백업하여 문제의 발생 시 테이블 대 테이블로 복구가 가능하기 때문에 복구의 속도도 빠르고 데이터의 유실도 최소화 할 수 있다.

3. 스탠바이 데이터베이스 서버의 대체

데이터베이스 문제 발생 시 대비하여 스탠바이 데이터베이스를 구축하는데 중소기업에서는 이 비용이 만만치 않다고 생각이 된다. 스탠바이 데이터베이스의 국을 대신하여 주요 테이블에 대한 복제 기술로 스탠바이 데이터베이스 구축을 어느 정도 대신할 수 있다.

4. 빠른 분석을 요하는 데이터의 작업

데이터의 특성상 빠른 분석을 요구할 때 운영 데이터베이스에 부하를 줄이기 위해 하루에 한 번 혹은 하루에 두, 세 번 혹은 한 시간 마다 데이터 작업을 하던 것을 데이터를 즉시 작업할 수 있는 환경을 구축하여 준다.

도 2 내지 도 4는 CDC 모드 선택 시에 사용되는 5가지 모드들에 대한 개략적인 설명도이다.

도 5는 본 발명에 따른 데이터베이스 네트워크 시스템의 블록도와 파라미터 설정 탭에 대한 설명이다.

도 6과 도 7은 파라미터 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.

도 8 내지 도 10은 데이터베이스 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.

도 11 내지 도 13은 퍼블리셔 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.

도 14 내지 도 16은 소스/셋 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.

도 17 내지 도 19은 테이블/컬럼 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.

도 20 내지 도 22은 테이블/컬럼 생성 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.

도 23 내지 도 25는 추가 테이블/컬럼 설정 탭을 이용한 설정 방법을 설명하기 위한 도면들이다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (3)

1. 원본 데이터베이스를 포함하는 제1데이터베이스 서버;
   상기 원본 데이터베이스의 적어도 일부가 복제될 제2데이터베이스 서버; 및
   상기 제1데이터베이스 서버와 상기 제2데이터베이스 서버를 액세스할 수 있는 사용자 컴퓨터를 포함하고,
   상기 사용자 컴퓨터는 저장 매체에 저장된 컴퓨터 프로그램을 실행시키고, 상기 컴퓨터 프로그램을 상기 사용자 컴퓨터의 디스플레이 장치를 통해 GUI를 디스플레이하고,
   상기 컴퓨터 프로그램는 상기 제1데이터베이스 서버에 저장된 상기 원본 데이터베이스의 적어도 일부를 상기 제2데이터베이스 서버로 복제하기 위해 사용자가 입력한 파라미터를 수신하여 처리하는 체인지 데이터 캡쳐 기술을 이용한 데이터베이스 서버 복제 시스템.
2. 원본 데이터베이스를 포함하는 제1데이터베이스 서버와 상기 원본 데이터베이스의 적어도 일부가 복제될 제2데이터베이스 서버를 액세스할 수 있는 사용자 컴퓨터를 이용하여 데이터베이스 서버 복제 서비스를 제공하는 방법에 있어서,
   상기 사용자 컴퓨터에서 실행되는 컴퓨터 프로그램이 체인지 데이터 캡쳐를 위한 GUI를 디스플레이하는 단계; 및
   사용자가 상기 GUI를 이용하여 상기 제1데이터베이스 서버에 저장된 상기 원본 데이터베이스의 적어도 일부를 상기 제2데이터베이스 서버로 복제하기 위한 파라미터를 입력하면, 상기 컴퓨터 프로그램이 상기 파라미터를 이용하여 상기 체인지 데이터 캡쳐를 위한 작동을 수행하는 단계를 포함하는 데이터베이스 서버 복제 서비스를 제공하는 방법.
3. 제2항에 기재된 데이터베이스 서버 복제 서비스를 제공하는 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.
   
   
   

Images