KR102225258B1 - 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램 - Google Patents

데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102225258B1
KR102225258B1 KR1020190045206A KR20190045206A KR102225258B1 KR 102225258 B1 KR102225258 B1 KR 102225258B1 KR 1020190045206 A KR1020190045206 A KR 1020190045206A KR 20190045206 A KR20190045206 A KR 20190045206A KR 102225258 B1 KR102225258 B1 KR 102225258B1
Authority
KR
South Korea
Prior art keywords
mode
information
log
change data
usage rate
Prior art date
Application number
KR1020190045206A
Other languages
English (en)
Other versions
KR20200123299A (ko
Inventor
조오욱
윤정일
Original Assignee
주식회사 실크로드소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 실크로드소프트 filed Critical 주식회사 실크로드소프트
Priority to KR1020190045206A priority Critical patent/KR102225258B1/ko
Priority to PCT/KR2020/005159 priority patent/WO2020213985A1/ko
Priority to US17/055,956 priority patent/US11726978B2/en
Publication of KR20200123299A publication Critical patent/KR20200123299A/ko
Application granted granted Critical
Publication of KR102225258B1 publication Critical patent/KR102225258B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2358Change logging, detection, and notification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1471Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1474Saving, restoring, recovering or retrying in transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81Threshold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/87Monitoring of transactions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

전술한 과제를 해결하기 위한 본 개시의 일 실시예에, 하나 이상의 프로세서들에 의해 실행 가능한 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 변경 데이터 캡쳐(Change Data Capture)를 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은: 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 동작, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 동작 및 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다.

Description

데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램{A COMPUTER PROGRAM FOR PROVIDING EFFICIENT CHANGE DATA CAPTURE IN A DATABASE SYSTEM}
본 개시는 데이터베이스 관리 시스템(DBMS)에 관한 것으로, 보다 구체적으로 변경 데이터 캡쳐(CDC:Change Data Capture)에 관한 것이다.
기업의 비즈니스는 폭발적인 데이터의 증가와 다양한 환경 및 플랫폼의 등장으로 빠르게 확장되고 있다. 새로운 비즈니스 환경이 도래함에 따라서, 보다 더 효율적이고 유연한 데이터 서비스와 정보의 처리, 데이터 관리 기능이 필요하게 되었다. 이러한 변화에 맞춰서 기업 비즈니스 구현의 기반이 되는 고성능, 고가용성 및 확장성의 문제를 해결하기 위한 데이터베이스에 대한 연구가 지속되고 있다.
기업 내에서 관리되는 데이터는 종종 소스(source) 위치로부터 타겟(target) 위치로 마이그레이션(또는 복제)되어 관리할 필요가 있다. 예를 들어, 은행 업무를 구현하기 위한 데이터베이스 시스템은, 액세스하는 클라이언트의 특성에 따라서 다수의 외부 고객들이 동시에 액세스할 수 있는 데이터베이스 및 내부 직원들이 액세스할 수 있는 데이터베이스로 분류될 수 있다. 소스 데이터베이스 시스템으로부터의 변경 데이터를 타겟 데이터베이스 시스템으로 넘겨주는 솔루션은 변경 데이터 캡쳐(CDC:Change Data Capture)라 지칭된다. CDC는 예를 들어 소스 데이터베이스 시스템에서의 로그 파일을 판독 및 해석하여 소스 데이터베이스 시스템에서의 변경 데이터를 복제하고자 하는 타겟 데이터베이스 시스템에 리플레이(replay)시키는 방식으로 구현될 수 있다.
이러한 CDC 기술은 적은 세션만으로 전체 테이블의 데이터를 추출할 수 있다. 또한, CDC 기술은 데이터 파일에 직접적으로 접근하지 않기 때문에, 데이터베이스 관리 시스템(DBMS:DataBase Management System) 내의 자원(resource) 사용률을 줄일 수 있다는 장점을 가지고 있다.
한편, CDC를 수행하기 위해 소스 데이터베이스 시스템에서 처리되는 트랜잭션에 대한 정보를 포함하는 리두 로그를 판독 및 해석함으로써, 소스 데이터베이스 시스템에서 데이터의 변경을 식별할 수 있다. 이러한 리두 로그는 작업량이 증가할수록 축적되며, 물리적 저장 장치의 특성상 리두 로그를 저장할 수 있는 용량에는 한계가 있다. 구체적으로, 리두 로그는 적어도 둘 이상의 리두 로그 파일에 차례로 저장되며, 하나의 리두 로그 파일에 리두 로그가 채워지면 다른 리두 로그 파일에 스위칭되어 저장될 수 있다. 다만, 리두 로그를 저장할 수 있는 리두 로그 파일의 개수(즉, 물리적 저장 장치의 용량)에는 한계가 있다. 이에 따라, 물리적 저장 장치에 저장된 모든 리두 로그 파일에 리두 로그가 채워진 경우, 처음 리두 로그를 저장한 리두 로그 파일에 새로운 리두 로그를 덮어쓰게 된다. 기존 리두 로그를 저장하는 리두 로그 파일에 새로운 리두 로그가 덮어쓰여지게 되는 경우, 기존 리두 로그가 손실될 우려가 있기 때문에 기존 저장된 리두 로그를 아카이브 리두 로그로써 따로 저장하게 된다.
미국 등록 특허 US6,999,977 미국 등록 특허 US7,111,023 미국 등록 특허 US7,657,576 미국 등록 특허 US7,647,354 미국 등록 특허 US9,727,624
본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램을 제공하기 위한 것이다.
전술한 과제를 해결하기 위한 본 개시의 일 실시예에, 하나 이상의 프로세서들에 의해 실행 가능한 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 변경 데이터 캡쳐(Change Data Capture)를 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은: 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 동작, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 동작 및 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보는, 변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그에 관한 정보이며, 상기 자원 사용률 정보는, 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률에 대한 정보일 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 상기 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작은, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 자원 사용률 임계치를 재설정할 것을 결정하는 동작 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 자원 사용률 정보와 자원 사용률 임계치 정보를 비교하는 동작 및 상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작 및 상기 자원 사용률 임계치를 재설정할 것을 결정하는 동작 중 적 하나의 동작을 수행할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작 및 상기 자원 사용률 임계치를 재설정할 것을 결정하는 동작 중 적어도 하나의 동작을 수행할 것을 결정하는 동작은, 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 자원 사용률 임계치를 재설정하는 동작 및 상기 자원 사용률 정보가 상기 자원 사용률 임계치 이하인 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는지 여부를 식별하는 동작 및 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하는 동작을 포함할 수 있다.
대안적으로, 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하는 동작은, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하는 동작 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하는 동작 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 유지하는 동작 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 임계치는, 상기 변경 데이터로 추출이 필요한 상기 온라인 리두 로그 및 상기 아카이브 리두 로그의 기준이 되는 임계치이며, 상기 자원 사용률 임계치는, 상기 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장하기 위한 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준이고, 그리고 상기 리메인 로그 임계치 및 상기 자원 사용률 임계치 중 적어도 하나는, 상기 소스 데이터베이스 서버의 동작 로그에 기초한 기계학습을 통해 가변될 수 있다.
대안적으로, 상기 변경 데이터는, 상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,상기 제 1 변경 데이터에 대한 처리가 완료된 이후 상기 제 1 변경 데이터에 대한 처리 없이 상기 제 2 변경 데이터에 대한 처리가 이루어지는 경우, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 제 2 변경 데이터의 처리 모드를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고 상기 제 1 변경 데이터를 처리하기 위한 모드가 변경되는 경우, 상기 제 2 변경 데이터를 처리하는 모드를 상기 제 1 변경 데이터의 처리 모드와 대응되도록 변경할 것을 결정하는 동작을 더 포함할 수 있다.
대안적으로, 상기 제 1 변경 데이터에 대한 처리와 상기 제 2 변경 데이터에 대한 처리는 병렬로 수행될 수 있다.
대안적으로, 상기 CDC 파일에 상기 소스 데이터베이스 서버의 객체들 중 SQL(Structured Query Language) 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작을 더 포함하고, 그리고 상기 메타 정보는, 테이블 유저 정보, 테이블 이름 정보, 칼럼 이름 정보, 칼럼 순서 정보 및 칼럼 타입 정보 중 적어도 하나의 정보를 포함할 수 있다.
대안적으로, 상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작은, 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하지 않는 경우, 해당 객체에 대한 DD(Data Dictionary) 정보를 사용하여 상기 해당 객체에 대한 메타 정보를 생성하는 동작 및 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하는 경우, 상기 해당 객체에 대한 메타 정보를 생성하지 않을 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작은, 상기 해당 객체에 대한 메타 정보가 생성된 경우, 상기 해당 객체와 관련된 SQL 연산 및 상기 메타 정보를 상기 CDC 파일에 기록할 것을 결정하는 동작 및 상기 해당 객체에 대한 메타 정보가 생성되지 않은 경우, 상기 해당 객체와 관련된 SQL 연산을 상기 CDC 파일에 기록할 것을 결정하는 동작을 더 포함할 수 있다.
본 개시의 다른 실시예에서 변경 데이터 캡쳐를 구현하기 위한 데이터베이스 서버가 개시된다. 상기 서버는 하나 이상의 코어를 포함하는 프로세서, 상기 프로세서에 의해 실행가능한 프로그램 코드들을 저장하는 메모리 및 소스 데이터베이스 서버 및 타겟 데이터베이스 서버와 데이터를 송수신하는 네트워크부를 포함하며, 상기 프로세서는, 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하고, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하고, 그리고 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다.
본 개시의 또 다른 실시예에서 변경 데이터 캡쳐를 구현하기 위한 방법이 개시된다. 상기 방법은, 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 단계, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 단계 및 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 단계를 포함할 수 있다.
본 개시는 데이터베이스 시스템에서의 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램을 제공할 수 있다.
다양한 양상들이 이제 도면들을 참조로 기재되며, 여기서 유사한 참조 번호들은 총괄적으로 유사한 구성요소들을 지칭하는데 이용된다. 이하의 실시예에서, 설명 목적을 위해, 다수의 특정 세부사항들이 하나 이상의 양상들의 총체적 이해를 제공하기 위해 제시된다. 그러나, 그러한 양상(들)이 이러한 구체적인 세부사항들 없이 실시될 수 있음은 명백할 것이다.
도 1은 본 개시의 일 실시예에 따른 데이터베이스 시스템에 대한 개략도를 도시한다.
도 2는 본 개시의 일 실시예에 따른 데이터베이스 시스템에서의 소스 데이터베이스 서버 및 타겟 데이터베이스 서버를 예시적으로 도시한다.
도 3은 본 개시의 일 실시예에 따른 소스 데이터베이스 서버(혹은 에이전트 서버)에서 수행되는 CDC 파일 생성 방법 예시적으로 도시한 순서도이다.
도 4는 본 개시의 일 실시예에 따른 소스 데이터베이스의 리메인 로그에 기초하여 리두 로그를 처리하는 방법을 예시적으로 도시한 순서도이다.
도 5는 본 개시의 일 실시예에 따른 소스 데이터베이스의 리메인 로그에 기초하여 리두 로그를 처리하는 방법을 예시적으로 도시한 순서도이다.
도 6은 본 개시의 일 실시예에 따른 소스 데이터베이스의 자원 사용률에 기초하여 리두 로그를 처리하는 방법을 예시적으로 도시한 순서도이다.
도 7은 본 개시의 일 실시예에 따른 소스 데이터베이스의 자원 사용률에 기초하여 리두 로그를 처리하는 방법을 예시적으로 도시한 순서도이다.
도 8은 본 개시의 일 실시예 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 9는 본 개시의 일 실시예 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 10은 본 개시의 일 실시예에 따라 데이터베이스 시스템에서 CDC를 수행하기 위한 수단을 도시한다.
도 11은 본 개시의 일 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도를 도시한다.
다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 개시의 이해를 제공하기 위해서 제시된다. 그러나, 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다.
본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있다. 일 컴포넌트는 하나의 컴퓨터 내에 로컬화 될 수 있다. 일 컴포넌트는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.
더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는"이라는 용어는, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.
당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시 적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시 적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.
온라인 혹은 아카이브 리두 로그를 판독 및 해석하여 변경 데이터를 추출하는 경우, 해당 정보는 메모리에 기록되거나 파일에 저장될 수 있다. 다만, 아카이브 리두 로그를 추출하고 있는 경우, 소스 데이터베이스에 거래가 많아져 타켓 데이터베이스로의 반영이 밀리거나, 타겟 데이터베이스에 장애가 생기거나, 또는 소스-타켓 시스템 사이의 네트워크가 지연되는 등의 상황이 발생하게 된다. 이런 상황에서 아카이브 리두 로그에서 추출된 변경 데이터를 메모리에 기록하는 경우, 아카이브 리두 로그가 물리적 저장 장치의 제한적 용량의 이유로 삭제될 수 있으며, 또한 CDC가 중단되면 휘발성인 메모리에 기록된 변경 데이터들은 사라지게 되어 CDC를 재 기동 하더라도 삭제된 아카이브 리두 로그에 존재하는 변경 데이터는 추출할 수 없게 된다. 이에 따라, 아카이브 리두 로그에서 변경 데이터를 추출하는 경우, 해당 정보를 파일에 저장해야 하는데 파일로 저장하게 되면, DISK I/O 및 CPU의 사용률이 증가하여 해당 시스템의 자원 사용률이 급격히 증가할 수 있다.
따라서, 추출의 결과물 즉, 변경 데이터를 리두 로그 및 아카이브 리두 로그로부터 추출함에 있어, 시스템의 자원 사용률과 추출 지연 사이의 균형을 맞추어 보다 효율적인 CDC를 구현하기 위한 기법이 필요하다.
도 1은 본 개시의 일 실시예에 따른 데이터베이스 시스템에 대한 개략도를 도시한다.
도 1에서 도시되는 바와 같이, 데이터베이스 시스템(10)은 소스 데이터베이스 서버(100), 타겟 데이터베이스 서버(200) 및 에이전트 서버(300)를 포함할 수 있다.
도 1에서 도시되지는 않았지만, 데이터베이스 시스템은 클라이언트를 더 포함할 수 있다. 클라이언트는 데이터베이스 서버들과 통신을 위한 매커니즘을 갖는 시스템에서의 임의의 형태의 노드(들)를 의미할 수 있다. 예를 들어, 이러한 클라이언트는 PC, 랩탑 컴퓨터, 워크스테이션, 단말 및/또는 네트워크 접속성을 갖는 임의의 전자 디바이스를 포함할 수 있다. 또한, 클라이언트는 에이전트, API(Application Programming Interface) 및 플러그-인(Plug-in) 중 적어도 하나에 의해 구현되는 임의의 서버를 포함할 수도 있다.
본 개시의 일 실시예에 따르면, 클라이언트로부터 발행된 쿼리에 따라서, 소스 데이터베이스 서버(100), 타켓 데이터베이스 서버(200) 및/또는 에이전트 서버(300)의 후술될 동작들이 수행될 수 있다.
데이터베이스 서버들(100 및 200)은, 예를 들어, 마이크로프로세서, 메인프레임 컴퓨터, 디지털 싱글 프로세서, 휴대용 디바이스 및 디바이스 제어기 등과 같은 임의의 타입의 컴퓨터 시스템 또는 컴퓨터 디바이스를 포함할 수 있다. 이러한 데이터베이스 서버들(100 및 200) 각각은, 도시되지는 않았지만, DBMS(Database Management System) 및/또는 영구 저장 매체(persistent storage)를 포함할 수 있다.
본 명세서에서의 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 데이터베이스 시스템(10)에서의 임의의 형태의 노드(node)들을 의미할 수 있다. 추가적인 실시예로서, 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 하나의 데이터베이스 서버에 통합되어 관리 및/또는 클러스터링될 수도 있다. 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 하나의 데이터베이스 서버에 통합되어 서로 연계된 다중 데이터베이스를 구성할 수도 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 서로 원격에 위치한 이종의 데이터베이스 서버를 의미할 수도 있다. 더불어, 도 1에서는 2개의 데이터베이스 서버들을 도시하고 있으나, 이보다 많은 데이터베이스 서버들 또한 본 발명의 범위에 포함될 수도 있다.
도 1에서는 도시되지 않았지만, 데이터베이스 서버들(100 및 200)은 버퍼 캐시를 포함하는 하나 이상의 메모리를 포함할 수 있다. 또한, 도 1에서는 도시되지 않았지만, 데이터베이스 서버(100 및 200)는 하나 이상의 프로세서를 포함할 수 있다. 따라서, 데이터베이스 서버 내의 DBMS는 상기 메모리 상에서 상기 프로세서에 의하여 동작될 수 있다.
여기서, 메모리는 동적 램(DRAM, dynamic random access memory), 정적 램(SRAM, static random access memory) 등의 랜덤 액세스 메모리(RAM)와 같은, 프로세서가 직접 접근하는 주된 저장 장치로서 전원이 꺼지면 저장된 정보가 순간적으로 지워지는 휘발성(volatile) 저장 장치를 의미할 수 있지만, 이들로 한정되는 것은 아니다. 이러한 메모리는 프로세서에 의하여 동작 될 수 있다. 메모리는 데이터 값을 포함하는 데이터 테이블 및/또는 트랜잭션에 따른 로그 레코드들을 저장할 수 있다. 예를 들어, 로그 레코드들을 메모리의 별도의 트랜잭션 로그 저장을 담당하는 별도의 구성요소에 저장될 수도 있다. 본 명세서에서의 트랜잭션이란, 통상적으로 정보의 교환이나 데이타베이스 업데이트 등과 같은 일련의 작업들에 대한 연속적인 처리단위를 의미할 수 있다. 이러한 트랜잭션은, 데이타베이스의 무결성(integrity)이 보장되는 상태에서 요청된 작업을 완수하기 위한 작업의 기본 단위를 나타낸다. 본 개시내용에서의 리두 로그 데이터는 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경내용(예컨대, 테이블, 컬럼(column), 로우(row), 데이터 타입, 인덱스 등에 관련 변경 내용을 식별할 수 있는 데이터 레코드를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 데이터 테이블의 데이터 값 및/또는 로그 레코드들은 메모리로부터 영구 저장 매체에 기록될 수 있다. 추가적인 양상에서, 메모리는 버퍼 캐시를 포함하며, 상기 버퍼 캐시의 블록에는 이러한 데이터 및/또는 로그 레코드들이 저장될 수 있다. 상기 데이터 및/또는 로그 레코드들은 백그라운드 프로세스에 의하여 영구 저장 매체에 기록될 수 있다.
데이터베이스 서버 내의 영구 저장 매체는, 예를 들어 자기(magnetic) 디스크, 광학(optical) 디스크 및 광자기(magneto-optical) 저장 디바이스뿐만 아니라 플래시 메모리 및/또는 배터리-백업 메모리에 기초한 저장 디바이스와 같은, 임의의 데이터를 지속적으로 할 수 있는 비-휘발성(non-volatile) 저장 매체를 의미한다. 이러한 영구 저장 매체는 다양한 통신 수단을 통하여 데이터베이스 서버들(100 및 200)의 프로세서 및 메모리와 통신할 수 있다. 추가적인 실시예에서, 이러한 영구 저장 매체는 데이터베이스 서버(100 및 200) 외부에 위치하여 데이터베이스 서버(100 및 200)와 통신 가능할 수도 있다.
DBMS는 데이터베이스 서버(100 및 200)에서 필요한 데이터를 검색, 삽입, 수정, 삭제 및/또는 로그 레코드 관리 등과 같은 동작들을 수행하는 것을 허용하기 위한 프로그램으로서, 전술한 바와 같이, 데이터베이스 서버(100 및 200)의 메모리에서 프로세서에 의하여 구현될 수 있다.
클라이언트와 데이터베이스 서버들(100 및 200) 또는 데이터베이스 서버들(100 및 200)은 네트워크(미도시)를 통하여 서로 통신할 수 있다. 본 발명의 일 실시예에 따른 네트워크는 공중전화 교환망(PSTN:Public Switiched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.
또한, 본 명세서에서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다. 추가적인 실시예로서, 본 명세서에서의 네트워크는 데이터베이스 링크(dblink)를 포함할 수도 있으며, 이에 따라 데이터베이스 서버들(100 및 200)은 이러한 데이터베이스 링크를 통해 서로 통신하여 이로부터 또는 다른 데이터베이스 서버로부터의 데이터/로그 레코드들을 가져올 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
도 1에서 도시되는 바와 같이, 소스 데이터베이스 서버(100)는 타겟 데이터베이스 서버(200)의 원격에 위치할 수 있다. 또한, 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 동일 타입의 서버들이거나 또는 서로 호환되지 않는 이기종의(heterogeneous) 데이터베이스 서버를 의미할 수 있다.
추가적으로, 소스 데이터베이스 서버(100)는 임의의 타입의 데이터베이스로서 명령들을 실행 및 저장하기 위한 프로세서 및 메모리를 포함하는 디바이스를 포함할 수 있으나 이로 한정되지는 않는다. 즉, 소스 데이터베이스는 소프트웨어, 펌웨어 및 하드웨어 또는 이들의 조합을 포함할 수도 있다. 소프트웨어는 데이터베이스 테이블, 스키마, 인덱스 및/또는 데이터를 생성, 삭제 및 수정하기 위한 애플리케이션(들)을 포함할 수 있다. 소스 데이터베이스 서버(100)는 클라이언트 또는 다른 컴퓨팅 디바이스로부터의 트랜잭션들을 수신할 수 있으며, 예시적인 트랜잭션들은 소스 데이터베이스 서버(100)에서의 데이터, 테이블 및/또는 인덱스 등을 검색, 추가, 수정 및/또는 삭제하는 것을 포함할 수 있다.
타겟 데이터베이스 서버(200)는 소스 데이터베이스 서버(100)에서 발생된 데이터 변경 내용이 복제 또는 동기화되는 데이터베이스 서버를 의미하며, 전술한 소스 데이터베이스 서버(100)의 특징의 적어도 일부분을 포함할 수 있다. 예를 들어, 타겟 데이터베이스 서버(200)는 소스 데이터베이스 서버(100)의 데이터, 데이터 타입들, 테이블들, 인덱스들 및/또는 로그 레코드들에 대한 복사본을 저장할 수 있다.
본 명세서에서의 로그 레코드는 데이터베이스 내의 데이터의 구조, 조직에 대한 변경내용 및/또는 테이블, 컬럼, 데이터 타입, 인덱스, 데이터 등과 관련된 변경 내용을 식별할 수 있는 데이터 레코드를 의미할 수 있다. 이러한 리두 로그는 트랜잭션 혹은 연산을 고유하게 식별하기 위한 정보 및/또는 상기 트랜잭션 혹은 연산에 따라 변경된 데이터 레코드를 식별하기 위한 정보를 의미할 수 있다.
본 개시의 일 실시예에 따르면, 에이전트 서버(300)는 소스 데이터베이스 서버(100)와 타겟 데이터베이스 서버(200)간의 CDC를 구현하기 위한 별도의 엔티티를 의미할 수 있다. 따라서, 에이전트 서버(300)는 CDC를 구현하기 위한 임의의 동작들을 수행할 수 있다. 예를 들어, 에이전트 서버(300)는 본 개시내용에서 소스 데이터베이스 서버(100)로부터 데이터를 수신 및 처리한 다음에, 타겟 데이터베이스 서버(200)로 송신하여, 타겟 데이터베이스 서버(200)에서 변경 데이터가 적용될 수 있도록 허용할 수 있다.
에이전트 서버(300)는 임의의 타입의 서버로서 명령들을 실행 및 저장하기 위한 프로세서 및 메모리를 포함하는 디바이스를 포함할 수 있으나 이로 한정되지는 않는다. 에이전트 서버(300)는 소프트웨어, 펌웨어 및 하드웨어 또는 이들의 조합을 포함할 수도 있다. 예를 들어, 에이전트 서버(300)의 동작 들을 구현하는 소프트웨어는 소스 데이터베이스 서버(100) 및/또는 타겟 데이터베이스 서버(200)에 설치될 수 있다. 이러한 예시에서, CDC 모듈은 소스 데이터베이스 서버(100) 및/또는 타겟 데이터베이스 서버(200)에 설치되어, 소스 데이터베이스 서버(100)와 타겟 데이터베이스 서버(200) 간의 CDC 특징들이 구현될 수 있도록 허용할 수 있다.
도 1에서 도시되는 에이전트 서버(300)의 기능들은 소스 데이터베이스 서버(100) 및/또는 타겟 데이터베이스 서버(200)에 일부분으로 통합될 수도 있다. 예를 들어, 에이전트 서버(300)의 CDC 기능은 타겟 데이터베이스 서버(200)에 의해 대체될 수 있다.
도 2는 본 개시의 일 실시예에 따른 데이터베이스 시스템에서의 소스 데이터베이스 서버 및 타겟 데이터베이스 서버를 예시적으로 도시한다.
도 2에서 도시되는 바와 같이, 소스 데이터베이스 서버(100)는 프로세서(110), 메모리(120) 및 네트워크부(130)를 포함할 수 있다. 전술한 컴포넌트들은 예시적인 것으로서 본 개시내용의 권리범위가 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 개시내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100)는 타겟 데이터베이스 서버(200) 및 에이전트 서버(300)와 데이터를 송수신하는 네트워크부(130)를 포함할 수 있다. 또한, 네트워크부(130)는 데이터베이스 서버들(110 및 120)의 통신 기능 그리고/또는 클라이언트와의 통신 기능을 제공할 수 있다. 예를 들어, 네트워크부(130)는 소스 데이터베이스 서버(100)의 외부에 위치하는 경우, 추출된 로그 레코드들을 소스 데이터베이스 서버(100)로부터 수신할 수 있다. 네트워크부(130)는 임의의 네트워크 및/또는 데이터베이스 링크를 이용하여 데이터베이스 서버들(110 및 120) 간의 통신을 허용할 수 있다. 네트워크부(130)는 클라이언트로부터의 입력을 수신할 수 있다. 예를 들어, 네트워크부(130)는 클라이언트로부터 데이터 저장, 변경 및 조회 그리고 인덱스 빌드, 변경 및 조회와 관련된 요청을 수신할 수 있다. 추가적으로, 네트워크부(130)는 데이터베이스 서버로 프로시저를 호출하는 방식으로 데이터베이스 서버들 간의 정보 전달을 허용할 수 있다. 또한, 네트워크부(130)는 데이터베이스 복제와 관련하여 데이터베이스 서버들 간에 전달되는 임의의 데이터/정보를 송수신하는 기능을 제공할 수 있다.
네트워크부(130)는 전달받은 CDC 파일 혹은 CDC 파일에 기록된 정보를 타겟 데이터베이스 서버(100)로 송신할 수 있다. 네트워크부(130)는 CDC 파일 또는 CDC 파일에 기록된 정보가 타겟 데이터베이스 서버(200)에 적합한 포맷으로 변환하고 변환된 포맷을 타겟 데이터베이스 서버(200)로 송신할 수도 있다.
본 개시의 일 실시예에 따르면, 메모리(120)는 추출된 로그 레코드를 저장하는 등과 같이 본 개시내용의 실시예들에 따른 CDC 특징을 수행하는 것과 관련되어 저장되는 임의의 데이터를 저장할 수 있다. 메모리(120)는 DBMS 및/또는 영구저장매체에 포함될 수 있다. 추가적으로, 메모리(120)는 업데이트 요청과 관련된 저장을 수행할 수 있다. 메모리(120)는 데이터 테이블 및 인덱스 테이블 등을 저장할 것을 결정할 수 있다. 메모리(120)는 데이터에 대해서 데이터 테이블 상에서의 저장 위치 그리고 영구저장매체 상에서의 저장 위치를 결정할 수도 있다.
프로세서(110)는 소스 데이터베이스 서버(100)에서 처리되는 트랜잭션에 대한 정보를 포함하는 리두 로그를 적어도 하나의 리두 로그 저장소에 저장할 수 있다. 리두 로그는 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경내용(예컨대, 테이블, 칼럼, 로우, 데이터 타입, 인덱스 등)을 식별할 수 있는 데이터 레코드를 포함할 수 있다. 즉, 프로세서(110)는 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경에 따라 발생한 트랜잭션에 대한 정보를 포함하는 리두 로그를 하나 이상의 온라인 리두 로그 저장소에 차례로 저장할 수 있으며, 하나 이상의 온라인 리두 로그 저장소에 리두 로그가 모두 포화되는 경우, 처음 온라인 리두 로그 저장소에 새로 발생한 리두 로그를 저장할 수 있다. 이 경우, 프로세서(110)는 기존 처음 리두 로그 저장소에 먼저 저장된 리두 로그를 추출하여 아카이브 리두 로그로써 저장할 수 있다. 즉, 처음 리두 로그 저장소에 새로 발생한 리두 로그를 저장하는 경우, 기존 저장된 리두 로그에 대한 기록을 손실할 우려가 있으므로, 프로세서(110)는 기존 저장된 리두 로그를 아카이브 리두 로그로써 추출하게 된다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출할 수 있다. 구체적으로, 프로세서(110)는 소스 데이터베이스 시스템에서 처리되는 트랜잭션에 대한 정보를 포함하는 리두 로그(온라인 및/또는 아카이브 리두 로그)를 판독 및 해석함으로써 그리고/또는 소스 데이터베이스 시스템에서 데이터의 변경을 식별함으로써, 변경 데이터를 추출할 수 있다.
또한, 프로세서(110)는 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석할 수 있다. 리메인 로그 정보는 변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나에 관한 정보일 수 있다. 구체적으로, 리메인 로그 정보는, 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경에 따라 발생한 트랜잭션에 대한 정보를 포함하는 리두 로그(온라인 및/또는 아카이브 리두 로그)와 프로세서(110)에 의해 상기 리두 로그 중 적어도 일부로부터 추출된 변경 데이터의 차이에 관한 정보일 수 있다.
예를 들어, 리메인 로그 정보는 데이터베이스 내에서 데이터 변경에 대한 트랜잭션에 대한 정보를 포함하는 리두 로그의 크기와 상기 리두 로그의 적어도 일부로부터 추출되어 생성된 변경 데이터의 크기의 차이에 관한 정보일 수 있다. 클라이언트로부터 데이터 변경에 대한 트랜잭션을 수신하고, 해당 트랜잭션에 대응하는 리두 로그의 크기가 100MB이며, 상기 리두 로그 중 적어도 일부가 프로세서(110)에 의해 추출되어 생성된 변경 데이터의 크기가 20MB인 경우, 리메인 로그 정보는 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출되어 생성된 변경 데이터의 크기의 차이인 80MB에 대한 정보를 포함할 수 있다. 전술한 리두 로그의 크기에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
다른 예를 들어, 리메인 로그 정보는 데이터베이스 내에서 데이터 변경에 대응하여 실시간 보유되는 리두 로그의 식별 번호와 상기 리두 로그의 적어도 일부가 추출되어 생성되는 변경 데이터의 식별 번호의 차이에 대한 정보일 수 있다. 실시간 보유된 리두 로그의 식별 번호가 100(즉, 100개에 해당하는 트랜잭션에 대응하여 100개의 리두 로그가 보유된 경우)이며, 가장 최근 상기 리두 로그 중 적어도 일부로부터 추출되어 생성된 변경 데이터의 식별 번호 20인 경우, 리메인 로그 정보는 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출되어 생성된 변경 데이터의 식별 번호의 차이가 80이라는 정보를 포함할 수 있다. 다시 말해, 리메인 정보는, 100개에 해당하는 트랜잭션에 대응하여 생성된 리두 로그 각각의 식별 번호를 통해 실시간 저장되는 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터와의 차이를 식별할 수 있는 정보를 포함할 수 있다. 전술한 리두 로그의 식별 번호의 구체적인 수치에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
자원 사용률 정보는, 소스 데이터베이스가 현재 사용하는 컴퓨팅 자원에 대한 정보일 수 있으며, 예를 들어, Disk I/O(디스크 입출력 사용률), CPU 사용률 및 메모리 사용률에 대한 정보를 포함할 수 있다.
즉, 소스 데이터베이스 서버(100)는 소스 데이터베이스 서버(100)의 리메인 로그 정보 및 자원 사용률 정보를 분석함으로써, 상기 소스 데이터베이스 서버(100)가 효율적인 CDC를 수행하도록 할 수 있다. 이하에서는 소스 데이터베이스 서버(100)가 리메인 로그 정보 및 자원 사용률 정보를 분석 및 획득함으로써, 소스 데이터베이스 서버(100)에서 리두 로그를 효율적으로 처리하는 방법에 대하여 후술하도록 한다.
프로세서(110)는 소스 데이터베이스 서버(100)의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 아카이브 리두 로그를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다.
프로세서(110)는 온라인 리두 로그 및 아카이브 리두 로그를 판독 및 해석함으로써, 변경 데이터를 추출할 수 있다. 다만, 프로세서(110)가 리두 로그 저장소로부터 아카이브 리두 로그를 추출하고 있는 경우, 소스 데이터 데이터베이스 서버(100)의 거래가 많아져 타겟 데이터베이스 서버(200)로의 반영이 밀리거나, 타겟 데이터베이스 서버(200)에 장애가 발생하거나, 또는 소스-타겟 사이의 네트워크가 지연되는 등 시스템의 지연을 초래할 수 있다. 이에 따라, 아카이브 리두 로그로부터 추출된 변경 데이터를 파일화함으로써, 데이터베이스 시스템의 지연을 미연에 방지할 수 있다. 다만, 변경 데이터를 파일화하는 경우, 디스크 I/O 및 CPU의 사용률이 증가하여 데이터베이스 시스템의 자원을 과도하게 사용하게 된다.
즉, 프로세서(110)는 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 변경 데이터에 대한 처리를 제 1 모드 및 제 2 모드를 전환함으로써, 아카이브 리두 로그를 추출하는 경우 발생하는 시스템 상의 지연과 변경 데이터를 파일화하여 저장하는 경우 발생하는 과도한 시스템 자원 사용 사이의 균형을 조정할 수 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100)는 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다.
구체적으로, 프로세서(110)는 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 변경 데이터를 제 1 모드 및 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다. 리메인 로그 임계치는, 변경 데이터로 추출이 필요한 리두 로그의 기준이 되는 임계치에 대한 정보일 수 있다. 구체적으로, 데이터베이스에 실시간 보유된 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 차이에 대한 허용치에 관한 정보를 포함할 수 있다. 자원 사용률 임계치 정보는, 아카이브 리두 로그를 CDC 파일로 저장하기 위해 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준일 수 있다.
프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 아카이브 리두 로그를 제 1 모드로 처리할 수 있다. 구체적인 예를 들어, 리메인 로그 정보가, 실시간 보유된 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 크기의 차이인 80MB에 대한 정보를 포함하며, 리메인 로그 임계치가, 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 크기 차이의 허용치가 60MB에 대한 정보를 포함하는 경우, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 것으로 판단하여, 변경 데이터를 제 1 모드로 처리할 수 있다. 전술한 리메인 로그 정보 및 리메인 로그 임계치의 구체적인 수치에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
다른 예를 들어, 리메인 로그 정보가, 실시간 보유된 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 식별 번호의 차이가 80이라는 정보를 포함하며, 리메인 로그 임계치가, 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 식별번호 차이의 허용치가 70에 대한 정보를 포함하는 경우, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 것으로 판단하여, 변경 데이터를 제 1 모드로 처리할 수 있다. 전술한 리메인 로그 정보 및 리메인 로그 임계치의 구체적인 수치에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 변경 데이터가 처리되는 모드에 기초하여 자원 사용률을 재설정할 것을 결정하는 동작 및 제 2 모드를 제 1 모드로 전환하는 동작 중 적어도 하나의 동작을 수행할 것을 결정할 수 있다. 이에 대한 구체적인 설명은 도 5를 참조하여 이하에서 후술하도록 한다.
도 5를 참조하면, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 시점을 식별할 수 있다(610). 리메인 로그 정보가 리메인 로그 임계치는 초과하는 것은, 실시간 보유되는 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 차이가 비교적 크다는 것(즉, 리두 로그와 변경 데이터의 차이가 리메인 로그 임계치를 벗어남)을 의미할 수 있다. 즉, 리두 로그(온라인 및/또는 아카이브 리두 로그)로부터 추출된 변경 데이터가 적은 것이며, 이는 소스 데이터베이스 서버(100)의 현재 메모리 상에 리두 로그 저장소로부터 추출된 아카이브 리두 로그의 보유량이 많다는 것을 의미할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 하나의 모드로 처리되고 있음을 식별할 수 있다(620). 다시 말해, 프로세서(110)는 현재 메모리 상에 추출된 아카이브 리두 로그의 보유량이 많은 상황에서, 해당 변경 데이터가 CDC 파일로 저장(즉, 제 1 모드)되고 있는지 또는 메모리에 기록(즉, 제 2 모드)되고 있는지를 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(620) 변경 데이터가 현재 제 1 모드로 처리되고 있지 않은 경우(즉, 변경 데이터가 메모리에 기록되는 제 2 모드로 처리되고 있는 경우), 변경 데이터가 제 1 모드로 처리되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(622). 자세히 설명하면, 리메인 로그 정보가 리메인 로그 임계치를 초과하며, 변경 데이터가 제 2 모드로 처리되고 있는 상황은, 현재 메모리 상에 아카이브 리두 로그가 많이 보유되어 있음(즉, 온라인 리두 로그와 아카이브 리두 로그의 차이가 커짐)에도 불구하고, 변경 데이터(온라인 및/또는 아카이브 리두 로그로부터 추출된 변경 데이터)를 계속해서 메모리에 기록하는 제 2 모드로 처리하는 상황일 수 있다. 아카이브 리두 로그는 보관주기(예컨대 1일, 1주 및 1달 등)가 존재하며, 상기 보관주기 이후 아카이브 리두 로그는 다른 시스템으로 백업되거나 삭제될 수 있다. 이에 따라, 리두 로그를 통해 CDC를 수행하는 경우, 최대한 빠르게 아카이브 리두 로그를 파일로 저장하여 온라인 리두 로그를 따라가는 것이 중요하다. 즉, 변경 데이터는 아카이브 리두 로그로부터 추출되는 변경 데이터를 포함함으로, 프로세서(110)는 상기와 같은 상황에서 변경 데이터(즉, 아카이브 리두 로그로부터 추출된 변경 데이터)가 제 1 모드로 처리되도록 제 2 모드를 제 1 모드로 전환함으로써, 아카이브 리두 로그로부터 추출된 변경 데이터가 데이터베이스 시스템에서 실시간 처리되는 트랜잭션에 대한 정보를 포함하는 온라인 리두 로그를 따라가도록 할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하며, 변경 데이터가 현재 제 1 모드로 처리되고 있음을 식별할 수 있다. 프로세서(110)는 변경 데이터가 현재 제 1 모드(즉, 아카이브 리두 로그가 CDC 파일로써 저장)로 처리되고 있는 경우, 자원 사용량을 재설정하는 동작을 수행할 수 있다(621). 자세히 설명하면, 리메인 로그 정보가 리메인 로그 임계치를 초과하며, 변경 데이터가 제 1 모드로 처리되고 있는 상황은, 현재 메모리 상에 아카이브 리두 로그가 많이 보유(즉, 리두 로그와 변경 데이터의 차이가 커짐)되고 있으며, 변경 데이터를 파일로써 저장하는 제 1 모드로 처리하는 상황일 수 있다. 다시 말해, 현재 메모리 상에 많이 보유된 아카이브 리두 로그로부터 추출한 변경 데이터를 현재 파일로 저장하여 처리하는 제 1 모드를 수행하고 있음에도 불구하고, 온라인 리두 로그 및 아카이브 리두 로그로부터 추출된 변경 데이터의 차이가 발생(즉, 메모리에 아카이브 리두 로그의 보유량이 많음)하는 상황일 수 있다. 이에 따라, 프로세서(110)는 현재 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위해 사용 가능한 자원이 부족한 것으로 판단하여 자원 사용률 임계치를 재설정할 수 있다. 자원 사용률 임계치를 재설정하는 것은, 예를 들어, 변경 데이터를 제 1 모드로 처리하기 위해 CPU 자원을 추가적으로 부여하는 것일 수 있다. 추가적인 실시예에서, 프로세서(110)는 클라이언트로 하여금 해당 동작을 수행하기 위해 추가적인 자원을 할당하도록 하는 알림 신호를 생성하여 클라이언트에게 전송할 수도 있다. 전술한 자원 사용량 임계치 재설정에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 변경 데이터가 처리되는 모드에 기초하여 자원 사용량을 재설정할 것을 결정하는 동작, 제 2 모드를 제 1 모드로 전환하는 동작 및 제 1 모드를 유지하는 동작 중 적어도 하나의 동작을 수행할 것을 결정할 수 있다. 이에 대한 구체적인 설명은 도 4를 참조하여 이하에서 후술하도록 한다.
도 4를 참조하면, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치 이하인 시점을 식별할 수 있다(510). 리메인 로그 정보가 리메인 로그 임계치 이하인 것은, 리두 로그와 변경 데이터의 차이가 적다는 것(즉, 리두 로그와 변경 데이터의 차이가 리메인 로그 임계치 이하임)을 의미할 수 있다. 즉, 리두 로그(이 경우, 아카이브 리두 로그)로부터 추출된 변경 데이터가 많은 것이며, 이는 소스 데이터베이스 서버(100)의 현재 메모리 상에 보유된 아카이브 리두 로그가 비교적 적은(즉, 아카이브 리두 로그와 온라인 리두 로그의 차이가 비교적 적은 상황)한 것을 의미할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 임계치 이하인 경우, 자원 사용률 정보가 자원 사용량 임계치 이하인지 여부를 식별할 수 있다(520). 리메인 로그 정보가 리메인 임계치 이하이며, 자원 사용률 정보가 자원 사용량 임계치 이하인 것은, 현재 메모리 상에 비교적 적은 아카이브 리두 로그를 보유하고 있으며, 아카이브 리두 로그를 제 1 모드로 처리하기 위한 자원이 적정한 상황을 의미할 수 있다. 즉, 리두 로그와 변경 데이터의 차이가 적으며, 변경 데이터를 CDC 파일로 저장하기 위한 자원이 충분한 상황일 수 있다.
이 경우, 프로세서(110)는 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(530). 다시 말해, 프로세서(110)는 현재 메모리 상에 아카이브 리두 로그의 보유량이 적으며, 아카이브 리두 로그를 제 1 모드로 처리하기 위한 자원이 적정하다고 판별된 시점에서, 변경 데이터가 CDC 파일로 저장(즉, 제 1 모드)되고 있는지 또는, 메모리에 기록(제 2 모드)되고 있는지를 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(530) 변경 데이터가 현재 제 1 모드로 처리되고 있지 않은 경우(즉, 변경 데이터가 메모리에 기록되는 제 2 모드로 처리되고 있는 경우), 변경 데이터가 제 1 모드로 처리되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(532). 자세히 설명하면, 리메인 로그 정보가 리메인 로그 임계치 이하이며, 자원 사용률 정보가 자원 사용률 임계치 이하이고, 그리고 변경 데이터가 제 2 모드로 처리되고 있는 것은, 현재 메모리 상에 아카이브 리두 로그의 보유량이 적으며, 리두 로그로부터 추출된 변경 데이터를 제 1 모드로 처리하기 위한 자원이 충분한 상황에서 변경 데이터를 메모리에 기록하는 제 2 모드로 처리하고 있는 것일 수 있다. 이 경우, 프로세서(110)는 변경 데이터가 제 1 모드로 처리되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(532). 즉, 변경 데이터는 아카이브 리두 로그로부터 추출되어 생성되는 변경 데이터를 포함함으로, 아카이브 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장(제 1 모드)함으로써, 데이터베이스 시스템에서 실시간 처리되는 트랜잭션에 대한 정보를 포함하는 온라인 리두 로그를 따라가도록 할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치 이하이며, 자원 사용률 정보가 자원 사용률 임계치 이하이고, 그리고 변경 데이터가 제 1 모드로 처리되고 있는 경우, 추가적으로 생성되는 변경 데이터를 제 1 모드로 처리하도록 제 1 모드를 유지할 수 있다(531).
즉, 프로세서(110)는 리메인 로그 정보와 자원 사용률 정보 모두 각각의 임계치 이하인 경우(즉, 리두 로그와 아카이브 리두 로그의 차이가 적고, 그리고 변경 데이터를 파일로 저장하기 위한 충분한 자원이 확보된 경우), 변경 데이터를 CDC 파일로 저장하는 제 1 모드로 처리할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 자원 사용률 정보가 자원 사용률 임계치를 초과하는 것을 식별할 수 있다. 리메인 로그 정보가 리메인 로그 임계치 이하이며, 자원 사용률 정보가 자원 사용량 임계치를 초과하는 것은, 현재 메모리 상에 비교적 적은 아카이브 리두 로그를 보유하고 있으며, 변경 데이터를 제 1 모드로 처리하기 위한 자원이 부족한 것을 의미할 수 있다. 즉, 리두 로그 저장소로부터 아카이브 리두 로그의 추출이 적어 시스템의 지연이 발생하지 않으나, 변경 데이터를 CDC 파일로 저장하기 위한 자원이 충분하지 못한 것일 수 있다.
이 경우, 프로세서(110)는 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(540). 다시 말해, 프로세서(110)는 현재 메모리 상에 아카이브 리두 로그의 보유량이 적으며, 변경 데이터를 제 1 모드로 처리하기 위한 자원이 부족하다고 판별된 시점에서, 변경 데이터가 CDC 파일로 저장되는 제 1 모드 및 메모리에 기록되는 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(540) 변경 데이터가 현재 제 1 모드로 처리되고 있는 경우, 변경 데이터가 제 2 모드로 처리되도록 상기 제 1 모드를 제 2 모드로 전환할 수 있다(541). 즉, 프로세서(110)는 상기와 같은 상황에서 리두 로그와 변경 데이터의 차이가 적으며(즉, 온라인 리두 로그와 아카이브 리두 로그로부터 추출된 변경 데이터의 차이가 적음), 변경 데이터를 CDC 파일로 저장하기 위한 자원이 충분하지 못한 것으로 판단하여, 시스템 자원의 사용량이 많은 제 1 모드에서 시스템 자원의 사용량이 적은 제 2 모드로 전환하여 변경 데이터를 제 2 모드로 처리할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(540) 변경 데이터가 현재 제 2 모드로 처리되고 있는 경우, 자원 사용률 임계치를 재설정하기 위하여 소스 데이터 베이스 서버의 가용 자원을 식별할 수 있다(542).
또한, 프로세서(110)는 자원 사용률 임계치를 재설정하기 위해 소스 데이터베이스 서버의 가용 자원이 충분한 것으로 식별한 경우(즉, 소스 데이터베이스에 할당할 수 있는 추가적인 자원이 존재하는 경우), 소스 데이터베이스 서버(100)에 추가적인 자원을 할당하여 자원 사용률의 임계치를 재설정하도록 할 수 있다. 즉, 이러한 경우는 자원 사용률 임계치가 너무 낮게 설정되어 현재 소스 데이터베이스 서버(100)의 가용 자원이 많음에도 불구하고 변경 데이터에 대한 처리를 수행하지 않는 상황일 수 있다. 따라서, 가용 자원이 많이 있는 경우에는 자원 사용률 임계치를 재설정하여, 변경 데이터가 CDC 파일로 저장되도록 할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 변경 데이터를 제 2 모드로 처리할 수 있다. 자원 사용률 임계치는, 변경 데이터를 CDC 파일로 저장하기 위해 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준이 되는 임계치일 수 있다. 자원 사용률 임계치는 클라이언트에 의해 사전 결정될 수 있다. 이에 대한 구체적인 설명은, 도 7을 참조하여 후술하도록 한다.
도 7을 참조하면, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치를 초과하는 시점을 식별할 수 있다(810). 자원 사용률 정보가 자원 사용률 임계치를 초과하는 것은, 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위한 자원이 부족하다는 것을 의미할 수 있다.
또한, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(820). 다시 말해, 프로세서(110)는 현재 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위한 자원이 부족한 상황에서, 해당 변경 데이터가 CDC 파일로 저장되는 제 1 모드로 처리되고 있는지 또는, 메모리에 기록되는 제 2 모드로 처리되고 있는지를 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과 변경 데이터가 현재 CDC 파일로 저장(즉, 제 1 모드)되고 있는 경우, 변경 데이터가 제 2 모드로 처리되도록 상기 제 1 모드를 제 2 모드로 전환할 수 있다(821). 자세히 설명하면, 자원 사용률 정보가 자원 사용률 임계치를 초과하며, 변경 데이터가 제 1 모드로 처리되고 있는 상황은, 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위한 자원이 부족한 상황에서, 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하는 상황일 수 있다. 해당 상황이 지속되는 경우, Disk I/O 및 CPU 사용률이 증가하여 소스 데이터베이스 서버(100)의 컴퓨팅 자원의 사용량이 증가할 수 있다. 즉, 프로세서(110)는 상기와 같은 상황에서 변경 데이터가 제 2 모드로 처리되도록 제 1 모드를 제 2 모드로 전환함으로써, 소스 데이터베이스 서버(100)에서 소비되는 컴퓨팅 자원을 최소화할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 변경 데이터가 처리되는 모드에 기초하여 자원 사용량을 재설정할 것을 결정하는 동작, 제 2 모드를 제 1 모드로 전환하는 동작 및 제 1 모드를 유지하는 동작 중 적어도 하나의 동작을 수행할 것을 결정할 수 있다. 이에 대한 구체적인 설명은 도 6을 참조하여 이하에서 후술하도록 한다.
도 6을 참조하면, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치 이하인 시점을 식별할 수 있다(710). 자원 사용률 정보가 자원 사용률 임계치 이하인 것은, 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위한 자원이 충분하다는 것을 의미할 수 있다.
또한, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 리메인 로그 정보가 리메인 임계치 이하인지 여부를 식별할 수 있다(720). 프로세서(110)는 상기 식별 결과(720) 리메인 로그 정보가 리메인 임계치 이하인 경우, 프로세서(110)는 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(730).
또한, 프로세서(110)는 상기 식별 결과(730) 변경 데이터가 현재 제 1 모드로 처리되고 있지 않은 경우(즉, 변경 데이터가 메모리에 기록되는 제 2 모드로 처리되고 있는 경우), 변경 데이터가 제 1 모드로 처리되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(732).
또한, 프로세서(110)는 상기 식별 결과(730) 변경 데이터가 현재 제 2 모드로 처리되고 있는 경우, 추가적으로 생성되는 변경 데이터를 제 1 모드로 처리하도록 제 1 모드를 유지할 수 있다(731).
즉, 프로세서(110)는 리메인 로그 정보와 자원 사용률 정보 모두 각각의 임계치 이하인 경우(즉, 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 차이가 적고, 그리고 변경 데이터를 CDC 파일로 저장하기 위한 충분한 자원이 확보된 경우)에서, 변경 데이터를 CDC 파일로 저장하는 제 1 모드로 처리되도록 제 1 모드를 유지하거나, 또는 제 2 모드를 제 1 모드로 전환할 수 있다.
또한, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 리메인 로그 정보가 리메인 로그 임계치를 초과하는 것을 식별할 수 있다. 자원 사용률 정보가 자원 사용률 임계치 이하이며, 리메인 로그 정보가 리메인 로그 임계치를 초과하는 것은, 변경 데이터를 제 1 모드로 처리하기 위한 자원은 충분하지만, 현재 메모리 상에 많은 아카이브 리두 로그를 보유하고 있다는 것을 의미할 수 있다. 즉, 변경 데이터를 CDC 파일로 저장하기 위한 자원이 충분하지만, 리두 로드와 상기 리두 로드로부터 추출된 변경 데이터의 차이가 큰 상황(즉, 아카이브 리두 로그가 온라인 리두 로그를 따라가지 못하는 상황)일 수 있다.
이 경우, 프로세서(110)는 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(740). 다시 말해, 프로세서(110)는 변경 데이터를 제 1 모드로 처리하기 위한 자원이 충분하며, 현재 메모리 상에 아카이브 리두 로그의 보유량이 많다고 판별된 시점에서, 변경 데이터가 CDC 파일로 저장되는 제 1 모드 및 메모리에 기록되는 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(740), 변경 데이터가 현재 제 2 모드로 처리되고 있는 경우, 변경 데이터가 CDC 파일로 저장되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(742). 즉, 자원 사용량 정보가 자원 사용량 임계치 이하이며, 리메인 로그 정보가 리메인 로그 임계치를 초과하고, 그리고 변경 데이터가 제 1 모드로 처리되고 있는 경우, 프로세서(110)는 변경 데이터를 제 1 모드로 처리하기 위한 자원이 충분하며, 현재 메모리 상에 많은 아카이브 리두 로그가 보유된 것으로 판단하여, 변경 데이터를 CDC 파일로써 저장하는 제 1 모드를 수행할 수 있다. 이에 따라, 아카이브 리두 로그로부터 추출된 변경 데이터가 데이터베이스 시스템에서 실시간 처리되는 트랜잭션에 대한 정보를 포함하는 온라인 리두 로그를 따라갈 수 있도록 할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(740) 변경 데이터가 현재 제 1 모드로 처리되고 있는 경우, 클라이언트에게 알림 신호를 전송할 것을 결정할 수 있다(741). 자세히 설명하면, 변경 데이터를 제 1 모드로 처리하기 위한 자원이 충분하며, 현재 메모리 상에 아카이브 리두 로그의 보유량이 많다고 판별된 경우, 프로세서(110)는 아카이브 리두 로그가 온라인 리두 로그를 따라갈 수 있도록, 변경 데이터를 제 1 모드로 처리하여 CDC 파일로 저장할 수 있다. 다만, 상기와 같은 상황에서 이미 변경 데이터를 제 1 모드로 처리하고 있음에도 현재 메모리 상에 아카이브 리두 로그의 보유량이 많은 것은, 시스템의 오류일 수 있음으로, 해당 시스템을 점검하도록 하는 알림 신호를 생성하여 클라이언트에게 전송할 것을 결정할 수 있다.
본 개시의 일 실시예에 따르면, 변경 데이터는 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함할 수 있다. 프로세서(110)는 제 1 변경 데이터에 대한 처리가 완료된 이후, 제 1 변경 데이터에 대한 처리 없이 제 2 변경 데이터에 대한 처리가 이루어지는 경우, 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 제 2 변경 데이터의 처리 모드를 제 1 모드 및 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다. 구체적으로, 메모리 상에 기록된 아카이브 리두 로그로부터 추출된 제 1 변경 데이터가 제 1 모드 및 제 2 모드 중 하나의 모드로 처리되는 상황에서, 소스 데이터베이스 서버(100) 상에서 아카이브 리두 로그의 더 이상의 추출이 발생하지 않아 상기 제 1 변경 데이터에 대한 처리가 완료된 경우, 프로세서(110)는 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 제 1 모드 및 제 2 모드 중 하나의 모드로 처리할 수 있다. 이 경우, 프로세서(110)가 온라인 리두 로그로부터 추출된 변경 데이터를 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 제 1 모드로 및 제 2 모드 중 하나의 모드로 처리하는 과정은, 전술한 변경 데이터를 처리하는 과정과 동일하므로 중복 설명을 생략하도록 한다.
즉, 프로세서(110)는 제 1 변경 데이터의 처리가 완료되어 이후 제 2 변경 데이터를 처리하는 경우, 상기 제 1 변경 데이터의 처리 모드와 동일한 모드로 상기 제 2 변경 데이터를 처리할 수 있다.
예를 들어, 프로세서(110)는 제 1 변경 데이터가 제 2 모드로 처리되는 상황에서 상기 제 1 변경 데이터가 모두 처리한 경우(즉, 추출된 아카이브 리두 로그로부터 추출된 변경 데이터 모두를 CDC 파일로 저장한 경우), 제 2 변경 데이터를 상기 제 1 변경 데이터와 동일한 제 1 모드로 이어서 처리할 수 있다.
다른 예를 들어, 프로세서(110)는 제 1 변경 데이터가 제 2 모드로 처리되는 상황에서 상기 제 1 변경 데이터를 모두 처리한 경우(즉, 추출된 아카이브 리두 로그로부터 추출된 변경 데이터 모두를 메모리에 기록한 경우), 제 2 변경 데이터를 상기 제 1 변경 데이터와 동일한 제 2 모드로 이어서 처리할 수 있다.
또한, 프로세서(110) 제 1 변경 데이터를 처리하기 위한 모드가 변경되는 경우, 제 2 변경 데이터를 처리하는 모드를 제 1 변경 데이터의 처리 모드와 대응되도록 변경할 것을 결정할 수 있다. 구체적으로, 제 1 변경 데이터의 처리 모드가 제 1 모드에서 제 2 모드로 변경된 경우, 프로세서(110)는 제 2 변경 데이터의 처리 모드를 상기 제 1 변경 데이터의 처리 모드 변경과 동일하도록 제 1 모드에서 제 2 모드로 변경할 수 있다.
예를 들어, 프로세서(110)는 제 1 변경 데이터가 제 1 모드로 처리되는 과정에서 상기 제 1 변경 데이터를 모두 처리하고, 그리고 소스 데이터베이스 서버의 자원 사용량이 급격히 증가하여 상기 제 1 모드를 제 2 모드로 전환한 경우, 상기 제 1 변경 데이터의 처리 모드 전환과 동일하도록 제 2 변경 데이터의 처리 모드를 제 1 모드에서 제 2 모드로 전환할 수 있다.
다른 예를 들어, 프로세서(110)는 제 1 변경 데이터가 제 2 모드로 처리되는 과정에서 상기 제 1 변경 데이터를 모두 처리하고, 그리고 메모리에 아카이브 리두 로그의 보유량이 많아져 상기 제 2 모드를 제 1 모드로 전환한 경우, 상기 제 1 변경 데이터의 처리 모드 전환과 동일하도록 제 2 변경 데이터의 처리 모드를 제 2 모드에서 제 1 모드로 전환할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 제 1 변경 데이터에 대한 처리와 제 2 변경 데이터에 대한 처리를 병렬로 수행할 수 있다. 구체적으로, 프로세서(110)는 아카이브 리두 로그로부터 추출된 제 1 변경 데이터와 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 제 1 모드 및 제 2 모드 중 하나의 모드로 각각 병렬 처리할 수 있다.
예를 들어, 아카이브 리두 로그로부터 추출된 제 1 변경 데이터를 제 1 모드로 처리함과 동시에 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 제 1 모드로 처리할 수 있으며, 아카이브 리두 로그로부터 추출된 제 1 변경 데이터를 제 2 모드로 처리함과 동시에 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 제 2 모드로 처리할 수도 있다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 리메인 로그 임계치 및 자원 사용률 임계치 중 적어도 하나를 소스 데이터베이스 서버(100)의 동작 로그에 기초하여 가변적으로 조정할 수 있다. 구체적으로, 프로세서(110)는 소스 데이터베이스 서버(100)의 동작 로그에 대한 기계학습을 통해 리메인 로그 임계치 및 자원 사용률 임계치 중 적어도 하나를 효율적으로 조정할 수 있다. 프로세서(110)는 소스 데이터베이스 서버(100)의 리메인 로그 정보와 자원 사용률 정보의 시간 별 기록인 동작 로그를 분석할 수 있다. 프로세서(110)는 동작 로그를 분석하여 리메인 로그 정보와 자원 사용률 정보의 시간대 별 패턴을 학습할 수 있으며, 프로세서(110)는 리메인 로그 정보와 자원 사용률 정보의 시간대 별 패턴에 기초하여 리메인 로그 임계치, 자원 사용률 임계치를 가변할 수 있다. 예를 들어, 프로세서(110)는 리두 로그의 발생이 없는 새벽 시간대에는 데이터의 변경에 대한 트랜잭션을 포함하는 리두 로그의 생성이 비교적 적기 때문에, 상기 리두 로그와 리메인 리두 로그의 차이를 비교적 작게 허용할 수 있도록, 리메인 로그 임계치를 작게 조정할 수 있다. 다른 예를 들어, 프로세서(110)는 리두 로그의 발생이 없는 새벽 시간대에 메모리 상에 비교적 많은 양의 아카이브 리두 로그가 기록될 수 있도록 자원 사용률 임계치를 높게 설정할 수 있다. 전술한 프로세서가 리메인 로그 임계치 및 자원 사용률 임계치를 조정하는 방법에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 소스 데이터베이스 서버(100)에서 처리되는 트랜잭션에 대한 정보를 포함하는 로그 레코드를 획득할 수 있다. 프로세서(110)는 소스 데이터베이스 서버(100)로부터 리두 로그를 수신할 수 있거나 혹은 소스 데이터베이스 서버(100)에 리두 로그에 액세스할 수 있다. 클라이언트에 의해 개시된 트랜잭션에 따라 소스 데이터베이스 서버(100)에서 데이터, 테이블 및/또는 인덱스 등에 대한 변경이 발생되는 경우, 해당 트랜잭션에 대한 로그 레코드가 소스 데이터베이스 서버(100)에 기록될 수 있다.
추가적으로, 프로세서(110)는 로그 레코드들의 발생 시점에 따른 순서에 기초하여 정렬시킬 수 있다. 예를 들어, 프로세서(110)는 SCN(System Change Number)에 기초하여 로그 레코드들을 정렬시킬 수 있다. 이러한 경우, 프로세서(110)는 소스 데이터베이스 서버(100)에서의 로그 버퍼 및/또는 로그 파일 등에 기록된 트랜잭션에 대한 리두 로그를 확인 및 분석함으로써, 변경 데이터에 대한 로그 레코드를 획득할 수 있다. 이러한 경우, 프로세서(110)는 리두 로그를 분석함으로써 변경된 데이터만을 추출할 수 있다. 프로세서(110)는 하나 이상의 규칙에 기초하여 혹은 임의의 형태의 딥러닝 알고리즘에 기초하여, 추출된 로그 레코드를 분석할 수 있다.
프로세서(110)는 트랜잭션과 연관되는 하나 이상의 객체들에 대해서 발생된 복수의 SQL(Structured Query Language) 연산들을 식별할 수 있다. 본 명세서에서 SQL 연산은 SQL로 작성된 임의의 형태의 연산을 의미할 수 있다. SQL 연산은 예를 들어, DML(Data Manipulation Language) 연산, DDL(Data Definition Language) 연산 및/또는 DCL(Data Control Language) 연산을 포함할 수 있다. 추가적으로, 프로세서(110)는 식별된 SQL 연산들을 발생한 순서대로 정렬할 수 있다.
프로세서(110)는 로그 레코드들의 발생 시점에 따른 순서에 기초하여 정렬시킬 수 있다. 예를 들어, 프로세서(110)는 SCN(System Change Number)에 기초하여 로그 레코드들을 정렬시킬 수 있다. 즉, 프로세서(110)는 소스 데이터베이스 서버(100)의 로그 레코드들을 시계열적으로 정렬할 수 있다. 따라서, SCN이 앞선 로그 레코드는 그 보다 후속하는 SCN을 가진 로그 레코드 보다 먼저 기록될 수 있다. 프로세서(110)는 식별된 복수의 SQL 연산들이 발생한 순서에 기초하여, 개별 SQL 연산과 대응되는 객체에 대한 이전 SQL 연산 이력이 CDC 파일에 존재하는지 여부를 판단할 수 있다. 본 명세서에서 CDC 파일은 소스 데이터베이스 서버(100)로부터 타겟 데이터베이스 서버(200)로 전달되는, 트랜잭션(연산) 순서대로 정리된 파일을 의미할 수 있다. 프로세서(110)는 CDC 파일에서의 이전 SQL 연산 이력의 존재 여부에 기초하여, 상기 CDC 파일에 기록할 정보를 결정하고 그리고 결정된 정보를 CDC 파일에 기록할 수 있다.
예를 들어, 프로세서(110)는 SQL 연산에 대응되는 객체(예컨대, 테이블)에 대한 메타 정보가 CDC 파일에 존재하는지 여부에 기초하여, 이전 SQL 연산 이력이 CDC 파일에 존재하는지 여부를 판단할 수 있다. 여기에서의 메타 정보는, 테이블 유저 정보, 테이블 이름 정보, 컬럼 이름 정보, 컬럼 순서 정보 및 컬럼 타입 정보 중 적어도 하나를 포함할 수 있다. 또한, 프로세서(110)는 SQL 연산에 대응되는 객체에 대해서 이전에 DML 연산 혹은 DDL 연산이 수행되었는지 여부에 기초하여, 상기 이전 SQL 연산 이력이 상기 CDC 파일에 존재하는지 여부를 판단할 수 있다. 전술한 프로세서(110)의 이전 SQL 연산 이력에 대한 판단은, 트랜잭션과 연관되는 객체들 전체에 대해서 상기 SQL 연산이 발생한 순서대로(예컨대, SCN의 시간적 선후 관계에 따라서) 수행될 수 있다.
프로세서(110)는 CDC 파일에서의 이전 SQL 연산 이력이 존재하지 않는 경우, 해당 객체에 대한 DD(Data Dictionary) 정보를 사용하여 해당 객체에 대한 메타 정보를 생성하고, 그리고 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하는 경우, 상기 해당 객체에 대한 메타 정보를 생성하지 않을 것을 결정할 수 있다. 또한, 프로세서(110)는 해당 객체에 대한 메타 정보가 생성된 경우, 상기 해당 객체와 관련된 SQL 연산 및 상기 메타 정보를 상기 CDC 파일에 기록할 것을 결정하고, 그리고 상기 해당 객체에 대한 메타 정보가 생성되지 않은 경우, 상기 해당 객체와 관련된 SQL 연산을 상기 CDC 파일에 기록할 것을 결정할 수 있다.
프로세서(110)는 CDC 파일을 판독하여 CDC 파일을 타겟(target) 데이터베이스 서버로 전송하는 것을 허용하기 위하여 판독된 CDC 파일 혹은 CDC 파일에 기록된 정보를 네트워크부(130)로 전달할 수 있다. 프로세서(110)는 CDC 파일 또는 CDC 파일에 기록된 정보가 타겟 데이터베이스 서버(200)에 적합한 포맷으로 변환할 수도 있다.
도 2에서 도시되는 바와 같이, 타겟 데이터베이스 서버(200)는 프로세서(210), 메모리(220) 및 네트워크부(230)를 포함할 수 있다. 전술한 컴포넌트들은 예시적인 것으로서 본 개시내용의 권리범위가 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 개시내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.
본 개시의 일 실시예에 따르면, 네트워크부(230)는 소스 데이터베이스 서버(100) 혹은 에이전트 서버(300)로부터 CDC 파일 혹은 CDC 파일에 저장된 정보를 수신할 수 있다. 네트워크부(230)는 전술한 소스 데이터베이스 서버(100)의 네트워크부(230)와 동일한 형태의 통신 기능을 제공할 수 있다.
본 개시의 일 실시예에 따르면, 메모리(220)는 프로세서(210)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(230)가 수신한 임의의 형태의 정보를 타겟 데이터베이스 서버(200)에 저장할 수 있다. 메모리(220)는 동적 램(DRAM, dynamic random access memory), 정적 램(SRAM, static random access memory) 등의 랜덤 액세스 메모리(RAM)와 같은, 프로세서(210)가 직접 접근하는 주된 저장 장치로서, 전원이 꺼지면 저장된 정보가 순간적으로 지워지는 휘발성(volatile) 저장 장치 및 영구저장매체를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(210)는 소스 데이터베이스 서버(100)로부터 수신된 CDC 파일 혹은 CDC 파일에 대한 정보를 타겟 데이터베이스 서버(200)의 CDC 파일에 기록할 수 있다. 예를 들어, 프로세서(210)는 소스 데이터베이스 서버(100)로부터 수신된 CDC 파일과 동일한 파일을 그대로 자신의 CDC 파일로 사용할 것을 결정하거나 또는 CDC 파일에 대한 정보와 동일한 정보를 CDC 파일에 기록할 수 있다.
프로세서(210)는 타겟 데이터베이스 서버(200)에 존재하는 CDC 파일을 판독할 수 있다. 프로세서(210)는 소스 데이터베이스 서버(100)에 의해 기록된 순서대로 CDC 파일을 판독할 수 있다.
추가적으로, 프로세서(210)는 판독된 CDC 파일에 기초하여, 타겟 데이터베이스 서버(200)에서 변경 및 반영되어야 할 데이터를 결정할 수도 있다. 이러한 경우, 프로세서(210)는 타겟 데이터베이스 서버(200)에 반영되어 있는 데이터와 판독한 CDC 파일에 포함된 데이터를 비교하는 동작을 수행할 수 있다. 이에 따라, 프로세서(210)는 추후에 타겟 데이터베이스 서버(200)로 최소한의 데이터만을 변경 및 반영할 수 있다.
추가적으로, 프로세서(210) CDC 파일에 기록된 메타 정보를 판독함으로써, 타겟 데이터베이스 서버(200)에 대응되는 메타 정보가 존재하는지 여부를 판단할 수도 있다.
프로세서(210)는 객체에 대한 메타 정보가 CDC 파일에 기록되었는지 여부를 확인할 수 있다. 프로세서(210)는 CDC 파일에 기록된 메타 정보를 판독함으로써, 타겟 데이터베이스 서버(200)에 대응되는 메타 정보가 존재하는지 여부를 판단할 수 있다. 프로세서(210)는 메타 정보가 존재하지 않는 경우 메모리 상에 메타 정보를 로딩하고 그리고 메타 정보가 존재하는 경우 존재하는 메타 정보를 그대로 사용할 수 있다. 즉, 프로세서(210)는 대응되는 메타 정보가 타겟 데이터베이스 서버(200)의 메모리에 로딩되어 있는지 여부에 기초하여 메타 정보의 로딩 여부를 결정하며, 그리고 대응되는 메타 정보가 존재하는 경우, CDC 파일에 기록된 메타 정보를 메모리에 로딩하지 않고 타겟 데이터베이스 서버(200)의 로딩되어 있는 상기 대응되는 메타 정보를 사용할 것을 결정할 수 있다.
프로세서(210)는 CDC 파일에 기록된 SQL 연산을 판독하고, 그리고 상기 판독된 SQL 연산과 대응되는 메모리 상에서의 메타 정보를 사용함으로써 상기 SQL 연산과 대응되는 SQL 문(statement)을 생성할 수 있다. 또한, 프로세서(210)는 상기 생성된 SQL 문을 타겟 데이터베이스 서버(200)에 적용시킴으로써, 타겟 데이터베이스 서버(200)에 소스 데이터베이스 서버(100)에서의 변경 데이터가 최종적으로 반영될 수 있도록 허용할 수 있다.
예를 들어, 프로세서(210)는 전달받은 CDC 파일에서 최초로 메타 데이터를 인식하고 해당 메타 데이터를 메모리에 로딩시킨 후, 그 다음 SQL 연산을 CDC 파일에서 인식한 뒤 로딩된 메타 데이터를 이용하여 해당 SQL 연산에 대한 SQL 문을 생성할 수 있다. 생성된 SQL 문을 타겟 데이터베이스 서버(200)에 반영한 이후, 프로세서(210)는 해당 CDC 파일에서 트랜잭션에 대한 commit을 인식하고 commit을 타겟 데이터베이스 서버(200)에 반영할 수 있다.
도 3은 본 개시의 일 실시예에 따른 소스 데이터베이스 서버(혹은 에이전트 서버)에서 수행되는 CDC 파일 생성 방법을 예시적으로 도시한 순서도이다.
도 3에 도시되는 단계들은 예시적인 것이며, 추가적인 단계가 존재할 수 있거나, 혹은 해당 단계들 중 일부가 생략될 수도 있다. 도 3에서 도시되는 단계들은 소스 데이터베이스 서버(100) 또는 에이전트 서버(300)에서 수행될 수 있다. 설명의 편의를 위해, 이하에서는 소스 데이터베이스 서버(100)에서 수행되는 것을 가정하여 설명하기로 한다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출할 수 있다(410). 구체적으로, 프로세서(110)는 소스 데이터베이스 시스템에서 처리되는 트랜잭션에 대한 정보를 포함하는 리두 로그(온라인 및 아카이브 리두 로그)를 판독 및 해석함으로써, 소스 데이터베이스 시스템에서 데이터의 변경을 식별함으로써, 변경 데이터를 추출할 수 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100)는 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석할 수 있다(420).
리메인 로그 정보는 변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나에 관한 정보일 수 있다. 구체적으로, 리메인 로그 정보는, 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경에 따라 발생한 트랜잭션에 대한 정보를 포함하는 리두 로그(온라인 및/또는 아카이브 리두 로그)와 프로세서(110)에 의해 상기 리두 로그 중 적어도 일부로부터 추출된 변경 데이터의 차이에 관한 정보일 수 있다.
자원 사용률 정보는, 소스 데이터베이스가 현재 사용하는 컴퓨팅 자원에 대한 정보일 수 있으며, 예를 들어, Disk I/O(디스크 입출력 사용률), CPU 사용률 및 메모리 사용률에 대한 정보를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100)는 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 아카이브 리두 로그를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 적어도 하나의 모드로 처리할 것을 결정할 수 있다(430).
도 8은 본 개시의 일 실시예 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 8은 본 개시내용의 일 실시예에 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다. 도 8에서는 소스 데이터베이스 서버(100)와 타겟 데이터베이스 서버(200) 간에 수행되는 동작들이 예시적으로 표현된다.
도 8에서 도시되는 바와 같이, 소스 데이터베이스 서버(100)는 소스 DBMS(910) 및 소스 프로세서(110)를 포함할 수 있다. 이러한 소스 DBMS(910)는 소스 데이터베이스 서버(100)의 메모리 상에서 소스 프로세서(110)에 의해 동작될 수 있다.
여기서, 메모리는 동적 램(DRAM, dynamic random access memory), 정적 램(SRAM, static random access memory) 등의 랜덤 액세스 메모리(RAM)와 같은, 프로세서가 직접 접근하는 주된 저장 장치로서 전원이 꺼지면 저장된 정보가 순간적으로 지워지는 휘발성(volatile) 저장 장치를 의미할 수 있지만, 이들로 한정되는 것은 아니다. 이러한 메모리는 전술한 바와 같이 프로세서에 의하여 동작 될 수 있다. 메모리는 변경 데이터 등과 같은 임의의 형태의 데이터를 저장할 수 있다. 또는 메모리는 데이터 값을 포함하는 데이터 테이블(data table) 등을 저장할 수 있다. 본 발명의 일 실시예에서 변경 데이터 및/또는 상기 데이터 테이블의 데이터 값은 메모리로부터 영구 저장 매체에 기록될 수 있다. 추가적인 양상에서, 메모리는 버퍼 캐시를 포함하며, 상기 버퍼 캐시의 데이터 블록에는 데이터가 저장될 수 있다. 상기 데이터는 백그라운드 프로세스에 의하여 영구 저장 매체에 기록될 수 있다.
본 명세서에서의 영구 저장 매체는, 예를 들어 자기(magnetic) 디스크, 광학(optical) 디스크 및 광자기(magneto-optical) 저장 디바이스뿐만 아니라 플래시 메모리 및/또는 배터리-백업 메모리에 기초한 저장 디바이스와 같은, 임의의 데이터를 지속적으로 할 수 있는 비-휘발성(non-volatile) 저장 매체를 의미한다. 이러한 영구 저장 매체는 다양한 통신 수단을 통하여 데이터베이스 서버(110 및 120)의 프로세서 및 메모리와 통신할 수 있다. 추가적인 실시예에서, 이러한 영구 저장 매체는 데이터베이스 서버(110 및 120) 외부에 위치하여 데이터베이스 서버(110 및 120)와 통신가능할 수도 있다.
DBMS(910, 1010)는 데이터베이스 서버(110 및 120)에서 필요한 데이터를 검색, 삽입, 수정 및/또는 삭제 등과 같은 동작들을 수행하는 것을 허용하기 위한 프로그램으로서, 전술한 바와 같이, 데이터베이스 서버(110 및 120)의 메모리에서 프로세서(110, 210)에 의하여 구현될 수 있다. 또한, 소스 DBMS(910)는 소스 데이터베이스 서버(100)에서 발생되는 트랜잭션에 대한 리두 로그를 생성, 관리 및 저장하도록 결정할 수 있다. 소스 프로세서(110)는 CDC 동작을 구현하기 위하여 저장된 리두 로그를 추출하고 그리고 분석하며(930), CDC 파일(970)에 해당 내용을 기록하고, 그리고 CDC 파일(970)을 판독하여(950) 네트워크(140)를 통하여 타겟 데이터베이스 서버(200)로 송신할 수 있다(960). 소스 프로세서(110)의 추출(930), 기록(940), 판독(950) 및 송신(960) 동작들 각각은, 전술한 바와 같이 도 2에서의 프로세서가 수행하는 동작들에 대응될 수 있다. 추가적으로, 추출(930), 기록(940), 판독(950) 및 송신(960) 동작들은 각각 개별적인 스레드에 의해 수행될 수 있다. 또한, 추출(930), 기록(940), 판독(950) 및 송신(960) 동작들 중 복수개가 하나의 스레드에 의해 수행될 수도 있다. 또한, 추출(930), 기록(940), 판독(950) 및 송신(960) 동작들은 개별적인 프로세스에 의해 각각 수행되거나 혹은 하나의 프로세스가 상기 동작들 중 복수의 동작들을 수행할 수도 있다.
본 개시내용의 일 실시예에서, 트랜잭션에 대한 Commit 연산이 수행되는 경우, 소스 프로세서(110)에서의 CDC 동작이 개시될 수 있다. 예를 들어, 소스 프로세서(110)는 트랜잭션의 Commit 연산이 수행되는 경우, 추출 동작(930)을 수행할 수 있다. 다른 예시로, 소스 프로세서(110)는 사전결정된 횟수의 Commit 연산이 수행되는 경우(예컨대, 2개의 트랜잭션에 대한 Commit 연산들이 수행된 경우), 해당 Commit 연산들과 관련된 복수의 트랜잭션들에 대한 CDC 동작을 개시할 수 있다. 다른 실시예에서, 사전결정된 시간 주기 혹은 사전결정된 SCN 주기에 따라서, 소스 프로세서(110)의 CDC 동작이 개시될 수 있다.
도 8에서 도시되는 바와 같이, 소스 DBMS(910)에서 T1 객체 및 T2 객체에 대한 트랜잭션들(980)이 인입될 수 있다. 상기 트랜잭션들(980)은 제 1 트랜잭션 및 제 2 트랜잭션을 포함할 수 있다. 제 1 트랜잭션은 T1 객체에 대한 Delete 연산 및 Commit 연산을 포함할 수 있다. 제 2 트랜잭션은 T1 객체에 대한 Insert 연산, T2 객체에 대한 Update 연산 및 Commit 연산을 포함할 수 있다. 소스 DBMS(910)에서 수행된 SQL 연산들(980)은 Commit 연산이 수행된 시점에 기초하여 시계열적으로 그리고 트랜잭션 단위로 정렬될 수 있다. 도 8에서는 제 1 트랜잭션에 대한 Commit 연산이 제 2 트랜잭션에 대한 Commit 연산 보다 먼저 이루어졌기 때문에, 제 1 트랜잭션에 대한 SQL 연산들이 제 2 트랜잭션에 대한 SQL 연산들 보다 앞 부분에 배치될 수 있다.
소스 프로세서(110)(예컨대, 추출(930) 스레드)는 리두 로그에서 T1 객체에 대한 Delete 연산 및 Commit 연산을 추출하여 시간 순서대로 정렬하고 이를 예컨대, 판독(940) 스레드로 전달할 수 있다. 판독(940) 스레드는 가장 앞서 배치되어 있는 T1 객체에 대한 Delete 연산(즉, Delete T1)을 확인하고 그리고 CDC 파일(970)에 T1 객체에 대한 이전 SQL 연산 이력이 존재하는지 여부를 판단할 수 있다. 일례로, 판독(940) 스레드는 T1 객체에 대한 이전 DML 혹은 DDL이 이루어졌는지 여부를 판단할 수 있다. 도 8에서 도시되는 바와 같이, T1 객체에 대해서는 이전 SQL 연산이 수행되지 않았기 때문에, 판독(940) 스레드는 메모리 상에 보유하고 있는 DD(Data Dictionary) 정보를 이용하여 T1에 대한 메타 정보(즉, T1 DD)를 생성할 수 있다. 그리고나서, 판독(940) 스레드는 T1에 대한 메타 정보인 T1 DD와 T1에 대한 Delete 연산인 Delete T1을 CDC 파일(970)에 기록할 수 있다. 이러한 경우, 메타 정보인 T1 DD는 SQL 연산 정보인 Delete T1 보다 CDC 파일에서의 앞 부분에 기록될 수 있다. 추가적으로, 판독(940) 스레드는 T1 객체에 대한 commit 연산을 CDC 파일(970)에 기록할 수 있다. 이러한 경우, Commit 연산은 CDC 파일(970)에서의 Delete T1이 기록된 부분 보다 뒷 부분에 기록될 수 있다.
본 개시내용의 일 실시예에서, 추출(930) 스레드는 리두로그에서 제 2 트랜잭션에 포함된, T1 객체에 대한 Insert 연산, T2 객체에 대한 Update 연산 및 제 2 트랜잭션의 Commit 연산을 추출할 수 있다. 추출(930) 스레드는 SQL 연산들의 발생 순서에 따라, Insert T1, Update T2 및 Commit 연산의 순서대로 배치할 수 있다. 제 2 트랜잭션이 제 1 트랜잭션 보다 이후에 Commit이 이루어졌기 때문에, 소스 DBMS(910)에서 수행된 SQL 연산들(980) 중 제 1 트랜잭션에 관한 SQL 연산들이 제 2 트랜잭션에 관한 SQL 연산들 보다 앞에 배치되도록 정렬될 수 있다. 판독(940) 스레드는 Delete T1 및 제 1 트랜잭션에 대한 Commit 연산을 판독 및 처리한 이후에, 트랜잭션 2와 관련된 연산들을 판독할 것이다. 판독(940) 스레드는 T1 객체에 대한 Insert 연산(즉, Insert T1)을 판독하고 CDC 파일(970)에 T1 객체에 대한 DML 혹은 DDL이 발생되었는지 여부(즉, 이전 SQL 연산 이력이 존재하는지 여부)를 판단할 수 있다. 상기 제 1 트랜잭션과 관련된 연산들(즉, Delete T1)을 처리하는데 있어서 CDC 파일(970)에 T1 객체에 대한 DD 정보가 기록되었기 때문에, 판독(940) 스레드는 CDC 파일(970)에 T1 객체에 대한 이전 SQL 연산 이력이 존재한다고 판단할 것이다. 이러한 상황에서, 판독(940) 스레드는 T1 객체에 대한 메타 정보를 생성하지 않고 T1 객체에 대한 Insert 연산(즉, Insert T1)을 CDC 파일(970)에서의 다음 기록 위치에 기록할 수 있다. 그리고나서, 판독(940) 스레드는 T2 객체에 대한 Update 연산을 인식할 수 있다. 판독(940) 스레드는 T2 객체에 대해서 이전 SQL 연산이 존재하는지 여부를 CDC 파일(970)을 체크하여 판단할 것이고, 이전 SQL 연산이 존재하지 않기 때문에, 메모리 상에 저장되어 있는 T2 객체에 대한 DD 정보를 이용하여 T2 객체에 대한 메타 정보(즉, T2 DD)를 생성할 수 있다. 그리고나서, 판독(940) 스레드는 T2 객체에 대한 메타 정보를 CDC 파일(970)의 다음 위치에 기록할 수 있다. 그리고나서, 판독(940)스레드는 T2 객체에 대한 메타 정보를 기록한 위치의 후속하는 위치에 T2 객체에 대한 Update 연산(즉, Update T2)을 기록할 수 있다. 추가적으로, 판독(940) 스레드는 T2 객체에 대한 Commit 연산을 CDC 파일(970)에 기록할 수 있다. 이러한 경우, Commit 연산은 CDC 파일(970)에서의 Update T2가 기록된 부분 보다 뒷 부분에 기록될 수 있다. 전술한 방식으로 트랜잭션들에 대한 Commit 시점 및 연산들의 발생 시점에 기초하여 CDC 파일(970)에 정보(990)가 기록될 수 있다. 이러한 방식으로 단일의 CDC 파일(970)에 메타 정보 및 SQL 연산 정보 모두가 기록될 수 있기 때문에, 효율적인 방식으로 CDC가 구현될 수 있다. 또한, Commmit이 발생한 메타 정보만이 소스 데이터베이스 서버(100)에서의 메모리에서 로딩될 수 있으며 그리고 CDC 파일(970)에는 본 개시내용의 실시예들에 따른 기록 규칙에 따른 순서대로 정보(990)가 기록되기 때문에, 타겟 데이터베이스 서버(200)는 소스 데이터베이스 서버(100)가 작성한 단일의 CDC 파일(970)에 기록된 순서대로 판독하면서 자신의 DB에 변경 데이터들을 용이하게 반영할 수 있다. 즉, 타겟 데이터베이스 서버(200)가 자신의 DB에 변경 데이터를 반영할 때 사용하는 CDC 파일에는, 소스 데이터베이스 서버(100)의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보가 기록될 수 있다. 이러한 방식으로, 타겟 데이터베이스 서버(200)는 자신의 메모리에 모든 객체들에 대한 메타 정보를 로딩할 필요가 없으며, 소스 데이터베이스 서버(100)에서의 변경 데이터와 관련되는 객체들에 대한 메타 정보만을 메모리에 로딩하기 때문에, 데이터베이스 서버 내에서의 메모리 사용이 상당히 줄어들 수 있게 된다.
본 개시내용의 추가적인 양상에서, 클라이언트와 데이터베이스 서버(100 및 200) 또는 데이터베이스 서버들(100 및 200)은 네트워크(미도시)를 통하여 서로 통신할 수 있다. 본 발명의 일 실시예에 따른 네트워크는 공중전화 교환망(PSTN:Public Switiched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.
또한, 본 명세서에서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다. 또한, 본 명세서에서의 네트워크는 데이터베이스 링크(dblink)를 포함할 수 있으며, 이에 따라 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)(또는 에이전트 서버(300))는 이러한 데이터베이스 링크를 통해 서로 통신하여 다른 데이터베이스 서버로부터의 데이터를 가져올 수 있다. 일례로, 상기 데이터베이스 링크는 소스 데이터베이스 서버(100)로부터 타겟 데이터베이스 서버(200)로의 데이터베이스 링크를 포함할 수 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
도 8에서 도시되는 바와 같이, 타겟 데이터베이스 서버(200)는 타겟 DBMS(1010) 및 타겟 프로세서(210)를 포함할 수 있다. 이러한 타겟 DBMS(1010)는 타겟 데이터베이스 서버(200)의 메모리 상에서 타겟 프로세서(210)에 의해 동작될 수 있다. 타겟 데이터베이스 서버(200)의 하드웨어적 구성들 및 타겟 DBMS(1010)에 대한 설명은 전술한 소스 데이터베이스 서버(100)의 하드웨어적 구성들 및 소스 DBMS(910) 구성과 동일하기 때문에, 해당 설명은 여기에서 생략될 것이다.
타겟 프로세서(210)는 CDC 동작을 구현하기 위하여 CDC 파일(970)을 수신(1030)하고, 자신의 CDC 파일(1070)에 해당 내용을 기록(1040)하고(또는 수신된 CDC 파일(970)을 그대로 자신의 CDC 파일(1070)로 사용하고), 그리고 CDC 파일(1070)을 판독(1050)하여, 타겟 DBMS(1010)로 변경 데이터를 반영(1060)시킬 수 있다. 타겟 프로세서(210)의 수신(1030), 기록(1040), 판독(1050) 및 변경/반영(1060) 동작들 각각은, 전술한 바와 같이 도 2에서의 프로세서(210)에서 수행하는 동작들에 대응될 수 있다. 추가적으로, 수신(1030), 기록(1040), 판독(1050) 및 변경/반영(1060) 동작들은 각각 개별적인 스레드에 의해 수행될 수 있다. 또한, 수신(1030), 기록(1040), 판독(1050) 및 변경/반영(1060) 동작들 중 복수개가 하나의 스레드에 의해 수행될 수도 있다. 또한, 수신(1030), 기록(1040), 판독(1050) 및 변경/반영(1060) 동작들은 개별적인 프로세스에 의해 각각 수행되거나 혹은 하나의 프로세스가 상기 동작들 중 복수의 동작들을 수행할 수도 있다. 이하에서는 설명의 편의를 위하여 하나의 프로세스가 하나의 모듈 동작을 수행하는 것을 가정하여 본 개시내용의 실시예들에 따른 CDC 특징들을 기술하기로 한다.
타겟 데이터베이스 서버(200)의 타겟 프로세서(210)(예컨대, 수신(1030) 스레드)는 소스 데이터베이스 서버(100)로부터 CDC 파일(670)을 수신할 수 있다. 타겟 데이터베이스 서버(200)의 타겟 프로세서(210)는 수신된 CDC 파일(970)을 자신의 CDC 파일(1070)에 동일하게 기록(1040)하거나 혹은 수신된 CDC 파일(970)을 자신의 CDC 파일(1070)으로 사용할 수도 있다. 타겟 프로세서(210)의 판독(1050) 스레드는 CDC 파일(1070)에 기록된 정보(1080)를 판독하여 변경/반영(1060) 스레드로 전달할 수 있다.
변경/반영(1060) 스레드는 CDC 파일(1070)에서 가장 먼저 기록된 T1 DD 라는 메타 정보를 판독하여, 자신의 메모리에 T1 객체에 대한 DD 메타 정보가 존재하는지 여부를 판단할 수 있다. 타겟 데이터베이스 서버(200)의 메모리에 T1 객체에 대한 메타 정보가 존재하지 않는 경우, 타겟 데이터베이스 서버(200)는 T1 DD 메타 정보를 자신의 메모리로 로딩할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 CDC 파일(1070)에서 T1 DD라는 정보 이후에 기록된 Delete T1 확인할 수 있다. 변경/반영(1060) 스레드는 메모리상에 로딩된 T1 DD 메타정보를 이용하여 T1 객체에 대한 Delete 연산을 수행하기 위한 SQL문을 자동으로 생성하여 타겟 DBMS(1010)에 반영할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 Commit을 확인하고, Commit을 타겟 DBMS(1010)에 반영할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 CDC 파일(1070)에서의 다음번 기록된 정보인 Insert T1을 확인할 수 있다. T1 객체에 대한 연산이기 때문에, 변경/반영(1060) 스레드는 메모리상에서 로딩된 T1 객체에 대한 메타정보를 이용하여 T1 객체에 Insert 연산을 수행하기 위한 SQL문을 생성할 수 있다.
변경/반영(1060) 스레드는 CDC 파일(1070)에서의 그 다음 위치에 기록되어 있는 T2 DD 메타정보를 확인할 수 있다. 변경/반영(1060) 스레드는 T2 객체에 대한 DD 메타정보가 타겟 데이터베이스 서버(200)의 메모리에 존재하는지 여부를 검사할 수 있다. 변경/반영(1060) 스레드는 자신의 메모리에 로딩되어 있는 T2 객체에 대한 메타 정보가 없다고 결정된 경우 T2 객체에 대한 메타 정보(즉, T2 DD 메타 정보)를 타겟 데이터베이스 서버(200)의 메모리에 로딩할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 CDC 파일(1070)에서의 그 다음 위치에 기록되어 있는 Update T2를 인식할 수 있다. 변경/반영(1060) 스레드는 T2 객체에 대한 메타 정보를 메모리에서 로딩할 수 있으며 그리고 상기 메타 정보를 이용함으로써 T2 객체에 대한 Update 연산과 대응되는 SQL 문을 자동으로 생성할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 T2 객체에 대한 Update 연산을 수행하기 위한 SQL 문을 자신의 DBMS(1010)에 반영할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 Commit을 확인하고 이를 DBMS(1010)에 반영할 수 있다.
본 개시내용의 일 실시예에 따라, CDC 파일에 대한 기록 규칙은 특정 객체에 대한 메타 정보를 1순위로 기록하고 특정 테이블에 대한 DML 혹은 DDL을 이에 후속하여 기록하는 것을 포함할 수 있다. 본 개시내용의 일 실시예에 따라, CDC 파일에 대한 기록 규칙은 Commit이 일어난 순서에 따라 기록될 트랜잭션들의 순서를 결정하고 그리고 메타 정보를 SQL 연산 정보에 앞에 기록함에 따라, 단일의 CDC 파일에 대한 전달을 통하여, CDC가 용이하게 이루어질 수 있다. 본 개시내용의 일 실시예에 따라, 모든 메타 정보를 메모리에 로딩시켜 놓고 CDC를 구현하는 구성(즉, 메타 정보와 SQL 연산 정보를 개별 파일에 의해 관리하는 구성)에 비해 메모리 사용량이 상당히 줄어들 수 있을 뿐만 아니라 DDL 발생 등의 상황에서 데이터베이스 서버의 동작이 멈추는 상황이 방지될 수 있다. 더불어, 본 개시내용의 일 실시예에 따른 CDC 특징들은 복수개의 테이블에 대한 DML 혹은 DDL을 반영하는데 있어서 기존 구조에 비해 메모리 사용량을 획기적으로 줄일 수 있다.
메타 정보와 SQL 연산 정보를 별도로 관리하는 CDC 구현 방식들은, 전체 객체들에 대한 메타 정보를 기록하는 별도의 파일을 양 데이터베이스 서버들 간에 송수신하면서 공유한다. 따라서, 이러한 구현 방식들은, 타겟 데이터베이스 서버(200)에서 DML이 발생하지 않은 객체에 대한 DD 정보도 메모리에 보유할 것을 요구한다. 즉, 타겟 데이터베이스 서버(200)는 모든 객체(예컨대, 테이블) 혹은 메모리 용량에 따라 최대한 많은 객체에 대한 DD 정보를 메모리에 보유하고 있어야 한다. 또한, 이러한 경우, DDL 발생시, 메타 정보를 기록한 파일을 수동으로 생성 및 전송해야하거나 또는 메타 정보를 기록한 파일을 자동으로 전송한다고 하더라도 소스 데이터베이스 서버(100)에서는 메타 파일의 전송이 완료될 때까지 유휴(idle) 상태로 대기하여야 한다. 하지만, 본 개시내용의 일 실시예에 따른 CDC 구현 방식들은 메타 정보가 저장되는 메타 파일을 별도로 생성하여 전송할 필요가 없을 뿐만 아니라 소스 데이터베이스 서버(100)의 유휴 상태를 발생시키지 않는다. 따라서, 본 개시내용의 일 실시예에 따른 CDC 구현 방식들은 실시간 DDL 동기화를 허용할 수 있다. 나아가, 본 개시내용의 일 실시예에 따른 CDC 구현 방식들은 DML이 발생한 테이블에 대한 DD 정보를 관리하기 때문에 타겟 데이터베이스 서버(200)에서의 메모리 관리가 효율적으로 이루어질 수 있다. 예를 들어, 판독/기록과 관련하여 하나의 CDC 파일에 대한 DD를 관리하게 되며 그리고 변경/반영과 관련하여 DML 발생 객체에 대한 DD를 관리하게 될 것이기 때문에, 보다 리소스 효율적인 CDC 구현이 가능해질 수 있다.
도 9는 본 개시의 일 실시예 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 9은 본 개시내용의 일 실시예에 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 9에서 도시되는 실시예는 도 8에서 도시되는 실시예에 DDL 특징이 추가된 것으로서, 도 8에서의 실시예들과 공통적인 내용들은 설명의 편의를 위해 이하에서는 생략될 것이다. 예를 들어, 도 9에서의 추출(1130), 기록(1140), 판독(1150), 및 송신(1160) 동작들은 각각 도 8에서의 추출(930), 기록(940), 판독(950), 및 송신(960) 동작들과 대응될 수 있다. 또한, 도 9에서의 수신(1230), 기록(1240), 판독(1250), 및 변경/반영(1260) 동작들은 각각 도 8에서의 수신(1030), 기록(1040), 판독(1050), 및 변경/반영(1060) 동작들과 대응될 수 있다. 또한, 도 9에서의 소스 DBMS(1110) 및 타겟 DBMS(1210) 및 각각 도 8에서의 소스 DBMS(910) 및 타겟 DBMS(1010)와 대응될 수 있다.
도 9에서 도시되는 바와 같이, 소스 DBMS(1110)에 트랜잭션들(1180)이 인입될 수 있다. 도 9에서의 예시에서, 상기 트랜잭션들(1180)은 Insert T1, Update T2 및 Commit을 포함하는 제 1 트랜잭션, Delete T3 및 Commit을 포함하는 제 2 트랜잭션, 및 DDL T1을 포함하는 제 3 트랜잭션을 포함할 수 있다. 소스 프로세서(110)는 참조번호 1180에서 도시되는 바와 같이, 인입된 트랜잭션들에 포함된 연산들을 발생 시간 순서대로 배치할 수 있다. 예를 들어, 추출(1130) 스레드는 소스 DBMS(1110)에서 발생된 트랜잭션들에 대한 리두 로그를 분석하여, 변경된 데이터에 대한 정보를 참조번호 1180과 같이 추출하여 정렬시킬 수 있다.
제 2 트랜잭션이 제 1 트랜잭션보다 늦게 시작되었다고 하더라도 제 2 트랜잭션의 Commit 시점이 제 1 트랜잭션의 Commit 시점보다 빠르기 때문에, 소스 프로세서(110)는, 제 2 트랜잭션과 관련된 SQL 연산들을 제 1 트랜잭션과 관련된 SQL 연산들 보다 CDC 파일(1170)에 먼저 기록할 수 있다. 트랜잭션들과 관련된 SQL 연산들은 트랜잭션 내에서 발생된 시간 순서에 따라 CDC 파일(1170)에 기록될 수 있다.
도 9에 도시되는 바와 같이, 기록(1140) 스레드는 제 2 트랜잭션에서 T3 객체에 대한 Delete 연산이 수행되었다는 것을 인식할 수 있다. 기록(1140) 스레드는 T3 객체에 대한 메타 정보가 CDC 파일(1170)에 존재하는지 여부를 확인할 수 있다. 즉, 기록(1140) 스레드는 T3 객체에 대해 이전 SQL 수행 이력이 있는지 여부를 CDC 파일(1170)에서 확인할 수 있다. T3 객체에 대한 메타 정보가 존재하지 않기 때문에, 기록(1140) 스레드는 메모리 상에 로딩되어 있는 DD 정보를 이용함으로써 T3 객체에 대한 메타 정보를 생성하고 그리고 생성된 메타 정보(즉, T3 DD #1)를 CDC 파일(1170)에 기록한다. 그리고나서, 기록(1140) 스레드는 T3 객체에 대한 Delete 연산(즉, Delete T3)을 CDC 파일(1170)에 기록할 수 있다. 추가적으로, 기록(1140) 스레드는 제 2 트랜잭션에 대한 Commit 연산을 CDC 파일(1170)에 기록할 수 있다. Commit 연산의 기록 위치는 Delete T3의 기록 위치 보다 뒷 부분이다.
기록(1140) 스레드는 제 2 트랜잭션에 대한 CDC 파일(1170)로의 기록을 완료한 후, 제 1 트랜잭션에 대한 CDC 파일(1170)로의 기록을 시작할 수 있다. 기록(1140) 스레드는 Insert T1을 확인하고 T1 객체에 대한 메타 정보가 CDC 파일(1170)에 존재하는지 여부를 검사할 수 있다. 도 9에서 도시되는 바와 같이, 현재 CDC 파일(1170)에는 T3 객체에 대한 메타 정보만이 기록되어 있기 때문에, 기록(1140) 스레드는 T3 객체에 대한 메타 정보를 메모리의 DD 정보(예컨대, T3 객체에 대한 DD 정보)를 가지고 생성할 수 있다. 그리고나서, 기록(1140) 스레드는 생성된 T3 객체에 대한 메타 정보(즉, TT DD #1)를 CDC 파일(1170)로 기록할 수 있다. 그리고나서, 기록(1140) 스레드는 이전에 확인한 Insert T1 연산을 CDC 파일(1170)에서 메타 정보가 기록된 위치 이후의 위치에 기록할 수 있다. 기록(1140) 스레드는 제 1 트랜잭션에서 Insert T1 다음에 발생된 SQL 연산인 Update T2 연산을 확인할 수 있다. 기록(1140) 스레드는 T2 객체에 대한 메타 정보가 CDC 파일(1170)에 존재하는지 여부를 검사할 수 있다. 현재 CDC 파일(1170)에는 T3 객체에 대한 메타 정보 및 T2 객체에 대한 메타 정보가 기록되어 있기 때문에, 기록(1140) 스레드는 T2 객체에 대한 메타 정보가 존재하지 않는다고 판단할 수 있다. 이러한 경우, 기록(1140) 스레드는 메모리 상에 로딩되어 있는 T2 객체에 대한 DD 정보를 참고하여, T2 객체에 대한 메타 정보를 생성할 수 있다. 그리고나서, 기록(1140) 스레드는 생성된 T2 객체의 메타 정보를 CDC 파일(1170)로 기록할 수 있다. T2 객체의 메타 정보는 직전에 기록된 Insert T1의 기록 위치에 후속되는 위치에 기록될 수 있다. 그리고나서, 기록(1140) 스레드는 기록된 메타 정보와 대응되는 Update T2 연산을 CDC 파일(1170)에 후속해서 기록할 수 있다. 그리고나서 기록(1140) 스레드는 제 1 트랜잭션에 대한 Commit 연산을 CDC 파일(1170)에 기록할 수 있다. Commit 연산의 기록 위치는 Update T2의 기록 위치 보다 뒷 부분이다.
기록(1140) 스레드는 제 1 트랜잭션에 대한 연산들을 모두 반영한 뒤에 제 3 트랜잭션(DDL T1을 포함함)을 확인할 수 있다. 기록(1140) 스레드는 SQL 연산에 대한 타입을 확인하여, DDL 타입인 것으로 결정할 수 있다. 즉, 기록(1140) 스레드는 SQL 연산에 대한 타입이 DML 연산인 것으로 결정된 경우, 상기 DML 연산과 대응되는 객체에 대한 상기 이전 SQL 연산 이력이 CDC 파일(1170)에 존재하는지 여부를 판단하기로 결정할 수 있다. 또한, 기록(1140) 스레드는 SQL 연산에 대한 타입이 DDL 연산인 것으로 결정된 경우, 상기 DDL 연산과 대응되는 객체에 대한 이전 SQL 연산 이력이 CDC 파일(1170)에 존재하는지 여부를 판단하지 않고, 상기 DDL 연산에 기초하여, 상기 DDL 연산에 대응되는 객체에 대한 메타 정보를 생성하고 그리고 생성된 메타 정보를 상기 CDC 파일에 기록할 것을 결정할 수 있다. 따라서, 기록(1140) 스레드는 T1에 대한 DDL 연산에 대응되는 메타 정보를 생성하여 DDL T1을 CDC 파일(1170)에 도 9에서 도시되는 바와 같이 기록할 수 있다.
판독(1150) 스레드는 기록(1140) 스레드에 의해 기록된 CDC 파일(1170)을 판독하여 송신(1160) 스레드로 전달할 수 있다. 송신(1160) 스레드는 전달받은 CDC 파일(1170)을 네트워크(140)를 통해 타겟 데이터베이스 서버(200)로 전송할 수 있다.
타겟 데이터베이스 서버(200)의 타겟 프로세서(210)는 수신(1230) 스레드에 의해 CDC 파일(1170)을 수신할 수 있다. 타겟 프로세서(1220)의 기록(1240) 스레드는 자신의 CDC 파일(1270)에 수신된 CDC 파일(1170)에 기록된 정보를 동일한 순서로 기록할 수 있다. 또는, 타겟 프로세서(1220)의 기록(1240) 스레드는 수신된 CDC 파일(1170)을 그대로 자신의 CDC 파일(1270)로 사용할 수도 있다. 따라서, 타겟 데이터베이스 서버(200)의 CDC 파일(1270)은 참조번호 1280과 같이 소스 데이터베이스 서버(100)에서 기록한 순서대로 정보들을 포함할 수 있다.
타겟 데이터베이스 서버(200)의 판독(1250) 스레드는 CDC 파일(1270)에 기록된 정보(1280)를 변경/반영(1220) 스레드로 전달할 수 있으며, 변경/반영(1220) 스레드는 전달 받은 정보를 타겟 DBMS(1210)에 반영하여, 타겟 DBMS(1210)와 소스 DBMS(1210)의 동기화를 수행할 수 있다. 변경/반영(1220) 스레드는 참조번호 1280로 표현된 정보의 기록 순서대로 타겟 DBMS(1210)로의 반영을 수행할 수 있다. CDC 파일(1270)에는 특정 SQL 연산에 대한 메타 정보가 먼저 기록되고 그 뒤에 대응되는 SQL 연산 정보가 기록될 수 있으며 그리고 DDL 연산에 대해서는 해당 메타 정보가 기록되기 때문에, 타겟 데이터베이스 서버(200)는 자신의 메모리에 많은 객체들에 대한 메타 정보를 로딩시킬 필요가 없으며, DML이 발생한 객체에 대한 메타 정보를 로딩시켜 반영을 처리할 수 있다. 구체적인 반영 방식에 대해서는 도 8과 관련하여 상술되었기 때문에, 도 9에서는 이에 대한 설명을 생략하기로 한다.
도 10은 본 개시의 일 실시예에 따라 데이터베이스 시스템에서 CDC를 수행하기 위한 수단을 도시한다.
본 개시의 일 실시예에 따르면, 컴퓨터 프로그램은 다음과 같은 수단에 의해 구현될 수 있다.
본 개시의 일 실시예에 따르면, 상기 컴퓨터 프로그램은, 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하기 위한 수단, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하기 위한 수단 및 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보는, 변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그에 관한 정보이며, 상기 자원 사용률 정보는, 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률에 대한 정보일 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 상기 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단은, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하기 위한 수단, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 자원 사용률 임계치를 재설정할 것을 결정하기 위한 수단 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 자원 사용률 정보와 자원 사용률 임계치 정보를 비교하기 위한 수단 및 상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단 및 상기 자원 사용률 임계치를 재설정할 것을 결정하기 위한 수단 중 적 하나의 동작을 수행할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단 및 상기 자원 사용률 임계치를 재설정할 것을 결정하기 위한 수단 중 적어도 하나의 동작을 수행할 것을 결정하기 위한 수단은, 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 자원 사용률 임계치를 재설정하기 위한 수단 및 상기 자원 사용률 정보가 상기 자원 사용률 임계치 이하인 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는지 여부를 식별하기 위한 수단 및 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하기 위한 수단은, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하기 위한 수단, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하기 위한 수단 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하기 위한 수단, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하기 위한 수단 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하기 위한 수단, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 유지하기 위한 수단 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 임계치는, 상기 변경 데이터로 추출이 필요한 상기 온라인 리두 로그 및 상기 아카이브 리두 로그의 기준이 되는 임계치이며, 상기 자원 사용률 임계치는, 상기 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장하기 위한 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준이고, 그리고 상기 리메인 로그 임계치 및 상기 자원 사용률 임계치 중 적어도 하나는, 상기 소스 데이터베이스 서버의 동작 로그에 기초한 기계학습을 통해 가변될 수 있다.
대안적으로, 상기 변경 데이터는, 상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은,상기 제 1 변경 데이터에 대한 처리가 완료된 이후 상기 제 1 변경 데이터에 대한 처리 없이 상기 제 2 변경 데이터에 대한 처리가 이루어지는 경우, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 제 2 변경 데이터의 처리 모드를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고 상기 제 1 변경 데이터를 처리하기 위한 모드가 변경되는 경우, 상기 제 2 변경 데이터를 처리하는 모드를 상기 제 1 변경 데이터의 처리 모드와 대응되도록 변경할 것을 결정하기 위한 수단을 더 포함할 수 있다.
대안적으로, 상기 제 1 변경 데이터에 대한 처리와 상기 제 2 변경 데이터에 대한 처리는 병렬로 수행될 수 있다.
대안적으로, 상기 CDC 파일에 상기 소스 데이터베이스 서버의 객체들 중 SQL(Structured Query Language) 연산이 발생한 객체에 대한 메타 정보를 기록하기 위한 수단을 더 포함하고, 그리고 상기 메타 정보는, 테이블 유저 정보, 테이블 이름 정보, 칼럼 이름 정보, 칼럼 순서 정보 및 칼럼 타입 정보 중 적어도 하나의 정보를 포함할 수 있다.
대안적으로, 상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하기 위한 수단은, 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하지 않는 경우, 해당 객체에 대한 DD(Data Dictionary) 정보를 사용하여 상기 해당 객체에 대한 메타 정보를 생성하기 위한 수단 및 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하는 경우, 상기 해당 객체에 대한 메타 정보를 생성하지 않을 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하기 위한 수단은, 상기 해당 객체에 대한 메타 정보가 생성된 경우, 상기 해당 객체와 관련된 SQL 연산 및 상기 메타 정보를 상기 CDC 파일에 기록할 것을 결정하기 위한 수단 및 상기 해당 객체에 대한 메타 정보가 생성되지 않은 경우, 상기 해당 객체와 관련된 SQL 연산을 상기 CDC 파일에 기록할 것을 결정하기 위한 수단을 더 포함할 수 있다.
본 개시의 일 실시예에 따르면 데이터베이스 시스템에서 CDC를 수행하기 위한 수단은, 컴퓨팅 장치를 구현하기 위한 모듈, 회로 또는 로직에 의하여 구현될 수도 있다.
당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있으나, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.
도 11은 본 개시의 일 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도를 도시한다.
본 개시가 일반적으로 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어와 관련하여 전술되었지만, 당업자라면 본 개시가 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다는 것을 잘 알 것이다.
일반적으로, 본 명세서에서의 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로시져, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 당업자라면 본 개시의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.
본 개시의 설명된 실시예들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.
컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 일시적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.
컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.
컴퓨터 판독가능 전송 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터등을 구현하고 모든 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.
컴퓨터(1502)를 포함하는 본 개시의 여러가지 측면들을 구현하는 예시적인 환경(1500)이 나타내어져 있으며, 컴퓨터(1502)는 처리 장치(1504), 시스템 메모리(1506) 및 시스템 버스(1508)를 포함한다. 시스템 버스(1508)는 시스템 메모리(1506)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(1504)에 연결시킨다. 처리 장치(1504)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(1504)로서 이용될 수 있다.
시스템 버스(1508)는 메모리 버스, 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇 가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1506)는 판독 전용 메모리(ROM)(1510) 및 랜덤 액세스 메모리(RAM)(1512)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(1510)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1502) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(1512)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.
컴퓨터(1502)는 또한 내장형 하드 디스크 드라이브(HDD)(1514)(예를 들어, EIDE, SATA)―이 내장형 하드 디스크 드라이브(1514)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음―, 자기 플로피 디스크 드라이브(FDD)(1516)(예를 들어, 이동식 디스켓(1518)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1520)(예를 들어, CD-ROM 디스크(1522)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(1514), 자기 디스크 드라이브(1516) 및 광 디스크 드라이브(1520)는 각각 하드 디스크 드라이브 인터페이스(1524), 자기 디스크 드라이브 인터페이스(1526) 및 광 드라이브 인터페이스(1528)에 의해 시스템 버스(1508)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(1524)는 예를 들어, USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 그 둘다를 포함한다.
이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨터(1502)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 저장 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 저장 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 개시의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.
운영 체제(1530), 하나 이상의 어플리케이션 프로그램(1532), 기타 프로그램 모듈(1534) 및 프로그램 데이터(1536)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1512)에 저장될 수 있다. 운영 체제, 어플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(1512)에 캐싱될 수 있다. 본 개시가 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.
사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(1538) 및 마우스(1540) 등의 포인팅 장치를 통해 컴퓨터(1502)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(1508)에 연결되어 있는 입력 장치 인터페이스(1542)를 통해 처리 장치(1504)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.
모니터(1544) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(1546) 등의 인터페이스를 통해 시스템 버스(1508)에 연결된다. 모니터(1544)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(도시 생략)를 포함한다.
컴퓨터(1502)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(1548) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1548)는 워크스테이션, 서버 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(1502)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(1550)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(1552) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(1554)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1502)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1556)를 통해 로컬 네트워크(1552)에 연결된다. 어댑터(1556)는 LAN(1552)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(1552)은 또한 무선 어댑터(1556)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1502)는 모뎀(1558)을 포함할 수 있거나, WAN(1554) 상의 통신 서버에 연결되거나, 또는 인터넷을 통하는 등, WAN(1554)을 통해 통신을 정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1558)은 직렬 포트 인터페이스(1542)를 통해 시스템 버스(1508)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1502)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(1550)에 저장될 수 있다. 도시된 네트워크 연결이 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.
컴퓨터(1502)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소, 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.
Wi-Fi(Wireless Fidelity)는 유선 없이도 인터넷 등으로의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성 있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.11(a,b,g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5 GHz 무선 대역에서, 예를 들어, 11Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작할 수 있다.
본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 어플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 어플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.
여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 저장 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 용어 "기계-판독가능 매체"는 명령(들) 및/또는 데이터를 저장, 보유, 및/또는 전달할 수 있는 무선 채널 및 다양한 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.
제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.
제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

Claims (21)

  1. 컴퓨터 판독가능 저장 매체에 저장되는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 변경 데이터 캡쳐(Change Data Capture)를 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은:
    온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 동작;
    소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 동작; 및
    상기 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 상기 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작;
    을 포함하고, 그리고
    상기 리메인 로그 임계치는,
    상기 변경 데이터로 추출이 필요한 상기 온라인 리두 로그 및 상기 아카이브 리두 로그의 기준이 되는 임계치이며,
    상기 자원 사용률 임계치는,
    상기 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장하기 위한 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준인,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  2. 제 1 항에 있어서,
    상기 리메인 로그 정보는,
    변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그에 관한 정보이며,
    상기 자원 사용률 정보는,
    상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률에 대한 정보인,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  5. 제 4 항에 있어서,
    상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작은,
    상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작;
    상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 자원 사용률 임계치를 재설정할 것을 결정하는 동작; 및
    상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  6. 제 1 항에 있어서,
    상기 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 상기 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 자원 사용률 정보와 자원 사용률 임계치 정보를 비교하는 동작; 및
    상기 자원 사용률 정보와 상기 자원 사용률 임계치 정보의 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작 및 상기 자원 사용률 임계치를 재설정할 것을 결정하는 동작 중 적어도 하나의 동작을 수행할 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  7. 제 6 항에 있어서,
    상기 자원 사용률 정보와 상기 자원 사용률 임계치 정보의 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작 및 상기 자원 사용률 임계치를 재설정할 것을 결정하는 동작 중 적어도 하나의 동작을 수행할 것을 결정하는 동작은,
    상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 자원 사용률 임계치를 재설정하는 동작; 및
    상기 자원 사용률 정보가 상기 자원 사용률 임계치 이하인 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  8. 제 1 항에 있어서,
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는지 여부를 식별하는 동작; 및
    상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  9. 제 8 항에 있어서,
    상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하는 동작은,
    상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작;
    상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하는 동작; 및
    상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  10. 제 1 항에 있어서,
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  11. 제 10 항에 있어서,
    상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작;
    상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하는 동작; 및
    상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  12. 제 10 항에 있어서,
    상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작;
    상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 유지하는 동작; 및
    상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  13. 제 1 항에 있어서,
    상기 리메인 로그 임계치 및 상기 자원 사용률 임계치 중 적어도 하나는,
    상기 소스 데이터베이스 서버의 동작 로그에 기초한 기계학습을 통해 가변되는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  14. 제 1 항에 있어서,
    상기 변경 데이터는,
    상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 제 1 변경 데이터에 대한 처리가 완료된 이후 상기 제 1 변경 데이터에 대한 처리 없이 상기 제 2 변경 데이터에 대한 처리가 이루어지는 경우, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 제 2 변경 데이터의 처리 모드를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  15. 제 1 항에 있어서,
    상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고
    상기 제 1 변경 데이터를 처리하기 위한 모드가 변경되는 경우, 상기 제 2 변경 데이터를 처리하는 모드를 상기 제 1 변경 데이터의 처리 모드와 대응되도록 변경할 것을 결정하는 동작;
    을 더 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  16. 제 15 항에 있어서,
    상기 제 1 변경 데이터에 대한 처리와 상기 제 2 변경 데이터에 대한 처리는 병렬로 수행되는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  17. 제 1 항에 있어서,
    상기 CDC 파일에 상기 소스 데이터베이스 서버의 객체들 중 SQL(Structured Query Language) 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작;
    을 더 포함하고, 그리고
    상기 메타 정보는,
    테이블 유저 정보, 테이블 이름 정보, 칼럼 이름 정보, 칼럼 순서 정보 및 칼럼 타입 정보 중 적어도 하나의 정보를 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  18. 제 17 항에 있어서,
    상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작은,
    상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하지 않는 경우, 해당 객체에 대한 DD(Data Dictionary) 정보를 사용하여 상기 해당 객체에 대한 메타 정보를 생성하는 동작; 및
    상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하는 경우, 상기 해당 객체에 대한 메타 정보를 생성하지 않을 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  19. 제 17 항에 있어서,
    상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작은,
    상기 SQL 연산이 발생한 객체에 대한 메타 정보가 생성된 경우, 해당 객체와 관련된 SQL 연산 및 상기 메타 정보를 상기 CDC 파일에 기록할 것을 결정하는 동작; 및
    상기 해당 객체에 대한 메타 정보가 생성되지 않은 경우, 상기 해당 객체와 관련된 SQL 연산을 상기 CDC 파일에 기록할 것을 결정하는 동작;
    을 더 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  20. 변경 데이터 캡쳐를 구현하기 위한 데이터베이스 서버로서,
    하나 이상의 코어를 포함하는 프로세서;
    상기 프로세서에 의해 실행가능한 프로그램 코드들을 저장하는 메모리; 및
    소스 데이터베이스 서버 및 타겟 데이터베이스 서버와 데이터를 송수신하는 네트워크부;
    를 포함하며,
    상기 프로세서는,
    온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하고,
    소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하고, 그리고
    상기 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 상기 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하고, 그리고
    상기 리메인 로그 임계치는,
    상기 변경 데이터로 추출이 필요한 상기 온라인 리두 로그 및 상기 아카이브 리두 로그의 기준이 되는 임계치이며,
    상기 자원 사용률 임계치는,
    상기 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장하기 위한 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준인,
    변경 데이터 캡쳐를 구현하기 위한 데이터베이스 서버.
  21. 하나 이상의 프로세서에 의해 구현되는 변경 데이터 캡쳐를 구현하기 위한 방법으로,
    상기 프로세서가, 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 단계;
    상기 프로세서가, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 단계; 및
    상기 프로세서가, 상기 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 상기 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 단계;
    를 포함하고, 그리고
    상기 리메인 로그 임계치는,
    상기 변경 데이터로 추출이 필요한 상기 온라인 리두 로그 및 상기 아카이브 리두 로그의 기준이 되는 임계치이며,
    상기 자원 사용률 임계치는,
    상기 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장하기 위한 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준인,
    변경 데이터 캡쳐를 구현하기 위한 방법.
KR1020190045206A 2019-04-18 2019-04-18 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램 KR102225258B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190045206A KR102225258B1 (ko) 2019-04-18 2019-04-18 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램
PCT/KR2020/005159 WO2020213985A1 (ko) 2019-04-18 2020-04-17 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램
US17/055,956 US11726978B2 (en) 2019-04-18 2020-04-17 Computer program for providing efficient change data capture in a database system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190045206A KR102225258B1 (ko) 2019-04-18 2019-04-18 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20200123299A KR20200123299A (ko) 2020-10-29
KR102225258B1 true KR102225258B1 (ko) 2021-03-10

Family

ID=72838182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190045206A KR102225258B1 (ko) 2019-04-18 2019-04-18 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램

Country Status (3)

Country Link
US (1) US11726978B2 (ko)
KR (1) KR102225258B1 (ko)
WO (1) WO2020213985A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823130B1 (ko) * 2016-11-28 2018-03-09 주식회사 실크로드소프트 데이터베이스의 이중화를 위한 기법
KR101917807B1 (ko) * 2018-05-31 2018-11-13 주식회사 웨어밸리 원본 데이터베이스의 부하를 최소화한 데이터 정합성 검증 방법 및 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658589B1 (en) * 1999-12-20 2003-12-02 Emc Corporation System and method for backup a parallel server data storage system
US6691139B2 (en) * 2001-01-31 2004-02-10 Hewlett-Packard Development Co., Ltd. Recreation of archives at a disaster recovery site
US7111023B2 (en) 2001-05-24 2006-09-19 Oracle International Corporation Synchronous change data capture in a relational database
US7657576B1 (en) 2001-05-24 2010-02-02 Oracle International Corporation Asynchronous change capture for data warehousing
US6999977B1 (en) 2002-05-09 2006-02-14 Oracle International Corp Method and apparatus for change data capture in a database system
US7647354B2 (en) 2002-05-24 2010-01-12 Oracle International Corporation High-performance change capture for data warehousing
US7308456B2 (en) * 2002-12-19 2007-12-11 International Business Machines Corporation Method and apparatus for building one or more indexes on data concurrent with manipulation of data
US10102266B2 (en) * 2012-04-24 2018-10-16 Oracle International Corporation Method and system for implementing a redo repeater
US9727624B2 (en) 2013-03-01 2017-08-08 Oracle International Corporation Active replication with generic conflict detection and resolution (CDR)
US9563655B2 (en) * 2013-03-08 2017-02-07 Oracle International Corporation Zero and near-zero data loss database backup and recovery
US10055305B2 (en) * 2016-04-28 2018-08-21 Netapp, Inc. Techniques to perform system management processing for database systems
US20170372142A1 (en) 2016-06-27 2017-12-28 Facebook, Inc. Systems and methods for identifying matching content
KR101956236B1 (ko) 2016-11-16 2019-03-11 주식회사 실크로드소프트 데이터베이스 관리 시스템에서의 데이터 복제 기법
KR101981310B1 (ko) * 2016-12-27 2019-05-22 주식회사 씨에스리 데이터베이스 시스템의 이상을 탐지하는 장치 및 방법
KR101904786B1 (ko) * 2017-03-06 2018-10-08 주식회사 데이터스트림즈 소스 데이터베이스 관리시스템에서 변경되는 데이터를 실시간으로 목표 데이터베이스 관리시스템에 복제하는 장치 및 그 방법
US10649855B2 (en) * 2018-07-12 2020-05-12 EMC IP Holding Company LLC Network configuration method to allow access to the backup and restores to Mtrees on a clustered backup appliance
KR20190022600A (ko) * 2019-02-25 2019-03-06 주식회사 실크로드소프트 데이터베이스 관리 시스템에서의 데이터 복제 기법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823130B1 (ko) * 2016-11-28 2018-03-09 주식회사 실크로드소프트 데이터베이스의 이중화를 위한 기법
KR101917807B1 (ko) * 2018-05-31 2018-11-13 주식회사 웨어밸리 원본 데이터베이스의 부하를 최소화한 데이터 정합성 검증 방법 및 시스템

Also Published As

Publication number Publication date
WO2020213985A1 (ko) 2020-10-22
US20220027338A1 (en) 2022-01-27
KR20200123299A (ko) 2020-10-29
US11726978B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
US11182404B2 (en) Data replication technique in database management system
KR102119258B1 (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
US10659225B2 (en) Encrypting existing live unencrypted data using age-based garbage collection
KR20200056357A (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
KR101922044B1 (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
JP2016502193A (ja) バックアップシステムからのデータベースのストリーミング復元
US8380663B2 (en) Data integrity in a database environment through background synchronization
US11507277B2 (en) Key value store using progress verification
US10824612B2 (en) Key ticketing system with lock-free concurrency and versioning
KR102195839B1 (ko) 데이터베이스 관리 시스템에서의 로그 레코드 관리를 위한 기법
US20070174360A1 (en) Storage system embedding database
US11003540B2 (en) Method, server, and computer readable medium for index recovery using index redo log
KR20190022600A (ko) 데이터베이스 관리 시스템에서의 데이터 복제 기법
US11080239B2 (en) Key value store using generation markers
US11210212B2 (en) Conflict resolution and garbage collection in distributed databases
KR102225258B1 (ko) 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램
CN115794819A (zh) 一种数据写入方法及电子设备
KR102214697B1 (ko) 데이터베이스 관리 시스템에서 데이터 저장을 위한 공간 관리를 제공하는 컴퓨터 프로그램
KR20210033880A (ko) 인덱스 리두 로그를 이용한 인덱스 복구를 위한 방법, 서버 및 컴퓨터 판독가능 저장매체
KR20180126431A (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
KR20200078426A (ko) 복구 서버 및 컴퓨터 프로그램
CN114003622B (zh) 一种事务型数据库之间巨大事务增量同步方法
CN114048190A (zh) 一种数据迁移方法及装置
WO2023196031A1 (en) Online migration from an eventually consistent system to a strongly consistent system
KR20210013747A (ko) 데이터베이스 관리 시스템에서 데이터 저장을 위한 공간 관리를 제공하는 컴퓨터 프로그램

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant