KR101859090B1 - Integrated replication system - Google Patents

Integrated replication system Download PDF

Info

Publication number
KR101859090B1
KR101859090B1 KR1020170129432A KR20170129432A KR101859090B1 KR 101859090 B1 KR101859090 B1 KR 101859090B1 KR 1020170129432 A KR1020170129432 A KR 1020170129432A KR 20170129432 A KR20170129432 A KR 20170129432A KR 101859090 B1 KR101859090 B1 KR 101859090B1
Authority
KR
South Korea
Prior art keywords
replication
module
data
source system
transaction
Prior art date
Application number
KR1020170129432A
Other languages
Korean (ko)
Inventor
장윤철
이종수
권기욱
Original Assignee
(주)데이타뱅크시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)데이타뱅크시스템즈 filed Critical (주)데이타뱅크시스템즈
Priority to KR1020170129432A priority Critical patent/KR101859090B1/en
Priority to PCT/KR2017/013084 priority patent/WO2019074154A1/en
Application granted granted Critical
Publication of KR101859090B1 publication Critical patent/KR101859090B1/en

Links

Images

Classifications

    • G06F17/30115—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G06F17/30174—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

An integrated replication system according to an embodiment of the present invention includes: a reader for collecting information including transaction or SQL information indicating data changes of a source system; a storage module for storing the information collected by the reader; a replication module for replicating the change data of the source system in a target system through a first replication method or a second replication method; and a selection module for controlling the replication module to selectively apply any one of the first replication method and the second replication method according to a predetermined standard. Accordingly, the present invention can maintain the continuity of a task.

Description

통합 복제 시스템{INTEGRATED REPLICATION SYSTEM}Integrated replication system {INTEGRATED REPLICATION SYSTEM}

본 발명은 통합 복제 시스템에 관한 것으로, 더 구체적으로는 다양한 데이터베이스간의 전환, 이전 및 통합을 위한 이기종 데이터베이스 간의 실시간 통합 복제 시스템에 관한 것이다.The present invention relates to an integrated replication system, and more particularly, to a real-time integrated replication system between heterogeneous databases for conversion, migration, and integration among various databases.

최근 정형 및 비정형 데이터베이스가 다양화되면서 정보 관리 환경은 더욱 복잡해지고 있으며, 다양한 IT 환경에서 데이터를 종합적으로 관리해야 하는 환경에 직면하고 있다.With the recent diversification of fixed and unstructured databases, the information management environment is becoming more complicated and confronts the need to manage data comprehensively in various IT environments.

빅데이터 시대의 도래를 통해 다양한 형태로 산재하는 무한에 가까운 데이터 환경에서 기업들은 비즈니스 성공을 위해 전사 데이터 통합을 선행하여 의미있는 데이터를 통해 가치 있는 정보를 얻는 일이 필수 과제가 되었다.With the advent of the Big Data era, in infinite data environments scattered in various forms, it has become a challenge for companies to gain valuable information through meaningful data by leading enterprise data integration for business success.

또한, 최근 기업내에서 데이터들은 폭발적으로 계속 증가하고 있고 동시에 실시간 기반의 서비스들이 계속해서 증가하고 있는 상황에서 많은 기업들은 항상 유연한 IT 인프라를 유지하고자 한다.In addition, as data continues to grow explosively in the recent enterprise and at the same time real-time-based services continue to increase, many companies are always looking to maintain a flexible IT infrastructure.

또한, 최근 클라우드 및 빅데이터 산업의 급격한 발전으로 인해 빠르게 증가하는 데이터를 정리하고 이동시키며 분석하기 위한 통합 관리 시스템의 요구가 증대되고 있다.Also, due to the rapid development of the cloud and big data industries in recent years, there is an increasing demand for an integrated management system for organizing, moving, and analyzing rapidly increasing data.

본 발명이 해결하고자 하는 과제는 데이터베이스의 복제 솔루션이 이기종 데이터베이스의 실시간 복제를 지원하지 못하고 있는 한계점을 극복하려는 것이며, 데이터를 실시간 복제함으로써 업무의 연속성을 유지할 수 있는 시스템을 제공하려는 것이다.A problem to be solved by the present invention is to overcome the limitation that a replication solution of a database does not support real-time replication of a heterogeneous database, and to provide a system that can maintain continuity of business by replicating data in real time.

본 발명이 해결하고자 하는 과제는 복제된 데이터의 정합성을 보장하는 기술과 변경된 데이터 복제 기술을 통해 데이터베이스 서버 및 네트워크의 부하를 최소화할 수 있는 시스템을 제공하려는 것이다.A problem to be solved by the present invention is to provide a system capable of minimizing the load on a database server and a network through a technique for ensuring consistency of replicated data and a modified data replication technique.

본 발명이 해결하고자 하는 과제는 실시간으로 데이터의 정합성을 검증하고 보정이 가능함으로 데이터의 가용성을 증대시킬 수 있는 시스템을 제공하려는 것이다.A problem to be solved by the present invention is to provide a system capable of verifying and correcting data consistency in real time, thereby increasing the availability of data.

본 발명의 일 실시예에 따른 통합 복제 시스템은 소스 시스템의 데이터 변경들을 나타내는 트랜잭션 또는 SQL 정보를 포함하는 정보를 수집하는 리더; 상기 리더에 의해 수집된 정보를 저장하는 저장 모듈; 제1 복제 방식 또는 제2 복제 방식을 통해 상기 소스 시스템의 변경 데이터를 타겟 시스템에 복제하는 복제 모듈; 및 상기 제1 복제 방식 및 제2 복제 방식을 미리 설정된 기준에 따라 어느 하나의 방식으로 선택적으로 적용하기 위하여 상기 복제 모듈을 제어하는 선택 모듈을 포함할 수 있다.An integrated replication system according to an embodiment of the present invention includes a reader for collecting information including transaction or SQL information indicating data changes of a source system; A storage module for storing information collected by the reader; A replication module for replicating the change data of the source system to the target system through a first replication method or a second replication method; And a selection module for controlling the copying module to selectively apply the first copying method and the second copying method according to a predetermined standard in any one of the methods.

또한 상기 복제 모듈은 상기 제1 복제 방식을 실행시키는 제1 복제 모듈; 및 상기 제2 복제 방식을 실행시키는 제2 복제 모듈;을 포함하되, 상기 제1 복제 모듈은: 상기 소스 시스템의 데이터를 트랜잭션 단위로 추출하고, 트랜잭션을 완료하도록 상기 소스 시스템에 커밋(commint)이 이루어지면 상기 소스 시스템의 변경 데이터를 상기 타겟 시스템에 복제하도록 하고, 상기 제2 복제 모듈은: 상기 소스 시스템의 데이터를 SQL 단위로 추출하고, 상기 소스 시스템의 데이터는 SQL 단위로 캡쳐 및 추출해 해당 로그를 타겟 시스템에 전송되도록 하며, 이후 커밋(commint)이 이루어지면 소스 시스템의 변경 데이터를 상기 타겟 시스템에 복제하도록 할 수 있다.The replication module may further include: a first replication module for executing the first replication method; And a second replication module for executing the second replication scheme, wherein the first replication module is configured to: extract data of the source system on a transaction basis and to commission the source system to complete the transaction; The second replication module extracts data of the source system in SQL units, captures and extracts data of the source system in SQL units, To be transferred to the target system, and if the commint is subsequently performed, the change data of the source system may be copied to the target system.

또한 상기 선택 모듈은: 상기 제1 복제 모듈을 우선적으로 실행하고 미리 설정된 기준에 만족하는 경우에 제2 복제 모듈을 선택하여 실행하여 복제 방식을 변경시킬 수 있다.In addition, the selection module may change the replication mode by preferentially executing the first replication module and selecting and executing the second replication module when the predetermined criterion is satisfied.

또한 상기 선택 모듈은: 상기 소스 시스템에서 상기 타겟 시스템으로 전송되는 트랜잭션 데이터량과 미리 설정된 데이터량을 비교하여 상기 트랜잭션 데이터량이 미리 설정된 데이터량을 초과하는지 여부를 판단하는 트랜잭션 판단 모듈; 및 상기 트랜잭션 판단 모듈의 판단결과 상기 트랜잭션 데이터량이 미리 설정된 데이터량을 초과하면 상기 제2 복제 방식을 선택하기 위해 상기 제2 복제 모듈을 구동시키는 제어 모듈;을 포함할 수 있다.The selection module may further include: a transaction determination module for comparing the amount of transaction data transmitted from the source system to the target system with a preset amount of data to determine whether the amount of transaction data exceeds a predetermined amount of data; And a control module for driving the second copying module to select the second copying method if the transaction data amount exceeds a predetermined amount of data as a result of the determination by the transaction determination module.

또한 상기 제어 모듈은: 상기 제2 복제 모듈을 구동시킬 때, 상기 제1 복제 방식에서 제2 복제 방식으로 복제 방식을 변경하도록 하기 위해 상기 제1 복제 모듈의 구동을 중지시킬 수 있다.Also, the control module may stop driving the first duplication module to change the duplication scheme from the first duplication scheme to the second replication scheme when the second duplication module is driven.

본 발명에 따른 통합 복제 시스템에 의하면, 데이터베이스의 복제 솔루션이 이기종 데이터베이스의 실시간 복제를 지원하지 못하고 있는 한계점을 극복하려는 것이며, 데이터를 실시간 복제함으로써 업무의 연속성을 유지할 수 있는 시스템을 제공하는 효과를 가진다.The integrated replication system according to the present invention is intended to overcome the limitation that a replication solution of a database does not support real-time replication of a heterogeneous database and provides a system capable of maintaining continuity of business by replicating data in real time .

본 발명에 따른 통합 복제 시스템에 의하면, 복제된 데이터의 정합성을 보장하는 기술과 변경된 데이터 복제 기술을 통해 데이터베이스 서버 및 네트워크의 부하를 최소화할 수 있는 시스템을 제공하는 효과를 가진다.The integrated replication system according to the present invention has the effect of providing a system capable of minimizing the load on the database server and the network through the technique of ensuring consistency of the copied data and the modified data replication technique.

본 발명에 따른 통합 복제 시스템에 의하면, 실시간으로 데이터의 정합성을 검증하고 보정이 가능함으로 데이터의 가용성을 증대시킬 수 있는 시스템을 제공하는 효과를 가진다.The integrated copy system according to the present invention has the effect of providing a system capable of verifying and correcting data consistency in real time and increasing the availability of data.

도 1은 본 발명의 일 실시예에 따른 통합 복제 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 통합 복제 시스템을 구체적으로 설명하기 위한 블록도이다.
도 3은 도 2의 선택 모듈을 구체적으로 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 통합 복제 시스템의 제1 복제 방식을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 통합 복제 시스템의 제2 복제 방식을 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 통합 복제 방법을 설명하기 위한 도면이다.1 is a view for explaining an integrated copy system according to an embodiment of the present invention.
FIG. 2 is a block diagram specifically illustrating the integrated replication system of FIG. 1; FIG.
FIG. 3 is a block diagram specifically illustrating the selection module of FIG. 2. FIG.
4 is a diagram for explaining a first copying method of an integrated copying system according to an embodiment of the present invention.
5 is a diagram for explaining a second copying method of an integrated copying system according to an embodiment of the present invention.
6 and 7 are views for explaining an integrated replication method according to an embodiment of the present invention.

명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.Specific structural or functional descriptions of embodiments of the invention disclosed in the specification or the application are illustrative only for the purpose of illustrating embodiments of the invention and the embodiments according to the invention may be embodied in various forms, And should not be construed as limited to the embodiments set forth herein or in the application.

본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The embodiments according to the present invention are susceptible to various changes and may take various forms, so that specific embodiments are illustrated in the drawings and described in detail in this specification or application. It is to be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to the particular forms of disclosure, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first and / or second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are intended to distinguish one element from another, for example, without departing from the scope of the invention in accordance with the concepts of the present invention, the first element may be termed the second element, The second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

다르게 정의되지 않는한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein Do not.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.

도 1은 본 발명의 일 실시예에 따른 통합 복제 시스템을 설명하기 위한 도면으로, 본 발명의 일 실시예에 따른 복제 환경을 개략적으로 나타내는 도면이다.FIG. 1 is a view for explaining an integrated copying system according to an embodiment of the present invention, and is a view schematically showing a copying environment according to an embodiment of the present invention.

상기 통합 복제 시스템(300)은 네트워크(400)를 통해 소스 시스템(100) 및 타겟 시스템(200)과 연결되며, 소스 시스템(100)에서 타겟 시스템(200)으로 데이터의 복제를 수행한다.The integrated replication system 300 is connected to the source system 100 and the target system 200 via the network 400 and performs replication of data from the source system 100 to the target system 200.

상기 네트워크(400)는 인터넷, 컴퓨터 네트워크와 같은 통상의 지식을 가진자에게 알려진 통신 링크를 포함할 수 있으며, 전화 또는 케이블 서비스, 무선 또는 위성 서비스 등을 포함 할 수 있다.The network 400 may include communication links known to those of ordinary skill in the art, such as the Internet, a computer network, and may include telephone or cable services, wireless or satellite services, and the like.

상기 소스 시스템(100) 및 타겟 시스템(200)은 데이터베이스 관리 시스템 (DBMS)에 따라 데이터를 구성 및 저장한다.The source system 100 and the target system 200 organize and store data according to a database management system (DBMS).

상기 통합 복제 시스템(300)은 소스 시스템(100)에 대한 변경을 포착하고, 이러한 변경을 제1 복제 방식 또는 제2 복제 방식을 선택하여 선택된 복제 방식을 통해 타겟 시스템(200)에 전송함으로써 소스 시스템(100)의 데이터 및 타겟 시스템(200)의 데이터가 서로 동기화되게 한다.The integrated replication system 300 captures a change to the source system 100 and transmits the change to the target system 200 through a selected replication method or a selected replication method by selecting the first replication method or the second replication method, The data of the target system 100 and the data of the target system 200 are synchronized with each other.

상기 통합 복제 시스템(300)은 다양한 컴퓨팅 장치 또는 시스템의 하드웨어 및 소프트웨어 구성에 기초하여 로드 밸런싱 기능을 제공할 수 있다. 또한, 통합 복제 시스템(300)은 로컬 복사본이 데이터베이스의 중앙 복사본과 동기화되거나 또는 그 반대의 경우와 같은 브로드 캐스트 또는 통합 기능을 제공할 수 있다.The integrated replication system 300 may provide load balancing functionality based on hardware and software configurations of various computing devices or systems. In addition, the integrated replication system 300 may provide a broadcast or aggregate function, such as when the local copy is synchronized with a central copy of the database, or vice versa.

상기 통합 복제 시스템(300)에 대해서는 이하에서 더 구체적으로 설명하기로 한다.The integrated replication system 300 will be described in more detail below.

도 2는 도 1의 통합 복제 시스템을 구체적으로 설명하기 위한 블록도이다. 상기 통합 복제 시스템(300)은 리더(310), 복제 모듈(320), 선택 모듈(330) 및 저장 모듈(340)을 포함하고, 상기 복제 모듈(320)은 제1 복제 모듈(321) 및 제2 복제 모듈(323)을 포함한다.FIG. 2 is a block diagram specifically illustrating the integrated replication system of FIG. 1; FIG. The integrated replication system 300 includes a reader 310, a replication module 320, a selection module 330 and a storage module 340. The replication module 320 includes a first replication module 321, 2 replication module 323.

상기 리더(310)는 상기 소스 시스템(100)의 로그 파일들을 분석할 수 있다. 예컨대, 상기 리더(310)는 상기 소스 시스템(100)의 데이터 변경들을 나타내는 트랜잭션 또는 SQL 정보를 수집할 수 있으며, 수집된 정보를 저장 모듈(340)에 저장하게 할 수 있다.The reader 310 may analyze the log files of the source system 100. For example, the reader 310 may collect transaction or SQL information indicative of data changes of the source system 100, and may store the collected information in the storage module 340.

상기 복제 모듈(320)은 특정 방식(예컨대, 제1 복제 방식 또는 제2 복제 방식)을 통해 소스 시스템(100)의 변경 데이터를 타겟 시스템(200)에 복제시키도록 한다.The replication module 320 causes the change data of the source system 100 to be copied to the target system 200 through a specific scheme (e.g., a first replication scheme or a second replication scheme).

상기 제1 복제 모듈(321)은 소스 시스템(100)의 데이터를 트랜잭션 단위로 추출할 수 있다. 예컨대, 트랜잭션을 완료하도록 상기 소스 시스템(100)에 명령하는 커밋(commint)이 이루어지면 소스 시스템(100)의 변경 데이터를 타겟 시스템(200)에 복제하도록 한다.The first replication module 321 may extract the data of the source system 100 on a transaction basis. For example, when a commint is issued to the source system 100 to complete a transaction, the source system 100 is allowed to replicate the change data to the target system 200.

예컨대, 상기 제1 복제 모듈(321)은 커밋이 이루어지면 커밋된 로그를 타겟 시스템(200)에 전송하여 커밋된 로그에 상응하는 변경 데이터를 타겟 시스템(200)에 적용하여 복제가 이루어지도록 한다.For example, when the commit is performed, the first replication module 321 transmits the committed log to the target system 200, and applies the change data corresponding to the committed log to the target system 200 to perform replication.

즉, 상기 제1 복제 모듈(321)은 커밋을 통해 트랜잭션 단위로 캡쳐하고 커밋이 이루어지면 이를 추출하여 타겟 시스템(200)으로 커밋된 로그를 전송하여 변경 데이터가 타겟 시스템(200)에 적용, 즉 복제될 수 있도록 한다.That is, the first replication module 321 captures in units of transactions through a commit, extracts a commit when the commit is performed, and transmits the committed log to the target system 200 to apply the change data to the target system 200 To be replicated.

상기 제1 복제 모듈(321)에 의하면, 불필요한 롤백(Rollback) 데이터 전송이 발생하지 않는 장점이 있으나, 대량의 트랜잭션 발생시 순간적인 부하 및 반영시간이 증가하는 면을 고려해 특정 조건 하에 제2 방식이 선택될 수 있다.According to the first replication module 321, there is an advantage that unnecessary rollback data transfer does not occur. However, in consideration of the instantaneous load and reflection time increase when a large number of transactions are generated, .

상기 제2 복제 모듈(323)은 소스 시스템(100)의 데이터를 SQL 단위로 추출할 수 있다. 예컨대, 소스 시스템(100)의 데이터는 SQL 단위로 캡쳐되어 추출되고 해당 로그가 타겟 시스템(200)에 전송된다.The second replication module 323 can extract the data of the source system 100 in units of SQL. For example, the data of the source system 100 is captured and extracted in SQL units, and the log is transmitted to the target system 200.

이후 상기 제2 복제 모듈(323)은 커밋(commint)이 이루어지면 소스 시스템(100)의 변경 데이터를 타겟 시스템(200)에 적용, 즉 복제하도록 한다.The second replication module 323 then applies the change data of the source system 100 to the target system 200 when the commit is performed.

상기 제2 복제 모듈(323)은 커밋이 이루어지지 않더라도 SQL 단위로 추출된 데이터의 로그를 타겟 시스템(200)에 전송하고 이후 커밋이 이루어지면, 커밋된 로그에 상응하는 변경 데이터를 타겟 시스템(200)에 적용하여 복제가 이루어지도록 한다.The second replication module 323 transmits the log of the extracted data in the SQL unit to the target system 200 even if the commit is not performed, and after the commit is performed, the second replication module 323 transmits the change data corresponding to the committed log to the target system 200 ) To be reproduced.

상기 선택 모듈(330)은 제1 복제 방식 및 제2 복제 방식을 미리 설정된 기준에 따라 상황에 맞게 선택적으로 적용하기 위하여 상기 제1 복제 모듈(321) 및 상기 제2 복제 모듈(323) 중 어느 하나를 선택하여 실행할 수 있다.In order to selectively apply the first copying method and the second copying method according to a preset reference, the selecting module 330 selects one of the first copying module 321 and the second copying module 323 Can be selected and executed.

상기 선택 모듈(330)은 기본적으로는 제1 복제 모듈(321)을 우선적으로 실행하고 미리 설정된 기준에 만족하는 경우 제2 복제 모듈(323)을 선택하여 실행하도록 설정될 수 있다.Basically, the selection module 330 may be configured to preferentially execute the first replication module 321 and to select and execute the second replication module 323 when the predetermined criterion is satisfied.

도 3은 도 2의 선택 모듈을 구체적으로 설명하기 위한 블록도이다. 상기 선택 모듈(330)은 트랜잭션 판단 모듈(331) 및 제어 모듈(333)을 포함한다.FIG. 3 is a block diagram specifically illustrating the selection module of FIG. 2. FIG. The selection module 330 includes a transaction determination module 331 and a control module 333.

상기 트랜잭션 판단 모듈(331)은 소스 시스템(100)에서 타겟 시스템(200)으로 전송되는 트랜잭션 데이터량과 미리 설정된 데이터량을 비교하여 상기 트랜잭션 데이터량이 미리 설정된 데이터량을 초과하는지 여부를 판단한다.The transaction determination module 331 compares the amount of transaction data transmitted from the source system 100 to the target system 200 with a predetermined amount of data to determine whether the amount of the transaction data exceeds a preset amount of data.

상기 제어 모듈(333)은 판단결과, 상기 트랜잭션 데이터량이 미리 설정된 데이터량을 초과하면 제2 복제 방식을 선택하기 위해 제2 복제 모듈(323)을 구동시키킨다.As a result of the determination, the control module 333 drives the second replication module 323 to select the second replication method when the amount of the transaction data exceeds a predetermined amount of data.

즉, 상기 제어 모듈(333)은 제1 복제 방식에서 제2 복제 방식으로 복제 방식을 변경하도록 하여 제1 복제 모듈(321)의 구동을 중지시키고 제2 복제 모듈(323)을 활성화 시킨다.That is, the control module 333 changes the replication mode from the first replication mode to the second replication mode, thereby stopping the operation of the first replication module 321 and activating the second replication module 323.

도 4는 본 발명의 일 실시예에 따른 통합 복제 시스템의 제1 복제 방식을 설명하기 위한 도면이다. 상기 제1 복제 방식은 도 2에 도시된 통합 복제 시스템(300)의 제1 복제 모듈(321)을 통해 실행된다.4 is a diagram for explaining a first copying method of an integrated copying system according to an embodiment of the present invention. The first replication method is executed through the first replication module 321 of the integrated replication system 300 shown in FIG.

상기 제1 복제 모듈(321)은 소스 시스템(100)의 데이터를 트랜잭션 단위로 추출할 수 있다. 예컨대, 트랜잭션을 완료하도록 상기 소스 시스템(100)에 명령하는 커밋(commint)이 이루어지면 소스 시스템(100)의 변경 데이터를 타겟 시스템(200)에 복제하도록 한다.The first replication module 321 may extract the data of the source system 100 on a transaction basis. For example, when a commint is issued to the source system 100 to complete a transaction, the source system 100 is allowed to replicate the change data to the target system 200.

예컨대, 상기 제1 복제 모듈(321)은 커밋이 이루어지면 커밋된 로그를 타겟 시스템(200)에 전송하여 커밋된 로그에 상응하는 변경 데이터를 타겟 시스템(200)에 적용하여 복제가 이루어지도록 한다.For example, when the commit is performed, the first replication module 321 transmits the committed log to the target system 200, and applies the change data corresponding to the committed log to the target system 200 to perform replication.

즉, 상기 제1 복제 모듈(321)은 커밋을 통해 트랜잭션 단위로 캡쳐하고 커밋이 이루어지면 이를 추출하여 타겟 시스템(200)으로 커밋된 로그를 전송하여 변경 데이터가 타겟 시스템(200)에 적용, 즉 복제될 수 있도록 한다.That is, the first replication module 321 captures in units of transactions through a commit, extracts a commit when the commit is performed, and transmits the committed log to the target system 200 to apply the change data to the target system 200 To be replicated.

도 5는 본 발명의 일 실시예에 따른 통합 복제 시스템의 제2 복제 방식을 설명하기 위한 도면이다. 상기 제2 복제 방식은 도 2에 도시된 통합 복제 시스템(300)의 제2 복제 모듈(323)을 통해 실행된다.5 is a diagram for explaining a second copying method of an integrated copying system according to an embodiment of the present invention. The second replication method is executed through the second replication module 323 of the integrated replication system 300 shown in FIG.

상기 제2 복제 모듈(323)은 소스 시스템(100)의 데이터를 SQL 단위로 추출할 수 있다. 예컨대, 소스 시스템(100)의 데이터는 SQL 단위로 캡쳐되어 추출되고 해당 로그가 타겟 시스템(200)에 전송된다.The second replication module 323 can extract the data of the source system 100 in units of SQL. For example, the data of the source system 100 is captured and extracted in SQL units, and the log is transmitted to the target system 200.

이후 상기 제2 복제 모듈(323)은 커밋(commint)이 이루어지면 소스 시스템(100)의 변경 데이터를 타겟 시스템(200)에 적용, 즉 복제하도록 한다.The second replication module 323 then applies the change data of the source system 100 to the target system 200 when the commit is performed.

상기 제2 복제 모듈(323)은 커밋이 이루어지지 않더라도 SQL 단위로 추출된 데이터의 로그를 타겟 시스템(200)에 전송하고 이후 커밋이 이루어지면, 커밋된 로그에 상응하는 변경 데이터를 타겟 시스템(200)에 적용하여 복제가 이루어지도록 한다.The second replication module 323 transmits the log of the extracted data in the SQL unit to the target system 200 even if the commit is not performed, and after the commit is performed, the second replication module 323 transmits the change data corresponding to the committed log to the target system 200 ) To be reproduced.

도 6 및 도 7은 본 발명의 일 실시예에 따른 통합 복제 방법을 설명하기 위한 도면이다. 상기 통합 복제 방법은 도 1에 도시된 통합 복제 시스템(300)에 의해 수행될 수 있다.6 and 7 are views for explaining an integrated replication method according to an embodiment of the present invention. The integrated replication method may be performed by the integrated replication system 300 shown in FIG.

도 6을 참고하면, 상기 통합 복제 시스템(300)은 선택 모듈(330)을 통해 제1 복제 모듈(321)을 동작시켜 제1 복제 방식을 선택한다(S10).Referring to FIG. 6, the integrated replication system 300 operates the first replication module 321 through the selection module 330 to select a first replication method (S10).

다음으로, 트랜잭션 데이터를 로그에 기록하며(S20), 커밋 명령이 이루어졌는지를 판단한다(S30).Next, the transaction data is recorded in the log (S20), and it is determined whether a commit command has been issued (S30).

커밋이 이루어진 경우, 추출된 커밋된 로그가 타겟 시스템(200)에 전송되어 커밋된 로그에 상응하는 데이터가 타겟 시스템에 적용, 즉 복제된다(S40).When the commit is made, the extracted committed log is transmitted to the target system 200, and data corresponding to the committed log is applied to the target system, that is, copied (S40).

이후, 상기 선택 모듈(330)은 소스 시스템(100)에서 타겟 시스템(200)으로 전송되는 트랜잭션 데이터량과 미리 설정된 데이터량을 비교하여 상기 트랜잭션 데이터량이 미리 설정된 데이터량을 초과하는 것을 감지하게 되면(S50), 상기 선택 모듈(330)은 제2 복제 방식을 선택하기 위해 제2 복제 모듈(323)을 동작 시킨다(S60).The selection module 330 then compares the amount of transaction data transferred from the source system 100 to the target system 200 with a predetermined amount of data, and when the amount of transaction data exceeds the preset amount of data S50), the selection module 330 operates the second replication module 323 to select the second replication method (S60).

도 7은 제2 복제 모듈(323)을 동작되어 제2 복제 방식이 선택된 흐름도이다.FIG. 7 is a flowchart showing a second duplication mode selected by operating the second duplication module 323. FIG.

도 7을 참고하면, 상기 통합 복제 시스템(300)은 데이터를 SQL 단위로 캡쳐하고 추출한다(S100). 이후 SQL 단위 추출된 데이터 로그는 타겟 시스템(200)에 전송된다(S200).Referring to FIG. 7, the integrated replication system 300 captures and extracts data in units of SQL (S100). Thereafter, the data log extracted as an SQL unit is transmitted to the target system 200 (S200).

이후 커밋이 이루어졌는지가 판단되어(S300), 커밋이 이루어진 경우에는 커밋된 로그에 상응하는 데이터가 타겟 시스템(200)에 적용, 즉 복제된다(S400).In step S300, it is determined whether or not the commit is performed. If the commit is performed, data corresponding to the committed log is applied to the target system 200, that is, copied (S400).

본 발명의 일 실시예에 따른 통합 복제 시스템(300)은 제1 복제 방식 및 제2 복제 방식을 미리 설정된 기준에 따라 상황에 맞게 선택적으로 적용시킬 수 있으며, 이로써 사용자의 업무 특성에 따라 제1 복제 방식 및 제2 복제 방식 중 어느 하나로 선택적으로 운영이 가능힌 효과가 있다.The integrated replication system 300 according to an embodiment of the present invention can selectively apply the first replication method and the second replication method according to a predetermined condition according to the situation, Method and a second copying method according to an embodiment of the present invention.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like. (E.g., transmission over the Internet).

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims (5)

소스 시스템의 데이터 변경들을 나타내는 트랜잭션 또는 SQL 정보를 포함하는 정보를 수집하는 리더;
상기 리더에 의해 수집된 정보를 저장하는 저장 모듈;
제1 복제 방식 또는 제2 복제 방식을 통해 상기 소스 시스템의 변경 데이터를 타겟 시스템에 복제하는 복제 모듈; 및
상기 제1 복제 방식 및 제2 복제 방식을 미리 설정된 기준에 따라 어느 하나의 방식으로 선택적으로 적용하기 위하여 상기 복제 모듈을 제어하는 선택 모듈;을 포함하고,
상기 복제 모듈은:
상기 제1 복제 방식을 실행시키는 제1 복제 모듈; 및
상기 제2 복제 방식을 실행시키는 제2 복제 모듈;을 포함하되,
상기 제1 복제 모듈은:
상기 소스 시스템의 데이터를 트랜잭션 단위로 추출하고, 트랜잭션을 완료하도록 상기 소스 시스템에 커밋(commint)이 이루어지면 상기 소스 시스템의 변경 데이터를 상기 타겟 시스템에 복제하도록 하고,
상기 제2 복제 모듈은:
상기 소스 시스템의 데이터를 SQL 단위로 추출하고, 상기 소스 시스템의 데이터는 SQL 단위로 캡쳐 및 추출해 해당 로그를 타겟 시스템에 전송되도록 하며, 이후 커밋(commint)이 이루어지면 소스 시스템의 변경 데이터를 상기 타겟 시스템에 복제하도록 하는 것을 특징으로 하는 통합 복제 시스템.A reader for collecting information including transaction or SQL information indicating data changes of the source system;
A storage module for storing information collected by the reader;
A replication module for replicating the change data of the source system to the target system through a first replication method or a second replication method; And
And a selection module for controlling the duplication module to selectively apply the first duplication scheme and the second replication scheme according to a preset reference,
Said replication module comprising:
A first duplication module for executing the first duplication scheme; And
And a second replication module for executing the second replication scheme,
Said first replication module comprising:
Extracting data of the source system on a transaction basis and causing the source system to replicate the change data of the source system to the target system when committing to the source system to complete the transaction,
The second replication module comprising:
The data of the source system is extracted in SQL unit, the data of the source system is captured and extracted in SQL unit, and the corresponding log is transmitted to the target system. Then, when commint is performed, And copying the copied data to the system. 삭제delete 제1항에 있어서,
상기 선택 모듈은:
상기 제1 복제 모듈을 우선적으로 실행하고 미리 설정된 기준에 만족하는 경우에 제2 복제 모듈을 선택하여 실행하여 복제 방식을 변경시키는 것을 특징으로 하는 통합 복제 시스템.The method according to claim 1,
The selection module comprising:
Wherein the first copying module is preferentially executed, and when the predetermined criterion is satisfied, the second copying module is selected and executed to change the copying method. 제3항에 있어서,
상기 선택 모듈은:
상기 소스 시스템에서 상기 타겟 시스템으로 전송되는 트랜잭션 데이터량과 미리 설정된 데이터량을 비교하여 상기 트랜잭션 데이터량이 미리 설정된 데이터량을 초과하는지 여부를 판단하는 트랜잭션 판단 모듈; 및
상기 트랜잭션 판단 모듈의 판단결과 상기 트랜잭션 데이터량이 미리 설정된 데이터량을 초과하면 상기 제2 복제 방식을 선택하기 위해 상기 제2 복제 모듈을 구동시키는 제어 모듈;을 포함하는 것을 특징으로 하는 통합 복제 시스템.The method of claim 3,
The selection module comprising:
A transaction determination module that compares a transaction data amount transferred from the source system to the target system with a preset data amount to determine whether the transaction data amount exceeds a preset amount of data; And
And a control module that drives the second replication module to select the second replication method when the transaction data amount exceeds a predetermined amount of data as a result of the determination by the transaction determination module. 제4항에 있어서,
상기 제어 모듈은:
상기 제2 복제 모듈을 구동시킬 때, 상기 제1 복제 방식에서 제2 복제 방식으로 복제 방식을 변경하도록 하기 위해 상기 제1 복제 모듈의 구동을 중지시키는 것을 특징으로 하는 통합 복제 시스템.5. The method of claim 4,
The control module comprising:
Wherein the first replication module stops driving the first replication module to change the replication mode from the first replication mode to the second replication mode when the second replication module is driven.
KR1020170129432A 2017-10-11 2017-10-11 Integrated replication system KR101859090B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170129432A KR101859090B1 (en) 2017-10-11 2017-10-11 Integrated replication system
PCT/KR2017/013084 WO2019074154A1 (en) 2017-10-11 2017-11-17 Integrated replication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170129432A KR101859090B1 (en) 2017-10-11 2017-10-11 Integrated replication system

Publications (1)

Publication Number Publication Date
KR101859090B1 true KR101859090B1 (en) 2018-05-18

Family

ID=62453789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170129432A KR101859090B1 (en) 2017-10-11 2017-10-11 Integrated replication system

Country Status (2)

Country Link
KR (1) KR101859090B1 (en)
WO (1) WO2019074154A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090005289A (en) * 2006-02-10 2009-01-13 마이크로소프트 코포레이션 Automatically determining file replication mechanisms
US20090313311A1 (en) * 2008-06-12 2009-12-17 Gravic, Inc. Mixed mode synchronous and asynchronous replication system
KR20140050903A (en) * 2012-10-22 2014-04-30 주식회사 엔써티 Real time backup system of database, system of recovering data and method of recovering data
US20150278329A1 (en) * 2014-03-26 2015-10-01 International Business Machines Corporation Replication of a relational database
KR101562359B1 (en) * 2014-10-14 2015-10-22 주식회사 웨어밸리 The replication utilization system and method for simultaneous service of OLTP and OLAP
KR20160050930A (en) * 2014-10-31 2016-05-11 에스케이텔레콤 주식회사 Apparatus for Processing Transaction with Modification of Data in Large-Scale Distributed File System and Computer-Readable Recording Medium with Program
KR20170089067A (en) * 2016-01-25 2017-08-03 한국전자통신연구원 Bigdata processing system and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4289056B2 (en) * 2003-03-27 2009-07-01 株式会社日立製作所 Data duplication control method between computer systems
US9589041B2 (en) * 2013-07-25 2017-03-07 Oracle International Corporation Client and server integration for replicating data
JP6293709B2 (en) * 2015-07-22 2018-03-14 株式会社東芝 Storage system and storage system program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090005289A (en) * 2006-02-10 2009-01-13 마이크로소프트 코포레이션 Automatically determining file replication mechanisms
US20090313311A1 (en) * 2008-06-12 2009-12-17 Gravic, Inc. Mixed mode synchronous and asynchronous replication system
KR20140050903A (en) * 2012-10-22 2014-04-30 주식회사 엔써티 Real time backup system of database, system of recovering data and method of recovering data
US20150278329A1 (en) * 2014-03-26 2015-10-01 International Business Machines Corporation Replication of a relational database
KR101562359B1 (en) * 2014-10-14 2015-10-22 주식회사 웨어밸리 The replication utilization system and method for simultaneous service of OLTP and OLAP
KR20160050930A (en) * 2014-10-31 2016-05-11 에스케이텔레콤 주식회사 Apparatus for Processing Transaction with Modification of Data in Large-Scale Distributed File System and Computer-Readable Recording Medium with Program
KR20170089067A (en) * 2016-01-25 2017-08-03 한국전자통신연구원 Bigdata processing system and method

Also Published As

Publication number Publication date
WO2019074154A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN109034993B (en) Account checking method, account checking equipment, account checking system and computer readable storage medium
US8024712B1 (en) Collecting application logs
US10089313B2 (en) Conversion of data integration system files
JP5178822B2 (en) Data replication method and system in database management system (DBMS)
US20050246386A1 (en) Hierarchical storage management
US11042503B1 (en) Continuous data protection and restoration
US11860741B2 (en) Continuous data protection
US20170344433A1 (en) Apparatus and method for data migration
US7698319B2 (en) Database system management method, database system, database device, and backup program
US10846081B2 (en) System and method for code synchronization between mainframe environment and distributed environment
EP2779044A1 (en) System and method to provide management of test data at various lifecycle stages
CN105393250A (en) Dynamic migration script management
KR101826827B1 (en) Integrated replication system in real time
WO2011158387A1 (en) Data processing failure recovery method, system and program
KR101374533B1 (en) High performance replication system and backup system for mass storage data, method of the same
CN112380067B (en) Metadata-based big data backup system and method in Hadoop environment
WO2014056371A1 (en) Method and apparatus for determining range of files to be migrated
US10223205B2 (en) Disaster recovery data sync
US7069270B1 (en) Automated method and mechanism for converting a single instance application to a multiple instance application
CN114610588A (en) Database performance analysis method and device, electronic equipment and storage medium
CN115335821A (en) Offloading statistics collection
US8056052B2 (en) Populating service requests
KR101859090B1 (en) Integrated replication system
KR101859094B1 (en) Integrated replication system considering change of replication method
KR101589213B1 (en) load dispersion method using backup data base

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant