WO2020213985A1 - 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램 - Google Patents

데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2020213985A1
WO2020213985A1 PCT/KR2020/005159 KR2020005159W WO2020213985A1 WO 2020213985 A1 WO2020213985 A1 WO 2020213985A1 KR 2020005159 W KR2020005159 W KR 2020005159W WO 2020213985 A1 WO2020213985 A1 WO 2020213985A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
information
change data
log
usage rate
Prior art date
Application number
PCT/KR2020/005159
Other languages
English (en)
French (fr)
Inventor
조오욱
윤정일
Original Assignee
주식회사 실크로드소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 실크로드소프트 filed Critical 주식회사 실크로드소프트
Priority to US17/055,956 priority Critical patent/US11726978B2/en
Publication of WO2020213985A1 publication Critical patent/WO2020213985A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1474—Saving, restoring, recovering or retrying in transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/87—Monitoring of transactions

Definitions

  • the present disclosure relates to a database management system (DBMS), and more particularly, to a change data capture (CDC).
  • DBMS database management system
  • CDC change data capture
  • a database system for implementing banking operations may be classified into a database that can be accessed by multiple external customers simultaneously and a database that can be accessed by internal employees according to the characteristics of the accessing client.
  • a solution for passing change data from a source database system to a target database system is referred to as change data capture (CDC).
  • the CDC may be implemented by reading and interpreting log files in the source database system, for example, and replaying the changed data in the source database system to the target database system to be copied.
  • This CDC technology can extract data from an entire table with only a few sessions.
  • the CDC technology since the CDC technology does not directly access data files, it has the advantage of reducing the resource utilization rate in a database management system (DBMS).
  • DBMS database management system
  • redo logs are accumulated as the amount of work increases, and there is a limit to the capacity to store redo logs due to the nature of the physical storage device. Specifically, redo logs are sequentially stored in at least two redo log files, and when a redo log is filled in one redo log file, it may be switched to and stored in another redo log file. However, there is a limit to the number of redo log files that can store redo logs (that is, the capacity of a physical storage device).
  • the new redo log is overwritten in the redo log file in which the redo log is initially stored. If a new redo log is overwritten in the redo log file that stores the existing redo log, the existing redo log may be lost. Therefore, the existing redo log is stored separately as an archived redo log.
  • Patent Document 1 US registered patent US6,999,977
  • Patent Document 2 US registered patent US7,111,023
  • Patent Document 3 US registered patent US7,657,576
  • Patent Document 4 US registered patent US7,647,354
  • Patent Document 5 US registered patent US9,727,624
  • the present disclosure is conceived in response to the above-described background technology, and is to provide a computer program for providing efficient change data capture.
  • a computer program stored in a computer-readable medium executable by one or more processors When the computer program is executed by one or more processors, it causes the one or more processors to perform the following operations for change data capture, and the operations include: one of an online redo log and an archive redo log. An operation of extracting change data from at least one redo log, an operation of analyzing at least one of remain log information and resource usage rate information of the source database server, and at least one of the remain log information and the resource usage rate information And determining to process the change data in one of a first mode for storing the changed data as a CDC file and a second mode for writing the changed data to a memory.
  • the re-main log information may be information on an online redo log and an archived redo log in which change data could not be extracted
  • the resource utilization rate information may be information on a resource utilization rate currently used by the source database server.
  • processing in one of a first mode storing the changed data as a CDC file and a second mode recording the changed data based on at least one of the remain log information and the resource usage rate information includes comparing the change data to the first mode and the first mode based on at least one comparison result of a comparison result of the re-main log information and a re-main log threshold, and a comparison result of the resource usage rate information and the resource usage rate threshold. It may include an operation of determining to process in one of the two modes.
  • processing in one of a first mode storing the changed data as a CDC file and a second mode recording the changed data based on at least one of the remain log information and the resource usage rate information may include processing the change data in the first mode when the re-main log information exceeds a re-main log threshold.
  • the operation of processing the change data in the first mode may include the change data in one of the first mode and the second mode. Determining that the change data is being processed in the first mode, determining to reset a resource usage rate threshold, and when the changed data is being processed in the second mode, the second It may include an operation of switching the second mode to the first mode.
  • the determining operation includes an operation of comparing the resource usage rate information and the resource usage rate threshold information when the re-main log information exceeds the re-main log threshold, and processing the change data in the first mode based on the comparison result. It may include an operation of determining to perform one of the operation of performing and determining to reset the resource usage rate threshold.
  • the operation of determining to perform at least one of an operation of processing the changed data in the first mode and an operation of determining to reset the resource usage rate threshold based on the comparison result may include: When the usage rate information exceeds the resource usage rate threshold, resetting the resource usage rate threshold, and when the resource usage rate information is less than the resource usage rate threshold, processing the changed data in the first mode. .
  • processing in one of a first mode storing the changed data as a CDC file and a second mode recording the changed data based on at least one of the remain log information and the resource usage rate information includes an operation of identifying whether the resource usage rate information exceeds a resource usage rate threshold value, and processing the changed data in the second mode when the resource usage rate information exceeds the resource usage rate threshold value. can do.
  • the operation of processing the change data in the second mode includes the change data in one of the first mode and the second mode.
  • An operation of identifying being processed, an operation of switching the first mode to the second mode, when the change data is being processed in the first mode, and when the change data is being processed in the second mode It may include an operation of identifying available resources of the source database server to reset the resource usage rate threshold.
  • processing in one of a first mode storing the changed data as a CDC file and a second mode recording the changed data based on at least one of the remain log information and the resource usage rate information includes an operation of determining to process the change data in one of the first mode and the second mode based on the resource usage rate information when the re-main log information is less than or equal to the re-main log threshold.
  • the operation of determining to process the change data in one of the first mode and the second mode based on the resource usage rate information When the resource usage rate information exceeds the resource usage rate threshold, identifying that the change data is being processed in one of the first mode and the second mode, and the change data is processed in the first mode If present, converting the first mode to the second mode, and when the changed data is being processed in the second mode, identifying available resources of the source database server to reset the resource utilization threshold It may include.
  • the operation of determining to process the change data in one of the first mode and the second mode based on the resource usage rate information When the resource usage rate information is less than or equal to a resource usage rate threshold, identifying that the change data is being processed in one of the first mode and the second mode, and when the change data is being processed in the first mode And maintaining the first mode and switching the second mode to the first mode when the change data is being processed in the second mode.
  • the re-main log threshold is a threshold that is a criterion of the online redo log and the archive redo log that need to be extracted as the changed data
  • the resource utilization threshold is at least one of the online redo log and the archive redo log.
  • the source database server for storing changed data extracted from one redo log as a CDC file is a standard of the resource utilization rate currently used, and at least one of the remain log threshold and the resource utilization threshold is the source database server It can be changed through machine learning based on the operation log of.
  • the change data includes first change data extracted from the archive redo log and second change data extracted from the online redo log, and at least one of the remain log information and the resource utilization rate information
  • the second change data processing mode is set to the first based on at least one of the re-main log information and the resource usage rate information. It may include an operation of determining to process in one of a mode and the second mode.
  • the first change data extracted from the archive redo log and the second change data extracted from the online redo log are included, and when a mode for processing the first change data is changed, the second The method may further include determining to change a mode for processing change data to correspond to a mode for processing the first change data.
  • the processing of the first change data and the processing of the second change data may be performed in parallel.
  • the CDC file further includes an operation of recording meta information on an object on which a Structured Query Language (SQL) operation has occurred among objects of the source database server, and the meta information includes table user information, table At least one of name information, column name information, column order information, and column type information may be included.
  • SQL Structured Query Language
  • the operation of recording meta information on an object in which an SQL operation has occurred among objects of the source database server in the CDC file is DD for the object when there is no previous SQL operation history in the CDC file.
  • An operation of generating meta information for the object using (Data Dictionary) information and an operation of determining not to generate meta information for the object when there is a previous SQL operation history in the CDC file. Can include.
  • the operation of recording meta information on an object in which an SQL operation has occurred among objects of the source database server in the CDC file may include an SQL operation related to the object and Determining to write the meta-information to the CDC file, and if the meta-information on the object is not generated, determining to record an SQL operation related to the object in the CDC file I can.
  • a database server for implementing change data capture.
  • the server includes a processor including one or more cores, a memory storing program codes executable by the processor, and a network unit for transmitting and receiving data to and from a source database server and a target database server, and the processor includes: online redo logs and archives Extracts change data from at least one redo log among redo logs, analyzes at least one of remain log information and resource usage rate information of the source database server, and at least one of the remain log information and the resource usage rate information It may be determined to process in one of a first mode for storing the change data as a CDC file and a second mode for recording the changed data on the basis of the information of.
  • a method for implementing change data capture includes: extracting change data from at least one redo log of an online redo log and an archived redo log, analyzing at least one of remain log information and resource utilization information of the source database server, and the remain And determining to process in one of a first mode of storing the changed data as a CDC file and a second mode of writing to a memory based on at least one of log information and the resource usage rate information.
  • the present disclosure can provide a computer program for providing efficient change data capture in a database system.
  • FIG. 1 is a schematic diagram of a database system according to an embodiment of the present disclosure.
  • FIG. 2 exemplarily illustrates a source database server and a target database server in a database system according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating an exemplary method of generating a CDC file performed in a source database server (or an agent server) according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of processing a redo log based on a re-main log of a source database according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating a method of processing a redo log based on a re-main log of a source database according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method of processing a redo log based on a resource utilization rate of a source database according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating a method of processing a redo log based on a resource utilization rate of a source database according to an embodiment of the present disclosure.
  • FIG. 8 schematically illustrates CDC operations performed in a database system according to an embodiment of the present disclosure.
  • FIG. 9 schematically illustrates CDC operations performed in a database system according to an embodiment of the present disclosure.
  • FIG. 10 illustrates means for performing CDC in a database system according to an embodiment of the present disclosure.
  • FIG. 11 shows a simplified and general schematic diagram of an exemplary computing environment in which embodiments of the present disclosure may be implemented.
  • a component may be, but is not limited to, a process executed on a processor, a processor, an object, an execution thread, a program, and/or a computer.
  • an application running on a computing device and a computing device may be components.
  • One or more components may reside within a processor and/or thread of execution.
  • a component can be localized on a single computer.
  • a component can be distributed between two or more computers.
  • these components can execute from a variety of computer readable media having various data structures stored therein.
  • Components can be, for example, via a signal with one or more data packets (e.g., data from one component interacting with another component in a local system, a distributed system, and/or a signal through another system and a network such as the Internet. Depending on the data being transmitted), it may communicate via local and/or remote processes.
  • data packets e.g., data from one component interacting with another component in a local system, a distributed system, and/or a signal through another system and a network such as the Internet.
  • it may communicate via local and/or remote processes.
  • the information can be written to memory or saved to a file.
  • the archived redo log is being extracted, there are many transactions in the source database, which may lead to delayed reflection in the target database, a failure in the target database, or a delay in the network between the source and target systems. do.
  • the change data extracted from the archive redo log is written to memory, the archive redo log may be deleted due to the limited capacity of the physical storage device.
  • the CDC is stopped, the changed data recorded in the volatile memory will disappear. Therefore, even if CDC is restarted, the changed data existing in the deleted archive redo log cannot be extracted.
  • the corresponding information in the case of extracting the changed data from the archive redo log, the corresponding information must be saved in a file, but if the information is saved as a file, the utilization rate of DISK I/O and CPU may increase, and the resource utilization rate of the system may increase rapidly. .
  • FIG. 1 is a schematic diagram of a database system according to an embodiment of the present disclosure.
  • the database system 10 may include a source database server 100, a target database server 200, and an agent server 300.
  • the database system may further include a client.
  • a client may mean any type of node(s) in a system that has a mechanism for communicating with database servers.
  • such clients may include PCs, laptop computers, workstations, terminals, and/or any electronic device with network connectivity.
  • the client may include any server implemented by at least one of an agent, an application programming interface (API), and a plug-in.
  • API application programming interface
  • operations to be described later of the source database server 100, the target database server 200, and/or the agent server 300 may be performed according to a query issued from a client.
  • Database servers 100 and 200 may include any type of computer system or computer device, such as, for example, a microprocessor, mainframe computer, digital single processor, portable device and device controller, and the like. Each of these database servers 100 and 200 may include a database management system (DBMS) and/or a persistent storage medium, although not shown.
  • DBMS database management system
  • the source database server 100 and the target database server 200 may refer to arbitrary types of nodes in the database system 10.
  • the source database server 100 and the target database server 200 may be integrated into one database server and managed and/or clustered.
  • the source database server 100 and the target database server 200 may be integrated into one database server to form multiple databases linked to each other.
  • the source database server 100 and the target database server 200 may refer to heterogeneous database servers located remotely from each other.
  • FIG. 1 shows two database servers, more database servers may be included in the scope of the present invention.
  • the database servers 100 and 200 may include one or more memories including a buffer cache.
  • the database servers 100 and 200 may include one or more processors. Accordingly, the DBMS in the database server can be operated by the processor on the memory.
  • the memory is the main storage device directly accessed by the processor, such as a random access memory (RAM) such as dynamic random access memory (DRAM) and static random access memory (SRAM), and stored information when the power is turned off.
  • RAM random access memory
  • DRAM dynamic random access memory
  • SRAM static random access memory
  • the memory may store a data table including data values and/or log records according to transactions.
  • log records may be stored in a separate component in charge of storing separate transaction logs in memory.
  • a transaction may generally mean a continuous processing unit for a series of tasks such as information exchange or database update. These transactions represent the basic unit of work for completing the requested work in a state where the integrity of the database is guaranteed.
  • Redo log data in the present disclosure can identify changes to the structure and organization of data in the database (e.g., tables, columns, rows, data types, indexes, etc.) May contain data records.
  • data values and/or log records of a data table may be recorded from a memory to a permanent storage medium.
  • the memory includes a buffer cache, where such data and/or log records may be stored in a block of the buffer cache.
  • the data and/or log records may be recorded on a permanent storage medium by a background process.
  • Persistent storage media in the database server include, for example, storage devices based on magnetic disks, optical disks and magneto-optical storage devices, as well as flash memory and/or battery-backup memory. It refers to a non-volatile storage medium capable of continuously performing arbitrary data. Such a persistent storage medium may communicate with the processors and memories of the database servers 100 and 200 through various communication means. In an additional embodiment, such a permanent storage medium may be located outside the database servers 100 and 200 to communicate with the database servers 100 and 200.
  • the DBMS is a program for allowing the database servers 100 and 200 to perform operations such as searching, inserting, modifying, deleting, and/or managing log records.
  • the database servers 100 and 200 Can be implemented by the processor in the memory.
  • the client and the database servers 100 and 200 or the database servers 100 and 200 may communicate with each other through a network (not shown).
  • the network is a public switched telephone network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and Very High Speed DSL (VDSL). ), UADSL (Universal Asymmetric DSL), HDSL (High Bit Rate DSL), and local area network (LAN).
  • PSTN public switched telephone network
  • xDSL Digital Subscriber Line
  • RADSL Rate Adaptive DSL
  • MDSL Multi Rate DSL
  • VDSL Very High Speed DSL
  • UADSL Universal Asymmetric DSL
  • HDSL High Bit Rate DSL
  • LAN local area network
  • the network presented in the present specification is CDMA (Code Division Multi Access), TDMA (Time Division Multi Access), FDMA (Frequency Division Multi Access), OFDMA (Orthogonal Frequency Division Multi Access), SC-FDMA (Single Carrier-FDMA) ) And other systems.
  • the network in this specification may include a database link (dblink), whereby the database servers 100 and 200 communicate with each other through such a database link to provide data from or from another database server. /You can also fetch log records.
  • the techniques described herein may be used not only in the networks mentioned above, but also in other networks.
  • the source database server 100 may be located remotely from the target database server 200. Further, the source database server 100 and the target database server 200 may refer to servers of the same type or heterogeneous database servers that are not compatible with each other.
  • the source database server 100 may include a device including a processor and memory for executing and storing instructions as a database of any type, but is not limited thereto. That is, the source database may include software, firmware, and hardware, or a combination thereof.
  • the software may include application(s) for creating, deleting and modifying database tables, schemas, indexes and/or data.
  • the source database server 100 may receive transactions from a client or other computing device, and exemplary transactions search, add, modify, and/or retrieve data, tables and/or indexes, etc. in the source database server 100. It may include deleting.
  • the target database server 200 refers to a database server in which data changes generated in the source database server 100 are replicated or synchronized, and may include at least some of the features of the source database server 100 described above.
  • the target database server 200 may store copies of data, data types, tables, indexes, and/or log records of the source database server 100.
  • a log record may refer to a data record capable of identifying changes to the structure and organization of data in a database, and/or changes related to tables, columns, data types, indexes, data, and the like.
  • the redo log may refer to information for uniquely identifying a transaction or operation and/or information for identifying a data record changed according to the transaction or operation.
  • the agent server 300 may refer to a separate entity for implementing CDC between the source database server 100 and the target database server 200. Accordingly, the agent server 300 can perform arbitrary operations for implementing CDC. For example, the agent server 300 receives and processes data from the source database server 100 in the present disclosure, and then transmits the data to the target database server 200, so that the change data from the target database server 200 is You can allow it to be applied.
  • the agent server 300 is a server of any type, and may include a device including a processor and memory for executing and storing instructions, but is not limited thereto.
  • the agent server 300 may include software, firmware, and hardware, or a combination thereof.
  • software that implements the operations of the agent server 300 may be installed in the source database server 100 and/or the target database server 200.
  • the CDC module is installed in the source database server 100 and/or the target database server 200 to allow CDC features between the source database server 100 and the target database server 200 to be implemented. have.
  • agent server 300 shown in FIG. 1 may be partially integrated into the source database server 100 and/or the target database server 200.
  • the CDC function of the agent server 300 may be replaced by the target database server 200.
  • FIG. 2 exemplarily illustrates a source database server and a target database server in a database system according to an embodiment of the present disclosure.
  • the source database server 100 may include a processor 110, a memory 120, and a network unit 130.
  • the above-described components are exemplary, and the scope of the present disclosure is not limited to the above-described components. That is, additional components may be included or some of the above-described components may be omitted according to implementation aspects of the embodiments of the present disclosure.
  • the source database server 100 may include a target database server 200 and a network unit 130 that transmits and receives data to and from the agent server 300.
  • the network unit 130 may provide a communication function of the database servers 110 and 120 and/or a communication function with a client.
  • the network unit 130 may receive the extracted log records from the source database server 100.
  • the network unit 130 may allow communication between the database servers 110 and 120 using any network and/or database link.
  • the network unit 130 may receive an input from a client.
  • the network unit 130 may receive requests related to data storage, change, and inquiry, and index build, change, and inquiry from a client.
  • the network unit 130 may allow information transfer between database servers by calling a procedure to the database server.
  • the network unit 130 may provide a function of transmitting and receiving arbitrary data/information transmitted between database servers in connection with database replication.
  • the network unit 130 may transmit the received CDC file or information recorded in the CDC file to the target database server 100.
  • the network unit 130 may convert the CDC file or information recorded in the CDC file into a format suitable for the target database server 200 and transmit the converted format to the target database server 200.
  • the memory 120 may store any data that is stored in connection with performing the CDC feature according to embodiments of the present disclosure, such as storing an extracted log record.
  • the memory 120 may be included in a DBMS and/or a permanent storage medium. Additionally, the memory 120 may perform storage related to the update request.
  • the memory 120 may determine to store a data table and an index table.
  • the memory 120 may determine a storage location on a data table and a storage location on a permanent storage medium for data.
  • the processor 110 may store redo logs including information on transactions processed by the source database server 100 in at least one redo log storage.
  • the redo log may include data records that can identify changes to the structure and organization of data in the database (eg, tables, columns, rows, data types, indexes, etc.). That is, the processor 110 may sequentially store redo logs including information on transactions that occur according to changes to the structure and organization of data in the database in one or more online redo log storage, and one or more online redo log storage. If all of the redo logs are saturated, you can store newly generated redo logs in the first online redo log storage. In this case, the processor 110 may extract the redo log previously stored in the existing redo log storage and store it as an archive redo log. That is, when a newly generated redo log is initially stored in the redo log storage, there is a risk of loss of a record of the previously stored redo log, and thus the processor 110 extracts the existing stored redo log as an archived redo log.
  • the processor 110 may extract change data from at least one redo log of an online redo log and an archive redo log. Specifically, the processor 110 reads and interprets redo logs (online and/or archived redo logs) containing information about transactions processed in the source database system and/or by identifying changes in data in the source database system. , Change data can be extracted.
  • the processor 110 may analyze at least one of re-main log information and resource usage rate information of the source database server.
  • the re-main log information may be information on at least one of an online redo log and an archive redo log in which change data cannot be extracted.
  • the remain log information is recalled by the redo log (online and/or archived redo log) and the processor 110 including information on transactions that have occurred in response to changes to the structure and organization of data in the database. It may be information about a difference in change data extracted from at least some of the redo logs.
  • the remain log information may be information about the difference between the size of the redo log including information on the transaction about data change in the database and the size of the change data generated by extracting from at least a portion of the redo log. have.
  • the re-main log information may include information about 80 MB, which is a difference between the size of the redo log and the change data generated by extracting from at least a portion of the redo log.
  • the remain log information may be information about the difference between the identification number of the redo log that is stored in real time in response to data change in the database and the identification number of change data generated by extracting at least a part of the redo log. have.
  • the identification number of the real-time redo log is 100 (i.e., when 100 redo logs are retained in response to 100 transactions), and the most recent change data extracted from at least some of the redo logs is identified.
  • the re-main log information may include information indicating that the difference between the identification number of the redo log and the change data generated by extracting from at least a portion of the redo log is 80.
  • the re-main information can identify the difference between the redo log stored in real time through the identification number of each redo log generated in response to 100 transactions and the change data extracted from at least a part of the redo log. It can contain information that can be used.
  • the description of the specific numerical value of the above-described redo log identification number is only an example, and the present disclosure is not limited thereto.
  • the resource usage rate information may be information on a computing resource currently used by the source database, and may include, for example, information on a disk I/O (disk input/output usage rate), a CPU usage rate, and a memory usage rate.
  • the source database server 100 may allow the source database server 100 to perform an efficient CDC by analyzing the re-main log information and resource usage information of the source database server 100.
  • an efficient CDC by analyzing the re-main log information and resource usage information of the source database server 100.
  • the processor 110 is one of a first mode for storing the archive redo log as a CDC file and a second mode for recording the archive redo log in a memory based on at least one of remain log information and resource utilization information of the source database server 100 You can decide what to do with the mode.
  • the processor 110 may extract change data by reading and interpreting the online redo log and the archived redo log.
  • the processor 110 is extracting the archived redo log from the redo log storage, the number of transactions in the source data database server 100 is increased, so that the reflection to the target database server 200 is delayed, or in the target database server 200 A failure may occur, or a delay in the network between the source and target may occur. Accordingly, by converting the changed data extracted from the archive redo log into a file, a delay in the database system can be prevented in advance.
  • the disk I/O and CPU usage rate increase, and the database system resources are excessively used.
  • the processor 110 is a system generated when extracting the archived redo log by switching the first mode and the second mode to process the changed data based on at least one of the remain log information and the resource usage rate information. You can balance the delay between phase delays and excessive use of system resources that occur when saving changed data to a file.
  • the source database server 100 includes a first mode for storing change data as a CDC file and a second mode for storing change data in a memory based on at least one of remain log information and resource utilization information. It is possible to decide to process in one of the modes.
  • the processor 110 converts the change data into the first mode and the second mode based on at least one comparison result of the comparison result of the re-main log information and the re-main log threshold, and the comparison result of the resource utilization information and the resource utilization threshold.
  • the re-main log threshold may be information on a threshold that is a criterion of a redo log that needs to be extracted as change data. Specifically, it may include information on a tolerance value for a difference between a redo log stored in the database in real time and change data extracted from at least a portion of the redo log.
  • the resource utilization threshold information may be a reference of the resource utilization rate currently used by the source database server to store archived redo logs as a CDC file.
  • the processor 110 may process the archive redo log in the first mode.
  • the re-main log information includes information about 80 MB, which is a difference between the size of the redo log and the change data extracted from at least a part of the redo log
  • the re-main log threshold is When the allowable value of the difference in size of the change data extracted from at least a part of the redo log includes information about 60 MB, the processor 110 determines that the re-main log information exceeds the re-main log threshold, and stores the change data. It can be processed in the first mode.
  • the description of the above-described re-main log information and specific values of the re-main log threshold is only an example, and the present disclosure is not limited thereto.
  • the re-main log information includes information that the difference between the identification number of the redo log and the change data extracted from at least a part of the redo log is 80, and the re-main log threshold is equal to that of the redo log.
  • the processor 110 determines that the re-main log information exceeds the re-main log threshold, and the change data Can be processed in the first mode.
  • the processor 110 determines to reset the resource usage rate based on the mode in which the changed data is processed, and the second mode. It may be determined to perform at least one of the operations of switching to the first mode. A detailed description of this will be described later with reference to FIG. 5.
  • the processor 110 may identify a point in time when the re-main log information exceeds the re-main log threshold (610).
  • the reason that the re-main log information exceeds the re-main log threshold is that the difference between the real-time redo log and the change data extracted from at least part of the redo log is relatively large (that is, the difference between the redo log and the changed data is It may mean out of log threshold). That is, there is little change data extracted from redo logs (online and/or archived redo logs), which means that the amount of archived redo logs extracted from the redo log storage in the current memory of the source database server 100 is large. I can.
  • the processor 110 may identify that the changed data is currently being processed in one of the first mode and the second mode (620). In other words, in a situation where the storage amount of the archive redo log extracted on the current memory is large, the processor 110 determines whether the corresponding change data is being stored as a CDC file (i.e. Mode) can be identified.
  • the changed data is The second mode may be switched to the first mode so as to be processed as the first mode (622).
  • the situation in which the re-main log information exceeds the re-main log threshold and the changed data is being processed in the second mode means that many archived redo logs are currently held in memory (i.e., online redo logs and archives).
  • change data change data extracted from online and/or archived redo logs
  • Archive redo logs have a storage period (eg, 1 day, 1 week, 1 month, etc.), and after the storage period, the archive redo log may be backed up or deleted to another system. Accordingly, when performing CDC through a redo log, it is important to save the archived redo log as a file as quickly as possible to follow the online redo log. That is, since the change data includes change data extracted from the archive redo log, the processor 110 performs the second mode so that the change data (that is, the change data extracted from the archive redo log) is processed in the first mode in the above situation. By switching the mode to the first mode, the changed data extracted from the archived redo log can follow the online redo log including information on transactions processed in real time in the database system.
  • the change data that is, the change data extracted from the archive redo log
  • the processor 110 may identify that the re-main log information exceeds the re-main log threshold, and that the change data is currently being processed in the first mode.
  • the processor 110 may perform an operation of resetting the resource usage (621).
  • the processor 110 may perform an operation of resetting the resource usage (621).
  • the processor 110 may determine that the available resources are insufficient to perform the first mode in which the current change data is stored as a CDC file, and may reset the resource usage rate threshold. Resetting the resource utilization threshold may be, for example, additionally allocating CPU resources to process the change data in the first mode.
  • the processor 110 may generate and transmit a notification signal to the client to allocate additional resources to perform the corresponding operation. Detailed description of the above-described resource usage threshold reset is only an example, and the present disclosure is not limited thereto.
  • the processor 110 determines to reset the resource usage based on the mode in which the changed data is processed, and the second mode is provided. It may be determined to perform at least one of an operation of switching to the first mode and an operation of maintaining the first mode. A detailed description of this will be described later with reference to FIG. 4.
  • the processor 110 may identify a point in time when the re-main log information is less than or equal to the re-main log threshold (510). If the re-main log information is less than the re-main log threshold, it may mean that the difference between the redo log and the changed data is small (that is, the difference between the redo log and the change data is less than the re-main log threshold). That is, there is a lot of change data extracted from the redo log (in this case, the archived redo log), which means that the archived redo logs retained in the current memory of the source database server 100 are relatively small (i.e., archived redo logs and online redo logs). It may mean that the log difference is relatively small).
  • the processor 110 may identify whether the resource usage rate information is less than or equal to the resource use threshold (520). If the re-main log information is below the re-main threshold and the resource usage rate information is below the resource usage threshold, a relatively small amount of archived redo logs are currently in memory, and resources for processing archived redo logs in the first mode are adequate. Can mean That is, the difference between the redo log and the changed data may be small, and there may be a situation in which resources for storing the changed data as a CDC file are sufficient.
  • the processor 110 may identify that the change data is currently being processed in at least one of the first mode and the second mode (530 ). In other words, the processor 110 stores the changed data as a CDC file when it is determined that the amount of the archive redo log in the current memory is small, and resources for processing the archive redo log in the first mode are appropriate. , First mode) or being written to the memory (second mode) can be identified.
  • the changed data is The second mode may be switched to the first mode to be processed as the first mode (532).
  • the fact that the remain log information is below the remain log threshold, the resource usage information is below the resource usage threshold, and the change data is being processed in the second mode means that the amount of archived redo logs currently held in memory is small.
  • the change data may be being processed in the second mode in which the change data is recorded in the memory.
  • the processor 110 may switch the second mode to the first mode so that the changed data is processed in the first mode (532).
  • the change data since the change data includes change data generated by extracting from the archive redo log, the change data extracted from the archive redo log is saved as a CDC file (the first mode), so that information on transactions processed in real time in the database system is stored. You can have it follow the included online redo log.
  • the first change data is additionally generated.
  • the first mode may be maintained to be processed as a mode (531).
  • both the re-main log information and the resource utilization rate information are less than or equal to the respective threshold values (that is, when the difference between the redo log and the archived redo log is small, and sufficient resources to store the changed data as a file are secured) ), it can be processed in the first mode of storing the changed data as a CDC file.
  • the processor 110 may identify that the resource usage rate information exceeds the resource usage rate threshold. If the re-main log information is below the re-main log threshold and the resource usage rate information exceeds the resource usage threshold, there are relatively few archived redo logs in the current memory, and the resources to process the changed data in the first mode are not required. It can mean what is lacking. In other words, there is little system delay because the archived redo log is extracted from the redo log repository, but there may be insufficient resources to save the changed data as a CDC file.
  • the processor 110 may identify that the change data is currently being processed in at least one of the first mode and the second mode (540 ). In other words, when it is determined that the amount of the archive redo log in the current memory is small and resources for processing the changed data in the first mode are determined to be insufficient, the changed data is stored as a CDC file. It can be identified that the processing is performed in at least one of the mode and the second mode recorded in the memory.
  • the processor 110 may switch the first mode to the second mode so that the changed data is processed in the second mode (541). ). That is, the processor 110 has a small difference between the redo log and the change data in the above-described situation (that is, the difference between the change data extracted from the online redo log and the archive redo log is small), and stores the change data as a CDC file.
  • the changed data may be processed in the second mode by switching from the first mode in which the system resources are used to the second mode in which the system resources are used low.
  • the processor 110 may identify available resources of the source database server to reset the resource usage rate threshold (542).
  • the processor 110 identifies that the available resources of the source database server are sufficient to reset the resource utilization threshold (that is, when additional resources that can be allocated to the source database exist), the source database server 100 By allocating additional resources to the resource, it is possible to reset the threshold of resource utilization. That is, in this case, even though the resource usage rate threshold is set too low and the source database server 100 currently has a large number of available resources, processing of the changed data may not be performed. Accordingly, when there are many available resources, the resource usage rate threshold may be reset, so that the changed data can be saved as a CDC file.
  • the processor 110 may process the change data in the second mode.
  • the resource usage rate threshold may be a threshold value that is a criterion of the resource usage rate currently used by the source database server to store the changed data as a CDC file.
  • the resource utilization threshold may be predetermined by the client. A detailed description of this will be described later with reference to FIG. 7.
  • the processor 110 may identify a point in time when the resource usage rate information exceeds the resource usage rate threshold (810).
  • the resource usage rate information exceeds the resource usage rate threshold, it may mean that resources for performing the first mode of storing change data as a CDC file are insufficient.
  • the processor 110 may identify that the changed data is currently being processed in at least one of the first mode and the second mode (820). In other words, in a situation in which the processor 110 currently lacks resources for performing the first mode for storing change data as a CDC file, whether the corresponding change data is being processed in the first mode stored as a CDC file or in the memory It can be identified whether it is being processed in the second mode to be recorded.
  • the processor 110 may switch the first mode to a second mode so that the changed data is processed in a second mode.
  • the situation in which the resource usage rate information exceeds the resource usage rate threshold and the change data is being processed in the first mode is a situation in which resources for performing the first mode of saving the change data as a CDC file are insufficient. It may be a situation in which the first mode of storing data as a CDC file is performed. If the situation persists, disk I/O and CPU utilization may increase, so that the use of computing resources of the source database server 100 may increase. That is, the processor 110 can minimize computing resources consumed in the source database server 100 by switching the first mode to the second mode so that the changed data is processed in the second mode in the above-described situation.
  • the processor 110 determines to reset the resource usage based on the mode in which the changed data is processed, and the second mode is set to the first mode. It may be determined to perform at least one operation of switching to and maintaining the first mode. A detailed description of this will be described later with reference to FIG. 6.
  • the processor 110 may identify a point in time when the resource usage rate information is less than or equal to the resource usage rate threshold (710). If the resource usage rate information is less than or equal to the resource usage rate threshold, it may mean that there are sufficient resources for performing the first mode of storing the changed data as a CDC file.
  • the processor 110 may identify whether the re-main log information is less than or equal to the re-main threshold (720). When the re-main log information of the identification result 720 is less than or equal to the re-main threshold, the processor 110 identifies that the changed data is currently being processed in at least one of the first mode and the second mode. Can be (730).
  • the changed data is The second mode may be switched to the first mode so that the first mode is processed (732 ).
  • the processor 110 may maintain the first mode so as to process the additionally generated change data in the first mode (731).
  • the first mode may be maintained to be processed in the first mode for storing changed data as a CDC file, or the second mode may be switched to the first mode.
  • the processor 110 may identify that the re-main log information exceeds the re-main log threshold. If the resource utilization information is below the resource utilization threshold, and the remain log information exceeds the remain log threshold, there are enough resources to process the changed data in the first mode, but there are currently many archived redo logs in memory. It can mean there is. That is, there may be sufficient resources to save the change data as a CDC file, but the difference between the redo load and the change data extracted from the redo load is large (i.e., the archive redo log cannot follow the online redo log). have.
  • the processor 110 may identify that the change data is currently being processed in at least one of the first mode and the second mode (740).
  • the processor 110 is the first mode in which the changed data is stored as a CDC file when it is determined that the resource for processing the changed data in the first mode is sufficient, and the amount of archive redo logs held in the current memory is large. And processing in at least one of the second modes recorded in the memory.
  • the processor 110 may switch the second mode to the first mode so that the changed data is stored as a CDC file (742). ). That is, when the resource usage information is below the resource usage threshold, the remain log information exceeds the remain log threshold, and the change data is being processed in the first mode, the processor 110 transfers the changed data to the first mode. It is determined that resources for processing are sufficient and many archived redo logs are currently held in memory, and the first mode of storing changed data as a CDC file can be performed. Accordingly, the change data extracted from the archive redo log can be followed by an online redo log including information on transactions processed in real time in the database system.
  • the processor 110 may determine to transmit a notification signal to the client (741).
  • the processor 110 allows the archived redo log to follow the online redo log.
  • the changed data can be processed in the first mode and saved as a CDC file.
  • the storage amount of the archived redo log in the current memory may be a system error, and a notification signal to check the system is generated. You can decide what to send to the client.
  • the change data may include first change data extracted from an archive redo log and second change data extracted from an online redo log.
  • the processor 110 is based on at least one of the re-main log information and the resource utilization rate information when the second change data is processed without processing the first change data. Accordingly, it may be determined that the processing mode of the second change data is processed in one of the first mode and the second mode.
  • the processor 110 uses the second change data extracted from the online redo log based on at least one of the re-main log information and the resource utilization rate information. It can be processed in one of a mode and a second mode.
  • the processor 110 may process the second change data in the same mode as the processing mode of the first change data.
  • the processor 110 converts all the change data extracted from the extracted archive redo log into a CDC file. If stored), the second change data may be subsequently processed in the same first mode as the first change data.
  • the processor 110 has processed all the first change data in a situation in which the first change data is processed in the second mode (that is, all the change data extracted from the extracted archive redo log is stored in the memory). If recorded), the second change data can be subsequently processed in the same second mode as the first change data.
  • the mode for processing the first change data of the processor 110 when the mode for processing the first change data of the processor 110 is changed, it may be determined to change the mode for processing the second change data to correspond to the processing mode of the first change data. Specifically, when the processing mode of the first changed data is changed from the first mode to the second mode, the processor 110 sets the processing mode of the second changed data to the first mode so that the processing mode of the first changed data is changed. You can change to the second mode from
  • the processor 110 processes all of the first change data while the first change data is processed in the first mode, and the resource usage of the source database server increases rapidly, so that the first mode is changed to the second mode.
  • the processing mode of the second change data may be switched from the first mode to the second mode so as to be the same as the switching of the processing mode of the first change data.
  • the processor 110 processes all of the first change data in the process of processing the first change data in the second mode, and controls the second mode by increasing the amount of archive redo logs held in the memory.
  • the processing mode of the second changed data may be switched from the second mode to the first mode so as to be the same as the switching of the processing mode of the first changed data.
  • the processor 110 may perform processing on the first change data and the processing on the second change data in parallel. Specifically, the processor 110 may perform parallel processing of the first change data extracted from the archive redo log and the second change data extracted from the online redo log in one of the first mode and the second mode, respectively.
  • the first change data extracted from the archive redo log can be processed in the first mode and the second change data extracted from the online redo log can be processed in the first mode.
  • the first change data may be processed in the second mode and the second change data extracted from the online redo log may be processed in the second mode.
  • the processor 110 may variably adjust at least one of a re-main log threshold and a resource utilization threshold based on an operation log of the source database server 100. Specifically, the processor 110 may efficiently adjust at least one of a remain log threshold and a resource utilization threshold through machine learning on the operation log of the source database server 100.
  • the processor 110 may analyze an operation log, which is a time-based record of re-main log information and resource usage rate information of the source database server 100.
  • the processor 110 may analyze the operation log to learn a pattern for each time period of the re-main log information and the resource usage rate information, and the processor 110 may Log threshold and resource utilization threshold can be varied.
  • the processor 110 allows a relatively small difference between the redo log and the re-main redo log because the redo log including the transaction for data change is relatively small in the early morning when no redo log is generated.
  • the remain log threshold can be adjusted to be small.
  • the processor 110 may set a resource usage rate threshold high so that a relatively large amount of archived redo logs can be recorded on a memory during the early morning hours when redo logs are not generated.
  • the processor 110 may obtain a log record including information on a transaction processed by the source database server 100.
  • the processor 110 may receive a redo log from the source database server 100 or may access the redo log in the source database server 100.
  • a log record for the transaction may be recorded in the source database server 100.
  • the processor 110 may sort the log records based on an order according to an occurrence time point. For example, the processor 110 may sort log records based on a system change number (SCN). In this case, the processor 110 may obtain a log record for change data by checking and analyzing a redo log for a transaction recorded in a log buffer and/or a log file in the source database server 100. In this case, the processor 110 may extract only changed data by analyzing the redo log. The processor 110 may analyze the extracted log records based on one or more rules or based on any form of deep learning algorithm.
  • SCN system change number
  • the processor 110 may identify a plurality of Structured Query Language (SQL) operations generated for one or more objects associated with a transaction.
  • SQL Structured Query Language
  • an SQL operation may mean an arbitrary type of operation written in SQL.
  • the SQL operation may include, for example, a Data Manipulation Language (DML) operation, a Data Definition Language (DDL) operation, and/or a Data Control Language (DCL) operation.
  • DML Data Manipulation Language
  • DDL Data Definition Language
  • DCL Data Control Language
  • the processor 110 may sort the identified SQL operations in the order in which they occur.
  • the processor 110 may sort the log records based on an order according to an occurrence time point. For example, the processor 110 may sort log records based on a system change number (SCN). That is, the processor 110 may sort log records of the source database server 100 in a time series. Thus, a log record preceded by an SCN may be recorded before a log record having a subsequent SCN.
  • the processor 110 may determine whether an individual SQL operation and a previous SQL operation history for an object corresponding to the individual SQL operation exist in the CDC file based on the order in which the identified plurality of SQL operations occur.
  • the CDC file may mean a file that is transferred from the source database server 100 to the target database server 200 and is arranged in the order of transactions (operations).
  • the processor 110 may determine information to be recorded in the CDC file based on whether or not a previous SQL operation history exists in the CDC file, and may record the determined information in the CDC file.
  • the processor 110 may determine whether or not the previous SQL operation history exists in the CDC file based on whether meta information on an object (eg, a table) corresponding to an SQL operation exists in the CDC file. have.
  • the meta information herein may include at least one of table user information, table name information, column name information, column order information, and column type information.
  • the processor 110 may determine whether the previous SQL operation history exists in the CDC file based on whether a DML operation or a DDL operation has been previously performed on an object corresponding to the SQL operation.
  • the above-described determination of the previous SQL operation history of the processor 110 may be performed in the order in which the SQL operation occurs for all objects associated with a transaction (eg, according to a temporal precedence relationship of the SCN).
  • the processor 110 If there is no previous SQL operation history in the CDC file, the processor 110 generates meta information on the object by using DD (Data Dictionary) information on the object, and the previous SQL in the CDC file If there is an operation history, it may be determined not to generate meta information for the corresponding object. In addition, when meta information for a corresponding object is generated, the processor 110 determines to record the SQL operation related to the object and the meta information in the CDC file, and the meta information for the object is generated. If not, it may be determined to record the SQL operation related to the object in the CDC file.
  • DD Data Dictionary
  • the processor 110 may transmit the read CDC file or information recorded in the CDC file to the network unit 130 in order to allow the CDC file to be transmitted to the target database server by reading the CDC file.
  • the processor 110 may convert the CDC file or information recorded in the CDC file into a format suitable for the target database server 200.
  • the target database server 200 may include a processor 210, a memory 220, and a network unit 230.
  • the above-described components are exemplary, and the scope of the present disclosure is not limited to the above-described components. That is, additional components may be included or some of the above-described components may be omitted according to implementation aspects of the embodiments of the present disclosure.
  • the network unit 230 may receive a CDC file or information stored in a CDC file from the source database server 100 or the agent server 300.
  • the network unit 230 may provide the same type of communication function as the network unit 230 of the source database server 100 described above.
  • the memory 220 stores information in an arbitrary form generated or determined by the processor 210 and information in an arbitrary form received by the network unit 230 in the target database server 200.
  • the memory 220 is a main storage device that the processor 210 directly accesses, such as a random access memory (RAM) such as dynamic random access memory (DRAM) and static random access memory (SRAM),
  • RAM random access memory
  • DRAM dynamic random access memory
  • SRAM static random access memory
  • a volatile storage device and a permanent storage medium in which stored information is instantaneously erased when the power is turned off may be included.
  • the processor 210 may record the CDC file or information on the CDC file received from the source database server 100 in the CDC file of the target database server 200.
  • the processor 210 may decide to use the same file as the CDC file received from the source database server 100 as its own CDC file, or may record the same information as the information on the CDC file in the CDC file. have.
  • the processor 210 may read the CDC file existing in the target database server 200.
  • the processor 210 may read the CDC files in the order recorded by the source database server 100.
  • the processor 210 may determine data to be changed and reflected in the target database server 200 based on the read CDC file. In this case, the processor 210 may perform an operation of comparing data reflected in the target database server 200 with data included in the read CDC file. Accordingly, the processor 210 may change and reflect only minimal data to the target database server 200 in the future.
  • the processor 210 may determine whether meta information corresponding to the target database server 200 exists by reading the meta information recorded in the CDC file.
  • the processor 210 may check whether meta information on the object is recorded in the CDC file.
  • the processor 210 may determine whether meta information corresponding to the target database server 200 exists by reading the meta information recorded in the CDC file. When the meta information does not exist, the processor 210 loads the meta information onto the memory, and when the meta information exists, the processor 210 may use the existing meta information as it is. That is, the processor 210 determines whether to load the meta information based on whether the corresponding meta information is loaded into the memory of the target database server 200, and if the corresponding meta information exists, the CDC file It may be determined to use the corresponding meta information loaded in the target database server 200 without loading the recorded meta information into the memory.
  • the processor 210 may generate an SQL statement corresponding to the SQL operation by reading the SQL operation recorded in the CDC file and using meta information on the memory corresponding to the read SQL operation. In addition, the processor 210 may allow the changed data in the source database server 100 to be finally reflected in the target database server 200 by applying the generated SQL statement to the target database server 200. have.
  • the processor 210 first recognizes meta data from the received CDC file, loads the meta data into memory, and then recognizes the next SQL operation from the CDC file and uses the loaded meta data to You can create SQL statements for operations. After reflecting the generated SQL statement to the target database server 200, the processor 210 may recognize the commit for the transaction in the corresponding CDC file and reflect the commit to the target database server 200.
  • FIG. 3 is a flowchart illustrating a method of generating a CDC file performed by a source database server (or an agent server) according to an embodiment of the present disclosure.
  • the steps illustrated in FIG. 3 are exemplary, and additional steps may exist, or some of the steps may be omitted.
  • the steps shown in FIG. 3 may be performed in the source database server 100 or the agent server 300. For convenience of description, the following description will be made on the assumption that it is performed in the source database server 100.
  • the processor 110 may extract change data from at least one of the online redo log and the archive redo log (410). Specifically, the processor 110 reads and interprets redo logs (online and archived redo logs) that contain information on transactions processed in the source database system, thereby identifying changes in data in the source database system, thereby identifying the change data. Can be extracted.
  • redo logs online and archived redo logs
  • the source database server 100 may analyze at least one of remain log information and resource usage rate information (420).
  • the re-main log information may be information on at least one of an online redo log and an archive redo log in which change data cannot be extracted. Specifically, the remain log information is recalled by the redo log (online and/or archived redo log) and the processor 110 including information on transactions that have occurred in response to changes to the structure and organization of data in the database. It may be information about a difference in change data extracted from at least some of the redo logs.
  • the resource usage rate information may be information on a computing resource currently used by the source database, and may include, for example, information on a disk I/O (disk input/output usage rate), a CPU usage rate, and a memory usage rate.
  • the source database server 100 includes a first mode for storing an archive redo log as a CDC file and a first mode for storing the archive redo log as a CDC file based on at least one of remain log information and resource utilization information. It may be determined to process in at least one of the two modes (430).
  • FIG. 8 schematically illustrates CDC operations performed in a database system according to an embodiment of the present disclosure.
  • FIG. 8 schematically illustrates CDC operations performed in a database system according to an embodiment of the present disclosure.
  • operations performed between the source database server 100 and the target database server 200 are exemplarily expressed.
  • the source database server 100 may include a source DBMS 910 and a source processor 110.
  • the source DBMS 910 may be operated by the source processor 110 on the memory of the source database server 100.
  • the memory is the main storage device directly accessed by the processor, such as a random access memory (RAM) such as dynamic random access memory (DRAM) and static random access memory (SRAM), and stored information when the power is turned off. May mean a volatile storage device that is instantly erased, but is not limited thereto.
  • RAM random access memory
  • DRAM dynamic random access memory
  • SRAM static random access memory
  • the memory may store any type of data such as change data or the like.
  • the memory may store a data table including data values.
  • change data and/or data values of the data table may be recorded from a memory to a permanent storage medium.
  • the memory includes a buffer cache, where data may be stored in a data block of the buffer cache. The data may be recorded on a permanent storage medium by a background process.
  • Persistent storage media herein are, for example, magnetic disks, optical disks, and magneto-optical storage devices, as well as storage devices based on flash memory and/or battery-backup memory.
  • a non-volatile storage medium capable of continuously performing arbitrary data.
  • Such a permanent storage medium may communicate with the processor and memory of the database servers 110 and 120 through various communication means.
  • such a permanent storage medium may be located outside the database servers 110 and 120 to communicate with the database servers 110 and 120.
  • the DBMSs 910 and 1010 are programs for allowing the database servers 110 and 120 to perform operations such as searching, inserting, modifying, and/or deleting necessary data. As described above, the database servers 110 and 120 It may be implemented by the processors 110 and 210 in the memory of 120). Also, the source DBMS 910 may determine to generate, manage, and store a redo log for a transaction occurring in the source database server 100. The source processor 110 extracts and analyzes the stored redo log in order to implement the CDC operation (930), writes the contents to the CDC file 970, and reads the CDC file 970 (950) to the network It may be transmitted to the target database server 200 through 140 (960).
  • Each of the operations of the extract 930, write 940, read 950, and transmit 960 of the source processor 110 may correspond to operations performed by the processor in FIG. 2 as described above. Additionally, extract 930, write 940, read 950, and transmit 960 operations may each be performed by a separate thread. Further, a plurality of extract 930, write 940, read 950, and transmit 960 operations may be performed by one thread. Further, the extract 930, write 940, read 950, and transmit 960 operations may be respectively performed by separate processes, or one process may perform a plurality of the operations.
  • a CDC operation in the source processor 110 may be initiated.
  • the source processor 110 may perform an extraction operation 930.
  • the source processor 110 performs a CDC operation for a plurality of transactions related to the corresponding Commit operations. Can be initiated.
  • the CDC operation of the source processor 110 may be initiated.
  • transactions 980 for a T1 object and a T2 object may be imported from the source DBMS 910.
  • the transactions 980 may include a first transaction and a second transaction.
  • the first transaction may include a Delete operation and a Commit operation on the T1 object.
  • the second transaction may include an Insert operation for the T1 object, an Update operation for the T2 object, and a Commit operation.
  • the SQL operations 980 performed by the source DBMS 910 may be sorted in time series and in a transaction unit based on the time when the Commit operation is performed. In FIG. 8, since the Commit operation for the first transaction is performed before the Commit operation for the second transaction, SQL operations for the first transaction may be placed before SQL operations for the second transaction.
  • the source processor 110 extracts the Delete operation and the Commit operation for the T1 object from the redo log, sorts it in chronological order, and transfers it to, for example, the read 940 thread.
  • the reading 940 thread may check the Delete operation (ie, Delete T1) for the T1 object disposed earlier, and determine whether a previous SQL operation history for the T1 object exists in the CDC file 970. .
  • the read 940 thread may determine whether a previous DML or DDL has been performed for the T1 object. As shown in FIG.
  • the read 940 thread uses the DD (Data Dictionary) information held in the memory to use meta information for T1 (that is, T1 DD) can be generated. Then, the read 940 thread may write T1 DD as meta information for T1 and Delete T1 as a Delete operation for T1 in the CDC file 970.
  • the meta information T1 DD may be recorded in the front part of the CDC file than the SQL operation information Delete T1. Additionally, the read 940 thread may write a commit operation for the T1 object to the CDC file 970. In this case, the Commit operation may be recorded in a later portion of the CDC file 970 than the portion in which Delete T1 is recorded.
  • the extraction 930 thread may extract an Insert operation for the T1 object, an Update operation for the T2 object, and a Commit operation for the second transaction included in the second transaction from the redo log. .
  • the extraction 930 thread may be arranged in the order of Insert T1, Update T2, and Commit operations according to the order of occurrence of SQL operations. Since the second transaction is committed after the first transaction, among the SQL operations 980 performed in the source DBMS 910, the SQL operations related to the first transaction are placed before the SQL operations related to the second transaction. Can be arranged as much as possible.
  • the read 940 thread will read the operations related to transaction 2 after reading and processing the Delete T1 and the Commit operation for the first transaction.
  • the reading 940 thread reads the Insert operation for the T1 object (i.e., Insert T1) and whether DML or DDL for the T1 object has been generated in the CDC file 970 (i.e., whether there is a previous SQL operation history) Can judge.
  • the read 940 thread In processing the operations related to the first transaction (i.e., Delete T1), since DD information for the T1 object is recorded in the CDC file 970, the read 940 thread writes the T1 object to the CDC file 970. It will be judged that there is a history of previous SQL operations for. In this situation, the read 940 thread may write an Insert operation for the T1 object (ie, Insert T1) to the next write position in the CDC file 970 without generating meta information for the T1 object.
  • the read 940 thread can then recognize the Update operation on the T2 object.
  • the read 940 thread will check the CDC file 970 to determine whether a previous SQL operation exists for the T2 object, and since no previous SQL operation exists, the DD for the T2 object stored in memory Meta information (ie, T2 DD) for the T2 object may be generated using the information. Then, the read 940 thread may write meta information about the T2 object to the next location of the CDC file 970. Then, the read 940 thread can write an Update operation (ie, Update T2) for the T2 object at a location subsequent to the location where the meta information on the T2 object is recorded. Additionally, the read 940 thread may write a Commit operation for the T2 object to the CDC file 970.
  • the Commit operation may be recorded in a later portion of the CDC file 970 than the portion in which Update T2 is recorded.
  • the information 990 may be recorded in the CDC file 970 based on the timing of committing transactions and the timing of occurrence of operations in the above-described manner. In this way, since both meta information and SQL operation information can be recorded in a single CDC file 970, CDC can be implemented in an efficient manner.
  • the target database server 200 can easily reflect the changed data in its own DB while reading in the order recorded in a single CDC file 970 created by the source database server 100. That is, in the CDC file used when the target database server 200 reflects the change data in its DB, meta information about an object in which an SQL operation has occurred among objects of the source database server 100 may be recorded. In this way, the target database server 200 does not need to load meta information for all objects in its own memory, and only the meta information for objects related to the change data in the source database server 100 is stored. Because it is loaded into, the memory usage in the database server can be significantly reduced.
  • the client and database servers 100 and 200 or database servers 100 and 200 may communicate with each other through a network (not shown).
  • the network is a public switched telephone network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and Very High Speed DSL (VDSL). ), UADSL (Universal Asymmetric DSL), HDSL (High Bit Rate DSL), and local area network (LAN).
  • PSTN public switched telephone network
  • xDSL Digital Subscriber Line
  • RADSL Rate Adaptive DSL
  • MDSL Multi Rate DSL
  • VDSL Very High Speed DSL
  • UADSL Universal Asymmetric DSL
  • HDSL High Bit Rate DSL
  • LAN local area network
  • the network presented in the present specification is CDMA (Code Division Multi Access), TDMA (Time Division Multi Access), FDMA (Frequency Division Multi Access), OFDMA (Orthogonal Frequency Division Multi Access), SC-FDMA (Single Carrier-FDMA) ) And other systems.
  • the network in the present specification may include a database link (dblink), and accordingly, the source database server 100 and the target database server 200 (or the agent server 300) communicate with each other through such a database link. This allows you to fetch data from other database servers.
  • the database link may include a database link from the source database server 100 to the target database server 200.
  • the techniques described herein may be used not only in the networks mentioned above, but also in other networks.
  • the target database server 200 may include a target DBMS 1010 and a target processor 210.
  • the target DBMS 1010 may be operated by the target processor 210 on the memory of the target database server 200. Since the description of the hardware configurations of the target database server 200 and the target DBMS 1010 is the same as the hardware configurations of the source database server 100 and the configuration of the source DBMS 910 described above, the description is here Will be omitted from
  • the target processor 210 receives (1030) the CDC file 970 in order to implement the CDC operation, writes the contents 1040 to its own CDC file 1070 (or writes the received CDC file 970). It is used as its own CDC file 1070) and the CDC file 1070 is read 1050, and the changed data can be reflected 1060 to the target DBMS 1010.
  • Each of the reception (1030), write (1040), read (1050), and change/reflect (1060) operations of the target processor 210 are based on the operations performed by the processor 210 in FIG. 2 as described above. Can correspond. Additionally, receive 1030, write 1040, read 1050, and change/reflect 1060 operations may each be performed by a separate thread.
  • a plurality of receive 1030, write 1040, read 1050, and change/reflect 1060 operations may be performed by one thread.
  • the receive 1030, write 1040, read 1050, and change/reflect 1060 operations may be respectively performed by separate processes, or one process may perform a plurality of the operations.
  • CDC features according to embodiments of the present disclosure will be described on the assumption that one process performs one module operation.
  • the target processor 210 (eg, the reception 1030 thread) of the target database server 200 may receive the CDC file 670 from the source database server 100.
  • the target processor 210 of the target database server 200 writes the received CDC file 970 to its own CDC file 1070 in the same manner (1040) or writes the received CDC file 970 to its own CDC file ( 1070).
  • the read 1050 thread of the target processor 210 may read the information 1080 recorded in the CDC file 1070 and transfer it to the change/reflect 1060 thread.
  • the change/reflection 1060 thread may read meta information of T1 DD recorded first in the CDC file 1070 and determine whether DD meta information for the T1 object exists in its own memory. When meta information on the T1 object does not exist in the memory of the target database server 200, the target database server 200 may load the T1 DD meta information into its own memory. Then, the change/reflection 1060 thread can check Delete T1 recorded after the information T1 DD in the CDC file 1070. The change/reflect 1060 thread may automatically generate an SQL statement for performing a Delete operation on the T1 object using the T1 DD meta information loaded on the memory and reflect it in the target DBMS 1010.
  • the change/reflect 1060 thread may check the Commit and reflect the Commit to the target DBMS 1010. Then, the change/reflection 1060 thread can check Insert T1, which is the next recorded information in the CDC file 1070. Since it is an operation on the T1 object, the change/reflect 1060 thread may generate an SQL statement for performing an Insert operation on the T1 object by using meta information on the T1 object loaded from the memory.
  • the change/reflect 1060 thread may check the T2 DD meta information recorded at the next position in the CDC file 1070.
  • the change/reflection 1060 thread may check whether DD meta information for the T2 object exists in the memory of the target database server 200. When it is determined that there is no meta information on the T2 object loaded in its memory, the thread loads meta information (ie, T2 DD meta information) on the T2 object into the memory of the target database server 200. can do. Then, the change/reflect 1060 thread can recognize Update T2 recorded at the next location in the CDC file 1070.
  • the change/reflection 1060 thread may load meta information on the T2 object from a memory, and may automatically generate an SQL statement corresponding to an Update operation on the T2 object by using the meta information. Then, the change/reflect 1060 thread may reflect an SQL statement for performing an Update operation on the T2 object to its DBMS 1010. Then, the change/reflect 1060 thread may check the Commit and reflect this to the DBMS 10
  • a recording rule for a CDC file may include recording meta-information on a specific object as a first priority, and subsequently recording DML or DDL for a specific table.
  • a recording rule for a CDC file determines the order of transactions to be recorded according to the order in which commits occur, and writes meta information in front of the SQL operation information, for a single CDC file. Through delivery, CDC can be easily achieved.
  • memory usage may be considerably reduced compared to a configuration in which all meta information is loaded into memory and a CDC is implemented (ie, meta information and SQL operation information are managed by separate files).
  • the CDC features according to an embodiment of the present disclosure can significantly reduce memory usage compared to the existing structure in reflecting DML or DDL for a plurality of tables.
  • the CDC implementation methods that separately manage meta information and SQL operation information share a separate file that records meta information for all objects while transmitting and receiving between both database servers. Accordingly, these implementation methods require that the target database server 200 also retains DD information about an object for which DML has not occurred in memory. That is, the target database server 200 must hold DD information for all objects (eg, tables) or as many objects as possible in memory according to the memory capacity. In addition, in this case, when DDL occurs, the source database server 100 is idle until the meta file transmission is completed, even if the file recording meta information must be manually created and transmitted or the file recorded meta information is automatically transmitted. You must wait in the (idle) state.
  • the CDC implementation methods according to an embodiment of the present disclosure do not need to separately generate and transmit a meta file in which meta information is stored, and do not generate an idle state of the source database server 100. Accordingly, CDC implementation schemes according to an embodiment of the present disclosure may allow real-time DDL synchronization. Further, since the CDC implementation methods according to an embodiment of the present disclosure manage DD information for a table in which DML has occurred, memory management in the target database server 200 can be efficiently performed. For example, since DD for one CDC file will be managed in relation to read/write and DD for DML-generated objects will be managed in relation to change/reflection, a more resource-efficient CDC can be implemented. have.
  • FIG. 9 schematically illustrates CDC operations performed in a database system according to an embodiment of the present disclosure.
  • FIG. 9 schematically illustrates CDC operations performed in a database system according to an embodiment of the present disclosure.
  • the embodiment shown in FIG. 9 is a DDL feature added to the embodiment shown in FIG. 8, and contents common to the embodiment shown in FIG. 8 will be omitted below for convenience of description.
  • extract 1130, write 1140, read 1150, and transmit 1160 operations in FIG. 9 are respectively extracted 930, write 940, read 950, and And transmission 960 operations.
  • the receive 1230, write 1240, read 1250, and change/reflect 1260 operations in FIG. 9 are respectively the receive 1030, write 1040, read 1050, and And change/reflect 1060 operations.
  • it may correspond to the source DBMS 1110 and target DBMS 1210 of FIG. 9 and the source DBMS 910 and target DBMS 1010 of FIG. 8, respectively.
  • transactions 1180 may be imported into the source DBMS 1110.
  • the transactions 1180 include a first transaction including Insert T1, Update T2, and Commit, a second transaction including Delete T3 and Commit, and a third transaction including DDL T1. can do.
  • the source processor 110 may arrange operations included in incoming transactions in order of occurrence time, as illustrated by reference numeral 1180.
  • the extraction 1130 thread may analyze redo logs for transactions generated in the source DBMS 1110, extract and sort information about changed data as shown by reference number 1180.
  • the source processor 110 performs SQL operations related to the second transaction.
  • the CDC file 1170 may be written before the operations. SQL operations related to transactions may be recorded in the CDC file 1170 according to the time order generated within the transaction.
  • the write 1140 thread may recognize that a Delete operation for the T3 object has been performed in the second transaction.
  • the recording 1140 thread may check whether meta information on the T3 object exists in the CDC file 1170. That is, the write 1140 thread can check in the CDC file 1170 whether there is a previous SQL execution history for the T3 object. Since meta information for the T3 object does not exist, the write 1140 thread creates meta information for the T3 object by using the DD information loaded on the memory, and the generated meta information (ie, T3 DD #1 ) Is recorded in the CDC file 1170. Then, the write 1140 thread may write a Delete operation (ie, Delete T3) on the T3 object to the CDC file 1170. Additionally, the write 1140 thread may write a Commit operation for the second transaction to the CDC file 1170. The recording position of the Commit operation is later than the recording position of Delete T3.
  • the write 1140 thread may start writing to the CDC file 1170 for the first transaction.
  • the write 1140 thread may check Insert T1 and check whether meta information for the T1 object exists in the CDC file 1170.
  • the recording 1140 thread stores meta information on the T3 object as DD information (e.g., T3 object It can be created with DD information). Then, the recording 1140 thread may record meta information (ie, TT DD #1) on the created T3 object to the CDC file 1170.
  • the recording 1140 thread may record the previously checked Insert T1 operation in the CDC file 1170 at a position after the position where meta information is recorded.
  • the write 1140 thread may check the Update T2 operation, which is an SQL operation generated after Insert T1 in the first transaction.
  • the recording 1140 thread may check whether meta information on the T2 object exists in the CDC file 1170. Since meta information on the T3 object and meta information on the T2 object are currently recorded in the CDC file 1170, the recording 1140 thread may determine that the meta information on the T2 object does not exist. In this case, the write 1140 thread may generate meta information on the T2 object by referring to DD information on the T2 object loaded in the memory.
  • the recording 1140 thread may record meta information of the created T2 object into the CDC file 1170.
  • the meta information of the T2 object may be recorded at a position following the recording position of Insert T1 recorded immediately before.
  • the recording 1140 thread may subsequently record an Update T2 operation corresponding to the recorded meta information to the CDC file 1170.
  • the write 1140 thread may write a Commit operation for the first transaction in the CDC file 1170.
  • the recording position of the Commit operation is later than the recording position of Update T2.
  • the write 1140 thread may check the third transaction (including DDL T1) after reflecting all operations for the first transaction.
  • the write 1140 thread may determine that it is a DDL type by checking the type of the SQL operation. That is, when it is determined that the type of the SQL operation is a DML operation, the write 1140 thread decides to determine whether the previous SQL operation history for the object corresponding to the DML operation exists in the CDC file 1170. I can. In addition, when it is determined that the type of the SQL operation is a DDL operation, the write 1140 thread does not determine whether the previous SQL operation history for the object corresponding to the DDL operation exists in the CDC file 1170.
  • the write 1140 thread may generate meta information corresponding to the DDL operation for T1 and write the DDL T1 to the CDC file 1170 as shown in FIG. 9.
  • the read 1150 thread may read the CDC file 1170 written by the write 1140 thread and transfer it to the transmit 1160 thread.
  • the transmission 1160 thread may transmit the received CDC file 1170 to the target database server 200 through the network 140.
  • the target processor 210 of the target database server 200 may receive the CDC file 1170 through the reception 1230 thread.
  • the write 1240 thread of the target processor 1220 may write information recorded in the CDC file 1170 received in its own CDC file 1270 in the same order.
  • the write 1240 thread of the target processor 1220 may use the received CDC file 1170 as its own CDC file 1270.
  • the CDC file 1270 of the target database server 200 may include information in the order recorded by the source database server 100 as shown by reference number 1280.
  • the read 1250 thread of the target database server 200 may transmit the information 1280 recorded in the CDC file 1270 to the change/reflect 1220 thread, and the change/reflect 1220 thread transmits the received information.
  • the change/reflect 1220 thread may perform reflection to the target DBMS 1210 in the order of recording information represented by reference numeral 1280.
  • meta information for a specific SQL operation may be recorded first, followed by corresponding SQL operation information, and corresponding meta information may be recorded for a DDL operation, so that the target database server 200 There is no need to load meta information about many objects in memory of DML, and reflection can be processed by loading meta information about the object in which DML has occurred. Since the detailed reflection method has been described above with respect to FIG. 8, a description thereof will be omitted in FIG. 9.
  • FIG. 10 illustrates means for performing CDC in a database system according to an embodiment of the present disclosure.
  • a computer program may be implemented by the following means.
  • the computer program includes means for extracting change data from at least one of an online redo log and an archived redo log, at least one of remain log information and resource utilization information of a source database server.
  • One of a means for analyzing one piece of information and a first mode for storing the change data as a CDC file and a second mode for recording the changed data in a memory based on at least one of the remain log information and the resource usage rate information It may include means for determining what to process with the mode.
  • the re-main log information may be information on an online redo log and an archived redo log in which change data could not be extracted
  • the resource utilization rate information may be information on a resource utilization rate currently used by the source database server.
  • processing in one of a first mode storing the changed data as a CDC file and a second mode recording the changed data based on at least one of the remain log information and the resource usage rate information includes the change data based on at least one of a comparison result of the re-main log information and a re-main log threshold, and a comparison result of the resource usage rate information and the resource usage rate threshold. And means for deciding to process in one of the second modes.
  • processing in one of a first mode storing the changed data as a CDC file and a second mode recording the changed data based on at least one of the remain log information and the resource usage rate information may comprise means for processing the changed data in the first mode when the re-main log information exceeds a re-main log threshold.
  • the means for processing the change data in the first mode when the re-main log information exceeds a re-main log threshold, the means for processing the change data in the first mode, wherein the change data is one of the first mode and the second mode.
  • the means for determining comprises a means for comparing the resource usage rate information and the resource usage rate threshold information when the re-main log information exceeds a re-main log threshold, and the change data based on the comparison result in the first mode. And means for determining to perform an operation of an enemy of means for processing with and means for determining to reset the resource utilization threshold.
  • means for determining to perform at least one of means for processing the changed data in the first mode based on the comparison result and means for determining to reset the resource utilization threshold Means for resetting the resource usage rate threshold when the resource usage rate information exceeds the resource usage rate threshold value, and means for processing the changed data in the first mode when the resource usage rate information is less than the resource usage rate threshold It may include.
  • processing in one of a first mode storing the changed data as a CDC file and a second mode recording the changed data based on at least one of the remain log information and the resource usage rate information includes means for identifying whether the resource usage rate information exceeds a resource usage rate threshold, and when the resource usage rate information exceeds the resource usage rate threshold, processing the changed data in the second mode. It may include means.
  • the means for processing the change data in the second mode when the resource usage rate information exceeds the resource usage rate threshold, the means for processing the change data in the second mode, wherein the change data is one of the first mode and the second mode.
  • Means for identifying that the change data is being processed in the first mode, means for switching the first mode to the second mode, and the change data being processed in the second mode If present, means for identifying available resources of the source database server to reset the resource utilization threshold.
  • processing in one of a first mode storing the changed data as a CDC file and a second mode recording the changed data based on at least one of the remain log information and the resource usage rate information comprises: when the re-main log information is less than or equal to a re-main log threshold, determining to process the change data in one of the first mode and the second mode based on the resource usage rate information. It may include means.
  • the means for determining to process the change data in one of the first mode and the second mode based on the resource utilization information is , Means for identifying that the change data is being processed in one of the first mode and the second mode when the resource utilization rate information exceeds the resource utilization rate threshold, and the change data is in the first mode
  • processing means for switching the first mode to the second mode, and when the changed data is being processed in the second mode, the available resources of the source database server to reset the resource utilization threshold It may include means for identification.
  • the means for determining to process the change data in one of the first mode and the second mode based on the resource utilization information is , Means for identifying that the change data is being processed in one of the first mode and the second mode when the resource utilization rate information is less than or equal to the resource utilization rate threshold value, and the change data is processed in the first mode, If present, means for maintaining the first mode and means for switching the second mode to the first mode when the change data is being processed in the second mode.
  • the re-main log threshold is a threshold that is a criterion of the online redo log and the archive redo log that need to be extracted as the changed data
  • the resource utilization threshold is at least one of the online redo log and the archive redo log.
  • the source database server for storing changed data extracted from one redo log as a CDC file is a standard of the resource utilization rate currently used, and at least one of the remain log threshold and the resource utilization threshold is the source database server It can be changed through machine learning based on the operation log of.
  • the change data includes first change data extracted from the archive redo log and second change data extracted from the online redo log, and at least one of the remain log information and the resource utilization rate information
  • the means for determining to process in one of a first mode for storing the change data as a CDC file and a second mode for recording the changed data on the basis of the information of the first change data is completed, after the processing of the first change data is completed.
  • the second change data processing mode is set based on at least one of the re-main log information and the resource usage rate information.
  • means for determining to process in one of the first mode and the second mode is set based on at least one of the re-main log information and the resource usage rate information.
  • the first change data extracted from the archive redo log and the second change data extracted from the online redo log are included, and when a mode for processing the first change data is changed, the second It may further comprise means for determining to change the mode of processing the change data to correspond to the processing mode of the first change data.
  • the processing of the first change data and the processing of the second change data may be performed in parallel.
  • the CDC file further includes means for recording meta information on an object on which a Structured Query Language (SQL) operation has occurred among objects of the source database server, and the meta information includes table user information, At least one of table name information, column name information, column order information, and column type information may be included.
  • SQL Structured Query Language
  • the means for recording meta information on an object in which an SQL operation has occurred among objects of the source database server in the CDC file is an SQL operation related to the object when meta information on the object is generated
  • means for deciding to write the meta information to the CDC file, and means for determining to record an SQL operation related to the object in the CDC file when meta information for the object is not generated It may contain more.
  • the means for performing CDC in the database system may be implemented by a module, circuit, or logic for implementing a computing device.
  • FIG. 11 shows a simplified and general schematic diagram of an exemplary computing environment in which embodiments of the present disclosure may be implemented.
  • modules herein include routines, procedures, programs, components, data structures, etc. that perform particular tasks or implement particular abstract data types.
  • the method of the present disclosure is not limited to single-processor or multiprocessor computer systems, minicomputers, mainframe computers, as well as personal computers, handheld computing devices, microprocessor-based or programmable household appliances, and the like (each of which It will be appreciated that it may be implemented with other computer system configurations, including one or more associated devices).
  • the described embodiments of the present disclosure may also be practiced in a distributed computing environment where certain tasks are performed by remote processing devices that are connected through a communication network.
  • program modules may be located in both local and remote memory storage devices.
  • Computers typically include a variety of computer-readable media.
  • Computer-readable media can be any computer-readable media, including volatile and non-volatile media, transitory and non-transitory media, removable and non-transitory media. Includes removable media.
  • Computer-readable media may include computer-readable storage media and computer-readable transmission media.
  • Computer-readable storage media include volatile and nonvolatile media, transitory and non-transitory media, removable and non-removable media implemented in any method or technology for storing information such as computer-readable instructions, data structures, program modules or other data. Includes the medium.
  • Computer storage media include RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital video disk (DVD) or other optical disk storage device, magnetic cassette, magnetic tape, magnetic disk storage device, or other magnetic storage device, Or any other medium that can be accessed by a computer and used to store desired information.
  • Computer-readable storage media include volatile and nonvolatile media, transitory and non-transitory media, removable and non-removable media implemented in any method or technology for storing information such as computer-readable instructions, data structures, program modules or other data. Includes the medium.
  • Computer-readable storage media include RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital video disk (DVD) or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage, or other magnetic storage. Devices, or any other medium that can be accessed by a computer and used to store desired information.
  • Computer-readable transmission media typically implement computer-readable instructions, data structures, program modules or other data on a modulated data signal such as a carrier wave or other transport mechanism. Includes all information delivery media.
  • modulated data signal refers to a signal in which one or more of the characteristics of the signal is set or changed to encode information in the signal.
  • computer-readable transmission media include wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared, and other wireless media. Combinations of any of the above-described media are also intended to be included within the scope of computer-readable transmission media.
  • System bus 1508 couples system components, including, but not limited to, system memory 1506 to processing unit 1504.
  • the processing unit 1504 may be any of a variety of commercially available processors. Dual processors and other multiprocessor architectures may also be used as processing unit 1504.
  • the system bus 1508 may be any of several types of bus structures that may be additionally interconnected to a memory bus, a peripheral bus, and a local bus using any of a variety of commercial bus architectures.
  • System memory 1506 includes read-only memory (ROM) 1510 and random access memory (RAM) 1512.
  • the basic input/output system (BIOS) is stored in nonvolatile memory 1510 such as ROM, EPROM, EEPROM, etc. This BIOS is a basic input/output system that helps transfer information between components in the computer 1502, such as during startup. Includes routines.
  • RAM 1512 may also include high-speed RAM, such as static RAM, for caching data.
  • Computer 1502 also includes an internal hard disk drive (HDD) 1514 (e.g., EIDE, SATA)—this internal hard disk drive 1514 can also be configured for external use within a suitable chassis (not shown).
  • HDD hard disk drive
  • FDD magnetic floppy disk drive
  • optical disk drive 1520 e.g., CD-ROM
  • the disc 1522 is for reading or reading from or writing to other high-capacity optical media such as DVD).
  • the hard disk drive 1514, the magnetic disk drive 1516, and the optical disk drive 1520 are each connected to the system bus 1508 by a hard disk drive interface 1524, a magnetic disk drive interface 1526, and an optical drive interface 1528. ) Can be connected.
  • the interface 1524 for implementing an external drive includes, for example, at least one or both of USB (Universal Serial Bus) and IEEE 1394 interface technologies.
  • drives and their associated computer readable media provide non-volatile storage of data, data structures, computer executable instructions, and the like.
  • drives and media correspond to storing any data in a suitable digital format.
  • the description of the computer-readable storage medium above refers to a removable optical medium such as a HDD, a removable magnetic disk, and a CD or DVD, those skilled in the art may include a zip drive, a magnetic cassette, a flash memory card, a cartridge, It will be appreciated that other types of computer-readable storage media, such as etc., may also be used in the exemplary operating environment and that any such media may contain computer-executable instructions for performing the methods of the present disclosure. .
  • a number of program modules including an operating system 1530, one or more application programs 1532, other program modules 1534, and program data 1536, may be stored in the drive and RAM 1512. All or part of the operating system, applications, modules, and/or data may also be cached in RAM 1512. It will be appreciated that the present disclosure may be implemented on a number of commercially available operating systems or combinations of operating systems.
  • a user may input commands and information into the computer 1502 through one or more wired/wireless input devices, for example, pointing devices such as a keyboard 1538 and a mouse 1540.
  • Other input devices may include a microphone, IR remote control, joystick, game pad, stylus pen, touch screen, and the like.
  • These and other input devices are often connected to the processing unit 1504 through an input device interface 1542 that is connected to the system bus 1508, but the parallel port, IEEE 1394 serial port, game port, USB port, IR interface, It can be connected by other interfaces such as etc.
  • a monitor 1544 or other type of display device is also connected to the system bus 1508 via an interface such as a video adapter 1546.
  • the computer generally includes other peripheral output devices (not shown) such as speakers, printers, etc.
  • Computer 1502 may operate in a networked environment using logical connections to one or more remote computers, such as remote computer(s) 1548, via wired and/or wireless communication.
  • the remote computer(s) 1548 may be a workstation, server computer, router, personal computer, portable computer, microprocessor-based entertainment device, peer device, or other common network node, and is generally referred to as computer 1502. Although including many or all of the described components, for simplicity, only memory storage device 1550 is shown.
  • the logical connections shown include wired/wireless connections to a local area network (LAN) 1552 and/or a larger network, for example, a wide area network (WAN) 1554.
  • LAN and WAN networking environments are common in offices and companies, and facilitate an enterprise-wide computer network such as an intranet, all of which can be connected to a worldwide computer network, for example the Internet.
  • the computer 1502 When used in a LAN networking environment, the computer 1502 is connected to the local network 1552 via a wired and/or wireless communication network interface or adapter 1556. Adapter 1556 may facilitate wired or wireless communication to LAN 1552, which LAN 1552 also includes a wireless access point installed therein to communicate with wireless adapter 1556.
  • the computer 1502 When used in a WAN networking environment, the computer 1502 may include a modem 1558, connected to a communication server on the WAN 1554, or other means of establishing communication over the WAN 1554, such as through the Internet. Has. Modem 1558, which may be an internal or external and wired or wireless device, is connected to the system bus 1508 through a serial port interface 1542.
  • program modules described for the computer 1502 or portions thereof may be stored in the remote memory/storage device 1550. It will be appreciated that the network connections shown are exemplary and other means of establishing communication links between computers may be used.
  • Computer 1502 is associated with any wireless device or entity deployed and operated in wireless communication, e.g., a printer, scanner, desktop and/or portable computer, portable data assistant (PDA), communications satellite, wireless detectable tag. It operates to communicate with any device or place and phone. This includes at least Wi-Fi and Bluetooth wireless technologies. Thus, the communication may be a predefined structure as in a conventional network or may simply be ad hoc communication between at least two devices.
  • wireless communication e.g., a printer, scanner, desktop and/or portable computer, portable data assistant (PDA), communications satellite, wireless detectable tag. It operates to communicate with any device or place and phone. This includes at least Wi-Fi and Bluetooth wireless technologies.
  • the communication may be a predefined structure as in a conventional network or may simply be ad hoc communication between at least two devices.
  • Wi-Fi Wireless Fidelity
  • Wi-Fi is a wireless technology such as a cell phone that allows such devices, for example computers, to transmit and receive data indoors and outdoors, ie anywhere within the coverage area of a base station.
  • Wi-Fi networks use a wireless technology called IEEE 802.11 (a,b,g, etc.) to provide a secure, reliable and high-speed wireless connection.
  • Wi-Fi can be used to connect computers to each other, to the Internet, and to a wired network (using IEEE 802.3 or Ethernet).
  • Wi-Fi networks can operate in unlicensed 2.4 and 5 GHz radio bands, for example at 11 Mbps (802.11a) or 54 Mbps (802.11b) data rates, or in products that include both bands (dual band). have.
  • a person of ordinary skill in the art of the present disclosure includes various exemplary logical blocks, modules, processors, means, circuits and algorithm steps described in connection with the embodiments disclosed herein, electronic hardware, (convenience). For the sake of clarity, it will be appreciated that it may be implemented by various forms of program or design code or a combination of both (referred to herein as "software"). To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the particular application and design constraints imposed on the overall system. Those of ordinary skill in the art of the present disclosure may implement the described functions in various ways for each specific application, but such implementation decisions should not be interpreted as being outside the scope of the present disclosure.
  • the various embodiments presented herein may be implemented as a method, apparatus, or article of manufacture using standard programming and/or engineering techniques.
  • article of manufacture includes a computer program, carrier, or media accessible from any computer-readable device.
  • computer-readable storage media include magnetic storage devices (e.g., hard disks, floppy disks, magnetic strips, etc.), optical disks (e.g., CD, DVD, etc.), smart cards, and flash Memory devices (eg, EEPROMs, cards, sticks, key drives, etc.), but are not limited thereto.
  • machine-readable medium includes, but is not limited to, wireless channels and various other media capable of storing, holding, and/or transmitting instruction(s) and/or data.
  • the present invention can be used in a database server, a database management computing device, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

전술한 과제를 해결하기 위한 본 개시의 일 실시예에, 하나 이상의 프로세서들에 의해 실행 가능한 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 변경 데이터 캡쳐(Change Data Capture)를 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은: 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 동작, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 동작 및 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다. 대표도 도 2

Description

데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램
본 개시는 데이터베이스 관리 시스템(DBMS)에 관한 것으로, 보다 구체적으로 변경 데이터 캡쳐(CDC:Change Data Capture)에 관한 것이다.
기업의 비즈니스는 폭발적인 데이터의 증가와 다양한 환경 및 플랫폼의 등장으로 빠르게 확장되고 있다. 새로운 비즈니스 환경이 도래함에 따라서, 보다 더 효율적이고 유연한 데이터 서비스와 정보의 처리, 데이터 관리 기능이 필요하게 되었다. 이러한 변화에 맞춰서 기업 비즈니스 구현의 기반이 되는 고성능, 고가용성 및 확장성의 문제를 해결하기 위한 데이터베이스에 대한 연구가 지속되고 있다.
기업 내에서 관리되는 데이터는 종종 소스(source) 위치로부터 타겟(target) 위치로 마이그레이션(또는 복제)되어 관리할 필요가 있다. 예를 들어, 은행 업무를 구현하기 위한 데이터베이스 시스템은, 액세스하는 클라이언트의 특성에 따라서 다수의 외부 고객들이 동시에 액세스할 수 있는 데이터베이스 및 내부 직원들이 액세스할 수 있는 데이터베이스로 분류될 수 있다. 소스 데이터베이스 시스템으로부터의 변경 데이터를 타겟 데이터베이스 시스템으로 넘겨주는 솔루션은 변경 데이터 캡쳐(CDC:Change Data Capture)라 지칭된다. CDC는 예를 들어 소스 데이터베이스 시스템에서의 로그 파일을 판독 및 해석하여 소스 데이터베이스 시스템에서의 변경 데이터를 복제하고자 하는 타겟 데이터베이스 시스템에 리플레이(replay)시키는 방식으로 구현될 수 있다.
이러한 CDC 기술은 적은 세션만으로 전체 테이블의 데이터를 추출할 수 있다. 또한, CDC 기술은 데이터 파일에 직접적으로 접근하지 않기 때문에, 데이터베이스 관리 시스템(DBMS:DataBase Management System) 내의 자원(resource) 사용률을 줄일 수 있다는 장점을 가지고 있다.
한편, CDC를 수행하기 위해 소스 데이터베이스 시스템에서 처리되는 트랜잭션에 대한 정보를 포함하는 리두 로그를 판독 및 해석함으로써, 소스 데이터베이스 시스템에서 데이터의 변경을 식별할 수 있다. 이러한 리두 로그는 작업량이 증가할수록 축적되며, 물리적 저장 장치의 특성상 리두 로그를 저장할 수 있는 용량에는 한계가 있다. 구체적으로, 리두 로그는 적어도 둘 이상의 리두 로그 파일에 차례로 저장되며, 하나의 리두 로그 파일에 리두 로그가 채워지면 다른 리두 로그 파일에 스위칭되어 저장될 수 있다. 다만, 리두 로그를 저장할 수 있는 리두 로그 파일의 개수(즉, 물리적 저장 장치의 용량)에는 한계가 있다. 이에 따라, 물리적 저장 장치에 저장된 모든 리두 로그 파일에 리두 로그가 채워진 경우, 처음 리두 로그를 저장한 리두 로그 파일에 새로운 리두 로그를 덮어쓰게 된다. 기존 리두 로그를 저장하는 리두 로그 파일에 새로운 리두 로그가 덮어쓰여지게 되는 경우, 기존 리두 로그가 손실될 우려가 있기 때문에 기존 저장된 리두 로그를 아카이브 리두 로그로써 따로 저장하게 된다.
선행기술문헌
(특허문헌 1) 미국 등록 특허 US6,999,977
(특허문헌 2) 미국 등록 특허 US7,111,023
(특허문헌 3) 미국 등록 특허 US7,657,576
(특허문헌 4) 미국 등록 특허 US7,647,354
(특허문헌 5) 미국 등록 특허 US9,727,624
본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램을 제공하기 위한 것이다.
전술한 과제를 해결하기 위한 본 개시의 일 실시예에, 하나 이상의 프로세서들에 의해 실행 가능한 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 변경 데이터 캡쳐(Change Data Capture)를 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은: 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 동작, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 동작 및 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보는, 변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그에 관한 정보이며, 상기 자원 사용률 정보는, 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률에 대한 정보일 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 상기 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작은, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 자원 사용률 임계치를 재설정할 것을 결정하는 동작 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 자원 사용률 정보와 자원 사용률 임계치 정보를 비교하는 동작 및 상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작 및 상기 자원 사용률 임계치를 재설정할 것을 결정하는 동작 중 적 하나의 동작을 수행할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작 및 상기 자원 사용률 임계치를 재설정할 것을 결정하는 동작 중 적어도 하나의 동작을 수행할 것을 결정하는 동작은, 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 자원 사용률 임계치를 재설정하는 동작 및 상기 자원 사용률 정보가 상기 자원 사용률 임계치 이하인 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는지 여부를 식별하는 동작 및 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하는 동작을 포함할 수 있다.
대안적으로, 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하는 동작은, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하는 동작 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하는 동작 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은, 상기 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 유지하는 동작 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하는 동작을 포함할 수 있다.
대안적으로, 상기 리메인 로그 임계치는, 상기 변경 데이터로 추출이 필요한 상기 온라인 리두 로그 및 상기 아카이브 리두 로그의 기준이 되는 임계치이며, 상기 자원 사용률 임계치는, 상기 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장하기 위한 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준이고, 그리고 상기 리메인 로그 임계치 및 상기 자원 사용률 임계치 중 적어도 하나는, 상기 소스 데이터베이스 서버의 동작 로그에 기초한 기계학습을 통해 가변될 수 있다.
대안적으로, 상기 변경 데이터는, 상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,상기 제 1 변경 데이터에 대한 처리가 완료된 이후 상기 제 1 변경 데이터에 대한 처리 없이 상기 제 2 변경 데이터에 대한 처리가 이루어지는 경우, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 제 2 변경 데이터의 처리 모드를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고 상기 제 1 변경 데이터를 처리하기 위한 모드가 변경되는 경우, 상기 제 2 변경 데이터를 처리하는 모드를 상기 제 1 변경 데이터의 처리 모드와 대응되도록 변경할 것을 결정하는 동작을 더 포함할 수 있다.
대안적으로, 상기 제 1 변경 데이터에 대한 처리와 상기 제 2 변경 데이터에 대한 처리는 병렬로 수행될 수 있다.
대안적으로, 상기 CDC 파일에 상기 소스 데이터베이스 서버의 객체들 중 SQL(Structured Query Language) 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작을 더 포함하고, 그리고 상기 메타 정보는, 테이블 유저 정보, 테이블 이름 정보, 칼럼 이름 정보, 칼럼 순서 정보 및 칼럼 타입 정보 중 적어도 하나의 정보를 포함할 수 있다.
대안적으로, 상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작은, 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하지 않는 경우, 해당 객체에 대한 DD(Data Dictionary) 정보를 사용하여 상기 해당 객체에 대한 메타 정보를 생성하는 동작 및 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하는 경우, 상기 해당 객체에 대한 메타 정보를 생성하지 않을 것을 결정하는 동작을 포함할 수 있다.
대안적으로, 상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작은, 상기 해당 객체에 대한 메타 정보가 생성된 경우, 상기 해당 객체와 관련된 SQL 연산 및 상기 메타 정보를 상기 CDC 파일에 기록할 것을 결정하는 동작 및 상기 해당 객체에 대한 메타 정보가 생성되지 않은 경우, 상기 해당 객체와 관련된 SQL 연산을 상기 CDC 파일에 기록할 것을 결정하는 동작을 더 포함할 수 있다.
본 개시의 다른 실시예에서 변경 데이터 캡쳐를 구현하기 위한 데이터베이스 서버가 개시된다. 상기 서버는 하나 이상의 코어를 포함하는 프로세서, 상기 프로세서에 의해 실행가능한 프로그램 코드들을 저장하는 메모리 및 소스 데이터베이스 서버 및 타겟 데이터베이스 서버와 데이터를 송수신하는 네트워크부를 포함하며, 상기 프로세서는, 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하고, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하고, 그리고 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다.
본 개시의 또 다른 실시예에서 변경 데이터 캡쳐를 구현하기 위한 방법이 개시된다. 상기 방법은, 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 단계, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 단계 및 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 단계를 포함할 수 있다.
본 개시는 데이터베이스 시스템에서의 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램을 제공할 수 있다.
다양한 양상들이 이제 도면들을 참조로 기재되며, 여기서 유사한 참조 번호들은 총괄적으로 유사한 구성요소들을 지칭하는데 이용된다. 이하의 실시예에서, 설명 목적을 위해, 다수의 특정 세부사항들이 하나 이상의 양상들의 총체적 이해를 제공하기 위해 제시된다. 그러나, 그러한 양상(들)이 이러한 구체적인 세부사항들 없이 실시될 수 있음은 명백할 것이다.
도 1은 본 개시의 일 실시예에 따른 데이터베이스 시스템에 대한 개략도를 도시한다.
도 2는 본 개시의 일 실시예에 따른 데이터베이스 시스템에서의 소스 데이터베이스 서버 및 타겟 데이터베이스 서버를 예시적으로 도시한다.
도 3은 본 개시의 일 실시예에 따른 소스 데이터베이스 서버(혹은 에이전트 서버)에서 수행되는 CDC 파일 생성 방법 예시적으로 도시한 순서도이다.
도 4는 본 개시의 일 실시예에 따른 소스 데이터베이스의 리메인 로그에 기초하여 리두 로그를 처리하는 방법을 예시적으로 도시한 순서도이다.
도 5는 본 개시의 일 실시예에 따른 소스 데이터베이스의 리메인 로그에 기초하여 리두 로그를 처리하는 방법을 예시적으로 도시한 순서도이다.
도 6은 본 개시의 일 실시예에 따른 소스 데이터베이스의 자원 사용률에 기초하여 리두 로그를 처리하는 방법을 예시적으로 도시한 순서도이다.
도 7은 본 개시의 일 실시예에 따른 소스 데이터베이스의 자원 사용률에 기초하여 리두 로그를 처리하는 방법을 예시적으로 도시한 순서도이다.
도 8은 본 개시의 일 실시예 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 9는 본 개시의 일 실시예 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 10은 본 개시의 일 실시예에 따라 데이터베이스 시스템에서 CDC를 수행하기 위한 수단을 도시한다.
도 11은 본 개시의 일 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도를 도시한다.
다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 개시의 이해를 제공하기 위해서 제시된다. 그러나, 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다.
본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있다. 일 컴포넌트는 하나의 컴퓨터 내에 로컬화 될 수 있다. 일 컴포넌트는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.
더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는"이라는 용어는, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.
당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시 적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시 적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.
온라인 혹은 아카이브 리두 로그를 판독 및 해석하여 변경 데이터를 추출하는 경우, 해당 정보는 메모리에 기록되거나 파일에 저장될 수 있다. 다만, 아카이브 리두 로그를 추출하고 있는 경우, 소스 데이터베이스에 거래가 많아져 타켓 데이터베이스로의 반영이 밀리거나, 타겟 데이터베이스에 장애가 생기거나, 또는 소스-타켓 시스템 사이의 네트워크가 지연되는 등의 상황이 발생하게 된다. 이런 상황에서 아카이브 리두 로그에서 추출된 변경 데이터를 메모리에 기록하는 경우, 아카이브 리두 로그가 물리적 저장 장치의 제한적 용량의 이유로 삭제될 수 있으며, 또한 CDC가 중단되면 휘발성인 메모리에 기록된 변경 데이터들은 사라지게 되어 CDC를 재 기동 하더라도 삭제된 아카이브 리두 로그에 존재하는 변경 데이터는 추출할 수 없게 된다. 이에 따라, 아카이브 리두 로그에서 변경 데이터를 추출하는 경우, 해당 정보를 파일에 저장해야 하는데 파일로 저장하게 되면, DISK I/O 및 CPU의 사용률이 증가하여 해당 시스템의 자원 사용률이 급격히 증가할 수 있다.
따라서, 추출의 결과물 즉, 변경 데이터를 리두 로그 및 아카이브 리두 로그로부터 추출함에 있어, 시스템의 자원 사용률과 추출 지연 사이의 균형을 맞추어 보다 효율적인 CDC를 구현하기 위한 기법이 필요하다.
도 1은 본 개시의 일 실시예에 따른 데이터베이스 시스템에 대한 개략도를 도시한다.
도 1에서 도시되는 바와 같이, 데이터베이스 시스템(10)은 소스 데이터베이스 서버(100), 타겟 데이터베이스 서버(200) 및 에이전트 서버(300)를 포함할 수 있다.
도 1에서 도시되지는 않았지만, 데이터베이스 시스템은 클라이언트를 더 포함할 수 있다. 클라이언트는 데이터베이스 서버들과 통신을 위한 매커니즘을 갖는 시스템에서의 임의의 형태의 노드(들)를 의미할 수 있다. 예를 들어, 이러한 클라이언트는 PC, 랩탑 컴퓨터, 워크스테이션, 단말 및/또는 네트워크 접속성을 갖는 임의의 전자 디바이스를 포함할 수 있다. 또한, 클라이언트는 에이전트, API(Application Programming Interface) 및 플러그-인(Plug-in) 중 적어도 하나에 의해 구현되는 임의의 서버를 포함할 수도 있다.
본 개시의 일 실시예에 따르면, 클라이언트로부터 발행된 쿼리에 따라서, 소스 데이터베이스 서버(100), 타켓 데이터베이스 서버(200) 및/또는 에이전트 서버(300)의 후술될 동작들이 수행될 수 있다.
데이터베이스 서버들(100 및 200)은, 예를 들어, 마이크로프로세서, 메인프레임 컴퓨터, 디지털 싱글 프로세서, 휴대용 디바이스 및 디바이스 제어기 등과 같은 임의의 타입의 컴퓨터 시스템 또는 컴퓨터 디바이스를 포함할 수 있다. 이러한 데이터베이스 서버들(100 및 200) 각각은, 도시되지는 않았지만, DBMS(Database Management System) 및/또는 영구 저장 매체(persistent storage)를 포함할 수 있다.
본 명세서에서의 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 데이터베이스 시스템(10)에서의 임의의 형태의 노드(node)들을 의미할 수 있다. 추가적인 실시예로서, 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 하나의 데이터베이스 서버에 통합되어 관리 및/또는 클러스터링될 수도 있다. 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 하나의 데이터베이스 서버에 통합되어 서로 연계된 다중 데이터베이스를 구성할 수도 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 서로 원격에 위치한 이종의 데이터베이스 서버를 의미할 수도 있다. 더불어, 도 1에서는 2개의 데이터베이스 서버들을 도시하고 있으나, 이보다 많은 데이터베이스 서버들 또한 본 발명의 범위에 포함될 수도 있다.
도 1에서는 도시되지 않았지만, 데이터베이스 서버들(100 및 200)은 버퍼 캐시를 포함하는 하나 이상의 메모리를 포함할 수 있다. 또한, 도 1에서는 도시되지 않았지만, 데이터베이스 서버(100 및 200)는 하나 이상의 프로세서를 포함할 수 있다. 따라서, 데이터베이스 서버 내의 DBMS는 상기 메모리 상에서 상기 프로세서에 의하여 동작될 수 있다.
여기서, 메모리는 동적 램(DRAM, dynamic random access memory), 정적 램(SRAM, static random access memory) 등의 랜덤 액세스 메모리(RAM)와 같은, 프로세서가 직접 접근하는 주된 저장 장치로서 전원이 꺼지면 저장된 정보가 순간적으로 지워지는 휘발성(volatile) 저장 장치를 의미할 수 있지만, 이들로 한정되는 것은 아니다. 이러한 메모리는 프로세서에 의하여 동작 될 수 있다. 메모리는 데이터 값을 포함하는 데이터 테이블 및/또는 트랜잭션에 따른 로그 레코드들을 저장할 수 있다. 예를 들어, 로그 레코드들을 메모리의 별도의 트랜잭션 로그 저장을 담당하는 별도의 구성요소에 저장될 수도 있다. 본 명세서에서의 트랜잭션이란, 통상적으로 정보의 교환이나 데이타베이스 업데이트 등과 같은 일련의 작업들에 대한 연속적인 처리단위를 의미할 수 있다. 이러한 트랜잭션은, 데이타베이스의 무결성(integrity)이 보장되는 상태에서 요청된 작업을 완수하기 위한 작업의 기본 단위를 나타낸다. 본 개시내용에서의 리두 로그 데이터는 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경내용(예컨대, 테이블, 컬럼(column), 로우(row), 데이터 타입, 인덱스 등에 관련 변경 내용을 식별할 수 있는 데이터 레코드를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 데이터 테이블의 데이터 값 및/또는 로그 레코드들은 메모리로부터 영구 저장 매체에 기록될 수 있다. 추가적인 양상에서, 메모리는 버퍼 캐시를 포함하며, 상기 버퍼 캐시의 블록에는 이러한 데이터 및/또는 로그 레코드들이 저장될 수 있다. 상기 데이터 및/또는 로그 레코드들은 백그라운드 프로세스에 의하여 영구 저장 매체에 기록될 수 있다.
데이터베이스 서버 내의 영구 저장 매체는, 예를 들어 자기(magnetic) 디스크, 광학(optical) 디스크 및 광자기(magneto-optical) 저장 디바이스뿐만 아니라 플래시 메모리 및/또는 배터리-백업 메모리에 기초한 저장 디바이스와 같은, 임의의 데이터를 지속적으로 할 수 있는 비-휘발성(non-volatile) 저장 매체를 의미한다. 이러한 영구 저장 매체는 다양한 통신 수단을 통하여 데이터베이스 서버들(100 및 200)의 프로세서 및 메모리와 통신할 수 있다. 추가적인 실시예에서, 이러한 영구 저장 매체는 데이터베이스 서버(100 및 200) 외부에 위치하여 데이터베이스 서버(100 및 200)와 통신 가능할 수도 있다.
DBMS는 데이터베이스 서버(100 및 200)에서 필요한 데이터를 검색, 삽입, 수정, 삭제 및/또는 로그 레코드 관리 등과 같은 동작들을 수행하는 것을 허용하기 위한 프로그램으로서, 전술한 바와 같이, 데이터베이스 서버(100 및 200)의 메모리에서 프로세서에 의하여 구현될 수 있다.
클라이언트와 데이터베이스 서버들(100 및 200) 또는 데이터베이스 서버들(100 및 200)은 네트워크(미도시)를 통하여 서로 통신할 수 있다. 본 발명의 일 실시예에 따른 네트워크는 공중전화 교환망(PSTN:Public Switiched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.
또한, 본 명세서에서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다. 추가적인 실시예로서, 본 명세서에서의 네트워크는 데이터베이스 링크(dblink)를 포함할 수도 있으며, 이에 따라 데이터베이스 서버들(100 및 200)은 이러한 데이터베이스 링크를 통해 서로 통신하여 이로부터 또는 다른 데이터베이스 서버로부터의 데이터/로그 레코드들을 가져올 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
도 1에서 도시되는 바와 같이, 소스 데이터베이스 서버(100)는 타겟 데이터베이스 서버(200)의 원격에 위치할 수 있다. 또한, 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 동일 타입의 서버들이거나 또는 서로 호환되지 않는 이기종의(heterogeneous) 데이터베이스 서버를 의미할 수 있다.
추가적으로, 소스 데이터베이스 서버(100)는 임의의 타입의 데이터베이스로서 명령들을 실행 및 저장하기 위한 프로세서 및 메모리를 포함하는 디바이스를 포함할 수 있으나 이로 한정되지는 않는다. 즉, 소스 데이터베이스는 소프트웨어, 펌웨어 및 하드웨어 또는 이들의 조합을 포함할 수도 있다. 소프트웨어는 데이터베이스 테이블, 스키마, 인덱스 및/또는 데이터를 생성, 삭제 및 수정하기 위한 애플리케이션(들)을 포함할 수 있다. 소스 데이터베이스 서버(100)는 클라이언트 또는 다른 컴퓨팅 디바이스로부터의 트랜잭션들을 수신할 수 있으며, 예시적인 트랜잭션들은 소스 데이터베이스 서버(100)에서의 데이터, 테이블 및/또는 인덱스 등을 검색, 추가, 수정 및/또는 삭제하는 것을 포함할 수 있다.
타겟 데이터베이스 서버(200)는 소스 데이터베이스 서버(100)에서 발생된 데이터 변경 내용이 복제 또는 동기화되는 데이터베이스 서버를 의미하며, 전술한 소스 데이터베이스 서버(100)의 특징의 적어도 일부분을 포함할 수 있다. 예를 들어, 타겟 데이터베이스 서버(200)는 소스 데이터베이스 서버(100)의 데이터, 데이터 타입들, 테이블들, 인덱스들 및/또는 로그 레코드들에 대한 복사본을 저장할 수 있다.
본 명세서에서의 로그 레코드는 데이터베이스 내의 데이터의 구조, 조직에 대한 변경내용 및/또는 테이블, 컬럼, 데이터 타입, 인덱스, 데이터 등과 관련된 변경 내용을 식별할 수 있는 데이터 레코드를 의미할 수 있다. 이러한 리두 로그는 트랜잭션 혹은 연산을 고유하게 식별하기 위한 정보 및/또는 상기 트랜잭션 혹은 연산에 따라 변경된 데이터 레코드를 식별하기 위한 정보를 의미할 수 있다.
본 개시의 일 실시예에 따르면, 에이전트 서버(300)는 소스 데이터베이스 서버(100)와 타겟 데이터베이스 서버(200)간의 CDC를 구현하기 위한 별도의 엔티티를 의미할 수 있다. 따라서, 에이전트 서버(300)는 CDC를 구현하기 위한 임의의 동작들을 수행할 수 있다. 예를 들어, 에이전트 서버(300)는 본 개시내용에서 소스 데이터베이스 서버(100)로부터 데이터를 수신 및 처리한 다음에, 타겟 데이터베이스 서버(200)로 송신하여, 타겟 데이터베이스 서버(200)에서 변경 데이터가 적용될 수 있도록 허용할 수 있다.
에이전트 서버(300)는 임의의 타입의 서버로서 명령들을 실행 및 저장하기 위한 프로세서 및 메모리를 포함하는 디바이스를 포함할 수 있으나 이로 한정되지는 않는다. 에이전트 서버(300)는 소프트웨어, 펌웨어 및 하드웨어 또는 이들의 조합을 포함할 수도 있다. 예를 들어, 에이전트 서버(300)의 동작 들을 구현하는 소프트웨어는 소스 데이터베이스 서버(100) 및/또는 타겟 데이터베이스 서버(200)에 설치될 수 있다. 이러한 예시에서, CDC 모듈은 소스 데이터베이스 서버(100) 및/또는 타겟 데이터베이스 서버(200)에 설치되어, 소스 데이터베이스 서버(100)와 타겟 데이터베이스 서버(200) 간의 CDC 특징들이 구현될 수 있도록 허용할 수 있다.
도 1에서 도시되는 에이전트 서버(300)의 기능들은 소스 데이터베이스 서버(100) 및/또는 타겟 데이터베이스 서버(200)에 일부분으로 통합될 수도 있다. 예를 들어, 에이전트 서버(300)의 CDC 기능은 타겟 데이터베이스 서버(200)에 의해 대체될 수 있다.
도 2는 본 개시의 일 실시예에 따른 데이터베이스 시스템에서의 소스 데이터베이스 서버 및 타겟 데이터베이스 서버를 예시적으로 도시한다.
도 2에서 도시되는 바와 같이, 소스 데이터베이스 서버(100)는 프로세서(110), 메모리(120) 및 네트워크부(130)를 포함할 수 있다. 전술한 컴포넌트들은 예시적인 것으로서 본 개시내용의 권리범위가 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 개시내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100)는 타겟 데이터베이스 서버(200) 및 에이전트 서버(300)와 데이터를 송수신하는 네트워크부(130)를 포함할 수 있다. 또한, 네트워크부(130)는 데이터베이스 서버들(110 및 120)의 통신 기능 그리고/또는 클라이언트와의 통신 기능을 제공할 수 있다. 예를 들어, 네트워크부(130)는 소스 데이터베이스 서버(100)의 외부에 위치하는 경우, 추출된 로그 레코드들을 소스 데이터베이스 서버(100)로부터 수신할 수 있다. 네트워크부(130)는 임의의 네트워크 및/또는 데이터베이스 링크를 이용하여 데이터베이스 서버들(110 및 120) 간의 통신을 허용할 수 있다. 네트워크부(130)는 클라이언트로부터의 입력을 수신할 수 있다. 예를 들어, 네트워크부(130)는 클라이언트로부터 데이터 저장, 변경 및 조회 그리고 인덱스 빌드, 변경 및 조회와 관련된 요청을 수신할 수 있다. 추가적으로, 네트워크부(130)는 데이터베이스 서버로 프로시저를 호출하는 방식으로 데이터베이스 서버들 간의 정보 전달을 허용할 수 있다. 또한, 네트워크부(130)는 데이터베이스 복제와 관련하여 데이터베이스 서버들 간에 전달되는 임의의 데이터/정보를 송수신하는 기능을 제공할 수 있다.
네트워크부(130)는 전달받은 CDC 파일 혹은 CDC 파일에 기록된 정보를 타겟 데이터베이스 서버(100)로 송신할 수 있다. 네트워크부(130)는 CDC 파일 또는 CDC 파일에 기록된 정보가 타겟 데이터베이스 서버(200)에 적합한 포맷으로 변환하고 변환된 포맷을 타겟 데이터베이스 서버(200)로 송신할 수도 있다.
본 개시의 일 실시예에 따르면, 메모리(120)는 추출된 로그 레코드를 저장하는 등과 같이 본 개시내용의 실시예들에 따른 CDC 특징을 수행하는 것과 관련되어 저장되는 임의의 데이터를 저장할 수 있다. 메모리(120)는 DBMS 및/또는 영구저장매체에 포함될 수 있다. 추가적으로, 메모리(120)는 업데이트 요청과 관련된 저장을 수행할 수 있다. 메모리(120)는 데이터 테이블 및 인덱스 테이블 등을 저장할 것을 결정할 수 있다. 메모리(120)는 데이터에 대해서 데이터 테이블 상에서의 저장 위치 그리고 영구저장매체 상에서의 저장 위치를 결정할 수도 있다.
프로세서(110)는 소스 데이터베이스 서버(100)에서 처리되는 트랜잭션에 대한 정보를 포함하는 리두 로그를 적어도 하나의 리두 로그 저장소에 저장할 수 있다. 리두 로그는 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경내용(예컨대, 테이블, 칼럼, 로우, 데이터 타입, 인덱스 등)을 식별할 수 있는 데이터 레코드를 포함할 수 있다. 즉, 프로세서(110)는 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경에 따라 발생한 트랜잭션에 대한 정보를 포함하는 리두 로그를 하나 이상의 온라인 리두 로그 저장소에 차례로 저장할 수 있으며, 하나 이상의 온라인 리두 로그 저장소에 리두 로그가 모두 포화되는 경우, 처음 온라인 리두 로그 저장소에 새로 발생한 리두 로그를 저장할 수 있다. 이 경우, 프로세서(110)는 기존 처음 리두 로그 저장소에 먼저 저장된 리두 로그를 추출하여 아카이브 리두 로그로써 저장할 수 있다. 즉, 처음 리두 로그 저장소에 새로 발생한 리두 로그를 저장하는 경우, 기존 저장된 리두 로그에 대한 기록을 손실할 우려가 있으므로, 프로세서(110)는 기존 저장된 리두 로그를 아카이브 리두 로그로써 추출하게 된다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출할 수 있다. 구체적으로, 프로세서(110)는 소스 데이터베이스 시스템에서 처리되는 트랜잭션에 대한 정보를 포함하는 리두 로그(온라인 및/또는 아카이브 리두 로그)를 판독 및 해석함으로써 그리고/또는 소스 데이터베이스 시스템에서 데이터의 변경을 식별함으로써, 변경 데이터를 추출할 수 있다.
또한, 프로세서(110)는 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석할 수 있다. 리메인 로그 정보는 변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나에 관한 정보일 수 있다. 구체적으로, 리메인 로그 정보는, 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경에 따라 발생한 트랜잭션에 대한 정보를 포함하는 리두 로그(온라인 및/또는 아카이브 리두 로그)와 프로세서(110)에 의해 상기 리두 로그 중 적어도 일부로부터 추출된 변경 데이터의 차이에 관한 정보일 수 있다.
예를 들어, 리메인 로그 정보는 데이터베이스 내에서 데이터 변경에 대한 트랜잭션에 대한 정보를 포함하는 리두 로그의 크기와 상기 리두 로그의 적어도 일부로부터 추출되어 생성된 변경 데이터의 크기의 차이에 관한 정보일 수 있다. 클라이언트로부터 데이터 변경에 대한 트랜잭션을 수신하고, 해당 트랜잭션에 대응하는 리두 로그의 크기가 100MB이며, 상기 리두 로그 중 적어도 일부가 프로세서(110)에 의해 추출되어 생성된 변경 데이터의 크기가 20MB인 경우, 리메인 로그 정보는 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출되어 생성된 변경 데이터의 크기의 차이인 80MB에 대한 정보를 포함할 수 있다. 전술한 리두 로그의 크기에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
다른 예를 들어, 리메인 로그 정보는 데이터베이스 내에서 데이터 변경에 대응하여 실시간 보유되는 리두 로그의 식별 번호와 상기 리두 로그의 적어도 일부가 추출되어 생성되는 변경 데이터의 식별 번호의 차이에 대한 정보일 수 있다. 실시간 보유된 리두 로그의 식별 번호가 100(즉, 100개에 해당하는 트랜잭션에 대응하여 100개의 리두 로그가 보유된 경우)이며, 가장 최근 상기 리두 로그 중 적어도 일부로부터 추출되어 생성된 변경 데이터의 식별 번호 20인 경우, 리메인 로그 정보는 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출되어 생성된 변경 데이터의 식별 번호의 차이가 80이라는 정보를 포함할 수 있다. 다시 말해, 리메인 정보는, 100개에 해당하는 트랜잭션에 대응하여 생성된 리두 로그 각각의 식별 번호를 통해 실시간 저장되는 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터와의 차이를 식별할 수 있는 정보를 포함할 수 있다. 전술한 리두 로그의 식별 번호의 구체적인 수치에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
자원 사용률 정보는, 소스 데이터베이스가 현재 사용하는 컴퓨팅 자원에 대한 정보일 수 있으며, 예를 들어, Disk I/O(디스크 입출력 사용률), CPU 사용률 및 메모리 사용률에 대한 정보를 포함할 수 있다.
즉, 소스 데이터베이스 서버(100)는 소스 데이터베이스 서버(100)의 리메인 로그 정보 및 자원 사용률 정보를 분석함으로써, 상기 소스 데이터베이스 서버(100)가 효율적인 CDC를 수행하도록 할 수 있다. 이하에서는 소스 데이터베이스 서버(100)가 리메인 로그 정보 및 자원 사용률 정보를 분석 및 획득함으로써, 소스 데이터베이스 서버(100)에서 리두 로그를 효율적으로 처리하는 방법에 대하여 후술하도록 한다.
프로세서(110)는 소스 데이터베이스 서버(100)의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 아카이브 리두 로그를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다.
프로세서(110)는 온라인 리두 로그 및 아카이브 리두 로그를 판독 및 해석함으로써, 변경 데이터를 추출할 수 있다. 다만, 프로세서(110)가 리두 로그 저장소로부터 아카이브 리두 로그를 추출하고 있는 경우, 소스 데이터 데이터베이스 서버(100)의 거래가 많아져 타겟 데이터베이스 서버(200)로의 반영이 밀리거나, 타겟 데이터베이스 서버(200)에 장애가 발생하거나, 또는 소스-타겟 사이의 네트워크가 지연되는 등 시스템의 지연을 초래할 수 있다. 이에 따라, 아카이브 리두 로그로부터 추출된 변경 데이터를 파일화함으로써, 데이터베이스 시스템의 지연을 미연에 방지할 수 있다. 다만, 변경 데이터를 파일화하는 경우, 디스크 I/O 및 CPU의 사용률이 증가하여 데이터베이스 시스템의 자원을 과도하게 사용하게 된다.
즉, 프로세서(110)는 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 변경 데이터에 대한 처리를 제 1 모드 및 제 2 모드를 전환함으로써, 아카이브 리두 로그를 추출하는 경우 발생하는 시스템 상의 지연과 변경 데이터를 파일화하여 저장하는 경우 발생하는 과도한 시스템 자원 사용 사이의 균형을 조정할 수 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100)는 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다.
구체적으로, 프로세서(110)는 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 변경 데이터를 제 1 모드 및 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다. 리메인 로그 임계치는, 변경 데이터로 추출이 필요한 리두 로그의 기준이 되는 임계치에 대한 정보일 수 있다. 구체적으로, 데이터베이스에 실시간 보유된 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 차이에 대한 허용치에 관한 정보를 포함할 수 있다. 자원 사용률 임계치 정보는, 아카이브 리두 로그를 CDC 파일로 저장하기 위해 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준일 수 있다.
프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 아카이브 리두 로그를 제 1 모드로 처리할 수 있다. 구체적인 예를 들어, 리메인 로그 정보가, 실시간 보유된 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 크기의 차이인 80MB에 대한 정보를 포함하며, 리메인 로그 임계치가, 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 크기 차이의 허용치가 60MB에 대한 정보를 포함하는 경우, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 것으로 판단하여, 변경 데이터를 제 1 모드로 처리할 수 있다. 전술한 리메인 로그 정보 및 리메인 로그 임계치의 구체적인 수치에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
다른 예를 들어, 리메인 로그 정보가, 실시간 보유된 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 식별 번호의 차이가 80이라는 정보를 포함하며, 리메인 로그 임계치가, 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 식별번호 차이의 허용치가 70에 대한 정보를 포함하는 경우, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 것으로 판단하여, 변경 데이터를 제 1 모드로 처리할 수 있다. 전술한 리메인 로그 정보 및 리메인 로그 임계치의 구체적인 수치에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 변경 데이터가 처리되는 모드에 기초하여 자원 사용률을 재설정할 것을 결정하는 동작 및 제 2 모드를 제 1 모드로 전환하는 동작 중 적어도 하나의 동작을 수행할 것을 결정할 수 있다. 이에 대한 구체적인 설명은 도 5를 참조하여 이하에서 후술하도록 한다.
도 5를 참조하면, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 시점을 식별할 수 있다(610). 리메인 로그 정보가 리메인 로그 임계치는 초과하는 것은, 실시간 보유되는 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 차이가 비교적 크다는 것(즉, 리두 로그와 변경 데이터의 차이가 리메인 로그 임계치를 벗어남)을 의미할 수 있다. 즉, 리두 로그(온라인 및/또는 아카이브 리두 로그)로부터 추출된 변경 데이터가 적은 것이며, 이는 소스 데이터베이스 서버(100)의 현재 메모리 상에 리두 로그 저장소로부터 추출된 아카이브 리두 로그의 보유량이 많다는 것을 의미할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 하나의 모드로 처리되고 있음을 식별할 수 있다(620). 다시 말해, 프로세서(110)는 현재 메모리 상에 추출된 아카이브 리두 로그의 보유량이 많은 상황에서, 해당 변경 데이터가 CDC 파일로 저장(즉, 제 1 모드)되고 있는지 또는 메모리에 기록(즉, 제 2 모드)되고 있는지를 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(620) 변경 데이터가 현재 제 1 모드로 처리되고 있지 않은 경우(즉, 변경 데이터가 메모리에 기록되는 제 2 모드로 처리되고 있는 경우), 변경 데이터가 제 1 모드로 처리되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(622). 자세히 설명하면, 리메인 로그 정보가 리메인 로그 임계치를 초과하며, 변경 데이터가 제 2 모드로 처리되고 있는 상황은, 현재 메모리 상에 아카이브 리두 로그가 많이 보유되어 있음(즉, 온라인 리두 로그와 아카이브 리두 로그의 차이가 커짐)에도 불구하고, 변경 데이터(온라인 및/또는 아카이브 리두 로그로부터 추출된 변경 데이터)를 계속해서 메모리에 기록하는 제 2 모드로 처리하는 상황일 수 있다. 아카이브 리두 로그는 보관주기(예컨대 1일, 1주 및 1달 등)가 존재하며, 상기 보관주기 이후 아카이브 리두 로그는 다른 시스템으로 백업되거나 삭제될 수 있다. 이에 따라, 리두 로그를 통해 CDC를 수행하는 경우, 최대한 빠르게 아카이브 리두 로그를 파일로 저장하여 온라인 리두 로그를 따라가는 것이 중요하다. 즉, 변경 데이터는 아카이브 리두 로그로부터 추출되는 변경 데이터를 포함함으로, 프로세서(110)는 상기와 같은 상황에서 변경 데이터(즉, 아카이브 리두 로그로부터 추출된 변경 데이터)가 제 1 모드로 처리되도록 제 2 모드를 제 1 모드로 전환함으로써, 아카이브 리두 로그로부터 추출된 변경 데이터가 데이터베이스 시스템에서 실시간 처리되는 트랜잭션에 대한 정보를 포함하는 온라인 리두 로그를 따라가도록 할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치를 초과하며, 변경 데이터가 현재 제 1 모드로 처리되고 있음을 식별할 수 있다. 프로세서(110)는 변경 데이터가 현재 제 1 모드(즉, 아카이브 리두 로그가 CDC 파일로써 저장)로 처리되고 있는 경우, 자원 사용량을 재설정하는 동작을 수행할 수 있다(621). 자세히 설명하면, 리메인 로그 정보가 리메인 로그 임계치를 초과하며, 변경 데이터가 제 1 모드로 처리되고 있는 상황은, 현재 메모리 상에 아카이브 리두 로그가 많이 보유(즉, 리두 로그와 변경 데이터의 차이가 커짐)되고 있으며, 변경 데이터를 파일로써 저장하는 제 1 모드로 처리하는 상황일 수 있다. 다시 말해, 현재 메모리 상에 많이 보유된 아카이브 리두 로그로부터 추출한 변경 데이터를 현재 파일로 저장하여 처리하는 제 1 모드를 수행하고 있음에도 불구하고, 온라인 리두 로그 및 아카이브 리두 로그로부터 추출된 변경 데이터의 차이가 발생(즉, 메모리에 아카이브 리두 로그의 보유량이 많음)하는 상황일 수 있다. 이에 따라, 프로세서(110)는 현재 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위해 사용 가능한 자원이 부족한 것으로 판단하여 자원 사용률 임계치를 재설정할 수 있다. 자원 사용률 임계치를 재설정하는 것은, 예를 들어, 변경 데이터를 제 1 모드로 처리하기 위해 CPU 자원을 추가적으로 부여하는 것일 수 있다. 추가적인 실시예에서, 프로세서(110)는 클라이언트로 하여금 해당 동작을 수행하기 위해 추가적인 자원을 할당하도록 하는 알림 신호를 생성하여 클라이언트에게 전송할 수도 있다. 전술한 자원 사용량 임계치 재설정에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 변경 데이터가 처리되는 모드에 기초하여 자원 사용량을 재설정할 것을 결정하는 동작, 제 2 모드를 제 1 모드로 전환하는 동작 및 제 1 모드를 유지하는 동작 중 적어도 하나의 동작을 수행할 것을 결정할 수 있다. 이에 대한 구체적인 설명은 도 4를 참조하여 이하에서 후술하도록 한다.
도 4를 참조하면, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치 이하인 시점을 식별할 수 있다(510). 리메인 로그 정보가 리메인 로그 임계치 이하인 것은, 리두 로그와 변경 데이터의 차이가 적다는 것(즉, 리두 로그와 변경 데이터의 차이가 리메인 로그 임계치 이하임)을 의미할 수 있다. 즉, 리두 로그(이 경우, 아카이브 리두 로그)로부터 추출된 변경 데이터가 많은 것이며, 이는 소스 데이터베이스 서버(100)의 현재 메모리 상에 보유된 아카이브 리두 로그가 비교적 적은(즉, 아카이브 리두 로그와 온라인 리두 로그의 차이가 비교적 적은 상황)한 것을 의미할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 임계치 이하인 경우, 자원 사용률 정보가 자원 사용량 임계치 이하인지 여부를 식별할 수 있다(520). 리메인 로그 정보가 리메인 임계치 이하이며, 자원 사용률 정보가 자원 사용량 임계치 이하인 것은, 현재 메모리 상에 비교적 적은 아카이브 리두 로그를 보유하고 있으며, 아카이브 리두 로그를 제 1 모드로 처리하기 위한 자원이 적정한 상황을 의미할 수 있다. 즉, 리두 로그와 변경 데이터의 차이가 적으며, 변경 데이터를 CDC 파일로 저장하기 위한 자원이 충분한 상황일 수 있다.
이 경우, 프로세서(110)는 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(530). 다시 말해, 프로세서(110)는 현재 메모리 상에 아카이브 리두 로그의 보유량이 적으며, 아카이브 리두 로그를 제 1 모드로 처리하기 위한 자원이 적정하다고 판별된 시점에서, 변경 데이터가 CDC 파일로 저장(즉, 제 1 모드)되고 있는지 또는, 메모리에 기록(제 2 모드)되고 있는지를 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(530) 변경 데이터가 현재 제 1 모드로 처리되고 있지 않은 경우(즉, 변경 데이터가 메모리에 기록되는 제 2 모드로 처리되고 있는 경우), 변경 데이터가 제 1 모드로 처리되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(532). 자세히 설명하면, 리메인 로그 정보가 리메인 로그 임계치 이하이며, 자원 사용률 정보가 자원 사용률 임계치 이하이고, 그리고 변경 데이터가 제 2 모드로 처리되고 있는 것은, 현재 메모리 상에 아카이브 리두 로그의 보유량이 적으며, 리두 로그로부터 추출된 변경 데이터를 제 1 모드로 처리하기 위한 자원이 충분한 상황에서 변경 데이터를 메모리에 기록하는 제 2 모드로 처리하고 있는 것일 수 있다. 이 경우, 프로세서(110)는 변경 데이터가 제 1 모드로 처리되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(532). 즉, 변경 데이터는 아카이브 리두 로그로부터 추출되어 생성되는 변경 데이터를 포함함으로, 아카이브 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장(제 1 모드)함으로써, 데이터베이스 시스템에서 실시간 처리되는 트랜잭션에 대한 정보를 포함하는 온라인 리두 로그를 따라가도록 할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치 이하이며, 자원 사용률 정보가 자원 사용률 임계치 이하이고, 그리고 변경 데이터가 제 1 모드로 처리되고 있는 경우, 추가적으로 생성되는 변경 데이터를 제 1 모드로 처리하도록 제 1 모드를 유지할 수 있다(531).
즉, 프로세서(110)는 리메인 로그 정보와 자원 사용률 정보 모두 각각의 임계치 이하인 경우(즉, 리두 로그와 아카이브 리두 로그의 차이가 적고, 그리고 변경 데이터를 파일로 저장하기 위한 충분한 자원이 확보된 경우), 변경 데이터를 CDC 파일로 저장하는 제 1 모드로 처리할 수 있다.
또한, 프로세서(110)는 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 자원 사용률 정보가 자원 사용률 임계치를 초과하는 것을 식별할 수 있다. 리메인 로그 정보가 리메인 로그 임계치 이하이며, 자원 사용률 정보가 자원 사용량 임계치를 초과하는 것은, 현재 메모리 상에 비교적 적은 아카이브 리두 로그를 보유하고 있으며, 변경 데이터를 제 1 모드로 처리하기 위한 자원이 부족한 것을 의미할 수 있다. 즉, 리두 로그 저장소로부터 아카이브 리두 로그의 추출이 적어 시스템의 지연이 발생하지 않으나, 변경 데이터를 CDC 파일로 저장하기 위한 자원이 충분하지 못한 것일 수 있다.
이 경우, 프로세서(110)는 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(540). 다시 말해, 프로세서(110)는 현재 메모리 상에 아카이브 리두 로그의 보유량이 적으며, 변경 데이터를 제 1 모드로 처리하기 위한 자원이 부족하다고 판별된 시점에서, 변경 데이터가 CDC 파일로 저장되는 제 1 모드 및 메모리에 기록되는 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(540) 변경 데이터가 현재 제 1 모드로 처리되고 있는 경우, 변경 데이터가 제 2 모드로 처리되도록 상기 제 1 모드를 제 2 모드로 전환할 수 있다(541). 즉, 프로세서(110)는 상기와 같은 상황에서 리두 로그와 변경 데이터의 차이가 적으며(즉, 온라인 리두 로그와 아카이브 리두 로그로부터 추출된 변경 데이터의 차이가 적음), 변경 데이터를 CDC 파일로 저장하기 위한 자원이 충분하지 못한 것으로 판단하여, 시스템 자원의 사용량이 많은 제 1 모드에서 시스템 자원의 사용량이 적은 제 2 모드로 전환하여 변경 데이터를 제 2 모드로 처리할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(540) 변경 데이터가 현재 제 2 모드로 처리되고 있는 경우, 자원 사용률 임계치를 재설정하기 위하여 소스 데이터 베이스 서버의 가용 자원을 식별할 수 있다(542).
또한, 프로세서(110)는 자원 사용률 임계치를 재설정하기 위해 소스 데이터베이스 서버의 가용 자원이 충분한 것으로 식별한 경우(즉, 소스 데이터베이스에 할당할 수 있는 추가적인 자원이 존재하는 경우), 소스 데이터베이스 서버(100)에 추가적인 자원을 할당하여 자원 사용률의 임계치를 재설정하도록 할 수 있다. 즉, 이러한 경우는 자원 사용률 임계치가 너무 낮게 설정되어 현재 소스 데이터베이스 서버(100)의 가용 자원이 많음에도 불구하고 변경 데이터에 대한 처리를 수행하지 않는 상황일 수 있다. 따라서, 가용 자원이 많이 있는 경우에는 자원 사용률 임계치를 재설정하여, 변경 데이터가 CDC 파일로 저장되도록 할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 변경 데이터를 제 2 모드로 처리할 수 있다. 자원 사용률 임계치는, 변경 데이터를 CDC 파일로 저장하기 위해 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준이 되는 임계치일 수 있다. 자원 사용률 임계치는 클라이언트에 의해 사전 결정될 수 있다. 이에 대한 구체적인 설명은, 도 7을 참조하여 후술하도록 한다.
도 7을 참조하면, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치를 초과하는 시점을 식별할 수 있다(810). 자원 사용률 정보가 자원 사용률 임계치를 초과하는 것은, 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위한 자원이 부족하다는 것을 의미할 수 있다.
또한, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(820). 다시 말해, 프로세서(110)는 현재 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위한 자원이 부족한 상황에서, 해당 변경 데이터가 CDC 파일로 저장되는 제 1 모드로 처리되고 있는지 또는, 메모리에 기록되는 제 2 모드로 처리되고 있는지를 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과 변경 데이터가 현재 CDC 파일로 저장(즉, 제 1 모드)되고 있는 경우, 변경 데이터가 제 2 모드로 처리되도록 상기 제 1 모드를 제 2 모드로 전환할 수 있다(821). 자세히 설명하면, 자원 사용률 정보가 자원 사용률 임계치를 초과하며, 변경 데이터가 제 1 모드로 처리되고 있는 상황은, 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위한 자원이 부족한 상황에서, 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하는 상황일 수 있다. 해당 상황이 지속되는 경우, Disk I/O 및 CPU 사용률이 증가하여 소스 데이터베이스 서버(100)의 컴퓨팅 자원의 사용량이 증가할 수 있다. 즉, 프로세서(110)는 상기와 같은 상황에서 변경 데이터가 제 2 모드로 처리되도록 제 1 모드를 제 2 모드로 전환함으로써, 소스 데이터베이스 서버(100)에서 소비되는 컴퓨팅 자원을 최소화할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 변경 데이터가 처리되는 모드에 기초하여 자원 사용량을 재설정할 것을 결정하는 동작, 제 2 모드를 제 1 모드로 전환하는 동작 및 제 1 모드를 유지하는 동작 중 적어도 하나의 동작을 수행할 것을 결정할 수 있다. 이에 대한 구체적인 설명은 도 6을 참조하여 이하에서 후술하도록 한다.
도 6을 참조하면, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치 이하인 시점을 식별할 수 있다(710). 자원 사용률 정보가 자원 사용률 임계치 이하인 것은, 변경 데이터를 CDC 파일로 저장하는 제 1 모드를 수행하기 위한 자원이 충분하다는 것을 의미할 수 있다.
또한, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 리메인 로그 정보가 리메인 임계치 이하인지 여부를 식별할 수 있다(720). 프로세서(110)는 상기 식별 결과(720) 리메인 로그 정보가 리메인 임계치 이하인 경우, 프로세서(110)는 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(730).
또한, 프로세서(110)는 상기 식별 결과(730) 변경 데이터가 현재 제 1 모드로 처리되고 있지 않은 경우(즉, 변경 데이터가 메모리에 기록되는 제 2 모드로 처리되고 있는 경우), 변경 데이터가 제 1 모드로 처리되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(732).
또한, 프로세서(110)는 상기 식별 결과(730) 변경 데이터가 현재 제 2 모드로 처리되고 있는 경우, 추가적으로 생성되는 변경 데이터를 제 1 모드로 처리하도록 제 1 모드를 유지할 수 있다(731).
즉, 프로세서(110)는 리메인 로그 정보와 자원 사용률 정보 모두 각각의 임계치 이하인 경우(즉, 리두 로그와 상기 리두 로그의 적어도 일부로부터 추출된 변경 데이터의 차이가 적고, 그리고 변경 데이터를 CDC 파일로 저장하기 위한 충분한 자원이 확보된 경우)에서, 변경 데이터를 CDC 파일로 저장하는 제 1 모드로 처리되도록 제 1 모드를 유지하거나, 또는 제 2 모드를 제 1 모드로 전환할 수 있다.
또한, 프로세서(110)는 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 리메인 로그 정보가 리메인 로그 임계치를 초과하는 것을 식별할 수 있다. 자원 사용률 정보가 자원 사용률 임계치 이하이며, 리메인 로그 정보가 리메인 로그 임계치를 초과하는 것은, 변경 데이터를 제 1 모드로 처리하기 위한 자원은 충분하지만, 현재 메모리 상에 많은 아카이브 리두 로그를 보유하고 있다는 것을 의미할 수 있다. 즉, 변경 데이터를 CDC 파일로 저장하기 위한 자원이 충분하지만, 리두 로드와 상기 리두 로드로부터 추출된 변경 데이터의 차이가 큰 상황(즉, 아카이브 리두 로그가 온라인 리두 로그를 따라가지 못하는 상황)일 수 있다.
이 경우, 프로세서(110)는 변경 데이터가 현재 제 1 모드 및 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다(740). 다시 말해, 프로세서(110)는 변경 데이터를 제 1 모드로 처리하기 위한 자원이 충분하며, 현재 메모리 상에 아카이브 리두 로그의 보유량이 많다고 판별된 시점에서, 변경 데이터가 CDC 파일로 저장되는 제 1 모드 및 메모리에 기록되는 제 2 모드 중 적어도 하나의 모드로 처리되고 있음을 식별할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(740), 변경 데이터가 현재 제 2 모드로 처리되고 있는 경우, 변경 데이터가 CDC 파일로 저장되도록 상기 제 2 모드를 제 1 모드로 전환할 수 있다(742). 즉, 자원 사용량 정보가 자원 사용량 임계치 이하이며, 리메인 로그 정보가 리메인 로그 임계치를 초과하고, 그리고 변경 데이터가 제 1 모드로 처리되고 있는 경우, 프로세서(110)는 변경 데이터를 제 1 모드로 처리하기 위한 자원이 충분하며, 현재 메모리 상에 많은 아카이브 리두 로그가 보유된 것으로 판단하여, 변경 데이터를 CDC 파일로써 저장하는 제 1 모드를 수행할 수 있다. 이에 따라, 아카이브 리두 로그로부터 추출된 변경 데이터가 데이터베이스 시스템에서 실시간 처리되는 트랜잭션에 대한 정보를 포함하는 온라인 리두 로그를 따라갈 수 있도록 할 수 있다.
또한, 프로세서(110)는 상기 식별 결과(740) 변경 데이터가 현재 제 1 모드로 처리되고 있는 경우, 클라이언트에게 알림 신호를 전송할 것을 결정할 수 있다(741). 자세히 설명하면, 변경 데이터를 제 1 모드로 처리하기 위한 자원이 충분하며, 현재 메모리 상에 아카이브 리두 로그의 보유량이 많다고 판별된 경우, 프로세서(110)는 아카이브 리두 로그가 온라인 리두 로그를 따라갈 수 있도록, 변경 데이터를 제 1 모드로 처리하여 CDC 파일로 저장할 수 있다. 다만, 상기와 같은 상황에서 이미 변경 데이터를 제 1 모드로 처리하고 있음에도 현재 메모리 상에 아카이브 리두 로그의 보유량이 많은 것은, 시스템의 오류일 수 있음으로, 해당 시스템을 점검하도록 하는 알림 신호를 생성하여 클라이언트에게 전송할 것을 결정할 수 있다.
본 개시의 일 실시예에 따르면, 변경 데이터는 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함할 수 있다. 프로세서(110)는 제 1 변경 데이터에 대한 처리가 완료된 이후, 제 1 변경 데이터에 대한 처리 없이 제 2 변경 데이터에 대한 처리가 이루어지는 경우, 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 제 2 변경 데이터의 처리 모드를 제 1 모드 및 제 2 모드 중 하나의 모드로 처리할 것을 결정할 수 있다. 구체적으로, 메모리 상에 기록된 아카이브 리두 로그로부터 추출된 제 1 변경 데이터가 제 1 모드 및 제 2 모드 중 하나의 모드로 처리되는 상황에서, 소스 데이터베이스 서버(100) 상에서 아카이브 리두 로그의 더 이상의 추출이 발생하지 않아 상기 제 1 변경 데이터에 대한 처리가 완료된 경우, 프로세서(110)는 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 제 1 모드 및 제 2 모드 중 하나의 모드로 처리할 수 있다. 이 경우, 프로세서(110)가 온라인 리두 로그로부터 추출된 변경 데이터를 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 제 1 모드로 및 제 2 모드 중 하나의 모드로 처리하는 과정은, 전술한 변경 데이터를 처리하는 과정과 동일하므로 중복 설명을 생략하도록 한다.
즉, 프로세서(110)는 제 1 변경 데이터의 처리가 완료되어 이후 제 2 변경 데이터를 처리하는 경우, 상기 제 1 변경 데이터의 처리 모드와 동일한 모드로 상기 제 2 변경 데이터를 처리할 수 있다.
예를 들어, 프로세서(110)는 제 1 변경 데이터가 제 2 모드로 처리되는 상황에서 상기 제 1 변경 데이터가 모두 처리한 경우(즉, 추출된 아카이브 리두 로그로부터 추출된 변경 데이터 모두를 CDC 파일로 저장한 경우), 제 2 변경 데이터를 상기 제 1 변경 데이터와 동일한 제 1 모드로 이어서 처리할 수 있다.
다른 예를 들어, 프로세서(110)는 제 1 변경 데이터가 제 2 모드로 처리되는 상황에서 상기 제 1 변경 데이터를 모두 처리한 경우(즉, 추출된 아카이브 리두 로그로부터 추출된 변경 데이터 모두를 메모리에 기록한 경우), 제 2 변경 데이터를 상기 제 1 변경 데이터와 동일한 제 2 모드로 이어서 처리할 수 있다.
또한, 프로세서(110) 제 1 변경 데이터를 처리하기 위한 모드가 변경되는 경우, 제 2 변경 데이터를 처리하는 모드를 제 1 변경 데이터의 처리 모드와 대응되도록 변경할 것을 결정할 수 있다. 구체적으로, 제 1 변경 데이터의 처리 모드가 제 1 모드에서 제 2 모드로 변경된 경우, 프로세서(110)는 제 2 변경 데이터의 처리 모드를 상기 제 1 변경 데이터의 처리 모드 변경과 동일하도록 제 1 모드에서 제 2 모드로 변경할 수 있다.
예를 들어, 프로세서(110)는 제 1 변경 데이터가 제 1 모드로 처리되는 과정에서 상기 제 1 변경 데이터를 모두 처리하고, 그리고 소스 데이터베이스 서버의 자원 사용량이 급격히 증가하여 상기 제 1 모드를 제 2 모드로 전환한 경우, 상기 제 1 변경 데이터의 처리 모드 전환과 동일하도록 제 2 변경 데이터의 처리 모드를 제 1 모드에서 제 2 모드로 전환할 수 있다.
다른 예를 들어, 프로세서(110)는 제 1 변경 데이터가 제 2 모드로 처리되는 과정에서 상기 제 1 변경 데이터를 모두 처리하고, 그리고 메모리에 아카이브 리두 로그의 보유량이 많아져 상기 제 2 모드를 제 1 모드로 전환한 경우, 상기 제 1 변경 데이터의 처리 모드 전환과 동일하도록 제 2 변경 데이터의 처리 모드를 제 2 모드에서 제 1 모드로 전환할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 제 1 변경 데이터에 대한 처리와 제 2 변경 데이터에 대한 처리를 병렬로 수행할 수 있다. 구체적으로, 프로세서(110)는 아카이브 리두 로그로부터 추출된 제 1 변경 데이터와 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 제 1 모드 및 제 2 모드 중 하나의 모드로 각각 병렬 처리할 수 있다.
예를 들어, 아카이브 리두 로그로부터 추출된 제 1 변경 데이터를 제 1 모드로 처리함과 동시에 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 제 1 모드로 처리할 수 있으며, 아카이브 리두 로그로부터 추출된 제 1 변경 데이터를 제 2 모드로 처리함과 동시에 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 제 2 모드로 처리할 수도 있다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 리메인 로그 임계치 및 자원 사용률 임계치 중 적어도 하나를 소스 데이터베이스 서버(100)의 동작 로그에 기초하여 가변적으로 조정할 수 있다. 구체적으로, 프로세서(110)는 소스 데이터베이스 서버(100)의 동작 로그에 대한 기계학습을 통해 리메인 로그 임계치 및 자원 사용률 임계치 중 적어도 하나를 효율적으로 조정할 수 있다. 프로세서(110)는 소스 데이터베이스 서버(100)의 리메인 로그 정보와 자원 사용률 정보의 시간 별 기록인 동작 로그를 분석할 수 있다. 프로세서(110)는 동작 로그를 분석하여 리메인 로그 정보와 자원 사용률 정보의 시간대 별 패턴을 학습할 수 있으며, 프로세서(110)는 리메인 로그 정보와 자원 사용률 정보의 시간대 별 패턴에 기초하여 리메인 로그 임계치, 자원 사용률 임계치를 가변할 수 있다. 예를 들어, 프로세서(110)는 리두 로그의 발생이 없는 새벽 시간대에는 데이터의 변경에 대한 트랜잭션을 포함하는 리두 로그의 생성이 비교적 적기 때문에, 상기 리두 로그와 리메인 리두 로그의 차이를 비교적 작게 허용할 수 있도록, 리메인 로그 임계치를 작게 조정할 수 있다. 다른 예를 들어, 프로세서(110)는 리두 로그의 발생이 없는 새벽 시간대에 메모리 상에 비교적 많은 양의 아카이브 리두 로그가 기록될 수 있도록 자원 사용률 임계치를 높게 설정할 수 있다. 전술한 프로세서가 리메인 로그 임계치 및 자원 사용률 임계치를 조정하는 방법에 대한 구체적인 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 소스 데이터베이스 서버(100)에서 처리되는 트랜잭션에 대한 정보를 포함하는 로그 레코드를 획득할 수 있다. 프로세서(110)는 소스 데이터베이스 서버(100)로부터 리두 로그를 수신할 수 있거나 혹은 소스 데이터베이스 서버(100)에 리두 로그에 액세스할 수 있다. 클라이언트에 의해 개시된 트랜잭션에 따라 소스 데이터베이스 서버(100)에서 데이터, 테이블 및/또는 인덱스 등에 대한 변경이 발생되는 경우, 해당 트랜잭션에 대한 로그 레코드가 소스 데이터베이스 서버(100)에 기록될 수 있다.
추가적으로, 프로세서(110)는 로그 레코드들의 발생 시점에 따른 순서에 기초하여 정렬시킬 수 있다. 예를 들어, 프로세서(110)는 SCN(System Change Number)에 기초하여 로그 레코드들을 정렬시킬 수 있다. 이러한 경우, 프로세서(110)는 소스 데이터베이스 서버(100)에서의 로그 버퍼 및/또는 로그 파일 등에 기록된 트랜잭션에 대한 리두 로그를 확인 및 분석함으로써, 변경 데이터에 대한 로그 레코드를 획득할 수 있다. 이러한 경우, 프로세서(110)는 리두 로그를 분석함으로써 변경된 데이터만을 추출할 수 있다. 프로세서(110)는 하나 이상의 규칙에 기초하여 혹은 임의의 형태의 딥러닝 알고리즘에 기초하여, 추출된 로그 레코드를 분석할 수 있다.
프로세서(110)는 트랜잭션과 연관되는 하나 이상의 객체들에 대해서 발생된 복수의 SQL(Structured Query Language) 연산들을 식별할 수 있다. 본 명세서에서 SQL 연산은 SQL로 작성된 임의의 형태의 연산을 의미할 수 있다. SQL 연산은 예를 들어, DML(Data Manipulation Language) 연산, DDL(Data Definition Language) 연산 및/또는 DCL(Data Control Language) 연산을 포함할 수 있다. 추가적으로, 프로세서(110)는 식별된 SQL 연산들을 발생한 순서대로 정렬할 수 있다.
프로세서(110)는 로그 레코드들의 발생 시점에 따른 순서에 기초하여 정렬시킬 수 있다. 예를 들어, 프로세서(110)는 SCN(System Change Number)에 기초하여 로그 레코드들을 정렬시킬 수 있다. 즉, 프로세서(110)는 소스 데이터베이스 서버(100)의 로그 레코드들을 시계열적으로 정렬할 수 있다. 따라서, SCN이 앞선 로그 레코드는 그 보다 후속하는 SCN을 가진 로그 레코드 보다 먼저 기록될 수 있다. 프로세서(110)는 식별된 복수의 SQL 연산들이 발생한 순서에 기초하여, 개별 SQL 연산과 대응되는 객체에 대한 이전 SQL 연산 이력이 CDC 파일에 존재하는지 여부를 판단할 수 있다. 본 명세서에서 CDC 파일은 소스 데이터베이스 서버(100)로부터 타겟 데이터베이스 서버(200)로 전달되는, 트랜잭션(연산) 순서대로 정리된 파일을 의미할 수 있다. 프로세서(110)는 CDC 파일에서의 이전 SQL 연산 이력의 존재 여부에 기초하여, 상기 CDC 파일에 기록할 정보를 결정하고 그리고 결정된 정보를 CDC 파일에 기록할 수 있다.
예를 들어, 프로세서(110)는 SQL 연산에 대응되는 객체(예컨대, 테이블)에 대한 메타 정보가 CDC 파일에 존재하는지 여부에 기초하여, 이전 SQL 연산 이력이 CDC 파일에 존재하는지 여부를 판단할 수 있다. 여기에서의 메타 정보는, 테이블 유저 정보, 테이블 이름 정보, 컬럼 이름 정보, 컬럼 순서 정보 및 컬럼 타입 정보 중 적어도 하나를 포함할 수 있다. 또한, 프로세서(110)는 SQL 연산에 대응되는 객체에 대해서 이전에 DML 연산 혹은 DDL 연산이 수행되었는지 여부에 기초하여, 상기 이전 SQL 연산 이력이 상기 CDC 파일에 존재하는지 여부를 판단할 수 있다. 전술한 프로세서(110)의 이전 SQL 연산 이력에 대한 판단은, 트랜잭션과 연관되는 객체들 전체에 대해서 상기 SQL 연산이 발생한 순서대로(예컨대, SCN의 시간적 선후 관계에 따라서) 수행될 수 있다.
프로세서(110)는 CDC 파일에서의 이전 SQL 연산 이력이 존재하지 않는 경우, 해당 객체에 대한 DD(Data Dictionary) 정보를 사용하여 해당 객체에 대한 메타 정보를 생성하고, 그리고 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하는 경우, 상기 해당 객체에 대한 메타 정보를 생성하지 않을 것을 결정할 수 있다. 또한, 프로세서(110)는 해당 객체에 대한 메타 정보가 생성된 경우, 상기 해당 객체와 관련된 SQL 연산 및 상기 메타 정보를 상기 CDC 파일에 기록할 것을 결정하고, 그리고 상기 해당 객체에 대한 메타 정보가 생성되지 않은 경우, 상기 해당 객체와 관련된 SQL 연산을 상기 CDC 파일에 기록할 것을 결정할 수 있다.
프로세서(110)는 CDC 파일을 판독하여 CDC 파일을 타겟(target) 데이터베이스 서버로 전송하는 것을 허용하기 위하여 판독된 CDC 파일 혹은 CDC 파일에 기록된 정보를 네트워크부(130)로 전달할 수 있다. 프로세서(110)는 CDC 파일 또는 CDC 파일에 기록된 정보가 타겟 데이터베이스 서버(200)에 적합한 포맷으로 변환할 수도 있다.
도 2에서 도시되는 바와 같이, 타겟 데이터베이스 서버(200)는 프로세서(210), 메모리(220) 및 네트워크부(230)를 포함할 수 있다. 전술한 컴포넌트들은 예시적인 것으로서 본 개시내용의 권리범위가 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 개시내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.
본 개시의 일 실시예에 따르면, 네트워크부(230)는 소스 데이터베이스 서버(100) 혹은 에이전트 서버(300)로부터 CDC 파일 혹은 CDC 파일에 저장된 정보를 수신할 수 있다. 네트워크부(230)는 전술한 소스 데이터베이스 서버(100)의 네트워크부(230)와 동일한 형태의 통신 기능을 제공할 수 있다.
본 개시의 일 실시예에 따르면, 메모리(220)는 프로세서(210)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(230)가 수신한 임의의 형태의 정보를 타겟 데이터베이스 서버(200)에 저장할 수 있다. 메모리(220)는 동적 램(DRAM, dynamic random access memory), 정적 램(SRAM, static random access memory) 등의 랜덤 액세스 메모리(RAM)와 같은, 프로세서(210)가 직접 접근하는 주된 저장 장치로서, 전원이 꺼지면 저장된 정보가 순간적으로 지워지는 휘발성(volatile) 저장 장치 및 영구저장매체를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(210)는 소스 데이터베이스 서버(100)로부터 수신된 CDC 파일 혹은 CDC 파일에 대한 정보를 타겟 데이터베이스 서버(200)의 CDC 파일에 기록할 수 있다. 예를 들어, 프로세서(210)는 소스 데이터베이스 서버(100)로부터 수신된 CDC 파일과 동일한 파일을 그대로 자신의 CDC 파일로 사용할 것을 결정하거나 또는 CDC 파일에 대한 정보와 동일한 정보를 CDC 파일에 기록할 수 있다.
프로세서(210)는 타겟 데이터베이스 서버(200)에 존재하는 CDC 파일을 판독할 수 있다. 프로세서(210)는 소스 데이터베이스 서버(100)에 의해 기록된 순서대로 CDC 파일을 판독할 수 있다.
추가적으로, 프로세서(210)는 판독된 CDC 파일에 기초하여, 타겟 데이터베이스 서버(200)에서 변경 및 반영되어야 할 데이터를 결정할 수도 있다. 이러한 경우, 프로세서(210)는 타겟 데이터베이스 서버(200)에 반영되어 있는 데이터와 판독한 CDC 파일에 포함된 데이터를 비교하는 동작을 수행할 수 있다. 이에 따라, 프로세서(210)는 추후에 타겟 데이터베이스 서버(200)로 최소한의 데이터만을 변경 및 반영할 수 있다.
추가적으로, 프로세서(210) CDC 파일에 기록된 메타 정보를 판독함으로써, 타겟 데이터베이스 서버(200)에 대응되는 메타 정보가 존재하는지 여부를 판단할 수도 있다.
프로세서(210)는 객체에 대한 메타 정보가 CDC 파일에 기록되었는지 여부를 확인할 수 있다. 프로세서(210)는 CDC 파일에 기록된 메타 정보를 판독함으로써, 타겟 데이터베이스 서버(200)에 대응되는 메타 정보가 존재하는지 여부를 판단할 수 있다. 프로세서(210)는 메타 정보가 존재하지 않는 경우 메모리 상에 메타 정보를 로딩하고 그리고 메타 정보가 존재하는 경우 존재하는 메타 정보를 그대로 사용할 수 있다. 즉, 프로세서(210)는 대응되는 메타 정보가 타겟 데이터베이스 서버(200)의 메모리에 로딩되어 있는지 여부에 기초하여 메타 정보의 로딩 여부를 결정하며, 그리고 대응되는 메타 정보가 존재하는 경우, CDC 파일에 기록된 메타 정보를 메모리에 로딩하지 않고 타겟 데이터베이스 서버(200)의 로딩되어 있는 상기 대응되는 메타 정보를 사용할 것을 결정할 수 있다.
프로세서(210)는 CDC 파일에 기록된 SQL 연산을 판독하고, 그리고 상기 판독된 SQL 연산과 대응되는 메모리 상에서의 메타 정보를 사용함으로써 상기 SQL 연산과 대응되는 SQL 문(statement)을 생성할 수 있다. 또한, 프로세서(210)는 상기 생성된 SQL 문을 타겟 데이터베이스 서버(200)에 적용시킴으로써, 타겟 데이터베이스 서버(200)에 소스 데이터베이스 서버(100)에서의 변경 데이터가 최종적으로 반영될 수 있도록 허용할 수 있다.
예를 들어, 프로세서(210)는 전달받은 CDC 파일에서 최초로 메타 데이터를 인식하고 해당 메타 데이터를 메모리에 로딩시킨 후, 그 다음 SQL 연산을 CDC 파일에서 인식한 뒤 로딩된 메타 데이터를 이용하여 해당 SQL 연산에 대한 SQL 문을 생성할 수 있다. 생성된 SQL 문을 타겟 데이터베이스 서버(200)에 반영한 이후, 프로세서(210)는 해당 CDC 파일에서 트랜잭션에 대한 commit을 인식하고 commit을 타겟 데이터베이스 서버(200)에 반영할 수 있다.
도 3은 본 개시의 일 실시예에 따른 소스 데이터베이스 서버(혹은 에이전트 서버)에서 수행되는 CDC 파일 생성 방법을 예시적으로 도시한 순서도이다.
도 3에 도시되는 단계들은 예시적인 것이며, 추가적인 단계가 존재할 수 있거나, 혹은 해당 단계들 중 일부가 생략될 수도 있다. 도 3에서 도시되는 단계들은 소스 데이터베이스 서버(100) 또는 에이전트 서버(300)에서 수행될 수 있다. 설명의 편의를 위해, 이하에서는 소스 데이터베이스 서버(100)에서 수행되는 것을 가정하여 설명하기로 한다.
본 개시의 일 실시예에 따르면, 프로세서(110)는 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출할 수 있다(410). 구체적으로, 프로세서(110)는 소스 데이터베이스 시스템에서 처리되는 트랜잭션에 대한 정보를 포함하는 리두 로그(온라인 및 아카이브 리두 로그)를 판독 및 해석함으로써, 소스 데이터베이스 시스템에서 데이터의 변경을 식별함으로써, 변경 데이터를 추출할 수 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100)는 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석할 수 있다(420).
리메인 로그 정보는 변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나에 관한 정보일 수 있다. 구체적으로, 리메인 로그 정보는, 데이터베이스 내에서의 데이터의 구조 및 조직에 대한 변경에 따라 발생한 트랜잭션에 대한 정보를 포함하는 리두 로그(온라인 및/또는 아카이브 리두 로그)와 프로세서(110)에 의해 상기 리두 로그 중 적어도 일부로부터 추출된 변경 데이터의 차이에 관한 정보일 수 있다.
자원 사용률 정보는, 소스 데이터베이스가 현재 사용하는 컴퓨팅 자원에 대한 정보일 수 있으며, 예를 들어, Disk I/O(디스크 입출력 사용률), CPU 사용률 및 메모리 사용률에 대한 정보를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 소스 데이터베이스 서버(100)는 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 아카이브 리두 로그를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 적어도 하나의 모드로 처리할 것을 결정할 수 있다(430).
도 8은 본 개시의 일 실시예 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 8은 본 개시내용의 일 실시예에 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다. 도 8에서는 소스 데이터베이스 서버(100)와 타겟 데이터베이스 서버(200) 간에 수행되는 동작들이 예시적으로 표현된다.
도 8에서 도시되는 바와 같이, 소스 데이터베이스 서버(100)는 소스 DBMS(910) 및 소스 프로세서(110)를 포함할 수 있다. 이러한 소스 DBMS(910)는 소스 데이터베이스 서버(100)의 메모리 상에서 소스 프로세서(110)에 의해 동작될 수 있다.
여기서, 메모리는 동적 램(DRAM, dynamic random access memory), 정적 램(SRAM, static random access memory) 등의 랜덤 액세스 메모리(RAM)와 같은, 프로세서가 직접 접근하는 주된 저장 장치로서 전원이 꺼지면 저장된 정보가 순간적으로 지워지는 휘발성(volatile) 저장 장치를 의미할 수 있지만, 이들로 한정되는 것은 아니다. 이러한 메모리는 전술한 바와 같이 프로세서에 의하여 동작 될 수 있다. 메모리는 변경 데이터 등과 같은 임의의 형태의 데이터를 저장할 수 있다. 또는 메모리는 데이터 값을 포함하는 데이터 테이블(data table) 등을 저장할 수 있다. 본 발명의 일 실시예에서 변경 데이터 및/또는 상기 데이터 테이블의 데이터 값은 메모리로부터 영구 저장 매체에 기록될 수 있다. 추가적인 양상에서, 메모리는 버퍼 캐시를 포함하며, 상기 버퍼 캐시의 데이터 블록에는 데이터가 저장될 수 있다. 상기 데이터는 백그라운드 프로세스에 의하여 영구 저장 매체에 기록될 수 있다.
본 명세서에서의 영구 저장 매체는, 예를 들어 자기(magnetic) 디스크, 광학(optical) 디스크 및 광자기(magneto-optical) 저장 디바이스뿐만 아니라 플래시 메모리 및/또는 배터리-백업 메모리에 기초한 저장 디바이스와 같은, 임의의 데이터를 지속적으로 할 수 있는 비-휘발성(non-volatile) 저장 매체를 의미한다. 이러한 영구 저장 매체는 다양한 통신 수단을 통하여 데이터베이스 서버(110 및 120)의 프로세서 및 메모리와 통신할 수 있다. 추가적인 실시예에서, 이러한 영구 저장 매체는 데이터베이스 서버(110 및 120) 외부에 위치하여 데이터베이스 서버(110 및 120)와 통신가능할 수도 있다.
DBMS(910, 1010)는 데이터베이스 서버(110 및 120)에서 필요한 데이터를 검색, 삽입, 수정 및/또는 삭제 등과 같은 동작들을 수행하는 것을 허용하기 위한 프로그램으로서, 전술한 바와 같이, 데이터베이스 서버(110 및 120)의 메모리에서 프로세서(110, 210)에 의하여 구현될 수 있다. 또한, 소스 DBMS(910)는 소스 데이터베이스 서버(100)에서 발생되는 트랜잭션에 대한 리두 로그를 생성, 관리 및 저장하도록 결정할 수 있다. 소스 프로세서(110)는 CDC 동작을 구현하기 위하여 저장된 리두 로그를 추출하고 그리고 분석하며(930), CDC 파일(970)에 해당 내용을 기록하고, 그리고 CDC 파일(970)을 판독하여(950) 네트워크(140)를 통하여 타겟 데이터베이스 서버(200)로 송신할 수 있다(960). 소스 프로세서(110)의 추출(930), 기록(940), 판독(950) 및 송신(960) 동작들 각각은, 전술한 바와 같이 도 2에서의 프로세서가 수행하는 동작들에 대응될 수 있다. 추가적으로, 추출(930), 기록(940), 판독(950) 및 송신(960) 동작들은 각각 개별적인 스레드에 의해 수행될 수 있다. 또한, 추출(930), 기록(940), 판독(950) 및 송신(960) 동작들 중 복수개가 하나의 스레드에 의해 수행될 수도 있다. 또한, 추출(930), 기록(940), 판독(950) 및 송신(960) 동작들은 개별적인 프로세스에 의해 각각 수행되거나 혹은 하나의 프로세스가 상기 동작들 중 복수의 동작들을 수행할 수도 있다.
본 개시내용의 일 실시예에서, 트랜잭션에 대한 Commit 연산이 수행되는 경우, 소스 프로세서(110)에서의 CDC 동작이 개시될 수 있다. 예를 들어, 소스 프로세서(110)는 트랜잭션의 Commit 연산이 수행되는 경우, 추출 동작(930)을 수행할 수 있다. 다른 예시로, 소스 프로세서(110)는 사전결정된 횟수의 Commit 연산이 수행되는 경우(예컨대, 2개의 트랜잭션에 대한 Commit 연산들이 수행된 경우), 해당 Commit 연산들과 관련된 복수의 트랜잭션들에 대한 CDC 동작을 개시할 수 있다. 다른 실시예에서, 사전결정된 시간 주기 혹은 사전결정된 SCN 주기에 따라서, 소스 프로세서(110)의 CDC 동작이 개시될 수 있다.
도 8에서 도시되는 바와 같이, 소스 DBMS(910)에서 T1 객체 및 T2 객체에 대한 트랜잭션들(980)이 인입될 수 있다. 상기 트랜잭션들(980)은 제 1 트랜잭션 및 제 2 트랜잭션을 포함할 수 있다. 제 1 트랜잭션은 T1 객체에 대한 Delete 연산 및 Commit 연산을 포함할 수 있다. 제 2 트랜잭션은 T1 객체에 대한 Insert 연산, T2 객체에 대한 Update 연산 및 Commit 연산을 포함할 수 있다. 소스 DBMS(910)에서 수행된 SQL 연산들(980)은 Commit 연산이 수행된 시점에 기초하여 시계열적으로 그리고 트랜잭션 단위로 정렬될 수 있다. 도 8에서는 제 1 트랜잭션에 대한 Commit 연산이 제 2 트랜잭션에 대한 Commit 연산 보다 먼저 이루어졌기 때문에, 제 1 트랜잭션에 대한 SQL 연산들이 제 2 트랜잭션에 대한 SQL 연산들 보다 앞 부분에 배치될 수 있다.
소스 프로세서(110)(예컨대, 추출(930) 스레드)는 리두 로그에서 T1 객체에 대한 Delete 연산 및 Commit 연산을 추출하여 시간 순서대로 정렬하고 이를 예컨대, 판독(940) 스레드로 전달할 수 있다. 판독(940) 스레드는 가장 앞서 배치되어 있는 T1 객체에 대한 Delete 연산(즉, Delete T1)을 확인하고 그리고 CDC 파일(970)에 T1 객체에 대한 이전 SQL 연산 이력이 존재하는지 여부를 판단할 수 있다. 일례로, 판독(940) 스레드는 T1 객체에 대한 이전 DML 혹은 DDL이 이루어졌는지 여부를 판단할 수 있다. 도 8에서 도시되는 바와 같이, T1 객체에 대해서는 이전 SQL 연산이 수행되지 않았기 때문에, 판독(940) 스레드는 메모리 상에 보유하고 있는 DD(Data Dictionary) 정보를 이용하여 T1에 대한 메타 정보(즉, T1 DD)를 생성할 수 있다. 그리고나서, 판독(940) 스레드는 T1에 대한 메타 정보인 T1 DD와 T1에 대한 Delete 연산인 Delete T1을 CDC 파일(970)에 기록할 수 있다. 이러한 경우, 메타 정보인 T1 DD는 SQL 연산 정보인 Delete T1 보다 CDC 파일에서의 앞 부분에 기록될 수 있다. 추가적으로, 판독(940) 스레드는 T1 객체에 대한 commit 연산을 CDC 파일(970)에 기록할 수 있다. 이러한 경우, Commit 연산은 CDC 파일(970)에서의 Delete T1이 기록된 부분 보다 뒷 부분에 기록될 수 있다.
본 개시내용의 일 실시예에서, 추출(930) 스레드는 리두로그에서 제 2 트랜잭션에 포함된, T1 객체에 대한 Insert 연산, T2 객체에 대한 Update 연산 및 제 2 트랜잭션의 Commit 연산을 추출할 수 있다. 추출(930) 스레드는 SQL 연산들의 발생 순서에 따라, Insert T1, Update T2 및 Commit 연산의 순서대로 배치할 수 있다. 제 2 트랜잭션이 제 1 트랜잭션 보다 이후에 Commit이 이루어졌기 때문에, 소스 DBMS(910)에서 수행된 SQL 연산들(980) 중 제 1 트랜잭션에 관한 SQL 연산들이 제 2 트랜잭션에 관한 SQL 연산들 보다 앞에 배치되도록 정렬될 수 있다. 판독(940) 스레드는 Delete T1 및 제 1 트랜잭션에 대한 Commit 연산을 판독 및 처리한 이후에, 트랜잭션 2와 관련된 연산들을 판독할 것이다. 판독(940) 스레드는 T1 객체에 대한 Insert 연산(즉, Insert T1)을 판독하고 CDC 파일(970)에 T1 객체에 대한 DML 혹은 DDL이 발생되었는지 여부(즉, 이전 SQL 연산 이력이 존재하는지 여부)를 판단할 수 있다. 상기 제 1 트랜잭션과 관련된 연산들(즉, Delete T1)을 처리하는데 있어서 CDC 파일(970)에 T1 객체에 대한 DD 정보가 기록되었기 때문에, 판독(940) 스레드는 CDC 파일(970)에 T1 객체에 대한 이전 SQL 연산 이력이 존재한다고 판단할 것이다. 이러한 상황에서, 판독(940) 스레드는 T1 객체에 대한 메타 정보를 생성하지 않고 T1 객체에 대한 Insert 연산(즉, Insert T1)을 CDC 파일(970)에서의 다음 기록 위치에 기록할 수 있다. 그리고나서, 판독(940) 스레드는 T2 객체에 대한 Update 연산을 인식할 수 있다. 판독(940) 스레드는 T2 객체에 대해서 이전 SQL 연산이 존재하는지 여부를 CDC 파일(970)을 체크하여 판단할 것이고, 이전 SQL 연산이 존재하지 않기 때문에, 메모리 상에 저장되어 있는 T2 객체에 대한 DD 정보를 이용하여 T2 객체에 대한 메타 정보(즉, T2 DD)를 생성할 수 있다. 그리고나서, 판독(940) 스레드는 T2 객체에 대한 메타 정보를 CDC 파일(970)의 다음 위치에 기록할 수 있다. 그리고나서, 판독(940)스레드는 T2 객체에 대한 메타 정보를 기록한 위치의 후속하는 위치에 T2 객체에 대한 Update 연산(즉, Update T2)을 기록할 수 있다. 추가적으로, 판독(940) 스레드는 T2 객체에 대한 Commit 연산을 CDC 파일(970)에 기록할 수 있다. 이러한 경우, Commit 연산은 CDC 파일(970)에서의 Update T2가 기록된 부분 보다 뒷 부분에 기록될 수 있다. 전술한 방식으로 트랜잭션들에 대한 Commit 시점 및 연산들의 발생 시점에 기초하여 CDC 파일(970)에 정보(990)가 기록될 수 있다. 이러한 방식으로 단일의 CDC 파일(970)에 메타 정보 및 SQL 연산 정보 모두가 기록될 수 있기 때문에, 효율적인 방식으로 CDC가 구현될 수 있다. 또한, Commmit이 발생한 메타 정보만이 소스 데이터베이스 서버(100)에서의 메모리에서 로딩될 수 있으며 그리고 CDC 파일(970)에는 본 개시내용의 실시예들에 따른 기록 규칙에 따른 순서대로 정보(990)가 기록되기 때문에, 타겟 데이터베이스 서버(200)는 소스 데이터베이스 서버(100)가 작성한 단일의 CDC 파일(970)에 기록된 순서대로 판독하면서 자신의 DB에 변경 데이터들을 용이하게 반영할 수 있다. 즉, 타겟 데이터베이스 서버(200)가 자신의 DB에 변경 데이터를 반영할 때 사용하는 CDC 파일에는, 소스 데이터베이스 서버(100)의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보가 기록될 수 있다. 이러한 방식으로, 타겟 데이터베이스 서버(200)는 자신의 메모리에 모든 객체들에 대한 메타 정보를 로딩할 필요가 없으며, 소스 데이터베이스 서버(100)에서의 변경 데이터와 관련되는 객체들에 대한 메타 정보만을 메모리에 로딩하기 때문에, 데이터베이스 서버 내에서의 메모리 사용이 상당히 줄어들 수 있게 된다.
본 개시내용의 추가적인 양상에서, 클라이언트와 데이터베이스 서버(100 및 200) 또는 데이터베이스 서버들(100 및 200)은 네트워크(미도시)를 통하여 서로 통신할 수 있다. 본 발명의 일 실시예에 따른 네트워크는 공중전화 교환망(PSTN:Public Switiched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.
또한, 본 명세서에서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다. 또한, 본 명세서에서의 네트워크는 데이터베이스 링크(dblink)를 포함할 수 있으며, 이에 따라 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)(또는 에이전트 서버(300))는 이러한 데이터베이스 링크를 통해 서로 통신하여 다른 데이터베이스 서버로부터의 데이터를 가져올 수 있다. 일례로, 상기 데이터베이스 링크는 소스 데이터베이스 서버(100)로부터 타겟 데이터베이스 서버(200)로의 데이터베이스 링크를 포함할 수 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
도 8에서 도시되는 바와 같이, 타겟 데이터베이스 서버(200)는 타겟 DBMS(1010) 및 타겟 프로세서(210)를 포함할 수 있다. 이러한 타겟 DBMS(1010)는 타겟 데이터베이스 서버(200)의 메모리 상에서 타겟 프로세서(210)에 의해 동작될 수 있다. 타겟 데이터베이스 서버(200)의 하드웨어적 구성들 및 타겟 DBMS(1010)에 대한 설명은 전술한 소스 데이터베이스 서버(100)의 하드웨어적 구성들 및 소스 DBMS(910) 구성과 동일하기 때문에, 해당 설명은 여기에서 생략될 것이다.
타겟 프로세서(210)는 CDC 동작을 구현하기 위하여 CDC 파일(970)을 수신(1030)하고, 자신의 CDC 파일(1070)에 해당 내용을 기록(1040)하고(또는 수신된 CDC 파일(970)을 그대로 자신의 CDC 파일(1070)로 사용하고), 그리고 CDC 파일(1070)을 판독(1050)하여, 타겟 DBMS(1010)로 변경 데이터를 반영(1060)시킬 수 있다. 타겟 프로세서(210)의 수신(1030), 기록(1040), 판독(1050) 및 변경/반영(1060) 동작들 각각은, 전술한 바와 같이 도 2에서의 프로세서(210)에서 수행하는 동작들에 대응될 수 있다. 추가적으로, 수신(1030), 기록(1040), 판독(1050) 및 변경/반영(1060) 동작들은 각각 개별적인 스레드에 의해 수행될 수 있다. 또한, 수신(1030), 기록(1040), 판독(1050) 및 변경/반영(1060) 동작들 중 복수개가 하나의 스레드에 의해 수행될 수도 있다. 또한, 수신(1030), 기록(1040), 판독(1050) 및 변경/반영(1060) 동작들은 개별적인 프로세스에 의해 각각 수행되거나 혹은 하나의 프로세스가 상기 동작들 중 복수의 동작들을 수행할 수도 있다. 이하에서는 설명의 편의를 위하여 하나의 프로세스가 하나의 모듈 동작을 수행하는 것을 가정하여 본 개시내용의 실시예들에 따른 CDC 특징들을 기술하기로 한다.
타겟 데이터베이스 서버(200)의 타겟 프로세서(210)(예컨대, 수신(1030) 스레드)는 소스 데이터베이스 서버(100)로부터 CDC 파일(670)을 수신할 수 있다. 타겟 데이터베이스 서버(200)의 타겟 프로세서(210)는 수신된 CDC 파일(970)을 자신의 CDC 파일(1070)에 동일하게 기록(1040)하거나 혹은 수신된 CDC 파일(970)을 자신의 CDC 파일(1070)으로 사용할 수도 있다. 타겟 프로세서(210)의 판독(1050) 스레드는 CDC 파일(1070)에 기록된 정보(1080)를 판독하여 변경/반영(1060) 스레드로 전달할 수 있다.
변경/반영(1060) 스레드는 CDC 파일(1070)에서 가장 먼저 기록된 T1 DD 라는 메타 정보를 판독하여, 자신의 메모리에 T1 객체에 대한 DD 메타 정보가 존재하는지 여부를 판단할 수 있다. 타겟 데이터베이스 서버(200)의 메모리에 T1 객체에 대한 메타 정보가 존재하지 않는 경우, 타겟 데이터베이스 서버(200)는 T1 DD 메타 정보를 자신의 메모리로 로딩할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 CDC 파일(1070)에서 T1 DD라는 정보 이후에 기록된 Delete T1 확인할 수 있다. 변경/반영(1060) 스레드는 메모리상에 로딩된 T1 DD 메타정보를 이용하여 T1 객체에 대한 Delete 연산을 수행하기 위한 SQL문을 자동으로 생성하여 타겟 DBMS(1010)에 반영할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 Commit을 확인하고, Commit을 타겟 DBMS(1010)에 반영할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 CDC 파일(1070)에서의 다음번 기록된 정보인 Insert T1을 확인할 수 있다. T1 객체에 대한 연산이기 때문에, 변경/반영(1060) 스레드는 메모리상에서 로딩된 T1 객체에 대한 메타정보를 이용하여 T1 객체에 Insert 연산을 수행하기 위한 SQL문을 생성할 수 있다.
변경/반영(1060) 스레드는 CDC 파일(1070)에서의 그 다음 위치에 기록되어 있는 T2 DD 메타정보를 확인할 수 있다. 변경/반영(1060) 스레드는 T2 객체에 대한 DD 메타정보가 타겟 데이터베이스 서버(200)의 메모리에 존재하는지 여부를 검사할 수 있다. 변경/반영(1060) 스레드는 자신의 메모리에 로딩되어 있는 T2 객체에 대한 메타 정보가 없다고 결정된 경우 T2 객체에 대한 메타 정보(즉, T2 DD 메타 정보)를 타겟 데이터베이스 서버(200)의 메모리에 로딩할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 CDC 파일(1070)에서의 그 다음 위치에 기록되어 있는 Update T2를 인식할 수 있다. 변경/반영(1060) 스레드는 T2 객체에 대한 메타 정보를 메모리에서 로딩할 수 있으며 그리고 상기 메타 정보를 이용함으로써 T2 객체에 대한 Update 연산과 대응되는 SQL 문을 자동으로 생성할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 T2 객체에 대한 Update 연산을 수행하기 위한 SQL 문을 자신의 DBMS(1010)에 반영할 수 있다. 그리고나서, 변경/반영(1060) 스레드는 Commit을 확인하고 이를 DBMS(1010)에 반영할 수 있다.
본 개시내용의 일 실시예에 따라, CDC 파일에 대한 기록 규칙은 특정 객체에 대한 메타 정보를 1순위로 기록하고 특정 테이블에 대한 DML 혹은 DDL을 이에 후속하여 기록하는 것을 포함할 수 있다. 본 개시내용의 일 실시예에 따라, CDC 파일에 대한 기록 규칙은 Commit이 일어난 순서에 따라 기록될 트랜잭션들의 순서를 결정하고 그리고 메타 정보를 SQL 연산 정보에 앞에 기록함에 따라, 단일의 CDC 파일에 대한 전달을 통하여, CDC가 용이하게 이루어질 수 있다. 본 개시내용의 일 실시예에 따라, 모든 메타 정보를 메모리에 로딩시켜 놓고 CDC를 구현하는 구성(즉, 메타 정보와 SQL 연산 정보를 개별 파일에 의해 관리하는 구성)에 비해 메모리 사용량이 상당히 줄어들 수 있을 뿐만 아니라 DDL 발생 등의 상황에서 데이터베이스 서버의 동작이 멈추는 상황이 방지될 수 있다. 더불어, 본 개시내용의 일 실시예에 따른 CDC 특징들은 복수개의 테이블에 대한 DML 혹은 DDL을 반영하는데 있어서 기존 구조에 비해 메모리 사용량을 획기적으로 줄일 수 있다.
메타 정보와 SQL 연산 정보를 별도로 관리하는 CDC 구현 방식들은, 전체 객체들에 대한 메타 정보를 기록하는 별도의 파일을 양 데이터베이스 서버들 간에 송수신하면서 공유한다. 따라서, 이러한 구현 방식들은, 타겟 데이터베이스 서버(200)에서 DML이 발생하지 않은 객체에 대한 DD 정보도 메모리에 보유할 것을 요구한다. 즉, 타겟 데이터베이스 서버(200)는 모든 객체(예컨대, 테이블) 혹은 메모리 용량에 따라 최대한 많은 객체에 대한 DD 정보를 메모리에 보유하고 있어야 한다. 또한, 이러한 경우, DDL 발생시, 메타 정보를 기록한 파일을 수동으로 생성 및 전송해야하거나 또는 메타 정보를 기록한 파일을 자동으로 전송한다고 하더라도 소스 데이터베이스 서버(100)에서는 메타 파일의 전송이 완료될 때까지 유휴(idle) 상태로 대기하여야 한다. 하지만, 본 개시내용의 일 실시예에 따른 CDC 구현 방식들은 메타 정보가 저장되는 메타 파일을 별도로 생성하여 전송할 필요가 없을 뿐만 아니라 소스 데이터베이스 서버(100)의 유휴 상태를 발생시키지 않는다. 따라서, 본 개시내용의 일 실시예에 따른 CDC 구현 방식들은 실시간 DDL 동기화를 허용할 수 있다. 나아가, 본 개시내용의 일 실시예에 따른 CDC 구현 방식들은 DML이 발생한 테이블에 대한 DD 정보를 관리하기 때문에 타겟 데이터베이스 서버(200)에서의 메모리 관리가 효율적으로 이루어질 수 있다. 예를 들어, 판독/기록과 관련하여 하나의 CDC 파일에 대한 DD를 관리하게 되며 그리고 변경/반영과 관련하여 DML 발생 객체에 대한 DD를 관리하게 될 것이기 때문에, 보다 리소스 효율적인 CDC 구현이 가능해질 수 있다.
도 9는 본 개시의 일 실시예 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 9은 본 개시내용의 일 실시예에 따라 데이터베이스 시스템에서 수행되는 CDC 동작들을 개략적으로 도시한다.
도 9에서 도시되는 실시예는 도 8에서 도시되는 실시예에 DDL 특징이 추가된 것으로서, 도 8에서의 실시예들과 공통적인 내용들은 설명의 편의를 위해 이하에서는 생략될 것이다. 예를 들어, 도 9에서의 추출(1130), 기록(1140), 판독(1150), 및 송신(1160) 동작들은 각각 도 8에서의 추출(930), 기록(940), 판독(950), 및 송신(960) 동작들과 대응될 수 있다. 또한, 도 9에서의 수신(1230), 기록(1240), 판독(1250), 및 변경/반영(1260) 동작들은 각각 도 8에서의 수신(1030), 기록(1040), 판독(1050), 및 변경/반영(1060) 동작들과 대응될 수 있다. 또한, 도 9에서의 소스 DBMS(1110) 및 타겟 DBMS(1210) 및 각각 도 8에서의 소스 DBMS(910) 및 타겟 DBMS(1010)와 대응될 수 있다.
도 9에서 도시되는 바와 같이, 소스 DBMS(1110)에 트랜잭션들(1180)이 인입될 수 있다. 도 9에서의 예시에서, 상기 트랜잭션들(1180)은 Insert T1, Update T2 및 Commit을 포함하는 제 1 트랜잭션, Delete T3 및 Commit을 포함하는 제 2 트랜잭션, 및 DDL T1을 포함하는 제 3 트랜잭션을 포함할 수 있다. 소스 프로세서(110)는 참조번호 1180에서 도시되는 바와 같이, 인입된 트랜잭션들에 포함된 연산들을 발생 시간 순서대로 배치할 수 있다. 예를 들어, 추출(1130) 스레드는 소스 DBMS(1110)에서 발생된 트랜잭션들에 대한 리두 로그를 분석하여, 변경된 데이터에 대한 정보를 참조번호 1180과 같이 추출하여 정렬시킬 수 있다.
제 2 트랜잭션이 제 1 트랜잭션보다 늦게 시작되었다고 하더라도 제 2 트랜잭션의 Commit 시점이 제 1 트랜잭션의 Commit 시점보다 빠르기 때문에, 소스 프로세서(110)는, 제 2 트랜잭션과 관련된 SQL 연산들을 제 1 트랜잭션과 관련된 SQL 연산들 보다 CDC 파일(1170)에 먼저 기록할 수 있다. 트랜잭션들과 관련된 SQL 연산들은 트랜잭션 내에서 발생된 시간 순서에 따라 CDC 파일(1170)에 기록될 수 있다.
도 9에 도시되는 바와 같이, 기록(1140) 스레드는 제 2 트랜잭션에서 T3 객체에 대한 Delete 연산이 수행되었다는 것을 인식할 수 있다. 기록(1140) 스레드는 T3 객체에 대한 메타 정보가 CDC 파일(1170)에 존재하는지 여부를 확인할 수 있다. 즉, 기록(1140) 스레드는 T3 객체에 대해 이전 SQL 수행 이력이 있는지 여부를 CDC 파일(1170)에서 확인할 수 있다. T3 객체에 대한 메타 정보가 존재하지 않기 때문에, 기록(1140) 스레드는 메모리 상에 로딩되어 있는 DD 정보를 이용함으로써 T3 객체에 대한 메타 정보를 생성하고 그리고 생성된 메타 정보(즉, T3 DD #1)를 CDC 파일(1170)에 기록한다. 그리고나서, 기록(1140) 스레드는 T3 객체에 대한 Delete 연산(즉, Delete T3)을 CDC 파일(1170)에 기록할 수 있다. 추가적으로, 기록(1140) 스레드는 제 2 트랜잭션에 대한 Commit 연산을 CDC 파일(1170)에 기록할 수 있다. Commit 연산의 기록 위치는 Delete T3의 기록 위치 보다 뒷 부분이다.
기록(1140) 스레드는 제 2 트랜잭션에 대한 CDC 파일(1170)로의 기록을 완료한 후, 제 1 트랜잭션에 대한 CDC 파일(1170)로의 기록을 시작할 수 있다. 기록(1140) 스레드는 Insert T1을 확인하고 T1 객체에 대한 메타 정보가 CDC 파일(1170)에 존재하는지 여부를 검사할 수 있다. 도 9에서 도시되는 바와 같이, 현재 CDC 파일(1170)에는 T3 객체에 대한 메타 정보만이 기록되어 있기 때문에, 기록(1140) 스레드는 T3 객체에 대한 메타 정보를 메모리의 DD 정보(예컨대, T3 객체에 대한 DD 정보)를 가지고 생성할 수 있다. 그리고나서, 기록(1140) 스레드는 생성된 T3 객체에 대한 메타 정보(즉, TT DD #1)를 CDC 파일(1170)로 기록할 수 있다. 그리고나서, 기록(1140) 스레드는 이전에 확인한 Insert T1 연산을 CDC 파일(1170)에서 메타 정보가 기록된 위치 이후의 위치에 기록할 수 있다. 기록(1140) 스레드는 제 1 트랜잭션에서 Insert T1 다음에 발생된 SQL 연산인 Update T2 연산을 확인할 수 있다. 기록(1140) 스레드는 T2 객체에 대한 메타 정보가 CDC 파일(1170)에 존재하는지 여부를 검사할 수 있다. 현재 CDC 파일(1170)에는 T3 객체에 대한 메타 정보 및 T2 객체에 대한 메타 정보가 기록되어 있기 때문에, 기록(1140) 스레드는 T2 객체에 대한 메타 정보가 존재하지 않는다고 판단할 수 있다. 이러한 경우, 기록(1140) 스레드는 메모리 상에 로딩되어 있는 T2 객체에 대한 DD 정보를 참고하여, T2 객체에 대한 메타 정보를 생성할 수 있다. 그리고나서, 기록(1140) 스레드는 생성된 T2 객체의 메타 정보를 CDC 파일(1170)로 기록할 수 있다. T2 객체의 메타 정보는 직전에 기록된 Insert T1의 기록 위치에 후속되는 위치에 기록될 수 있다. 그리고나서, 기록(1140) 스레드는 기록된 메타 정보와 대응되는 Update T2 연산을 CDC 파일(1170)에 후속해서 기록할 수 있다. 그리고나서 기록(1140) 스레드는 제 1 트랜잭션에 대한 Commit 연산을 CDC 파일(1170)에 기록할 수 있다. Commit 연산의 기록 위치는 Update T2의 기록 위치 보다 뒷 부분이다.
기록(1140) 스레드는 제 1 트랜잭션에 대한 연산들을 모두 반영한 뒤에 제 3 트랜잭션(DDL T1을 포함함)을 확인할 수 있다. 기록(1140) 스레드는 SQL 연산에 대한 타입을 확인하여, DDL 타입인 것으로 결정할 수 있다. 즉, 기록(1140) 스레드는 SQL 연산에 대한 타입이 DML 연산인 것으로 결정된 경우, 상기 DML 연산과 대응되는 객체에 대한 상기 이전 SQL 연산 이력이 CDC 파일(1170)에 존재하는지 여부를 판단하기로 결정할 수 있다. 또한, 기록(1140) 스레드는 SQL 연산에 대한 타입이 DDL 연산인 것으로 결정된 경우, 상기 DDL 연산과 대응되는 객체에 대한 이전 SQL 연산 이력이 CDC 파일(1170)에 존재하는지 여부를 판단하지 않고, 상기 DDL 연산에 기초하여, 상기 DDL 연산에 대응되는 객체에 대한 메타 정보를 생성하고 그리고 생성된 메타 정보를 상기 CDC 파일에 기록할 것을 결정할 수 있다. 따라서, 기록(1140) 스레드는 T1에 대한 DDL 연산에 대응되는 메타 정보를 생성하여 DDL T1을 CDC 파일(1170)에 도 9에서 도시되는 바와 같이 기록할 수 있다.
판독(1150) 스레드는 기록(1140) 스레드에 의해 기록된 CDC 파일(1170)을 판독하여 송신(1160) 스레드로 전달할 수 있다. 송신(1160) 스레드는 전달받은 CDC 파일(1170)을 네트워크(140)를 통해 타겟 데이터베이스 서버(200)로 전송할 수 있다.
타겟 데이터베이스 서버(200)의 타겟 프로세서(210)는 수신(1230) 스레드에 의해 CDC 파일(1170)을 수신할 수 있다. 타겟 프로세서(1220)의 기록(1240) 스레드는 자신의 CDC 파일(1270)에 수신된 CDC 파일(1170)에 기록된 정보를 동일한 순서로 기록할 수 있다. 또는, 타겟 프로세서(1220)의 기록(1240) 스레드는 수신된 CDC 파일(1170)을 그대로 자신의 CDC 파일(1270)로 사용할 수도 있다. 따라서, 타겟 데이터베이스 서버(200)의 CDC 파일(1270)은 참조번호 1280과 같이 소스 데이터베이스 서버(100)에서 기록한 순서대로 정보들을 포함할 수 있다.
타겟 데이터베이스 서버(200)의 판독(1250) 스레드는 CDC 파일(1270)에 기록된 정보(1280)를 변경/반영(1220) 스레드로 전달할 수 있으며, 변경/반영(1220) 스레드는 전달 받은 정보를 타겟 DBMS(1210)에 반영하여, 타겟 DBMS(1210)와 소스 DBMS(1210)의 동기화를 수행할 수 있다. 변경/반영(1220) 스레드는 참조번호 1280로 표현된 정보의 기록 순서대로 타겟 DBMS(1210)로의 반영을 수행할 수 있다. CDC 파일(1270)에는 특정 SQL 연산에 대한 메타 정보가 먼저 기록되고 그 뒤에 대응되는 SQL 연산 정보가 기록될 수 있으며 그리고 DDL 연산에 대해서는 해당 메타 정보가 기록되기 때문에, 타겟 데이터베이스 서버(200)는 자신의 메모리에 많은 객체들에 대한 메타 정보를 로딩시킬 필요가 없으며, DML이 발생한 객체에 대한 메타 정보를 로딩시켜 반영을 처리할 수 있다. 구체적인 반영 방식에 대해서는 도 8과 관련하여 상술되었기 때문에, 도 9에서는 이에 대한 설명을 생략하기로 한다.
도 10은 본 개시의 일 실시예에 따라 데이터베이스 시스템에서 CDC를 수행하기 위한 수단을 도시한다.
본 개시의 일 실시예에 따르면, 컴퓨터 프로그램은 다음과 같은 수단에 의해 구현될 수 있다.
본 개시의 일 실시예에 따르면, 상기 컴퓨터 프로그램은, 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하기 위한 수단, 소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하기 위한 수단 및 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보는, 변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그에 관한 정보이며, 상기 자원 사용률 정보는, 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률에 대한 정보일 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 상기 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단은, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하기 위한 수단, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 자원 사용률 임계치를 재설정할 것을 결정하기 위한 수단 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 자원 사용률 정보와 자원 사용률 임계치 정보를 비교하기 위한 수단 및 상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단 및 상기 자원 사용률 임계치를 재설정할 것을 결정하기 위한 수단 중 적 하나의 동작을 수행할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단 및 상기 자원 사용률 임계치를 재설정할 것을 결정하기 위한 수단 중 적어도 하나의 동작을 수행할 것을 결정하기 위한 수단은, 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 자원 사용률 임계치를 재설정하기 위한 수단 및 상기 자원 사용률 정보가 상기 자원 사용률 임계치 이하인 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는지 여부를 식별하기 위한 수단 및 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하기 위한 수단은, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하기 위한 수단, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하기 위한 수단 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하기 위한 수단, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하기 위한 수단 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은, 상기 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하기 위한 수단, 상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 유지하기 위한 수단 및 상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 리메인 로그 임계치는, 상기 변경 데이터로 추출이 필요한 상기 온라인 리두 로그 및 상기 아카이브 리두 로그의 기준이 되는 임계치이며, 상기 자원 사용률 임계치는, 상기 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장하기 위한 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준이고, 그리고 상기 리메인 로그 임계치 및 상기 자원 사용률 임계치 중 적어도 하나는, 상기 소스 데이터베이스 서버의 동작 로그에 기초한 기계학습을 통해 가변될 수 있다.
대안적으로, 상기 변경 데이터는, 상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단은,상기 제 1 변경 데이터에 대한 처리가 완료된 이후 상기 제 1 변경 데이터에 대한 처리 없이 상기 제 2 변경 데이터에 대한 처리가 이루어지는 경우, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 제 2 변경 데이터의 처리 모드를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고 상기 제 1 변경 데이터를 처리하기 위한 모드가 변경되는 경우, 상기 제 2 변경 데이터를 처리하는 모드를 상기 제 1 변경 데이터의 처리 모드와 대응되도록 변경할 것을 결정하기 위한 수단을 더 포함할 수 있다.
대안적으로, 상기 제 1 변경 데이터에 대한 처리와 상기 제 2 변경 데이터에 대한 처리는 병렬로 수행될 수 있다.
대안적으로, 상기 CDC 파일에 상기 소스 데이터베이스 서버의 객체들 중 SQL(Structured Query Language) 연산이 발생한 객체에 대한 메타 정보를 기록하기 위한 수단을 더 포함하고, 그리고 상기 메타 정보는, 테이블 유저 정보, 테이블 이름 정보, 칼럼 이름 정보, 칼럼 순서 정보 및 칼럼 타입 정보 중 적어도 하나의 정보를 포함할 수 있다.
대안적으로, 상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하기 위한 수단은, 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하지 않는 경우, 해당 객체에 대한 DD(Data Dictionary) 정보를 사용하여 상기 해당 객체에 대한 메타 정보를 생성하기 위한 수단 및 상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하는 경우, 상기 해당 객체에 대한 메타 정보를 생성하지 않을 것을 결정하기 위한 수단을 포함할 수 있다.
대안적으로, 상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하기 위한 수단은, 상기 해당 객체에 대한 메타 정보가 생성된 경우, 상기 해당 객체와 관련된 SQL 연산 및 상기 메타 정보를 상기 CDC 파일에 기록할 것을 결정하기 위한 수단 및 상기 해당 객체에 대한 메타 정보가 생성되지 않은 경우, 상기 해당 객체와 관련된 SQL 연산을 상기 CDC 파일에 기록할 것을 결정하기 위한 수단을 더 포함할 수 있다.
본 개시의 일 실시예에 따르면 데이터베이스 시스템에서 CDC를 수행하기 위한 수단은, 컴퓨팅 장치를 구현하기 위한 모듈, 회로 또는 로직에 의하여 구현될 수도 있다.
당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있으나, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.
도 11은 본 개시의 일 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도를 도시한다.
본 개시가 일반적으로 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어와 관련하여 전술되었지만, 당업자라면 본 개시가 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다는 것을 잘 알 것이다.
일반적으로, 본 명세서에서의 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로시져, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 당업자라면 본 개시의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.
본 개시의 설명된 실시예들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.
컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 일시적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.
컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.
컴퓨터 판독가능 전송 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터등을 구현하고 모든 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.
컴퓨터(1502)를 포함하는 본 개시의 여러가지 측면들을 구현하는 예시적인 환경(1500)이 나타내어져 있으며, 컴퓨터(1502)는 처리 장치(1504), 시스템 메모리(1506) 및 시스템 버스(1508)를 포함한다. 시스템 버스(1508)는 시스템 메모리(1506)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(1504)에 연결시킨다. 처리 장치(1504)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(1504)로서 이용될 수 있다.
시스템 버스(1508)는 메모리 버스, 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇 가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1506)는 판독 전용 메모리(ROM)(1510) 및 랜덤 액세스 메모리(RAM)(1512)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(1510)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1502) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(1512)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.
컴퓨터(1502)는 또한 내장형 하드 디스크 드라이브(HDD)(1514)(예를 들어, EIDE, SATA)―이 내장형 하드 디스크 드라이브(1514)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음―, 자기 플로피 디스크 드라이브(FDD)(1516)(예를 들어, 이동식 디스켓(1518)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1520)(예를 들어, CD-ROM 디스크(1522)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(1514), 자기 디스크 드라이브(1516) 및 광 디스크 드라이브(1520)는 각각 하드 디스크 드라이브 인터페이스(1524), 자기 디스크 드라이브 인터페이스(1526) 및 광 드라이브 인터페이스(1528)에 의해 시스템 버스(1508)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(1524)는 예를 들어, USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 그 둘다를 포함한다.
이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨터(1502)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 저장 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 저장 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 개시의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.
운영 체제(1530), 하나 이상의 어플리케이션 프로그램(1532), 기타 프로그램 모듈(1534) 및 프로그램 데이터(1536)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1512)에 저장될 수 있다. 운영 체제, 어플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(1512)에 캐싱될 수 있다. 본 개시가 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.
사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(1538) 및 마우스(1540) 등의 포인팅 장치를 통해 컴퓨터(1502)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(1508)에 연결되어 있는 입력 장치 인터페이스(1542)를 통해 처리 장치(1504)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.
모니터(1544) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(1546) 등의 인터페이스를 통해 시스템 버스(1508)에 연결된다. 모니터(1544)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(도시 생략)를 포함한다.
컴퓨터(1502)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(1548) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1548)는 워크스테이션, 서버 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(1502)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(1550)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(1552) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(1554)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1502)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1556)를 통해 로컬 네트워크(1552)에 연결된다. 어댑터(1556)는 LAN(1552)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(1552)은 또한 무선 어댑터(1556)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1502)는 모뎀(1558)을 포함할 수 있거나, WAN(1554) 상의 통신 서버에 연결되거나, 또는 인터넷을 통하는 등, WAN(1554)을 통해 통신을 정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1558)은 직렬 포트 인터페이스(1542)를 통해 시스템 버스(1508)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1502)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(1550)에 저장될 수 있다. 도시된 네트워크 연결이 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.
컴퓨터(1502)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소, 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.
Wi-Fi(Wireless Fidelity)는 유선 없이도 인터넷 등으로의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성 있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.11(a,b,g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5 GHz 무선 대역에서, 예를 들어, 11Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작할 수 있다.
본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 어플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 어플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.
여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 저장 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 용어 "기계-판독가능 매체"는 명령(들) 및/또는 데이터를 저장, 보유, 및/또는 전달할 수 있는 무선 채널 및 다양한 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.
제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.
제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
상기와 같이 발명의 실시를 위한 최선의 형태에서 관련 내용을 기술하였다.
본 발명은 데이터 베이스 서버, 데이터 베이스 관리 컴퓨팅 장치 등에 사용될 수 있다.

Claims (21)

  1. 컴퓨터 판독가능 저장 매체에 저장되는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 변경 데이터 캡쳐(Change Data Capture)를 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은:
    온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 동작;
    소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 동작; 및
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  2. 제 1 항에 있어서,
    상기 리메인 로그 정보는,
    변경 데이터를 추출하지 못한 온라인 리두 로그 및 아카이브 리두 로그에 관한 정보이며,
    상기 자원 사용률 정보는,
    상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률에 대한 정보인,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  3. 제 1 항에 있어서,
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 리메인 로그 정보와 리메인 로그 임계치의 비교 결과 및 상기 자원 사용률 정보와 자원 사용률 임계치의 비교 결과 중 적어도 하나의 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  4. 제 1 항에 있어서,
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  5. 제 4 항에 있어서,
    상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작은,
    상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작;
    상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 자원 사용률 임계치를 재설정할 것을 결정하는 동작; 및
    상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  6. 제 1 항에 있어서,
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 리메인 로그 정보가 리메인 로그 임계치를 초과하는 경우, 상기 자원 사용률 정보와 자원 사용률 임계치 정보를 비교하는 동작; 및
    상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작 및 상기 자원 사용률 임계치를 재설정할 것을 결정하는 동작 중 적 하나의 동작을 수행할 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  7. 제 6 항에 있어서,
    상기 비교 결과에 기초하여 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작 및 상기 자원 사용률 임계치를 재설정할 것을 결정하는 동작 중 적어도 하나의 동작을 수행할 것을 결정하는 동작은,
    상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 자원 사용률 임계치를 재설정하는 동작; 및
    상기 자원 사용률 정보가 상기 자원 사용률 임계치 이하인 경우, 상기 변경 데이터를 상기 제 1 모드로 처리하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  8. 제 1 항에 있어서,
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는지 여부를 식별하는 동작; 및
    상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  9. 제 8 항에 있어서,
    상기 자원 사용률 정보가 상기 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터를 상기 제 2 모드로 처리하는 동작은,
    상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작;
    상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하는 동작; 및
    상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  10. 제 1 항에 있어서,
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  11. 제 10 항에 있어서,
    상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 자원 사용률 정보가 자원 사용률 임계치를 초과하는 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작;
    상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 상기 제 2 모드로 전환하는 동작; 및
    상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 자원 사용률 임계치를 재설정하기 위하여 상기 소스 데이터베이스 서버의 가용 자원을 식별하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  12. 제 10 항에 있어서,
    상기 리메인 로그 정보가 리메인 로그 임계치 이하인 경우, 상기 자원 사용률 정보에 기초하여 상기 변경 데이터를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 자원 사용률 정보가 자원 사용률 임계치 이하인 경우, 상기 변경 데이터가 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리되고 있음을 식별하는 동작;
    상기 변경 데이터가 상기 제 1 모드로 처리되고 있는 경우, 상기 제 1 모드를 유지하는 동작; 및
    상기 변경 데이터가 상기 제 2 모드로 처리되고 있는 경우, 상기 제 2 모드를 상기 제 1 모드로 전환하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  13. 제 3 항에 있어서,
    상기 리메인 로그 임계치는,
    상기 변경 데이터로 추출이 필요한 상기 온라인 리두 로그 및 상기 아카이브 리두 로그의 기준이 되는 임계치이며,
    상기 자원 사용률 임계치는,
    상기 온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 추출된 변경 데이터를 CDC 파일로 저장하기 위한 상기 소스 데이터베이스 서버가 현재 사용하는 자원 사용률의 기준이고, 그리고
    상기 리메인 로그 임계치 및 상기 자원 사용률 임계치 중 적어도 하나는,
    상기 소스 데이터베이스 서버의 동작 로그에 기초한 기계학습을 통해 가변되는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  14. 제 1 항에 있어서,
    상기 변경 데이터는,
    상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작은,
    상기 제 1 변경 데이터에 대한 처리가 완료된 이후 상기 제 1 변경 데이터에 대한 처리 없이 상기 제 2 변경 데이터에 대한 처리가 이루어지는 경우, 상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 제 2 변경 데이터의 처리 모드를 상기 제 1 모드 및 상기 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  15. 제 1 항에 있어서,
    상기 아카이브 리두 로그로부터 추출된 제 1 변경 데이터 및 상기 온라인 리두 로그로부터 추출된 제 2 변경 데이터를 포함하고, 그리고
    상기 제 1 변경 데이터를 처리하기 위한 모드가 변경되는 경우, 상기 제 2 변경 데이터를 처리하는 모드를 상기 제 1 변경 데이터의 처리 모드와 대응되도록 변경할 것을 결정하는 동작;
    을 더 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  16. 제 15 항에 있어서,
    상기 제 1 변경 데이터에 대한 처리와 상기 제 2 변경 데이터에 대한 처리는 병렬로 수행되는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  17. 제 1 항에 있어서,
    상기 CDC 파일에 상기 소스 데이터베이스 서버의 객체들 중 SQL(Structured Query Language) 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작;
    을 더 포함하고, 그리고
    상기 메타 정보는,
    테이블 유저 정보, 테이블 이름 정보, 칼럼 이름 정보, 칼럼 순서 정보 및 칼럼 타입 정보 중 적어도 하나의 정보를 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  18. 제 17 항에 있어서,
    상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작은,
    상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하지 않는 경우, 해당 객체에 대한 DD(Data Dictionary) 정보를 사용하여 상기 해당 객체에 대한 메타 정보를 생성하는 동작; 및
    상기 CDC 파일에서의 이전 SQL 연산 이력이 존재하는 경우, 상기 해당 객체에 대한 메타 정보를 생성하지 않을 것을 결정하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  19. 제 17 항에 있어서,
    상기 CDC 파일에 소스 데이터베이스 서버의 객체들 중 SQL 연산이 발생한 객체에 대한 메타 정보를 기록하는 동작은,
    해당 객체에 대한 메타 정보가 생성된 경우, 상기 해당 객체와 관련된 SQL 연산 및 상기 메타 정보를 상기 CDC 파일에 기록할 것을 결정하는 동작; 및
    상기 해당 객체에 대한 메타 정보가 생성되지 않은 경우, 상기 해당 객체와 관련된 SQL 연산을 상기 CDC 파일에 기록할 것을 결정하는 동작;
    을 더 포함하는,
    컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  20. 변경 데이터 캡쳐를 구현하기 위한 데이터베이스 서버로서,
    하나 이상의 코어를 포함하는 프로세서;
    상기 프로세서에 의해 실행가능한 프로그램 코드들을 저장하는 메모리; 및
    소스 데이터베이스 서버 및 타겟 데이터베이스 서버와 데이터를 송수신하는 네트워크부;
    를 포함하며,
    상기 프로세서는,
    온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하고,
    소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하고, 그리고
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는,
    변경 데이터 캡쳐를 구현하기 위한 데이터베이스 서버.
  21. 변경 데이터 캡쳐를 구현하기 위한 방법으로,
    온라인 리두 로그 및 아카이브 리두 로그 중 적어도 하나의 리두 로그로부터 변경 데이터를 추출하는 단계;
    소스 데이터베이스 서버의 리메인 로그 정보 및 자원 사용률 정보 중 적어도 하나의 정보를 분석하는 단계; 및
    상기 리메인 로그 정보 및 상기 자원 사용률 정보 중 적어도 하나의 정보에 기초하여 상기 변경 데이터를 CDC 파일로 저장하는 제 1 모드 및 메모리에 기록하는 제 2 모드 중 하나의 모드로 처리할 것을 결정하는 단계;
    를 포함하는,
    변경 데이터 캡쳐를 구현하기 위한 방법.
PCT/KR2020/005159 2019-04-18 2020-04-17 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램 WO2020213985A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/055,956 US11726978B2 (en) 2019-04-18 2020-04-17 Computer program for providing efficient change data capture in a database system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0045206 2019-04-18
KR1020190045206A KR102225258B1 (ko) 2019-04-18 2019-04-18 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
WO2020213985A1 true WO2020213985A1 (ko) 2020-10-22

Family

ID=72838182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005159 WO2020213985A1 (ko) 2019-04-18 2020-04-17 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램

Country Status (3)

Country Link
US (1) US11726978B2 (ko)
KR (1) KR102225258B1 (ko)
WO (1) WO2020213985A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823130B1 (ko) * 2016-11-28 2018-03-09 주식회사 실크로드소프트 데이터베이스의 이중화를 위한 기법
KR20180076172A (ko) * 2016-12-27 2018-07-05 주식회사 씨에스리 데이터베이스 시스템의 이상을 탐지하는 장치 및 방법
KR20180101941A (ko) * 2017-03-06 2018-09-14 주식회사 데이터스트림즈 소스 데이터베이스 관리시스템에서 변경되는 데이터를 실시간으로 목표 데이터베이스 관리시스템에 복제하는 장치 및 그 방법
KR101917807B1 (ko) * 2018-05-31 2018-11-13 주식회사 웨어밸리 원본 데이터베이스의 부하를 최소화한 데이터 정합성 검증 방법 및 시스템
KR20190022600A (ko) * 2019-02-25 2019-03-06 주식회사 실크로드소프트 데이터베이스 관리 시스템에서의 데이터 복제 기법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658589B1 (en) * 1999-12-20 2003-12-02 Emc Corporation System and method for backup a parallel server data storage system
US6691139B2 (en) * 2001-01-31 2004-02-10 Hewlett-Packard Development Co., Ltd. Recreation of archives at a disaster recovery site
US7111023B2 (en) 2001-05-24 2006-09-19 Oracle International Corporation Synchronous change data capture in a relational database
US7657576B1 (en) 2001-05-24 2010-02-02 Oracle International Corporation Asynchronous change capture for data warehousing
US6999977B1 (en) 2002-05-09 2006-02-14 Oracle International Corp Method and apparatus for change data capture in a database system
US7647354B2 (en) 2002-05-24 2010-01-12 Oracle International Corporation High-performance change capture for data warehousing
US7308456B2 (en) * 2002-12-19 2007-12-11 International Business Machines Corporation Method and apparatus for building one or more indexes on data concurrent with manipulation of data
US10102266B2 (en) * 2012-04-24 2018-10-16 Oracle International Corporation Method and system for implementing a redo repeater
US9727624B2 (en) 2013-03-01 2017-08-08 Oracle International Corporation Active replication with generic conflict detection and resolution (CDR)
US9563655B2 (en) * 2013-03-08 2017-02-07 Oracle International Corporation Zero and near-zero data loss database backup and recovery
US10055305B2 (en) * 2016-04-28 2018-08-21 Netapp, Inc. Techniques to perform system management processing for database systems
US20170372142A1 (en) 2016-06-27 2017-12-28 Facebook, Inc. Systems and methods for identifying matching content
KR101956236B1 (ko) 2016-11-16 2019-03-11 주식회사 실크로드소프트 데이터베이스 관리 시스템에서의 데이터 복제 기법
US10649855B2 (en) * 2018-07-12 2020-05-12 EMC IP Holding Company LLC Network configuration method to allow access to the backup and restores to Mtrees on a clustered backup appliance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823130B1 (ko) * 2016-11-28 2018-03-09 주식회사 실크로드소프트 데이터베이스의 이중화를 위한 기법
KR20180076172A (ko) * 2016-12-27 2018-07-05 주식회사 씨에스리 데이터베이스 시스템의 이상을 탐지하는 장치 및 방법
KR20180101941A (ko) * 2017-03-06 2018-09-14 주식회사 데이터스트림즈 소스 데이터베이스 관리시스템에서 변경되는 데이터를 실시간으로 목표 데이터베이스 관리시스템에 복제하는 장치 및 그 방법
KR101917807B1 (ko) * 2018-05-31 2018-11-13 주식회사 웨어밸리 원본 데이터베이스의 부하를 최소화한 데이터 정합성 검증 방법 및 시스템
KR20190022600A (ko) * 2019-02-25 2019-03-06 주식회사 실크로드소프트 데이터베이스 관리 시스템에서의 데이터 복제 기법

Also Published As

Publication number Publication date
KR20200123299A (ko) 2020-10-29
KR102225258B1 (ko) 2021-03-10
US20220027338A1 (en) 2022-01-27
US11726978B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
WO2018101640A1 (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
WO2018093094A1 (ko) 데이터베이스 관리 시스템에서의 데이터 복제 기법
WO2020101343A1 (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
WO2020167074A1 (en) Systems and methods for latency-aware edge computing
WO2018076868A1 (zh) 一种数据同步方法、装置、系统、存储介质和服务器
WO2015020471A1 (en) Method and apparatus for distributing data in hybrid cloud environment
WO2021060609A1 (ko) 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 모델 제공 방법
WO2017082520A1 (ko) 데이터베이스 관리 시스템 및 그의 데이터 변경 및 복구 방법
US7984327B2 (en) Fast data recovery system
WO2016171401A1 (ko) 공동 편집 문서를 공유하는 방법 및 장치
WO2014032262A1 (zh) 一种平台间迁移应用的实现方法及系统
WO2018076889A1 (zh) 数据备份的方法、装置、系统、存储介质及服务器
WO2018233370A1 (zh) 镜像同步方法、系统、设备及计算机可读存储介质
WO2018076867A1 (zh) 数据备份的删除方法、装置、系统、存储介质和服务器
WO2018076864A1 (zh) 一种数据同步方法、装置、存储介质及电子设备
WO2018076812A1 (zh) 数据请求的响应方法、装置、存储介质、服务器及系统
CN104247376A (zh) 云存储的文件上传方法、客户端、应用服务器及云存储系统
WO2018076869A1 (zh) 一种数据备份方法、装置、存储介质和电子设备
WO2012124985A2 (en) Method and apparatus for synchronizing personal inforamtion
WO2018076829A1 (zh) 终端数据的处理方法、装置、系统、存储介质及服务器
WO2020253125A1 (zh) 日志管理方法、装置、设备及存储介质
WO2021012481A1 (zh) 系统性能监控方法、装置、设备及存储介质
WO2018076811A1 (zh) 数据分享方法、装置、存储介质及电子设备
WO2017206885A1 (zh) 应用程序的关闭方法、装置、存储介质及电子设备
WO2021080385A1 (en) Computing device and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20791038

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20791038

Country of ref document: EP

Kind code of ref document: A1