WO2021141293A1 - 데이터의 전송 및 조회 시의 비용을 최소화하기 위한 데이터 아카이빙 방법 및 시스템 - Google Patents

데이터의 전송 및 조회 시의 비용을 최소화하기 위한 데이터 아카이빙 방법 및 시스템 Download PDF

Info

Publication number
WO2021141293A1
WO2021141293A1 PCT/KR2020/018911 KR2020018911W WO2021141293A1 WO 2021141293 A1 WO2021141293 A1 WO 2021141293A1 KR 2020018911 W KR2020018911 W KR 2020018911W WO 2021141293 A1 WO2021141293 A1 WO 2021141293A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
archiving
cloud
processor
computer device
Prior art date
Application number
PCT/KR2020/018911
Other languages
English (en)
French (fr)
Inventor
정세훈
Original Assignee
주식회사 아미크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200179839A external-priority patent/KR102301304B1/ko
Application filed by 주식회사 아미크 filed Critical 주식회사 아미크
Priority to JP2022528092A priority Critical patent/JP7387116B2/ja
Publication of WO2021141293A1 publication Critical patent/WO2021141293A1/ko
Priority to US17/842,684 priority patent/US20220327095A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Definitions

  • the following description relates to a data archiving method and system for minimizing the cost of data transmission and inquiry.
  • the transmission capacity or the inquiry capacity is determined according to at least one of the characteristics of the storage system and the charging system
  • a data archiving method performed by a computer device including at least one processor, wherein the at least one processor transmits, by the at least one processor, at least a portion of data stored in a target system to a storage system for archiving or archiving in the storage system
  • a data archiving method comprising the step of determining the transmission capacity or the inquiry capacity according to at least one of a charging system and characteristics of an external system including the storage system.
  • the data archiving method includes, by the at least one processor, grouping, by the at least one processor, archiving target data into objects that are minimum process processing units based on dependencies between tables in the database of the target system; dividing and defining, by the at least one processor, a transmission scenario of archiving data according to a business type into sub-categories; allocating, by the at least one processor, an object for each sub-classification of the transmission scenario; and processing, by the at least one processor, the transmission simulation for each sub-classification.
  • the data archiving method may further include, by the at least one processor, reallocating an object for each sub-classification of the transmission scenario according to the determined transmission capacity.
  • the external system includes a cloud system
  • the determining includes: Maximum processing of a PaaS (Platform as a Service) function provided by the cloud system as a characteristic of an external system including the storage system It may be characterized in that the transmission capacity or the inquiry capacity is determined according to the available capacity.
  • PaaS Platinum as a Service
  • the determining includes determining the number of transmissions, the number of receptions, one transmission capacity or one reception capacity so that the charging cost is minimized according to the charging system of the external system including the storage system. can be done with
  • the external system includes cloud systems of two or more different cloud service providers
  • the data archiving method includes, by the at least one processor, the data usage status and cost of each of the cloud systems. monitoring; processing, by the at least one processor, a service simulation using the cloud systems; managing, by the at least one processor, data transmission between the cloud systems; and after transmitting data from a first cloud system among the cloud systems to a second cloud system by the at least one processor, processing data cleansing in the first cloud system.
  • a data archiving method performed by a computer device including at least one processor comprising: monitoring, by the at least one processor, data usage status and cost of cloud systems of two or more different cloud service providers; processing, by the at least one processor, a service simulation using the cloud systems; managing, by the at least one processor, data transmission between the cloud systems; and after data transmission from a first cloud system among the cloud systems to a second cloud system by the at least one processor, processing data cleansing in the first cloud system.
  • It provides a computer program stored in a computer-readable recording medium in combination with a computer device to execute the method on the computer device.
  • a process comprising at least one processor embodied to execute computer-readable instructions, wherein the at least one processor transmits, by the at least one processor, at least a portion of data stored in a target system to a storage system for archiving or archiving to the storage system.
  • the transmission capacity or the inquiry capacity is determined according to at least one of a charging system and characteristics of an external system including the storage system.
  • the transmission capacity or the inquiry capacity is determined according to at least one of the characteristics of the storage system and the charging system By doing so, it is possible to reduce the cost at the time of transmission or inquiry of archiving data.
  • FIG. 1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of a computer device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a general state of a computer system for archiving according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an example of a data archiving method according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an example of a process of archiving data through a first function according to an embodiment of the present invention.
  • FIG. 6 is a view showing a first example of the structure of a compression table according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a second example of the structure of a compression table according to an embodiment of the present invention.
  • FIG. 8 is a diagram showing an example of the structure of a period index table according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an example of the structure of a group index table according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a second example of the structure of a compression table according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an example of the structure of an index table in which a period index table and a group index table are combined according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating another example of a process of archiving data through a first function according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an example of the structure of a compression table and a key index table according to an embodiment of the present invention.
  • FIG. 14 is a diagram showing another example of the structure of a compression table and a key index table according to an embodiment of the present invention.
  • 15 is a diagram illustrating an example of a process of searching for data archived through the second function according to an embodiment of the present invention.
  • 16 and 17 are diagrams illustrating examples of searching for archived data according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating an example of a process for effectively storing data according to an embodiment of the present invention.
  • 19 is a diagram illustrating an example of a method of de-identifying data according to an embodiment of the present invention.
  • FIG. 20 is a diagram illustrating another example of a data archiving method according to an embodiment of the present invention.
  • 21 is a diagram illustrating an example of an object according to an embodiment of the present invention.
  • 22 and 23 are diagrams illustrating examples of classifying objects according to an embodiment of the present invention.
  • FIG. 24 is a diagram illustrating another example of a data archiving method according to an embodiment of the present invention.
  • 25 is a diagram illustrating an example of a multi-cloud management system according to an embodiment of the present invention.
  • 26 is a flowchart illustrating an example of a data archiving method using a multi-cloud according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • the data archiving system may be implemented by at least one computer device, and the data archiving method according to the embodiments of the present invention is performed through at least one computer device included in the data archiving system.
  • the computer program according to an embodiment of the present invention may be installed and driven in the computer device, and the computer device may perform the data archiving method according to the embodiments of the present invention under the control of the driven computer program.
  • the above-described computer program may be stored in a computer-readable recording medium in combination with a computer device to execute the data archiving method in the computer device.
  • FIG. 1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention.
  • the network environment of FIG. 1 shows an example including a plurality of electronic devices 110 , 120 , 130 , 140 , a plurality of servers 150 , 160 , and a network 170 .
  • FIG. 1 is an example for explaining the invention, and the number of electronic devices or the number of servers is not limited as in FIG. 1 .
  • the network environment of FIG. 1 only describes one example of environments applicable to the present embodiments, and the environment applicable to the present embodiments is not limited to the network environment of FIG. 1 .
  • the plurality of electronic devices 110 , 120 , 130 , and 140 may be a fixed terminal implemented as a computer device or a mobile terminal.
  • Examples of the plurality of electronic devices 110 , 120 , 130 , 140 include a smart phone, a mobile phone, a navigation device, a computer, a notebook computer, a digital broadcasting terminal, a personal digital assistant (PDA), and a portable multimedia player (PMP). ), and tablet PCs.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • FIG. 1 the shape of a smartphone is shown as an example of the electronic device 110 , but in embodiments of the present invention, the electronic device 110 is substantially different from another through the network 170 using a wireless or wired communication method. It may refer to one of various physical computer devices capable of communicating with the electronic devices 120 , 130 , 140 and/or the servers 150 and 160 .
  • the communication method is not limited, and not only a communication method using a communication network (eg, a mobile communication network, a wired Internet, a wireless Internet, a broadcasting network) that the network 170 may include, but also short-range wireless communication between devices may be included.
  • the network 170 may include a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), and a broadband network (BBN). , the Internet, and the like.
  • PAN personal area network
  • LAN local area network
  • CAN campus area network
  • MAN metropolitan area network
  • WAN wide area network
  • BBN broadband network
  • the network 170 may include any one or more of a network topology including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree, or a hierarchical network, etc. not limited
  • Each of the servers 150 and 160 communicates with the plurality of electronic devices 110 , 120 , 130 , 140 and the network 170 through a computer device or a plurality of computers that provide commands, codes, files, contents, services, etc. It can be implemented in devices.
  • the server 150 provides a service (eg, an archiving service, a file distribution service, a map service, a content providing service) to the plurality of electronic devices 110 , 120 , 130 , and 140 accessed through the network 170 .
  • group call service or voice conference service
  • messaging service or voice conference service
  • mail service or social network service
  • map service e.g., email service, social network service, map service, translation service, financial service, payment service, search service, etc.
  • FIG. 2 is a block diagram illustrating an example of a computer device according to an embodiment of the present invention.
  • Each of the plurality of electronic devices 110 , 120 , 130 , 140 or the servers 150 and 160 described above may be implemented by the computer device 200 illustrated in FIG. 2 .
  • the computer device 200 may include a memory 210 , a processor 220 , a communication interface 230 , and an input/output interface 240 .
  • the memory 210 is a computer-readable recording medium and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive.
  • RAM random access memory
  • ROM read only memory
  • a permanent mass storage device such as a disk drive.
  • a non-volatile mass storage device such as a ROM and a disk drive may be included in the computer device 200 as a separate permanent storage device distinct from the memory 210 .
  • the memory 210 may store an operating system and at least one program code. These software components may be loaded into the memory 210 from a computer-readable recording medium separate from the memory 210 .
  • the separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, a disk, a tape, a DVD/CD-ROM drive, and a memory card.
  • the software components may be loaded into the memory 210 through the communication interface 230 instead of a computer-readable recording medium.
  • the software components may be loaded into the memory 210 of the computer device 200 based on a computer program installed by files received through the network 170 .
  • the processor 220 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations.
  • the instructions may be provided to the processor 220 by the memory 210 or the communication interface 230 .
  • the processor 220 may be configured to execute a received instruction according to a program code stored in a recording device such as the memory 210 .
  • the communication interface 230 may provide a function for the computer device 200 to communicate with other devices (eg, the aforementioned storage devices) through the network 170 .
  • a request, command, data, file, etc. generated by the processor 220 of the computer device 200 according to a program code stored in a recording device such as the memory 210 is transmitted to the network ( 170) to other devices.
  • signals, commands, data, files, etc. from other devices may be received by the computer device 200 through the communication interface 230 of the computer device 200 via the network 170 .
  • a signal, command, or data received through the communication interface 230 may be transferred to the processor 220 or the memory 210 , and the file may be a storage medium (described above) that the computer device 200 may further include. persistent storage).
  • the input/output interface 240 may be a means for an interface with the input/output device 250 .
  • the input device may include a device such as a microphone, keyboard, or mouse
  • the output device may include a device such as a display or a speaker.
  • the input/output interface 240 may be a means for an interface with a device in which functions for input and output are integrated into one, such as a touch screen.
  • the input/output device 250 may be configured as one device with the computer device 200 .
  • the computer device 200 may include fewer or more components than those of FIG. 2 . However, there is no need to clearly show most of the prior art components.
  • the computer device 200 may be implemented to include at least a portion of the above-described input/output device 250 or may further include other components such as a transceiver and a database.
  • FIG. 3 is a diagram illustrating a general state of a data archiving system according to an embodiment of the present invention.
  • the data archiving system 310 may be implemented by a physical device such as the computer device 200 described above with reference to FIG. 2 or a combination of a plurality of physical devices, and as shown in FIG. 3 , a data compression module ( 311 ), a query module 312 , a display and control module 313 , and a near-line interface module 314 .
  • the data compression module 311 , the inquiry module 312 , the display and control module 313 , and the near-line interface module 314 each perform data archiving according to the code of the archiving solution program installed in the data archiving system 310 . It may be a functional representation of operations performed by the processor 220 of the computer device 200 implementing the system 310 .
  • the archiving solution program may include a code for providing a data compression function, and the processor 220 may provide a data compression function through this code.
  • the “data compression module 310” may be used as a functional expression for the operation(s) for providing the data compression function of the processor 220 .
  • the data archiving system 310 may be implemented by installing and driving the archiving solution program in the computer device 200 .
  • the archiving solution program may be developed as a cloud SaaS (Software as a Service) type product and registered in the cloud systems of various cloud vendors, and may provide functions for archiving to the target system 320 to be described later.
  • the data archiving system 310 may be implemented in the form of an appliance server in which a remote near-line data archiving technology (archiving solution program) and hardware are integrated. In the case of the appliance server, it is possible to provide consistent product quality and price competitiveness because quick delivery and maintenance are easy due to the product type.
  • the target system 320 may also be implemented by a physical device such as the computer device 200 described with reference to FIG. 2 or a combination of a plurality of physical devices, and as shown in FIG. 3 , a database 321, It may include a control module 322 and a near-line interface module 323 .
  • the control module 322 and the near-line interface module 323 may also be functional representations of operations performed by the processor 220 of the computer device 200 implementing the target system 320 .
  • the data archiving system 310 and the target system 320 may communicate with each other through a network (eg, the network 170 described with reference to FIGS. 1 and 2 ), and the target system 320 may include a control module 322 .
  • a function provided by the data archiving system 310 may be called through the near-line interface module 323 under the control of .
  • the data archiving system 310 may provide a function that the target system 320 calls to the target system 320 .
  • the target system 320 may be an integrated information system for enterprise resource planning (ERP), and the near-line interface module 323 is, for example, a remote function call (RFC) for SAP ERP. ) can be based on ERP
  • ERP enterprise resource planning
  • RRC remote function call
  • FIG. 4 is a flowchart illustrating an example of a data archiving method according to an embodiment of the present invention.
  • the data archiving method according to this embodiment may be performed by the computer device 200 implementing the data archiving system 310 described above.
  • the processor 220 of the computer device 200 may be implemented to execute a control instruction according to a code of an operating system included in the memory 210 or a code of at least one computer program.
  • the processor 220 causes the computer device 200 to perform steps 410 to 440 included in the method of FIG. 4 according to a control command provided by a code stored in the computer device 200 .
  • the computer program may correspond to the above-described archiving solution program.
  • the computer device 200 may receive a remote function call from a target system that stores data.
  • the target system may correspond to the target system 320 described with reference to FIG. 3
  • the remote function call may be generated through the near-line interface module 323 of the target system 320 .
  • the computer device 200 may provide a first function for archiving at least a portion of data stored in the target system to the target system through a network in response to the remote function call.
  • the data archiving system 310 transfers at least a portion of data stored in the database 321 of the target system 320 to the storage system 330 according to the call of the target system 320 .
  • a first function for archiving may be provided to the target system 320 through a network.
  • the storage system 330 may be a local database (eg, database 321 ) included in the target system 320 , an external database of the target system 320 , and/or the target system 320 according to an embodiment. It may be a storage included in an external system (eg, a file server or a cloud server) of the .
  • an external system eg, a file server or a cloud server
  • the data archiving system 310 may provide a function for archiving in a table of the database 321 by compressing at least some of the data stored in the database 321 of the target system 320 as a first function. have.
  • the archive speed is fast, and the data inquiry speed can also be improved.
  • the data archiving system 310 compresses at least some of the data stored in the database 321 of the target system 320 and archives it to a table of an external database of the target system 320.
  • the data archiving system 310 may store compressed data in a table of a database included by other clients.
  • the data archiving system 310 compresses at least some of the data stored in the database 321 of the target system 320 into a file and stores it in the storage included in the external system of the target system 320 .
  • a function for archiving can be provided.
  • the data archiving system 310 may store a file including compressed data in a storage of the cloud system.
  • the data archiving system 310 performs retention cycle management, archiving configuration, archiving execution, monitoring, data inquiry and data management functions for the archiving service to the target system 320 through the display and control module 313 .
  • a user interface to provide may be provided.
  • the data archiving system 310 is the database of the target system 320 according to the archiving configuration set through the data compression module 311 .
  • a first function for archiving at least a portion of the data stored in the 321 to the storage system 330 may be provided to the target system 320 .
  • the target system 320 may archive at least a portion of data stored in its own database 321 to the storage system 330 according to the first function provided by the data archiving system 310 .
  • the computer device 200 may provide a second function for inquiring data archived in the storage system to the target system through the network. This second function may also be provided by a remote function call from the target system.
  • the data archiving system 310 provides a second function for inquiring of data archived in the storage system 330 according to the call of the target system 320 through the network to the target system ( 320) can be provided.
  • the data archiving system 310 provides a method for inquiry of data archived in the storage system 330 through the inquiry module 312 .
  • 2 functions may be provided to the target system 320 .
  • the target system 320 may inquire the data archived in the storage system 330 according to the second function provided by the data archiving system 310 .
  • the target system 320 may archive data stored in the database 321 using functions provided by the data archiving system 310 without the need to add additional hardware.
  • the first function provided by the data archiving system 310 is to store and store the compressed data as a table of a database (database 321 or an external database of the target system 320) or in the form of a file. It may include a function for archiving.
  • the data archiving system 310 can manage the data life cycle.
  • the data archiving system 310 may manage the data life cycle by a procedure of 'database ⁇ data compression archive ⁇ file archive ⁇ archive dissipation'.
  • the 'database' may mean that data is managed in a state stored in the database 321 of the target system 320 .
  • 'data compression archive' may mean that data is compressed and managed in a compressed state in a table of a database (database 321 of the target system 320 or an external database).
  • 'file archive' may refer to archiving and storing data managed in a compressed state in a table of a database as a file when the retention period of compressed data has elapsed, and 'archive dissipation' is data archived as a file This may mean deleting data that is no longer meaningful in storage.
  • the 'file archive' may be formed in the storage of the target system 320 , or may be formed in the storage of an external system of the target system 320 .
  • the data archiving system 310 may access the target system 320 in which the extraction of the compression target is completed in order to transmit the archive data to a cloud system existing outside the target system 320 .
  • the data archiving system 310 may call the target system through the near-line interface module 314 .
  • the data archiving system 310 may define a transmission scenario according to a business type such as finance, cost, production, sales, material, quality, system, and the like. According to an embodiment, the data archiving system 310 may create a small group of transmission scenarios in consideration of network bandwidth. In addition, the data archiving system 310 may allocate an object to a transmission scenario.
  • the data archiving system 310 may allocate the extracted object to the small group of the transmission scenario.
  • the data archiving system 310 may convert the extracted object into a binary object, and may configure a transmission history status table for the object capacity and quantity for each transmission scenario and/or for each small group.
  • the data archiving system 310 may perform transmission simulation. At this time, the data archiving system 310 selects a simulation target for each transmission scenario and/or small group, and executes a transmission simulation to check the transmission time for each object, so that the optimal time for subsequent transmission can be predicted for each object data ratio. have. After the transmission simulation, the data archiving system 310 may perform actual data transmission using scenario information, small group information, and/or object information.
  • the data archiving system 310 may optimize the overall end time by arranging the small group and/or object that takes the least time based on the small group and/or object that takes the longest transmission time based on the transmission simulation information. .
  • the data archiving system 310 may classify and store data storage locations by data characteristics, and may check the number of transmissions and execution time in real time through a transmission status monitoring tool.
  • the data archiving system 310 may update the extraction progress in the transmission performance map, and when an error occurs, proceed from the order after completion to maintain speed and integrity.
  • Data transmission may be performed by selecting a streaming method or object unit transmission.
  • the data archiving system 310 confirms that the data for each scenario and/or small group transmitted from the target system 320 has been transferred to the storage system 330, and then the object for each transmission scenario and/or small group.
  • the transfer process of archive data can be verified by comparing the capacity and usage status table with the transferred data.
  • data may be transmitted in a 1:1 relationship or may be simultaneously transmitted to different servers in a 1:N relationship.
  • a transmission history status table may be configured for each server.
  • FIG. 5 is a flowchart illustrating an example of a process of archiving data through a first function according to an embodiment of the present invention.
  • the process according to the present embodiment may be performed by the computer device 200 implementing the target system 320 using the first function provided by the data archiving system 310 .
  • the processor 220 of the computer device 200 may be implemented to execute a control instruction according to a code of an operating system included in the memory 210 or a code of at least one computer program.
  • the processor 220 causes the computer device 200 to perform the steps 510 to 550 included in the method of FIG. 5 according to a control command provided by the code stored in the computer device 200 .
  • the code may include a code for the first function provided by the data archiving system 310 .
  • the computer device 200 may determine a partition for a data record included in a table of the database based on selection information of the data record.
  • the database may correspond to the database 321 of the target system 320 described with reference to FIG. 3 .
  • the selection information may include information about time for the data record and/or any field value of the data record.
  • the computer device 200 may determine a partition for the data record based on such time information and/or field values.
  • a table is a unit constituting a basic structure for storing data in a database, and the table referred to in step 510 may be a table to be archived in order to save capacity among a plurality of tables included in the database.
  • the computer device 200 may select data records having field values within a predetermined range as one partition.
  • the field value may be determined as a field value of a field in which a search occurs most frequently in the table. This is because when the archived data is searched later, the efficiency of the search can be maximized by using the index information generated based on the corresponding field value.
  • the computer device may select data records having time information within a predetermined range as one partition.
  • a partition may be composed of a set of data records selected from all data records included in the table. At least one partition may be created, and if necessary, a partition may be created by limiting only some data records, not all of the table, to the target. For example, you can create a partition for archiving only data records before 2015, excluding data records after 2015 in the table.
  • the number of data records included in one partition may be determined by comprehensively analyzing and reviewing the total number of records included in a table, the performance of a computer that searches the database, and search conditions with high frequency in the database.
  • the excess partition may be divided into a plurality of partitions in which the number of records is equal to or less than the threshold.
  • a threshold that is the number of data records that one partition can include may be set to 100,000.
  • the selected partition contains the number of data records exceeding the threshold, this may cause overload and inefficiency of the computer, which may be problematic.
  • serial numbers (eg, 1,2,3,4, ...) may be assigned to each of the plurality of separated record groups and further stored in the serial number field of the index table. In this case, even when searching for archived data, the search can be performed by distinguishing each of a plurality of separated partitions. Such a serial number may correspond to a sequence to be described later.
  • the computer device 200 may create a compressed partition by compressing data records for each partition.
  • the computer device 200 may create a compressed partition by compressing a data record included in the determined partition into a binary object.
  • the computer device 200 may first store data records to be included in the compressed partition in a buffer.
  • the computer device 200 may sequentially read all data records included in the compression partition and field values of the data records, and sequentially store them in the buffer.
  • the computer device 200 may create a compressed partition by compressing the data stored in the buffer.
  • the compressed partition may be a result of a binary object generated by compressing data stored in a buffer.
  • lossless compression algorithms such as ZIP, CTW, LZ77, LZW, gzip, bzip2, DEFLATE, etc. may be used.
  • the computer device 200 may generate a storage key uniquely assigned to each created compressed partition.
  • the computer device 200 may store the compressed partition and the storage key uniquely identifying the compressed partition in the compression table in association.
  • the compressed data may be stored as a table of the database 321 of the target system 320 or a table of an external database.
  • the compression table may include a field for storing a compressed partition generated by compression for each partition and a field for storing a storage key uniquely assigned to correspond to the corresponding compressed partition.
  • the storage key is a key including a value uniquely assigned to each compression partition, and the value of the storage key shared by each compression partition may be stored in a field of the compression table corresponding to the storage key.
  • there may be one or more fields corresponding to the storage key and when values of storage keys distributed and stored in the one or more fields are combined, a unique storage key may be formed for each compression partition.
  • the computer device 200 may store the storage key and the selection information in the index table of the database in association. For example, when the selection information includes an arbitrary field value of the corresponding data record, the computer device 200 may link the storage key and the arbitrary field value to the group index table in step 440 .
  • the storage key and field value stored in the group index table can be used as an index to search for compressed and stored data records according to a search condition including an arbitrary field value.
  • the computer device 200 may store the information on the storage key and the time in the period index table in association with the information.
  • the storage key and time information stored in the period index table can be used as an index to search for compressed and stored data records according to a search condition including information about an arbitrary time.
  • an index table including a group index table and/or a period index table may be used to obtain a storage key corresponding to information about a field value and/or time included in a search condition, and the storage key is a compressed table It can be used to obtain a compressed partition corresponding to the storage key in .
  • the computer device 200 may delete the compressed data record from the table. Since the purpose of archiving the database by compressing it is to save the storage space of the database, the computer device 200 may save the storage space of the database by deleting the archived data records from the table. However, according to an embodiment, the compressed data record may not be deleted from the table immediately, but may be deleted from the table after a certain period of time has elapsed.
  • the deleted data record may be restored to the corresponding table later.
  • the computer device 200 retrieves the storage key associated with the identification information included in the restoration request from the index table in response to the restoration request of the deleted data record, and the compressed partition associated with the retrieved storage key from the compression table. can be searched for. Thereafter, the computer device 200 may restore the deleted data record by decompressing the searched compressed partition, and record the restored data record in a table based on the identification information.
  • information of the key index table which will be described later, may be used to identify a specific data record for which restoration is requested among data records included in the compressed partition.
  • steps 510 to 550 may be performed using a first function provided by the data archiving system 310 .
  • the data archiving system 310 may provide a first function including a function for controlling the target system 320 to perform steps 510 to 550 .
  • Table 610 of FIG. 6 is Doc.No. It contains a field 611, a Date field 612 for time, and a Col1 field 613 for a specific attribute.
  • the computer device 200 classifies the data record of the table 610 based on the field value of the Date field 612 or the Col1 field 613 of the table 610 which is information about time as selection information. and compression to create a compressed partition.
  • the computer device 200 may generate the compression table 600 by storing the storage key for uniquely identifying the compressed partition and the corresponding compressed partition in association with each other.
  • the compression table 600 according to the embodiment of FIG. 6 may include an OBJECT ID field 621 having a storage key as a field value and a COMPRESSED DATA field 622 having a compression partition as a field value.
  • FIG. 7 is a diagram showing a second example of the structure of a compression table according to an embodiment of the present invention
  • FIG. 8 is a diagram showing an example of the structure of a period index table according to an embodiment of the present invention
  • FIG. 9 is a diagram showing an example of the structure of a group index table according to an embodiment of the present invention.
  • FIG. 7 illustrates another embodiment of generating the compression table 700 through the table 610 described above with reference to FIG. 6 .
  • the computer device 200 creates a compression partition by classifying and compressing data records of the table 610 based on a field value of the Date field 612 of the table 610 that is information about time as selection information. can do.
  • the computer device 200 may generate the compression table 700 by storing the selection information and the corresponding compression partition in association with each other.
  • the compression table 700 according to the embodiment of FIG. 7 may include a PERIOD field 710 having time information as a field value and a COMPRESSED DATA field 720 having a compression partition as a field value. .
  • FIG. 8 shows a period that can be created and utilized when the compression table 700 includes a compression partition generated by classifying and compressing data records based on a field value (information about time) of the Date field 612 .
  • An example of the index table 800 is shown.
  • the period index table 800 may include a PERIOD field 810 having time information as a field value and an OBJECT ID field 820 having a storage key as a field value.
  • time information eg, “2020.01”
  • the period index table 800 provides information about time included in the search condition.
  • the corresponding storage key (for example, the storage key “O0001” corresponding to the time information “2020.01” in the period index table 800) can be searched using the information, and the compression table ( In 620 ), a compressed partition corresponding to the storage key (eg, a compressed partition of “50,000 Rows” corresponding to the storage key “O0001” in the compression table 620) can be searched.
  • FIG. 9 shows a group index table 900 that can be created and utilized when the compression table 600 includes a compressed partition generated by classifying and compressing data records based on the field value of the Col1 field 613 .
  • the group index table 900 may include a PERIOD field 910 having a field value of the Col1 field 613 as its own field value and an OBJECT ID field 920 having a storage key as a field value.
  • a search condition including a field value (eg, “1000”) of the Col1 field 613 as selection information, it is included in the search condition in the group index table 900 .
  • the corresponding storage key (for example, the storage key “O0001” corresponding to the field value “1000” in the group index table 900) can be searched using the stored field value, and the compression table ( 600), a compressed partition corresponding to the storage key (eg, a compressed partition of "50,000 Rows" corresponding to the storage key "O0001" in the compression table 600) can be searched.
  • FIG. 10 is a diagram showing a second example of the structure of a compressed table according to an embodiment of the present invention
  • FIG. 11 is an index in which a period index table and a group index table are combined according to an embodiment of the present invention. It is a figure which shows the example of the structure of a table.
  • FIG. 10 illustrates another embodiment of generating the compression table 1000 through the table 610 described above with reference to FIG. 6 .
  • the computer device 200 sets the table 610 based on two field values: a field value of the Date field 612 and a field value of the Col1 field 613 of the table 610 that is information about time.
  • Compression partitions can be created by classifying and compressing data records.
  • the computer device 200 compresses data records in which the field value of the Data field 612 is "2002.01” and the field value of the Col1 field 613 is "1000" to form a first compressed partition
  • the Data field A second compression partition is formed by compressing data records in which the field value of 612 is "2002.01” and the field value of the Col1 field 613 is "2000”
  • the field value of the Data field 612 is "2002.02” and the Col1 field
  • a third compression partition is formed by compressing data records in which the field value of 613 is “1000”
  • a data record in which the field value of the Data field 612 is “2002.02” and the field value of the Col1 field 613 is “2000” are compressed to form a fourth compressed partition
  • data records in which the field value of the Data field 612 is "2002.03” and the field value of the Col1 field 613 is “1000” are compressed to form a fifth compressed partition
  • the computer device 200 may generate the compression table 1000 by storing the storage key for uniquely identifying the compressed partition and the corresponding compressed partition in association with each other.
  • the compression table 1000 may include an OBJECT ID field 1010 having a storage key as a field value and a COMPRESSED DATA field 1020 having a compression partition as a field value.
  • FIG. 11 shows an example of an index table 1100 in which a period index table and a group index table are combined.
  • the index table 1100 has a PERIOD field 1110 having information on time as a field value, a PERIOD field 1110 having a field value of the Col1 field 613 as its own field value, and a storage key as a field value. It may include an OBJECT ID field 1130 having .
  • the computer device 200 receives a search condition including time information (eg, “2020.02”) and a field value of the Col1 field 613 (eg, “1000”) as selection information.
  • a storage key that satisfies both information on time and field values included in the search condition in the index table 1100 (for example, the storage key “O0003” of the index table 1100) can be searched, and the searched storage
  • a compressed partition corresponding to the storage key in the compression table 1000 eg, a compressed partition of “30,000 Rows” corresponding to the storage key “O0003” in the compression table 1000
  • FIG. 12 is a flowchart illustrating another example of a process of archiving data through a first function according to an embodiment of the present invention.
  • the process according to the present embodiment may further include step 1210 after step 540 described with reference to FIG. 5 .
  • step 1210 the computer device 200 for each data record included in the table, the primary key (primary key), including the data record key index information that is the position of the data record in the compressed partition including the data record. and a storage key corresponding to the compressed compressed partition including the data record may be linked and stored in the key index table.
  • This step 1210 may be performed using a first function provided by the data archiving system 310 .
  • the data archiving system 310 may provide a first function including a function for controlling the target system 320 to perform step 1210 .
  • the primary key may mean a corresponding value in a field having a value uniquely identified for each record in the database, and may also be referred to as a primary key, primary key, or unique key. Also, one or more primary keys may exist in one table.
  • the key index information is information on where a data record having a specific primary key value is stored in the compression partition. For example, information on a storage order of the 1000th stored data record among information about 100,000 data records included in the compressed partition may be stored as key index information.
  • the reason for storing the primary key in the key index table is so that the table to be searched can be directly searched by the primary key as well as information on other field values and times. That is, when a user inputs a specific primary key and tries to search for a data record having the primary key in the table, the key index table can be used. More specifically, the computer device 200 may search the key index table for key index information and a storage key of a data record having a specific primary key. In this case, the computer device 200 may obtain a compressed partition corresponding to the storage key from the compression table with the obtained storage key, and may search for a specific data record desired by the user in the compressed partition using the key index information. . As already described, the key index information of the key index table may be utilized to identify a data record of a specific condition from among the data records included in the compression partition when restoring a data record of a specific condition to the table.
  • FIG. 13 is a diagram illustrating an example of the structure of a compression table and a key index table according to an embodiment of the present invention.
  • the compression table 1310 includes an OBJECT ID field 1311 having a storage key as a field value, a SEQ field 1312 having a processing order (sequence) of the target table as a field value, and a COMPRESSED DATA field having a compression partition as a field value ( 1313) may be included.
  • the sequence may define a processing order of extracting the parent table first and processing the child table using the extracted data of the parent table when a parent table and a child table exist.
  • the key index table 1320 is a Doc.No. A field 1321, an OBJECT ID field 1322 having a storage key as a field value, and Key Location info having key index information as a field value. field 1323 .
  • key index information 1@1001 “1” before “@” indicates a sequence corresponding to the field value of the SEQ field 1312, and “1001” after “@” indicates data included in the corresponding compressed partition. It may indicate the 1001th data record among the records.
  • the first record of the key index table 1320 has a data record with a primary key of '1', a storage key of 'O0001', and a sequence of '1' among the data records of the compression partition of the 1001th data record. It can indicate that it is included as a record.
  • the data record with the primary key of '2' has the storage key of '0001' and the data record of the 2001th among the data records of the compressed partition whose sequence is '2'. It can indicate that it is included as a record.
  • the key index information may include information on the location of a specific data record in the compressed partition, and a key index table (eg, the key index of FIG. 13 ) including the key index information, the primary key, and the storage key.
  • a key index table eg, the key index of FIG. 13
  • the table 1320 it is possible to reduce the number of data records to be searched according to a user's search condition.
  • the computer device 200 performs a second compression partition with respect to a second compressed partition generated by compressing data records in a linked table connected to a first table (eg, the table described in step 410 ) through a primary key.
  • a first table eg, the table described in step 410
  • sub-index information which is the location of the searched data record in the second compressed partition, is stored in the key index table. It is possible to store more data records with the same primary key on each other.
  • the linked table is a table linked to the first table through a primary key. That is, the primary key may exist in both the first table and the linked table.
  • the second compressed partition may be data generated by compressing data records in the corresponding linked table when a linked table connected to the first table through the primary key exists. At this time.
  • the second compressed partition may be created in the same manner as the compressed partition described above in the description of FIG. 4, and may be stored in the compression table together with a unique storage key like the compressed partition.
  • the sub-index information is information about a location in which a data record having a specific primary key is stored in a certain second compression partition. For example, information about a storage order of a data record stored as the 1000th among information about 100,000 data records included in the second compressed partition may be stored as sub-index information.
  • the computer device 200 may further store sub-index information for data records having the same primary key on the key index table so that the linked table can be searched later.
  • the computer device 200 collects and compresses sub-index information for each of the linked tables, and stores it as new sub-index information in the key index table.
  • the computer device 200 may collect all sub-index information about positions in two or more second compressed partitions for data records having the same primary key in the connection table, and compress the collected values to , can be stored as new sub-index information in the data record including the value of the same primary key in the key index table.
  • FIG. 14 is a diagram showing another example of the structure of a compression table and a key index table according to an embodiment of the present invention.
  • the compression table 1410 includes an OBJECT ID field 1411 having a storage key as a field value, a TABLE field 1412 having a table identifier as a field value, a SEQ field 1413 having a sequence as a field value, and a compression partition field. It may include a COMPRESSED DATA field 1414 having a value.
  • the TABLE field 1412 may include an identifier of a table as a field value, and through this, it is possible to identify from which table the corresponding compressed partition contains the extracted data records.
  • the key index table 1420 has a primary key as a field value of Doc.No. A field 1421, an OBJECT ID field 1422 having a storage key as a field value, and Key Location info having key index information as a field value. Sub Location info having a field 1423 and sub-index information as field values. field 1424 .
  • the data record with the primary key of '1' has the storage key of 'O0001', and the 10,001th data among the data records of the compressed partition whose sequence is '1'. It can indicate that it is included as a record.
  • Sub Location info A field value "TAB1@1001-2/TAB2@2001-3" of the field 1424 indicates a position in the second compressed partition created for the concatenated table of the data record whose primary key is '1'.
  • "TAB1@1001-2/TAB2@2001-3” may mean linked tables connected through the same primary key
  • "@" Subsequent "1001-2” is from the 1001th data record among the data records included in the second compressed partition for the linked table "TAB1", two data records (1,001th data record (first data record) and 1002th data) record (second data record)).
  • "2001-3" after “@” is the 2001-th data record to three data records (the 2001-th data record (the third data record) among the data records included in the second compressed partition for the connection table "TAB2".
  • the 2002-th data record the fourth data record
  • the 2003-th data record the fifth data record
  • FIG. 15 is a diagram illustrating an example of a process of searching for data archived through the second function according to an embodiment of the present invention.
  • the process according to the present embodiment may be performed by the computer device 200 implementing the target system 320 using the second function provided by the data archiving system 310 .
  • the computer device 200 may receive a search condition including selection information of the data record.
  • selection information may include information about an arbitrary field value of a data record to be searched and/or a time of the corresponding data record. Field values and/or time information included in the selection information may be included in the form of a range.
  • the computer device 200 stores selection information included in a search condition from an index table that stores selection information of a data record in a database in association with a storage key that uniquely identifies a compressed partition including the data record. You can search the storage key associated with .
  • the index table can include a group index table and/or a period index table, the group index table can store a specific field value and a storage key in association with it, and the period index table contains information about time and a storage key. It has been described that the storage is linked with . Accordingly, the computer device 200 can retrieve the storage key corresponding to the field value and/or time information included in the selection information from the group index table and/or the period index table.
  • the computer device 200 stores the selection information included as selection information of a search condition in a group index table that stores a storage key and an arbitrary field value in association. You can search the stored key associated with the field value of .
  • the selection information includes information on the time of the data record
  • the computer device 200 stores the information on the storage key and time in association with the time included as selection information of the search condition in the period index table. You can search for a storage key linked to information about
  • the computer device 200 may search for a compressed partition associated with the searched storage key from a compression table that stores the storage key in association with the compressed partition.
  • the compression table stores the compressed partition in association with the storage key that uniquely identifies the compressed partition, so that the computer device 200 can retrieve the compressed partition from the compression table through the storage key. do.
  • the key index table includes the primary key, key index information, which is the location of the corresponding data record in the compressed partition including the data record, and the corresponding data record for each data record included in any table on the database. It can be stored in association with a storage key corresponding to the compressed compressed partition including the data record.
  • the computer device 200 may search the key index table for key index information and storage key linked to the primary key further included in the search condition. Thereafter, the computer device 200 can search for a specific data record according to the search condition from the compressed partition searched for in step 1530 based on the searched key index information and the storage key.
  • the key index table is the sub that is the position of the data record in the second compressed partition with respect to the second compressed partition created by compressing the data record in the linked table when there is a linked table connected to an arbitrary table through the primary key. It may further include index information. Accordingly, when the search condition further includes the primary key, the computer device 200 may further search the key index table for sub-index information linked to the primary key further included in the search condition, and the second compressed partition and sub By further searching for data records according to the search condition in the second compressed partition based on the index information, for a specific data record, not only the field values of the first table to be searched, but also the first table and the linked table connected with the primary key. Field values can also be obtained.
  • the compression table may include a compression table of a database of the computer device 200 and another computer device connected through a network.
  • the computer device 200 may retrieve the compressed partition associated with the storage key retrieved in step 1520 from the compression table of the database of another computer device through the network in step 1530 .
  • steps 1510 to 1530 may be performed using the second function provided by the data archiving system 310 .
  • the data archiving system 310 may provide a second function including a function for controlling the target system 320 to perform steps 1510 to 1530 .
  • 16 and 17 are diagrams illustrating examples of searching for archived data according to an embodiment of the present invention.
  • FIG. 16 shows an example of retrieving archived data from the compression table 1620 through the query 1610 .
  • the compression table 1620 is combined with the index table, and the PERIOD field 1621 , the COL1 field 1622 , the TABLE field 1623 , the OBJECT ID field 1624 , and the SEQ field 1625 . and a COMPRESSED DATA field 1626 .
  • the PERIOD field 1621 and the COL1 field 1622 may exist in a separate index table.
  • an OBJECT ID field 1624 may exist in each of the two tables.
  • the TABLE field 1623 and the SEQ field 1625 may also exist in the index table.
  • the query 1610 may mean a command to search for data records in which the field value of the PERIOD field 1621 is “2002.01” and the field value of the COL1 field 1622 is “1000” from the table “TAB1”. .
  • the computer device 200 may confirm that the data record corresponding to the query 1610 in the compression table 1620 is a compressed partition stored in the COMPRESSED DATA field 1626 of the first record of the compression table 1620 . Accordingly, the computer device 200 may decompress the corresponding compressed partition and provide data records (“50,000 rows” of data records) included in the corresponding compressed partition as a result of the search.
  • FIG. 17 shows an example of retrieving archived data from the compression table 1620 through the query 1710 .
  • the key index table 1720 may be utilized.
  • the key index table 1720 is Doc.No. Field 1721, OBJECT ID field 1722, Key Location Info. field 1723 and Sub Location Info. It contains a field 1724 .
  • the query 1710 returns the Doc.No. It may mean a command to search for a data record in which the field value of the field 1721 is '1'.
  • the computer device 200 in the key index table 1720 Doc.No. You can check the first record in which the field value of the field 1721 is '1', and the Sub Location Info of the first record.
  • Data records having a primary key of '1' may be retrieved from the compression table 1620 through the field value of the field 1724 .
  • the computer device 200 may have Doc.No.
  • the primary key is stored in the compression table 1620 through the sub-index information "TAB1@1001-2/TAB2@2001-3" of the first record of the key index table 1720 in which the field value of the field 1721 is '1'.
  • Data records that are '1' can be extracted. In this case, it is possible to quickly and easily search for data records having a value of a specific primary key without searching all the data records of the compressed partitions through the position included in the sub-index information.
  • the data archiving system 310 utilizes the data inquiry log, and another system (eg, a cloud storage system) external to the target system 320 includes the storage system 330 .
  • data in the target system 320 and the storage system 330 may be optimized.
  • the data archiving system 310 may include (1) past table access logs for a database on-premise (on-premise, owned and operated by the company as its own facility, not in a cloud environment), (2) past table access Data capacity between the target system 320 and the storage system 330 by analyzing at least one of the access amount predicted using machine learning based on the log and (3) the access log after the conversion of the data to the storage system 330 and continuously optimize user access speed.
  • 18 is a diagram illustrating an example of a process for effectively storing data according to an embodiment of the present invention.
  • 18 shows a target system 320 and a cloud system 1810 .
  • both the storage system 330 and the data archiving system 310 may be implemented on the cloud system 1810 .
  • the data archiving system 310 may differentially manage storage classes according to the data usage rate.
  • the data archiving system 310 may provide a function for controlling the target system 320 to transmit data based on a data usage rate in an on-premises database to the target system 320 .
  • the data archiving system 310 analyzes the data usage status of the target system 310 through this function, separates the data into each class, and then separates the data into each class before transmitting the data to the cloud system 1810 .
  • the cloud system 1810 may also include class storage for each class, and data of a class corresponding to a specific class storage may be stored.
  • the data archiving system 310 may monitor, separate, and store the usage status of data transmitted to the cloud system 1810 by business object and period. For example, the data archiving system 310 may manage storage based on a data usage rate in the storage of the cloud system 1810 .
  • the data archiving system 310 controls to transmit the data usage status of the target system 320 to the cloud system 1810, analyzes the utilization of data using machine learning, and then stores it in each class storage. have.
  • the data archiving system 310 may control the target system 310 to transfer the data usage status within the enterprise to the cloud system 1810 for a certain period, and based on the application of machine learning to the transferred data usage status data usage rate can be predicted.
  • the data archiving system 310 may process data transfer between the target system 320 and the cloud system 1810 so that data can be optimized based on the predicted data usage rate.
  • data whose data usage rate is greater than or equal to the first threshold may be transferred to the storage (database 321) of the target system 320
  • data having a data usage rate of less than or equal to the second threshold value among data stored in the storage of the target system 320 may be transferred to the storage of the cloud system 1810 .
  • Data transfer may require compression or decompression of the data described above through the embodiments of FIGS. 3 to 17 .
  • the data archiving system 310 continuously optimizes storage based on the data usage status (past) of the target system 320, the data usage status (current) of the cloud system, and the data usage rate (future) predicted by machine learning. can be done
  • the data archiving system 310 may provide a function for optimizing the performance of the target system 320 .
  • a case in which the target system 320 is located in the form of an instance in a cloud environment may be considered.
  • the data archiving system 310 is the database capacity of the target system 320 . It is possible to monitor the overall performance (CPU, memory usage, system response speed, etc.) of the target system 320 located in the form of an instance in the cloud environment based on the By changing the specifications of the system 320 , the cost of the target system 320 may be reduced.
  • the data archiving system 310 may provide an instance optimization function in consideration of CPU and memory efficiency rather than data volume optimization. To this end, the data archiving system 310 may examine the possibility of optimizing additional resources due to a reduction in data volume. As a more specific example, the data archiving system 310 analyzes the technical BOM (Bill of Material) and the internal structure of the program that have been frequently used for a recent period of time (eg, one year) to determine the time for each flow. can be measured, and by reducing the processing time of database-related logic, it is possible to reduce specifications such as CPU and memory. In addition, the data archiving system 310 may change the instance for the implementation of the target system 320 to an instance economically one step lower than the class of the initially set instance. In addition to the technical BOM and the internal structure of the program, system response rate, CPU usage rate, processing time, database response time, etc. can be utilized to measure the time for each flow.
  • system response rate, CPU usage rate, processing time, database response time, etc. can be utilized to measure
  • the data archiving system 310 may provide a data de-identification function.
  • de-identification may be required by business and/or legal requirements.
  • de-identification may be required to utilize the data archived in the storage system 330 in a system other than the target system 320 .
  • 19 is a diagram illustrating an example of a method of de-identifying data according to an embodiment of the present invention.
  • FIG. 20 is a diagram illustrating another example of a data archiving method according to an embodiment of the present invention.
  • the data archiving method according to this embodiment may be performed by the computer device 200 implementing the data archiving system 310 described above.
  • the processor 220 of the computer device 200 may be implemented to execute a control instruction according to a code of an operating system included in the memory 210 or a code of at least one computer program.
  • the processor 220 causes the computer device 200 to perform the steps 2010 to 2020 included in the method of FIG. 20 according to a control command provided by the code stored in the computer device 200 .
  • the computer program may correspond to the above-described archiving solution program.
  • the computer device 200 may compress and store at least a portion of data stored in a database included in the target system in a database or a table of another database.
  • the target system may correspond to the target system 320 described above
  • the database may correspond to the database 321 .
  • the other database may include a database included in an external system of the target system (eg, a data archiving system 310 separate from the target system 310 or a third-party system).
  • a method of compressing and storing data in a table has been previously described in detail with reference to FIGS. 3 to 14 , and a method of retrieving compressed and stored data in a table is described in detail with reference to FIGS. 15 to 19 . Compressing and storing data in a table is primary archiving.
  • the capacity of the data stored in the database included in the target system can be greatly reduced, while the computer device 200 can easily and quickly search for desired data from the archived data. Thereafter, as the need for searching for the primary archived data is reduced, the primary archived data on the table may be secondary archived as a file.
  • the computer device 200 may store at least a portion of data compressed and stored in a table according to a preset condition as a file.
  • the preset condition is a first condition in which a secondary archiving command from an administrator of the target system is received, a second condition in which the storage period of data compressed and stored in the table elapses, and compressed in the table for a predetermined first period.
  • At least one of a third condition in which a search request for stored data does not occur and a fourth condition in which a search request for a table compressed and stored in the table is less than or equal to a predetermined number during a predetermined second period may be included.
  • the secondary archiving command may be an explicit command to store at least a portion of the data compressed and stored in the table as a file.
  • the computer device 200 may store the data specified by the archiving command as a file for secondary archiving.
  • a storage period may be set for data compressed and stored in the table in relation to the second condition.
  • the computer device 200 may store data whose storage period has elapsed among data compressed and stored in the table as a file for secondary archiving.
  • the computer device 200 may store data for which a search request has not occurred during the first period among data compressed and stored in the table as a file, and may be secondary archived.
  • the computer device 200 may store, as a file, data for which the number of times a search request is less than or equal to a preset number of times during the second period, among data compressed and stored in the table, for secondary archiving.
  • data archiving system 310 previously utilizes the data inquiry log, in an embodiment in which another system (eg, a cloud storage system) external to the target system 320 includes the storage system 330 . It has been described that data of the target system 320 and the storage system 330 can be optimized.
  • the data archiving system 310 records (1) a past table access log for a database on-premise (on-premise, which the company has and operates as its own facility, not a cloud environment), and (2) a past table access log.
  • Data capacity and user between the target system 320 and the storage system 330 by analyzing at least one of the access amount predicted using machine learning based on the basis and (3) the access log after the data conversion to the storage system 330 It was explained that the connection speed can be continuously optimized.
  • the computer device 200 may process secondary archiving based on the amount of access predicted through such machine learning.
  • the preset condition may include a condition in which the predicted access amount is equal to or less than a threshold value.
  • the computer device 200 may store the file in a local storage of the target system in step 2020 or a storage included in an external system (eg, a file server or a cloud server) of the target system. If there is a search request for data stored as a file and secondary archived, the data (compressed data) stored in the file is restored back to the table, and then the search method described above with reference to FIGS. 15 to 19 is used. Thus, desired data can be searched.
  • an external system eg, a file server or a cloud server
  • steps 2010 and 2020 may be a process in which the computer device 200 provides a function so that the target system processes the primary archiving and the secondary archiving.
  • the computer device 200 provides a function for controlling the target system to compress and store at least some of the data stored in the database included in the target system in step 2010 in a database or a table of another database.
  • a function for controlling the target system to store at least a portion of the data compressed and stored in the table as a file according to a preset condition may be provided.
  • the data archiving system 310 may transmit the archiving data to the storage system 330 for storage of the archiving data of the target system 320 .
  • the data archiving system 310 may optimize the transmission of the archiving data.
  • Archiving target data stored in the database 321 of the target system 320 may be grouped into objects that are the minimum process processing unit based on dependencies between tables in the database.
  • the dependency between the tables may mean that the two tables each contain data identified through the same key value.
  • data identified through the same key value in tables having dependencies may include at least one different field.
  • the data archiving system 310 may analyze a table in the database 321 to group and classify data into objects.
  • Such an object is a minimum process processing unit and may be composed of one or more tables.
  • the tables of the minimum process processing unit are tables created for material master, customer master, price condition, customer loan, sales order, billing, financial slip, account balance, profitability analysis, interface log, user logon history, etc. may be included, and this minimum process processing unit may be defined in various ways according to the setting in the company that maintains the corresponding database.
  • the data archiving system 310 may classify the object by module.
  • the module may mean an application area according to each process, and these application areas may be variously defined as production, sales, materials, financial accounting, management accounting, infrastructure, communication, industry, and the like. These modules can also be defined in various ways according to the settings in the company that maintains the database.
  • the data archiving system 310 may classify the object by type.
  • Types for classifying objects may include master data, transaction data, configuration data, control data, system data, and the like.
  • master data may refer to data for which the corresponding data is a standard for data generation
  • transaction data may refer to data in which data generation continues with time, organization, and the like.
  • An object may be classified into variously defined types according to the type of data of a table included in the object.
  • the data archiving system 310 may classify the object according to characteristics.
  • the characteristics of an object are, for example, a document that means documents/orders that occur continuously, a status that records the current production status of a product (Status), a history that saves changes to documents, etc. (History) of the customer It may include a summary that records the total amount of transactions for a certain period, and the like.
  • 21 is a diagram illustrating an example of an object according to an embodiment of the present invention.
  • 22 and 23 are diagrams illustrating examples of classifying objects according to an embodiment of the present invention.
  • Fig. 21 shows object 1 (Object#1), table 4 (Table#4) and table 5 (Table#) including table 1 (Table #1), table 2 (Table #2), and table 3 (Table #3).
  • Object 2 (Object #2) including 5) and object 3 (Object #3) including table 6 (Table #6) are shown.
  • Table 1 (Table #1), Table 2 (Table #2), and Table 3 (Table #3) have dependencies
  • Table 4 (Table #4) and Table 5 (Table #5) have dependencies. Able to know.
  • object 1 object 1
  • object 2 object 2
  • object 3 object 3
  • Application Area #2 object 3
  • Classified examples are shown.
  • the application area may correspond to a module.
  • 23 shows an example of a process of classifying an object by module, type, and characteristic. It has been explained that the application area can be defined in various ways, such as production, sales, materials, financial accounting, management accounting, infrastructure, telecommunication, and industry. 23 shows that an object can be classified into one of Application Areas of Production, Sales, Finance, System, and Industry. In addition, it has been described that the types for classifying objects may include master data, transaction data, configuration data, control data, system data, and the like. In the embodiment of FIG. 23 , an object is selected from among a Transaction data type, a Master data type, a Customizing data type, a Temporary data type, a Control data type, and a System data type. indicates that they can be classified as one.
  • Period Sum. As a summary frequency of the period summary (Period Sum.), it can be subdivided into a day/week summary (Day/Week Sum.), a month summary (Month Sum.), and a year summary (Year Sum.). represents As such, classification of objects may be made in various ways according to the settings of a company that maintains a corresponding database.
  • FIG. 24 is a diagram illustrating another example of a data archiving method according to an embodiment of the present invention.
  • the data archiving method according to this embodiment may be performed by the computer device 200 implementing the data archiving system 310 described above.
  • the processor 220 of the computer device 200 may be implemented to execute a control instruction according to a code of an operating system included in the memory 210 or a code of at least one computer program.
  • the processor 220 causes the computer device 200 to perform the steps 2410 to 2470 included in the method of FIG. 24 according to a control command provided by the code stored in the computer device 200 .
  • the computer program may correspond to the above-described archiving solution program.
  • the computer device 200 may group the archiving target data into objects that are the minimum process processing unit based on the dependency between tables in the database 321 of the target system 320 . These objects have already been described in detail with reference to FIGS. 21 to 23 .
  • the computer device 200 may define a transmission scenario of the archiving data according to the business type.
  • business types may include finance, cost, sales, purchasing, personal information, production, sales, materials, quality, systems, and the like.
  • the computer device 200 may divide and define a transmission scenario into a plurality of small groups in consideration of the network bandwidth. Archiving data may be too large to transfer the entire data at once through one transfer scenario. Accordingly, when the network bandwidth is small, the computer device 200 may divide the archiving data by dividing the transmission scenario into a plurality of small groups. In this case, as the network bandwidth decreases, the transmission scenario may be divided so that the number of small groups increases.
  • the computer device 200 may allocate an object to a transmission scenario.
  • a transmission scenario is defined by being divided into a plurality of small groups
  • the computer device 200 may divide and allocate an object into a plurality of small groups.
  • a small group to which the object is allocated may be determined by considering at least one of a module, a type, and a characteristic of the object.
  • the computer device 200 may process a transmission simulation for a transmission scenario. If a transmission scenario is divided into a plurality of small groups and defined, the computer device 200 may process a transmission simulation for each small group of the transmission scenario. For example, the computer device 200 may check a transmission time for each object through transmission simulation, and may predict an optimal time for subsequent actual transmission for each object.
  • the computer device 200 may determine the transmission capacity according to at least one of a charging system and characteristics of an external system including the storage system 300 .
  • the computer device 200 transmits at least a portion of the data stored in the target system 320 to the storage system 330 for archiving, preferably in the process of processing the transmission simulation of step 2430 .
  • the data transmission capacity may be determined according to system characteristics and charging characteristics of the transmission receiving side (external system including the storage system 330 ). For example, if the external system is a cloud system and utilizes the PaaS (Platform as a Service) function of the cloud (API gateway or SQS (Simple Queue Service), etc.), data is transmitted according to the maximum processing capacity of the function.
  • PaaS Platinum as a Service
  • API gateway or SQS Simple Queue Service
  • the computer device 200 may determine the transmission capacity according to the maximum processing capacity of a PaaS (Platform as a Service) function provided by the cloud system as a characteristic of an external system including a storage system. As another example, the computer device 200 may determine the number of transmissions or one transmission capacity so that the charging cost is minimized according to the charging system of the external system including the storage system. As a more specific example, when billing is performed according to the number of transmissions to the actual transmission receiving side, the number of transmissions is minimized, thereby reducing the charging cost.
  • PaaS Platinum as a Service
  • the inquiry capacity may be determined according to at least one of characteristics of an external system including the storage system 330 and a billing system.
  • the computer device 200 determines the inquiry capacity according to the maximum processing capacity of the PaaS (Platform as a Service) function provided by the cloud system, or the charging cost according to the charging system of the external system including the storage system. The number of receptions or one reception capacity may be determined so that this is minimized.
  • PaaS Platinum as a Service
  • the computer device 200 may reallocate the object for each sub-classification of the transmission scenario according to the determined transmission capacity. In other words, when the simulation result for the cost is derived as in step 2450 in the process of processing the transport simulation, the computer device 200 may reallocate the object to the transport scenario so that the cost can be minimized.
  • the computer device 200 may process actual transmission of an object according to a transmission scenario.
  • the computer device 200 may optimize the overall end time by considering the optimal prediction time for each object for transmission according to the result of the transmission simulation processed in step 2430 .
  • the transmission order of objects may be arranged so that a small group/object that takes the least time is transmitted first, based on the small group/object that takes the longest transmission time.
  • the computer device 200 can control the data to be stored in the storage system 330 by classifying the data storage location for each data type, and the number of transmissions and the execution time can be checked in real time through the transmission status monitoring tool. .
  • the computer device 200 may update the extraction progress on the transmission performance map, and when an error occurs, proceed from the order after completion to maintain speed and integrity.
  • Data transmission may be performed by selecting a streaming method or object unit transmission.
  • the computer device 200 checks whether the data for each scenario and/or small group transmitted from the target system 320 has been transferred to the storage system 330, and then the object capacity for each transmission scenario and/or small group. And it is possible to verify the transmission process of the archive data by comparing the flow status table and the transmitted data.
  • data may be transmitted in a 1:1 relationship or may be simultaneously transmitted to different servers in a 1:N relationship.
  • a transmission history status table may be configured for each server.
  • 25 is a diagram illustrating an example of a multi-cloud management system according to an embodiment of the present invention. 25 illustrates a multi-cloud management system 2510 , a plurality of customers 2520 , and a plurality of cloud systems 2530 .
  • the plurality of customers 2520 may correspond to systems of different customers, and each of these systems may correspond to the target system 320 .
  • the plurality of cloud systems 2530 may correspond to systems of different cloud service providers.
  • the multi-cloud management system 2510 may not simply provide an archiving service to different customers using different cloud systems, but may provide converged services provided by a plurality of cloud systems 2530 to the same customer. have.
  • the multi-cloud management system 2510 may simultaneously utilize an IaaS (Infrastructure-as-a-Service) platform of two or more different cloud systems, or an IaaS platform of one cloud system and a SaaS of another cloud system. (Software-as-a-Service) platform can be utilized simultaneously.
  • IaaS Infrastructure-as-a-Service
  • SaaS SaaS of another cloud system.
  • Each of the cloud services provided by the plurality of cloud systems 2530 may have advantages.
  • Amazon's Azure has the advantage of providing easy-to-set UI/UX
  • Google's Google Cloud Platform has the advantage of providing a global network infrastructure specialized for machine learning.
  • the multi-cloud management system 2510 may plan a service by collecting advantages of each cloud service to suit the requirements of the enterprise.
  • Multi-cloud management system 2510 as shown in Figure 25, cloud data management platform (Cloud Data Management Platform, CDMP, 2511), cloud data service broker (Cloud Data Service Broker, CDSB, 2512) and multi-cloud data OK It may include a Stratification Platform (Multi Cloud Data Orchestration Platform, MCDOP, 2513).
  • cloud data management platform Cloud Data Management Platform, CDMP, 2511
  • cloud data service broker Cloud Data Service Broker, CDSB, 2512
  • multi-cloud data OK It may include a Stratification Platform (Multi Cloud Data Orchestration Platform, MCDOP, 2513).
  • MCDOP Multi Cloud Data Orchestration Platform
  • the CDMP 2511 may provide a service for monitoring data usage status and cost in each of the plurality of cloud systems 2530 .
  • the CDSB 2512 may provide a simulation service in consideration of data storage between a plurality of cloud systems 2530 , CPU efficiency, memory optimization, and network speed optimization.
  • the MCDOP 2513 may provide a service for managing data transmission between the plurality of cloud systems 2530 . Also, the MCDOP 2513 may provide a service for cleansing data of a previous cloud system after data transmission from one cloud system to another cloud system. In addition, the MCDOP 2513 may provide a service for checking the available region of the cloud system by reflecting the data transmission policy of a specific country.
  • multi-cloud can help create more resilient and flexible services/applications, leveraging all the new technologies of various commercial cloud providers can For example, you can select AWS (Amazon Web Service) as a general-purpose cloud infrastructure, and at the same time use Office 365 as a public and private cloud suitable for various tasks.
  • AWS Amazon Web Service
  • Office 365 as a public and private cloud suitable for various tasks.
  • the utilization of such multi-cloud can provide the ability to easily prepare for the failure of the cloud server running the main service because it enables quick and easy disaster recovery by shifting processing to another vendor.
  • FIG. 26 is a flowchart illustrating an example of a data archiving method using a multi-cloud according to an embodiment of the present invention.
  • the data archiving method according to this embodiment may be performed by the computer device 200 implementing the data archiving system 310 described above.
  • the data archiving system 310 may include the multi-cloud management system 2510 described above with reference to FIG. 25 .
  • the processor 220 of the computer device 200 may be implemented to execute a control instruction according to a code of an operating system included in the memory 210 or a code of at least one computer program.
  • the processor 220 causes the computer device 200 to perform steps 2610 to 2640 included in the method of FIG. 26 according to a control command provided by the code stored in the computer device 200 .
  • the computer program may correspond to the above-described archiving solution program.
  • the computer device 200 may monitor the data usage status and cost of each of the cloud systems of two or more different cloud service providers.
  • Data archived from one target system 320 may be stored in two or more cloud systems, and the computer device 200 provides information on the data usage status in each of these two or more cloud systems and costs incurred therefrom. may be monitored and provided to an administrator (eg, a customer) of the target system 320 .
  • the computer device 200 may process a service simulation using cloud systems.
  • data storage between cloud systems, CPU efficiency, memory optimization, network speed optimization, and the like may be considered in the service simulation.
  • the service simulation is a combination of infrastructure, software, and the like provided by each of the cloud systems, and may include a simulation that virtually processes data archiving according to a customer request. Through this, it is possible to derive which combination of services of cloud systems is suitable for customer needs.
  • the computer device 200 may manage data transmission between cloud systems. If necessary, the customer's data needs to be transferred between two or more cloud systems. For example, if it is determined that it is advantageous in terms of cost to transfer the customer's archiving data stored in the first cloud system to the second cloud system, the customer's archiving data can be transferred from the first cloud system to the second cloud system. have.
  • the computer device 200 may manage data transmission between these cloud systems. For example, after receiving and storing the customer's archiving data stored in the first cloud system in the computer device 200, the stored archiving data may be transmitted to the second cloud system.
  • the computer device 200 may process data cleansing in the first cloud system after data is transmitted from the first cloud system to the second cloud system among the cloud systems. After the customer's archiving data is transferred from the first cloud system to the second cloud system, since the customer's archiving data should not remain in the first cloud system, the computer device 200 maintains the customer's archiving data remaining in the first cloud system. Cleansing of data can be handled.
  • the characteristics of the storage system and the billing system By determining the transmission capacity or the inquiry capacity according to at least one of them, it is possible to reduce the cost at the time of transmission or inquiry of archiving data.
  • the system or apparatus described above may be implemented as a hardware component or a combination of a hardware component and a software component.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • the software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the medium may be to continuously store a computer executable program, or to temporarily store it for execution or download.
  • the medium may be various recording means or storage means in the form of a single or several hardware combined, it is not limited to a medium directly connected to any computer system, and may exist distributed on a network.
  • Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like.
  • examples of other media may include recording media or storage media managed by an app store that distributes applications, sites that supply or distribute various other software, and servers.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

대상 시스템에 저장된 데이터 중 적어도 일부를 저장 시스템으로 아카이빙하기 위해 전송하는 과정 또는 저장 시스템에 아카이빙된 데이터를 조회하는 과정에서, 저장 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 전송 용량 또는 조회 용량을 결정함으로써, 아카이빙 데이터의 전송 또는 조회시의 비용을 줄일 수 있는 데이터 아카이빙 방법 및 시스템을 제공한다.

Description

데이터의 전송 및 조회 시의 비용을 최소화하기 위한 데이터 아카이빙 방법 및 시스템
아래의 설명은 데이터의 전송 및 조회 시의 비용을 최소화하기 위한 데이터 아카이빙 방법 및 시스템에 관한 것이다.
최근 데이터관련 규제의 강화, 의료산업의 성장과 환자의 데이터 저장 관리의 중요성 증대, 기업 내 데이터 관리에 대한 관심이 높아지면서 데이터 아카이빙에 대한 연구의 필요성이 증대되고 있다. 예를 들어, 데이터 관련 규제의 관점에서 금융 거래 데이터, 의료 정보와 같은 데이터들은 소비자 권리 보호를 위하여 수년에서 수십 년 동안 데이터를 보관하도록 법으로 규정되어 있는바, 각종 데이터 관련 규제로 인해 장기간 데이터 저장이 필요하다. 또한, 의료 산업 분야에서 영상진단 의존도 상승에 따라 의료 영상 데이터량이 증가함에 따라, 데이터의 보관, 관리를 위한 스토리지 및 백업 수요를 포함하여, 증가한 데이터 관리를 위한 아카이빙 시스템 필요성이 높아지고 있다. 또한, 기업 내 데이터 관리의 관점에서 기업에서 송수신되는 방대한 양의 데이터를 서버에 보관하고, 서버에 저장된 데이터를 실시간 복구, 백업하는 작업뿐만 아니라, 보안상 중요한 데이터를 보안, 관리하는 기능이 중요해지고 있다. 한편, 제조업의 자동화의 관점에서 전통적으로 노동집약적인 제조업체들이 중국, 인도 등 저임금 국가로 공장을 이전하였으나 로봇 기술의 발전으로 생산의 효율성과 품질이 향상된 융합형 로봇 공장을 구축하여 공정 자동화를 가속화 하고 있다.
4차 산업혁명 시대가 도래하면서 빅데이터 분야가 주목받고 있으나, 현재 국내 빅데이터 분야는 서버, 스토리지, 네트워크 등의 인프라 투자에 집중되어 있는 양상인바, 향후 아카이빙 기술 개발을 통하여 인프라에 대한 투자를 분산시켜 소프트웨어 및 서비스 분야로의 발전 기회의 확대가 필요하다. 이에 기존 대비 높은 데이터 압축률, 압축 속도를 가지고, 데이터 조회가 신속하게 이루어지는 아카이빙 기술의 개발에 대한 수요가 증대되고 있는 실정이다.
[선행기술문헌]
대한민국 공개특허 제2014-0072929호(발명의 명칭: 아카이빙 작업수행 자동화 방법, 공개일자: 2014년 6월 16일)
대상 시스템에 저장된 데이터 중 적어도 일부를 저장 시스템으로 아카이빙하기 위해 전송하는 과정 또는 저장 시스템에 아카이빙된 데이터를 조회하는 과정에서, 저장 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 전송 용량 또는 조회 용량을 결정함으로써, 아카이빙 데이터의 전송 또는 조회시의 비용을 줄일 수 있는 데이터 아카이빙 방법 및 시스템을 제공한다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 데이터 아카이빙 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 대상 시스템에 저장된 데이터 중 적어도 일부를 저장 시스템으로 아카이빙하기 위해 전송하는 과정 또는 상기 저장 시스템에 아카이빙된 데이터를 조회하는 과정에서, 상기 저장 시스템을 포함하는 외부 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 전송 용량 또는 조회 용량을 결정하는 단계를 포함하는 데이터 아카이빙 방법을 제공한다.
일측에 따르면, 상기 데이터 아카이빙 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 대상 시스템의 데이터베이스 내의 테이블간의 종속성을 기준으로 아카이빙 대상 데이터를 최소 프로세스 처리 단위인 오브젝트로 그룹화하는 단계; 상기 적어도 하나의 프로세서에 의해, 비즈니스 유형에 따라 아카이빙 데이터의 전송 시나리오를 소분류별로 분할하여 정의하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 전송 시나리오의 소분류별로 오브젝트를 할당하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 소분류별로 전송 시뮬레이션을 처리하는 단계를 더 포함할 수 있다.
다른 측면에 따르면, 상기 데이터 아카이빙 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 결정된 전송 용량에 따라 상기 전송 시나리오의 소분류별로 오브젝트를 재할당하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 외부 시스템은 클라우드 시스템을 포함하고, 상기 결정하는 단계는, 상기 저장 시스템을 포함하는 외부 시스템의 특성으로서 상기 클라우드 시스템이 제공하는 PaaS(Platform as a Service) 기능의 최대 처리 가용량에 따라 상기 전송 용량 또는 상기 조회 용량을 결정하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 결정하는 단계는, 상기 저장 시스템을 포함하는 외부 시스템의 과금 체계에 따라 과금 비용이 최소화되도록 전송 횟수, 수신 횟수, 1회의 전송 용량 또는 1회의 수신 용량을 결정하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 외부 시스템은 서로 다른 둘 이상의 클라우드 서비스 제공자의 클라우드 시스템들을 포함하고, 상기 데이터 아카이빙 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들 각각의 데이터 사용현황 및 비용을 모니터링하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들을 이용한 서비스 시뮬레이션을 처리하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들간의 데이터 전송을 관리하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들 중 제1 클라우드 시스템에서 제2 클라우드 시스템으로 데이터 전송 후, 상기 제1 클라우드 시스템에서의 데이터 클렌징을 처리하는 단계를 더 포함할 수 있다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 데이터 아카이빙 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 서로 다른 둘 이상의 클라우드 서비스 제공자의 클라우드 시스템들 각각의 데이터 사용현황 및 비용을 모니터링하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들을 이용한 서비스 시뮬레이션을 처리하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들간의 데이터 전송을 관리하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들 중 제1 클라우드 시스템에서 제2 클라우드 시스템으로 데이터 전송 후, 상기 제1 클라우드 시스템에서의 데이터 클렌징을 처리하는 단계를 포함하는 데이터 아카이빙 방법을 제공한다.
컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 대상 시스템에 저장된 데이터 중 적어도 일부를 저장 시스템으로 아카이빙하기 위해 전송하는 과정 또는 상기 저장 시스템에 아카이빙된 데이터를 조회하는 과정에서, 상기 저장 시스템을 포함하는 외부 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 전송 용량 또는 조회 용량을 결정하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
대상 시스템에 저장된 데이터 중 적어도 일부를 저장 시스템으로 아카이빙하기 위해 전송하는 과정 또는 저장 시스템에 아카이빙된 데이터를 조회하는 과정에서, 저장 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 전송 용량 또는 조회 용량을 결정함으로써, 아카이빙 데이터의 전송 또는 조회시의 비용을 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 아카이빙을 위한 컴퓨터 시스템의 개괄적인 모습을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 데이터 아카이빙 방법의 예를 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 있어서, 제1 기능을 통해 데이터를 아카이빙하는 과정의 예를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 압축테이블의 구조의 제1 예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 압축테이블의 구조의 제2 예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 기간인덱스테이블의 구조의 예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 그룹인덱스테이블의 구조의 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 압축테이블의 구조의 제2 예를 도시한 도면이다.
도 11은 본 발명의 일실시예에 있어서, 기간인덱스테이블과 그룹인덱스테이블이 결합된 형태의 인덱스테이블의 구조의 예를 도시한 도면이다.
도 12는 본 발명의 일실시예에 있어서, 제1 기능을 통해 데이터를 아카이빙하는 과정의 또 다른 예를 도시한 흐름도이다.
도 13은 본 발명의 일실시예에 따른 압축테이블 및 키인덱스테이블의 구조의 예를 도시한 도면이다.
도 14는 본 발명의 일실시예에 따른 압축테이블 및 키인덱스테이블의 구조의 다른 예를 도시한 도면이다.
도 15는 본 발명의 일실시예에 있어서, 제2 기능을 통해 아카이빙된 데이터를 검색하는 과정의 예를 도시한 도면이다.
도 16 및 도 17은 본 발명의 일실시예에 있어서, 아카이빙된 데이터를 검색하는 예들을 도시한 도면들이다.
도 18은 본 발명의 일실시예에 있어서, 데이터를 효과적으로 저장하기 위한 과정의 예를 도시한 도면이다.
도 19는 본 발명의 일실시예에 있어서, 데이터를 비식별화하는 방법의 예를 도시한 도면이다.
도 20은 본 발명의 일실시예에 따른 데이터 아카이빙 방법의 다른 예를 도시한 도면이다.
도 21은 본 발명의 일실시예에 따른 오브젝트의 예를 도시한 도면이다.
도 22 및 도 23은 본 발명의 일실시예에 따른 오브젝트를 분류한 예들을 도시한 도면들이다.
도 24는 본 발명의 일실시예에 따른 데이터 아카이빙 방법의 또 다른 예를 도시한 도면이다.
도 25는 본 발명의 일실시예에 따른 멀티 클라우드 관리 시스템의 예를 도시한 도면이다.
도 26은 본 발명의 일실시예에 있어서, 멀티 클라우드를 이용한 데이터 아카이빙 방법의 예를 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시예들에 따른 데이터 아카이빙 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 데이터 아카이빙 방법은 데이터 아카이빙 시스템에 포함되는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 데이터 아카이빙 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 데이터 아카이빙 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 아카이빙 서비스, 파일 배포 서비스, 지도 서비스, 컨텐츠 제공 서비스, 그룹 통화 서비스(또는 음성 컨퍼런스 서비스), 메시징 서비스, 메일 서비스, 소셜 네트워크 서비스, 지도 서비스, 번역 서비스, 금융 서비스, 결제 서비스, 검색 서비스 등)를 제공하는 시스템일 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.
이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(230)는 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 3은 본 발명의 일실시예에 있어서, 데이터 아카이빙 시스템의 개괄적인 모습을 도시한 도면이다.
데이터 아카이빙 시스템(310)은 앞서 도 2를 통해 설명한 컴퓨터 장치(200)와 같은 물리적인 장치 또는 복수의 물리적인 장치들의 결합에 의해 구현될 수 있으며, 도 3에 도시된 바와 같이, 데이터 압축 모듈(311), 조회 모듈(312), 디스플레이 및 제어 모듈(313) 및 니어-라인(near-line) 인터페이스 모듈(314)을 포함할 수 있다. 여기서, 데이터 압축 모듈(311), 조회 모듈(312), 디스플레이 및 제어 모듈(313) 및 니어-라인 인터페이스 모듈(314) 각각은 데이터 아카이빙 시스템(310)에 설치된 아카이빙 솔루션 프로그램의 코드에 따라 데이터 아카이빙 시스템(310)을 구현하는 컴퓨터 장치(200)의 프로세서(220)가 수행하는 동작들에 대한 기능적 표현일 수 있다. 일례로, 아카이빙 솔루션 프로그램은 데이터 압축 기능을 제공하기 위한 코드를 포함할 수 있으며, 프로세서(220)는 이러한 코드를 통해 데이터 압축 기능을 제공할 수 있다. 이 경우, 프로세서(220)의 데이터 압축 기능의 제공을 위한 동작(들)에 대한 기능적 표현으로 "데이터 압축 모듈(310)"이 사용될 수 있다.
다시 말해, 데이터 아카이빙 시스템(310)은 컴퓨터 장치(200)에 아카이빙 솔루션 프로그램을 설치 및 구동함에 따라 구현될 수 있다. 예를 들어, 아카이빙 솔루션 프로그램은 클라우드 SaaS(Software as a Service) 형 제품으로 개발되어 다양한 클라우드 벤더의 클라우드 시스템에 등재될 수 있으며, 이후 설명될 대상 시스템(320)으로 아카이빙을 위한 기능들을 제공할 수 있다. 다른 예로, 데이터 아카이빙 시스템(310)은 원격 니어-라인 데이터 아카이빙 기술(아카이빙 솔루션 프로그램)과 하드웨어가 통합된 어플라이언스(appliance) 서버의 형태로 구현될 수도 있다. 어플라이언스 서버의 경우, 제품 형태로 인하여 빠른 딜리버리(delivery)와 유지보수가 용이하여, 일관된 제품 품질 유지와 가격 경쟁력을 제공할 수 있다.
대상 시스템(320)은 역시 도 2를 통해 설명한 컴퓨터 장치(200)와 같은 물리적인 장치 또는 복수의 물리적인 장치들의 결합에 의해 구현될 수 있으며, 도 3에 도시된 바와 같이, 데이터베이스(321), 제어모듈(322) 및 니어-라인 인터페이스 모듈(323)을 포함할 수 있다. 이때, 제어모듈(322) 및 니어-라인 인터페이스 모듈(323) 역시 대상 시스템(320)을 구현하는 컴퓨터 장치(200)의 프로세서(220)가 수행하는 동작들에 대한 기능적 표현일 수 있다.
데이터 아카이빙 시스템(310)과 대상 시스템(320)은 네트워크(일례로, 도 1 및 도 2를 통해 설명한 네트워크(170))를 통해 서로 통신할 수 있으며, 대상 시스템(320)은 제어 모듈(322)의 제어에 따라 니어-라인 인터페이스 모듈(323)을 통해 데이터 아카이빙 시스템(310)이 제공하는 기능을 호출할 수 있다. 이 경우, 데이터 아카이빙 시스템(310)은 대상 시스템(320)으로 대상 시스템(320)이 호출하는 기능을 제공할 수 있다. 예를 들어, 대상 시스템(320)은 전사적 자원 관리(Enterprise Resource Planning, ERP)를 위한 통합정보 시스템일 수 있으며, 니어-라인 인터페이스 모듈(323)은 일례로, SAP ERP를 위한 RFC(Remote Function Call)에 기반할 수 있다.
도 4는 본 발명의 일실시예에 따른 데이터 아카이빙 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 데이터 아카이빙 방법은 앞서 설명한 데이터 아카이빙 시스템(310)을 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 4의 방법이 포함하는 단계들(410 내지 440)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다. 또한, 컴퓨터 프로그램은 앞서 설명한 아카이빙 솔루션 프로그램에 대응될 수 있다.
단계(410)에서 컴퓨터 장치(200)는 데이터를 저장하는 대상 시스템으로부터 원격 기능 호출을 수신할 수 있다. 여기서, 대상 시스템은 도 3을 통해 설명한 대상 시스템(320)에 대응할 수 있으며, 원격 기능 호출은 대상 시스템(320)의 니어-라인 인터페이스 모듈(323)을 통해 발생될 수 있다.
단계(420)에서 컴퓨터 장치(200)는 원격 기능 호출에 응답하여, 대상 시스템에 저장된 데이터 중 적어도 일부를 저장 시스템으로 아카이빙하기 위한 제1 기능을 네트워크를 통해 대상 시스템으로 제공할 수 있다.
예를 들어, 다시 도 3을 참조하면, 데이터 아카이빙 시스템(310)은 대상 시스템(320)의 호출에 따라 대상 시스템(320)의 데이터베이스(321)에 저장된 데이터의 적어도 일부를 저장 시스템(330)으로 아카이빙하기 위한 제1 기능을 네트워크를 통해 대상 시스템(320)으로 제공할 수 있다.
여기서 저장 시스템(330)은 실시예에 따라 대상 시스템(320)에 포함되는 로컬 데이터베이스(일례로, 데이터베이스(321))이거나, 대상 시스템(320)의 외부 데이터베이스이거나, 및/또는 대상 시스템(320)의 외부 시스템(일례로, 파일 서버 또는 클라우드 서버)이 포함하는 저장소일 수 있다.
예를 들어, 데이터 아카이빙 시스템(310)은 제1 기능으로서, 대상 시스템(320)의 데이터베이스(321)에 저장된 데이터 중 적어도 일부를 압축하여 데이터베이스(321)의 테이블에 아카이빙하기 위한 기능을 제공할 수 있다. 이 경우, 압축된 데이터가 파일의 형태로 저장되는 것이 아니라 대상 시스템(320)의 데이터베이스(321)의 테이블에 저장되기 때문에 아카이브 속도가 빠르며, 데이터 조회 속도 역시 향상될 수 있다.
다른 예로, 데이터 아카이빙 시스템(310)은 제1 기능으로서, 대상 시스템(320)의 데이터베이스(321)에 저장된 데이터 중 적어도 일부를 압축하여 대상 시스템(320)의 외부 데이터베이스의 테이블에 아카이빙하기 위한 기능을 제공할 수 있다. 예컨대, 데이터 아카이빙 시스템(310)의 관점에서 대상 시스템(320)을 클라이언트라 가정할 때, 데이터 아카이빙 시스템(310)은 압축된 데이터를 다른 클라이언트가 포함하는 데이터베이스의 테이블에 저장할 수 있다.
또 다른 예로, 데이터 아카이빙 시스템(310)은 제1 기능으로서, 대상 시스템(320)의 데이터베이스(321)에 저장된 데이터 중 적어도 일부를 파일로 압축하여 대상 시스템(320)의 외부 시스템이 포함하는 저장소에 아카이빙하기 위한 기능을 제공할 수 있다. 예컨대, 데이터 아카이빙 시스템(310)이 클라우드 시스템 내에 구현된 경우, 데이터 아카이빙 시스템(310)은 압축된 데이터를 포함하는 파일을 클라우드 시스템의 저장소에 저장할 수 있다.
보다 구체적인 예로, 데이터 아카이빙 시스템(310)은 디스플레이 및 제어 모듈(313)을 통해 대상 시스템(320)으로 아카이빙 서비스를 위한 보존주기 관리, 아카이빙 구성, 아카이빙 실행, 모니터링, 데이터 조회 및 데이터 관리 기능 등을 제공하기 위한 사용자 인터페이스를 제공할 수 있다.
이때, 디스플레이 및 제어 모듈(313)을 통해 제공된 사용자 인터페이스를 통해 아카이빙의 실행이 요청되면, 데이터 아카이빙 시스템(310)은 데이터 압축 모듈(311)을 통해 설정된 아카이빙 구성에 따라 대상 시스템(320)의 데이터베이스(321)에 저장된 데이터의 적어도 일부를 저장 시스템(330)으로 아카이빙 하기 위한 제1 기능을 대상 시스템(320)으로 제공할 수 있다. 다시 말해, 대상 시스템(320)은 데이터 아카이빙 시스템(310)이 제공하는 제1 기능에 따라 자신의 데이터베이스(321)에 저장된 데이터 중 적어도 일부를 저장 시스템(330)으로 아카이빙할 수 있다.
단계(430)에서 컴퓨터 장치(200)는 저장 시스템에 아카이빙된 데이터의 조회를 위한 제2 기능을 네트워크를 통해 대상 시스템으로 제공할 수 있다. 이러한 제2 기능 역시 대상 시스템으로부터의 원격 기능 호출에 의해 제공될 수 있다.
예를 들어, 다시 도 3을 참조하면, 데이터 아카이빙 시스템(310)은 대상 시스템(320)의 호출에 따라 저장 시스템(330)에 아카이빙된 데이터의 조회를 위한 제2 기능을 네트워크를 통해 대상 시스템(320)으로 제공할 수 있다.
만약, 디스플레이 및 제어 모듈(313)을 통해 제공된 사용자 인터페이스를 통해 데이터 조회가 요청되면, 데이터 아카이빙 시스템(310)은 조회 모듈(312)을 통해 저장 시스템(330)에 아카이빙된 데이터의 조회를 위한 제2 기능을 대상 시스템(320)으로 제공할 수 있다. 다시 말해, 대상 시스템(320)은 데이터 아카이빙 시스템(310)이 제공하는 제2 기능에 따라 저장 시스템(330)에 아카이빙된 데이터를 조회할 수 있다.
이처럼, 대상 시스템(320)은 별도의 하드웨어를 추가할 필요 없이, 데이터 아카이빙 시스템(310)이 제공하는 기능들을 이용하여 데이터베이스(321)에 저장된 데이터를 아카이빙할 수 있다.
앞서 설명한 바와 같이, 데이터 아카이빙 시스템(310)이 제공하는 제1 기능은 압축된 데이터를 데이터베이스(대상 시스템(320)의 데이터베이스(321) 또는 외부 데이터베이스)의 테이블로 저장하여 보관하거나 또는 파일의 형태로 보관하기 위한 기능을 포함할 수 있다. 이때, 데이터베이스의 테이블에 압축되어 보관된 아카이브 데이터도 데이터로서 데이터베이스의 볼륨 증가를 야기시키기 때문에 데이터 아카이빙 시스템(310)은 데이터 수명주기를 관리할 수 있다. 예를 들어, 데이터 아카이빙 시스템(310)은 '데이터베이스 → 데이터 압축 아카이브 → 파일 아카이브 → 아카이브 소산'의 절차로 데이터 수명주기를 관리할 수 있다. 여기서 '데이터베이스'는 데이터가 대상 시스템(320)의 데이터베이스(321)에 저장된 상태로 관리되는 것을 의미할 수 있다. 또한, '데이터 압축 아카이브'는 데이터가 압축되어 데이터베이스(대상 시스템(320)의 데이터베이스(321) 또는 외부 데이터베이스)의 테이블에 압축된 상태로 관리되는 것을 의미할 수 있다. 또한, '파일 아카이브'는 압축 데이터의 보관기간이 경과되면, 데이터베이스의 테이블에 압축된 상태로 관리되는 데이터를 파일로 아카이빙하여 보관하는 것을 의미할 수 있으며, '아카이브 소산'은 파일로 아카이빙된 데이터 중 더 이상 보관의 의미가 없는 데이터를 삭제하는 것을 의미할 수 있다.
'파일 아카이브'는 대상 시스템(320)의 저장소에 이루어질 수도 있으나, 대상 시스템(320)의 외부 시스템의 저장소에 이루어질 수도 있다. 보다 구체적인 예로, 데이터 아카이빙 시스템(310)은 아카이브 데이터를 대상 시스템(320)의 외부에 존재하는 클라우드 시스템으로 전송하기 위해 압축 대상의 추출이 완료된 대상 시스템(320)으로 접속할 수 있다. 이때, 데이터 아카이빙 시스템(310)은 니어-라인 인터페이스 모듈(314)을 통해 대상 시스템을 호출할 수 있다. 이러한 호출은 API 호출에 기반할 수 있으며, 압축된 데이터가 다양한 종류의 스토리지에 저장되어 있을 수 있기 때문에 데이터베이스, 디스크, 파일, 인-메모리(in-memory), 양자메모리(quantum memory), NoSQL, 그래프 데이터베이스(graph-DB), 블록체인 데이터베이스 등의 다양한 종류의 스토리지에 연결 가능하도록 구현될 수 있다. 한편, 데이터 아카이빙 시스템(310)은 재무, 원가, 생산, 판매, 자재, 품질, 시스템 등과 같은 비즈니스 유형에 따라 전송 시나리오를 정의할 수 있다. 실시예에 따라 데이터 아카이빙 시스템(310)은 네트워크 대역폭을 고려하여 전송 시나리오의 소그룹을 생성할 수도 있다. 또한, 데이터 아카이빙 시스템(310)은 전송 시나리오에 오브젝트 할당할 수 있다. 만약, 전송 시나리오의 소그룹들이 존재하는 경우, 데이터 아카이빙 시스템(310)은 전송 시나리오의 소그룹에 추출 완료된 오브젝트를 할당할 수 있다. 또한, 데이터 아카이빙 시스템(310)은 추출 오브젝트를 이진 객체로 변환할 수 있으며, 전송 시나리오별 및/또는 소그룹별 오브젝트 용량 및 수량에 대한 전송 내역 현황표를 구성할 수 있다. 또한, 데이터 아카이빙 시스템(310)은 전송 시뮬레이션을 진행할 수도 있다. 이때, 데이터 아카이빙 시스템(310)은 전송 시나리오별 및/또는 소그룹별로 시뮬레이션 대상 선정하고, 전송 시뮬레이션을 실행하여 각 오브젝트 별로 전송 시간을 확인함에 따라, 이후 전송에서 최적의 시간을 오브젝트 데이터 비율별로 예측할 수 있다. 전송 시뮬레이션 이후, 데이터 아카이빙 시스템(310)은 시나리오 정보, 소그룹 정보, 및/또는 오브젝트 정보를 이용하여 실제 데이터 전송을 실행할 수 있다. 이때, 데이터 아카이빙 시스템(310)은 전송 시뮬레이션 정보를 기초로 하여 가장 전송 시간이 오래 걸리는 소그룹 및/또는 오브젝트를 기준으로 시간이 적게 걸리는 소그룹 및/또는 오브젝트를 배열하여 전체 종료 시간을 최적화할 수 있다. 이 경우, 데이터 아카이빙 시스템(310)은 데이터 성격별 데이터 저장 위치를 구분하여 저장할 수 있으며, 전송 상황 모니터링 툴을 통해 실시간으로 전송건수 및 수행시간을 확인할 수 있다. 또한, 데이터 아카이빙 시스템(310)은 전송 수행 맵에 추출 진행상황을 업데이트하고, 에러 발생 시 완료 이후 순번부터 진행하여 속도 및 무결성 유지할 수 있다. 데이터의 전송은 스트리밍 방식 또는 오브젝트 단위 전송을 선택하여 진행될 수 있다. 또한, 데이터 아카이빙 시스템(310)은 대상 시스템(320)에서 전송한 시나리오별 및/또는 소그룹별 데이터에 대한 저장 시스템(330)으로의 전송이 완료되었는지 확인한 후, 전송 시나리오별 및/또는 소그룹별 오브젝트 용량 및 수향 현황표와 전송된 데이터를 비교하여 아카이브 데이터의 전송 과정을 검증할 수 있다. 이때, 데이터의 전송은 1:1 관계로 전송될 수도 있고, 1:N 관계의 서로 다른 서버들로 동시에 전송될 수도 있다. 이 경우에는 서버별로 전송 내역 현황표가 구성될 수 있다.
도 5는 본 발명의 일실시예에 있어서, 제1 기능을 통해 데이터를 아카이빙하는 과정의 예를 도시한 흐름도이다. 본 실시예에 따른 과정은 데이터 아카이빙 시스템(310)이 제공하는 제1 기능을 이용하여 대상 시스템(320)을 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 5의 방법이 포함하는 단계들(510 내지 550)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다. 여기서, 코드는 데이터 아카이빙 시스템(310)이 제공하는 제1 기능을 위한 코드를 포함할 수 있다.
단계(510)에서 컴퓨터 장치(200)는 데이터베이스의 테이블에 포함된 데이터 레코드에 대한 파티션을 데이터 레코드의 선별정보에 기초하여 결정할 수 있다. 여기서, 데이터베이스는 도 3을 통해 설명한 대상 시스템(320)의 데이터베이스(321)에 대응할 수 있다. 선별정보는 데이터 레코드에 대한 시간에 대한 정보 및/또는 데이터 레코드의 임의의 필드값을 포함할 수 있다. 컴퓨터 장치(200)는 이러한 시간에 대한 정보 및/또는 필드값에 기초하여 데이터 레코드에 대한 파티션을 결정할 수 있다. 테이블은 데이터베이스에서 데이터를 저장하는 기본 구조를 이루는 단위로서, 단계(510)에서 언급하는 테이블은 데이터베이스에 포함된 복수의 테이블 중에서 용량을 절약하기 위하여 아카이빙을 하려는 테이블일 수 있다.
예를 들어, 컴퓨터 장치(200)는 필드값이 소정의 범위 이내인 데이터 레코드들을 하나의 파티션으로 선별할 수 있다. 이때, 필드값은 테이블에서 가장 검색이 빈번하게 발생하는 필드의 필드값으로 결정될 수 있다. 이는 아카이빙된 데이터를 추후 검색할 때, 해당 필드값에 기반하여 생성된 인덱스정보를 이용하여 검색의 효율성을 극대화할 수 있기 때문이다. 다른 예로, 컴퓨터 장치는 시간에 대한 정보가 소정의 범위 이내인 데이터 레코드들을 하나의 파티션으로 선별할 수 있다.
또한, 파티션은 테이블에 포함된 전체 데이터 레코드 중에서 선별된 데이터 레코드의 집합으로 구성될 수 있다. 파티션은 적어도 하나 이상 생성될 수 있으며, 필요에 따라서 테이블의 전체가 아닌 일부의 데이터 레코드만을 대상으로 한정하여 파티션을 생성할 수 있다. 예를 들어, 테이블에서 2015년 이후의 데이터 레코드는 제외하고, 2015년 이전의 데이터 레코드만을 대상으로 아카이빙을 위한 파티션을 생성할 수 있다.
한편, 하나의 파티션에 포함되는 데이터 레코드의 개수는 테이블에 포함된 전체 레코드의 개수, 데이터베이스를 검색하는 컴퓨터의 성능 및 데이터베이스에서 빈도가 높은 검색조건 등을 종합적으로 분석 및 검토하여 결정될 수 있다.
다른 실시예에서는, 선별된 파티션 중에서 데이터 레코드의 개수가 임계치를 초과하는 초과 파티션이 존재하면, 그 초과 파티션을 레코드의 개수가 임계치 이하인 복수의 파티션들로 분리할 수 있다. 예컨대, 하나의 파티션이 포함할 수 있는 데이터 레코드의 개수인 임계치가 10만개로 설정될 수 있다. 그러나, 만약에, 선별된 파티션이 임계치를 초과하는 데이터 레코드 개수를 포함한다면, 이는 컴퓨터의 과부하 및 비효율을 초래할 수 있어, 문제의 소지가 될 수 있다. 따라서, 하나의 파티션이 10만개를 초과하는 데이터 레코드를 가지는 경우, 이를 10만개 단위의 복수의 파티션들로 분리하여 여러 개의 파티션들을 생성할 수 있다. 예컨대, 하나의 파티션이 25만개의 데이터 레코드 개수를 가지는 경우, 컴퓨터 장치(200)는 이 초과 파티션을 10만개씩의 데이터 레코드 개수를 가지는 두 개의 파티션들과 5만개의 데이터 레코드 개수를 가지는 파티션의 총 3개의 파티션들로 분리할 수 있다.
한편, 위와 같이 분리된 복수의 파티션들은 서로 동일한 필드값에 의한 분류 기준에 의해 분류되었기 때문에, 그 복수의 파티션들을 서로 구별할 방법이 없을 수 있다. 따라서, 그 분리된 복수의 레코드그룹 각각에 일련번호(예, 1,2,3,4, …)를 부여하고 인덱스테이블의 일련번호 필드에 더 저장할 수 있다. 이 경우, 아카이빙된 데이터를 검색할 때에도, 분리된 복수의 파티션들 각각을 구별하여 검색을 수행할 수 있다. 이러한 일련번호는 이후 설명될 시퀀스에 대응될 수 있다.
단계(520)에서 컴퓨터 장치(200)는 파티션별로 데이터 레코드를 압축하여 압축 파티션을 생성할 수 있다. 일례로, 컴퓨터 장치(200)는 결정된 파티션에 포함된 데이터 레코드를 이진 객체로 압축하여 압축 파티션을 생성할 수 있다.
일례로, 컴퓨터 장치(200)는 압축 파티션을 생성하기 위해, 먼저 압축 파티션에 포함될 데이터 레코드를 버퍼에 저장할 수 있다. 데이터 레코드가 저장되는 버퍼의 크기는 테이블의 구조(필드의 개수, 종류, 및 크기) 및 압축 파티션에 포함될 데이터 레코드의 임계치에 기초하여 결정될 수 있다. 예를 들어, 테이블이 DATE(문자 8자), NAME(문자 30자) 및 AGE(정수 4바이트)의 총 3개의 필드를 포함하고 있고, 압축 파티션에 포함된 데이터 레코드 개수에 대한 임계치가 10만개라고 하면, 문자 1자를 2바이트로 계산할 때, 버퍼의 크기는 최소 10만 * (8*2 + 30*2 + 4) = 800만 바이트(약 8 메가바이트)가 될 수 있다. 이때 컴퓨터 장치(200)는 압축 파티션에 포함된 데이터 레코드 및 그 데이터 레코드의 필드값을 순차적으로 모두 읽어서, 버퍼에 차례대로 저장할 수 있다.
이후, 컴퓨터 장치(200)는 버퍼에 저장된 데이터를 압축하여 압축 파티션을 생성할 수 있다. 압축 파티션은 버퍼에 저장된 데이터를 압축하여 생성된 이진 객체 형태의 결과물일 수 있다. 이때, 압축으로 인한 손실이 발생하지 않도록 하기 위하여, 무손실의 압축 알고리즘인 ZIP, CTW, LZ77, LZW, gzip, bzip2, DEFLATE 등이 사용될 수 있다.
이때, 컴퓨터 장치(200)는 생성된 압축 파티션별로 고유하게 부여된 저장키를 생성할 수 있다.
단계(530)에서 컴퓨터 장치(200)는 압축 파티션 및 압축 파티션을 고유하게 식별하는 저장키를 연계하여 압축테이블에 저장할 수 있다. 앞서, 압축된 데이터가 대상 시스템(320)의 데이터베이스(321)의 테이블이나 외부 데이터베이스의 테이블로 저장될 수 있음을 설명한 바 있다. 압축테이블은 파티션별로 압축하여 생성된 압축 파티션을 저장하기 위한 필드와 해당 압축 파티션에 대응되도록 고유하게 부여된 저장키를 저장하기 위한 필드를 포함할 수 있다. 저장키는 압축 파티션별로 고유하게 부여된 값을 포함하는 키로서, 저장키에 해당하는 압축테이블의 필드에 각 압축 파티션별로 공유한 저장키의 값이 저장될 수 있다. 또한, 저장키에 해당하는 필드는 하나 이상이 될 수도 있으며, 그 하나 이상의 필드에 분산 저장된 저장키들의 값들이 결합되었을 때, 각 압축 파티션별로 고유한 저장키가 형성되도록 구현될 수도 있다.
단계(540)에서 컴퓨터 장치(200)는 저장키 및 선별정보를 연계하여 데이터베이스의 인덱스테이블에 저장할 수 있다. 일례로, 선별정보가 해당 데이터 레코드의 임의의 필드값을 포함하는 경우, 컴퓨터 장치(200)는 단계(440)에서 저장키 및 임의의 필드값을 연계하여 그룹인덱스테이블에 저장할 수 있다. 그룹인덱스테이블에 저장된 저장키와 필드값은 임의의 필드값을 포함하는 검색조건에 따라 압축 저장된 데이터 레코드를 검색하기 위한 인덱스로서 활용될 수 있다. 다른 예로, 선별정보가 데이터 레코드의 시간에 대한 정보를 포함하는 경우, 컴퓨터 장치(200)는 저장키 및 시간에 대한 정보를 연계하여 기간인덱스테이블에 저장할 수 있다. 기간인덱스테이블에 저장된 저장키와 시간에 대한 정보는 임의의 시간에 대한 정보를 포함하는 검색조건에 따라 압축 저장된 데이터 레코드를 검색하기 위한 인덱스로서 활용될 수 있다. 다시 말해, 그룹인덱스테이블 및/또는 기간인덱스테이블을 포함하는 인덱스테이블은 검색조건이 포함하는 필드값 및/또는 시간에 대한 정보에 대응하는 저장키를 획득하는데 이용될 수 있으며, 저장키는 압축테이블에서 저장키에 대응하는 압축 파티션을 획득하는데 이용될 수 있다.
단계(550)에서 컴퓨터 장치(200)는 압축된 데이터 레코드를 테이블에서 삭제할 수 있다. 데이터베이스를 압축하여 아카이빙하는 목적은 데이터베이스의 저장 공간을 절약하기 위함이므로, 컴퓨터 장치(200)는 아카이빙된 데이터 레코드들을 테이블에서 삭제함으로써 데이터베이스의 저장 공간을 절약할 수 있다. 다만, 실시예에 따라 압축된 데이터 레코드를 테이블에서 바로 삭제하지 않고, 일정 기간이 지난 후에 테이블에서 삭제할 수도 있다.
한편, 삭제된 데이터 레코드는 추후 해당 테이블로 복구될 수도 있다. 예를 들어, 컴퓨터 장치(200)는 삭제된 데이터 레코드의 복원 요청에 응답하여 인덱스테이블에서 복원 요청이 포함하는 식별정보와 연계된 저장키를 검색하고, 압축 테이블에서 검색된 저장키와 연계된 압축 파티션을 검색할 수 있다. 이후, 컴퓨터 장치(200)는 검색된 압축 파티션의 압축을 해제하여 삭제된 데이터 레코드를 복원하고, 복원된 데이터 레코드를 식별정보에 기초하여 테이블에 기록할 수 있다. 이때, 압축 파티션이 포함하는 데이터 레코드들 중 복원이 요청된 특정 데이터 레코드를 식별하기 위해 추후 설명되는 키인덱스테이블의 정보들이 활용될 수도 있다.
이러한 단계(510) 내지 단계(550)는 데이터 아카이빙 시스템(310)이 제공하는 제1 기능을 이용하여 이루어질 수 있다. 다시 말해, 데이터 아카이빙 시스템(310)은 대상 시스템(320)이 단계(510) 내지 단계(550)를 수행하도록 제어하기 위한 기능을 포함하는 제1 기능을 제공할 수 있다.
도 6은 본 발명의 일실시예에 따른 압축테이블의 구조의 제1 예를 도시한 도면이다. 도 6의 테이블(610)은 Doc.No. 필드(611), 시간에 대한 Date 필드(612) 및 특정 속성에 대한 Col1 필드(613)를 포함하고 있다. 이때, 컴퓨터 장치(200)는 선별정보로서 시간에 대한 정보인 테이블(610)의 Date 필드(612)의 필드값 또는 Col1 필드(613)의 필드값에 기초하여 테이블(610)의 데이터 레코드를 분류 및 압축함으로써 압축 파티션을 생성할 수 있다. 이때, 컴퓨터 장치(200)는 압축 파티션을 고유하게 식별하기 위한 저장키와 해당 압축 파티션을 서로 연계하여 저장함으로써 압축테이블(600)을 생성할 수 있다. 예를 들어, 도 6의 실시예에 따른 압축테이블(600)은 저장키를 필드값으로 갖는 OBJECT ID 필드(621)와 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(622)를 포함할 수 있다.
도 7은 본 발명의 일실시예에 따른 압축테이블의 구조의 제2 예를 도시한 도면이고, 도 8은 본 발명의 일실시예에 따른 기간인덱스테이블의 구조의 예를 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 그룹인덱스테이블의 구조의 예를 도시한 도면이다.
도 7은 앞서 도 6을 통해 설명한 테이블(610)을 통해 압축테이블(700)을 생성하는 다른 실시예를 설명하고 있다. 예를 들어, 컴퓨터 장치(200)는 선별정보로서 시간에 대한 정보인 테이블(610)의 Date필드(612)의 필드값에 기초하여 테이블(610)의 데이터 레코드를 분류 및 압축함으로써 압축 파티션을 생성할 수 있다. 또한, 컴퓨터 장치(200)는 선별정보와 해당하는 압축 파티션을 서로 연계하여 저장함으로써 압축테이블(700)을 생성할 수 있다. 예를 들어, 도 7의 실시예에 따른 압축 테이블(700)은 시간에 대한 정보를 필드값으로 갖는 PERIOD 필드(710)와 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(720)를 포함할 수 있다.
한편 도 8은 압축테이블(700)이 Date 필드(612)의 필드값(시간에 대한 정보)에 기초하여 데이터 레코드를 분류 및 압축함으로써 생성된 압축 파티션을 포함하는 경우에 생성 및 활용될 수 있는 기간인덱스테이블(800)의 예를 나타내고 있다. 이때, 기간인덱스테이블(800)은 시간에 대한 정보를 필드값으로 갖는 PERIOD 필드(810)와 저장키를 필드값으로 갖는 OBJECT ID 필드(820)를 포함할 수 있다. 예를 들어, 컴퓨터 장치(200)는 시간에 대한 정보(일례로, "2020.01")를 선별정보로서 포함하는 검색조건을 수신하는 경우, 기간인덱스테이블(800)에서 검색조건에 포함된 시간에 대한 정보를 이용하여 대응하는 저장키(일례로, 기간인덱스테이블(800)에서 시간에 대한 정보 "2020.01"에 대응하는 저장키 "O0001")를 검색할 수 있으며, 검색된 저장키를 이용하여 압축테이블(620)에서 저장키에 대응하는 압축 파티션(일례로, 압축테이블(620)에서 저장키 "O0001"에 대응하는 "50,000 Rows"의 압축 파티션)을 검색할 수 있게 된다.
또한, 도 9는 압축테이블(600)이 Col1 필드(613)의 필드값에 기초하여 데이터 레코드를 분류 및 압축함으로써 생성된 압축 파티션을 포함하는 경우에 생성 및 활용될 수 있는 그룹인덱스테이블(900)의 예를 나타내고 있다. 이때, 그룹인덱스테이블(900) Col1 필드(613)의 필드값을 자신의 필드값으로 갖는 PERIOD 필드(910)와 저장키를 필드값으로 갖는 OBJECT ID 필드(920)를 포함할 수 있다. 예를 들어, 컴퓨터 장치(200)는 Col1 필드(613)의 필드값(일례로, "1000")을 선별정보로서 포함하는 검색조건을 수신하는 경우, 그룹인덱스테이블(900)에서 검색조건에 포함된 필드값을 이용하여 대응하는 저장키(일례로, 그룹인덱스테이블(900)에서 필드값 "1000"에 대응하는 저장키 "O0001")를 검색할 수 있으며, 검색된 저장키를 이용하여 압축테이블(600)에서 저장키에 대응하는 압축 파티션(일례로, 압축테이블(600)에서 저장키 "O0001"에 대응하는 "50,000 Rows"의 압축 파티션)을 검색할 수 있게 된다.
도 10은 본 발명의 일실시예에 따른 압축테이블의 구조의 제2 예를 도시한 도면이고, 도 11은 본 발명의 일실시예에 있어서, 기간인덱스테이블과 그룹인덱스테이블이 결합된 형태의 인덱스테이블의 구조의 예를 도시한 도면이다.
도 10은 앞서 도 6을 통해 설명한 테이블(610)을 통해 압축테이블(1000)을 생성하는 또 다른 실시예를 설명하고 있다. 예를 들어, 컴퓨터 장치(200)는 시간에 대한 정보인 테이블(610)의 Date 필드(612)의 필드값 및 Col1 필드(613)의 필드값의 두 개의 필드값에 기초하여 테이블(610)의 데이터 레코드를 분류 및 압축함으로써 압축 파티션을 생성할 수 있다.
보다 구체적인 예로, 컴퓨터 장치(200)는, Data 필드(612)의 필드값이 "2002.01"이면서 Col1 필드(613)의 필드값이 "1000"인 데이터 레코드들을 압축하여 제1 압축 파티션을, Data 필드(612)의 필드값이 "2002.01"이면서 Col1 필드(613)의 필드값이 "2000"인 데이터 레코드들을 압축하여 제2 압축 파티션을, Data 필드(612)의 필드값이 "2002.02"이면서 Col1 필드(613)의 필드값이 "1000"인 데이터 레코드들을 압축하여 제3 압축 파티션을, Data 필드(612)의 필드값이 "2002.02"이면서 Col1 필드(613)의 필드값이 "2000"인 데이터 레코드들을 압축하여 제4 압축 파티션을, Data 필드(612)의 필드값이 "2002.03"이면서 Col1 필드(613)의 필드값이 "1000"인 데이터 레코드들을 압축하여 제5 압축 파티션을, Data 필드(612)의 필드값이 "2002.03"이면서 Col1 필드(613)의 필드값이 "2000"인 데이터 레코드들을 압축하여 제6 압축 파티션을 각각 생성할 수 있다.
이 경우, 컴퓨터 장치(200)는 압축 파티션을 고유하게 식별하기 위한 저장키와 해당 압축 파티션을 서로 연계하여 저장함으로써 압축테이블(1000)을 생성할 수 있다. 예를 들어, 도 10의 실시예에 따른 압축테이블(1000)은 저장키를 필드값으로 갖는 OBJECT ID 필드(1010)와 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(1020)를 포함할 수 있다.
한편 도 11은 기간인덱스테이블과 그룹인덱스테이블이 결합된 형태의 인덱스테이블(1100)의 예를 나타내고 있다. 이때, 인덱스테이블(1100)은 시간에 대한 정보를 필드값으로 갖는 PERIOD 필드(1110), Col1 필드(613)의 필드값을 자신의 필드값으로 갖는 PERIOD 필드(1110), 그리고 저장키를 필드값으로 갖는 OBJECT ID 필드(1130)를 포함할 수 있다. 예를 들어, 컴퓨터 장치(200)는 시간에 대한 정보(일례로, "2020.02") 및 Col1 필드(613)의 필드값(일례로, "1000")을 선별정보로서 포함하는 검색조건을 수신하는 경우, 인덱스테이블(1100)에서 검색조건이 포함하는 시간에 대한 정보와 필드값을 모두 만족하는 저장키(일례로, 인덱스테이블(1100)의 저장키 "O0003")를 검색할 수 있으며, 검색된 저장키를 이용하여 압축테이블(1000)에서 저장키에 대응하는 압축 파티션(일례로, 압축테이블(1000)에서 저장키 "O0003"에 대응하는 "30,000 Rows"의 압축 파티션)을 검색할 수 있게 된다.
도 12는 본 발명의 일실시예에 있어서, 제1 기능을 통해 데이터를 아카이빙하는 과정의 또 다른 예를 도시한 흐름도이다. 본 실시예에 따른 과정은 도 5를 통해 설명한 단계(540) 이후에 단계(1210)를 더 포함할 수 있다.
단계(1210)에서 컴퓨터 장치(200)는 테이블에 포함된 데이터 레코드 각각에 대해, 프라이머리키(primary key), 해당 데이터 레코드를 포함하여 압축된 압축 파티션 내에서의 해당 데이터 레코드의 위치인 키인덱스정보 및 해당 데이터 레코드를 포함하여 압축된 압축 파티션에 대응되는 저장키를 연계하여 키인덱스테이블에 저장할 수 있다. 이러한 단계(1210)은 데이터 아카이빙 시스템(310)이 제공하는 제1 기능을 이용하여 이루어질 수 있다. 다시 말해, 데이터 아카이빙 시스템(310)은 대상 시스템(320)이 단계(1210)을 수행하도록 제어하기 위한 기능을 포함하는 제1 기능을 제공할 수 있다.
프라이머리키는 데이터베이스에서 레코드별로 고유하게 식별되는 값을 가지는 필드에서의 해당 값을 의미할 수 있으며, 기본키, 주키 또는 유니크키라고도 할 수 있다. 또한, 하나의 테이블에는 하나 이상의 프라이머리키가 존재할 수 있다. 또한, 키인덱스정보는 특정한 프라이머리키의 값을 가지는 데이터 레코드가 압축 파티션 내에서 어느 위치에 저장되어 있는지에 대한 정보이다. 예를 들어, 압축 파티션이 포함하는 10만개의 데이터 레코드에 대한 정보 중에서 1000번째로 저장된 데이터 레코드라는 저장순서에 관한 정보가 키인덱스정보로 저장될 수 있다.
한편, 키인덱스테이블에 프라이머리키를 저장하는 이유는 검색 대상이 되는 테이블을 다른 필드값 및 시간에 대한 정보뿐만 아니라 그 프라이머리키에 의해 직접 검색할 수 있도록 하기 위함이다. 즉, 사용자가 특정한 프라이머리키를 입력하면서, 그 프라이머리키를 갖는 데이터 레코드를 테이블에서 검색하려고 할 때, 키인덱스테이블이 사용될 수 있다. 보다 구체적으로, 컴퓨터 장치(200)는 특정한 프라이머리키를 갖는 데이터 레코드의 키인덱스정보와 저장키를 키인덱스테이블에서 검색할 수 있다. 이 경우, 컴퓨터 장치(200)는 획득한 저장키로 압축테이블에서 저장키에 대응하는 압축 파티션을 획득할 수 있으며, 키인덱스정보를 이용하여 압축 파티션에서 사용자가 원하는 특정 데이터 레코드를 검색할 수 있게 된다. 이미 설명한 바와 같이, 이러한 키인덱스테이블의 키인덱스정보는 특정 조건의 데이터 레코드를 테이블에 복원함에 있어서, 압축 파티션이 포함하는 데이터 레코드들 중에서 특정 조건의 데이터 레코드를 식별하기 위해 활용될 수도 있다.
도 13은 본 발명의 일실시예에 따른 압축테이블 및 키인덱스테이블의 구조의 예를 도시한 도면이다.
압축테이블(1310)은 저장키를 필드값으로 갖는 OBJECT ID 필드(1311), 대상 테이블의 처리 순서(시퀀스)를 필드값으로 갖는 SEQ 필드(1312) 및 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(1313)를 포함할 수 있다. 시퀀스는 부모 테이블과 자식 테이블이 존재할 때, 부모 테이블을 먼저 추출하고, 추출된 부모 테이블의 데이터를 이용하여 자식 테이블을 처리하는 처리 순서를 정의할 수 있다.
키인덱스테이블(1320)은 이미 설명한 바와 같이, 프라이머리키를 필드값으로 갖는 Doc.No. 필드(1321), 저장키를 필드값으로 갖는 OBJECT ID 필드(1322) 및 키인덱스정보를 필드값으로 갖는 Key Location info. 필드(1323)를 포함할 수 있다. 예를 들어, 키인덱스정보 1@1001에서 "@" 이전의 "1"은 SEQ 필드(1312)의 필드값에 대응하는 시퀀스를, "@" 이후의 "1001"은 해당 압축 파티션이 포함하는 데이터 레코드들 중 1,001 번째 데이터 레코드를 지시할 수 있다. 보다 구체적인 예로, 키인덱스테이블(1320)의 첫 번째 레코드는 프라이머리키가 '1'인 데이터 레코드가 저장키가 'O0001'이고, 시퀀스가 '1'인 압축 파티션의 데이터 레코드들 중 1,001 번째의 데이터 레코드로서 포함되어 있음을 지시할 수 있다. 이와 유사하게, 키인덱스테이블(1320)의 두 번째 레코드는 프라이머리키가 '2'인 데이터 레코드가 저장키가 'O0001'이고, 시퀀스가 '2'인 압축 파티션의 데이터 레코드들 중 2,001 번째의 데이터 레코드로서 포함되어 있음을 지시할 수 있다.
이처럼, 키인덱스정보는 압축 파티션 내에서의 특정 데이터 레코드의 위치에 대한 정보를 포함할 수 있으며, 이러한 키인덱스정보와 프라이머리키 및 저장키를 포함하는 키인덱스테이블(일례로, 도 13의 키인덱스테이블(1320))을 활용함으로써, 사용자의 검색조건에 따라 조회해야 할 데이터 레코드의 수를 줄일 수 있다.
다른 실시예에서 컴퓨터 장치(200)는 프라이머리키를 통해 제1 테이블(일례로, 단계(410)에서 설명한 테이블)과 연결된 연결테이블에서 데이터 레코드를 압축하여 생성된 제2 압축 파티션에 대하여, 제2 압축 파티션에 포함된 데이터 레코드 중에서 제1 테이블에 포함된 데이터 레코드와 프라이머리키가 동일한 데이터 레코드를 검색할 수 있으며, 검색된 데이터 레코드에 대하여 제2 압축 파티션 내에서의 위치인 서브인덱스정보를 키인덱스테이블상의 프라이머리키가 동일한 데이터 레코드에 대해 더 저장할 수 있다. 연결테이블은 프라이머리키를 통해 제1 테이블과 연결되는 테이블이다. 즉, 프라이머리키는 제1 테이블과 연결테이블에 모두 존재할 수 있다. 제2 압축 파티션은 프라이머리키를 통해 제1 테이블과 연결되는 연결테이블이 존재할 때, 해당 연결테이블에서 데이터 레코드를 압축하여 생성된 데이터일 수 있다. 이때. 제2 압축 파티션은 도 4에 대한 설명에서 상술한 압축 파티션과 동일한 방식으로 생성될 수 있으며, 압축 파티션과 마찬가지로 고유한 저장키와 함께 압축테이블에 저장될 수 있다. 서브인덱스정보는 특정한 프라이머리키를 가지는 데이터 레코드가 어떤 제2 압축 파티션 내에서 어느 위치에 저장되어 있는지에 대한 정보이다. 예를 들어, 제2 압축 파티션에 포함된 10만개의 데이터 레코드에 대한 정보 중에서 1000번째로 저장된 데이터 레코드라는 저장순서에 관한 정보가 서브인덱스정보로 저장될 수 있다. 예를 들어, 데이터베이스에 제1 테이블과 프라이머리키를 통해 연결되는 연결테이블이 존재하고, 제1 테이블에는 존재하지 않으나 연결테이블에는 존재하는 필드에 대하여, 사용자가 그 필드의 필드값 정보를 필요로 할 수 있다. 이 경우, 컴퓨터 장치(200)는 추후에 그 연결테이블까지 검색할 수 있도록 키인덱스테이블 상의 동일한 프라이머리키를 가지는 데이터 레코드에 대해 서브인덱스정보를 더 저장할 수 있다.
또 다른 실시예에서 컴퓨터 장치(200)는 제1 테이블에 대해 다수의 연결테이블이 존재하는 경우, 연결테이블 각각에 대한 서브인덱스정보를 취합하여 압축한 뒤, 키인덱스테이블에 새로운 서브인덱스정보로 저장할 수도 있다. 예를 들어, 컴퓨터 장치(200)가 연결테이블에서 동일한 프라이머리키를 갖는 데이터 레코드에 대하여 둘 이상의 제2 압축 파티션 내에서의 위치에 대한 서브인덱스정보를 모두 취합할 수 있으며, 취합된 값들을 압축하여, 키인덱스테이블 상의 동일한 프라이머리키의 값을 포함하는 데이터 레코드에 새로운 서브인덱스정보로 저장할 수 있다.
도 14는 본 발명의 일실시예에 따른 압축테이블 및 키인덱스테이블의 구조의 다른 예를 도시한 도면이다.
압축테이블(1410)은 저장키를 필드값으로 갖는 OBJECT ID 필드(1411), 테이블의 식별자를 필드값으로 갖는 TABLE 필드(1412), 시퀀스를 필드값으로 갖는 SEQ 필드(1413) 및 압축 파티션을 필드값으로 갖는 COMPRESSED DATA 필드(1414)를 포함할 수 있다. TABLE 필드(1412)는 테이블의 식별자를 필드값으로 포함할 수 있으며, 이를 통해 대응하는 압축 파티션이 어느 테이블에서 추출된 데이터 레코드들을 포함하는가를 식별할 수 있다.
본 실시예에 따른 키인덱스테이블(1420)은 프라이머리키를 필드값으로 갖는 Doc.No. 필드(1421), 저장키를 필드값으로 갖는 OBJECT ID 필드(1422), 키인덱스정보를 필드값으로 갖는 Key Location info. 필드(1423) 및 서브인덱스정보를 필드값으로 갖는 Sub Location info. 필드(1424)를 포함할 수 있다.
예를 들어, 키인덱스테이블(1420)의 첫 번째 레코드는 프라이머리키가 '1'인 데이터 레코드가 저장키가 'O0001'이고, 시퀀스가 '1'인 압축 파티션의 데이터 레코드들 중 10,001 번째의 데이터 레코드로서 포함되어 있음을 지시할 수 있다. 이때, Sub Location info. 필드(1424)의 필드값 "TAB1@1001-2/TAB2@2001-3"은 프라이머리키가 '1'인 데이터 레코드의 연결테이블에 대해 생성된 제2 압축 파티션 내에서의 위치를 나타내고 있다. 예를 들어, 필드값 "TAB1@1001-2/TAB2@2001-3"에서 "@" 이전의 "TAB1"과 "TAB2"는 동일한 프라이머리키를 통해 연결된 연결테이블들을 의미할 수 있으며, "@" 이후의 "1001-2"는 연결테이블 "TAB1"에 대한 제2 압축 파티션이 포함하는 데이터 레코드들 중 1,001 번째 데이터 레코드부터 2개의 데이터 레코드(1,001 번째 데이터 레코드(제1 데이터 레코드) 및 1,002 번째 데이터 레코드(제2 데이터 레코드))를 나타내고 있다. 또한, "@" 이후의 "2001-3"은 연결테이블 "TAB2"에 대한 제2 압축 파티션이 포함하는 데이터 레코드들 중 2,001 번째 데이터 레코드부터 3개의 데이터 레코드(2,001 번째 데이터 레코드(제3 데이터 레코드), 2,002 번째 데이터 레코드(제4 데이터 레코드) 및 2,003 번째 데이터 레코드(제5 데이터 레코드))를 나타내고 있다. 이때, 제1 데이터 레코드부터 제5 데이터 레코드까지가 모두 동일한 프라이머리키에 의해 식별될 수 있다.
도 15는 본 발명의 일실시예에 있어서, 제2 기능을 통해 아카이빙된 데이터를 검색하는 과정의 예를 도시한 도면이다. 본 실시예에 따른 과정은 데이터 아카이빙 시스템(310)이 제공하는 제2 기능을 이용하여 대상 시스템(320)을 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다.
단계(1510)에서 컴퓨터 장치(200)는 데이터 레코드의 선별정보를 포함하는 검색조건을 수신할 수 있다. 이러한 선별정보는 검색하고자 하는 데이터 레코드의 임의의 필드값 및/또는 해당 데이터 레코드의 시간에 대한 정보를 포함할 수 있다. 선별정보가 포함하는 필드값 및/또는 시간에 대한 정보는 범위의 형태로 포함될 수도 있다.
단계(1520)에서 컴퓨터 장치(200)는 데이터베이스상에서 데이터 레코드의 선별정보와 해당 데이터 레코드가 포함된 압축 파티션을 고유하게 식별하는 저장키를 연계하여 저장하는 인덱스테이블로부터, 검색조건이 포함하는 선별정보에 연계된 저장키를 검색할 수 있다. 이미 설명한 바와 같이 인덱스테이블은 그룹인덱스테이블 및/또는 기간인덱스테이블을 포함할 수 있으며, 그룹인덱스테이블은 특정 필드값과 저장키를 연계하여 저장할 수 있고, 기간인덱스테이블은 시간에 대한 정보와 저장키를 연계하여 저장함을 설명하였다. 따라서, 컴퓨터 장치(200)는 선별정보가 포함하는 필드값 및/또는 시간에 대한 정보에 대응하는 저장키를 그룹인덱스테이블 및/또는 기간인덱스테이블로부터 검색할 수 있게 된다. 예를 들어, 컴퓨터 장치(200)는 선별정보가 데이터 레코드의 임의의 필드값을 포함하는 경우, 저장키 및 임의의 필드값을 연계하여 저장하는 그룹인덱스테이블에서 검색조건의 선별정보로서 포함된 임의의 필드값에 연계된 저장키를 검색할 수 있다. 다른 예로, 컴퓨터 장치(200)는 선별정보가 데이터 레코드의 시간에 대한 정보를 포함하는 경우, 저장키 및 시간에 대한 정보를 연계하여 저장하는 기간인덱스테이블에서 검색조건의 선별정보로서 포함된 시간에 대한 정보에 연계된 저장키를 검색할 수 있다.
단계(1530)에서 컴퓨터 장치(200)는 저장키와 압축 파티션을 연계하여 저장하는 압축테이블에서 검색된 저장키에 연계된 압축 파티션을 검색할 수 있다. 이미 설명한 바와 같이, 압축테이블은 압축 파티션 및 압축 파티션을 고유하게 식별하는 저장키를 연계하여 저장하고 있으며, 따라서 컴퓨터 장치(200)는 이러한 압축테이블에서 저장키를 통해 해당 압축 파티션을 검색할 수 있게 된다.
이미 설명한 바와 같이, 키인덱스테이블이 더 활용되는 경우, 사용자는 프라이머리키를 검색에 활용할 수 있다. 키인덱스테이블은 앞서 설명한 바와 같이, 데이터베이스상의 임의의 테이블이 포함하는 데이터 레코드 각각에 대해, 프라이머리키, 해당 데이터 레코드를 포함하여 압축된 압축 파티션 내에서의 해당 데이터 레코드의 위치인 키인덱스정보 및 해당 데이터 레코드를 포함하여 압축된 압축 파티션에 대응되는 저장키를 연계하여 저장할 수 있다. 이때, 검색조건이 데이터 레코드의 프라이머리키를 더 포함하는 경우, 컴퓨터 장치(200)는 키인덱스테이블에서 검색조건이 더 포함하는 프라이머리키에 연계된 키인덱스정보 및 저장키를 검색할 수 있다. 이후, 컴퓨터 장치(200)는 검색된 키인덱스정보 및 저장키에 더 기초하여 단계(1530)에서 검색된 압축 파티션으로부터 검색조건에 따른 특정 데이터 레코드를 검색할 수 있게 된다.
또한, 키인덱스테이블은 프라이머리키를 통해 임의의 테이블과 연결된 연결테이블이 존재하는 경우, 연결테이블에서 데이터 레코드를 압축하여 생성된 제2 압축 파티션에 대하여 데이터 레코드의 제2 압축 파티션에서의 위치인 서브인덱스정보를 더 포함할 수 있다. 따라서, 검색조건이 프라이머리키를 더 포함하는 경우, 컴퓨터 장치(200)는 키인덱스테이블에서 검색조건이 더 포함하는 프라이머리키에 연계된 서브인덱스정보를 더 검색할 수 있고, 제2 압축 파티션 및 서브인덱스정보에 기초하여 제2 압축 파티션에서 검색조건에 따른 데이터 레코드를 더 검색함으로써, 특정 데이터 레코드에 대해, 검색하고자 하는 제1 테이블의 필드값뿐만 아니라, 제1 테이블과 프라이머리키로 연결된 연결테이블의 필드값도 획득할 수 있게 된다.
한편, 이미 설명한 바와 같이, 압축테이블은 컴퓨터 장치(200)와 네트워크를 통해 연결된 다른 컴퓨터 장치의 데이터베이스의 압축테이블을 포함할 수도 있다. 이 경우, 컴퓨터 장치(200)는 단계(1530)에서 네트워크를 통해 다른 컴퓨터 장치의 데이터베이스의 압축테이블로부터 단계(1520)에서 검색된 저장키에 연계된 압축 파티션을 검색할 수 있다.
이러한 단계(1510) 내지 단계(1530)는 데이터 아카이빙 시스템(310)이 제공하는 제2 기능을 이용하여 이루어질 수 있다. 다시 말해, 데이터 아카이빙 시스템(310)은 대상 시스템(320)이 단계(1510) 내지 단계(1530)를 수행하도록 제어하기 위한 기능을 포함하는 제2 기능을 제공할 수 있다.
도 16 및 도 17은 본 발명의 일실시예에 있어서, 아카이빙된 데이터를 검색하는 예들을 도시한 도면들이다.
도 16은 쿼리(1610)를 통해 압축테이블(1620)에서 아카이빙된 데이터를 검색하는 예를 나타내고 있다. 도 16의 실시예에서는 압축테이블(1620)이 인덱스테이블과 결합된 형태로서, PERIOD 필드(1621), COL1 필드(1622), TABLE 필드(1623), OBJECT ID 필드(1624), SEQ 필드(1625) 및 COMPRESSED DATA 필드(1626)를 포함하고 있다. 실시예에 따라, PERIOD 필드(1621)와 COL1 필드(1622)는 별도의 인덱스테이블에 존재할 수도 있다. 이 경우, 압축테이블(1620)과 인덱스테이블을 연결하기 위해, 두 테이블들 각각에 OBJECT ID 필드(1624)가 존재할 수 있다. 실시예에 따라 TABLE 필드(1623)와 SEQ 필드(1625) 역시 인덱스테이블에 존재할 수도 있다.
이때, 쿼리(1610)는 테이블 "TAB1"로부터 PERIOD 필드(1621)의 필드값이 "2002.01"이고, COL1 필드(1622)의 필드값이 "1000"인 데이터 레코드를 검색하라는 명령을 의미할 수 있다. 이때, 컴퓨터 장치(200)는 압축테이블(1620)에서 쿼리(1610)에 해당하는 데이터 레코드가 압축테이블(1620)의 첫 번째 레코드의 COMPRESSED DATA 필드(1626)에 저장된 압축 파티션임을 확인할 수 있다. 따라서, 컴퓨터 장치(200)는 해당 압축 파티션의 압축을 해제하고, 해당 압축 파티션이 포함하는 데이터 레코드들("50,000 rows"의 데이터 레코드들)을 검색의 결과로서 제공할 수 있다.
도 17은 쿼리(1710)를 통해 압축테이블(1620)에서 아카이빙된 데이터를 검색하는 예를 나타내고 있다. 도 17의 실시예에서 쿼리(1710)는 프라이머리키를 검색조건으로서 활용하고 있기 때문에 키인덱스테이블(1720)이 활용될 수 있다. 키인덱스테이블(1720)은 Doc.No. 필드(1721), OBJECT ID 필드(1722), Key Location Info. 필드(1723) 및 Sub Location Info. 필드(1724)를 포함하고 있다.
이때, 쿼리(1710)는 테이블 "TAB1" 및 테이블 "TAB2"에서 프라이머리키로서의 Doc.No. 필드(1721)의 필드값이 '1'인 데이터 레코드를 검색하라는 명령을 의미할 수 있다. 이때, 컴퓨터 장치(200)는 키인덱스테이블(1720)에서 Doc.No. 필드(1721)의 필드값이 '1'인 첫 번째 레코드를 확인할 수 있으며, 첫 번째 레코드의 Sub Location Info. 필드(1724)의 필드값을 통해 압축테이블(1620)에서 프라이머리키가 '1'인 데이터 레코드들을 검색할 수 있다. 예를 들어, 컴퓨터 장치(200)는 Doc.No. 필드(1721)의 필드값이 '1'인 키인덱스테이블(1720)의 첫 번째 레코드의 서브인덱스정보 "TAB1@1001-2/TAB2@2001-3"를 통해 압축테이블(1620)에서 프라이머리키가 '1'인 데이터 레코드들을 추출할 수 있다. 이때, 서브인덱스정보가 포함하는 위치를 통해 압축 파티션들의 전체 데이터 레코드들을 전부 검색하지 않아도 쉽고 빠르게 특정 프라이머리키의 값을 갖는 데이터 레코드들을 검색할 수 있다.
다시 도 3을 참조하면, 데이터 아카이빙 시스템(310)은 데이터 조회 로그를 활용하여, 대상 시스템(320)의 외부의 다른 시스템(일례로, 클라우드 스토리지 시스템)이 저장 시스템(330)을 포함하고 있는 실시예에서 대상 시스템(320)과 저장 시스템(330)의 데이터를 최적화할 수 있다. 예를 들어, 데이터 아카이빙 시스템(310)은 (1) 온 프레미스(on-premise, 기업이 클라우드 환경이 아닌 자체 설비로 보유하고 운영하는)의 데이터베이스에 대한 과거 테이블 접속 로그, (2) 과거 테이블 접속 로그를 기반으로 머신러닝을 이용하여 예측한 접속량 및 (3) 데이터의 저장 시스템(330)으로의 전환 이후의 접속 로그 중 적어도 하나를 분석하여 대상 시스템(320)과 저장 시스템(330)간의 데이터 용량 및 사용자 접속 속도를 지속적으로 최적화할 수 있다.
도 18은 본 발명의 일실시예에 있어서, 데이터를 효과적으로 저장하기 위한 과정의 예를 도시한 도면이다. 도 18은 대상 시스템(320)과 클라우드 시스템(1810)을 나타내고 있다. 이러한 도 18의 실시예에서는 저장 시스템(330)과 데이터 아카이빙 시스템(310)이 모두 클라우드 시스템(1810)상에 구현될 수 있다. 원격 저장소(클라우드 시스템(1810)에 구현된 저장 시스템(330))에 데이터를 효과적으로 저장하기 위해, 데이터 아카이빙 시스템(310)은 데이터 사용률에 따라 스토리지 클래스를 차별적으로 관리할 수 있다. 예를 들어, 데이터 아카이빙 시스템(310)은 대상 시스템(320)이 온-프레미스의 데이터베이스에서의 데이터 사용률에 기반하여 데이터를 전송하도록 제어하기 위한 기능을 대상 시스템(320)으로 제공할 수 있다. 이때, 데이터 아카이빙 시스템(310)은 이러한 기능을 통해 대상 시스템(310)의 데이터 사용현황을 분석하여 각 클래스로 분리한 후, 클라우드 시스템(1810)으로 데이터를 전송하기 전에 데이터를 각 클래스로 분리할 수 있다. 이때, 클라우드 시스템(1810) 역시 클래스별로 클래스 스토리지를 포함할 수 있으며, 특정 클래스 스토리지에 해당하는 클래스의 데이터가 저장될 수 있다.
또한, 데이터 아카이빙 시스템(310)은 클라우드 시스템(1810)으로 전송된 데이터의 사용현황을 비즈니스 오브젝트, 기간별로 모니터링하여 분리, 저장할 수 있다. 예를 들어, 데이터 아카이빙 시스템(310)은 클라우드 시스템(1810)의 저장소 내에서의 데이터 사용률에 기반하여 스토리지를 관리할 수 있다.
한편, 데이터 아카이빙 시스템(310)은 대상 시스템(320)의 데이터 사용현황을 클라우드 시스템(1810)으로 전송하도록 제어하고, 머신러닝을 활용하여 데이터의 활용도를 분석한 후, 각각의 클래스 스토리지에 저장할 수 있다. 예를 들어, 데이터 아카이빙 시스템(310)은 기업 내 데이터 사용현황을 일정기간 클라우드 시스템(1810)으로 이관하도록 대상 시스템(310)을 제어할 수 있으며, 이관된 데이터 사용현황에 대한 머신러닝 적용에 기반하여 데이터 사용률을 예측할 수 있다. 또한, 데이터 아카이빙 시스템(310)은 예측된 데이터 사용률을 기반으로 데이터가 최적화될 수 있도록 데이터를 대상 시스템(320)과 클라우드 시스템(1810)간의 이관을 처리할 수 있다. 예를 들어, 클라우드 시스템(1810)의 저장소(저장 시스템(320))에 저장된 데이터 중 데이터 사용률이 제1 임계값 이상인 데이터는 대상 시스템(320)의 저장소(데이터베이스(321))로 이관할 수 있으며, 대상 시스템(320)의 저장소에 저장된 데이터 중 데이터 사용률이 제2 임계값 이하인 데이터는 클라우드 시스템(1810)의 저장소로 이관할 수 있다. 데이터의 이관에는 앞서 도 3 내지 도 17의 실시예들을 통해 설명한 데이터의 압축이나 압축 해제가 요구될 수 있다.
이처럼, 데이터 아카이빙 시스템(310)은 대상 시스템(320)의 데이터 사용현황(과거), 클라우드 시스템의 데이터 사용현황(현재) 및 머신러닝으로 예측된 데이터 사용률(미래)에 기반하여 지속적인 스토리지 최적화 작업을 수행할 수 있다.
또 다른 실시예로, 데이터 아카이빙 시스템(310)은 대상 시스템(320)의 성능 최적화를 위한 기능을 제공할 수 있다. 일례로, 대상 시스템(320)이 클라우드 환경에 인스턴스의 형태로 위치하는 경우를 고려할 수 있다. 이 경우, 예를 들어, 대상 시스템(320)의 데이터 삭제 이후(또는 앞서 설명한 지속적인 스토리지 최적화 작업에 따라 저장 공간의 사용량이 감소한 이후), 데이터 아카이빙 시스템(310)은 대상 시스템(320)의 데이터베이스 용량에 기반하여 클라우드 환경에 인스턴스의 형태로 위치한 대상 시스템(320)의 전체적인 성능(CPU, 메모리 사용량, 시스템 응답속도 등)을 모니터링할 수 있으며, 모니터링된 성능에 기반하여 비용절감이 가능한 서버타입으로 대상 시스템(320)의 사양을 변경함으로써, 대상 시스템(320)측의 비용을 줄일 수 있다. 예를 들어, 데이터 아카이빙 시스템(310)은 데이터 볼륨 최적화 관점이 아닌 CPU, 메모리 효율을 함께 고려한 인스턴스 최적화 기능을 제공할 수 있다. 이를 위해, 데이터 아카이빙 시스템(310)은 데이터 볼륨 감소로 인한 추가 자원의 최적화 가능성 검토할 수 있다. 보다 구체적인 예로, 데이터 아카이빙 시스템(310)은 최근 일정 기간(일례로, 1년) 동안 사용 빈도가 높은 프로그램의 기술적(technical) BOM(Bill of material)과 프로그램의 내부구조를 분석하여 각 플로우별 시간을 측정할 수 있으며, 데이터베이스 관련 로직의 프로세싱 타임을 줄여줌으로써 CPU, 메모리 등 사양 축소를 가능하게 할 수 있다. 또한, 데이터 아카이빙 시스템(310)은 대상 시스템(320)의 구현을 위한 인스턴스를 초기 설정 인스턴스의 클래스 대비 경제적으로 한 단계 낮은 인스턴스로 변경해줄 수도 있다. 각 플로우별 시간의 측정에는 기술적 BOM과 프로그램의 내부구조 이외에도 시스템 응답률, CPU 사용률, 프로세싱 타임, 데이터베이스 응답시간 등이 활용될 수 있다.
또 다른 실시예로, 데이터 아카이빙 시스템(310)은 데이터 비식별화 기능을 제공할 수 있다. 데이터 아카이빙의 수집 시 비즈니스적 요구사항 및/또는 법적 요구사항에 의해 비식별화가 요구될 수 있다. 또는 저장시스템(330)에 아카이빙된 데이터를 대상 시스템(320)이 아닌 다른 시스템에서 활용하기 위해 비식별화가 요구될 수도 있다. 도 19는 본 발명의 일실시예에 있어서, 데이터를 비식별화하는 방법의 예를 도시한 도면이다.
도 20은 본 발명의 일실시예에 따른 데이터 아카이빙 방법의 다른 예를 도시한 도면이다. 본 실시예에 따른 데이터 아카이빙 방법은 앞서 설명한 데이터 아카이빙 시스템(310)을 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 20의 방법이 포함하는 단계들(2010 내지 2020)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다. 또한, 컴퓨터 프로그램은 앞서 설명한 아카이빙 솔루션 프로그램에 대응될 수 있다.
단계(2010)에서 컴퓨터 장치(200)는 대상 시스템이 포함하는 데이터베이스에 저장된 데이터 중 적어도 일부의 데이터를 데이터베이스 또는 다른 데이터베이스의 테이블에 압축하여 저장할 수 있다. 여기서 대상 시스템은 앞서 설명한 대상 시스템(320)에 대응될 수 있으며, 데이터베이스는 데이터베이스(321)에 대응될 수 있다. 한편, 다른 데이터베이스는 대상 시스템의 외부 시스템(일례로, 대상 시스템(310)과는 별도의 데이터 아카이빙 시스템(310) 또는 제3자 시스템)이 포함하는 데이터베이스를 포함할 수 있다. 데이터를 테이블에 압축하여 저장하는 방법에 대해서는 앞서 도 3 내지 도 14를 통해 자세히 설명한 바 있으며, 도 15 내지 도 19를 통해서는 테이블에 압축하여 저장된 데이터를 검색하는 방법에 대해 자세히 설명하고 있다. 데이터를 테이블에 압축하여 저장하는 것은 1차 아카이빙으로 이미 설명한 바와 같이 데이터가 압축된 상태로 테이블상에 저장됨에 따라, 대상 시스템이 포함하는 데이터베이스가 저장하는 데이터의 용량을 크게 줄일 수 있으면서도, 컴퓨터 장치(200)가 아카이빙된 데이터에서 원하는 데이터를 쉽고 빠르게 검색할 수 있게 된다. 이후, 1차 아카이빙된 데이터에 대한 검색 필요성이 감소됨에 따라 테이블상에 1차 아카이빙된 데이터는 파일로 2차 아카이빙될 수 있다.
단계(2020)에서 컴퓨터 장치(200)는 기설정된 조건에 따라 테이블에 압축되어 저장된 데이터의 적어도 일부를 파일로 저장할 수 있다. 일례로, 기설정된 조건은 대상 시스템의 관리자로부터의 2차 아카이빙 명령이 수신되는 제1 조건, 테이블에 압축되어 저장된 데이터의 보관기간이 경과하는 제2 조건, 기설정된 제1 기간 동안 테이블에 압축되어 저장된 데이터에 대한 검색 요구가 발생하지 않는 제3 조건 및 기설정된 제2 기간 동안 테이블에 압축되어 저장된 테이블에 대한 검색 요구가 기설정된 횟수 이하인 제4 조건 중 적어도 하나의 조건을 포함할 수 있다. 여기서, 제1 조건과 관련하여, 2차 아카이빙 명령은 테이블에 압축되어 저장된 데이터의 적어도 일부를 파일로 저장하라는 명시적인 명령일 수 있다. 이 경우, 컴퓨터 장치(200)는 아카이빙 명령이 명시하는 데이터를 파일로 저장하여 2차 아카이빙할 수 있다. 또한, 제2 조건과 관련하여 테이블에 압축되어 저장된 데이터에는 보관기간이 설정될 수 있다. 이 경우, 컴퓨터 장치(200)는 테이블에 압축되어 저장된 데이터 중 보관기간이 경과한 데이터를 파일로 저장하여 2차 아카이빙할 수 있다. 또한, 제3 조건과 관련하여 컴퓨터 장치(200)는 테이블에 압축되어 저장된 데이터 중 제1 기간 동안 검색 요구가 발생하지 않은 데이터를 파일로 저장하여 2차 아카이빙할 수 있다. 또한, 제4 조건과 관련하여 컴퓨터 장치(200)는 테이블에 압축되어 저장된 데이터 중 제2 기간 동안 검색 요구가 기설정된 횟수 이하인 데이터를 파일로 저장하여 2차 아카이빙할 수 있다. 이 외에도 다양한 조건에 따라 테이블에 압축되어 저장된 데이터의 적어도 일부가 파일로 저장되어 2차 아카이빙될 수 있음을 쉽게 이해할 수 있을 것이다. 예를 들어, 앞서 데이터 아카이빙 시스템(310)은 데이터 조회 로그를 활용하여, 대상 시스템(320)의 외부의 다른 시스템(일례로, 클라우드 스토리지 시스템)이 저장 시스템(330)을 포함하고 있는 실시예에서 대상 시스템(320)과 저장 시스템(330)의 데이터를 최적화할 수 있음을 설명한 바 있다. 이때, 데이터 아카이빙 시스템(310)은 (1) 온 프레미스(on-premise, 기업이 클라우드 환경이 아닌 자체 설비로 보유하고 운영하는)의 데이터베이스에 대한 과거 테이블 접속 로그, (2) 과거 테이블 접속 로그를 기반으로 머신러닝을 이용하여 예측한 접속량 및 (3) 데이터의 저장 시스템(330)으로의 전환 이후의 접속 로그 중 적어도 하나를 분석하여 대상 시스템(320)과 저장 시스템(330)간의 데이터 용량 및 사용자 접속 속도를 지속적으로 최적화할 수 있음을 설명하였다. 이 경우, 컴퓨터 장치(200)는 이러한 머신러닝을 통해 예측한 접속량에 기반하여 2차 아카이빙을 처리할 수도 있다. 이 경우, 기설정된 조건은 예측한 접속량이 임계값 이하인 조건을 포함할 수도 있다.
한편, 컴퓨터 장치(200)는 단계(2020)에서 파일을 대상 시스템의 로컬 저장소에 저장하거나 또는 대상 시스템의 외부 시스템(일례로, 파일 서버 또는 클라우드 서버)이 포함하는 저장소에 저장할 수 있다. 만약, 파일로 저장되어 2차 아카이빙된 데이터에 대한 검색 요구가 존재하는 경우에는 파일에 저장된 데이터(압축된 데이터)를 다시 테이블로 복원한 후, 앞서 도 15 내지 도 19를 통해 설명한 검색 방법을 이용하여 원하는 데이터가 검색될 수 있다.
한편, 단계(2010) 및 단계(2020)는 컴퓨터 장치(200)가 대상 시스템이 1차 아카이빙과 2차 아카이빙을 처리하도록 기능을 제공하는 과정일 수도 있다. 예를 들어, 컴퓨터 장치(200)는 단계(2010)에서 대상 시스템이 포함하는 데이터베이스에 저장된 데이터 중 적어도 일부의 데이터를 데이터베이스 또는 다른 데이터베이스의 테이블에 압축하여 저장하도록 대상 시스템을 제어하기 위한 기능을 제공할 수 있으며, 단계(2020)에서 기설정된 조건에 따라 테이블에 압축되어 저장된 데이터의 적어도 일부를 파일로 저장하도록 대상 시스템을 제어하기 위한 기능을 제공할 수 있다.
다시 도 3을 참조하면, 데이터 아카이빙 시스템(310)은 대상 시스템(320)의 아카이빙 데이터의 저장을 위해 아카이빙 데이터를 저장 시스템(330)으로 전송할 수 있다. 이때, 데이터 아카이빙 시스템(310)은 아카이빙 데이터의 전송을 최적화할 수 있다. 대상 시스템(320)의 데이터베이스(321)에 저장된 아카이빙 대상 데이터는 데이터베이스 내의 테이블간의 종속성을 기준으로 최소 프로세스 처리 단위인 오브젝트로 그룹화될 수 있다. 여기서, 테이블간의 종속성은 두 테이블이 동일한 키값을 통해 식별되는 데이터를 각각 포함하고 있음을 의미할 수 있다. 이때, 종속성을 갖는 테이블들에서 동일한 키값을 통해 식별되는 데이터는 적어도 하나의 서로 다른 필드를 포함할 수 있다.
예를 들어, 데이터 아카이빙 시스템(310)은 데이터베이스(321)의 테이블을 분석하여 데이터를 오브젝트로 그룹화 및 분류할 수 있다. 이러한 오브젝트는 최소 프로세스 처리 단위로서, 하나 이상의 테이블로 구성될 수 있다. 보다 구체적인 예로, 최소 프로세스 처리 단위의 테이블들은 자재 마스터, 고객 마스터, 가격 조건, 고객여신, 영업 오더, 대금청구, 재무전표, 계정잔액, 수익성 분석, 인터페이스 로그, 사용자 로그온 이력 등을 위해 생성된 테이블들을 포함할 수 있으며, 이러한 최소 프로세스 처리 단위는 해당 데이터베이스를 유지 관리하는 기업에서의 설정에 따라 다양하게 정의될 수 있다.
또한, 데이터 아카이빙 시스템(310)은 오브젝트를 모듈별로 분류할 수 있다. 여기서, 모듈은 각 프로세스에 따른 어플리케이션 영역을 의미할 수 있으며, 이러한 어플리케이션 영역은 생산, 판매, 자재, 재무회계, 관리회계, 인프라, 통신, 산업 등으로 다양하게 정의될 수 있다. 이러한 모듈 역시 데이터베이스를 유지 관리하는 기업에서의 설정에 따라 다양하게 정의될 수 있다.
또한, 데이터 아카이빙 시스템(310)은 오브젝트를 유형별로 분류할 수 있다. 오브젝트를 분류하기 위한 유형은 마스터 데이터, 트랜잭션 데이터, 구성 데이터, 제어 데이터, 시스템 데이터 등을 포함할 수 있다. 예를 들어, 마스터 데이터는 해당 데이터가 데이터 발생의 기준이 되는 데이터를 의미할 수 있으며, 트랜잭션 데이터는 데이터 발생이 시간, 조직 등으로 계속 발생하는 데이터를 의미할 수 있다. 오브젝트는 오브젝트가 포함하는 테이블의 데이터의 유형에 따라 다양하게 정의된 유형별로 분류될 수 있다.
또한, 데이터 아카이빙 시스템(310)은 오브젝트를 특성별로 분류할 수 있다. 오브젝트의 특성은 일례로, 계속 발생하는 전표/주문 등을 의미하는 문서(Document), 제품의 현재 생산 상태를 기록하는 상태(Status), 문서 등의 변경 내용을 저장하는 이력(History), 고객의 일정 기간 거래 총액을 기록하는 요약(Summary) 등을 포함할 수 있다.
도 21은 본 발명의 일실시예에 따른 오브젝트의 예를 도시한 도면이다. 또한, 도 22 및 도 23은 본 발명의 일실시예에 따른 오브젝트를 분류한 예들을 도시한 도면들이다.
도 21은 테이블 1(Table#1), 테이블 2(Table#2) 및 테이블 3(Table#3)을 포함하는 오브젝트 1(Object#1), 테이블 4(Table#4) 및 테이블 5(Table#5)를 포함하는 오브젝트 2(Object#2), 그리고 테이블 6(Table#6)를 포함하는 오브젝트 3(Object#3)을 나타내고 있다. 여기서, 테이블 1(Table#1), 테이블 2(Table#2) 및 테이블 3(Table#3)은 종속성을 가지며, 테이블 4(Table#4) 및 테이블 5(Table#5)는 종속성을 가짐을 알 수 있다.
도 22는 오브젝트 1(Object#1)과 오브젝트 2(Object#2)가 어플리케이션 영역 1(Application Area #1)로 분류되고, 오브젝트 3(Object#3)이 어플리케이션 영역 2(Application Area #2)로 분류된 예를 나타내고 있다. 이미 설명한 바와 같이 어플리케이션 영역은 모듈에 대응될 수 있다.
도 23은 오브젝트를 모듈, 유형 및 특성별로 분류하는 과정의 예를 나타내고 있다. 앞서 어플리케이션 영역이 생산, 판매, 자재, 재무회계, 관리회계, 인프라, 통신, 산업 등으로 다양하게 정의될 수 있음을 설명한 바 있다. 도 23의 실시예에서는 오브젝트가 생산(Production), 판매(Sales), 금융(Finance), 시스템(System) 및 산업(Industry)의 어플리케이션 영역(Application Area)들 중 하나로 분류될 수 있음을 나타내고 있다. 또한, 앞서 오브젝트를 분류하기 위한 유형은 마스터 데이터, 트랜잭션 데이터, 구성 데이터, 제어 데이터, 시스템 데이터 등을 포함할 수 있음을 설명하였다. 도 23의 실시예에서는 오브젝트가 트랜잭션(Transaction) 데이터 유형, 마스터(Master) 데이터 유형, 커스터마이징(Customizing) 데이터 유형, 임시(Temporary) 데이터 유형, 제어(Control) 데이터 유형 및 시스템(System) 데이터 유형 중 하나로 분류될 수 있음을 나타내고 있다. 또한, 앞서 오브젝트의 특성으로서, 계속 발생하는 전표/주문 등을 의미하는 문서(Document), 제품의 현재 생산 상태를 기록하는 상태(Status), 문서 등의 변경 내용을 저장하는 이력(History), 고객의 일정 기간 거래 총액을 기록하는 요약(Summary)을 설명한 바 있다. 이러한 오브젝트의 특성은 도 23의 실시예에서도 반영되어 있다. 또한, 도 23의 실시예에서는 요약 특성의 분류(Summary Classification)로서 오브젝트가 기간 요약(Period Sum.), 조직 요약(Org.Sum.) 및 키 요약(Key Sum.)으로 세부 분류될 수 있음을 나타내고 있으며, 기간 요약(Period Sum.)의 주기(Summary Frequency)로서 일/주 요약(Day/Week Sum.), 월 요약(Month Sum.) 및 년도 요약(Year Sum.)으로 세부 분류될 수 있음을 나타내고 있다. 이처럼 오브젝트의 분류는 해당 데이터베이스를 유지 관리하는 기업의 설정에 따라 다양하게 이루어질 수 있다.
도 24는 본 발명의 일실시예에 따른 데이터 아카이빙 방법의 또 다른 예를 도시한 도면이다. 본 실시예에 따른 데이터 아카이빙 방법은 앞서 설명한 데이터 아카이빙 시스템(310)을 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 24의 방법이 포함하는 단계들(2410 내지 2470)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다. 또한, 컴퓨터 프로그램은 앞서 설명한 아카이빙 솔루션 프로그램에 대응될 수 있다.
단계(2410)에서 컴퓨터 장치(200)는 대상 시스템(320)의 데이터베이스(321) 내의 테이블간의 종속성을 기준으로 아카이빙 대상 데이터를 최소 프로세스 처리 단위인 오브젝트로 그룹화할 수 있다. 이러한 오브젝트에 대해서는 앞서 도 21 내지 도 23을 통해 이미 자세히 설명하였다.
단계(2420)에서 컴퓨터 장치(200)는 비즈니스 유형에 따라 아카이빙 데이터의 전송 시나리오를 정의할 수 있다. 예를 들어, 비즈니스 유형은 재무, 원가, 영업, 구매, 개인정보, 생산, 판매, 자재, 품질, 시스템 등을 포함할 수 있다. 또한, 컴퓨터 장치(200)는 네트워크 대역폭을 고려하여 전송 시나리오를 복수의 소그룹들로 분할하여 정의할 수도 있다. 아카이빙 데이터는 하나의 전송 시나리오를 통해 한번에 전체 데이터를 전송하기에는 용량이 너무 클 수도 있다. 이에 컴퓨터 장치(200)는 네트워크 대역폭이 작은 경우, 전송 시나리오를 복수의 소그룹들로 나눔으로써, 아카이빙 데이터를 분할 전송할 수 있다. 이때, 네트워크 대역폭이 작아질수록 소그룹들의 수는 증가하도록 전송 시나리오가 분할될 수 있다.
단계(2430)에서 컴퓨터 장치(200)는 전송 시나리오에 오브젝트를 할당할 수 있다. 전송 시나리오가 복수의 소그룹들로 분할되어 정의된 경우, 컴퓨터 장치(200)는 오브젝트를 복수의 소그룹들로 분할하여 할당할 수 있다. 예를 들어, 오브젝트는 오브젝트의 모듈, 유형 및 특성 중 적어도 하나를 고려하여 해당 오브젝트가 할당된 소그룹이 결정될 수 있다.
단계(2440)에서 컴퓨터 장치(200)는 전송 시나리오에 대한 전송 시뮬레이션을 처리할 수 있다. 만약, 전송 시나리오가 복수의 소그룹들로 분할되어 정의된 경우, 컴퓨터 장치(200)는 전송 시나리오의 소그룹별로 전송 시뮬레이션을 처리할 수 있다. 예를 들어, 컴퓨터 장치(200)는 전송 시뮬레이션을 통해 각 오브젝트별로 전송 시간을 확인할 수 있으며, 이후의 실제 전송을 위한 최적의 시간을 오브젝트별로 예측할 수 있다.
단계(2450)에서 컴퓨터 장치(200)는 저장 시스템(300)을 포함하는 외부 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 전송 용량을 결정할 수 있다. 일례로, 컴퓨터 장치(200)는 대상 시스템(320)에 저장된 데이터 중 적어도 일부를 저장 시스템(330)으로 아카이빙하기 위해 전송하는 과정, 바람직하게는 단계(2430)의 전송 시뮬레이션을 처리하는 과정에서 실제 전송 수신측(저장 시스템(330)을 포함하는 외부 시스템)의 시스템 특성 및 과금 특성에 따라 데이터의 전송 용량을 결정할 수 있다. 예를 들어, 외부 시스템이 클라우드 시스템이고, 클라우드의 PaaS(Platform as a Service) 기능(API 게이트웨이나 SQS(Simple Queue Service) 등)을 활용하는 경우, 해당 기능의 최대 처리 가용량에 맞춰 데이터를 전송함으로써, 비용을 절감할 수 있다. 이를 위해, 컴퓨터 장치(200)는 저장 시스템을 포함하는 외부 시스템의 특성으로서 클라우드 시스템이 제공하는 PaaS(Platform as a Service) 기능의 최대 처리 가용량에 따라 전송 용량을 결정할 수 있다. 다른 예로, 컴퓨터 장치(200)는 저장 시스템을 포함하는 외부 시스템의 과금 체계에 따라 과금 비용이 최소화되도록 전송 횟수, 또는 1회의 전송 용량을 결정할 수 있다. 보다 구체적인 예로, 실제 전송 수신측으로의 전송 횟수에 따라 과금이 이루어지는 경우, 전송 횟수가 최소화되도록 함으로써, 과금 비용을 줄일 수 있다.
한편, 이와 유사하게, 저장 시스템(330)에 아카이빙된 데이터를 조회하는 과정에서도 저장 시스템(330)을 포함하는 외부 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 조회 용량이 결정될 수 있다. 예를 들어, 컴퓨터 장치(200)는 클라우드 시스템이 제공하는 PaaS(Platform as a Service) 기능의 최대 처리 가용량에 따라 조회 용량을 결정하거나 또는 저장 시스템을 포함하는 외부 시스템의 과금 체계에 따라 과금 비용이 최소화되도록 수신 횟수, 또는 1회의 수신 용량을 결정할 수 있다.
단계(2460)에서 컴퓨터 장치(200)는 결정된 전송 용량에 따라 전송 시나리오의 소분류별로 오브젝트를 재할당할 수 있다. 다시 말해, 전송 시뮬레이션을 처리하는 과정에서 단계(2450)에서와 같이 비용에 대한 시뮬레이션 결과가 도출되면, 컴퓨터 장치(200)는 비용이 최소화될 수 있도록 전송 시나리오에 오브젝트를 재할당할 수 있다.
단계(2470)에서 컴퓨터 장치(200)는 전송 시나리오에 따라 오브젝트에 대한 실제 전송을 처리할 수 있다. 이때, 컴퓨터 장치(200)는 단계(2430)에서 처리된 전송 시뮬레이션의 결과에 따라 전송을 위한 오브젝트별 최적 예측 시간을 고려하여 전체 종료 시간을 최적화할 수 있다. 예를 들어, 가장 전송 시간이 오래 걸리는 소그룹/오브젝트 기준으로 시간이 적게 걸리는 소그룹/오브젝트가 먼저 전송될 수 있도록 오브젝트의 전송 순서를 배열할 수 있다. 이 경우, 컴퓨터 장치(200)는 데이터 성격별 데이터 저장 위치를 구분하여 데이터가 저장 시스템(330)에 저장되도록 제어할 수 있으며, 전송 상황 모니터링 툴을 통해 실시간으로 전송건수 및 수행시간을 확인할 수 있다. 또한, 컴퓨터 장치(200)는 전송 수행 맵에 추출 진행상황을 업데이트하고, 에러 발생 시 완료 이후 순번부터 진행하여 속도 및 무결성 유지할 수 있다. 데이터의 전송은 스트리밍 방식 또는 오브젝트 단위 전송을 선택하여 진행될 수 있다. 또한, 컴퓨터 장치(200)는 대상 시스템(320)에서 전송한 시나리오별 및/또는 소그룹별 데이터에 대한 저장 시스템(330)으로의 전송이 완료되었는지 확인한 후, 전송 시나리오별 및/또는 소그룹별 오브젝트 용량 및 수향 현황표와 전송된 데이터를 비교하여 아카이브 데이터의 전송 과정을 검증할 수 있다. 이때, 데이터의 전송은 1:1 관계로 전송될 수도 있고, 1:N 관계의 서로 다른 서버들로 동시에 전송될 수도 있다. 이 경우에는 서버별로 전송 내역 현황표가 구성될 수 있다.
도 25는 본 발명의 일실시예에 따른 멀티 클라우드 관리 시스템의 예를 도시한 도면이다. 도 25는 멀티 클라우드 관리 시스템(2510), 복수의 고객(2520) 및 복수의 클라우드 시스템(2530)을 나타내고 있다.
복수의 고객(2520)은 서로 다른 고객들의 시스템들에 대응할 수 있으며, 이러한 시스템들 각각은 대상 시스템(320)에 대응할 수 있다.
또한, 복수의 클라우드 시스템(2530)은 서로 다른 클라우드 서비스 제공자들의 시스템들에 대응할 수 있다.
멀티 클라우드 관리 시스템(2510)은 단순히 서로 다른 고객에 대해 서로 다른 클라우드 시스템을 이용하여 아카이빙 서비스를 제공하는 것이 아니라, 동일한 고객에 대해서 복수의 클라우드 시스템(2530)이 제공하는 서비스들을 융합하여 제공할 수 있다. 예를 들어, 멀티 클라우드 관리 시스템(2510)은 서로 다른 둘 이상의 클라우드 시스템의 IaaS(Infrastructure-as-a-Service) 플랫폼을 동시에 활용하거나 또는 하나의 클라우드 시스템의 IaaS 플랫폼과 다른 하나의 클라우드 시스템의 SaaS(Software-as-a-Service) 플랫폼을 동시에 활용할 수 있다. 복수의 클라우드 시스템(2530)이 제공하는 클라우드 서비스는 각각의 장점이 존재할 수 있다. 보다 구체적인 예로, 아마존의 애저(Azure)는 손쉬운 설정의 UI/UX를 제공한다는 장점이 있으며, 구글의 GCP(Google Cloud Platform)는 머신러닝에 특화된 글로벌 네트워크 인프라를 제공한다는 장점이 있다. 멀티 클라우드 관리 시스템(2510)은 기업의 요구 사항에 알맞게 각 클라우드 서비스의 장점을 모아서 서비스를 기획할 수 있다.
멀티 클라우드 관리 시스템(2510)은 도 25에 도시된 바와 같이, 클라우드 데이터 관리 플랫폼(Cloud Data Management Platform, CDMP, 2511), 클라우드 데이터 서비스 브로커(Cloud Data Service Broker, CDSB, 2512) 및 멀티 클라우드 데이터 오케이스트레이션 플랫폼(Multi Cloud Data Orchestration Platform, MCDOP, 2513)를 포함할 수 있다.
CDMP(2511)는 복수의 클라우드 시스템(2530) 각각에서의 데이터 사용현황 및 비용을 모니터링하는 서비스를 제공할 수 있다.
CDSB(2512)는 복수의 클라우드 시스템(2530)간의 데이터 저장, CPU 효율, 메모리 최적화, 네트워크 속도 최적화를 고려한 시뮬레이션 서비스를 제공할 수 있다.
MCDOP(2513)는 복수의 클라우드 시스템(2530)간의 데이터 전송을 관리하는 서비스를 제공할 수 있다. 또한, MCDOP(2513)는 하나의 클라우드 시스템에서 다른 클라우드 시스템으로의 데이터 전송 후, 이전 클라우드 시스템의 데이터를 클렌징하는 서비스를 제공할 수 있다. 이에 더해, MCDOP(2513)는 특정 국가의 데이터 전송 정책을 반영하여 클라우드 시스템의 가용 지역을 확인할 수 있는 서비스를 제공할 수 있다.
특정 서비스에 종속되거나 혹은 클라우드의 장점을 활용하는데 방해 받기를 원하는 기업은 없기 때문에, 이러한 멀티 클라우드의 활용은 다양한 상용 클라우드 업체의 모든 신기술을 활용하고, 더 탄력적이고 유연한 서비스/애플리케이션을 만들 수 있도록 도울 수 있다. 예를 들어, 일반적인 목적의 클라우드 인프라로 AWS(Amazon Web Service)를 선정하고, 동시에 오피스 365를 여러 가지 업무에 적합한 퍼블릭 및 프라이빗 클라우드로 활용할 수 있다. 이러한 멀티 클라우드의 활용은 프로세싱을 다른 벤더로 전환하여 쉽고 빠른 재난 복구를 가능하게 해주기 때문에 메인 서비스를 실행 중인 클라우드 서버의 장애에 쉽게 대비할 수 있는 능력을 제공해줄 수 있다.
도 26은 본 발명의 일실시예에 있어서, 멀티 클라우드를 이용한 데이터 아카이빙 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 데이터 아카이빙 방법은 앞서 설명한 데이터 아카이빙 시스템(310)을 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 여기서, 데이터 아카이빙 시스템(310)은 앞서 도 25를 통해 설명한 멀티 클라우드 관리 시스템(2510)을 포함할 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 26의 방법이 포함하는 단계들(2610 내지 2640)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다. 또한, 컴퓨터 프로그램은 앞서 설명한 아카이빙 솔루션 프로그램에 대응될 수 있다.
단계(2610)에서 컴퓨터 장치(200)는 서로 다른 둘 이상의 클라우드 서비스 제공자의 클라우드 시스템들 각각의 데이터 사용현황 및 비용을 모니터링할 수 있다. 하나의 대상 시스템(320)으로부터 아카이빙되는 데이터가 둘 이상의 클라우드 시스템들에 저장될 수 있으며, 컴퓨터 장치(200)는 이러한 둘 이상의 클라우드 시스템들 각각에서의 데이터 사용현황과 이로 인해 발생되는 비용에 대한 정보를 모니터링하여 대상 시스템(320)의 관리자(일례로, 고객)에게 제공할 수 있다.
단계(2620)에서 컴퓨터 장치(200)는 클라우드 시스템들을 이용한 서비스 시뮬레이션을 처리할 수 있다. 이때, 서비스 시뮬레이션에는 클라우드 시스템들간 데이터 저장, CPU 효율, 메모리 최적화, 네트워크 속도 최적화 등이 고려될 수 있다. 예를 들어, 서비스 시뮬레이션은 클라우드 시스템들 각각이 제공하는 인프라, 소프트웨어 등의 조합으로, 고객의 요구에 따른 데이터 아카이빙을 가상으로 처리하는 시뮬레이션이 포함될 수 있다. 이를 통해 어떠한 클라우드 시스템들의 서비스들의 조합이 고객의 요구에 알맞은가를 도출할 수 있다.
단계(2630)에서 컴퓨터 장치(200)는 클라우드 시스템들간의 데이터 전송을 관리할 수 있다. 필요에 따라 고객의 데이터 둘 이상의 클라우드 시스템들간에 서로 전송될 필요가 있다. 예를 들어, 제1 클라우드 시스템에 저장된 고객의 아카이빙 데이터를 제2 클라우드 시스템으로 이전하는 것이 비용의 관점에서 유리하다고 판단되는 경우, 고객의 아카이빙 데이터를 제1 클라우드 시스템에서 제2 클라우드 시스템으로 전송할 수 있다. 컴퓨터 장치(200)는 이러한 클라우드 시스템간의 데이터 전송을 관리할 수 있다. 예를 들어, 제1 클라우드 시스템에 저장된 고객의 아카이빙 데이터를 컴퓨터 장치(200)에서 수신하여 저장한 후, 저장된 아카이빙 데이터를 제2 클라우드 시스템으로 전송할 수 있다.
단계(2640)에서 컴퓨터 장치(200)는 클라우드 시스템들 중 제1 클라우드 시스템에서 제2 클라우드 시스템으로 데이터 전송 후, 제1 클라우드 시스템에서의 데이터 클렌징을 처리할 수 있다. 제1 클라우드 시스템에서 제2 클라우드 시스템으로 고객의 아카이빙 데이터가 이전된 후, 제1 클라우드 시스템에는 고객의 아카이빙 데이터가 남아 있으면 안되기 때문에, 컴퓨터 장치(200)는 제1 클라우드 시스템에 남아 있는 고객의 아카이빙 데이터에 대한 클렌징을 처리할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 대상 시스템에 저장된 데이터 중 적어도 일부를 저장 시스템으로 아카이빙하기 위해 전송하는 과정 또는 저장 시스템에 아카이빙된 데이터를 조회하는 과정에서, 저장 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 전송 용량 또는 조회 용량을 결정함으로써, 아카이빙 데이터의 전송 또는 조회시의 비용을 줄일 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (10)

  1. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 데이터 아카이빙 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 대상 시스템에 저장된 데이터 중 적어도 일부를 저장 시스템으로 아카이빙하기 위해 전송하는 과정 또는 상기 저장 시스템에 아카이빙된 데이터를 조회하는 과정에서, 상기 저장 시스템을 포함하는 외부 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 전송 용량 또는 조회 용량을 결정하는 단계
    를 포함하는 데이터 아카이빙 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 대상 시스템의 데이터베이스 내의 테이블간의 종속성을 기준으로 아카이빙 대상 데이터를 최소 프로세스 처리 단위인 오브젝트로 그룹화하는 단계;
    상기 적어도 하나의 프로세서에 의해, 비즈니스 유형에 따라 아카이빙 데이터의 전송 시나리오를 소분류별로 분할하여 정의하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 전송 시나리오의 소분류별로 오브젝트를 할당하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 소분류별로 전송 시뮬레이션을 처리하는 단계
    를 더 포함하는 데이터 아카이빙 방법.
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 결정된 전송 용량에 따라 상기 전송 시나리오의 소분류별로 오브젝트를 재할당하는 단계
    를 더 포함하는 데이터 아카이빙 방법.
  4. 제1항에 있어서,
    상기 외부 시스템은 클라우드 시스템을 포함하고,
    상기 결정하는 단계는,
    상기 저장 시스템을 포함하는 외부 시스템의 특성으로서 상기 클라우드 시스템이 제공하는 PaaS(Platform as a Service) 기능의 최대 처리 가용량에 따라 상기 전송 용량 또는 상기 조회 용량을 결정하는 것을 특징으로 하는 데이터 아카이빙 방법.
  5. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 저장 시스템을 포함하는 외부 시스템의 과금 체계에 따라 과금 비용이 최소화되도록 전송 횟수, 수신 횟수, 1회의 전송 용량 또는 1회의 수신 용량을 결정하는 것을 특징으로 하는 데이터 아카이빙 방법.
  6. 제1항에 있어서,
    상기 외부 시스템은 서로 다른 둘 이상의 클라우드 서비스 제공자의 클라우드 시스템들을 포함하고,
    상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들 각각의 데이터 사용현황 및 비용을 모니터링하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들을 이용한 서비스 시뮬레이션을 처리하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들간의 데이터 전송을 관리하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들 중 제1 클라우드 시스템에서 제2 클라우드 시스템으로 데이터 전송 후, 상기 제1 클라우드 시스템에서의 데이터 클렌징을 처리하는 단계
    를 더 포함하는 데이터 아카이빙 방법.
  7. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치가 수행하는 데이터 아카이빙 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 서로 다른 둘 이상의 클라우드 서비스 제공자의 클라우드 시스템들 각각의 데이터 사용현황 및 비용을 모니터링하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들을 이용한 서비스 시뮬레이션을 처리하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들간의 데이터 전송을 관리하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 클라우드 시스템들 중 제1 클라우드 시스템에서 제2 클라우드 시스템으로 데이터 전송 후, 상기 제1 클라우드 시스템에서의 데이터 클렌징을 처리하는 단계
    를 포함하는 데이터 아카이빙 방법.
  8. 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    대상 시스템에 저장된 데이터 중 적어도 일부를 저장 시스템으로 아카이빙하기 위해 전송하는 과정 또는 상기 저장 시스템에 아카이빙된 데이터를 조회하는 과정에서, 상기 저장 시스템을 포함하는 외부 시스템의 특성 및 과금 체계 중 적어도 하나에 따라 전송 용량 또는 조회 용량을 결정하는 것
    을 특징으로 하는 컴퓨터 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 대상 시스템의 데이터베이스 내의 테이블간의 종속성을 기준으로 아카이빙 대상 데이터를 최소 프로세스 처리 단위인 오브젝트로 그룹화하고,
    비즈니스 유형에 따라 아카이빙 데이터의 전송 시나리오를 소분류별로 분할하여 정의하고,
    상기 전송 시나리오의 소분류별로 오브젝트를 할당하고,
    상기 소분류별로 전송 시뮬레이션을 처리하는 것
    을 특징으로 하는 컴퓨터 장치.
  10. 제9항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 결정된 전송 용량에 따라 상기 전송 시나리오의 소분류별로 오브젝트를 재할당하는 것
    을 특징으로 하는 컴퓨터 장치.
PCT/KR2020/018911 2020-01-06 2020-12-22 데이터의 전송 및 조회 시의 비용을 최소화하기 위한 데이터 아카이빙 방법 및 시스템 WO2021141293A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022528092A JP7387116B2 (ja) 2020-01-06 2020-12-22 データの送信および照会時の費用を最小化するためのデータアーカイビング方法およびシステム
US17/842,684 US20220327095A1 (en) 2020-01-06 2022-06-16 Data archiving method and system for minimizing cost of data transmission and retrieval

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0001413 2020-01-06
KR20200001413 2020-01-06
KR10-2020-0179839 2020-12-21
KR1020200179839A KR102301304B1 (ko) 2020-01-06 2020-12-21 데이터의 전송 및 조회 시의 비용을 최소화하기 위한 데이터 아카이빙 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/842,684 Continuation US20220327095A1 (en) 2020-01-06 2022-06-16 Data archiving method and system for minimizing cost of data transmission and retrieval

Publications (1)

Publication Number Publication Date
WO2021141293A1 true WO2021141293A1 (ko) 2021-07-15

Family

ID=76788792

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018911 WO2021141293A1 (ko) 2020-01-06 2020-12-22 데이터의 전송 및 조회 시의 비용을 최소화하기 위한 데이터 아카이빙 방법 및 시스템

Country Status (3)

Country Link
US (1) US20220327095A1 (ko)
JP (1) JP7387116B2 (ko)
WO (1) WO2021141293A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222021B2 (en) * 2020-10-05 2022-01-11 Business Mobile Ag Technique for accessing archive data stored in relational databases through the SAP archive information system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020129216A1 (en) * 2001-03-06 2002-09-12 Kevin Collins Apparatus and method for configuring available storage capacity on a network as a logical device
KR20120140668A (ko) * 2010-03-12 2012-12-31 아르텍 컴퓨터 게엠베하 대용량 장기 아카이브의 생산 및 관리 방법
KR20150075190A (ko) * 2013-12-24 2015-07-03 주식회사 케이티 사용자의 비용 계획에 근거한 스토리지 서비스 제공 장치 및 방법
KR20160117528A (ko) * 2014-03-31 2016-10-10 인텔 코포레이션 데이터를 안전하게 공유하기 위한 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132560A (ja) 2000-10-19 2002-05-10 Fuji Xerox Co Ltd バックアップシステム
JP5463746B2 (ja) 2009-06-15 2014-04-09 日本電気株式会社 アーカイブストレージ装置、ストレージシステム、データ格納方法、およびデータ格納プログラム
US9811532B2 (en) * 2010-05-03 2017-11-07 Panzura, Inc. Executing a cloud command for a distributed filesystem
JP5814039B2 (ja) 2011-08-05 2015-11-17 株式会社日立システムズ 情報処理装置、データ取得方法、データ取得プログラム、及び記録媒体
US20130311597A1 (en) 2012-05-16 2013-11-21 Apple Inc. Locally backed cloud-based storage
US20140040573A1 (en) * 2012-07-31 2014-02-06 Ludmila Cherkasova Determining a number of storage devices to backup objects in view of quality of service considerations
JP5913738B2 (ja) 2012-09-20 2016-04-27 株式会社日立製作所 複数の性能指標に基づきアクセス先を決定する分散バックアップシステム
US9569441B2 (en) * 2013-10-09 2017-02-14 Sap Se Archival of objects and dynamic search
US9304707B1 (en) * 2013-10-30 2016-04-05 Ca, Inc. Transferring high volume data between operating systems
JP6227378B2 (ja) 2013-11-08 2017-11-08 株式会社日立製作所 バックアップ管理システムおよびバックアップ管理方法
US9479413B2 (en) * 2014-04-28 2016-10-25 Netscout Systems Texas, Llc Methods and policies to support a quality-of-storage network
US20160253404A1 (en) * 2015-02-26 2016-09-01 Toni Fabijancic Database-controlled information lifecycle management
US10540384B2 (en) 2017-01-06 2020-01-21 Oracle International Corporation Compression and secure, end-to-end encrypted, ZFS cloud storage
JP6924952B2 (ja) 2017-02-13 2021-08-25 株式会社日立製作所 計算機システムおよびリストア方法
JP6686976B2 (ja) 2017-06-20 2020-04-22 日本電気株式会社 仮想テープ管理装置、仮想テープ管理方法、及びプログラム
US10705882B2 (en) * 2017-12-21 2020-07-07 Cisco Technology, Inc. System and method for resource placement across clouds for data intensive workloads

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020129216A1 (en) * 2001-03-06 2002-09-12 Kevin Collins Apparatus and method for configuring available storage capacity on a network as a logical device
KR20120140668A (ko) * 2010-03-12 2012-12-31 아르텍 컴퓨터 게엠베하 대용량 장기 아카이브의 생산 및 관리 방법
KR20150075190A (ko) * 2013-12-24 2015-07-03 주식회사 케이티 사용자의 비용 계획에 근거한 스토리지 서비스 제공 장치 및 방법
KR20160117528A (ko) * 2014-03-31 2016-10-10 인텔 코포레이션 데이터를 안전하게 공유하기 위한 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "A Guideline for Hardware Sizing of Information Systems", TELECOMMUNICATION TECHNOLOGY ASSOCIATION; INFORMATION AND COMMUNICATION ORGANIZATION STANDARDS (KOREAN STANDARD), 19 December 2018 (2018-12-19), XP055827612, Retrieved from the Internet <URL:https://www.cisp.or.kr/wp-content/uploads/2013/11/정보시스템_하드웨어_규모산정_지침_TTAK.KO-10.0292_R2_2018.12.19.pdf> [retrieved on 20210726], DOI: 10.0292/R2 *

Also Published As

Publication number Publication date
JP2023501656A (ja) 2023-01-18
JP7387116B2 (ja) 2023-11-28
US20220327095A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
WO2021141294A1 (ko) 데이터의 하이브리드 저장을 이용한 데이터 아카이빙 방법 및 시스템
US8190599B2 (en) Stream data processing method and system
WO2021060609A1 (ko) 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 모델 제공 방법
WO2021141292A1 (ko) 하이브리드 클라우드 기반의 실시간 데이터 아카이빙 방법 및 시스템
WO2020101343A1 (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
WO2020237878A1 (zh) 数据去重方法、装置、计算机设备以及存储介质
WO2017146338A1 (ko) 인덱스정보를 생성하는 데이터베이스의 아카이빙 방법 및 장치, 인덱스정보를 포함하는 아카이빙된 데이터베이스의 검색 방법 및 장치
CN111949710A (zh) 数据存储方法、装置、服务器及存储介质
WO2021141293A1 (ko) 데이터의 전송 및 조회 시의 비용을 최소화하기 위한 데이터 아카이빙 방법 및 시스템
CN113760847A (zh) 日志数据处理方法、装置、设备及存储介质
US20210117120A1 (en) Data movement between heterogeneous storage devices
CN111241189A (zh) 一种同步数据的方法和装置
WO2022059941A1 (ko) 기업분할 시 조직 데이터를 선별하여 이관하는 방법 및 시스템
KR102529704B1 (ko) 인 메모리 데이터베이스의 데이터를 처리하는 방법 및 장치
US20210117276A1 (en) Garbage collection of unreferenced data objects in a protection store
CN111190858A (zh) 软件信息存储方法、装置、设备和存储介质
WO2018097522A1 (ko) 데이터베이스의 이중화를 위한 기법
KR102370857B1 (ko) 기업분할 시 조직 데이터를 선별하여 이관하는 방법 및 시스템
WO2020213985A1 (ko) 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램
US11847322B2 (en) Archiving operations for compressed data using file layout
WO2022092330A1 (ko) Dcat 기반 메타데이터 변환 시스템
JP2020166504A (ja) データ提供システムおよびデータアクセス方法
CN115168376A (zh) 写入数据的方法、装置、设备和计算机可读介质
CN117149568A (zh) 指标采集方法、装置、电子设备和计算机可读介质
CN113111119A (zh) 一种操作数据的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912747

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022528092

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912747

Country of ref document: EP

Kind code of ref document: A1