KR20210023149A - Apparatus and method for associating data between internal system and external system - Google Patents
Apparatus and method for associating data between internal system and external system Download PDFInfo
- Publication number
- KR20210023149A KR20210023149A KR1020190102926A KR20190102926A KR20210023149A KR 20210023149 A KR20210023149 A KR 20210023149A KR 1020190102926 A KR1020190102926 A KR 1020190102926A KR 20190102926 A KR20190102926 A KR 20190102926A KR 20210023149 A KR20210023149 A KR 20210023149A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- linkage
- relay device
- unit
- current
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H04L67/2823—
-
- H04L67/2842—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Abstract
Description
본 기술은 데이터 연계 기술에 관한 것으로서, 보다 상세하게는, 내부 시스템 및 외부 시스템 간의 원활한 서비스 제공을 위해 데이터의 중복성을 제거하고 데이터의 연계를 제공하는 데이터 연계 장치 및 방법에 관한 것이다.The present technology relates to a data linkage technology, and more particularly, to a data linkage device and method for removing data redundancy and providing data linkage in order to provide a smooth service between an internal system and an external system.
최근 분산환경에서 데이터베이스화된 각종 정형 정보와 데이터, 이미지, 및 첨부파일 등과 같은 비정형 정보를 연계하여 여러 시스템에서 사용하고자 하는 필요성이 있어, 기업들은 개별적으로 구비된 복수의 데이터베이스에 저장된 각종 정보와 데이터, 첨부파일 등을 EAI, ESB, 또는 자체개발 애플리케이션을 이용하여 변환 및 저장하고 이를 연계하여 사용하고 있다. 그런데 최근 정보시스템의 보안강화로 내외부망을 분리하는 방향으로 정보시스템의 구성이 변화됨에 따라 시스템 및 네트워크(Network) 측면에서 다음과 같은 정보 연계의 제약점이 발생하고 있다.Recently, there is a need to link various structured information and unstructured information such as data, images, and attachments that have been databaseized in a distributed environment to be used in various systems, so companies have various types of information and data stored in a plurality of databases individually provided. , Attached files, etc. are converted and stored using EAI, ESB, or self-developed applications, and are used in conjunction with them. However, as the configuration of the information system has recently changed in the direction of separating the internal and external networks due to the reinforcement of the security of the information system, the following information linkage limitations have arisen from the system and network side.
1. 정보 및 자료의 흐름은 내부에서 외부 시스템으로만 진행함1. The flow of information and data proceeds only from the inside to the outside system.
2. 이종 서비스간의 데이터베이스(DB) 연계는 제한하며 파일이나 웹서비스 형태로 변환하여 제공하는 것을 요구함2. Database (DB) linkage between heterogeneous services is limited, and it is required to provide it by converting it into a file or web service format.
3. 네트워크 보안장비에서 비정상적인 활동 차단을 위해 3~5분이상의 자료 전송 및 연결 차단이 발생함3. In order to block abnormal activities in network security equipment, data transmission and connection blocking occurs for 3 to 5 minutes or longer.
4. 분산환경에서 자료의 빈번한 등록, 수정, 삭제로 인한 데이터의 연계량이 급증함4. In a distributed environment, the amount of data linkage increases rapidly due to frequent registration, correction, and deletion of data.
5. 연계데이터에 대한 암호화 등 강화된 보안정책의 적용을 요구함5. Require application of reinforced security policies such as encryption for linked data
이러한 제약점으로 인해 데이터의 생산, 유통, 및 활용에 있어서 과도한 시스템 부하가 발생하고 데이터의 정합성 검증, 연계 데이터의 암호처리, 및 일정 용량 이상의 데이터 또는 파일에 대한 분할 압축 처리 등의 어려움이 발생하고 있으나, 기존에 활용된 EAI/ESB 연계 방법은 변화된 다양한 환경에 대한 적절한 서비스 제공 및 데이터 연계에 한계가 있고 자체 개발 애플리케이션은 서비스의 품질과 반복 개발로 인한 표준화에 문제가 있다.Due to these limitations, excessive system load occurs in the production, distribution, and utilization of data, and difficulties such as verifying the integrity of data, encryption processing of linked data, and partitioning and compressing processing for data or files larger than a certain amount occur. However, the previously used EAI/ESB linkage method has limitations in providing appropriate services and data linkage for various changed environments, and self-developed applications have problems in standardization due to service quality and repetitive development.
본 발명의 목적은 분산환경에서 데이터 및 정보를 연계함에 있어서 정확하고 편리하게 관리하기 위해 데이터의 중복성 제거, 암호화, 분할 및 압축, 데이터 변환, 정합성 검증을 수행하는 데이터 연계 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide a data linkage device and method for performing data redundancy removal, encryption, division and compression, data conversion, and consistency verification in order to accurately and conveniently manage data and information in a distributed environment. .
상기 목적을 달성하기 위한 본 발명의 제1 측면은, 데이터 연계 방법으로서, (a) 외부장치로부터 데이터를 수집하는 단계, (b) 상기 수집된 데이터를 표준형식으로 변환하고 중복성을 제거하는 단계, (c) 상기 중복성이 제거된 데이터를 데이터 연계를 위한 연계형식으로 변환하고 암호화 하는 단계, 및 (d) 상기 암호화된 데이터를 분할 또는 압축하는 단계를 포함한다.A first aspect of the present invention for achieving the above object is a data linkage method, comprising the steps of: (a) collecting data from an external device, (b) converting the collected data into a standard format and removing redundancy, (c) converting and encrypting the data from which the redundancy has been removed into a linked format for data linkage, and (d) dividing or compressing the encrypted data.
바람직하게, 상기 (b) 단계는, 상기 표준형식으로 변환된 현재 데이터가 정형 데이터인 경우에는, 상기 현재 데이터의 기본값 및 속성값을 기저장되어 있는 이전 데이터의 기본값 및 속성값과 비교하는 단계, 및 상기 비교 결과에 따라, 기본값 및 속성값이 동일한 경우에는 상기 현재 데이터를 제외하고, 기본값이 이전 데이터에는 존재하고 현재 데이터에는 존재하지 않는 경우에는 상기 이전 데이터를 삭제하고, 기본값이 이전 데이터에는 존재하지 않고 현재 데이터에는 존재하는 경우에는 상기 현재 데이터를 추가하고, 기본값은 동일하고 속성값이 다른 경우에는 이전 데이터를 현재 데이터로 변경하는 단계를 포함할 수 있다.Preferably, the step (b), when the current data converted to the standard format is structured data, comparing the default value and attribute value of the current data with the default value and attribute value of the previously stored data, And if the default value and the attribute value are the same according to the comparison result, except for the current data, if the default value exists in the previous data and does not exist in the current data, the previous data is deleted, and the default value exists in the previous data. Otherwise, if it exists in the current data, the current data is added, and if the default value is the same and the attribute value is different, changing the previous data to the current data.
바람직하게, 상기 (b) 단계는, 상기 표준형식으로 변환된 현재 데이터가 비정형 데이터인 경우에는, 상기 현재 데이터와 상기 이전 데이터의 데이터명 및 데이터의 크기를 비교하는 단계, 상기 비교 결과에 따라, 데이터명 및 데이터의 크기가 동일한 경우에는 상기 현재 데이터를 제외하고, 데이터명이 이전 데이터에는 존재하고 현재 데이터에는 존재하지 않는 경우에는 상기 이전 데이터를 삭제하고, 데이터명이 이전 데이터에는 존재하지 않고 현재 데이터에는 존재하는 경우에는 상기 현재 데이터를 추가하고, 데이터명은 동일하고 데이터의 크기가 다른 경우에는 이전 데이터를 현재 데이터로 변경하는 단계를 포함할 수 있다.Preferably, the step (b), when the current data converted to the standard format is unstructured data, comparing the data name and data size of the current data and the previous data, according to the comparison result, If the data name and data size are the same, the current data is excluded. If the data name exists in the previous data and does not exist in the current data, the previous data is deleted, and the data name does not exist in the previous data and does not exist in the current data. If it exists, the current data is added, and if the data name is the same and the data size is different, changing the previous data to the current data.
바람직하게, 상기 (d) 단계는, 상기 암호화된 데이터의 용량이 기설정된 기준용량을 초과하는 경우에는, 상기 암호화된 데이터를 분할하여 압축하는 단계, 및 상기 암호화된 데이터의 용량이 기설정된 기준용량을 초과하지 않는 경우에는, 상기 암호화된 데이터를 압축하는 단계를 포함할 수 있다.Preferably, the step (d), when the capacity of the encrypted data exceeds a preset reference capacity, dividing and compressing the encrypted data, and the capacity of the encrypted data is a preset reference capacity If it does not exceed, the step of compressing the encrypted data may be included.
바람직하게, (e) 상기 분할 또는 압축한 데이터를 중계장치로 전송하는 단계를 더 포함하되, 상기 중계장치로 전송된 데이터는 상기 중계장치에 저장되고, 상기 저장된 데이터는 이용장치의 요청에 따라 상기 중계장치로부터 상기 이용장치로 전송되고, 상기 이용장치로 전송된 데이터 처리 결과에 대한 정보는 상기 중계장치로 전송되어 저장될 수 있다.Preferably, (e) further comprising the step of transmitting the divided or compressed data to a relay device, wherein the data transmitted to the relay device is stored in the relay device, and the stored data is Information on a data processing result transmitted from the relay device to the using device and transmitted to the using device may be transmitted to and stored in the relay device.
바람직하게, (f) 상기 각 단계가 수행되면서 발생된 로그정보를 기초로 정합성을 검증하는 단계를 더 포함할 수 있다.Preferably, it may further include the step of (f) verifying consistency based on log information generated while each step is performed.
바람직하게, 상기 (f) 단계는, 상기 (b) 내지 (c) 단계에서 각 동작을 수행하면서 발생된 로그정보, 상기 중계장치에서 데이터를 송수신하는 동작을 수행하면서 발생된 로그정보, 및 상기 이용장치에서 데이터를 수신하고 이용하는 동작을 수행하면서 발생된 로그정보를 수집하는 단계, 상기 수집한 로그정보를 기초로 무결성을 검증하는 단계, 및 상기 무결성의 검증 결과에 따라, 검증이 완료되면 처리를 완료하고 검증이 실패되면 해당 단계의 동작을 재처리하는 단계를 포함할 수 있다.Preferably, the step (f) includes log information generated while performing each operation in steps (b) to (c), log information generated while performing an operation of transmitting and receiving data in the relay device, and the use of the log information. Collecting log information generated while performing an operation of receiving and using data from the device, verifying integrity based on the collected log information, and completing processing when verification is completed according to the verification result of the integrity. And if the verification fails, reprocessing the operation of the corresponding step may be included.
상기 목적을 달성하기 위한 본 발명의 제2 측면은, 연계장치로서, 외부장치로부터 데이터를 수집하는 데이터 수집부, 상기 수집된 데이터를 표준형식으로 변환하고 중복성을 제거하는 중복성 제거부, 상기 중복성이 제거된 데이터를 데이터 연계를 위한 연계형식으로 변환하고 암호화 하는 암호화부, 및 상기 암호화된 데이터를 분할 또는 압축하는 분할압축부를 포함한다.A second aspect of the present invention for achieving the above object is, as a linkage device, a data collection unit for collecting data from an external device, a redundancy removal unit for converting the collected data to a standard format and removing redundancy, and the redundancy is And an encryption unit for converting and encrypting the removed data into an association format for data linkage, and a division and compression unit for dividing or compressing the encrypted data.
바람직하게, 상기 분할 또는 압축한 데이터를 중계장치로 전송하는 전송부를 더 포함하되, 상기 중계장치로 전송된 데이터는 상기 중계장치에 저장되고, 상기 저장된 데이터는 이용장치의 요청에 따라 상기 중계장치로부터 상기 이용장치로 전송되고, 상기 이용장치로 전송된 데이터 처리 결과에 대한 정보는 상기 중계장치로 전송되어 저장될 수 있다.Preferably, it further comprises a transmission unit for transmitting the divided or compressed data to a relay device, wherein the data transmitted to the relay device is stored in the relay device, and the stored data is from the relay device at the request of the using device. Information on the data processing result transmitted to the using device and transmitted to the using device may be transmitted to and stored in the relay device.
바람직하게, 상기 각 부에서 동작이 수행되면서 발생된 로그정보를 기초로 정합성을 검증하는 정합성 검증부를 더 포함할 수 있다.Preferably, it may further include a consistency verification unit for verifying the consistency based on the log information generated while the operation is performed in each unit.
상기 목적을 달성하기 위한 본 발명의 제3 측면은, 데이터 연계 시스템으로서, 외부장치로부터 데이터를 수집하고, 상기 수집된 데이터를 표준형식으로 변환하고 중복성을 제거하고, 상기 중복성이 제거된 데이터를 데이터 연계를 위한 연계형식으로 변환하고 암호화 하고, 상기 암호화된 데이터를 분할 또는 압축하는 연계장치, 및 상기 연계장치로부터 분할 또는 압축된 데이터를 수신하여 저장하고, 이용장치의 요청에 따라 저장된 데이터를 전송하고 전송한 데이터는 삭제하며, 상기 전송한 데이터의 상기 이용장치에서의 처리 결과에 대한 정보를 저장하는 중계장치를 포함한다.A third aspect of the present invention for achieving the above object is a data linkage system, which collects data from an external device, converts the collected data to a standard format, removes redundancy, and converts the data from which the redundancy is removed. A linkage device that converts and encrypts the linkage format for linkage, divides or compresses the encrypted data, and receives and stores the divided or compressed data from the linkage device, and transmits the stored data at the request of the user device. And a relay device that deletes the transmitted data and stores information on a result of processing of the transmitted data by the using device.
상기한 바와 같이 본 발명에 의하면, 다양한 형태의 데이터 및 자료에 대해서 강화된 내외부망에서 정보 연계가 가능한 효과가 있다.As described above, according to the present invention, there is an effect that information linkage is possible in a reinforced internal and external network for various types of data and data.
또한, 비교시점의 데이터 및 파일을 현재 데이터와 비교하여 중간단계에서 발생하는 이력정보를 제거하므로 경량화가 가능한 효과가 있다.In addition, since the data and the file at the time of comparison are compared with the current data, the history information generated in the intermediate step is removed, so that weight reduction is possible.
또한, 데이터 및 자료의 연계 시에 발생할 수 있는 보안문제와 부하발생을 최소화하는 효과가 있다In addition, it has the effect of minimizing the occurrence of security problems and loads that may occur when linking data and data.
또한, 표준기술을 적용하여 단순하게 구현이 가능하고 새로운 연계서비스를 빠르게 구축할 수 있는 효과가 있다.In addition, it can be implemented simply by applying standard technology, and there is an effect of quickly establishing a new connection service.
도 1은 본 발명의 바람직한 실시예에 따른 데이터 연계 시스템에 대한 구성도이다.
도 2는 일 실시예에 따른 데이터 연계 시스템에 대한 구성도이다.
도 3은 일 실시예에 따른 연계장치에 대한 블록도이다.
도 4는 일 실시예에 따른 중복성 제거부에 대한 블록도이다.
도 5는 일 실시예에 따른 정합성 검증부에 대한 블록도이다.
도 6은 일 실시예에 따른 중계장치에 대한 블록도이다.
도 7은 일 실시예에 따른 이용장치에 대한 블록도이다.
도 8은 일 실시예에 따른 데이터 연계 방법에 대한 흐름도이다.1 is a block diagram of a data linkage system according to a preferred embodiment of the present invention.
2 is a configuration diagram of a data linkage system according to an embodiment.
3 is a block diagram of an associated device according to an embodiment.
4 is a block diagram of a redundancy removal unit according to an embodiment.
5 is a block diagram of a consistency verification unit according to an embodiment.
6 is a block diagram of a relay device according to an embodiment.
7 is a block diagram of a use device according to an embodiment.
8 is a flowchart of a data linkage method according to an embodiment.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.Hereinafter, the advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described later in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms. It is provided to completely inform the scope of the invention to the possessor, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same elements throughout the specification. "And/or" includes each and every combination of one or more of the recited items.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step has a specific sequence clearly in the context. Unless otherwise stated, it may occur differently from the stated order. That is, each of the steps may occur in the same order as the specified order, may be performed substantially simultaneously, or may be performed in the reverse order.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, “comprises” and/or “comprising” refers to the presence of one or more other components, steps, actions and/or elements in which the recited elements, steps, actions and/or elements Or does not preclude additions.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used with meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, when it is determined that detailed descriptions of known functions or configurations may unnecessarily obscure the subject matter of the present invention in describing the embodiments of the present invention, detailed descriptions thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout the present specification.
도 1은 본 발명의 바람직한 실시예에 따른 데이터 연계 시스템에 대한 구성도이다.1 is a block diagram of a data linkage system according to a preferred embodiment of the present invention.
도 1을 참조하면, 데이터 연계 시스템은 외부장치(100), 연계장치(200), 중계장치(300), 및 이용장치(400)를 포함하고, 외부장치(100) 및 연계장치(200)는 내부 시스템에 포함되고, 중계장치(300) 및 이용장치(400)는 외부 시스템에 포함된다. 여기에서, 외부장치(100), 연계장치(200), 중계장치(300), 및 이용장치(400)는 상호 네트워크를 통하여 연결되고, 예를 들어, 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 데이터를 송수신할 수 있는 네트워크망을 통해 연결될 수 있으며, 통신 수단은 본 발명의 기술분야에 속하는 통상의 기술자의 의도에 따라 다양하게 변형하여 적용될 수 있다.1, the data linkage system includes an
외부장치(100)는 DBMS, xlm/json, csv/xls 와 같은 다양한 형태의 데이터를 제공하거나 이미지 또는 문서와 같은 파일 형태의 데이터를 제공하는 장치로서, 복수개가 포함될 수 있다. 바람직하게, 각 외부장치(100)가 제공하는 원천 데이터는 ERP(enterprise resources planning) 시스템 또는 사내 전산망에 저장되어 있는 업무 항목별 상세 데이터와 관련 파일에 해당할 수 있다. 예를 들어, 공공기관의 경우, 외부장치(100)는 복수의 업무별 또는 부서별 원천 DB/파일을 포함하고, 원천 DB/파일은 설비정보, 설치/예방/고장/폐기, 내부 ERP에 연계된 고객서비스와 관련된 정보 중 적어도 하나 이상의 데이터를 포함할 수 있다. The
바람직하게, 원천 데이터는 실무자의 단말을 통해 복수의 외부장치(100)에 저장되거나, 기상정보처럼 공공 데이터 연계 API 형태로 제공되고, 외부장치(100)에 저장되거나 제공되는 데이터는 데이터를 식별할 수 있는 테이블(table), 행(row), 열(column), ID/속성(attribute), SQL(Structured Query Language) 문장 및 기타 식별 정보 중 적어도 하나 이상을 포함할 수 있다. 여기에서, 테이블(table)은 행(row)과 열(column)로 구성되며, 데이터가 저장되는 가장 기본적인 단위이다. 특히, 열(column)은 데이터가 하나의 테이블에 들어갈 때 하나 이상의 구분값으로 들어가는 것으로서 일종의 속성(attribute)이다. SQL 문장은 구조화된 질의문으로, 데이터베이스로부터 정보를 얻거나 갱신하기 위한 표준 대화식 프로그래밍 언어이다. 많은 수의 데이터베이스 관련 프로그램들이 SQL을 표준으로 채택하고 있으며, SQL은 데이터베이스 생성부터 레코드 검색 등의 작업을 수행할 때 사용될 수 있다.Preferably, the source data is stored in a plurality of
연계장치(200)는 데이터를 경량화하고 암호화 및 압축을 수행하여 외부 시스템으로 데이터를 전달하는 장치다. 바람직하게, 연계장치(200)는 데이터를 경량화하기 위하여 데이터의 중복성을 제거하는 동작을 수행하는 구성을 포함할 수 있다. 일 실시예에서, 중복성을 제거하는 동작은 중복성의 제거를 위한 에이전트(Agent)의 형태로 구현될 수 있고, 도 1은 중복성 제거 에이전트가 연계장치(200) 내부에서 실행되는 구성을 도시하고 있다. 다른 실시예에서, 중복성 제거 에이전트는 시스템의 구성 및 서비스 제공 방법에 따라 각 외부장치(100)에서 실행될 수 있고, 이 경우에는 도 2에 도시된 바와 같이 데이터 연계 시스템이 구성될 수 있다. 이하에서는, 연계장치(200)에서 데이터의 중복성이 제거되는 구성, 즉, 중복성 제거 에이전트가 연계장치(200) 내부에서 실행되는 구성으로 설명하고, 각 외부장치(100)에서 데이터의 중복성이 제거되는 실시예는 본 발명의 기술분야에 속하는 통상의 기술자에 의하여 용이하게 수행될 수 있다.The
중계장치(300)는 내부 시스템과 외부 시스템 간의 데이터 송수신을 중계하는 장치로서, 바람직하게, 연계장치(200)에서 처리된 데이터를 수신하여 저장 및 관리하고 이용장치(400)로 전송할 수 있다. 도 1 및 도 2에서는 연계장치(200)와 중계장치(300)를 각각 분리하여 도시하였으나, 조직의 내부 보안 규정 또는 시스템의 구성에 따라 연계장치(200)와 중계장치(300)는 하나로 통합되어 구성될 수 있다.The
이용장치(400)는 외부장치(100)에서 제공되고 연계장치(200)에서 처리된 데이터를 중계장치(300)를 통하여 제공받는 장치로서, 외부장치(100)에서 제공되는 데이터의 연계작업을 수행하는 장치다.The using
이하에서는, 데이터를 기준으로 각 동작이 수행되는 것으로 설명하나, 파일의 경우에도 동일하게 적용될 수 있고, 이는 본 발명의 기술분야에 속하는 통상의 기술자에 의하여 용이하게 구현될 수 있다.Hereinafter, it is described that each operation is performed based on data, but the same can be applied to a file, and this can be easily implemented by a person skilled in the art.
도 3은 일 실시예에 따른 연계장치에 대한 블록도이다.3 is a block diagram of an associated device according to an embodiment.
도 3을 참조하면, 연계장치(200)는 스케줄 관리부(210), 데이터 수집부(220), 중복성 제거부(230), 암호화부(240), 분할압축부(250), 전송부(260), 로그 관리부(270), 및 정합성 검증부(280)를 포함한다. 여기에서, 연계장치(200)의 각 구성의 동작 및 데이터의 흐름은 제어부(도면에 도시되지 않음)를 통하여 제어될 수 있다. 이하에서는, 도 4, 5, 및 8을 참조하여, 연계장치(200)의 각 구성을 통하여 수행되는 동작에 대하여 보다 구체적으로 설명한다.3, the
데이터 수집부(220)는 외부장치(100)로부터 데이터를 수집한다(단계 S810). 즉, 각각의 외부장치(100)로부터 원천 데이터들이 수집되는 것이다.The
중복성 제거부(230)는 데이터 수집부(220)를 통하여 수집된 데이터를 표준형식으로 변환하고 중복성을 제거한다(단계 S820). 일 실시예에서, 중복성 제거부(230)는 중복성 제거 에이전트 형태로 구현될 수 있고, 중복성 제거 에이전트가 도 2에 도시된 바와 같이 외부장치(100)에서 수행되는 경우에는 단계 S810 및 S820은 외부장치(100)에서 수행될 수 있다. 여기에서는, 연계장치(200)에서는 단계 S810 및 S820이 수행되는 것을 기준으로 설명한다.The
바람직하게, 중복성 제거부(230)는 수집된 데이터를 규정화된 형식으로 변환할 수 있고, 각각의 외부장치(100)로부터 수집된 원천 데이터들은 관계형으로 연결 가능한 하나 이상의 데이터 필드를 포함하여 이루어져 있어 데이터 필드에 포함되는 데이터가 공통의 형식으로 변환될 수 있다.Preferably, the
바람직하게, 중복성 제거부(230)는 이전시점의 이전 데이터와 현재시점의 현재 데이터를 비교하여 변경된 데이터를 저장하고 나머지 데이터는 제거하는 방식으로 통합 형식 데이터들의 중복 상태를 제거할 수 있다. 보다 구체적으로, 도 4를 참조하면, 중복성 제거부(230)는 스케줄 관리 모듈(231), 이전 데이터 관리 모듈(232), 현재 데이터 관리 모듈(233), 비교 판단 모듈(234), 저장 모듈(235), 및 로그 관리 모듈(236)을 포함한다. 스케줄 관리 모듈(231)은 기설정된 업무규칙에 따라 년/월/일/시/분 단위로 데이터의 중복성 검사를 최초시작에서부터 종료까지 담당하고 비정상적인 상황시에는 에러로그를, 정상적인 처리시에는 정상로그를 로그 관리 모듈(236)에 전달한다. 업무의 성격에 따라 데이터의 연계주기가 설정되면 설정된 주기에 따라 스케줄 관리 모듈(231)은 자동으로 데이터의 중복성 제거 동작을 수행한다. 데이터의 중복성 제거 동작은 다음과 같다.Preferably, the
데이터 수집부(220)를 통하여 수집되고 표준형식으로 변환된 데이터를 기초로 스케줄 관리 모듈(231)이 현재 데이터를 생성하면 현재 데이터는 현재 데이터 관리 모듈(233)에서 관리되고, 비교 판단 모듈(234)는 현재 데이터 관리 모듈(233)에서 관리되고 있는 현재 데이터와 이전 데이터 관리 모듈(232)에서 관리되고 있는 이전 데이터를 비교한다. 여기에서, 이전 데이터는 스케줄 관리 모듈(231)에 의하여 이전에 처리된 데이터에 대한 최종 결과값으로 현재 데이터와 비교하기 위한 기준값이 된다.When the schedule management module 231 generates current data based on the data collected through the
바람직하게, 비교 판단 모듈(234)은 현재 데이터가 정형 데이터인 경우에는 이전 데이터와 현재 데이터의 기본값(키값)과 속성정보(속성값)를 구분하여 비교할 수 있다. 비교 판단 모듈(234)은 이전 데이터와 현재 데이터의 기본값과 속성값이 동일하면 해당 데이터는 중복성 제거 동작의 수행에서 제외하고, 이전 데이터와 현재 데이터의 기본값을 비교하여 이전 데이터에는 존재하지만 현재 데이터에는 없는 값은 삭제하고 이전 데이터에는 없지만 현재 데이터에는 존재하는 값은 추가하며, 이전 데이터와 현재 데이터의 기준값은 동일하지만 속성값은 다른 것은 현재 데이터로 변경할 수 있다.Preferably, when the current data is structured data, the comparison determination module 234 may divide and compare the previous data and the default value (key value) and attribute information (attribute value) of the current data. If the default values and attribute values of the previous data and the current data are the same, the comparison determination module 234 compares the default values of the previous data and the current data, excluding the data from the execution of the deduplication operation, and exists in the previous data, but the current data. The missing values are deleted and the values that exist in the current data that are not in the previous data are added, and the reference values of the previous data and the current data are the same, but the attribute values that are different can be changed to the current data.
또한, 비교 판단 모듈(234)은 현재 데이터가 이미지 및 파일과 같은 비정형 데이터인 경우에는 이전 데이터와 현재 데이터의 데이터명과 데이터의 크기를 비교하여 데이터를 제외, 삭제, 추가, 또는 변경 처리할 수 있다. 보다 구체적으로, 비교 판단 모듈(234)은 이전 데이터와 현재 데이터의 데이터명과 데이터의 크기가 동일하면 해당 데이터는 중복성 제거 동작의 수행에서 제외하고, 이전 데이터와 현재 데이터의 데이터명을 비교하여 이전 데이터에는 존재하지만 현재 데이터에는 없는 값은 삭제하고 이전 데이터에는 없지만 현재 데이터에는 존재하는 값은 추가하며, 이전 데이터와 현재 데이터의 데이터명은 동일하지만 데이터의 크기가 다른 것은 현재 데이터로 변경할 수 있다.In addition, when the current data is unstructured data such as an image and a file, the comparison determination module 234 may exclude, delete, add, or change data by comparing the data name of the previous data and the current data with the size of the data. . More specifically, if the data name and data size of the previous data and the current data are the same, the comparison determination module 234 excludes the corresponding data from the execution of the redundancy removal operation, and compares the data name of the previous data and the current data to determine the previous data. Values that exist in the current data but not in the current data are deleted, and values that exist in the current data that are not in the previous data are added, and the data names of the previous data and the current data are the same, but those with different data sizes can be changed to current data.
비교 판단 모듈(234)을 통하여 제외, 삭제, 추가, 또는 변경 처리된 데이터를 기초로, 저장 모듈(235)은 삭제, 추가, 또는 변경된 데이터를 암호화부(240)로 전달하기 위해서, 또는 중복성 제거부(230)가 에이전트 형태로 연계장치(300)와 별도로 구현되어 외부장치(100)에서 수행되는 경우에는 연계장치(300)로 전달하기 위해서, 별도의 테이블에 저장한다. 또한, 저장 모듈(235)은 비교 판단 모듈(234)에서 이전 데이터와 현재 데이터의 비교 및 계산과정에서 발생한 임시데이터를 삭제하고 현재 데이터를 이전 데이터로 변경하여 이전 데이터 관리 모듈(232)을 통하여 관리되는 이전 데이터가 갱신되도록 한다. Based on the data excluded, deleted, added, or changed through the comparison determination module 234, the
로그 관리 모듈(236)은 중복성 제거 동작에 대한 스케줄 관리 모듈(231)의 시작시간, 소요시간, 종료시간, 및 처리결과를 성공과 실패로 구분하여 저장장치에 저장하고 소요시간이 과다하거나 실패로 처리된 작업에 대해서는 기설정된 시스템 담당자의 메일 또는 SMS로 알림정보를 발송한다.The log management module 236 divides the start time, the required time, the end time, and the processing result of the schedule management module 231 for the redundancy removal operation into success and failure, and stores them in a storage device. Regarding the processed work, notification information is sent by e-mail or SMS of the system person in charge of the preset system.
중복성 제거부(230)에 의하여 데이터의 중복성이 제거되면, 스케줄 관리부(210)에 기설정된 설정정보에 따라 중복성이 제거되어 저장된 데이터가 암호화부(240)에 제공된다. 여기에서, 스케줄 관리부(210)는 주기적으로 연계작업을 실시하기 위한 스케줄을 저장 및 관리하고, 스케줄 관리부(210)의 동작 방식은 중복성 제거부(230)의 스케줄 관리 모듈(231)과 동일하다. 즉, 스케줄 관리부(210)는 업무규칙에 따라 년/월/일/시/분 단위로 데이터의 암호화를 최초시작에서부터 종료까지 담당하고 비정상적인 상황시에는 에러로그를, 정상적인 처리시에는 정상로그를 로그 관리부(270)에 전달한다. 업무의 성격에 따라 데이터의 연계주기가 설정되면 설정된 주기에 따라 스케줄 관리부(210)는 자동으로 데이터의 암호화 동작을 수행한다.When the redundancy of data is removed by the
암호화부(240)는 중복성 제거부(230)를 통하여 중복성이 제거된 데이터를 데이터 연계를 위한 연계형식으로 변환하고 암호화한다(단계 S830). 바람직하게, 암호화부(240)는 중복성 제거부(230)에서 생성된 정형 또는 비정형 정보를 추출하여 데이터 연계에 필요한 연계형식의 파일로 저장할 수 있다. 예를 들어, DB 등 정형데이터의 경우에는 xls/csv, josn, 또는 xml에 해당하는 연계형식으로 변환되고, 이미지 또는 문서파일 등과 같은 비정형데이터의 경우에는 동일 형태에 해당하는 연계형식으로 변환되어 저장될 수 있다. 여기에서, 동일 형태라는 것은 동일한 확장자를 의미하거나 또는 MimeType에 해당하는 것으로서, 비정형데이터의 경우에는 형태에 따라 화면에 표시하거나 다운로드 받기 위해 동일형태로의 변환이 요구되는 것이다.The encryption unit 240 converts the data from which the redundancy is removed through the
바람직하게, 암호화부(240)는 데이터의 연계 또는 전송 과정에서 해킹이나 위변조 등과 같은 외부의 위협으로부터 안전하게 데이터를 보장하기 위해 국정원보안규정에 맞게 암호화할 수 있다. 암호화 키는 외부장치(100)나 이용장치(400)의 도메인이나 IP, 파일명의 특정위치 등 사전 약정된 값으로 다양한 방법으로 설정하여 적용될 수 있고, 암호화 대상은 데이터 값이나 저장파일의 패스워드 설정으로 구분하여 처리될 수 있다.Preferably, the encryption unit 240 may encrypt data in accordance with NIS security regulations in order to secure data from external threats such as hacking or forgery in the process of linking or transmitting data. The encryption key can be applied by setting a predetermined value in various ways such as a domain or IP of the
분할압축부(250)는 암호화부(240)를 통해 암호화된 데이터를 분할 또는 압축한다(단계 S840). 바람직하게, 분할압축부(250)는 현재까지 저장된 데이터가 내부 보안규정을 초과하는 용량이거나 보다 빠른 전송이 필요한 경우에는 데이터의 분할 또는 압축을 적용할 수 있다. 분할압축부(250)는 암호화되어 저장된 데이터의 용량을 계산하여 기설정된 기준용량을 초과하는 데이터는 분할하여 압축을 실시하고 기설정된 기준용량 이하인 데이터는 일반압축을 실시한다. 여기에서, 분할압축된 데이터는 정상적인 사용을 위해서 중간에 누락되는 부분의 확인이 필요하므로 데이터 이름에 데이터의 전체 수량이 표시될 수 있고, 예를 들어, 순서는 1부터 Z까지 부여될 수 있다.The divided compression unit 250 divides or compresses the data encrypted through the encryption unit 240 (step S840). Preferably, the divided compression unit 250 may apply division or compression of data when the data stored to date exceeds the internal security regulations or when faster transmission is required. The divided compression unit 250 calculates a capacity of encrypted and stored data, divides and compresses data exceeding a preset reference capacity, and performs general compression for data less than a preset reference capacity. Here, since it is necessary to confirm the missing part in the middle for normal use of the divided and compressed data, the total quantity of data may be displayed in the data name, and the order may be given from 1 to Z, for example.
전송부(260)는 분할압축부(250)를 통하여 분할 또는 압축된 최종 데이터를 중계장치(300)로 전송한다. 여기에서, 전송방법은 연계장치(200)와 중계장치(300)가 동일한 장비일 경우에는 복사 또는 이동으로 처리되고 다른 장비일 경우에는 FTP 또는 SFTP 전송프로토콜을 이용하여 전송될 수 있다. The
정합성 검증부(280) 연계장치(200), 중계장치(300), 및 이용장치(400)에서 발생된 로그 정보를 기초로 데이터의 정합성을 검증하는 것으로, 이하 중계 장치(300) 및 정보잉용장치(400)에서 수행되는 동작을 먼저 설명한 후, 도 5를 참조하여 보다 상세하게 설명한다.The
도 6은 일 실시예에 따른 중계장치에 대한 블록도이다.6 is a block diagram of a relay device according to an embodiment.
도 6을 참조하면, 중계장치(300)는 OutBound(310), InBound(320), 및 로그 관리부(330)를 포함한다. 여기에서, 중계장치(300)의 각 구성 간의 동작 및 데이터의 흐름은 제어부(도면에 도시되지 않음)를 통하여 제어된다.Referring to FIG. 6, the
OutBound(310)는 내부 시스템에서 외부 시스템으로 전송되는 데이터를 저장 및 관리하는 폴더이고, InBount(320)는 외부 시스템에서 내부 시스템으로 전송되는 데이터를 저장 및 관리하는 폴더이다. 로그 관리부(330)는 내외부 시스템 간에 수행되는 데이터의 송수신의 시작부터 종료까지의 과정에서 발생되는 로그 정보를 저장 및 관리하고, 바람직하게, 시작시간, 소요시간, 종료시간, 및 처리결과를 성공과 실패로 구분하여 저장장치에 저장하고 소요시간이 과다하거나 실패로 처리된 작업에 대해서는 기설정된 시스템 담당자의 메일 또는 SMS로 알림정보를 발송할 수 있다.OutBound 310 is a folder that stores and manages data transmitted from an internal system to an external system, and
연계장치(200)의 전송부(260)를 통하여 전송된 최종 데이터는 OutBound(310)에 저장되고, 이용장치(400)로부터의 전송 요청에 따라 OutBound(310)에 저장된 최종 데이터는 FTP 또는 SFTP 전송프로토콜을 통해 이용장치(400)로 전송된다. 이때 이용장치(400)로 전송된 최종 데이터는 OutBound(310)에서 삭제된다. 이용장치(400)가 최종 데이터를 수신하면 이용장치(400)에서 최종 데이터를 처리한 결과에 대한 결과정보가 이용장치(400)로부터 중계장치(300)로 전송되어 InBound(320)에 저장된다. 여기에서, 결과정보는 기설정된 파일형식으로 FTP 또는 SFTP 전송프로토콜을 통해 중계장치(300)로 전송된 후 InBound(320)에 저장된다. The final data transmitted through the
도 7은 일 실시예에 따른 이용장치에 대한 블록도이다.7 is a block diagram of a use device according to an embodiment.
도 7을 참조하면, 이용장치(400)는 스케줄 관리부(410), 분할압축 처리부(420), 복호화부(430), 데이터 처리부(440), 결과정보 저장부(450), 및 로그 관리부(460)를 포함한다. 여기에서, 이용장치(400)의 각 구성 간의 동작 및 데이터의 흐름은 제어부(도면에 도시되지 않음)를 통하여 제어된다.Referring to FIG. 7, the using
중계장치(300)로부터 최종 데이터를 수신하면, 이용장치(400)는 스케줄 관리부(410)에 기설정된 설정정보에 따라 주기적으로 연계작업을 수행한다. 바람직하게, 스케줄 관리부(410)는 주기적으로 연계작업을 실시하기 위한 스케줄을 저장 및 관리하고, 업무규칙에 따라 년/월/일/시/분 단위로 데이터의 연계를 최초시작에서부터 종료까지 담당하고 비정상적인 상황시에는 에러로그를, 정상적인 처리시에는 정상로그를 로그 관리부(460)에 전달한다. 즉, 업무의 성격에 따라 데이터의 연계주기가 설정되면 설정된 주기에 따라 스케줄 관리부(410)는 자동으로 데이터의 연계를 위한 동작을 수행한다Upon receiving the final data from the
스케줄 관리부(410)에 의하여 연계작업이 시작되면, 분할압축 처리부(420)는 최종 데이터의 압축을 풀어 하나의 암호화된 데이터로 변환하고, 복호화부(430)는 압축이 풀린 암호화된 데이터를 복호화하여 이용장치(400)에 저장하기 위한 형식으로 변환한다. 그 다음, 데이터 처리부(440)는 복호화부(430)에 의하여 형식이 변환된 데이터를 이용장치(400)의 데이터베이스(DB)나 디렉토리에 반영하여 외부장치(100)의 데이터와 이용장치(400)의 데이터를 일치시키고 해당 결과가 결과정보 저장부(450)에 저장되도록 한다.When the linkage operation is started by the schedule management unit 410, the divided compression processing unit 420 decompresses the final data and converts it into one encrypted data, and the
상기에서 설명된 바와 같이 외부장치(100)로부터 수집된 데이터가 연계장치(200), 중계장치(300)를 거쳐 이용장치(400)로 전달되어 외부장치(100)와 이용장치(400) 간에 데이터의 연계가 수행되면, 분산환경에서 연계된 데이터의 정합성의 보장을 위해 정합성을 검증하는 동작이 수행된다. 정합성의 검증을 통해 이상이 발생한 해당 장치에서의 재처리가 수행되고 정보의 연계 간에 발생하는 불일치가 해소될 수 있다. 정합성 검증은 연계장치(200)의 정합성 검증부(280)에서 수행되며, 이하에서 도 5를 참조하여 보다 상세하게 설명한다.As described above, the data collected from the
일 실시예에 따른 정합성 검증부에 대한 블록도인 도 5를 참조하면, 정합성 검증부(280)는 로그 수집 모듈(281), 로그 저장 모듈(282), 정합성 검증 모듈(283), 및 처리 모듈(284)을 포함한다.Referring to FIG. 5, which is a block diagram of the consistency verification unit according to an embodiment, the
로그 수집 모듈(281)은 연계장치(200), 중계장치(300), 및 이용장치(500)에서 발생된 로그 정보를 수집한다. 일 실시예에서, 데이터의 중복성 제거 동작이 외부장치(100)에 구현된 중복성 제거 에이전트를 통하여 수행되는 경우에는 중복성 제거 에이전트로부터 발생한 로그 정보가 수집될 수 있다. 바람직하게, 로그 수집 모듈(281)은 데이터의 중복 제거에서부터 데이터 연계, 중계 처리, 및 데이터 이용에 이르는 과정의 결과값을 기록하여 관리할 수 있고, 중복성 제거부(230)의 로그 관리 모듈(236), 연계장치(200)의 로그 관리부(270), 중계장치(300)의 로그 관리부(330), 및 이용장치(400)의 로그 관리부(460)로부터 각 장치에서 수행되는 각 동작의 시작부터 종료 과정에서 발생한 로그 정보를 수집할 수 있다.The log collection module 281 collects log information generated from the
로그 저장 모듈(282)은 로그 수집 모듈(281)에서 수집된 각 과정별 진행 결과값을 전달받아 데이터베이스에 저장하고, 정합성 검증 모듈(283)은 데이터베이스에 저장된 정보를 기초로 전체과정에서의 연계 데이터의 무결성을 검증한다. 바람직하게, 정합성 검증 모듈(283)은 데이터베이스에 저장된 로그 정보를 기초로 데이터의 용량 또는 시스템의 구성 상황을 고려하여 기설정된 시간내에 결과값이 기록되지 않았거나 또는 결과값이 실패로 기록되어 있는 경우에는 정합성이 검증되지 않은 것으로 판단할 수 있다. 처리 모듈(284)은 정합성 검증 모듈(283)에서의 검증 결과에 따라 정합성이 검증된 결과에 대해서는 데이터 연계 처리를 완료하고, 정합성이 검증되지 않은 결과에 대해서는 데이터 연계의 처리가 다시 수행되도록 한다. 즉, 상기에서 설명한 데이터의 연계를 위한, 연계장치(200)에서 수행되는 중복성 제거, 암호화, 또는 분할 또는 압축, 중계장치(300)에서 수행되는 데이터 중계, 또는 이용장치(400)에서 수행되는 데이터 연계 동작이 재실시 되는 것이다.The log storage module 282 receives the progress result value for each process collected by the log collection module 281 and stores it in a database, and the consistency verification module 283 provides linkage data in the entire process based on the information stored in the database. The integrity of the Preferably, the consistency verification module 283 considers the amount of data or the configuration of the system based on the log information stored in the database, and the result value is not recorded within a preset time or the result value is recorded as a failure. It can be determined that the consistency has not been verified. The
한편, 본 발명의 일 실시예에 따른 데이터 연계 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.Meanwhile, the data linkage method according to an embodiment of the present invention may also be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성메모리(Flash Memory), 광 데이터 저장장치 등이 있다.For example, computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, removable storage device, and non-volatile memory. , Optical data storage devices, and the like.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.In addition, the computer-readable recording medium can be distributed over a computer system connected through a computer communication network, and stored and executed as code that can be read in a distributed manner.
전술한 본 발명에 따른 데이터 연계장치 및 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.Although preferred embodiments of the data linkage apparatus and method according to the present invention have been described above, the present invention is not limited thereto, and various modifications are made within the scope of the claims, the detailed description of the invention, and the accompanying drawings. It is possible and this also belongs to the invention.
100: 외부장치
200: 연계장치
210: 스케줄 관리부
220: 데이터 수집부
230: 중복성 제거부
231: 스케줄 관리 모듈
232: 이전 데이터 관리 모듈
233: 현재 데이터 관리 모듈
234: 비교 판단 모듈
235: 저장 모듈
236: 로그 관리 모듈
240: 암호화부
250: 분할압축부
260: 전송부
270: 로그 관리부
280: 정합성 검증부
281: 로그 수집 모듈
282: 로그 저장 모듈
283: 정합성 검증 모듈
284: 처리 모듈
300: 중계장치
310: OutBound
320: InBound
330: 로그 관리부
400: 이용장치
410: 스케줄 관리부
420: 분할압축 처리부
430: 복호화부
440: 데이터 처리부
450: 결과정보 저장부
460: 로그 관리부100: external device 200: linkage device
210: schedule management unit 220: data collection unit
230: redundancy removal unit 231: schedule management module
232: previous data management module 233: current data management module
234: comparison determination module 235: storage module
236: log management module 240: encryption unit
250: split compression unit 260: transmission unit
270: log management unit 280: consistency verification unit
281: log collection module 282: log storage module
283: consistency verification module 284: processing module
300: relay 310: OutBound
320: InBound 330: log management unit
400: use device 410: schedule management unit
420: divided compression processing unit 430: decoding unit
440: data processing unit 450: result information storage unit
460: log management unit
Claims (11)
(b) 상기 수집된 데이터를 표준형식으로 변환하고 중복성을 제거하는 단계;
(c) 상기 중복성이 제거된 데이터를 데이터 연계를 위한 연계형식으로 변환하고 암호화 하는 단계; 및
(d) 상기 암호화된 데이터를 분할 또는 압축하는 단계를 포함하는 데이터 연계 방법.
(a) collecting data from an external device;
(b) converting the collected data into a standard format and removing redundancy;
(c) converting and encrypting the data from which the redundancy has been removed into an association format for data association; And
(d) dividing or compressing the encrypted data.
상기 표준형식으로 변환된 현재 데이터가 정형 데이터인 경우에는, 상기 현재 데이터의 기본값 및 속성값을 기저장되어 있는 이전 데이터의 기본값 및 속성값과 비교하는 단계; 및
상기 비교 결과에 따라, 기본값 및 속성값이 동일한 경우에는 상기 현재 데이터를 제외하고, 기본값이 이전 데이터에는 존재하고 현재 데이터에는 존재하지 않는 경우에는 상기 이전 데이터를 삭제하고, 기본값이 이전 데이터에는 존재하지 않고 현재 데이터에는 존재하는 경우에는 상기 현재 데이터를 추가하고, 기본값은 동일하고 속성값이 다른 경우에는 이전 데이터를 현재 데이터로 변경하는 단계를 포함하는 것을 특징으로 하는 데이터 연계 방법.
The method of claim 1, wherein step (b),
If the current data converted to the standard format is structured data, comparing the default value and attribute value of the current data with the default value and attribute value of previously stored data; And
According to the comparison result, if the default value and the attribute value are the same, except for the current data, if the default value exists in the previous data and does not exist in the current data, the previous data is deleted, and the default value does not exist in the previous data. And adding the current data if it is present in the current data, and changing the previous data to the current data if the default value is the same and the attribute value is different.
상기 표준형식으로 변환된 현재 데이터가 비정형 데이터인 경우에는, 상기 현재 데이터와 상기 이전 데이터의 데이터명 및 데이터의 크기를 비교하는 단계;
상기 비교 결과에 따라, 데이터명 및 데이터의 크기가 동일한 경우에는 상기 현재 데이터를 제외하고, 데이터명이 이전 데이터에는 존재하고 현재 데이터에는 존재하지 않는 경우에는 상기 이전 데이터를 삭제하고, 데이터명이 이전 데이터에는 존재하지 않고 현재 데이터에는 존재하는 경우에는 상기 현재 데이터를 추가하고, 데이터명은 동일하고 데이터의 크기가 다른 경우에는 이전 데이터를 현재 데이터로 변경하는 단계를 포함하는 것을 특징으로 하는 데이터 연계 방법.
The method of claim 1, wherein step (b),
If the current data converted to the standard format is unstructured data, comparing the data name and data size of the current data and the previous data;
According to the comparison result, if the data name and the size of the data are the same, excluding the current data, if the data name exists in the previous data and does not exist in the current data, the previous data is deleted, and the data name is in the previous data. And if it does not exist and exists in the current data, adding the current data, and if the data name is the same and the data size is different, changing the previous data to the current data.
상기 암호화된 데이터의 용량이 기설정된 기준용량을 초과하는 경우에는, 상기 암호화된 데이터를 분할하여 압축하는 단계; 및
상기 암호화된 데이터의 용량이 기설정된 기준용량을 초과하지 않는 경우에는, 상기 암호화된 데이터를 압축하는 단계를 포함하는 것을 특징으로 하는 데이터 연계 방법.
The method of claim 1, wherein step (d),
If the capacity of the encrypted data exceeds a preset reference capacity, dividing and compressing the encrypted data; And
And compressing the encrypted data when the capacity of the encrypted data does not exceed a preset reference capacity.
(e) 상기 분할 또는 압축한 데이터를 중계장치로 전송하는 단계를 더 포함하되,
상기 중계장치로 전송된 데이터는 상기 중계장치에 저장되고, 상기 저장된 데이터는 이용장치의 요청에 따라 상기 중계장치로부터 상기 이용장치로 전송되고, 상기 이용장치로 전송된 데이터 처리 결과에 대한 정보는 상기 중계장치로 전송되어 저장되는 것을 특징으로 하는 데이터 연계 방법.
The method of claim 1,
(e) further comprising the step of transmitting the divided or compressed data to a relay device,
The data transmitted to the relay device is stored in the relay device, the stored data is transmitted from the relay device to the using device according to the request of the using device, and the information on the data processing result transmitted to the using device is the Data linkage method, characterized in that the transmission to the relay device and stored.
(f) 상기 각 단계가 수행되면서 발생된 로그정보를 기초로 정합성을 검증하는 단계를 더 포함하는 것을 특징으로 하는 데이터 연계 방법.
The method of claim 5,
(f) verifying consistency based on log information generated while each of the steps is performed.
상기 (b) 내지 (c) 단계에서 각 동작을 수행하면서 발생된 로그정보, 상기 중계장치에서 데이터를 송수신하는 동작을 수행하면서 발생된 로그정보, 및 상기 이용장치에서 데이터를 수신하고 이용하는 동작을 수행하면서 발생된 로그정보를 수집하는 단계;
상기 수집한 로그정보를 기초로 무결성을 검증하는 단계; 및
상기 무결성의 검증 결과에 따라, 검증이 완료되면 처리를 완료하고 검증이 실패되면 해당 단계의 동작을 재처리하는 단계를 포함하는 것을 특징으로 하는 데이터 연계 방법.
The method of claim 6, wherein the step (f),
Log information generated while performing each operation in steps (b) to (c), log information generated while performing an operation of transmitting/receiving data from the relay device, and receiving and using data from the using device are performed. Collecting log information generated while doing so;
Verifying integrity based on the collected log information; And
And completing processing when verification is completed according to a result of verifying the integrity, and reprocessing an operation of a corresponding step when verification is unsuccessful.
상기 수집된 데이터를 표준형식으로 변환하고 중복성을 제거하는 중복성 제거부;
상기 중복성이 제거된 데이터를 데이터 연계를 위한 연계형식으로 변환하고 암호화 하는 암호화부; 및
상기 암호화된 데이터를 분할 또는 압축하는 분할압축부를 포함하는 연계장치.
A data collection unit collecting data from an external device;
A redundancy removal unit converting the collected data into a standard format and removing redundancy;
An encryption unit for converting and encrypting the data from which the redundancy has been removed into an association format for data association; And
A linkage device comprising a division and compression unit for dividing or compressing the encrypted data.
상기 분할 또는 압축한 데이터를 중계장치로 전송하는 전송부를 더 포함하되,
상기 중계장치로 전송된 데이터는 상기 중계장치에 저장되고, 상기 저장된 데이터는 이용장치의 요청에 따라 상기 중계장치로부터 상기 이용장치로 전송되고, 상기 이용장치로 전송된 데이터 처리 결과에 대한 정보는 상기 중계장치로 전송되어 저장되는 것을 특징으로 하는 연계장치.
The method of claim 8,
Further comprising a transmission unit for transmitting the divided or compressed data to a relay device,
The data transmitted to the relay device is stored in the relay device, the stored data is transmitted from the relay device to the using device according to the request of the using device, and the information on the data processing result transmitted to the using device is the A linkage device, characterized in that transmitted to and stored in a relay device.
상기 각 부에서 동작이 수행되면서 발생된 로그정보를 기초로 정합성을 검증하는 정합성 검증부를 더 포함하는 것을 특징으로 하는 연계장치.
The method of claim 9,
And a consistency verification unit for verifying consistency based on log information generated while the operation is performed in each unit.
상기 연계장치로부터 분할 또는 압축된 데이터를 수신하여 저장하고, 이용장치의 요청에 따라 저장된 데이터를 전송하고 전송한 데이터는 삭제하며, 상기 전송한 데이터의 상기 이용장치에서의 처리 결과에 대한 정보를 저장하는 중계장치를 포함하는 데이터 연계 시스템.Collects data from an external device, converts the collected data into a standard format and removes redundancy, converts and encrypts the data from which the redundancy has been removed into a linkage format for data linkage, and divides or compresses the encrypted data A linkage device; And
Receives and stores divided or compressed data from the connected device, transmits the stored data at the request of the user device, deletes the transmitted data, and stores information on the processing result of the transmitted data in the using device. Data linkage system including a relay device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190102926A KR102251935B1 (en) | 2019-08-22 | 2019-08-22 | Apparatus and method for associating data between internal system and external system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190102926A KR102251935B1 (en) | 2019-08-22 | 2019-08-22 | Apparatus and method for associating data between internal system and external system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210023149A true KR20210023149A (en) | 2021-03-04 |
KR102251935B1 KR102251935B1 (en) | 2021-05-17 |
Family
ID=75174399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190102926A KR102251935B1 (en) | 2019-08-22 | 2019-08-22 | Apparatus and method for associating data between internal system and external system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102251935B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113919347A (en) * | 2021-12-14 | 2022-01-11 | 山东捷瑞数字科技股份有限公司 | Method and device for extracting and matching internal link words of text data |
KR102605931B1 (en) * | 2022-07-21 | 2023-11-30 | 스마트마인드 주식회사 | Method for processing structured data and unstructured data on a plurality of databases and data processing platform providing the method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140141348A (en) * | 2013-05-31 | 2014-12-10 | 삼성전자주식회사 | Storage system and Method for performing deduplication in conjunction with host device and storage device |
KR101508068B1 (en) * | 2013-11-19 | 2015-04-07 | 중소기업은행 | Apparatus and method for data de-duplication |
KR20170127096A (en) | 2016-05-10 | 2017-11-21 | 가천대학교 산학협력단 | Data link system between heterogeneity platform |
KR20190045049A (en) * | 2017-10-23 | 2019-05-02 | 한국전자통신연구원 | Apparatus and method for managing integrated storage |
-
2019
- 2019-08-22 KR KR1020190102926A patent/KR102251935B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140141348A (en) * | 2013-05-31 | 2014-12-10 | 삼성전자주식회사 | Storage system and Method for performing deduplication in conjunction with host device and storage device |
KR101508068B1 (en) * | 2013-11-19 | 2015-04-07 | 중소기업은행 | Apparatus and method for data de-duplication |
KR20170127096A (en) | 2016-05-10 | 2017-11-21 | 가천대학교 산학협력단 | Data link system between heterogeneity platform |
KR20190045049A (en) * | 2017-10-23 | 2019-05-02 | 한국전자통신연구원 | Apparatus and method for managing integrated storage |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113919347A (en) * | 2021-12-14 | 2022-01-11 | 山东捷瑞数字科技股份有限公司 | Method and device for extracting and matching internal link words of text data |
CN113919347B (en) * | 2021-12-14 | 2022-04-05 | 山东捷瑞数字科技股份有限公司 | Method and device for extracting and matching internal link words of text data |
KR102605931B1 (en) * | 2022-07-21 | 2023-11-30 | 스마트마인드 주식회사 | Method for processing structured data and unstructured data on a plurality of databases and data processing platform providing the method |
WO2024019225A1 (en) * | 2022-07-21 | 2024-01-25 | 스마트마인드 주식회사 | Method for processing structured data and unstructured data in a plurality of different databases, and data processing platform providing same method |
Also Published As
Publication number | Publication date |
---|---|
KR102251935B1 (en) | 2021-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11907168B2 (en) | Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites | |
US7483929B2 (en) | Systems and methods for storing, backing up and recovering computer data files | |
US20070153711A1 (en) | System and Method for Transferring Data Between Applications | |
US9384231B2 (en) | Data lineage management operation procedures | |
AU2015384779B2 (en) | Automated integration of video evidence with data records | |
KR102251935B1 (en) | Apparatus and method for associating data between internal system and external system | |
US9235641B1 (en) | Method and apparatus for archive processing of electronic messages | |
US11722583B2 (en) | System and method for asset management and integration | |
KR102270896B1 (en) | Method and system for archiving data based on data de-identification | |
US20170091256A1 (en) | Record Retention and Deletion | |
US20140379661A1 (en) | Multi source unified search | |
US20200167485A1 (en) | Systems and methods for data usage monitoring in multi-tenancy enabled hadoop clusters | |
US11487898B2 (en) | System for providing query processing service based on personal information protection | |
US20210173958A1 (en) | Secret distribution system and secret distribution method of files | |
CN104704521A (en) | Multi-factor profile and security fingerprint analysis | |
CN111091486A (en) | Block chain-based distributed government affair architecture unifying method | |
CN111183618B (en) | Impact data manager for dynamic data delivery | |
JP7471691B2 (en) | Voice information processing service provision system based on personal information protection | |
US20180114270A1 (en) | Operational due diligence method and system | |
WO2020188854A1 (en) | Digital evidence management method and digital evidence management system | |
JP2021015591A (en) | Device, method, and program for supporting correction processing activity | |
US11921892B2 (en) | Data association system and anonymization control system | |
US11095658B2 (en) | Enhanced system access controls | |
KR20150018487A (en) | System and method for managing consultation interview recording data | |
US20220138688A1 (en) | Systems and methods for distributed ledger-based management of metadata and chain of custody of documents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |