KR101508068B1 - 데이터 중복성 제거 장치 및 그 방법 - Google Patents

Abstract

본 발명은 데이터 웨어하우스를 구축하고 관리함에 편리한 데이터 중복성 제거 장치 및 그 방법에 관한 것으로, 본 발명에 따른 데이터 중복성 제거 방법은 복수의 장치로부터 원천 데이터들을 수집하는 데이터 수집 단계; 수집된 상기 원천 데이터들을 통합형식 데이터들로 변환하는 데이터 변환 단계; 기설정된 조건을 만족하는 경우에 통합형식 데이터들이 서로 중복된 것으로 판단하는 단계; 및 상기 중복된 통합형식 데이터들의 중복 상태를 제거하는 단계를 포함한다.

Description

데이터 중복성 제거 장치 및 그 방법{APPARATUS AND METHOD FOR DATA DE-DUPLICATION}

본 발명은 데이터 중복성 제거 장치 및 그 방법에 관한 것이다.

최근 정보통신 기술의 고도한 발전과 데이터베이스화된 각종 정보와 데이터 등을 통합하여 의사 결정에 이용하고자 하는 필요성에 의해, 기업들은 개별적으로 구비된 복수의 데이터베이스에 저장된 각종 정보와 데이터 등을 공통의 형식으로 변환하여 일원적으로 관리하고자 하는 데이터 웨어하우스(Data Warehouse; DW)의 구축에 주목하고 있다.

그런데, 일반적으로 기업은 기업 내에서 특정 단위 시스템 단위로 예컨대, 업무별 또는 부서별로 데이터 처리 시스템을 각각 개별적으로 구축하여 관리하고 있다.

이에, 기업 입장에서는 기업 내 업무별 또는 부서별 데이터베이스의 개수와 각 데이터베이스에 저장되는 데이터의 양이 적은 경우에는 각각의 개별 데이터베이스를 통합하여 데이터 웨어하우스를 구축하고 관리함에 어려움이 없었다.

그러나, 기업 입장에서 테이터 웨어하우스를 구축에 있어 통합될 각각의 개별 데이터베이스가 많거나, 상기 개별 데이터베이스가 서로 달라 호환이 불가능한 경우, 데이터 웨어하우스를 구축하고 관리함에 어려움이 많다. 특히, 금융권의 경우는 통합해야 할 데이터베이스에 대응하는 데이터 처리 시스템이 상이할 뿐만 아니라, 각각의 데이터베이스에서 관리하는 데이터의 양과 상기 데이터들 간에 서로 중복되는 데이터의 양이 매우 많아 데이터 웨어하우스를 구축하여 관리함에 어려움이 크다는 문제점이 있다.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 데이터 웨어하우스를 구축하고 관리함에 편리한 데이터 중복성 제거 장치 및 그 방법을 제공하는데 그 목적이 있다.

이를 위하여, 본 발명의 제1 측면에 따르면, 본 발명에 따른 데이터 중복성 제거 방법은 복수의 장치로부터 원천 데이터들을 수집하는 데이터 수집 단계; 수집된 상기 원천 데이터들을 통합형식 데이터들로 변환하는 데이터 변환 단계; 기설정된 조건을 만족하는 경우에 통합형식 데이터들이 서로 중복된 것으로 판단하는 단계; 및 상기 중복된 통합형식 데이터들의 중복 상태를 제거하는 단계를 포함한다.

본 발명의 제2 측면에 따르면, 본 발명에 따른 데이터 중복성 제거 장치는 복수의 장치로부터 원천 데이터들을 수집하는 데이터 수집부; 수집된 상기 원천 데이터들을 통합형식 데이터들로 변환하는 데이터 변환부; 기설정된 조건을 만족하는 경우에 통합형식 데이터들이 서로 중복된 것으로 판단하는 데이터 중복 판단부; 및 상기 중복된 통합형식 데이터들의 중복 상태를 제거하는 데이터 관리부를 포함한다.

본 명세서의 적어도 일부의 실시 예에 따르면 데이터 웨어하우스를 구축함에 있어서 디스크 용량을 감소시킬 수 있다.

또한 적어도 일부의 실시 예에 따르면 불필요한 자원 낭비를 줄일 수 있다.

또한 적어도 일부의 실시 예에 따르면 데이터를 용이하게 통합 관리할 수 있다.

또한 적어도 일부의 실시 예에 따르면 향후 원천 데이터가 커질 경우에도 빠르게 데이터 웨어하우스를 구축할 수 있다.

도 1은 본 발명의 일 실시예에 따른 데이터 중복성 제거를 위한 시스템의 구성도를 개략적으로 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 데이터 중복성 제거 장치의 구성을 개략적으로 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 데이터 중복성 제거 장치의 데이터 중복 판단부의 구성을 개략적으로 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 데이터 중복성 제거 장치에 의한 데이터 중복성 제거 방법을 설명하기 위한 흐름도.
도 5는 본 발명의 제1 실시예에 따른 데이터 중복성 제거 방법을 설명하기 위한 흐름도.
도 6은 본 발명의 제2 실시예에 따른 데이터 중복성 제거 방법을 설명하기 위한 흐름도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

도 1은 본 발명의 일 실시예에 따른 데이터 중복성 제거를 위한 시스템의 구성도를 개략적으로 도시한 도면이다.

이하, 본 도 1에서 데이터베이스(또는 데이터 웨어하우스)를 편의상 "DB/DW"라고 한다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 데이터 중복성 제거를 위한 시스템은 적어도 복수의 외부 장치(100), 데이터 중복성 제거 장치(200) 및 통합형식 DB/DW(300)를 포함한다. 각 구성요소는 통신망을 통해 연결된다.

본 발명의 일 실시예에 따르면, 복수의 외부장치(100)로부터 적어도 하나 이상의 원천 데이터를 수집하여 통합형식 DB/DW(300)를 구축하기 위해 상기 데이터 중복 제거 장치(200)와 통신 연결하는 통신 수단은 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 데이터를 송수신할 수 있는 네트워크망을 포함하여 이루어지는 것이 바람직하며, 당업자의 의도에 따라 상기 통신 수단은 다양하게 변형하여 적용하는 것이 가능하다.

외부 장치(100)는 복수 개로, 각 외부 장치(100)는 대응하는 원천 DB/DW를 포함한다. 상기 원천 DB/DW에 포함된 원천 데이터는 ERP 시스템 및 사내 전산망에 저장되어 있는 업무 항목별 상세 데이터를 의미한다. 예컨대, 금융권의 경우, 상기 외부장치(100)는 복수의 본점과 지점의 업무별 또는 부서별 원천 DB/DW를 포함하고, 상기 원천 DB/DW는 신용리스크, 운용리스크, 시장리스크와 관련된 적어도 하나 이상의 데이터를 포함할 수 있다.

상기 원천 데이터는 실무자의 단말을 통해 복수의 외부 장치(100)에 저장되고, 상기 외부 장치(100)에 저장된 데이터는 데이터를 식별할 수 있는 테이블(table), 행(row), 열(column). SQL(Structured Query Language) 문장 및 기타 식별 정보 중 적어도 하나 이상 포함한다. 여기서, 테이블(table)은 상기한 행(row)과 열(column)이 모여 구성되며, 데이터가 저장되는 가장 기본적인 단위이다. 특히, 열(column)은 데이터가 하나의 테이블에 들어갈 때 하나 이상의 구분값으로 들어가는데 일종의 속성(attribute)이다.

SQL 문장은 구조화된 질의문으로, 데이터베이스로부터 정보를 얻거나 갱신하기 위한 표준 대화식 프로그래밍 언어이다. 많은 수의 데이터베이스 관련 프로그램들이 SQL을 표준으로 채택하고 있으며, 상기 SQL은 데이터베이스 생성부터 레코드 검색 등의 작업을 수행할 때 사용된다.

데이터 중복성 제거 장치(200)는 복수의 외부 장치(100)로부터 원천 데이터들을 수집하고, 수집된 원천 데이터들을 통합형식 데이터들로 변환한다. 이때, 복수의 외부 장치(100)로부터 수집된 원천 데이터들은 관계형으로 연결 가능한 하나 이상의 데이터 필드를 포함하여 이루어지는 것이 바람직하고, 또한 데이터 필드에 포함되는 데이터는 공통의 형식으로 변환되는 것이 바람직하다.

본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 상기 원천 데이터의 데이터 필드와 데이터 형식을 공통의 형식으로 변환하는 기술적 특징을 기 숙지하고 있을 것이므로, 이에 대한 상세한 설명은 편의상 생략한다.

데이터 중복성 제거 장치(200)는 통합형식 데이터들로 변환된 원천 데이터들이 기설정된 조건을 만족하는 경우에 상기 통합형식 데이터들이 서로 중복된 것으로 판단한다. 여기서, 데이터 중복성 제거 장치(200)는 둘 이상의 통합형식 데이터의 식별 정보 중 적어도 하나 이상이 동일한 경우에 서로 중복된 것으로 판단한다.

데이터 중복성 제거 장치(200)는 중복된 통합형식 데이터들 중 하나의 데이터를 제외한 나머지 데이터를 제거하는 방식으로 중복된 통합형식 데이터들의 중복 상태를 제거할 수 있다.

통합형식 DB/DW(300)는 데이터 중복성 제거 장치(200)와 별개로 구현될 수도 있다. 변형 예에 따르면 데이터 중복성 제거 장치 및 통합형식 DB는 데이터 제거 장치의 일부 구성으로 구현될 수 있다. 상기 데이터 중복성 제거 장치(200)에 의해 중복 상태가 제거된 통합형식 데이터들이 저장 및 관리된다.

도 2는 본 발명의 일 실시예에 따른 데이터 중복성 제거 장치의 구성을 개략적으로 도시한 도면이다.

데이터 중복성 제거 장치(200)는 데이터 수집부(210), 데이터 변환부(220), 데이터 중복 판단부(230), 데이터 관리부(240)를 포함한다.

데이터 수집부(210)는 복수의 외부 장치(도 1의 100)로부터 원천 데이터들을 수집한다. 상기 원천 데이터들은 데이터를 식별할 수 있는 데이터 식별 정보를 포함하고, 예컨대 테이블(table), 행(row), 열(column) 및 SQL 문장 중 적어도 하나 이상을 포함할 수 있다.

데이터 변환부(220)는 복수의 외부 장치(도 1의 100)로부터 수집된 원천 데이터들을 통합형식 데이터들로 변환한다. 여기서, 원천 데이터들은 적어도 하나 이상의 데이터 필드를 포함하여 이루어지는 것이 바람직하고, 또한 상기 데이터 필드에 포함되는 데이터는 공통의 형식으로 변환되는 것이 바람직하다.

데이터 중복 판단부(230)는 통합형식 데이터들로 변환된 원천 데이터들이 기설정된 조건을 만족하는 경우에 상기 통합형식 데이터들이 서로 중복된 것으로 판단하는 역할을 한다. 상기 조건은 둘 이상의 통합형식 데이터의 데이터 식별 정보 중 적어도 하나 이상이 동일한 경우를 포함한다.

도 3에 도시된 바와 같이, 데이터 중복 판단부(230)는 데이터 수집 모듈(231), 조건 관리 모듈(232) 및 데이터 추출 모듈(233)을 포함한다.

데이터 수집 모듈(231)은 도 2에서 설명된 데이터 변환부(220)에 의해 통합형식 데이터들로 변환된 원천 데이터들을 수집하는 역할을 한다.

조건 관리 모듈(232)은 통합형식 데이터들이 서로 중복된 것으로 판단하는데 필요한 기설정된 조건을 관리하는 역할을 한다. 상기 조건은 데이터를 식별할 수 있는 테이블(table), 행(row), 열(column) 및 SQL 문장 중 어느 하나 이상이 동일하면, 통합형식 데이터들이 서로 중복된 것으로 판단한다는 것이다.

조건 관리 모듈(232)은 기설정된 상기 조건에 대해 개발자 또는 관리자가 조회하고 그 조건의 내용을 확인할 수 있도록 하는 기능을 제공할 수 있다.

데이터 추출 모듈(233)은 조건 관리 모듈(232)에 기설정된 조건을 만족하는 중복된 통합형식 데이터를 추출하는 역할을 한다. 이때, 데이터 추출 모듈(233)은 통합형식 데이터로부터 중복된 데이터를 추출할 때 한번에 추출되는 데이터의 크기를 다양하게 정할 수 있다. 또한, 예컨대 도 5에 도시된 바와 같이, 데이터 추출 모듈(233)은 복수의 외부 장치(도 1의 100)로부터 한꺼번에 모든 원천 데이터를 수집하여 통합형식 데이터로 변환하고, 상기 통합형식 데이터에서 모든 중복된 데이터를 한번에 추출할 수 있다. 또는, 도 6에서 도시된 바와 같이, 데이터 추출 모듈(233)은 복수의 외부 장치(도 1의 100)로부터 한번에 하나 또는 일부의 원천데이터만을 수집하여 통합형식 데이터로 변환하고, 상기 통합형식 데이터에서 중복된 데이터를 추출할 수 있다. 이때에는, 데이터 추출 모듈(233)은 복수의 외부 장치(도 1의 100)로부터 원천 데이터를 계속적으로 수집하여, 수집된 원천 데이터를 통합형식 데이터로 변환한 뒤에 반복적으로 중복된 통합형식 데이터가 있는지를 확인하고, 아울러 모든 통합형식 데이터의 중복 상태가 제거 완료될 때까지 반복적으로 중복 데이터를 추출한다.

데이터 관리부(240)는 데이터 추출 모듈(233)에 의해 추출된 통합형식 데이터들 중 하나의 데이터를 제외한 나머지 데이터를 제거하는 역할을 한다. 또한, 데이터 관리부(240)는 중복 상태가 제거된 통합형식 데이터를 관리하기 위해 각각의 데이터의 저장위치를 관리하고, 개발자 또는 관리자의 요청에 의해 저장된 데이터를 삭제할 수 있다. 또한, 데이터 관리부(240)는 상기 중복 상태가 제거된 통합형식 데이터의 무결성 및 유효성을 검사할 수도 있다.

도 4는 본 발명의 일 실시예에 따른 데이터 중복성 제거 장치에 의한 데이터 중복성 제거 방법을 설명하기 위한 흐름도이다.

도 4를 참조하면, 먼저 데이터 중복성 제거 장치(도 1의 200)는 복수의 외부 장치(도 1의 100)로부터 원천 데이터들을 수집한다(S10). 상기 원천 데이터는 ERP 시스템 및 사내 전산망에 저장되어 있는 업무 항목별 상세 데이터로서, 데이터를 식별할 수 있는 테이블(table), 행(row), 열(column). SQL(Structured Query Language) 문장 및 기타 식별 정보 중 적어도 하나 이상 포함하는 데이터 식별 정보를 포함한다.

데이터 중복성 제거 장치(도 1의 200)는 S10 단계에서 수집한 원천 데이터들을 통합형식 데이터로 변환한다(S20). 이때, 수집된 원천 데이터를 통합형식 데이터로 변환함에 있어서, 기본적으로 데이터 모델 및 데이터베이스에서 정의할 수 있는 모든 수집된 원천 데이터를 대상으로 수행하는 것이 이상적이나 주로 관리해야 될 필요성이 있는 원천 데이터만을 대상으로 통합형식 데이터를 변환할 수 있다.

상기 통합형식 데이터는 관계형으로 연결 가능한 하나 이상의 데이터 필드를 포함하여 이루어지는 것이 바람직하고, 또한 상기 데이터 필드에 포함되는 데이터는 공통의 형식으로 변환되는 것이 바람직하다.

데이터 중복성 제거 장치(도 1의 200)는 S20 단계에서 통합형식 데이터로 변환된 데이터가 기설정된 조건을 만족하는 경우, 통합형식 데이터들이 서로 중복된 것으로 판단한다(S30). 여기서, 데이터 중복성 제거 장치(200)는 둘 이상의 통합형식 데이터의 식별 정보 중 적어도 하나 이상이 동일한 경우에 서로 중복된 것으로 판단한다. 상기 식별 정보는 테이블(table), 행(row), 열(column) 및 SQL 문장 중 적어도 하나 이상을 포함할 수 있다.

데이터 중복성 제거 장치(도 1의 200)는 중복된 통합형식 데이터들을 추출하고, 추출된 통합형식 데이터들의 중복 상태를 제거한다(S40). 중복된 통합형식 데이터의 중복 상태 제거는 중복된 통합형식 데이터들 중 하나의 데이터를 제외한 나머지 데이터를 제거를 통해서 이루어진다. S40 단계를 통해 데이터 중복성이 제거된 통합형식 데이터는 통합형식 DB/DW(도1의 300)에 저장되어 관리될 수 있다.

도 5는 본 발명의 제1 실시예에 따른 데이터 중복성 제거 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 데이터 중복성 제거 장치(도 1의 200)는 복수의 외부 장치(도 1의 100)로부터 한꺼번에 모든 원천 데이터들을 수집하고(S100), 상기 수집한 모든 원천 데이터들을 통합형식 데이터로 변환하며(S200), 상기 변환된 통합형식 데이터에서 중복된 통합형식 데이터가 있는지를 확인한다(S300). 확인 결과, 상기 통합형식 데이터에서 중복된 통합형식 데이터가 있다고 확인되면 데이터 중복성 제거 장치(200)는 통합형식 데이터로부터 상기 중복된 통합형식 데이터들을 추출하여 추출된 통합형식 데이터들 중 하나의 데이터를 제외한 나머지 데이터를 제거함으로써 데이터 중복 상태를 제거한다(S400). 그리고, 데이터 중복성 제거 장치(200)는 데이터 중복 상태가 제거된 통합형식 데이터를 기반으로 통합형식 DB/DW를 구축한다(S500).

도 6은 본 발명의 제2 실시예에 따른 데이터 중복성 제거 방법을 설명하기 위한 흐름도이다.

도 6을 참조하면, 데이터 중복성 제거 장치(도 1의 200)는 복수의 외부 장치(도 1의 100)로부터 한번에 하나 또는 일부의 원천데이터만을 수집하고(S101), 상기 수집한 모든 원천 데이터들을 통합형식 데이터로 변환하며(S201), 상기 변환된 통합형식 데이터에서 중복된 통합형식 데이터가 있는지를 확인한다(S301). 확인 결과, 상기 통합형식 데이터에서 중복된 통합형식 데이터가 있다고 확인되면 데이터 중복성 제거 장치(200)는 통합형식 데이터로부터 상기 중복된 통합형식 데이터들을 추출하여 추출된 통합형식 데이터들 중 하나의 데이터를 제외한 나머지 데이터를 제거한다(S401).

도 5에서 설명한 제1 실시예의 경우는 데이터 중복성 제거 장치(도 1의 200)가 복수의 외부 장치(도 1의 100)로부터 한꺼번에 모든 원천 데이터들을 수집하여 통합형식으로 상기 데이터들을 변환하여 데이터 중복 상태를 제거하지만, 도 6에서 설명하는 제2 실시예의 경우는 데이터 중복성 제거 장치(도 1의 200)가 복수의 외부 장치(도 1의 100)로부터 처음에는 하나 혹은 일부의 데이터를 수집하고 통합형식 데이터로 변환한 뒤 계속적으로 데이터를 수집하고 변환하면서 반복적으로 중복된 통합형식 데이터가 있는지를 확인하고(S301), 아울러 모든 통합형식 데이터의 중복 상태 제거가 완료가 되었는지 확인한 뒤(S501), 데이터 중복 상태 제거가 완료될 때까지 반복적으로 중복된 통합형식 데이터를 추출하여 하나의 데이터를 제거한 나머지 데이터를 제거한다. 이러한 과정을 통해 데이터 중복 상태 제거가 완료된 데이터를 기반으로 통합형식 DB/DW를 구축한다(S601).

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

100: 외부 장치 200: 데이터 중복성 제거 장치
300: 통합형식 DB/DW 210: 데이터 수집부
220: 데이터 변환부 230: 데이터 중복 판단부
240: 데이터 관리부 231: 데이터 수집 모듈
232: 조건 관리 모듈 233: 데이터 추출 모듈

Claims (8)

1. 복수의 장치로부터 한꺼번에 모든 원천 데이터 또는 하나 혹은 일부의 원천 데이터들을 수집하는 데이터 수집 단계;
   수집된 상기 원천 데이터들을 통합형식 데이터들로 변환하는 데이터 변환 단계;
   기설정된 조건을 만족하는 경우에 통합형식 데이터들이 서로 중복된 것으로 판단하여 상기 통합형식 데이터들로부터 중복된 통합형식 데이터를 추출하는 단계; 및
   추출된 통합형식 데이터들의 중복 상태를 제거하는 단계
   를 포함하되,
   상기 추출하는 단계에서, 한번에 추출되는 통합형식 데이터의 크기는 다양하게 설정되며, 상기 중복 상태 제거가 완료될 때까지 반복적으로 통합형식 데이터를 추출하고,
   상기 중복 상태를 제거하는 단계에서, 상기 추출된 통합형식 데이터 중 하나의 데이터를 제외한 나머지 데이터를 모두 제거함으로써 상기 중복 상태 제거를 완료하는 것을 특징으로 하는 데이터 중복성 제거 방법.
2. 제1항에 있어서, 중복된 통합형식 데이터들의 중복 상태가 제거되면 중복 상태가 제거된 단일의 통합형식 데이터로 데이터베이스를 구축하는 단계를 더 포함하는 데이터 중복성 제거 방법.
3. 삭제
4. 제 1항에 있어서, 상기 기설정된 조건을 만족하는 경우에 통합형식 데이터들이 서로 중복된 것으로 판단하는 단계는,
   둘 이상의 통합형식 데이터가 데이터를 식별할 수 있는 테이블(table), 행(row), 열(column) 및 SQL 문장 중 하나 이상이 동일한 경우에 서로 중복된 것으로 판단하는 단계인 것을 특징으로 하는 데이터 중복성 제거 방법.
5. 복수의 장치로부터 한꺼번에 모든 원천 데이터 또는 하나 혹은 일부의 원천 데이터들을 수집하는 데이터 수집부;
   수집된 상기 원천 데이터들을 통합형식 데이터들로 변환하는 데이터 변환부;
   기설정된 조건을 만족하는 경우에 통합형식 데이터들이 서로 중복된 것으로 판단하여 상기 통합형식 데이터들로부터 중복된 통합형식 데이터를 추출하는 데이터 중복 판단부; 및
   추출된 통합형식 데이터들의 중복 상태를 제거하는 데이터 관리부
   를 포함하되,
   상기 데이터 중복 판단부에 의해 한번에 추출되는 통합형식 데이터의 크기는 다양하게 설정되며, 상기 중복 상태 제거가 완료될 때까지 반복적으로 통합형식 데이터를 추출하고,
   상기 데이터 관리부는 상기 추출된 통합형식 데이터 중 하나의 데이터를 제외한 나머지 데이터를 모두 제거함으로써 상기 중복 상태 제거를 완료하는 것을 특징으로 하는 데이터 중복성 제거 장치.
6. 제5항에 있어서, 상기 데이터 중복 판단부는,
   둘 이상의 통합형식 데이터가 데이터를 식별할 수 있는 테이블(table), 행(row), 열(column) 및 SQL 문장 중 하나 이상이 동일한 경우에 서로 중복된 것으로 판단하는 것을 특징으로 하는 데이터 중복성 제거 장치.
7. 제5항에 있어서, 상기 데이터 중복 판단부는,
   상기 통합형식 데이터들로 변환된 원천 데이터를 수집하는 데이터 수집 모듈;
   상기 통합형식 데이터들이 서로 중복된 것으로 판단하는데 필요한 상기 기설정된 조건을 관리하는 조건 관리 모듈; 및
   상기 기설정된 조건을 만족하는 통합형식 데이터를 추출하는 데이터 추출 모듈
   을 포함하는 것을 특징으로 하는 데이터 중복성 제거 장치.
   
   
   
   
8. 삭제

Images