KR20020018777A - 패턴 분류를 위한 점증적 갱신의 데이터 마이닝 방법 - Google Patents

Abstract

점증적 갱신(incremental-updating)이 가능하고, 연산 과정을 최소로 줄일 수 있는 패턴 분류를 위한 점증적 갱신의 데이터 마이닝 방법이 개시되어 있다. 본 발명은 a) 외부로부터 데이터를 공급받아 인터페이싱하는 단계; b) 상기 a) 단계에서 입력된 대용량의 데이터를 러프셋 기법을 이용하여 축약하는 단계; c) 상기 b)단계에서 축약된 데이터를 개선된 퍼지 직사각형 분해 기법을 적용하여 규칙을 직사각형 형태로 일대일 매핑시켜 저장하고 데이터 베이스 갱신 시 일부 상관 관계를 갖는 규칙에 대해 마이닝하는 단계로 이루어진다.

Description

패턴 분류를 위한 점증적 갱신의 데이터 마이닝 방법{AN INCREMENTAL UPDATING DATA MINING METHOD FOR PATTERN CLASSIFICATION}

본 발명은 패턴 분류를 위한 점증적 갱신의 데이터 마이닝 방법에 관한 것으로서, 보다 상세하게는 시간 복잡도를 고려하여 보다 효율적인 패턴 분류를 위한 점증적 갱신이 가능한 데이터 마이닝 방법에 관한 것이다.

최근 정보 기술의 발달과 인터넷이라는 새로운 패러다임의 등장에 따라 데이터 베이스(혹은 데이터웨어하우스)에 저장되는 데이터의 폭발적인 증가는 기존의 분석 도구로는 도저히 감당할 수 없는 한계점에 도달하였다. 또한 지식 기반 사회로의 진입은 수집된 대규모의 데이터로부터 유용한 정보와 지식들을 추출할 수 있는 새로운 지능적 기법과 도구들을 절실히 요구하고 있는 상황이다. 최근 이러한 요구를 충족시키기 위한 방법론으로 데이터 마이닝 기술에 대한 관심이 집중되고 있다.

"데이터 마이닝"이란 대량의 실제 데이터로부터 이전에 잘 알려져 있지 않으며 묵시적이고 잠재적으로 유용한 정보를 추출하는 작업을 통칭한다.

데이터 마이닝 기술은 기계 학습(machine learning) 분야와 밀접한 관계를 갖는다. 기계 학습 방법은 복잡한 의사 결정 문제를 다루기 위한 성공적인 원칙(discipline)을 제공하며, 특히 의사 결정을 위한 분류기(classifier)의 구축을 위해 데이터 베이스로부터 지식 탐사(knowledge discovery)를 하는데 사용되어 왔다. 그러나 데이터 마이닝에 사용되는 실세계 데이터 베이스의 데이터는 기계 학습에서 사용되는 데이터와는 달리, 잉여(redundant) 데이터 및 잡음(noise) 데이터를 다수 포함하고, 또한 동적(dynamic)으로 변화한다.

부정확하거나 애매 모호한 현실 세계의 특성을 반영한 데이터 베이스를 처리하기 위한 대안으로 퍼지(fuzzy) 이론에 기반한 기계 학습 알고리즘이 제안되었다. 그 중 가장 대표적인 방법으로 퍼지 결정 트리(fuzzy decision tree)를 이용한 분류 기법이다. 그러나, 이 방법은 이미 구성된 결정 트리(규칙 기반)에 새로운 데이터가 추가될 때마다 결정 트리 전체를 재구성하여야 함으로 계산 비용이 많이 소요된다는 단점을 갖고 있다.

이러한 단점을 해결하기 위하여 Maddouri등은 직사각형 분해 기법을 이용하여 규칙을 직사각형 형태로 저장함으로서 새로운 데이터가 추가될 때 상관 관계가있는 직사각형(규칙)만을 재구성함으로서 규칙 기반을 점증적으로 갱신할 수 있는 점증적 퍼지 규칙 생성 방법을 제안하였다. 그러나 이 방법은 참신한 아이디어임에도 불구하고 직사각형 분해 문제를 그래프로부터 clique를 찾는 문제(NP-hard 문제)로 변환하여 휴리스틱으로 풀고 있기에 현실적으로 실용성이 떨어지는 방법론이다.

전술한 바와 같이, 직사각형 분해 기술은 bipartite 그래프를 일반(general) 그래프로 변환한 후 그래프에서 maximum clique를 찾는 문제(NP-hard 문제)로 변환하여 해결한다. 따라서. 이 방법은 mxn 행렬(m: 속성의 수, n: 항목의 수)을 (m+n)x(m+n) 행렬로 변환한 후 해를 찾는다. 그러나, n의 개수가 m에 비해 매우 큰 대용량의 데이터 베이스인 경우, 이 방법은 계산 비용뿐만 아니라 메모리 비용도 매우 커지게 되므로 비효율적이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출한 것으로서, 본 발명의 목적은 점증적 갱신(incremental-updating)이 가능하고, 시간 복잡도를 줄일 수 있는 패턴 분류를 위한 점증적 갱신의 데이터 마이닝 방법을 제공함에 있다.

이와 같은 목적을 달성하기 위한 본 발명에 따른 데이터 마이닝 방법은,

a) 외부로부터 데이터를 공급받아 인터페이싱하는 단계;

b) 상기 a) 단계에서 입력된 대용량의 데이터를 러프셋 기법을 이용하여 축약하는 단계; 및

c) 상기 b)단계에서 축약된 데이터를 개선된 퍼지 직사각형 분해 기법을 적용하여 규칙을 직사각형 형태로 일대일 매핑시켜 저장하고 데이터 베이스 갱신 시 일부 상관 관계를 갖는 규칙에 대해 마이닝하는 단계로 이루어진다.

본 발명에 의하면, 개선된 퍼지 직사각형 분해를 이용하여 퍼지 규칙 기반을 직사각형의 형태로 저장하므로 동적으로 변하는 데이터 베이스에 의사 결정의 요인이 되는 데이터가 추가 입력될 때 상관 관계가 있는 일부의 데이터만을 갱신함으로서, 점증적 갱신이 가능하고, 속성 지향 러프셋 기법을 이용하여 정보의 손실 없이 연산될 도메인의 범위를 대폭 줄임으로서 연산 비용을 절감시킬 수 있다.

도 1은 본 발명에 따른 데이터 마이닝 장치의 구성을 보인 도이다.

도 2는 본 발명에 따른 데이터 마이닝 과정을 보인 플로우챠트이다.

〈도면의 주요 부분에 대한 부호의 설명〉

111 : 인터페이스 112 : 축약 프로그램 모듈

113 : 규칙 생성 프로그램 모듈

이하 본 발명을 첨부된 예시 도면에 의거 상세히 설명하면 다음과 같다.

도 1은 본 발명에 따른 데이터 마이닝 장치의 구성을 보인 도이다. 우선 도 1을 참조하면, 인터페이스(111), 축약 프로그램 모듈(112), 및 규칙 생성 프로그램 모듈(113)로 이루어진다.

상기 축약 프로그램 모듈(112)은 속성 지향 러프셋 접근 방법을 적용한 모듈로서, 대용량의 레코드들이 잡음 데이터 및 잉여 데이터와 섞여 함께 존재하는 경우에 축약 기법을 이용하여 계산해야 할 도메인의 범위를 크게 줄임으로서 의사 결정을 위한 보다 효율적인 마이닝이 가능하도록 구비된다.

또한, 상기 규칙 생성 프로그램 모듈(113)은 개선된 퍼지 직사각형 분해 기술을 적용하여 규칙을 직사각형 형태로 일대일 매핑시켜 저장함으로서 일부 상관 관계를 갖는 규칙에 대해서만 마이닝하는 점증적 갱신을 실행하도록 구비된다.

제안된 데이타 마이닝 시스템의 전체 구조를 자세히 살펴보면, 초기 사용자요구에 대해서는 축약 프로그램과 규칙 생성 프로그램을 차례로 거치면서 규칙 기반을 구축하는 작업이 수행되지만, 그 이후의 요구에 대해서는 위의 단계를 거치지 않고 바로 규칙 생성 프로그램으로 진입하여 갱신된 규칙기반을 생성하게 된다. 또한 규칙기반을 갱신할 때 일부 규칙만을 갱신한다. 따라서 상대적으로 매우 적은 시간에 원하는 결과를 산출할 수 있다는 장점이 있다.

이하, 상기 구성에 따른 작용을 참조 도면에 의거하여 설명하면 다음과 같다.

도 2는 도 1에 기초한 데이터 마이닝 과정을 설명하기 위한 플로우차트이다. 본 발명에 따른 데이터 마이닝 과정을 상세하게 설명한다.

우선, 인터페이스(111)를 통해 데이터가 입력되면, 이 입력된 데이터를 축약 프로그램 모듈(112)에서는 러프셋 축약 기법인 수평축약 그리고 수직 축약을 통해 정보의 손실 없이 잉여 데이타와 중복 데이타를 삭제함으로써 계산될 도메인의 범위는 크게 줄이면서 올바른 분류가 가능하게 한다.

그후 규칙생성 프로그램 모듈(113)에서는 개선된 퍼지 직사각형 분해 기술을 적용하여 규칙을 직사각형 형태로 일대일 매핑시켜 저장함으로서 일부 상관 관계를 갖는 규칙에 대해서만 마이닝하는 점증적 갱신을 실행한다. 직사각형 분해(rectangular decomposition) 기법은 주어진 행렬 형태의 관계형 데이타베이스에서 내재된 정보를 잃지 않으면서 여러 개의 작은 직사각형으로 나누어 저장하는 기술이다. 직사각형 분해기법을 이용해 얻은 직사각형들은 규칙으로 자동 변환된다. 최적 직사각형들의 집합들 중에서 직사각형의 개수를 최소로 하는 집합을 최적커버리지(optimal coverage)라 한다. 여기서 직사각형은 곧 규칙이므로 최적 커버리지는 모든 정보를 갖고 있으면서 규칙의 수를 최소화하는 최적 규칙들의 집합을 말한다. 이진 관계에 대한 최적 커버리지를 찾는 문제는, 완전 부분 행렬(complete sub matrix)의 개수를 최소로 하여 이진 행렬을 커버링(covering)하는 문제로 알려져 있다. 기존의 직사각형 분해 기술은 bipartite 그래프를 일반(general)그래프로 변환한 후 그래프에서 maximum clique를 찾는 문제로 변환하여 해결한다. 이러한 문제는 NP-hard 문제이다. 따라서 본 발명에서는 노드-삭제(node-deletion)를 이용하여 직사각형 분해 문제를 bipartite 그래프에서 biclique을 찾는 문제로 변환하여 해결한다. 이 문제는 polynomial 시간만에 풀 수 있다.

상기 bipartite 그래프를 이용하여 최적 커버리지를 구하는 알고리즘을 다음과 같다.

1) 정보 테이블(이진 관계)을 입력받고 최적 커버리지(규칙 기반)을 출력하는 프로그램은 다음과 같다.

2) 상기 Opt_Cov()에서 사용되는 함수로써 현재의 리스트(list)와에지(edge)를 입력받고 현 상태의 극대 직사각형을 구하는 프로그램은 다음과 같다.

여기서, 상기 Candidate_Node()는 이미 커버리지에 포함된 에지를 제외한 나머지 에지를 입력받아 게인(gain)값의 감소를 최소화하는 두 개의 연결된 노드를 찾아 반환하는 함수이다. 또한 상기 Best_Node()는 현재 리스트에서 선택된 노드에 의해 직사각형 게인 값의 감소를 최소화하는 노드를 반환하는 함수이다. 그리고, 상기 Max_Rec은 리스트가 공집합이 될 때까지 반복문을 실행한다. 상기 Best_Node n이 결정되면, n을 Maximal에 넣고, n과 연결되지 않는 모든 노드들을 제거한 후 리스트에 있는 모든 노드들이 삭제 또는 Maximal에 포함되면(즉, 리스트가 공집합이면) 현재 직사각형은 극대 직사각형이 된다.

위의 알고리즘은 다음 이론에 의해 증명된다.

<정리 1> 노드-삭제를 이용한 Max_Rec에 의해 구해진 직사각형은 극대 직사각형이다.

상기 Opt_Cov()는 Remain_Edge가 공집합이 될 때 정지하게 된다. 즉, 도메인과 코도메인 사이의 모든 이진 관계가 최적 커버리지에 포함될 때 해를 구하게 되는 것이다. 처음 Coverage에 Max_Rec이 포함되면, Candidate_Node를 찾는다. 이것은 현재 커버리지에 포함되지 않는 에지 중에서 다음의 최적 직사각형에 포함될 확률이 높은 에지를 두 번째 직사각형을 찾는데 사용하기 위함이다. 이렇게 함으로서 커버리지에 포함된 최적 직사각형의 개수를 최소화 할 수 있다.

<따름 정리> 상기 Opt_Cov에 의해 구해진 해, 즉 직사각형들의 집합은 커버리지이다.

상기 Best_Node에서 사용되는 게인 함수는gain = |Dom|x|Cod| - ( |Dom| + |Cod| )을 사용한다. 따라서 노드의 수가 같을 때, 또는 도메인과 코도메인의 노드 개수의 차이가 작을 때(즉, 정사각형에 가까울 때), 게인 함수는 가장 큰 값을 갖는다. 상기 게인 함수를 사용한 이유는 도메인의 개수만 너무 많으면, 지지도는 작으면서 너무 구체적인(specific) 규칙이 되고, 반대로 코도메인의 개수만 너무 많으면 지지도는 크지만 규칙의 조건부인 속성의 수가 작아지므로 너무 일반적(general)인 규칙이 되기 때문이다. 따라서 풀려는 문제의 성격에 따라 게인 함수를 수정할 수 있다. 또한 계산 비용의 절감을 위해 최적해에 가까운 근사해를 최적 직사각형 즉, 생성된 규칙으로 간주해도 전체 시스템의 성능에 크게 영향을 받지 않는다. 그러므로, 본 발명의 실시 예에서는 Max_Rec에서 찾아진 직사각형(근사해)들로 구성된 커버리지 중에서 직사각형의 수를 최소화하는 커버리지를 최적 커버리지로 사용한다.

〈정리 2〉Max_Rec에 의해 구하여진 직사각형(근사해)을 최적 직사각형이라하면, Opt_Cov의 의해 구하여진 해는 최적 커버리지이다.

상기의 과정을 통해 구하여진 Opt_Cov함수의 복잡도를 계산한다. 상기 Opt_Cov의 알고리즘은 하나의 에지(Candidate_Node의 쌍)에 대해 한번의 Max_Rec를 호출하고, 이 호출된 Max_Rec에서는 직사각형을 구성하기 위하여 리스트가 공집합이 될 때까지 노드를 선택 및 삭제한다. 따라서, 전체 알고리즘의 복잡도는 커버리지에 포함되기 위하여 선택되는 노드의 개수와 동일하다. 상기 c는 card(cod(R)) 이고, d는 card(dom(R))이라고 하자. 상기 Max_Rec의 호출되는 횟수는 커버리지 내의 직사각형의 수이므로 최악의 경우 전체 에지의 개수는 c×d이고, 하나의 에지에 대해 하나의 직사각형을 구성하므로 하나의 직사각형을 구성하기 위하여 선택될 노드의 개수는 최악의 경우 모든 노드의 개수인 c+d이다. 따라서, 전체 복잡도는 이 둘을 곱한 O(cd(c+d))가 된다. 이것은 관계 행렬(relation matrix)이 매우 밀집(dense)되고 노드 삭제가 거의 발생하지 않을 때의 경우이다. 기존의 직사각형 분해에 사용된 알고리즘은 최악의 경우에 O((c+d)⁴)의 복잡도를 갖는다. 일반적으로 데이터 마이닝에 사용되는 관계는 c≪d 이다. 결국, 기존의 방법론은 O(c⁴)임에 반해 본 발명에서 제안한 방법은 O(c²) 이 된다.

데이터 마이닝에 사용되는 데이터는 빈번하게 삽입(insert), 삭제(delete), 및 갱신(update)이 이루어진다. 따라서, 동적으로 변화하는 데이터에 대하여 올바른 결정을 지원하기 위해서는 데이터 마이닝에 사용되는 규칙도 동적으로 변화하여야 한다. 그러나, 기존의 결정 트리를 이용하는 데이터 마이닝 시스템들은 새로운규칙 생성을 위해 전체 규칙 기반을 재구성해야 하는 단점을 갖고 있다. 본 발명에서는 규칙 기반에 대한 점증적 갱신을 위해 Maddouri등의 점증적 퍼지 규칙 생성 방법을 사용한다. 동적으로 변화하는 데이터 베이스에 새로운 데이터가 추가될 때 계산될 도메인의 크기가 전체 데이터 베이스가 아닌 상관 관계가 있는 일부의 데이터만을 이용하여 규칙 기반을 재구성함으로서, 시스템의 갱신 성능이 향상된다.

이상에서 설명한 바와 같이, 본 발명에 따른 패턴 분류를 위한 점증적 갱신의 데이터 마이닝 방법은, 직사각형 분해 기법을 통해 퍼지 규칙 기반을 직사각형 형태로 저장하므로 동적으로 변하는 데이터 베이스에 새로운 의사 결정 요인인 데이터가 추가 입력될 때 상관 관계가 있는 일부 데이터만을 이용하여 규칙 기반을 재구성하므로, 점증적 갱신이 가능하다. 또한 상기 직사각형 분해 기법을 위해 이진 행렬로부터 변환된 bipartite 그래프에서 biclique를 찾는 문제를 이용하여 직사각형 분해를 수행하는데, 이 biclique를 찾는 문제는 노드-삭제 방법을 이용하여 polynomial 시간 내에 biclique을 찾을 수 있다. 그리고 방대하고, 불완전하며, 잡음 데이터 및 잉여 데이터를 다수 포함하고 있는 실세계의 데이터 베이스를 다루기 위하여, 속성 지향 러프셋 축약 기법을 사용하여 데이터 베이스의 내재된 정보의 손실 없이 계산할 도메인의 범위를 대폭 줄임으로서 연산 비용을 크게 절감시킬 수 있는 효과를 얻을 수 있다.

이상에서 본 발명을 특정한 바람직한 실시 예에 대하여 도시하고 설명하였으나, 본 발명은 상기한 실시 예에 한정하지 아니하며, 특허 청구 범위에서 청구하는본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형이 가능할 것이다.

Claims (3)

1. a) 외부로부터 데이터를 공급받아 인터페이싱하는 단계;

   b) 상기 a) 단계에서 입력된 대용량의 데이터를 러프셋 기법을 이용하여 축약하는 단계; 및

   c) 상기 b)단계에서 축약된 데이터를 퍼지 직사각형 분해 기법을 적용하여 규칙을 직사각형 형태로 일대일 매핑시켜 저장하고 데이터 베이스 갱신시 일부 상관 관계를 갖는 규칙에 대해 마이닝하는 단계로 이루어지는 것을 특징으로 하는 패턴 분류를 위한 점증적 갱신의 데이터 마이닝 방법.
2. 제 1 항에 있어서, 상기 c)단계의 직사각형 분해 기법은 이진행렬로부터 변환된 bipartite 그래프에서 biclique를 구함으로서 직사각형 분해할 수 있는 단계로 이루어지는 것을 특징으로 하는 패턴 분류를 위한 점증적 갱신의 데이터 마이닝 방법.
3. 제 1 항에 있어서, 상기 b) 단계는 데이터 베이스에 내재된 정보의 손실 없이 계산될 도메인의 범위를 대폭 줄이기 위하여 데이터 마이닝에 속성 지향 러프셋 축약 기법을 실행하는 단계인 것을 특징으로 하는 패턴 분류를 위한 점증적 갱신의 데이터 마이닝 방법.