KR102169004B1

KR102169004B1 - 새로운 사례의 분석을 통한 단일 분류 도메인의 전문가 경험 지식의 점진적 학습 방법 및 시스템

Info

Publication number: KR102169004B1
Application number: KR1020180060452A
Authority: KR
Inventors: 최호진; 현종환
Original assignee: 한국과학기술원
Priority date: 2018-05-28
Filing date: 2018-05-28
Publication date: 2020-10-22
Also published as: KR20190135238A

Abstract

새로운 사례의 분석을 통한 단일 분류 도메인의 전문가 경험 지식의 점진적 학습 방법 및 시스템이 개시된다. 미리 구축된 리플-다운 룰(ripple-down rules: RDR) 지식 베이스에 기초하여, 새로운 사례의 결론이 상기 RDR 지식 베이스의 지식과 불일치하는 거짓 결론에 해당하는지 여부를 평가한다. 평가된 새로운 사례들 중에서 거짓 결론으로 평가된 사례를 수집한다. 수집된 사례가 거짓 결론으로 평가되도록 한 상기 RDR 지식 베이스의 소정의 지식을 추적한다. 거짓 결론으로 평가되어 수집된 사례와 그 사례를 거짓 결론으로 평가되도록 한 상기 소정의 지식의 집합으로부터 새로운 지식을 추출한다. 추출된 새로운 지식을 상기 RDR 지식 베이스에 반영한다. RDR 초기 지식 베이스가 구축된 이후에도 기계 학습 시스템이 다량의 새로운 사례로부터 전문가의 경험 지식을 자동으로 추출하고, RDR 지식 베이스의 적절한 위치에 해당 경험 지식을 자동으로 추가할 수 있다

Description

새로운 사례의 분석을 통한 단일 분류 도메인의 전문가 경험 지식의 점진적 학습 방법 및 시스템 {METHOD AND SYSTEM FOR INCREMENTALLY LEARNING EXPERIENTIAL KNOWLEDGE IN SINGLE CLASSIFICATION DOMAIN VIA ANALYZING NEW CASES}

본 발명은 기계학습 분야에 관한 것으로, 보다 상세하게는 새로운 사례의 분석을 통한 단일 분류 도메인의 전문가 경험 지식을 점진적으로 학습하는 방법에 관한 것이다.

하나의 입력이 하나의 결론만을 생성하는 경우를 단일 분류 도메인이라고 한다. 단일 분류 도메인에 있어서, 하나의 입력은 다수의 키와 각 키에 대응하는 값의 쌍으로 구성될 수 있다. 다만, 그 입력에 대응하는 결론은 반드시 해당 입력을 대표할 수 있는 하나의 값으로만 구성되어야 한다. 대표적으로 조직 병리 검사, 전자 우편의 스팸 여부, 공장 설비의 작동 여부 등이 단일 분류 도메인에 해당한다.

사례 기반 전문가 시스템 및 의사 결정 지원 시스템은 전문가가 과거에 판단한 사례를 활용해 새로운 사례에 대한 의사 결정을 지원하기 위한 정보 기술 시스템이다. 이와 관련된 기술은 지식 공학과 인공 지능 분야에서 주로 연구되고 있다. 의사 결정을 지원하기 위해, 이러한 시스템은 과거 사례로부터 지식을 추출하고, 해당 지식을 토대로 지식 베이스(Knowledge Base)를 구축하고, 해당 지식 베이스를 사용해 새로운 사례를 평가한다. 즉, 지식 베이스 기반 의사 결정 지원 시스템은 지식 베이스에 저장된 지식을 활용해 전문가의 의사 결정 과정을 도와준다.

결정 트리(decision tree)는 의사 결정의 조건과 가능한 결론을 트리 형태의 모델로 표현한 의사 결정 지원 도구이다. 결정 트리는 순서도와 비슷한 구조를 갖는다. 결정 트리에 있어서, 각 노드는 시험할 조건을 나타내고, 각 분기는 시험의 결과를 나타내며, 각 리프 노드는 결정된 결론을 나타낸다. 결정 트리 구조의 특성상, 결정 트리는 계층 구조의 지식을 표현하는 데도 사용할 수 있다. 리플-다운 규칙(Ripple-Down Rules: RDR) 또한 지식을 결정 트리의 형태로 표현한다.

RDR은 전문가 시스템을 사용하고 있는 상황에도 전문가가 직접 점진적으로 시스템을 구축할 수 있는 접근 방법이다. RDR 기반의 전문가 시스템이 정상적으로 작동하기 위해선 초기 RDR 지식 베이스가 필요하다. 초기 지식 베이스를 처음부터 직접 구축하는 과정은 매우 많은 노동력을 필요로 한다. 이런 불편을 없애기 위해, RDR은 기존에 생성된 다량의 사례로부터 초기 지식 베이스를 지식 학습 기술을 사용해 자동으로 구축할 수 있도록 지식 학습 알고리즘을 제공한다.

하지만, 기존의 지식 베이스 기반 의사 결정 지원 시스템에서는 초기 지식 베이스가 구축된 이후에는, 다량의 새로운 사례가 있더라도 전문가의 경험 지식을 자동으로 추출해 RDR 지식 베이스에 추가할 수 없었다. 그 지식 베이스에 새로운 지식을 반영하기 위해선 지식 공학자의 지속적인 개입을 필요로 한다. 즉, 해당 지식 분야의 전문가가 새로운 사례를 하나씩 그 시스템에 입력하며 지식 베이스에 지식을 추가하는 반복적인 과정이 요구된다. 따라서 새로운 지식을 추가하거나 기존 지식을 수정하는 과정에 병목 현상이 발생한다.

이러한 문제점을 개선하기 위해, RDR은 전문가가 직접 지식을 지식 베이스에 추가하거나 기존 지식 베이스의 지식을 수정할 수 있도록 체계적인 인터페이스를 제공한다. 이를 통해, 전문가는 지식 공학자의 개입 없이도 새로운 지식을 지식 베이스에 빠르게 반영할 수 있다.

기존의 RDR 기반의 전문가 시스템의 경우, 지식 공학자의 개입은 배제되지만, 그래도 이미 구축된 지식 베이스에 새로운 지식을 반영하기 위해서는 전문가에 의한 매우 비효율적인 작업을 필요로 한다. 즉, 초기 지식 베이스가 구축된 이후에는, 새롭게 생겨난 사례의 지식을 이미 구축된 기존 지식 베이스에 반영하려면, 전문가가 직접 새로 생겨난 사례를 하나씩 살펴보며 지식을 수동으로 추출하여 지식 베이스에 반영해야만 한다. 이는 전문가의 시간과 노력을 많이 필요로 하는 점에서 비효율적일 수 있다.

본 발명은 이런 문제를 개선하기 위한 것으로서, 새롭게 생성되는 다량의 단일 분류 도메인의 사례로부터 기계학습 시스템이 자동으로 전문가의 경험 지식을 추출하고, 새롭게 추출한 그 경험 지식을 이미 구축된 RDR의 지식 베이스에 자동 추가하는 것을 통해 단일 분류 도메인의 전문가 경험 지식을 점진적으로 학습할 수 있는 방법과 시스템을 제공하기 위한 것이다.

본 발명은 또한 위와 같은 전문가 경험 지식의 점진적 학습 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 가독형(computer-readable) 기록 매체를 제공하기 위한 것이다.

본 발명이 해결하고자 하는 과제는 상술한 과제들에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.

상기 본 발명의 목적을 실현하기 위한 실시예들에 따른 전문가 경험 지식의 점진적 학습 방법은 컴퓨터 프로그램으로 구현되어, 컴퓨터 장치에 의해 수행되는 방법이다. 상기 전문가 경험 지식의 점진적 학습 방법은, 미리 구축된 리플-다운 룰(ripple-down rules: RDR) 지식 베이스에 기초하여, 새로운 사례의 결론이 상기 RDR 지식 베이스의 지식과 불일치하는 거짓 결론에 해당하는지 여부를 평가하는 단계; 평가된 새로운 사례들 중에서 거짓 결론으로 평가된 사례를 수집하는 단계; 수집된 사례가 거짓 결론으로 평가되도록 한 상기 RDR 지식 베이스의 소정의 지식을 추적하는 단계; 거짓 결론으로 평가되어 수집된 사례와 그 사례를 거짓 결론으로 평가되도록 한 상기 소정의 지식의 집합으로부터 새로운 지식을 추출하는 단계; 및 추출된 새로운 지식을 상기 RDR 지식 베이스에 반영하는 단계를 포함한다.

예시적인 실시예들에 있어서, 상기 새로운 사례는 단일 분류 도메인의 전문가 경험 지식에 관련된 사례인 일 수 있다.

예시적인 실시예들에 있어서, 상기 평가하는 단계는, 상기 새로운 사례를 구성하는 데이터를 입력 데이터로 삼아 상기 RDR 지식 베이스에 기초한 판단을 하여 결론을 생성하는 단계; 및 생성된 결론이 상기 새로운 사례를 구성하는 실제 결론과 비교하여 상호 일치 여부에 따라 상기 거짓 결론에 해당하는지 여부를 평가하는 단계를 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 지식을 추적하는 단계는, 결정 트리 구조로 표현된 지식들을 포함하는 상기 RDR 지식 베이스 내에서 상기 소정의 지식의 계층 구조 경로를 추적하는 것일 수 있다.

예시적인 실시예들에 있어서, 상기 추출된 새로운 지식은 상기 추적된 소정의 지식과 충돌하지 않아 상기 지식 베이스의 정합성을 보장할 수 있는 새로운 지식일 수 있다.

예시적인 실시예들에 있어서, 상기 추출하는 단계에서 추출되는 새로운 지식의 최상위 노드는 상기 반영하는 단계에서 활용할 수 있도록 "IF TRUE THEN <거짓 결론으로 평가한 지식의 결론>"의 구조로 고정되는 것일 수 있다.

예시적인 실시예들에 있어서, 상기 추출하는 단계에서, 하나의 거짓 결론으로 평가되도록 한 지식이 다수의 거짓 결론으로 평가된 사례들과 연결된 경우, 정보 이득(information gain) 또는 지니 불순도(gini impurity)를 기준으로 사용해 상기 평가된 사례들로부터 결정 트리 구조의 새로운 지식을 추출하는 것일 수 있다.

예시적인 실시예들에 있어서, 상기 반영하는 단계에서, 결정 트리 구조의 상기 추출된 새로운 지식은 추적된 상기 소정의 지식의 자식으로 추가되어 상기 RDR 지식 베이스에 반영되는 것일 수 있다.

위에서 언급한 것들 중 어느 하나에 따른 전문가 경험 지식의 점진적 학습 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 가독형(computer-readable) 기록 매체가 제공될 수 있다.

한편, 상기 본 발명의 목적을 실현하기 위한 실시예들에 따른 전문가 경험 지식의 점진적 학습 시스템은 RDR 지식 베이스, 결론 평가부, 거짓 결론 사례 수집부, 거짓 결론 지식 추적부, 새로운 지식 추출부, 그리고 지식 추가부를 포함할 수 있다. 상기 RDR 지식 베이스는 결정 트리 구조로 표현된 지식들을 포함한다. 상기 결론 평가부는 상기 RDR 지식 베이스에 기초하여 새로운 사례의 결론이 상기 RDR 지식 베이스의 지식과 불일치하는 거짓 결론에 해당하는지 여부를 평가한다. 상기 거짓 결론 사례 수집부는 상기 결론 평가부에 의해 평가된 새로운 사례들 중에서 거짓 결론으로 평가된 사례를 수집한다. 상기 거짓 결론 지식 추적부는 상기 거짓 결론 사례 수집부에 의해 거짓 결론으로 평가되어 수집된 사례가 거짓 결론으로 평가되도록 한 상기 RDR 지식 베이스 내의 소정의 지식을 추적한다. 상기 새로운 지식 추출부는 거짓 결론으로 평가되어 수집된 사례와 그 사례를 거짓 결론으로 평가되도록 한 상기 소정의 지식의 집합으로부터 새로운 지식을 추출한다. 상기 새로운 지식 추출부는 하나의 거짓 결론으로 평가되도록 한 지식이 다수의 거짓 결론으로 평가된 사례들과 연결된 경우, 정보 이득(information gain) 또는 지니 불순도(gini impurity)를 기준으로 사용해 상기 평가된 사례들로부터 결정 트리 구조의 새로운 지식을 추출하도록 구성된된다. 상기 지식 추가부는 상기 새로운 지식 추출부가 추출한 새로운 지식을 상기 RDR 지식 베이스에 반영한다.

예시적인 실시예들에 있어서, 상기 새로운 사례는 단일 분류 도메인의 전문가 경험 지식에 관련된 사례일 수 있다.

예시적인 실시예들에 있어서, 상기 거짓 결론 지식 추적부는 상기 RDR 지식 베이스 내에서 상기 소정의 지식의 계층 구조 경로를 추적하는 것일 수 있다.

예시적인 실시예들에 있어서, 상기 새로운 지식 추출부가 추출한 새로운 지식은 상기 거짓 결론 지식 추적부에 의해 추적된 상기 소정의 지식과 충돌하지 않아 상기 지식 베이스의 정합성을 보장할 수 있는 새로운 지식일 수 있다.

예시적인 실시예들에 있어서, 상기 새로운 지식 추출부가 추출한 새로운 지식의 최상위 노드는 상기 지식 베이스에 반열 시 활용될 수 있도록 "IF TRUE THEN <거짓 결론으로 평가한 지식의 결론>"의 구조로 고정되는 것일 수 있다.

예시적인 실시예들에 있어서, 상기 지식 추가부는 상기 새로운 지식 추출부에 의해 추출된 새로운 지식을 상기 거짓 결론 지식 추적부에 의해 추적된 상기 소정의 지식의 자식으로 추가하여 상기 RDR 지식 베이스에 반영하는 것일 수 있다.

본 발명을 이용하면, RDR 초기 지식 베이스가 구축된 이후에도 기계 학습 시스템이 다량의 새로운 사례로부터 전문가의 경험 지식을 자동으로 추출하고, RDR 지식 베이스의 적절한 위치에 해당 경험 지식을 자동으로 추가할 수 있다. 따라서 새로운 사례들로부터 전문가의 경험 지식을 RDR 지식 베이스에 빠르게 반영할 수 있다. 이를 통해 RDR 기반 의사 결정 지원 시스템의 성능을 향상시킬 수 있다. 나아가 RDR 지식 베이스의 성능을 향상시키는 데 필요한 전문가의 시간과 노력을 크게 절감할 수 있다.

도 1은 본 발명에 따른 단일 분류 도메인의 전문가 경험 지식의 점진적 학습 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명에 따른 새로운 사례의 분석을 통한 단일 분류 도메인의 전문가 경험 지식의 점진적 학습 방법의 개념 및 수행 절차를 나타낸 흐름도이다.
도 3은 본 발명에서 대상으로 하는 단일 분류 도메인 사례에 대한 예시도이다.
도 4 내지 도 7은 본 발명에 따른 새로운 사례의 분석을 통한 단일 분류 도메인의 전문가 경험 지식의 점진적 학습 방법을 구체적으로 예를 들어 설명한 절차도로서,
도 4는 기존 RDR 지식 베이스에 기초하여 평가된 새로운 사례들 중에서 거짓 결론으로 평가된 사례를 모두 모아 한 곳으로 수집하는 방법을 나타내는 흐름도이고,
도 5는 거짓 결론으로 평가하는 데 관여한 RDR 지식 베이스의 지식의 경로를 추적하는 방법을 나타내는 흐름도이고,
도 6은 거짓 결론으로 평가된 사례와 그 사례의 결론을 거짓 결론으로 평가한 지식으로부터, 해당 사례가 참 결론을 생성할 수 있도록 하는 새로운 지식을 추출하는 방법을 나타낸 흐름도이며,
도 7은 추출된 새로운 지식을 기존 RDR 지식 베이스에 반영하는 방법을 나타낸 흐름도이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 후술하는 본 발명에 대한 구체적인 내용은, 본 발명이 실시 될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하 첨부되는 도면을 참조하여 본 발명의 실시 형태에 따른 새로운 사례의 분석을 통한 단일 분류 도메인의 전문가 경험 지식 점진적 학습 방법을 설명한다.

본 발명의 예시적인 실시예들은 RDR 기반의 전문가 시스템과 해당 시스템에서 사용하는 지식 베이스를 대상으로 한다. RDR은 전문가의 경험 지식을 결정 트리의 형태로 표현한다. 기존의 전문가 시스템 기술은 초기 지식 베이스가 구축된 이후, 새로운 지식을 반영하기 위해 지식 공학자의 지속적인 개입을 필요로 한다. 반면에, RDR은 체계적인 인터페이스를 통해 시스템이 전문가로부터 직접 지식을 획득할 수 있도록 지원하기 때문에 전문가 시스템을 구축하는 데 매우 적합하다.

본 발명의 실시예들은 이미 RDR 지식 베이스가 구축된 상황에서 다량의 새로운 사례가 생긴 경우를 가정한다. 본 발명의 실시예들은, RDR 기반의 전문가 시스템에 있어서, 전문가나 지식 공학자의 반복적인 개입 없이 그 사례들로부터 새로운 지식을 자동으로 추출할 수 있고, 기존 RDR 지식 베이스에 그 추출된 새로운 지식을 자동으로 반영할 수 있도록 지원하는 것을 핵심 아이디어로 한다. 이를 위해, 본 발명의 실시예에 따른 전문가 경험 지식의 점진적 학습 방법은 새로운 사례들의 분석을 통한 단일 분류 도메인을 기반으로 수행될 수 있다.

도 1은 본 발명에 따른 전문가 경험 지식의 점진적 학습 시스템(100)의 구성을 나타내는 블록도이다.

본 발명의 실시예들에 따른 전문가 경험 지식의 점진적 학습 시스템(100)은 시스템 스스로 새로운 사례들의 분석을 통해 단일 분류 도메인의 전문가 경험 지식을 자동으로 학습하여 기존의 지식 베이스를 점진적으로 업그레이드 할 수 있는 시스템이다.

도 1을 참조하면, 전문가 경험 지식의 점진적 학습 시스템(100)은 이미 구축된 기존의 RDR 지식 베이스(10)를 포함할 수 있다. 전문가 경험 지식의 점진적 학습 시스템(100)은 또한, 결론 평가부(20), 거짓 결론 사례 수집부(30), 거짓 결론 지식 추적부(40), 새로운 지식 추출부(50), 그리고 지식 추가부(60)를 포함할 수 있다.

결론 평가부(20)는 기존의 RDR 지식 베이스(10)에 기초하여 다량의 새로운 사례들의 결론이 거짓 결론에 해당하는지 여부를 평가하는 모듈일 수 있다. 거짓 결론 사례 수집부(30)는 결론 평가부(20)에 의해 평가된 새로운 사례들 중에서 거짓 결론으로 평가된 사례를 수집하는 모듈일 수 있다. 거짓 결론 지식 추적부(40)는 거짓 결론으로 평가되어 거짓 결론 사례 수집부(30)에 의해 수집된 사례가 거짓 결론으로 평가되도록 한 지식을 추적하는 모듈일 수 있다. 새로운 지식 추출부(50)는 거짓 결론으로 평가되어 수집된 사례와 그 사례를 거짓 결론으로 평가되도록 한 지식의 집합으로부터 새로운 지식을 추출하는 모듈일 수 있다. 지식 추가부(60)는 새로운 지식 추출부(50)가 추출한 지식을 기존 RDR 지식 베이스(10)에 반영하는 모듈일 수 있다.

이들 결론 평가부(20), 거짓 결론 사례 수집부(30), 거짓 결론 지식 추적부(40), 새로운 지식 추출부(50), 그리고 지식 추가부(60)는 컴퓨터 언어로 작성된 컴퓨터 프로그램 또는 인터페이스로 구현될 수 있다. 전문가 경험 지식의 점진적 학습 시스템(100)은 RDR 지식 베이스(10)의 지식 정보와 상기 컴퓨터 프로그램 등을 저장하기 위한 데이터 저장소, 상기 컴퓨터 프로그램 등을 실행하기 위한 연산처리장치 및 메모리 장치 등과 같은 하드웨어 자원을 포함하는 컴퓨팅 자원들을 포함할 수 있다. 상기 데이터 저장소는 하드디스크, 플래시 메모리, ROM, EEPROM 등과 같은 비휘발성 기록매체로 구성될 수 있다. 즉, 전문가 경험 지식의 점진적 학습 시스템(100)은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이와 같은 구성을 갖는 전문가 경험 지식의 점진적 학습 시스템(100)은 이미 구축된 RDR 기반의 지식 베이스(10)와 충돌하지 않으면서도 다량의 새로운 사례들로부터 단일 분류 도메인의 전문가 경험 지식을 추출할 수 있다. 그리고 그 추출된 경험 지식을 기존의 지식 베이스(10)에 반영할 수 있다. 도 2는 이를 위한 실행 방법을 설명하기 위한 흐름도이다. 즉, 도 2의 흐름도는 본 발명의 실시예에 따른 새로운 사례의 분석을 통한 단일 분류 도메인 기반 전문가 경험 지식의 점진적 학습 방법의 실행 절차를 나타낸다.

이 학습 방법은 전문가 경험 지식의 점진적 학습 시스템(100)에 의해 실행될 수 있다. 본 발명의 실시예에 따른 전문가 경험 지식의 점진적 학습 방법은 학습 시스템(100)이 스스로 새로운 사례들을 분석하여 단일 분류 도메인의 전문가 경험 지식을 자동으로 학습하고, 그 학습 결과를 기존의 지식 베이스를 점진적으로 반영하기 위한 방법이다.

도 2를 참조하면, 상기 학습 방법은 이미 구축된 기존 RDR 지식 베이스(10)에 기초하여 다량의 새로운 사례들의 결론이 거짓 결론에 해당하는지 여부를 평가하는 단계(200), 평가된 새로운 사례들의 결론 중에서 거짓 결론으로 평가된 사례를 수집하는 단계(300), 수집된 사례가 거짓 결론으로 평가되도록 한 RDR 지식 베이스(10)의 지식을 추적하는 단계(400), 거짓 결론으로 평가된 사례와 그런 평가의 기초로 사용된 것으로 추적된 지식으로부터 해당 사례가 참 결론을 생성할 수 있도록 하는 새로운 지식을 추출하는 단계(500), 그리고 그렇게 추출한 새로운 지식을 기존 RDR 지식 베이스(10)에 반영하는 단계(600)를 포함할 수 있다.

본 발명의 예시적인 실시예는 하나의 입력이 하나의 결론만 생성하는 단일 분류 도메인의 사례를 대상으로 할 수 있다. 도 3은 본 발명에서 대상으로 하는 단일 분류 도메인 사례를 예시한다.

도 3을 참조하면, 단일 분류 도메인의 각 사례(700)는 도 3에 도시된 것과 같이 데이터와 그에 기초한 전문가의 결론을 포함할 수 있다. 데이터는 하나 이상의 데이터 쌍을 포함할 수 있다. 각 데이터 쌍은 하나의 키와 그 키의 값을 포함할 수 있다. 결론은 단 하나의 값으로 정의될 수 있다. 즉, 결론은 단일 결론이다. 도면에 제시된 사례(700)들은 조직 병리 검사 결과를 데이터로, 그 데이터에 관한 전문가의 소견을 결론으로 하는 사례를 예로서 도시하고 있다. 도시된 사례들은 예시적 것에 불과하고, 본 발명은 단일 분류 도메인의 사례라면 특별한 제한 없이 다양하게 적용될 수 있다.

일반적으로, RDR 지식 베이스는 결정 트리의 형태로 표현될 수 있다. 그 결정 트리의 각 노드는 전문가의 경험 지식을 나타낸다. 전문가의 경험 지식은 조건부와 결론부를 포함할 수 있다. 결정 트리의 각 노드의 부모 및 자식 관계를 통해 지식의 계층 구조가 표현될 수 있다.

도 4는 기존 RDR 지식 베이스(10)에 기초하여 평가된 새로운 사례들 중에서 거짓 결론으로 평가된 사례를 모두 모아 한 곳으로 수집하는 절차를 나타내는 흐름도이다.

도 4를 참조하면, 예시적인 실시예에 따른 상기 새로운 사례를 평가하는 단계(200)는 초기 RDR 지식 베이스(10)가 구축된 이후에 새로이 생겨난 다량의 새로운 사례들(700)을 대상으로 하여, 기존 RDR 지식 베이스(10)에 기초하여 각 사례의 결론이 거짓 결론에 해당하는지 또는 참 결론에 해당하는지를 평가하는 단계(720)이다. 즉, 평가대상인 새로운 사례(데이터+결론)의 데이터를 기존 RDR 지식 베이스(10)의 입력 데이터로 삼아서 그 기존 RDR 지식 베이스(10) 내의 지식에 기초하여 그 입력 데이터로부터 결론을 생성하고, 그 생성된 결론에 의거하여 해당 사례의 실제 결론이 거짓인지 여부를 평가할 수 있다. 각 사례를 기존 RDR 지식 베이스(10)에 기초하여 평가한 결론(710)은 그 해당 사례의 실제 결론(이를 '정답 결론'이라고도 함)과 같거나 다를 수 있다. 본 명세서에서는, 각 사례를 기존 RDR 지식 베이스(10)에 기초하여 평가한 결론이 해당 사례의 실제 결론과 다른 경우를 '거짓 결론'으로 평가된 사례(730)라고 하고, 같은 경우를 '참 결론'으로 평가된 사례(740)라고 한다.

예시적인 실시예에 따른 상기 거짓 결론으로 평가된 사례를 수집하는 단계(300)는 상기 평가된 새로운 사례들 중에서 거짓 결론으로 평가된 사례(730)를 모두 모아 한 곳으로 수집하는 단계이다. 거짓 결론으로 평가된 사례, 즉 평가된 결론이 실제 결론(즉, 정답 결론)과 다른 사례를 파악하고, 해당 사례로부터 새로운 지식을 추출하기 위해 그 해당 사례를 보관한다.

어떤 새로운 사례의 실제 결론이 거짓 결론으로 평가되었다 함은 그렇게 평가하는 데 관여한 RDR 지식 베이스(10)의 기존 지식에 오류가 있을 수 있음을 의미한다. 따라서 그 지식의 오류를 바로 잡기 위해 관련 사례들을 별도로 모을 필요가 있는 것이다. 이와 더불어, 거짓 결론으로 평가되도록 하는 데 관여한 기존 지식도 찾아낼 필요가 있다.

도 5는 거짓 결론으로 평가하는 데 관여한 RDR 지식 베이스(10)의 지식의 경로를 추적하는 방법을 나타내는 흐름도이다.

도 5를 참조하면, 예시적인 실시예에 따른 상기 거짓 결론으로 평가된 지식을 추적하는 단계(400)는 상기 수집한 사례(730)를 거짓 결론으로 평가한 RDR 지식베이스(10) 내의 지식의 경로를 추적하는 단계이다. RDR 지식 베이스(10)는 지식을 계층 구조로 표현하기 때문에, 한 가지 사례의 결론은 여러 계층의 지식에 의해 판단될 수 있다. 도 5에 예시된 입력 사례는 다음과 같이 계층 구조를 가지고 있는 다수의 지식(410)에 의해 평가되고, 해당 계층 구조에서 마지막으로 평가된 지식의 결론이 입력 사례의 결론으로 반환된다.

따라서 어떤 사례를 거짓 결론으로 평가한 지식을 기점으로 하여 그 지식의 모든 상위 지식을 따라가면, 해당 사례를 거짓 결론으로 평가한 지식의 경로를 추적할 수 있다.

도 6은 거짓 결론으로 평가된 사례와 그 사례의 결론을 거짓 결론으로 평가한 지식으로부터 해당 사례가 참 결론을 생성할 수 있도록 하는 새로운 지식을 추출하는 방법을 나타낸 흐름도이다.

도 6을 참조하면, 예시적인 실시예 따른 상기 사례와 지식으로부터 학습 시스템(100)이 새로운 지식을 추출하는 단계(500)는 상기 거짓 결론으로 평가된 사례(730)와 거짓 결론으로 평가한 지식(410)으로부터, 해당 사례가 참 결론을 생성할 수 있도록 하는 새로운 지식을 추출하는 단계이다.

본 발명의 예시적인 실시예들은 다수의 새로운 사례들을 이용해 새로운 지식을 학습한다고 가정한다. 따라서 하나의 거짓 결론으로 평가한 지식은 다수의 거짓 결론으로 평가된 사례와 연결될 수 있다. 예를 들어, 도 5를 참조하면 최소 한 개 이상의 사례가 <IF Proliferation = 1 THEN Exocervical polyp> 지식에 의해 거짓 결론으로 평가될 수 있다. 해당 지식에 연결된 사례의 개수가 충분하다면, 정보 이론 분야에서 사용되는 정보 이득(information gain) 또는 지니 불순도(gini impurity)를 기준으로 사용해 사례로부터 결정 트리 구조의 지식을 추출할 수 있다. 예를 들어, 정보 이득을 기준으로 사용할 경우, 학습 시스템(100)은 다수의 사례가 공통으로 가지는 특성을 파악하고, 해당 특성 중 사례를 가장 잘 대표할 수 있는 특성을 조건으로 선택할 수 있다. 이 때, 해당 특성이 사례를 가장 잘 대표할 수 있다면, 정보 이득이 다른 특성들에 비해 가장 크게 계산될 수 있다.

다만, 지식의 추출 과정에서 다음과 같은 제약 사항을 고려할 수 있다. 첫째로, 상기 추적한 지식의 경로 내 조건과 추출한 지식의 조건이 충돌할 경우 해당 지식은 사용하지 않는다. 즉, 추출된 새로운 지식은 상기 추적된 지식과 모순되지 않을 때, 지식 베이스(10)에 반영할 수 있다. 이는 지식 베이스(10)의 정합성을 보장하기 위해서이다. 도 6을 참조하면, 새롭게 추출된 지식(510)은 추적한 지식의 경로(410)에 존재하는 <Proliferation = 1> 조건과 충돌되는 조건을 가질 수 없다. 즉, 새롭게 추출된 지식은 <Proliferation = 0>, <Proliferation ≠1>와 같이 기존 조건과 충돌되는 조건을 가질 수 없다.

둘째로, 추출된 새로운 지식(510)의 최상위 노드는 항상 "IF TRUE THEN <거짓 결론으로 평가한 지식의 결론>"으로 설정할 수 있다. 도 6을 참조하면, 사례로부터 새롭게 추출된 지식(510)의 최상위 노드는 항상 TRUE를 조건으로, 해당 노드의 결론은 상기 추적한 지식의 경로(410)의 마지막 지식의 결론을 가질 수 있다. 새롭게 추출된 지식(510)은 TRUE를 조건으로 가지기 때문에, 어떤 사례가 입력되어도 항상 참으로 평가되며, 그 지식(510)의 결론은 상기 추적한 지식의 경로(410)의 마지막 지식의 결론과 동일하다. 따라서 상기 새롭게 추출된 지식(510)은 상기 추적한 지식의 경로(410) 내 마지막 지식의 자식 노드로 추가되어도 RDR 지식 베이스(10)의 정합성을 위반하지 않는다. 이와 같이 하는 것은 다음 단계에서 해당 구조를 활용해 추출한 지식(510)을 RDR 지식 베이스(10)에 반영하기 위함이다.

도 7은 추출된 새로운 지식을 기존 RDR 지식 베이스(10)에 반영하는 방법을 나타낸 흐름도이다.

도 7을 참조하면, 예시적인 실시예에 따른 상기 기존 RDR 지식 베이스(10)에 추출한 새로운 지식(510)을 반영하는 단계(600)는 상기 추출한 새로운 지식(510)을 기존 RDR 지식 베이스(10)에 추가하는 단계이다. 상기 추출한 새로운 지식(510)은 결정 트리의 형태로 표현될 수 있고, RDR 지식 베이스(10) 또한 지식을 결정 트리의 구조로 보관할 수 있다. 따라서 추출한 새로운 지식(510)은 정형화된 절차를 통해 RDR 지식 베이스(10)에 추가될 수 있다. 예시적인 실시예에서, 추출한 결정 트리 형태의 새로운 지식(510)을 거짓 결론으로 평가한 지식(410)의 자식으로 추가하는 형태로 새로운 지식(610)을 구성할 수 있다. 그렇게 구성된 새로운 지식(610)을 기존 RDR 지식 베이스(10)에 반영할 수 있다.

실시예에 따른 점진적 학습 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니다. 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 단일 분류 도메인 사례는 조직 병리 검사뿐만 아니라 갑상선 기능 검사, 더 확장하여 대화 시스템에서 사용자 입력에 대한 의도를 판단하는 절차 등이 될 수 있다. 이처럼 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 기계 학습 분야에서 특히 전문가 시스템을 구현하는 데 활용될 수 있다.

10: RDR 지식 베이스 20: 결론 평가부
30: 거짓 결론으로 평가된 사례 수집부
40: 거짓 결론으로 평가한 지식 추적부
50: 새로운 지식 추출부 60: 지식 추가부
100: 전문가 경험 지식의 점진적 학습 시스템

Claims

컴퓨터 프로그램으로 구현되어, 컴퓨터 장치에 의해 수행되는 방법으로서,
미리 구축된 리플-다운 룰(ripple-down rules: RDR) 지식 베이스에 기초하여, 새로운 사례의 결론이 상기 RDR 지식 베이스의 지식과 불일치하는 거짓 결론에 해당하는지 여부를 평가하는 단계;
평가된 새로운 사례들 중에서 거짓 결론으로 평가된 사례를 수집하는 단계;
수집된 사례가 거짓 결론으로 평가되도록 한 상기 RDR 지식 베이스의 소정의 지식을 추적하는 단계;
거짓 결론으로 평가되어 수집된 사례와 그 사례를 거짓 결론으로 평가되도록 한 상기 소정의 지식의 집합으로부터 새로운 지식을 추출하는 단계; 및
추출된 새로운 지식을 상기 RDR 지식 베이스에 반영하는 단계를 포함하고,
상기 추출하는 단계에서, 하나의 거짓 결론으로 평가되도록 한 지식이 다수의 거짓 결론으로 평가된 사례들과 연결된 경우, 정보 이득(information gain) 또는 지니 불순도(gini impurity)를 기준으로 사용해 상기 평가된 사례들로부터 결정 트리 구조의 새로운 지식을 추출하는 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 방법.
제1항에 있어서, 상기 새로운 사례는 단일 분류 도메인의 전문가 경험 지식에 관련된 사례인 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 방법.
제1항에 있어서, 상기 평가하는 단계는, 상기 새로운 사례를 구성하는 데이터를 입력 데이터로 삼아 상기 RDR 지식 베이스에 기초한 판단을 하여 결론을 생성하는 단계; 및 생성된 결론이 상기 새로운 사례를 구성하는 실제 결론과 비교하여 상호 일치 여부에 따라 상기 거짓 결론에 해당하는지 여부를 평가하는 단계를 포함하는 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 방법.
제1항에 있어서, 상기 지식을 추적하는 단계는, 결정 트리 구조로 표현된 지식들을 포함하는 상기 RDR 지식 베이스 내에서 상기 소정의 지식의 계층 구조 경로를 추적하는 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 방법.
제1항에 있어서, 상기 추출된 새로운 지식은 상기 추적된 소정의 지식과 충돌하지 않아 상기 지식 베이스의 정합성을 보장할 수 있는 새로운 지식인 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 방법.
제1항에 있어서, 상기 추출하는 단계에서 추출되는 새로운 지식의 최상위 노드는 상기 반영하는 단계에서 활용할 수 있도록 "IF TRUE THEN <거짓 결론으로 평가한 지식의 결론>"의 구조로 고정되는 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 방법.
삭제
제1항에 있어서, 상기 반영하는 단계에서, 결정 트리 구조의 상기 추출된 새로운 지식은 추적된 상기 소정의 지식의 자식으로 추가되어 상기 RDR 지식 베이스에 반영되는 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 방법.
제1항 내지 제6항 및 제8항 중 어느 하나의 항에 따른 전문가 경험 지식의 점진적 학습 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 가독형(computer-readable) 기록 매체.
결정 트리 구조로 표현된 지식들을 포함하는 RDR 지식 베이스;
상기 RDR 지식 베이스에 기초하여 새로운 사례의 결론이 상기 RDR 지식 베이스의 지식과 불일치하는 거짓 결론에 해당하는지 여부를 평가하는 결론 평가부;
상기 결론 평가부에 의해 평가된 새로운 사례들 중에서 거짓 결론으로 평가된 사례를 수집하는 거짓 결론 사례 수집부;
상기 거짓 결론 사례 수집부에 의해 거짓 결론으로 평가되어 수집된 사례가 거짓 결론으로 평가되도록 한 상기 RDR 지식 베이스 내의 소정의 지식을 추적하는 거짓 결론 지식 추적부;
거짓 결론으로 평가되어 수집된 사례와 그 사례를 거짓 결론으로 평가되도록 한 상기 소정의 지식의 집합으로부터 새로운 지식을 추출하되, 하나의 거짓 결론으로 평가되도록 한 지식이 다수의 거짓 결론으로 평가된 사례들과 연결된 경우, 정보 이득(information gain) 또는 지니 불순도(gini impurity)를 기준으로 사용해 상기 평가된 사례들로부터 결정 트리 구조의 새로운 지식을 추출하도록 구성된 새로운 지식 추출부; 및
상기 새로운 지식 추출부가 추출한 새로운 지식을 상기 RDR 지식 베이스에 반영하는 지식 추가부를 포함하는 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 시스템.
제10항에 있어서, 상기 새로운 사례는 단일 분류 도메인의 전문가 경험 지식에 관련된 사례인 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 시스템.
제10항에 있어서, 상기 거짓 결론 지식 추적부는 상기 RDR 지식 베이스 내에서 상기 소정의 지식의 계층 구조 경로를 추적하는 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 시스템.
제10항에 있어서, 상기 새로운 지식 추출부가 추출한 새로운 지식은 상기 거짓 결론 지식 추적부에 의해 추적된 상기 소정의 지식과 충돌하지 않아 상기 지식 베이스의 정합성을 보장할 수 있는 새로운 지식인 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 시스템.
제10항에 있어서, 상기 새로운 지식 추출부가 추출한 새로운 지식의 최상위 노드는 상기 지식 베이스에 반열 시 활용될 수 있도록 "IF TRUE THEN <거짓 결론으로 평가한 지식의 결론>"의 구조로 고정되는 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 시스템.
제10항에 있어서, 상기 지식 추가부는 상기 새로운 지식 추출부에 의해 추출된 새로운 지식을 상기 거짓 결론 지식 추적부에 의해 추적된 상기 소정의 지식의 자식으로 추가하여 상기 RDR 지식 베이스에 반영하는 것을 특징으로 하는 전문가 경험 지식의 점진적 학습 시스템.