KR100503950B1 - 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성시스템 및 방법 - Google Patents

Abstract

본 발명은 메타 검색 엔진 기법을 이용하여 자동 분류 사전을 구성하는 시스템에 있어서, 사용자로부터 분류맵을 받아들이는 분류맵 처리기; 현재 등록된 인터넷 검색엔진에 대한 리스트를 관리하며 각 검색엔진의 AND 연산 방식에 대한 환경을 저장하고 관리하는 검색엔진 등록처리기; 분류맵처리기로부터 분류자의 분류맵과 선택한 인터넷 검색엔진에 대해서 검색엔진 등록처리기로부터 그 검색엔진의 AND 연산방법을 문의해 각 검색엔진에 질의를 수행하고 각 Agent의 상태를 감시하는 에이전트 매니저; 및 임시 디렉토리에 저장되어 있는 페이지를 분석하여 각 분류어마다 색인을 구성하는 사전구성기;를 포함하는 것을 특징으로 하는 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템에 관한 것이다.

Description

인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템 및 방법{System of making customizing classification dictionary using internet search engine and method thereof}

본 발명은 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템 및 방법에 관한 것으로, 보다 상세하게는 기존의 메타 검색엔진 기법을 이용하여 기업내에서 사용할 자동 분류 사전을 구성하는 시스템 및 방법에 관한 것이다.

종래의 자동 분류방식은 Hierarchical Clustering 방식이나 혹은 수학적인 방식에 의해서 자동분류를 수행해 왔다. 근래의 Vivisimo 같은 시스템은 인터넷 검색엔진을 이용하여 자동 분류하는 방식을 제공하고 있으나 현재 이 어플리케이션은 인터넷 문서를 분류하는데 사용하고 있을 뿐이며 기존 방식보다 정확성은 높으나 기계에 의해 동적으로 이루어지는 방식이라 좀 더 정확한 분류에 적용하기는 어려웠다. 이러한 방식의 정확도는 80% 이상이 되기에는 어려우며 일반적인 도메인에 일률적으로 적용하기에도 어려웠다.

또한, 이러한 방식으로 수행된 결과는 사용자가 만족하기 힘든 결과였으며 기업내 다양한 환경에서 사용하기에는 기술적인 성취도가 낮았다.

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 디렉토리 분류를 디자인만 해주면 자동으로 분류사전을 생성해 주며 이를 바탕으로 들어오는 문서를 분석하여 단어를 추출하고 이를 각 사전에 있는 적중되는 단어에 점수를 주는 방식으로 분류하여 보다 효율적이고 간단한 분류를 수행할 수 있는 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템 및 방법을 제공하는데 그 목적이 있다.

이렇게 분류된 자료는 기존의 KMS(Knowledge Management System)에서 사용하는 Knowledge Map이나 디렉토리를 효과적으로 대체할 것으로 기대되며 이를 통해서 분류가 요구되는 다양한 분야에 적용될 것이다.

본 발명은 상기 목적을 달성하기 위하여 다음과 같은 구성을 가진다.

본 발명의 일 태양에 따르면, 본 발명의 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템은 메타 검색 엔진 기법을 이용하여 자동 분류 사전을 구성하는 시스템에 있어서, 분류자에 의해 디자인된 분류맵과 분류 대상이 되는 분류어를 입력받고, 상기 분류맵을 현재 등록된 인터넷 검색엔진에 등록하는 분류맵 처리기; 상기 인터넷 검색엔진에 대한 리스트를 관리하며 각 검색엔진의 AND 연산 방식에 대한 환경을 저장 관리하는 검색엔진 등록처리기; 상기 검색엔진 등록처리기로부터 그 검색엔진의 AND 연산 방식을 문의하여 상기 분류맵 처리기를 통해 입력된 분류어로 각 검색엔진에 질의를 수행한 후에 각 검색엔진으로부터 추출된 페이지를 임시저장소에 상기 분류맵과 동일한 디렉토리를 생성하여 저장하는 에이전트 매니저; 및 상기 에이전트 매니저를 통해 생성된 디렉토리를 이용해 방문 디렉토리 리스트를 생성하고, 각 디렉토리를 방문하여 가져온 페이지를 읽어들여 형태소를 분석하여 단어를 추출하고, 상기 추출한 단어마다 해당 디렉토리 명의 색인에 추가하여 상기 단어 정보의 위치를 포함하는 색인 사전을 구성하는 사전구성기;를 포함하는 것을 특징으로 한다.

본 발명의 다른 태양에 따르면, 본 발명의 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 방법은 메타 검색 엔진 기법을 이용하여 자동 분류 사전을 구성하는 방법에 있어서, 분류자에 의해 분류맵이 디자인되어 상기 분류맵을 현재 등록된 인터넷 검색엔진에 등록하고, 상기 분류자로부터 분류 대상이 되는 분류어를 입력받는 단계; 상기 인터넷 검색엔진의 AND 연산 방식을 문의하여 상기 단계에서 입력된 분류어로 각 검색엔진에 질의를 수행하는 단계; 상기 단계에서 각 검색엔진으로부터의 질의 결과로 추출된 페이지를 임시저장소에 상기 분류맵과 동일한 디렉토리를 생성하여 저장하는 단계; 상기 단계에서 생성된 디렉토리를 이용해 방문 디렉토리 리스트를 생성하고, 각 디렉토리를 방문하여 가져온 페이지를 읽어들여 형태소를 분석하여 단어를 추출하는 단계; 상기 단계에서 추출된 단어마다 해당 디렉토리 명의 색인에 추가하여 상기 단어 정보의 위치를 포함하는 색인 사전을 구성하는 단계; 및 상기 단계에서 생성된 색인 사전을 모드에 따라 분류기로 전송하거나 사용자이게 보여주는 단계를 포함하는 것을 특징으로 한다.

이하, 상기한 본 발명을 실시하기 위한 바람직한 실시예에 대해 도면을 참조하여 구체적으로 살펴보기로 한다.

도 1은 본 발명을 수행하는 커스터마이징 분류 사전 구성 시스템의 구조를 나타내는 블럭도이다.

시스템의 각 모듈의 기능은 다음과 같다.

분류맵 처리기(110)는 사용자로부터 분류맵을 받아들이는 모듈이다. 이와 함께 인터넷 검색엔진을 분류자에게 제시하여 그 결과를 가지고 있는 기능을 수행하며 새로운 인터넷 검색엔진을 등록할 수 있게 한다.

검색엔진 등록처리기(120)는 현재 등록된 인터넷 검색엔진에 대한 리스트를 관리하며 각 검색엔진의 AND 연산 방식에 대한 환경을 저장하고 관리하는 모듈이다.

에이전트 매니저(130)는 분류맵처리기로부터 분류자의 분류맵과 선택한 인터넷 검색엔진에 대해서 검색엔진 등록처리기로부터 그 검색엔진의 AND 연산방법을 문의해 각 검색엔진에 질의를 수행하고 각 Agent의 상태를 감시한다. Agent가 가지고 온 결과는 지정된 장소에 저장한다. 이때 Agent는 시스템에서 설정한 FETCH 해야 할 검색결과를 바탕으로 결과를 가져오게 되며 또한 가져온 페이지 중에 분류어가 하이퍼링킹을 의미하는 href에 있을 경우 href에 있는 URL을 방문하여 페이지를 가져온다. 즉 인터넷 검색엔진에 "뉴스 AND 정치"라는 질의가 들어가 있을 경우 가져온 페이지 중 "정치"가 href 사이에 있는 경우 Agent는 href가 가르키는 URL을 방문하여 그 페이지도 가져온다. 임시저장소의 구조는 사용자가 입력한 분류맵과 같다.

이것은 상기의 예에서 정치라는 단어에 하이퍼링킹된 페이지에 정치와 관련된 단어가 많을 확률이 높기 때문에 이 경우는 예외적으로 한번 더 정치라는 단어가 가리키는 하이퍼링킹에 관련된 URL을 방문하여 해당하는 페이지를 가져오는 것이다.

사전구성기(140)는 임시 디렉토리에 저장되어 있는 페이지를 분석하여 각 분류어마다 색인을 구성한다. 즉, 분류가 "정치, 경제, 사회"로 구성되어 있을 경우 정치 임시저장소 '정치디렉토리'에 저장된 페이지를 분석하여 별도의 색인을 구성한다. 색인이 구성된 이후 특정 횟수 이상 나온 단어에 대해서는 별도의 각 사전을 구성한다. 구성된 결과는 모드에 따라서 사전을 이용하는 분류기에 입력으로 사용되거나 분류자에게 제시한다.

도 2는 본 발명에 따른 커스터마이징 분류 사전 구성의 일실시예를 나타내는 처리흐름도이다.

분류맵 처리기는 사용자에게 분류하고 싶은 주제어를 받아들인다(s202). 주제어는 예를 들어 뉴스와 같은 것이라 할 수 있다.

사전 구성 시스템이 검색엔진 등록처리기에 등록된 검색엔진에 받아들인 주제어를 질의하면(s204), 검색엔진 등록처리기는 각 검색엔진에서 10개의 검색결과를 가져온다. 이 중에서 중복되는 URL은 삭제하여 10개를 만든다. 즉, 검색엔진 A로부터 가져온 URL이 검색엔진 B로부터 가져온 결과에도 있을 경우 검색엔진 B는 다른 URL을 취한다. 현재 등록된 검색엔진이 5개이면 검색결과는 50개가 된다.

이후 검색엔진 등록 처리기가 가져온 결과에서 URL을 방문하여 HTML문서를 가져오면, 시스템은 각 검색엔진에서 가져온 URL별로 단어 리스트를 만든다(s206). 즉, 위의 예에서 5개의 검색엔진이 등록이 되어 있으면 생성되는 단어 리스트 셋은 다섯개이다. 이 다섯개에는 검색결과로 리턴한 10개의 URL에서 가져온 단어들을 형태소 분석하여 명사, 복합명사로 단어리스트를 만든다.

시스템은 각 단어셋에서 공통적으로 들어있는 단어를 선택한다(s208). 주제어를 뉴스라 하였다면 가령 정치, 경제등과 같은 단어가 될 것이다.

사용자는 시스템이 제시한 분류체계 중에서 잘못된 선택에 대해서는 지우고 첨가한 부분의 단어를 넣는다. 이 단계에서 분류자에 의한 분류맵 디자인이 완료된다(s210). 여기서 분류자에 의한 분류맵 디자인의 일례를 나타내는 예시도인 도 3과 같은 모습이 된다.

시스템은 사용자에게 분류사전 구성을 위한 인터넷 검색엔진 리스트를 받아들이고, 검색엔진 등록처리기로부터 각 검색엔진의 AND 연산 형식을 얻는다. 이후 각 검색엔진을 위한 질의를 구성한다(s212). 즉, 사용자가 뉴스라는 도메인의 정치, 경제, 사회라는 분류를 했을 경우에 불리언 모델을 지원하는 검색엔진 A의 질의어 리스트는 뉴스 AND 정치, 뉴스 AND 경제, 뉴스 AND 사회 등과 같은 형식이 된다.

리스트가 구성되었으면 각 검색엔진별로 차례로 질의를 수행하고 검색된 결과를 가져오고, 가져온 페이지를 임시저장소에 분류맵과 같은 디렉토리를 만들고 저장한다. 즉, 임시저장소에는 사용자가 디자인한 분류맵과 동일한 디렉토리가 생성된다(s214). 이 때 디렉토리 안에 파일은 검색엔진으로부터 가져온 HTML 페이지가 저장된다.

이후 시스템은 방문해야 할 디렉토리 리스트를 구성한다(s216). 이때 방문해야 할 디렉토리는 임시저장소에 만들어져 있는 디렉토리이다.

시스템은 방문해야 할 디렉토리가 있는지를 판단하여(s218) 방문해야 할 디렉토리가 남아있으면 그 디렉토리안에 있는 HTML 페이지가 있는지 판단한다(s220).

이제 방문해야 할 URL 리스트를 구성하기 위해서 임시저장소에 있는 디렉토리 안에 HTML 페이지를 읽어들인다. 이 페이지는 상기한 바대로 각 검색엔진의 검색결과를 보여주는 HTML 페이지이다. 이로부터 시스템은 단어의 셋을 얻을 URL 리스트를 얻어야 한다. 즉 현재 디렉토리 안에 저장되어 있는 HTML 페이지를 파싱하여 그 검색결과에 있는 URL 리스트를 얻는 작업을 수행해야 한다. 따라서 시스템은 검색결과를 나타내는 HTML 페이지 중에 href 에 해당되는 부분을 찾는다(s222).

이러한 결과를 가지고 최종적으로 시스템은 자신이 방문할 URL 리스트를 얻는다. 본 발명에서는 이를 방문할 URL 디렉토리를 구성한다고 칭한다(s224). 이때 디렉토리는 위의 구성한 분류어를 기반으로 만들어진 디렉토리의 하위에 만들어야 한다. 이는 위의 검색결과를 나타내는 HTML 페이지에서 파싱을 하여 얻는 URL 에서 가져온 페이지를 저장할 공간을 의미한다. 이때 URL 디렉토리는 URL 이름으로 만든다.

방문할 디렉토리를 구성한 후 시스템은 각 디렉토리를 방문하여 그 URL 디렉토리 이름(방문해야 할 URL)에 해당하는 URL을 방문하여 그 URL로부터 HTML 페이지를 가져와서 URL 디렉토리에 저장한다(s226).

URL 디렉토리를 방문을 하며 해당하는 URL 디렉토리를 방문하여 각 URL 디렉토리에 저장되어 있는 HTML 페이지를 파싱을 하여 단어를 추출하게 된다. 현재 URL 디렉토리의 상위 디렉토리는 분류어 디렉토리이므로 그 디렉토리에 현재 가져온 HTML 페이지에서 추출한 단어를 기반으로 사전을 만들게 된다. 구체적인 사전을 만드는 작업은 다음과 같다.

URL 디렉토리에 저장된 HTML 페이지를 가져와서 HTML Tag를 제거한 후 형태소 분석을 수행한다(s228). 이 형태소 분석을 통해서 나온 명사와 대명사를 수집하여 분류어 디렉토리에 파일을 하나 만들어 단어 사전을 구성한다(s230). 이때 단어 사전에 그 단어가 존재할 경우 그 단어에 해당하는 스코어만 증가시킨다. 또한, 제목에서 추출된 단어의 스코어와 본문에서 추출된 단어의 스코어를 다르게 하는 방식으로 각 단어가 추출된 위치에 따라서 다른 스코어를 둘 수도 있다.

이후, 방문하여야 할 URL 디렉토리가 남아있는지 확인하여(s232), 남아있으면 상기의 각 URL 디렉토리를 방문하면서 HTML Tag를 제거하여 형태소 분석하는 과정을 다시 수행하고, 남아있지 않으면 각 단어를 스코어에 따라서 정렬을 수행하고 사용자에게 버려야할 임계치를 요구한다(s234). 즉, 사용자가 임계치를 5라고 한다면 스코어가 5미만인 단어는 버리고 시스템은 최종적으로 사전을 구성하게 되는 것이다(s236).

기존의 시스템을 이용한 EP(enterprise Portal)이나 중앙집중적 KMS의 경우 기존의 시스템으로부터 해당 문서를 수집하여 이를 자동 분류해야할 필요성이 높다. 기존의 경우 이를 효과적으로 대응할 수 없어서 관리자가 수작업으로 이를 분류하여 디렉토리 서비스 형태로 제공하고나 기간 시스템에서 제공하는 필드만으로 분류를 수행하였다. 하지만 본 발명을 적용할 경우 디렉토리 분류를 디자인만 해주면 자동으로 분류 사전을 생성해 주며 이를 바탕으로 들어오는 문서를 분석하여 단어를 추출하고 이를 각 사전에 있는 적중하는 단어에 가중치를 주는 방식으로 분류한다면 보다 효율적이고 간단한 분류를 수행할 수 있을 것이다.

사용방식을 보면 분류자가 자신이 자동분류를 원하는 분야의 개념을 디지인하고 검색을 수행하여 그 결과를 시스템에 입력하고 다시 시스템에서 제공하는 검색엔진을 선택한다면 분류자는 자신이 원하는 사전을 얻게된다. 이렇게 얻어진 사전은 검색엔진이 수집해 오는 문서를 자동 분류하는 데 사용되어 진다

이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범주에서 벗어나지 않는 한도내에서 여러가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 한다.

이상에서 상세히 설명한 바와 같이, 본 발명에 따른 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템 및 방법에 따르면, 디렉토리 분류를 디자인만 해주면 자동으로 분류사전을 생성해 주며 이를 바탕으로 들어오는 문서를 분석하여 단어를 추출하고 이를 각 사전에 있는 적중되는 단어에 점수를 주는 방식으로 분류를 하여 보다 효율적이고 간단한 분류를 수행할 수 있다. 또한, 이렇게 분류된 자료는 기존의 KMS(Knowledge Management System)에서 사용하는 Knowledge Map이나 디렉토리를 효과적으로 대체할 것으로 기대되며 이를 통해서 분류가 요구되는 다양한 분야에 적용될 것이다.

도 1은 본 발명을 수행하는 커스터마이징 분류 사전 구성 시스템의 구조를 나타내는 블럭도.

도 2는 본 발명에 따른 커스터마이징 분류 사전 구성의 일실시예를 나타내는 처리흐름도.

도 3은 분류자에 의한 분류맵 디자인의 일례를 나타내는 예시도.

Claims (5)

1. 메타 검색 엔진 기법을 이용하여 자동 분류 사전을 구성하는 시스템에 있어서,

   분류자에 의해 디자인된 분류맵과 분류 대상이 되는 분류어를 입력받고, 상기 분류맵을 현재 등록된 인터넷 검색엔진에 등록하는 분류맵 처리기;

   상기 인터넷 검색엔진에 대한 리스트를 관리하며 각 검색엔진의 AND 연산 방식에 대한 환경을 저장 관리하는 검색엔진 등록처리기;

   상기 검색엔진 등록처리기로부터 그 검색엔진의 AND 연산 방식을 문의하여 상기 분류맵 처리기를 통해 입력된 분류어로 각 검색엔진에 질의를 수행한 후에 각 검색엔진으로부터 추출된 페이지를 임시저장소에 상기 분류맵과 동일한 디렉토리를 생성하여 저장하는 에이전트 매니저; 및

   상기 에이전트 매니저를 통해 생성된 디렉토리를 이용해 방문 디렉토리 리스트를 생성하고, 각 디렉토리를 방문하여 가져온 페이지를 읽어들여 형태소를 분석하여 단어를 추출하고, 상기 추출한 단어마다 해당 디렉토리 명의 색인에 추가하여 상기 단어 정보의 위치를 포함하는 색인 사전을 구성하는 사전구성기;를 포함하는 것을 특징으로 하는 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템.
2. 제 1 항에 있어서,

   상기 분류맵 처리기는 인터넷 검색엔진을 분류자에게 제시하여 그 결과를 가지고 있는 기능을 수행하며 새로운 인터넷 검색엔진을 등록할 수 있게 하는 것을 특징으로 하는 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템.
3. 제 1 항에 있어서,

   상기 에이전트 매니저는 에이전트가 가지고 온 결과는 지정된 임시저장소에 저장하고 상기 에이전트는 시스템에서 설정한 패치해야 할 검색결과를 바탕으로 결과를 가져오게 되며, 상기 가져온 페이지 중에 질의어가 하이퍼링킹을 의미하는 href에 있을 경우 href에 있는 URL을 방문하여 페이지를 가져오는 것을 특징으로 하는 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템.
4. 제 1 항에 있어서,

   상기 사전 구성기는 색인이 구성된 이후 특정 횟수 이상 나온 단어에 대해서는 별도의 각 사전을 구성하고 구성된 결과는 모드에 따라서 사전을 이용하는 분류기에 입력으로 사용되거나 분류자에게 제시하는 것을 특징으로 하는 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 시스템.
5. 메타 검색 엔진 기법을 이용하여 자동 분류 사전을 구성하는 방법에 있어서,

   분류자에 의해 분류맵이 디자인되어 상기 분류맵을 현재 등록된 인터넷 검색엔진에 등록하고, 상기 분류자로부터 분류 대상이 되는 분류어를 입력받는 단계;

   상기 인터넷 검색엔진의 AND 연산 방식을 문의하여 상기 단계에서 입력된 분류어로 각 검색엔진에 질의를 수행하는 단계;

   상기 단계에서 각 검색엔진으로부터의 질의 결과로 추출된 페이지를 임시저장소에 상기 분류맵과 동일한 디렉토리를 생성하여 저장하는 단계;

   상기 단계에서 생성된 디렉토리를 이용해 방문 디렉토리 리스트를 생성하고, 각 디렉토리를 방문하여 가져온 페이지를 읽어들여 형태소를 분석하여 단어를 추출하는 단계;

   상기 단계에서 추출된 단어마다 해당 디렉토리 명의 색인에 추가하여 상기 단어 정보의 위치를 포함하는 색인 사전을 구성하는 단계; 및

   상기 단계에서 생성된 색인 사전을 모드에 따라 분류기로 전송하거나 사용자이게 보여주는 단계

   를 포함하는 것을 특징으로 하는 인터넷 검색엔진을 이용한 커스터마이징 분류 사전 구성 방법.