KR100393176B1

KR100393176B1 - 문서 자동 요약에 의한 인터넷 정보 검색 시스템 및 방법

Info

Publication number: KR100393176B1
Application number: KR10-2000-0028988A
Authority: KR
Inventors: 전상훈
Original assignee: 주식회사 엔아이비소프트
Priority date: 2000-05-29
Filing date: 2000-05-29
Publication date: 2003-07-31
Also published as: KR20000050225A

Abstract

본 발명은 인터넷을 통한 정보 검색에 문서 자동 요약 개념을 부가하여 원하는 정보를 검색하는 문서 자동 요약에 의한 인터넷 정보 검색 시스템 및 방법에 관한 것이다. 문서 자동 요약에 의한 인터넷 정보 검색 시스템은 소정의 색인어, 색인어에 의한 소정의 문서 정보를 저장하는 검색 정보 데이터 베이스 및 상기 문서 정보로부터 요약된 주제어 및 주제문을 저장하는 문서 요약 데이터 베이스; 및 상기 검색 정보 데이터 베이스의 문서 정보로부터 형태소 분석 및 으뜸꼴 인식을 통하여 주제어를 선별하고, 주제어의 빈도, 문장의 길이, 문장에서의 단어 수, 문단 길이, 문단 내에서의 문장 수와의 상관 관계를 고려하여 계산된 점수에 의해 주제문을 선별하여 상기 문서 요약 데이터 베이스에 저장하는 문서 요약 수단을 포함하며, 사용자 컴퓨터로부터 소정의 질의 단어를 입력받아, 상기 데이터 베이스로부터의 색인어와 비교하여 상기 소정의 질의 단어에 대한 문서 정보 및 그 문서의 요약된 주제어 및 주제문을 검색하여 상기 사용자 컴퓨터로 전송하는 것을 특징으로 한다. 본 발명에 따르면, 많은 사용자가 날로 증가하는 웹 문서를 검색하는데 있어서 웹 문서의 전체적인 주제를 확인하는 것이 가능해지며, 해당 웹 문서에 들어가지 않아도 되므로 검색에 걸리는 시간을 단축시킬 수 있다.

Description

문서 자동 요약에 의한 인터넷 정보 검색 시스템 및 방법{Internet information searching system and method by document auto summation}

본 발명은 정보 검색 시스템 및 방법에 관한 것으로, 보다 상세하게는 인터넷을 통한 정보 검색에 문서 자동 요약 개념을 부가하여 원하는 정보를 검색하는 문서 자동 요약에 의한 인터넷 정보 검색 시스템 및 방법에 관한 것이다.

종래의 인터넷을 통한 정보 검색 모델로는 일반적으로 야후(www.yahoo.com),범주 구분을 통한 디렉토리 제공 형태 및 홈페이지 검색 형태, 알타비스타(www.altavista.com), 라이코스, 엠파스 등과 같은 웹 문서 검색 형태 등이 알려져 있다. 이러한 인터넷 정보 검색 모델에서는, 사용자가 정보를 검색하면 해당 문서의 범주를 제시하거나(야후의 경우), 문서의 일부분을 추출하거나 혹은 기술문(Description)에 지정된 부분을 제시하거나(알타비스타의 경우), 해당 검색어가 포함되어 있는 문장을 조합하여 제시하거나(엠파스의 경우), 해당 문서의 텍스트만을 추출하여 제시하는 미리 보기 기능을 제시하는(엠파스의 경우) 형태를 취한다.

도 1에 종래의 인터넷 정보 검색 결과 화면이 도시되어 있다. 종래의 인터넷 정보 검색 결과 화면은 문서 제목을 시작으로 문서에 대한 간단한 요약문, URL, 문서 크기 및 날짜 등을 보여준다. 이때의 요약문은 문서 시작 부분에서 일정한 분량의 내용이나 기술문을 가지고 처리된다. 그런데 이러한 요약문 처리 기법은 문서의 내용을 요약한 것이 아니기 때문에 문서의 주제나 성격을 파악하기 어렵다.

이러한 종래 모델의 경우, 사용자가 원하는 정보를 정확하게 찾기 어렵고, 검색 결과가 전체적인 문서 내용을 기반으로 이루어지는 것이 아니어서 검색된 문서가 원하는 정보를 담고 있는 문서인지 확신할 수 없어 필요한 정보를 쉽고 정확하게 찾고 싶다는 사용자의 욕구를 충족시키기 어려운 문제점이 발생한다. 또한 검색에 있어서 핵심이라고 할 수 있는 시간과 노력의 절약이라는 측면에서 사용자의 불만을 야기한다.

예를 들면, 일반적인 정보 검색 사이트의 경우, 대부분 핵심 단어로 웹 문서를 검색하는 것으로서, 사용자가 간단한 검색어 입력만으로 원하는 정보를 검색할 수 있지만, 검색 결과의 양이 지나치게 많고 실제로 검색 결과에서 사용자가 필요로 하는 문서를 다시 한 번 일일이 확인을 해야하기 때문에 많은 시간을 검색 결과 확인에 투자해야 한다는 단점이 있다. 검색어가 포함된 문장을 제시하는 경우 사용자가 웹 문서의 내용을 어느 정도 파악할 수 있다는 장점이 있지만, 검색어만 포함한 문장을 부분적으로 조합하여 요약문으로 제시하기 때문에 내용에 일관성이 없다는 점, 문장 조합만으로는 문서의 전체적인 내용을 이해할 수 없다는 점, 문장에 검색어가 포함되어 있더라도 문서의 전체적인 내용이 사용자가 요구하는 내용이 아닐 수 있다는 점등의 문제점이 발생한다. 또한 미리 보기의 경우, 사용자는 이미지가 많은 웹 문서를 열지 않고, 텍스트만으로 된 문서를 통해 해당 웹 문서의 내용을 확인할 수 있다는 장점이 있지만, 검색 결과와 함께 제시되는 것이 아니기 때문에 해당 웹 문서를 직접 열어보는 것과 같은 시간과 노력이 든다는 문제점이 발생한다.

본 발명이 이루고자 하는 기술적인 과제는 인터넷 정보 검색에 문서 자동 요약 개념을 부가하여 주제어와 주제 문장을 요약하여 제시함으로써 보다 정확하게 검색된 문서의 내용을 파악하고, 검색 시간을 단축할 수 있는 문서 자동 요약에 의한 인터넷 정보 검색 시스템을 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적인 과제는 인터넷 정보 검색에 문서 자동 요약 개념을 부가하여 주제어와 주제 문장을 요약하여 제시함으로써 보다 정확하게 검색된 문서의 내용을 파악하고, 검색 시간을 단축할 수 있는 문서 자동 요약에 의한 인터넷 정보 검색 방법을 제공하는데 있다.

도 1은 종래의 인터넷 정보 검색 결과 화면의 실시 예를 보이는 도면이다.

도 2는 본 발명에 따른 문서 자동 요약에 의한 인터넷 정보 검색 시스템의 구성을 보이는 블록도 이다.

도 3은 도 2의 시스템 중 정보 검색 수단의 상세도 이다.

도 4는 문서 자동 요약에 의한 인터넷 정보 검색 시에 사용자에 의해 설정되는 주제어 및 주제문 비율 화면의 실시 예를 보인 도면이다.

도 5a 및 5b는 문서 자동 요약에 의한 인터넷 정보 검색 결과 화면의 실시 예를 보이는 도면이다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 문서 자동 요약에 의한 인터넷 정보 검색 시스템은 소정의 색인어, 색인어에 의한 소정의 문서 정보를 저장하는 검색 정보 데이터 베이스 및 상기 문서 정보로부터 요약된 주제어 및 주제문을 저장하는 문서 요약 데이터 베이스; 및 상기 검색 정보 데이터 베이스의 문서 정보로부터 형태소 분석 및 으뜸꼴 인식을 통하여 주제어를 선별하고, 주제어의 빈도, 문장의 길이, 문장에서의 단어 수, 문단 길이, 문단 내에서의 문장 수와의 상관 관계를 고려하여 계산된 점수에 의해 주제문을 선별하여 상기 문서 요약 데이터 베이스에 저장하는 문서 요약 수단을 포함하며, 사용자 컴퓨터로부터 소정의 질의 단어를 입력받아, 상기 데이터 베이스로부터의 색인어와 비교하여 상기 소정의 질의 단어에 대한 문서 정보 및 그 문서의 요약된 주제어 및 주제문을 검색하여 상기 사용자 컴퓨터로 전송하는 것을 특징으로 한다.

본 발명이 이루고자 하는 다른 기술적인 과제를 해결하기 위한 문서 자동 요약에 의한 인터넷 정보 검색 방법은 (a) 소정의 질의 단어에 대한 정보 검색을 허용하는 단계; (b) 상기 질의 단어에 해당하는 문서 정보와, 상기 문서 정보로부터 형태소 분석 및 으뜸꼴 인식을 통하여 선별된 주제어 및 주제어의 빈도, 문장의 길이, 문장에서의 단어 수, 문단 길이, 문단 내에서의 문장 수와 상관 관계를 고려하여 계산된 점수에 의해 선별된 주제 문장을 데이터 베이스로부터 검색하는 단계; 및 (c) 검색된 문서 정보와 요약된 주제어 및 주제문을 소정의 형식에 의해 사용자 컴퓨터로 전송하는 단계를 포함하는 것이 바람직하다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 2에 도시된 시스템은 인터넷(20), 인터넷(20)을 통하여 정보 검색 관련 자료를 제공하는 서버(21), 인터넷(20)을 통하여 서버(21)에 접속하여 원하는 검색 정보에 대한 질의 단어를 입력하고 서버(21)에서 제공하는 정보 검색 결과를 확인하는 사용자 컴퓨터(22), 미리 저장되어 있는 소정의 문서 정보 및 자동 요약된 주제어 및 주제문으로부터 사용자 컴퓨터(22)에 의해 입력된 질의 단어에 대한 문서 정보 및 자동 요약된 주제어 및 주제문을 찾아 서버(21)로 출력하는 정보 검색 수단(23)으로 구성된다.

도 3은 도 2의 시스템 중 정보 검색 수단의 상세도 이다.

도 3의 정보 검색 수단(23)은 다양한 형태의 검색 정보가 저장되어 있는 데이터 베이스(23-1), 서버(22)로부터 입력되는 질의 단어에 대해 데이터 베이스(23-1) 검색을 수행하는 검색 처리수단(23-2), 검색 처리수단(23-2)의 검색 결과를 조합하여 서버(22)로 전송하는 검색 결과 처리기(23-3)로 구성된다. 본 발명에서 데이터 베이스(23-1)는 검색어 목록 정보, 문서의 일반 정보가 저장되어 있는 검색정보 데이터 베이스(23-11), 문서의 자동 요약된 주제어 및 주제문 정보가 저장되어 있는 요약 정보 데이터 베이스(23-12)로 구성된다.

도 5는 문서 자동 요약에 의한 인터넷 정보 검색 결과 화면의 실시 예를 보이는 도면이다.

이어서, 도 2∼도 5를 참조하여 본 발명을 상세히 설명한다.

데이터 베이스(23-1)는 통신망(인터넷 또는 인트라넷)을 통해 검색된 여러 문서 정보(워드, 전자메일, html, txt 등)를 모아둔 장소로써 본 발명의 검색을 수행하기 전에 이미 생성되어 있다. 이 중 검색 정보 데이터 베이스(23-11)에는 검색어 목록 및 검색어 목록에 대한 일반적인 문서 정보(URL, 문서 크기 및 날짜 등)가 저장되어 있다. 요약 정보 데이터 베이스(23-12)에는 일반적인 문서에 대한 자동 요약된 주제어 및 주제문 정보가 저장되어 있다.

요약 정보 데이터 베이스(23-12)에 저장되는 자동 요약 정보는 문서 자동 요약 시스템(미도시)에 의해 생성된다. 문서 자동 요약 시스템은 주어진 문서에서 핵심적인 내용을 추출하는 것으로, 원문 내용에서 중요하지 않은 부분이나 사소한 부분을 생략하면서 핵심 내용을 일관성 있게 모아 주는 문서 압축 시스템이다. 이러한 문서 자동 요약 시스템은 문서의 분량이 많고 비슷한 종류의 문서가 많을 경우에 신속하게 문서 내용을 파악할 수 있도록 도와주기 때문에 방대한 분량의 문서를 대상으로 하는 인터넷 정보 검색 시스템에서는 매우 중요한 역할을 한다. 문서자동 요약 시스템이 제공하는 정보는 크게 주제어와 주제문으로 구분할 수 있고, 인터넷 정보 검색 시스템이 요약 정보를 이용하는 시점은 검색 결과를 처리하는 과정에서 이루어진다.

문서 자동 요약 시스템에서 주제어는 기본적으로 한국어 단어 형성 원리에 기반한 형태소 분석과 으뜸꼴 인식을 통하여 주제어를 선별하고, 선별된 주제어와 각각 문장과 문단의 상관성에 따라 중요도에 점수를 매겨서 주제문을 선별한다. 중요도 점수를 매기는 방법은 주제어의 빈도, 문장의 길이, 문장에서의 단어수, 문단 길이, 문단 내에서 문장 수 등과의 상관 관계를 고려하여 계산하고 이렇게 계산된 점수에 의해 주제문을 선별한다. 이와 같이 선별된 주제어와 주제문이 요약 정보 데이터 베이스(23-12)에 저장되어 있다.

인터넷 정보 검색을 위해 사용자 컴퓨터(1∼n)(22)(이하 사용자 컴퓨터(22)로 표기함)는 인터넷(20)을 통하여 서버(21)가 제공하는 홈페이지에 접속한다. 홈페이지 접속이 완료되면, 도 4와 같은 화면이 제공되고, 사용자는 검색할 단어를 입력한다. 이때 사용자는 정보 검색 결과의 출력 화면에 나타나게될 주제어와 주제문의 비율을 임의로 설정할 수 있다. 일 예로 도 4에는 주제어를 5단어로 설정하였고, 주제문의 비율을 512 바이트로 설정하였다.

사용자의 질의 단어가 입력되면, 검색 처리수단(23-2)은 데이터 베이스(23-1)의 검색을 시작하고, 검색 결과 처리기(23-3)는 데이터 베이스(23-1)로부터 정보를 조합하여 문서 제목, 문서 내용(주제문), 주제어, 문서의 일반적인 정보(URL, 문서 길이, 작성일 등)의 형식으로 서버(22)를 통해 사용자 컴퓨터(21)로 전송한다.

검색 시에 검색 처리 수단(23-2)은 검색 정보 데이터 베이스(23-11) 및 요약 정보 데이터 베이스(23-12)의 검색을 동시에 수행한다. 검색 처리 수단(23-2)은 질의 단어를 검색 정보 데이터 베이스(23-11)에 저장된 검색어 목록과 비교하고, 검색어 목록에 질의 단어가 존재하면, 그 질의 단어와 관련된 문서 정보를 검색한다. 이와 동시에 검색 처리 수단(23-2)은 검색된 질의 단어와 관련된 문서에 대한 주제문과 주제어를 요약 정보 데이터 베이스(23-12)로부터 검색한다.

검색이 완료되면, 검색 결과 처리기(23-3)는 데이터 베이스(23-1)로부터 정보를 조합하여 문서 제목, 문서 내용(주제문), 주제어, 문서의 일반적인 정보(URL, 문서 길이, 작성일 등)의 형식으로 서버(22)를 통해 사용자 컴퓨터(21)로 전송한다.

도 5a 및 5b에 문서 자동 요약에 의한 인터넷 정보 검색 결과 화면의 실시 예가 도시되어 있다. 검색된 문서는 2000년 5월 10일 한국과 홍콩 벤처 캐피털에 대한 비교 내용으로, 길이가 약 750 바이트 정도이며 5개의 문단으로 이루어져 있다(문서 제목 제외). 이러한 문서에서 주제어를 추출하면 '홍콩, 한국, 자금, 국내, 밴처캐피털, 비중, 비아시아, 투자, 지역...'등이 나타나고 이러한 주제어를 기반으로 25%의 비율로 주제 문장을 추출하면 첫 번째 단락이 선정되고, 이어서 50%의 비율로 높이면 첫 번째 단락과 네 번째 단락이 주제 문장으로 선정된다. 이와 같은 결과는 기존의 인터넷 정보 검색 시스템에서 제공하는 요약문 정보와는 다르게 주제어를 중심으로 주제문을 선별하였기 때문에 문서의 성격이나 주제를 쉽게파악할 수 있음을 보여준다.(기존의 인터넷 정보 검색 시스템은 문서의 내용을 무조건 추출하거나 검색어를 포함한 부분만을 추출하여 조합하였기 때문에 상대적으로 부적절한 요약문을 제시하는 경우가 많다)

본 발명은 상술한 실시 예에 한정되지 않으며 본 발명의 사상 내에서 당업자에 의한 변형이 가능함은 물론이다.

상술한 바와 같이 본 발명에 따르면, 많은 사용자가 날로 증가하는 웹 문서를 검색하는데 있어서 웹 문서의 전체적인 주제를 확인하는 것이 가능해지며, 해당 웹 문서에 들어가지 않아도 되므로 검색에 걸리는 시간을 단축시킬 수 있다. 또한 검색 서비스 제공자는 서비스의 질을 높여 다른 검색 서비스와의 경쟁력을 확보하여 더 많은 사용자를 끌어들일 수 있다.

Claims

소정의 색인어, 색인어에 의한 소정의 문서 정보를 저장하는 검색 정보 데이터 베이스 및 상기 문서 정보로부터 요약된 주제어 및 주제문을 저장하는 문서 요약 데이터 베이스; 및

상기 검색 정보 데이터 베이스의 문서 정보로부터 형태소 분석 및 으뜸꼴 인식을 통하여 주제어를 선별하고, 주제어의 빈도, 문장의 길이, 문장에서의 단어 수, 문단 길이, 문단 내에서의 문장 수와의 상관 관계를 고려하여 계산된 점수에 의해 주제문을 선별하여 상기 문서 요약 데이터 베이스에 저장하는 문서 요약 수단을 포함하며,

사용자 컴퓨터로부터 소정의 질의 단어를 입력받아, 상기 데이터 베이스로부터의 색인어와 비교하여 상기 소정의 질의 단어에 대한 문서 정보 및 그 문서의 요약된 주제어 및 주제문을 검색하여 상기 사용자 컴퓨터로 전송하는 것을 특징으로 하는 인터넷 정보 검색 시스템.
제 1항에 있어서,

상기 사용자 컴퓨터로부터 상기 주제어 개수 및 주제문 길이 비율을 선택적으로 입력받아 상기 데이터베이스를 검색하는 것을 특징으로 하는 인터넷 정보 검색 시스템.
제 1항에 있어서,

상기 사용자 컴퓨터로 검색한 문서 제목, 주제문, 주제어, 문서의 일반 정보 형식으로 구성되어 있는 소정개의 문서정보를 전송하는 것을 특징으로 하는 인터넷 정보 검색 시스템.
(a) 소정의 질의 단어에 대한 정보 검색을 허용하는 단계;

(b) 상기 질의 단어에 해당하는 문서 정보와, 상기 문서 정보로부터 형태소 분석 및 으뜸꼴 인식을 통하여 선별된 주제어 및 주제어의 빈도, 문장의 길이, 문장에서의 단어 수, 문단 길이, 문단 내에서의 문장 수와 상관 관계를 고려하여 계산된 점수에 의해 선별된 주제 문장을 데이터 베이스로부터 검색하는 단계; 및

(c) 검색된 문서 정보와 요약된 주제어 및 주제문을 소정의 형식에 의해 사용자 컴퓨터로 전송하는 단계를 포함하는 인터넷 정보 검색 방법.
제 4항에 있어서, (b) 단계의 검색 시에

상기 사용자 컴퓨터로부터 상기 주제어 개수 및 주제문의 길이 비율을 선택적으로 입력받아 상기 데이터베이스를 검색하는 것을 특징으로 하는 인터넷 정보 검색 방법.
제 4항에 있어서, 상기 (c) 단계에서 사용자 컴퓨터로 전송되는 문서 정보의 형식은 검색한 문서 제목, 주제문, 주제어, 문서의 일반 정보 형식으로 구성되어 있는 것을 특징으로 하는 인터넷 정보 검색 방법.