KR20220025540A

KR20220025540A - 키워드 클러스터링을 이용한 문서 요약 방법 및 장치

Info

Publication number: KR20220025540A
Application number: KR1020200106414A
Authority: KR
Inventors: 고영중; 김기환
Original assignee: 성균관대학교산학협력단
Priority date: 2020-08-24
Filing date: 2020-08-24
Publication date: 2022-03-03
Also published as: KR102402466B1

Abstract

본 발명은 키워드 클러스터링을 이용한 문서 요약 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 방법은, 사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 상기 추출된 키워드의 랭킹을 계산하는 단계, 상기 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 상기 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산하는 단계, 및 상기 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 상기 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 상기 문서들의 클러스터별 요약 결과로 제공하는 단계를 포함한다.

Description

키워드 클러스터링을 이용한 문서 요약 방법 및 장치{METHOD AND APPARATUS FOR SUMMARIZING DOCUMENT USING KEYWORD CLUSTERING}

본 발명은 키워드 클러스터링을 이용한 문서 요약 방법 및 장치에 관한 것이다.

종래의 추출 요약 시스템은 하나의 문서를 요약하여 핵심 내용만 보여주는 것을 의미한다. 종래의 추출 요약 시스템은 사용자 입력 키워드 혹은 문서의 제목을 문서 본문의 함축된 정보로 보고 하나의 문서의 문장들과 유사도 계산을 통해 유사도가 가장 높은 문장을 해당 문서의 요약의 결과로 사용한다.

그러나 문서 본문의 내용은 여러 주제를 담고 있을 수 있으며, 문서 제목은 보통 한 줄로 이뤄져 있기 때문에 문서 전체의 함축된 정보를 가지고 있기 힘들다.

또한, 다수의 문서에서는 같은 주제를 담고 있는 내용끼리 묶는 군집화 과정이 필요하다.

본 발명의 실시예들은 대량의 문서를 코어 키워드별로 요약 결과를 보여주기 위한, 키워드 클러스터링을 이용한 문서 요약 방법 및 장치를 제공하고자 한다.

다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 키워드 클러스터링을 이용한 문서 요약 장치에 의해 수행되는 키워드 클러스터링을 이용한 문서 요약 방법에 있어서, 사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 상기 추출된 키워드의 랭킹을 계산하는 단계; 상기 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 상기 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산하는 단계; 및 상기 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 상기 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 상기 문서들의 클러스터별 요약 결과로 제공하는 단계를 포함하는, 키워드 클러스터링을 이용한 문서 요약 방법이 제공될 수 있다.

상기 추출된 키워드의 랭킹을 계산하는 단계는, 상기 사용자 입력 쿼리와 상기 요약할 문서들의 제목으로부터 추출한 키워드를 토픽 키워드로 선정하고, 상기 문서들의 본문으로부터 추출한 키워드를 후보 키워드들로 선정할 수 있다.

상기 추출된 키워드의 랭킹을 계산하는 단계는, 상기 선정된 토픽 키워드 및 상기 선정된 후보 키워드들의 워드 임베딩 벡터를 코사인 유사도로 계산하여 토픽 스코어를 계산할 수 있다.

상기 추출된 키워드의 랭킹을 계산하는 단계는, 상기 선정된 후보 키워드들 간의 의미적인 유사도와 상호 의존 정보를 계산하여 상기 선정된 후보 키워드들 간의 후보 스코어로 계산할 수 있다.

상기 추출된 키워드의 랭킹을 계산하는 단계는, 상기 계산된 토픽 스코어와 상기 계산된 후보 스코어를 수정된 페이지랭크(PageRank) 알고리즘을 통해 후보 키워드들의 랭킹을 계산할 수 있다.

상기 키워드의 랭킹을 재계산하는 단계는, 클러스터의 중심을 키워드의 랭킹에서 기설정된 상위 개수의 키워드로 사용할 수 있다.

상기 키워드의 랭킹을 재계산하는 단계는, 각 클러스터의 중심이 되는 키워드를 서브 토픽 키워드로 선정하고, 상기 토픽 키워드에 상기 선정된 서브 토픽 키워드를 추가한 새로운 토픽 키워드를 생성할 수 있다.

상기 키워드의 랭킹을 재계산하는 단계는, 상기 새로운 토픽 키워드와 상기 클러스터 내 후보 키워드들 간의 새로운 토픽 스코어와 새로운 후보 키워드들의 후보 스코어를 계산할 수 있다.

상기 키워드의 랭킹을 재계산하는 단계는, 클러스터 내의 후보 키워드들의 개수가 기설정된 개수 미만일 때까지 반복할 수 있다.

상기 문서들의 클러스터별 요약 결과로 제공하는 단계는, 각 클러스터의 토픽을 서브 토픽 키워드로 제공할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 사용자 입력 쿼리와 요약할 문서들을 획득하는 인터페이스 모듈; 하나 이상의 프로그램을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 상기 추출된 키워드의 랭킹을 계산하고, 상기 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 상기 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산하고, 상기 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 상기 인터페이스 모듈을 통해 상기 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 상기 문서들의 클러스터별 요약 결과로 제공하는, 키워드 클러스터링을 이용한 문서 요약 장치가 제공될 수 있다.

상기 프로세서는, 상기 사용자 입력 쿼리와 상기 요약할 문서들의 제목으로부터 추출한 키워드를 토픽 키워드로 선정하고, 상기 문서들의 본문으로부터 추출한 키워드를 후보 키워드들로 선정할 수 있다.

상기 프로세서는, 상기 선정된 토픽 키워드 및 상기 선정된 후보 키워드들의 워드 임베딩 벡터를 코사인 유사도로 계산하여 토픽 스코어를 계산할 수 있다.

상기 프로세서는, 상기 선정된 후보 키워드들 간의 의미적인 유사도와 상호 의존 정보를 계산하여 상기 선정된 후보 키워드들 간의 후보 스코어로 계산할 수 있다.

상기 프로세서는, 상기 계산된 토픽 스코어와 상기 계산된 후보 스코어를 수정된 페이지랭크(PageRank) 알고리즘을 통해 후보 키워드들의 랭킹을 계산할 수 있다.

상기 프로세서는, 클러스터의 중심을 키워드의 랭킹에서 기설정된 상위 개수의 키워드로 사용할 수 있다.

상기 프로세서는, 각 클러스터의 중심이 되는 키워드를 서브 토픽 키워드로 선정하고, 상기 토픽 키워드에 상기 선정된 서브 토픽 키워드를 추가한 새로운 토픽 키워드를 생성할 수 있다.

상기 프로세서는, 상기 새로운 토픽 키워드와 상기 클러스터 내 후보 키워드들 간의 새로운 토픽 스코어와 새로운 후보 키워드들의 후보 스코어를 계산할 수 있다.

상기 프로세서는, 클러스터 내의 후보 키워드들의 개수가 기설정된 개수 미만일 때까지 반복할 수 있다.

상기 프로세서는, 각 클러스터의 토픽을 서브 토픽 키워드로 제공할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 상기 추출된 키워드의 랭킹을 계산하는 단계; 상기 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 상기 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산하는 단계; 및 상기 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 상기 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 상기 문서들의 클러스터별 요약 결과로 제공하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명의 실시예들은 여러 주제를 담고 있는 하나의 문서나 대량의 문서를 한 번에 주제별로 요약 결과를 보여줄 수 있다. 이는 제목의 정보와 사용자 입력 키워드만 반영하는 종래의 추출 요약 시스템 보다 다양한 주제별 정보를 보여줄 수 있어 문서의 중요 내용을 보다 잘 보여줄 수 있다.

또한, 본 발명의 실시예들은 키워드 클러스터링 및 랭킹 기반의 추출 요약 동작을 정의함으로써, 대량의 문서를 키워드별로 클러스터링하고 요약할 수 있으며, 문서에서 키워드를 추출하고 키워드들의 임베딩 벡터 정보를 클러스터링 기법으로 군집화함으로써, 대량의 문서를 효과적으로 분류할 수 있다.

본 발명의 실시예들은 이를 이용하여 다수의 문서를 손쉽게 주제별로 군집화하고, 요약할 수 있다.

도 1은 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 장치의 동작을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 방법에 대한 전체 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 방법에서 쿼리 기반의 키워드 랭킹 동작을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 방법에서 클러스터 기반의 키워드 재-랭킹 동작을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 방법에서 클러스터 기반의 요약 동작을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 장치의 구성도이다.
도 7은 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 장치에 의해 수행된 문서 요약 결과의 예시를 나타낸 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 발명의 일 실시예에서는 대량의 문서 내에서 키워드를 추출하고 키워드 단위 임베딩 벡터(Word Embedding)와 키워드 클러스터링(Clustering)을 이용하여 키워드 단위 클러스터링한다. 각 클러스터의 중심 키워드를 대량의 문서 내에 있는 코어 키워드로 보고 클러스터별 문장 스코어를 계산하여 요약 결과를 보여준다.

도 1은 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 장치의 동작을 나타낸 도면이다.

본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 장치(100)는 키워드 클러스터링 기법을 사용한 키워드 클러스터별 문서 요약 장치(100)에 관한 것으로, 종래의 추출 요약 시스템의 문제를 해결한다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 장치(100)는 우선 사용자 입력 쿼리와 요약할 문서들을 입력받는다.

그리고 문서 요약 장치(100)는 단계 1(Step 1)에 도시된 쿼리 기반의 키워드 랭킹(Query-based Keyword Ranking) 동작을 수행한다. 여기서, 쿼리 기반의 키워드 랭킹 동작에는 쿼리 기반 토픽 키워드 및 키워드 추출(Query-based Topic Keyword & Keyword Extraction) 동작과, 쿼리 기반 키워드 랭킹(Query-based Keyword Ranking) 동작이 포함된다.

이어서, 문서 요약 장치(100)는 단계 2(Step 2)에서 도시된 클러스터 기반의 키워드 재랭킹(Cluster-based Keyword Re-ranking) 동작을 수행한다. 여기서, 클러스터 기반의 키워드 재랭킹 동작에는 쿼리 기반 키워드 클러스터링(Query-based Keyword Clustering) 동작과, 각 클러스터에 대한 새로운 토픽 벡터 생성(New topic Vector Generation for each Cluster) 동작과, 클러스터 기반의 키워드 재-랭킹(Cluster-based Keyword Re-ranking) 동작이 포함된다.

이후, 문서 요약 장치(100)는 단계 3(Step 3)에서 도시된 클러스터 기반의 요약(Cluster-based Summarization) 동작을 수행하여 문서들의 요약 결과를 제공한다. 클러스터 기반의 요약 동작에는 각 클러스터에 대한 문장 스코어링(Sentence Scoring for each Cluster) 동작과, 각 클러스터에 대한 요약 동작(Summarization for each Cluster)이 포함된다.

한편, 본 발명의 일 실시예에 따른 문서 요약 장치(100)의 동작을 구체적으로 설명하기로 한다. 문서 요약 장치(100)는 입력으로 들어온 문서들을 형태소 분석 과정을 거쳐 문서내의 명사 형태소를 문서 내 후보 키워드로 보고 추출한다. 문서 요약 장치(100)는 추출된 후보 키워드들의 임베딩 벡터를 계산한다. 문서 요약 장치(100)는 계산된 임베딩 벡터를 사용하여 클러스터링 기법으로 후보 키워드들을 클러스터링한다. 문서 요약 장치(100)는 각 클러스터의 중심이 되는 후보 키워드를 코어 키워드로 판단하고, 클러스터별로 코어 키워드와 나머지 키워드 간의 유사도 계산을 통해 클러스터별 키워드 스코어를 계산한다. 이후, 문서 요약 장치(100)는 클러스터별로 클러스터 내 존재하는 키워드를 포함한 문장 스코어를 계산하여 랭킹을 매긴다. 이때, 문장 스코어는 문장에서 포함하고 있는 키워드들의 합으로 계산한다. 문서 요약 장치(100)는 클러스터별 문장 스코어 순위에서 상위 문장을 클러스터의 요약 결과로 보고 해당 클러스터의 주제는 코어 키워드로 판단한다.

도 2는 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 방법에 대한 전체 흐름도이다.

단계 S101에서, 본 발명의 일 실시예에 따른 문서 요약 장치(100)는 사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 추출된 키워드의 랭킹을 계산한다.

단계 S102에서, 문서 요약 장치(100)는 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산한다.

단계 S103에서, 문서 요약 장치(100)는 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 문서들의 클러스터별 요약 결과로 제공한다.

도 3은 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 방법에서 쿼리 기반의 키워드 랭킹 동작을 나타낸 흐름도이다.

단계 S201에서, 본 발명의 일 실시예에 따른 문서 요약 장치(100)는 사용자 입력 쿼리와 요약할 문서들을 형태소 분석을 통해 명사 형태소를 갖는 토픽 키워드 및 후보 키워드를 추출한다. 이와 같이, 문서 요약 장치(100)는 먼저 사용자 입력 쿼리와 요약할 문서들을 형태소 분석 시스템을 통해 명사 형태소 키워드를 추출한다. 이때, 문서 제목과 사용자 입력 쿼리에서 추출한 키워드를 주제 키워드(Topic Keyword), 본문에서 추출한 키워드를 후보 키워드(Candidate Keyword)로 명명한다.

단계 S202에서, 문서 요약 장치(100)는 토픽 키워드와 후보 키워드들의 워드 임베딩 벡터를 코사인 유사도로 계산하여 토픽 스코어를 계산한다. 문서 요약 장치(100)는 주제 키워드와 후보 키워드들의 워드 임베딩 벡터를 정보를 코사인 유사도로 계산하여 하기 [수학식 1]과 같이 토픽 스코어(Topic Score)를 계산한다. 이때 주제 키워드 벡터는 모든 토픽 키워드 워드 임베딩 벡터의 합으로 계산한다.

여기서, Topic_Score_i는 토픽 스코어, C_i는 후보 키워드의 임베딩 벡터, T는 토픽 키워드의 임베딩 벡터를 나타낸다.

단계 S203에서, 문서 요약 장치(100)는 후보 키워드들 간 의미적인 유사도와 상호 의존 정보를 계산하여 후보 키워드들 간의 후보 스코어를 계산한다. 이와 같이, 문서 요약 장치(100)는 후보 키워드들 간의 관계를 계산하기 위해 후보 키워드들 간 의미적인 유사도와 상호 의존 정보를 계산하고 곱한 값을 하기 [수학식 2]와 같이 후보 키워드들 간의 스코어(Candidate Score)로 계산한다.

여기서, C_i및 C_j는 후보 키워드의 임베딩 벡터들, semantic(C_i, C_j)는 후보 키워드들 간의 의미적인 유사도, co-occur(C_i, C_j)는 후보 키워드들 간의 상호 의존 정보, Candidate_Score_i(C_i, C_j)는 후보 스코어를 나타낸다.

단계 S204에서, 문서 요약 장치(100)는 계산된 토픽 스코어와 후보 키워드들의 스코어를 수정된 페이지랭크(PageRank) 알고리즘을 통해 후보 키워드들의 랭킹을 계산한다. 수정된 페이지랭크(PageRank) 알고리즘은 하기의 [수학식 3]과 같이 나타내진다. 이 과정은 토픽 키워드들과 비슷한 정보를 가진 후보 키워드들의 점수를 올리면서 동시에 같은 의미를 가진 후보 키워드들의 점수를 낮춘다.

KeywordRank(C_i)는 후보 키워드의 랭킹을 나타낸다.

도 4는 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 방법에서 클러스터 기반의 키워드 재-랭킹 동작을 나타낸 흐름도이다.

단계 S301에서, 본 발명의 일 실시예에 따른 문서 요약 장치(100)는 추출된 후보 키워드들을 K-평균(K-means) 클러스터링 기법으로 클러스터링한다. 문서 요약 장치(100)는 추출된 후보 키워드들을 K-평균 클러스터링 기법으로 탑-다운(Top-down) 방식으로 클러스터링한다.

단계 S302에서, 문서 요약 장치(100)는 각 클러스터의 중심이 되는 키워드를 서브 토픽 키워드로 선정하고, 클러스터별로 토픽 키워드에 서브 토픽 키워드를 추가한 새로운 토픽 키워드를 생성한다. 일례로, 클러스터의 중심은 키워드 랭킹에서 상위 2개의 키워드를 사용할 수 있다. 문서 요약 장치(100)는 각 클러스터의 중심이 되는 키워드를 서브 토픽 키워드로 명명한다. 문서 요약 장치(100)는 클러스터별로 토픽 키워드에 서브 토픽 키워드를 추가한 새로운 토픽 키워드를 생성한다.

단계 S303에서, 문서 요약 장치(100)는 클러스터별로 새로운 토픽 키워드와 클러스터 내 후보 키워드들 간의 새로운 토픽 스코어와 새로운 후보 키워드들 간의 새로운 후보 스코어를 계산한다.

단계 S304에서, 문서 요약 장치(100)는 클러스터 내의 키워드의 개수가 기설정된 개수 미만인지를 확인한다.

단계 S304에서, 문서 요약 장치(100)는 클러스터 내의 키워드의 개수가 기설정된 개수 미만이면, 계산된 토픽 스코어와 계산된 새로운 후보 스코어를 확정한다. 반면, 클러스터 내의 키워드의 개수가 기설정된 개수 이상이면 K-평균 클러스터링 기법으로 클러스터링하는 단계 S301을 다시 수행한다.

도 5는 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 방법에서 클러스터 기반의 요약 동작을 나타낸 흐름도이다.

단계 S401에서, 본 발명의 일 실시예에 따른 문서 요약 장치(100)는 클러스터별로 클러스터 내에 존재하는 후보 키워드를 포함한 문장 스코어를 계산하여 문장들의 순위를 선정한다. 이와 같이, 문서 요약 장치(100)는 클러스터별로 클러스터 내 존재하는 키워드를 포함한 문장 스코어를 계산하여 순위를 매긴다. 이때, 문장 스코어는 문장에서 포함하고 있는 키워드들의 키워드 랭킹 합으로 계산한다.

단계 S402에서, 문서 요약 장치(100)는 클러스터별 문장 스코어 순위에서 상위 문장을 클러스터의 요약 결과로 제공한다.

단계 S403에서, 문서 요약 장치(100)는 해당 클러스터의 토픽을 해당 클러스터의 서브 토픽 키워드로 제공한다. 이와 같이, 클러스터별 문장 스코어 순위에서 상위 문장을 클러스터의 요약 결과로 보고 해당 클러스터의 주제는 서브 토픽 키워드로 한다.

도 6은 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 장치의 구성도이다.

도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 장치(100)는 인터페이스 모듈(110), 메모리(120) 및 프로세서(130)를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 문서 요약 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 문서 요약 장치(100)가 구현될 수 있다.

이하, 도 6의 문서 요약 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

인터페이스 모듈(110)은 사용자 입력 쿼리와 요약할 문서들을 획득한다. 이후, 인터페이스 모듈(110)은 문서들의 클러스터별 요약 결과를 제공한다.

메모리(120)는 키워드 클러스터링을 이용한 문서 요약과 관련된 하나 이상의 프로그램을 저장한다.

프로세서(130)는 메모리(120)에 저장된 하나 이상의 프로그램을 실행한다. 프로세서(130)는 사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 추출된 키워드의 랭킹을 계산하고, 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산하고, 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 인터페이스 모듈(110)을 통해 문서들의 클러스터별 요약 결과로 제공한다.

실시예들에 따르면, 프로세서(130)는 사용자 입력 쿼리와 요약할 문서들의 제목으로부터 추출한 키워드를 토픽 키워드로 선정하고, 문서들의 본문으로부터 추출한 키워드를 후보 키워드들로 선정할 수 있다.

실시예들에 따르면, 프로세서(130)는 선정된 토픽 키워드 및 선정된 후보 키워드들의 워드 임베딩 벡터를 코사인 유사도로 계산하여 토픽 스코어를 계산할 수 있다.

실시예들에 따르면, 프로세서(130)는 선정된 후보 키워드들 간의 의미적인 유사도와 상호 의존 정보를 계산하여 선정된 후보 키워드들 간의 후보 스코어로 계산할 수 있다.

실시예들에 따르면, 프로세서(130)는 계산된 토픽 스코어와 계산된 후보 스코어를 수정된 페이지랭크(PageRank) 알고리즘을 통해 후보 키워드들의 랭킹을 계산할 수 있다.

실시예들에 따르면, 프로세서(130)는 클러스터의 중심을 키워드의 랭킹에서 기설정된 상위 개수의 키워드로 사용할 수 있다.

실시예들에 따르면, 프로세서(130)는 각 클러스터의 중심이 되는 키워드를 서브 토픽 키워드로 선정하고, 토픽 키워드에 상기 선정된 서브 토픽 키워드를 추가한 새로운 토픽 키워드를 생성할 수 있다.

실시예들에 따르면, 프로세서(130)는 새로운 토픽 키워드와 클러스터 내 후보 키워드들 간의 새로운 토픽 스코어와 새로운 후보 키워드들의 후보 스코어를 계산할 수 있다.

실시예들에 따르면, 프로세서(130)는 클러스터 내의 후보 키워드들의 개수가 기설정된 개수 미만일 때까지 반복할 수 있다.

실시예들에 따르면, 프로세서(130)는 각 클러스터의 토픽을 서브 토픽 키워드로 제공할 수 있다.

도 7은 본 발명의 일 실시예에 따른 키워드 클러스터링을 이용한 문서 요약 장치에 의해 수행된 문서 요약 결과의 예시를 나타낸 도면이다.

본 발명의 일 실시예에 따른 문서 요약 장치(100)는 하나의 문서 혹은 대량의 문서를 한 번에 주제별 요약이 가능하다. 도 7에 도시된 바와 같이, 입력 문서에는 문서 제목(Title)이 "판 커지는 LCC국제선…제주항공 국제선 대폭 확대"와 같이 기재되어 있고, 총 9개의 문장이 있습니다. 문서 요약 장치(100)는 사용자 입력 쿼리와 요약할 문서를 획득하고, 요약 결과(30%)를 아래의 3개의 요약된 문장과 키워드로 제공한다. 요약된 3개의 문장과 키워드에는 "[1] 제주항공은 이번 부산발 노선 확대가 수송분담률을 확대하고 부산을 인천에 이어 제2의 허브로 삼아 지속가능한 성장기반을 마련한다는 전략에 따른 것이라고 설명했다. [2] [헤럴드경제=정태일 기자]LCC(저비용항공사) 업계 1위인 제주항공이 국제선을 대폭 늘리면서 LCC 국제선 판이 점점 커지고 있다. [3] 제주항공은 오는 12월15일부터 부산발 도쿄 사이판 푸껫 등 3개 노선을 신규취항하고 기존 운항 중인 부산~후쿠오카 노선은 증편한다고 2일 밝혔다. [키워드] 제주 공항, 확대, 수송 분담"과 같은 내용이 포함된다.

본 발명의 일 실시예는 언론사나 언론사를 접하는 사용자들이 많은 양의 뉴스 기사를 정리하여 정보를 얻고 싶을 때 혹은 자신의 원하는 키워드나 주제 위주의 요약 결과를 보고 싶을 때 사용이 가능하다. 본 발명의 일 실시예는 기사를 쓰고 해당 기사를 인터넷에 올리는 과정에서 제목을 정할 때에도 사용이 가능하다.

한편, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 상기 추출된 키워드의 랭킹을 계산하는 단계, 상기 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 상기 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산하는 단계, 및 상기 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 상기 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 상기 문서들의 클러스터별 요약 결과로 제공하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.

한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.

한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 문서 요약 장치
110: 인터페이스 모듈
120: 메모리
130: 프로세서

Claims

키워드 클러스터링을 이용한 문서 요약 장치에 의해 수행되는 키워드 클러스터링을 이용한 문서 요약 방법에 있어서,
사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 상기 추출된 키워드의 랭킹을 계산하는 단계;
상기 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 상기 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산하는 단계; 및
상기 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 상기 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 상기 문서들의 클러스터별 요약 결과로 제공하는 단계를 포함하는, 키워드 클러스터링을 이용한 문서 요약 방법.
제1항에 있어서,
상기 추출된 키워드의 랭킹을 계산하는 단계는,
상기 사용자 입력 쿼리와 상기 요약할 문서들의 제목으로부터 추출한 키워드를 토픽 키워드로 선정하고, 상기 문서들의 본문으로부터 추출한 키워드를 후보 키워드들로 선정하는, 키워드 클러스터링을 이용한 문서 요약 방법.
제2항에 있어서,
상기 추출된 키워드의 랭킹을 계산하는 단계는,
상기 선정된 토픽 키워드 및 상기 선정된 후보 키워드들의 워드 임베딩 벡터를 코사인 유사도로 계산하여 토픽 스코어를 계산하는, 키워드 클러스터링을 이용한 문서 요약 방법.
제2항에 있어서,
상기 추출된 키워드의 랭킹을 계산하는 단계는,
상기 선정된 후보 키워드들 간의 의미적인 유사도와 상호 의존 정보를 계산하여 상기 선정된 후보 키워드들 간의 후보 스코어로 계산하는, 키워드 클러스터링을 이용한 문서 요약 방법.
제2항에 있어서,
상기 추출된 키워드의 랭킹을 계산하는 단계는,
상기 계산된 토픽 스코어와 상기 계산된 후보 스코어를 수정된 페이지랭크(PageRank) 알고리즘을 통해 후보 키워드들의 랭킹을 계산하는, 키워드 클러스터링을 이용한 문서 요약 방법.
제1항에 있어서,
상기 키워드의 랭킹을 재계산하는 단계는,
클러스터의 중심을 키워드의 랭킹에서 기설정된 상위 개수의 키워드로 사용하는, 키워드 클러스터링을 이용한 문서 요약 방법.
제1항에 있어서,
상기 키워드의 랭킹을 재계산하는 단계는,
각 클러스터의 중심이 되는 키워드를 서브 토픽 키워드로 선정하고, 상기 토픽 키워드에 상기 선정된 서브 토픽 키워드를 추가한 새로운 토픽 키워드를 생성하는, 키워드 클러스터링을 이용한 문서 요약 방법.
제7항에 있어서,
상기 키워드의 랭킹을 재계산하는 단계는,
상기 새로운 토픽 키워드와 상기 클러스터 내 후보 키워드들 간의 새로운 토픽 스코어와 새로운 후보 키워드들의 후보 스코어를 계산하는, 키워드 클러스터링을 이용한 문서 요약 방법.
제1항에 있어서,
상기 키워드의 랭킹을 재계산하는 단계는,
클러스터 내의 후보 키워드들의 개수가 기설정된 개수 미만일 때까지 반복하는, 키워드 클러스터링을 이용한 문서 요약 방법.
제1항에 있어서,
상기 문서들의 클러스터별 요약 결과로 제공하는 단계는,
각 클러스터의 토픽을 서브 토픽 키워드로 제공하는, 키워드 클러스터링을 이용한 문서 요약 방법.
사용자 입력 쿼리와 요약할 문서들을 획득하는 인터페이스 모듈;
하나 이상의 프로그램을 저장하는 메모리; 및
상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고,
상기 프로세서는,
사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 상기 추출된 키워드의 랭킹을 계산하고,
상기 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 상기 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산하고,
상기 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 상기 인터페이스 모듈을 통해 상기 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 상기 문서들의 클러스터별 요약 결과로 제공하는, 키워드 클러스터링을 이용한 문서 요약 장치.
제11항에 있어서,
상기 프로세서는,
상기 사용자 입력 쿼리와 상기 요약할 문서들의 제목으로부터 추출한 키워드를 토픽 키워드로 선정하고, 상기 문서들의 본문으로부터 추출한 키워드를 후보 키워드들로 선정하는, 키워드 클러스터링을 이용한 문서 요약 장치.
제12항에 있어서,
상기 프로세서는,
상기 선정된 토픽 키워드 및 상기 선정된 후보 키워드들의 워드 임베딩 벡터를 코사인 유사도로 계산하여 토픽 스코어를 계산하는, 키워드 클러스터링을 이용한 문서 요약 장치.
제12항에 있어서,
상기 프로세서는,
상기 선정된 후보 키워드들 간의 의미적인 유사도와 상호 의존 정보를 계산하여 상기 선정된 후보 키워드들 간의 후보 스코어로 계산하는, 키워드 클러스터링을 이용한 문서 요약 장치.
제12항에 있어서,
상기 프로세서는,
상기 계산된 토픽 스코어와 상기 계산된 후보 스코어를 수정된 페이지랭크(PageRank) 알고리즘을 통해 후보 키워드들의 랭킹을 계산하는, 키워드 클러스터링을 이용한 문서 요약 장치.
제11항에 있어서,
상기 프로세서는,
클러스터의 중심을 키워드의 랭킹에서 기설정된 상위 개수의 키워드로 사용하는, 키워드 클러스터링을 이용한 문서 요약 장치.
제11항에 있어서,
상기 프로세서는,
각 클러스터의 중심이 되는 키워드를 서브 토픽 키워드로 선정하고, 상기 토픽 키워드에 상기 선정된 서브 토픽 키워드를 추가한 새로운 토픽 키워드를 생성하는, 키워드 클러스터링을 이용한 문서 요약 장치.
제17항에 있어서,
상기 프로세서는,
상기 새로운 토픽 키워드와 상기 클러스터 내 후보 키워드들 간의 새로운 토픽 스코어와 새로운 후보 키워드들의 후보 스코어를 계산하는, 키워드 클러스터링을 이용한 문서 요약 장치.
제11항에 있어서,
상기 프로세서는,
클러스터 내의 후보 키워드들의 개수가 기설정된 개수 미만일 때까지 반복하는, 키워드 클러스터링을 이용한 문서 요약 장치.
제11항에 있어서,
상기 프로세서는,
각 클러스터의 토픽을 서브 토픽 키워드로 제공하는, 키워드 클러스터링을 이용한 문서 요약 장치.
프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
사용자 입력 쿼리와 요약할 문서들로부터 키워드를 추출하고, 상기 추출된 키워드의 랭킹을 계산하는 단계;
상기 계산된 키워드의 랭킹을 기반으로 클러스터링하고, 상기 클러스터링된 클러스터별로 중심이 되는 서브 토픽을 찾아 클러스터별로 키워드의 랭킹을 재계산하는 단계; 및
상기 재계산된 키워드의 랭킹을 기반으로 클러스터별 문장 스코어를 계산하고, 상기 계산된 문장 스코어의 순위가 기설정된 순위 이상인 상위 문장을 상기 문서들의 클러스터별 요약 결과로 제공하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.