KR20180092808A - 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법 - Google Patents

Abstract

질의응답 시스템이 입력된 질의를 처리하기 위하여 문맥을 검색하는 방법으로서, 입력되는 질의로부터 문맥을 추출하여 질의 임베딩 벡터를 생성하면, 말뭉치 텍스트를 통해 미리 생성되어 있는 말뭉치 임베딩 벡터와 생성한 질의 임베딩 벡터의 문맥 유사도를 계산하여, 질의와 문맥 유사도가 높은 문서 그래프를 추출한다. 추출한 문서 그래프 내에 포함된 적어도 하나의 개념에 대한 그래프 매칭 점수를 구하여, 질의에 대한 복수의 정답 후보 개념을 추출하고, 복수의 정답 후보 개념에서 질의에 대한 정답을 질의응답 결과로 제공한다.

Description

개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법{System for query response based on conceptual graph and method for an efficient context search using the same}

본 발명은 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법에 관한 것이다.

최근 질의응답을 위해 다양한 방법들이 연구되고 있다.

먼저, 두 개의 개념 그래프를 이용하여 확장 그래프를 생성하고, 외부로부터 입력되는 질문을 토대로 생성한 질문 그래프와 확장 그래프를 토대로 정답 노드를 찾아 질문에 대한 정답을 도출하는, 개념 그래프 매칭을 이용한 질의응답 방법이 있다. 이 질의응답 방법을 이용하여 질의에 응답하는 경우 질문 그래프와 모든 문서 그래프간 매칭이 필요하기 때문에 오랜 시간이 소요되어, 질의 응답 속도가 느려지는 문제점이 있다.

또 다른 방법으로는 사용자로부터 온전한 문장으로 구성된 질문이나 키워드가 나열된 질문을 입력 받고 다양한 리소스와 검색기술을 활용하여, 질문에 대한 적절한 대답을 출력하는 다중 소스 하이브리드 질의응답 방법이 있다. 이 방법에 의하면 정보검색 기반 질의 응답 시스템과 지식 기반 질의 응답 시스템을 동시에 사용하여 얻은 결과를 통합하기 위한 다양한 전략들을 사용하기 때문에, 지식 기반 질의 응답 시스템과 정보 검색 기반 질의 응답 시스템을 각각 사용했을 때의 한계점을 보완할 수 있다. 그러나 지식 기반은 긴 지식 체인 추론에 약점이 있고, 검색 기반은 의미 고려에 약점이 있는 것은 해결하지 못한다는 단점이 있다.

따라서, 본 발명은 개념 그래프 기반 질의응답 시스템이 문맥 검색 방법을 이용하여 효율적으로 문맥을 검색하는 방법을 제공한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 질의응답 시스템이 입력된 질의를 처리하기 위하여 문맥을 검색하는 방법으로서,

입력되는 질의로부터 문맥을 추출하여 질의 임베딩 벡터를 생성하는 단계, 말뭉치 텍스트를 통해 미리 생성되어 있는 말뭉치 임베딩 벡터와 상기 생성한 질의 임베딩 벡터의 문맥 유사도를 계산하여, 상기 질의와 문맥 유사도가 높은 문서 그래프를 추출하는 단계, 상기 추출한 문서 그래프 내에 포함된 적어도 하나의 개념에 대한 그래프 매칭 점수를 구하여, 상기 질의에 대한 복수의 정답 후보 개념을 추출하는 단계, 그리고 상기 복수의 정답 후보 개념에서 상기 질의에 대한 정답을 질의응답 결과로 제공하는 단계를 포함한다.

상기 질의 임베딩 벡터를 생성하는 단계 이전에, 상기 말뭉치 텍스트로부터 개념, 관계, 속성을 추출하는 단계, 상기 추출한 개념, 관계 속성을 토대로 문서 개념 그래프를 생성하는 단계, 그리고 상기 문서 개념 그래프로부터 복수의 문맥과 문맥 각각에 대한 문맥 유형을 추출하고, 문맥과 문맥 유형을 토대로 말뭉치 임베딩 벡터를 생성하는 단계를 포함할 수 있다.

상기 말뭉치 임베딩 벡터를 생성하는 단계는, 상기 문서 개념 그래프에서 동일한 문맥을 공유하는 영역을 탐지하는 단계, 그리고 상기 탐지한 영역 각각을 상기 동일한 문맥에 대한 문서 그래프로 추출하는 단계를 포함할 수 있다.

상기 질의 임베딩 벡터를 생성하는 단계는, 상기 질의로부터 개념과 관계를 추출하는 단계, 상기 추출한 개념과 관계를 토대로 질의 개념 그래프를 생성하는 단계, 그리고 상기 질의 개념 그래프로부터 상기 문맥과 문맥 유형을 추출하고, 문맥과 문맥 유형을 이용하여 상기 임베딩 벡터를 생성하는 단계를 포함할 수 있다.

상기 문맥 유사도가 높은 문서 그래프를 추출하는 단계는, 상기 질의 임베딩 벡터와 말뭉치 임베딩 벡터를 기초로 문맥 유사도를 계산하는 단계, 그리고 상기 복수의 문맥별 문서 그래프 중 상기 계산한 문맥 유사도가 높은 그래프를 상기 문서 그래프로 추출하는 단계를 포함할 수 있다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 질의응답 시스템으로서,

수신한 말뭉치 텍스트로부터 복수의 제1 문맥을 추출하여 문맥별로 제1 임베딩 벡터와 제1 문서 그래프를 생성하고, 수신한 질의로부터 제2 문맥을 추출하여 제2 임베딩 벡터를 생성하는 개념 그래프 추출부, 상기 제1 문서 그래프 중 상기 제2 문맥과 문맥 유사도가 높은 문서 그래프를 제2 문서 그래프로 특정하는 문맥 검색부, 상기 제2 문서 그래프에 포함된 적어도 하나의 개념 각각에 대한 그래프 매칭 점수를 계산하여, 상기 수신한 질의에 대응하는 복수의 정답 후보 개념을 출력하는 개념 그래프 매칭부, 그리고 상기 문맥 유사도를 기초로 상기 복수의 정답 후보 개념을 재정렬하고, 상기 질의의 유형에 따라 어느 하나의 정답 후보 개념을 질의응답 결과로 출력하는 정답 후보 랭킹부를 포함한다.

상기 개념 그래프 추출부는, 상기 말뭉치 텍스트와 질의로부터 개념, 관계 그리고 속성을 추출하고, 추출한 개념 관계 그리고 속성을 토대로 상기 말뭉치 텍스트로부터 제1 개념 그래프를 생성하고, 질의로부터 제2 개념 그래프를 생성할 수 있다.

상기 개념 그래프 추출부는, 상기 추출한 제1 문맥과 제2 문맥 각각에 대한 문맥 정보를 각각 확인하고, 상기 제1 문맥과 문맥 정보를 토대로 제1 임베딩 벡터를 생성하고, 상기 제2 문맥과 문맥 정보를 토대로 제2 임베딩 벡터를 생성할 수 있다.

상기 개념 그래프 추출부는, 상기 제1 개념 그래프에서 동일한 문맥을 공유하는 영역을 탐지하고, 탐지한 영역 각각을 상기 동일한 문맥에 대한 상기 제1 문서 그래프로 추출할 수 있다.

본 발명에 따르면, 텍스트로부터 개념 그래프 형태의 지식을 구축하여, 질의 개념 그래프와 문서 개념 그래프 간 질의응답 시스템에서 문맥 검색을 통해 질의응답의 속도를 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 질의응답 시스템의 구조도이다.
도 2는 본 발명의 실시예에 따른 문맥 검색 방법에 대한 흐름도이다.
도 3은 본 발명의 실시예에 따른 제1 개념 그래프를 시각화한 예시도이다.
도 4는 본 발명의 실시예에 따른 제2 개념 그래프를 시각화한 예시도이다.
도 5는 본 발명의 실시예에 따른 질의응답에 대한 성능평가를 나타낸 예시도이다.
도 6은 본 발명의 제1 실시예에 따른 질의에 대한 성능 평가 결과에 대한 그래프이다.
도 7은 본 발명의 제2 실시예에 따른 질의에 대한 성능 평가 결과에 대한 그래프이다.
도 8은 본 발명의 제1 실시예에 따른 질의에 대한 응답의 예시도이다.
도 9는 본 발명의 제2 실시예에 따른 질의에 대한 응답의 예시도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 도면을 참조로 하여 본 발명의 실시예에 따른 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법에 대해 설명한다.

도 1은 본 발명의 실시예에 따른 질의응답 시스템의 구조도이다.

도 1에 도시된 바와 같이, 질의응답 시스템(100)은 적어도 하나의 프로세서에 의해 구동되며, 개념 그래프 추출부(110), 문맥 검색부(120), 개념 그래프 매칭부(130), 정답 후보 랭킹부(140), 그리고 저장부(150)를 포함한다. 본 발명의 실시예에서는 설명의 편의를 위하여 상기의 구성 요소만을 언급하고 있으나, 질의응답에 필요한 추가 구성 요소(예를 들어, 질의 유형 판단부 등)들을 포함할 수 있다.

개념 그래프 추출부(110)는 외부로부터 제1 텍스트와 제2 텍스트를 수신한다. 여기서, 제1 텍스트는 말뭉치 텍스트이고 제2 텍스트는 질의 텍스트이다. 본 발명의 실시예에서는 각각의 텍스트들의 형태를 어느 하나로 한정하지 않는다.

개념 그래프 추출부(110)는 수신한 제1 텍스트 또는 제2 텍스트 각각을 자연어 처리하여 개념을 추출하고, 추출한 개념의 유형이 어떤 유형인지 확인한다. 개념 그래프 추출부(110)는 추출한 개념에 대응하는 속성과 관계도 추출한다. 본 발명의 실시예에서는 개념 그래프 추출부(110)가 추출한 개념, 관계, 속성을 정보 추출(IE: Information Extraction) 기술을 통해 추출하는 것을 예로 하여 설명하나 반드시 이와 같이 한정되는 것은 아니다.

개념 그래프 추출부(110)는 제1 텍스트에서 추출한 개념, 관계, 속성을 토대로 문서 개념 그래프(이하, '제1 개념 그래프'라고도 지칭함)를 생성한다. 그리고 개념 그래프 추출부(110)는 생성한 제1 개념 그래프를 저장부(150)에 저장한다.

개념 그래프 추출부(110)는 제2 텍스트에서 추출한 개념, 관계 속성을 토대로 질의 개념 그래프(이하, '제2 개념 그래프'라고도 지칭함)를 생성한다. 여기서, 개념 그래프 추출부(110)가 생성한 제1 개념 그래프와 제2 개념 그래프는, 지식을 개념 노드와 복수의 개념 노드 사이의 관계 노드들이 연결되는 형태로 표현하는 것을 의미한다.

개념 그래프 추출부(110)는 제1 개념 그래프로부터 문서 검색 시 가중치를 높일 문맥(context)과 문맥 유형을 추출한다. 여기서, 문맥이라 함은 제1 개념 그래프마다 부착되는 메타 데이터이고, 문맥 유형은 시간, 장소, 토픽 등으로 구분할 수 있다.

개념 그래프 추출부(110)는 제1 개념 그래프로부터 추출한 복수의 문맥과 문맥 유형 중 동일한 문맥을 공유하는 또 다른 영역(예를 들어, 단락 등)을 탐지한다. 개념 그래프 추출부(110)는 탐지 결과로 하나의 문맥에 대응하되 적어도 하나의 독립된 제1 문서 그래프를 추출하여 저장부(150)에 저장한다. 여기서, 개념 그래프 추출부(110)가 복수의 제1 개념 그래프 중 동일한 문맥을 공유하는 영역을 탐지하는 방법은 다양한 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.

이와 마찬가지로, 개념 그래프 추출부(110)는 제2 개념 그래프로부터 문서 검색 시 가중치를 높일 문맥과 문맥 유형을 추출한다.

개념 그래프 추출부(110)는 추출한 문맥과 문맥 유형을 임베딩 벡터로 표현한다. 개념 그래프 추출부(110)는 제1 개념 그래프에서 추출한 문맥과 문맥 유형을 표현한 임베딩 벡터를 '제1 임베딩 벡터'라 지칭하고, 제2 개념 그래프에서 추출한 문맥과 문맥 유형을 표현한 임베딩 벡터를 '제2 임베딩 벡터'라 지칭한다. 제1 임베딩 벡터로 표현된 문맥과 문맥 유형은 저장부(150)에 제1 개념 그래프와 함께 저장된다.

본 발명의 실시예에서는 개념 그래프 추출부(110)가 워드 임베딩 또는 정준상관분석(canonical correlation analysis) 방법 등을 이용하여 문맥과 문맥 정보를 임베딩 벡터로 표현하는 것을 예로 하여 설명한다. 이때, 워드 임베딩 방법이나 정준상관분석 방법은 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.

문맥 검색부(120)는 저장부(150)에 저장되어 있는 복수의 제1 임베딩 벡터와 제2 텍스트를 토대로 생성된 제2 임베딩 벡터를 이용하여, 문맥 유사도를 계산한다. 그리고 계산한 문맥 유사도를 토대로 제1 문서 그래프 중 제2 임베딩 벡터의 문맥과 문맥 유사도가 높은 문서 그래프들을 제2 문서 그래프로 추출한다.

본 발명의 실시예에서는 제1 임베딩 벡터와 제2 임베딩 벡터의 문맥 유사도를 계산할 때 코사인 유사도 함수를 이용하여 계산하는 것을 예로 하여 설명한다. 여기서 코사인 유사도 함수 이용 방법은 이미 알려진 사항으로 본 발명의 실시예에서는 상세한 설명을 생략한다.

개념 그래프 매칭부(130)는 문맥 검색부(120)에서 추출한 제2 문서 그래프에 포함된 적어도 하나의 개념마다 그래프 매칭 점수를 구한다. 이때, 본 발명의 실시예에서는 그래프 매칭 점수는 센터피스(center-piece) 알고리즘 등을 사용하여 구하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 또한, 센터피스 알고리즘은 이미 알려진 알고리즘으로, 본 발명의 실시예에서는 상세한 설명은 생략한다.

개념 그래프 매칭부(130)는 계산한 그래프 매칭 점수를 토대로 제2 개념 그래프와 의미적으로 가까운 상위 k 정답 후보 개념(이하, 설명의 편의를 위하여 '정답 후보 개념'이라 지칭함)을 추출한다.

정답 후보 랭킹부(140)는 개념 그래프 매칭부(130)가 추출한 정답 후보 개념에 대해, 문맥 검색부(120)에서 계산한 문맥 유사도와 이미 발생한 기존의 질의응답 자질들을 고려하여 정답 후보 개념을 재정렬한다. 그리고 재정렬한 정답 후보 개념을 정답 리스트로 하여 질의응답 결과로 반환한다.

이상에서 설명한 질의응답 시스템(100)이 텍스트로부터 개념 그래프 형태의 지식을 구축하여 문맥을 검색하는 방법에 대해 도 2를 참조로 설명한다.

도 2는 본 발명의 실시예에 따른 문맥 검색 방법에 대한 흐름도이다.

도 2에 도시된 바와 같이, 질의응답 시스템(100)은 제1 텍스트와 제2 텍스트를 수신하면(S100), 수신한 텍스트들로부터 개념과 관계를 각각 추출한다(S101, S102). 질의응답 시스템(100)이 복수의 제1 텍스트와 제2 텍스트로부터 개념과 관계를 추출하는 방법은 다양한 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.

질의응답 시스템(100)은 추출한 개념과 관계를 토대로, 제1 개념 그래프와 제2 개념 그래프를 구축한다(S103). 여기서 제1 개념 그래프와 제2 개념 그래프에 대해 도 3 및 도 4를 참조로 먼저 설명한다.

도 3은 본 발명의 실시예에 따른 제1 개념 그래프를 시각화한 예시도이고, 도 4는 본 발명의 실시예에 따른 제2 개념 그래프를 시각화한 예시도이다.

도 3에 도시되어 있는 제1 개념 그래프는 말뭉치 텍스트로부터 추출된 개념 그래프를 시각화한 것이다. 도 3에 도시한 제1 개념 그래프는 입력으로 "The word 'robot' firstly written in a play" (from wikipedia document titled 'robot')"가 입력되면, 질의응답 시스템(100)은 입력된 말뭉치 텍스트로부터 제1 개념 그래프를 생성하기 위한 개념과 관계로 {<robot, is_a, word> : Wikipedia:robot), (<robot, appear, play> : Wikipedia:robot)}를 추출한다.

그리고 도 4의 (a)는 질의 타입이 속성값 요청형(Fill-in-the-blank) 질의 타입인 경우의 제2 개념 그래프를 시각화한 것이고, 도 4의 (b)는 질의 타입이 연상 추론(Association inference) 질의 타입인 경우의 제2 개념 그래프를 시각화한 것이다. 본 발명의 실시예에서는 두 개의 질의 타입에 대해서만 언급하고 있으나, 기타 유형별 질의(예를 들어, 관계 추론형, 의미 요청형 등)에 대해서도 유사하게 개념 그래프를 시각화할 수 있다.

도 4(a)의 제2 개념 그래프는 "This word firstly appeared in a play. The modern meaning of it is 'a machinery similar to human'. What is this?""의 질의에 대한 응답으로 'robot'을 출력하기 위하여, 질의를 개념 그래프로 시각화한 것이다. 그리고 도 4(b)의 제2 개념 그래프는 "Apollon, Inka empire, and Louis XIV… What is related to all the above?"의 질의에 대한 응답으로 'sun'을 출력하기 위하여, 질의를 개념 그래프로 시각화한 것이다.

도 4에서 와일드카드(*), machinery, play, human, Apollon, Inka empire, Louis XIV 등은 개념(concept)에 해당하고, MEAN, SIM, APEAR는 관계에 해당한다. 와일드카드는 무엇이든지 매칭이 될 수 있는 노드를 의미하며, 와일드카드 노드 대상이 되는 노드는 미리 정의되어 있는 것을 예로 하여 설명한다.

개념이라 함은 지식의 기본 구성 단위로서, 본 발명의 실시예에서는 다음 요소 중 하나 이상을 만족하는 대상을 개념이라 지칭한다.

- Wikidata 등의 백과사전에 등재된 대상

- 풀어 설명할 수 있는 대상, 즉, 정의문이 있는 대상(Entity)

- 행동 또는 서술의 주체나 객체가 될 수 있는 대상, 그러나 특정 수치 값을 나타내는 명사구는 개념이 될 수 없음

그리고 관계라 함은 두 개념 사이의 연관 관계(행동, 상태)를 표준화하여 묶은 것으로, 개념과 개념 사이를 이어 지식의 한 단위를 구성하는 동사구가 관계를 표현한다. 예를 들어, 관계의 예는 다음과 같다.

- part-of (부분이다, 구성하다, …)

- member-of (속하다, 소속되다, 구성원이다, …)

- founder-of (설립하다, 창립하다, 세우다, …)

- located-in (위치하다, ∼에 있다, …)

한편 상기 도 2를 이어 설명하면, S103 단계에서 제1 개념 그래프와 제2 개념 그래프를 구축하면, 질의응답 시스템(100)은 제1 개념 그래프와 제2 개념 그래프에서 문맥과 문맥 유형을 추출한다. 그리고 추출한 문맥과 문맥 유형을 토대로 제1 개념 그래프에서 추출한 문맥과 문맥 유형을 통해서는 제1 임베딩 벡터를 표현하고, 제2 개념 그래프에서 추출한 복수의 문맥과 문맥 유형을 통해서는 제2 임베딩 벡터를 표현한다(S104).

여기서, 질의응답 시스템(100)은 제1 개념 그래프에서 문맥과 문맥 유형을 추출할 경우, 동일한 문맥을 공유하는 영역들을 탐지하여 독립된 제1 문서 그래프를 생성한다(S105). 제1 문서 그래프는 제1 텍스트인 말뭉치 텍스트에서 추출된 모든 문맥과 문맥 유형을 토대로 형성된 문서 그래프이다.

질의응답 시스템(100)은 S104 단계에서 표현한 제1 임베딩 벡터와 제2 임베딩 벡터를 토대로, 문맥 유사도를 계산한다(S106). 그리고 제1 문서 그래프 중 제1 임베딩 벡터와 문맥 유사도가 높은 제1 문서 그래프를 제2 문서 그래프로써 추출한다(S107).

질의응답 시스템(100)은 S107 단계에서 추출한 제2 문서 그래프의 개념마다 그래프 매칭 점수를 계산하고(S108), 제2 개념 그래프와 의미적으로 가까운 문서 그래프를 정답 후보 개념으로 추출한다(S109). 이때, 질의응답 시스템(100)은 그래프 매칭 점수를 구하기 위해 센터피스 알고리즘, Word2Vec, CCA(Canonical Correlation Analysis) 등의 방법을 통해 계산하며, 각각의 방법들은 이미 알려진 것으로 본 발명의 실시예에서는 상세한 설명을 생략한다.

S109 단계에서 복수의 정답 후보 개념을 추출하면, 질의응답 시스템(100)은 정답 후보 개념을 다양한 자질들을 기초로 재정렬한다(S110). 이때, 질의응답 시스템(100)이 정답 후보 개념을 재정렬하기 위해 사용하는 자질로는, S108 단계에서 구한 그래프 매칭 점수나 의미적 유사도, 질의 유형이 부정형 문제인지 여부 등을 이용할 수 있으며, 어느 하나의 형태로 자질을 한정하지 않는다.

질의응답 시스템(100)은 S110 단계에서 재정렬된 정답 후보 개념을 질의응답 결과로 사용자에게 제공한다(S111).

이상에서 설명한 질의응답 시스템(100)을 이용하여 질의응답을 수행한 경우의 성능에 대해 도 5 내지 도 7을 참조로 설명한다.

도 5는 본 발명의 실시예에 따른 질의응답에 대한 성능평가를 나타낸 예시도이다.

도 5에 도시된 바와 같이, 임의의 형태의 질의가 입력되면 질의응답 시스템(100)으로 입력되면, 질의응답 시스템(100)은 질의를 토대로 제2 개념 그래프를 생성한다. 그리고, 다양한 형태의 언어 도구를 이용하여 질의에 포함된 언어를 분석하는데, 미리 구축되어 있는 한국어 개념 그래프를 이용하여 질의에 포함된 언어를 분석한다.

여기서, 한국어 개념 그래프는 350,902개의 개념과 105 종류의 개념 타입, 47개의 관계, 전체 트리플 수는 1,618,458개, 그리고 303,429개의 한글 문서를 통해 생성되어 있다. 여기에, 2,355개의 질문을 추가로 이용하여 한국어 개념 그래프가 생성되어 있는 것을 예로 하여 설명한다.

이러한 환경에서, 정답으로 제공된 정답 후보의 질의에 대한 매칭 정확도를 살펴보면, 200문장을 샘플링하여 얻은 변환 정확도는 80%, 샘플링된 문장에 정답 개념을 포함하는 포함율은 92.54%에 해당한다. 그리고 그래프 매칭의 정확도는 질의가 속성값 요청형의 경우에는 91%, 연산추론형은 80%를 나타냄을 알 수 있다.

질의에 대한 성능 평가에 대해 다른 형태로 살펴보면, 도 6은 본 발명의 제1 실시예에 따른 질의에 대한 성능 평가 결과에 대한 그래프이고, 도 7은 본 발명의 제2 실시예에 따른 질의에 대한 성능 평가 결과에 대한 그래프이다.

도 6은 질의 타입이 속성값 요청형인 경우에 대한 성능 평가 결과를 나타낸 그래프이고, 도 7은 연상 추론형 질의에 대한 성능 평가 결과를 나타낸 그래프이다. 도 6에서는 170개의 속성값 요청형 질의를 질의응답 시스템(100)에 입력하였을 때의 성능을 나타내었으며, 도 7에서는 30개의 연상 추론형 질의를 입력하였을 때의 성능 평가를 나타내었다.

두 그래프에서 X축은 질의에 대해 반환된 정답의 개수를 나타내고 Y축은 질의응답으로 도출된 결과에 대한 정확도를 나타낸다. 도 6과 도 7에 나타나 있는 바와 같이, 질의의 수가 많아 질수록 정답 후보 개념으로 제공되는 개념들 중 질의에 대응하는 개념을 추출하는 비율이 높아짐을 알 수 있다.

이상의 질의응답 시스템(100)에 질의를 입력하였을 때 제공되는 응답의 예에 대해 도 8 및 도 9를 참조로 설명한다.

도 8은 본 발명의 제1 실시예에 따른 질의에 대한 응답의 예시도이고, 도 9는 본 발명의 제2 실시예에 따른 질의에 대한 응답의 예시도이다.

먼저, 도 8은 질의로 '이곳은 미국 매사추세츠 주의 주도로 하버드, MIT 등 다수의 명문대와 명문 고등학교들이 있는 도시이다. 미국을 대표하는 교육도시인 이곳은 어디일까'이 질의응답 시스템(100)으로 입력되었다고 가정한다. 이때의 질의 형태는 속성값 요청형으로, 서로 다른 개념들과 연결된 정답을 채워 넣어야 맞출 수 있는 문제에 해당한다.

질의응답 시스템(100)은 질의로부터 검색 시 가중치를 높일 문맥으로 매사추세츠주, 미국, MIT, 하버드 등을 추출한다. 그리고, 미리 매사추세츠주, 미국, MIT, 하버드 등의 문맥을 동일한 문맥으로 공유하고 있는 제1 문서 그래프의 임베딩 벡터와 추출한 문맥을 통해 표현한 임베딩 벡터를 토대로 문맥 유사도가 높은 것으로파악되는 상위 문맥으로 매사추세츠 주, 미국, 인하대학교 등을 토대로 생성된 문서 그래프를 추출한다.

그리고, 추출한 상위 문맥마다 그래프 매칭 점수를 구하여, 질의 문맥 그래프와 의미적으로 가까운 상위 정답 후보를 추출한다. 도 8에서는 보스턴, 우스터, 케임브리지 등의 정답 후보 개념들이 추출된 것으로 나타내었다. 질의응답 시스템(100)은 추출된 정답 후보 개념들을 문맥 유사도 또는 다른 질의응답 자질들을 고려하여 정답 후보 개념들을 재정렬한다.

이때, 질의에 대한 정답은 '보스턴'으로 정답 후보 중 첫 번째 랭킹에 정답이 포함되어 있는 것을 알 수 있다. 따라서, 질의응답 시스템(100)은 정답으로 보스턴을 출력한다.

또 다른 실시예로 도 9에 나타낸 바와 같이, 질의로 '고려가요 <정석가>에서 이루어질 수 없는 불가능한 상황을 설정해 임과의 영원한 사랑을 기원하는 표현이 아닌 것은 무엇일까?'가 입력되는 것을 예로한다.

그러면, 질의응답 시스템(100)은 다른 개념들과 의미적 관련이 있는 정답을 찾는 문제인 관계 추론형과, 보기 중 질의와 가장 거리가 먼 것을 고르는 문제인 부정형이 섞인 질의에서는 '정석가', '고려가요', '한국음악' 등을 상위 문맥으로 추출한다.

질의응답 시스템(100)은 매칭한 정답 후보로 '청산별곡', '쌍화점'등을 추출한다. 이때 질의가 부정형 문제이기 때문에, 질의응답 시스템(100)은 보기에서 가장 질의에 대한 정답과 거리가 먼 '무쇠로 만든 나무에서 싹이 남'을 도출하는 것을 알 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (11)

1. 질의응답 시스템이 입력된 질의를 처리하기 위하여 문맥을 검색하는 방법으로서,
   입력되는 질의로부터 문맥을 추출하여 질의 임베딩 벡터를 생성하는 단계,
   말뭉치 텍스트를 통해 미리 생성되어 있는 말뭉치 임베딩 벡터와 상기 생성한 질의 임베딩 벡터의 문맥 유사도를 계산하여, 상기 질의와 문맥 유사도가 높은 문서 그래프를 추출하는 단계,
   상기 추출한 문서 그래프 내에 포함된 적어도 하나의 개념에 대한 그래프 매칭 점수를 구하여, 상기 질의에 대한 복수의 정답 후보 개념을 추출하는 단계, 그리고
   상기 복수의 정답 후보 개념에서 상기 질의에 대한 정답을 질의응답 결과로 제공하는 단계
   를 포함하는 문맥 검색 방법.
2. 제1항에 있어서,
   상기 질의 임베딩 벡터를 생성하는 단계 이전에,
   상기 말뭉치 텍스트로부터 개념, 관계, 속성을 추출하는 단계,
   상기 추출한 개념, 관계 속성을 토대로 문서 개념 그래프를 생성하는 단계, 그리고
   상기 문서 개념 그래프로부터 복수의 문맥과 문맥 각각에 대한 문맥 유형을 추출하고, 문맥과 문맥 유형을 토대로 말뭉치 임베딩 벡터를 생성하는 단계
   를 포함하는 문맥 검색 방법.
3. 제2항에 있어서,
   상기 말뭉치 임베딩 벡터를 생성하는 단계는,
   상기 문서 개념 그래프에서 동일한 문맥을 공유하는 영역을 탐지하는 단계, 그리고
   상기 탐지한 영역 각각을 상기 동일한 문맥에 대한 문서 그래프로 추출하는 단계
   를 더 포함하는 문맥 검색 방법.
4. 제3항에 있어서,
   상기 질의 임베딩 벡터를 생성하는 단계는,
   상기 질의로부터 개념과 관계를 추출하는 단계,
   상기 추출한 개념과 관계를 토대로 질의 개념 그래프를 생성하는 단계, 그리고
   상기 질의 개념 그래프로부터 상기 문맥과 문맥 유형을 추출하고, 문맥과 문맥 유형을 이용하여 상기 임베딩 벡터를 생성하는 단계
   를 포함하는 문맥 검색 방법.
5. 제4항에 있어서,
   상기 문맥과 문맥 유형을 기초로 워드 임베딩 또는 정준상관분석 방법 중 어느 하나의 방법으로 상기 임베딩 벡터를 표현하는 문맥 검색 방법.
6. 제4항에 있어서,
   상기 문맥 유사도가 높은 문서 그래프를 추출하는 단계는,
   상기 질의 임베딩 벡터와 말뭉치 임베딩 벡터를 기초로 문맥 유사도를 계산하는 단계, 그리고
   상기 복수의 문맥별 문서 그래프 중 상기 계산한 문맥 유사도가 높은 그래프를 상기 문서 그래프로 추출하는 단계
   를 포함하는 문맥 검색 방법.
7. 질의응답 시스템으로서,
   수신한 말뭉치 텍스트로부터 복수의 제1 문맥을 추출하여 문맥별로 제1 임베딩 벡터와 제1 문서 그래프를 생성하고, 수신한 질의로부터 제2 문맥을 추출하여 제2 임베딩 벡터를 생성하는 개념 그래프 추출부,
   상기 제1 문서 그래프 중 상기 제2 문맥과 문맥 유사도가 높은 문서 그래프를 제2 문서 그래프로 특정하는 문맥 검색부,
   상기 제2 문서 그래프에 포함된 적어도 하나의 개념 각각에 대한 그래프 매칭 점수를 계산하여, 상기 수신한 질의에 대응하는 복수의 정답 후보 개념을 출력하는 개념 그래프 매칭부, 그리고
   상기 문맥 유사도를 기초로 상기 복수의 정답 후보 개념을 재정렬하고, 상기 질의의 유형에 따라 어느 하나의 정답 후보 개념을 질의응답 결과로 출력하는 정답 후보 랭킹부
   를 포함하는 질의응답 시스템.
8. 제7항에 있어서,
   상기 개념 그래프 추출부는,
   상기 말뭉치 텍스트와 질의로부터 개념, 관계 그리고 속성을 추출하고,
   추출한 개념 관계 그리고 속성을 토대로 상기 말뭉치 텍스트로부터 제1 개념 그래프를 생성하고, 질의로부터 제2 개념 그래프를 생성하는 질의응답 시스템.
9. 제8항에 있어서,
   상기 개념 그래프 추출부는,
   상기 추출한 제1 문맥과 제2 문맥 각각에 대한 문맥 정보를 각각 확인하고,
   상기 제1 문맥과 문맥 정보를 토대로 제1 임베딩 벡터를 생성하고, 상기 제2 문맥과 문맥 정보를 토대로 제2 임베딩 벡터를 생성하는 질의응답 시스템.
10. 제9항에 있어서,
    상기 개념 그래프 추출부는,
    상기 제1 개념 그래프에서 동일한 문맥을 공유하는 영역을 탐지하고, 탐지한 영역 각각을 상기 동일한 문맥에 대한 상기 제1 문서 그래프로 추출하는 질의응답 시스템.
11. 제7항에 있어서,
    상기 개념 그래프 추출부가 추출한 제1 임베딩 벡터와 제1 문서 그래프를 저장하는 저장부
    를 더 포함하는 질의응답 시스템.

Images