KR101709055B1 - 오픈 웹 질의응답을 위한 질문분석 장치 및 방법 - Google Patents

Abstract

오픈 웹의 다양한 특성과 질의응답의 특성을 반영하여 사용자의 질문에 대한 명확한 정답을 찾을 수 있는 오픈 웹 질의응답을 위한 질문분석 장치 및 방법이 개시된다. 외부로부터 제공된 질문에 언어분석을 수행하는 질문언어 분석부와 언어분석된 질문에서 질문유형인식 결과, 주소정보, 주제정보 및 질문형태정보 중 적어도 하나를 질문인식결과로 인식하는 질문 인식부와 질문 인식부로부터 질문인식결과를 제공받아 기정의된 패턴이나 기정의된 기계학습 데이터에 매칭되는 경우에 언어분석된 질문의 질문정답유형으로 인식하는 질문정답유형 인식부와 언어분석된 질문에서 키워드를 추출하고 추출된 키워드를 이형태 정보, 클릭 로그 및 키워드확장 사전 중 적어도 하나에 기반하여 키워드를 확장하는 키워드 인식부를 포함하는 오픈 웹 질의응답을 위한 질문분석 장치 및 방법을 구성한다. 따라서, 오픈 웹의 다양한 특성과 질의응답의 특성을 반영하여 사용자의 질문에 대한 명확한 정답을 찾을 수 있다.

Description

오픈 웹 질의응답을 위한 질문분석 장치 및 방법{Apparatus and Method for Question Analysis for Open web Question-Answering}

본 발명은 질의응답 기술에 관한 것으로, 더욱 상세하게는 제한된 도메인이 아닌 오픈 웹 환경에서 질의응답을 수행함에 있어 사용자들의 다양한 질문에 대해서 처리할 수 있는 오픈 웹 질의응답을 위한 질문분석 장치 및 방법에 관한 것이다.

최근 웹과 인터넷 기술의 발전으로 다양한 유형의 디지털 콘텐츠들이 기하급수적으로 생산 및 유통되고 있고, 이와 같은 환경 변화는 사용자가 입력하는 소정의 검색 질의어에 대해 검색을 수행한 후 검색 질의어에 상응하는 검색 결과를 사용자에게 제공하는 것인 검색에 대한 수요를 창출하였다. 따라서, 웹사이트 상에 각종 검색 엔진 및 정보검색 사이트가 제공되고 있으며 사용자는 이를 이용하여 웹상의 각종 콘텐츠 등에 존재하는 다양한 정보를 쉽고 빠르게 획득하고 있다.

그러나, 다양한 분야에서 넘쳐나는 정보들을 검색하는 것만으로는 사용자들의 정보 검색에 대한 욕구를 충족시키기 어렵다. 이와 같은 이유로 최근에 사용자가 요구하는 정보를 자연어 질문으로 입력하였을 때, 시스템이 사용자의 질문에 부합하는 정답을 콘텐츠로부터 찾아서 제시하는 질의응답 기술이 개발되었으나, 기존의 질의응답 기술은 제한된 도메인 및 콘텐츠를 대상으로 질문을 처리하는 한계가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 제1 목적은, 오픈 웹의 다양한 특성과 질의응답의 특성을 반영하여 사용자의 질문에 대한 명확한 정답을 찾을 수 있는 오픈 웹 질의응답을 위한 질문분석 장치를 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 제2 목적은, 오픈 웹의 다양한 특성과 질의응답의 특성을 반영하여 사용자의 질문에 대한 명확한 정답을 찾을 수 있는 오픈 웹 질의응답을 위한 질문분석 방법을 제공하는데 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 오픈 웹 질의응답을 위한 질문분석 장치는 외부로부터 제공된 질문에 대하여 전처리를 수행할 수 있고, 전처리된 질문에서 형태소 분석, 개체명 인식, 구문분석, 의미분석 등의 언어분석을 수행할 수 있는 질문 언어분석부와, 언어분석된 질문에 포함되어 있는 의문사정보, 주소정보, 지역을 의미하는 POI(Point Of Interest) 정보, 주제 정보 등을 인식할 수 있고, 언어분석된 질문이 질의, 키워드 나열형 질문, 자연어 질문 등으로 구분하는 기능을 수행할 수 있는 질문 인식부와, 상기 질문 인식부에서 제공받은 질문인식 결과를 패턴에 기반한 질문정답유형 모델을 이용하여 질문정답유형을 인식하는 기능을 수행하거나 또는 상기 질문 인식부에서 제공받은 질문인식 결과를 패턴에 기반한 질문정답유형 모델 및 기계학습 모델을 통합하여 질문정답유형을 인식하는 기능을 수행할 수 있는 질문정답유형 인식부와, 상기 언어분석된 질문에 포함된 키워드를 추출하는 기능을 수행할 수 있는 키워드 인식부를 포함하여 구성될 수 있다.

상기한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 오픈 웹 질의응답을 위한 질문분석 방법은 외부로부터 제공된 질문에 전처리를 수행하는 단계와, 전처리된 질문에 대하여 형태소 분석, 개체명 인식, 구문분석, 의미분석 등의 언어분석을 수행하는 단계와, 언어분석된 질문에 포함되어 있는 의문사정보, 주소정보 및 주제정보를 인식하는 단계와, 언어분석된 질문이 정보검색을 위한 질의인지, 키워드 나열형태의 질문인지, 자연어 질문인지를 구분하는 단계와, 질문인식결과를 분석하여 기저장된 또는 외부로부터 제공된 일정한 패턴에 매칭되는 경우에 해당 질문정답유형으로 결정하는 단계와, 패턴기반질문정답유형인식 모듈에서 질문정답유형을 인식하지 못하거나 또는 두 개 이상의 질문정답유형이 인식되는 경우에는 학습기반질문정답유형인식 모듈로 기계학습에 기반한 질문정답유형을 인식하고 상기 학습기반질문정답유형인식 모듈의 결과와 상기 패턴기반질문정답유형인식 모듈의 결과를 통합하여 질문정답유형을 인식하는 단계와, 질문정답유형인식 결과에 기반하여 질문형태인식의 오류를 수정하는 단계와, 언어분석된 질문에서 키워드를 추출하고 오픈 웹 질의응답을 위한 지식베이스 상에서 해당 키워드가 타이틀로 존재하는지 여부를 판단하는 단계와, 추출된 키워드를 이형태 정보, 클릭 로그 또는 키워드 확장사전에 기반하여 추출된 다양한 연관키워드 정보로 확장하는 단계와, 개체명 정보와 구문 정보 등에 기반한 규칙을 활용하거나 색인키워드의 빈도 등을 사용하여 인식된 질문 핵심어휘에 대하여 보다 높은 가중치를 부여하여 질문에서 가장 중요한 키워드를 인식하여 질문을 분석하는 단계를 포함하여 구성될 수 있다.

상기와 같은 본 발명에 따른 오픈 웹 질의응답을 위한 질문분석 장치 및 방법은 외부로부터 제공된 질문에 대하여 전처리를 수행하고, 언어분석을 수행하며, 언어분석된 질문에 포함되어 있는 의문사, 주소 등의 정보를 인식하고, 언어분석된 질문을 패턴에 기반한 질문정답유형 모델 또는 패턴에 기반한 질문정답유형 모델 및 기계학습 모델을 통합하여 질문정답유형을 인식하고, 언어분석된 질문에 포함된 키워드를 추출할 수 있다.

이를 통해 오픈 웹의 다양한 특성과 질의응답의 특성을 반영하여 사용자의 질문에 대한 명확한 정답을 찾을 수 있도록 질문을 분석할 수 있다.

도 1은 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 장치 및 방법의 질문유형과 질문정답유형에 대한 의존관계를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 장치 및 방법의 질문유형에 따른 질문정답유형 인식을 위한 패턴의 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 장치 및 방법의 질문정답유형 목록의 예를 나타낸다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 질문분석 장치(100)는 외부로부터 제공된 질문의 언어분석을 수행하고, 검색대상 콘텐츠를 필터링하기 위해 기저장된 또는 외부로부터 제공된 질문정답유형(QAT: Question Answer Type)에 기반하여 외부로부터 제공된 질문에 대하여 인식된 해당 질문정답유형과 질문주제, 지역정보 등을 인식하는 기능을 수행하고, 상기 언어분석된 질문에서 키워드를 인식하고, 인식된 키워드를 이형태정보와 클릭 로그 등에 기반하여 키워드 확장을 수행함으로써 외부로부터 입력된 질문에 대한 명확한 정답을 찾기 위한 질문을 분석하는 기능을 수행할 수 있다.

질문분석 장치(100)는 질문 언어분석부(110), 질문 인식부(120), 질문정답유형 인식부(130) 및 키워드 인식부(140)를 포함하여 구성될 수 있다.

상기 질문 언어분석부(110)는 외부로부터 제공된 질문에 대하여 전처리를 수행할 수 있고, 상기 전처리된 질문에서 형태소 분석, 개체명 인식, 구문분석, 의미분석 등의 언어분석기능을 수행할 수 있다.

상기 질문 언어분석부(110)는 질문 전처리 모듈(111) 및 언어분석 모듈(112)을 포함하여 구성될 수 있다.

상기 질문 전처리 모듈(111)은 띄어쓰기가 생략되거나 다양한 형태의 이모티콘이 포함된 외부로부터 제공된 질문에 대하여 띄어쓰기 오류를 수정하거나 다양한 형태의 이모티콘을 제거하는 전처리를 수행할 수 있다.

상기 전처리의 띄어쓰기 오류의 수정은 기저장된 또는 외부로부터 제공된 띄어쓰기 규칙 사전(2000)을 이용하여 수행될 수 있고, 상기 이모티콘의 제거는 기저장된 또는 외부로부터 제공된 이모티콘 제거 규칙 사전(1000)을 이용하여 수행될 수 있다.

상기 언어분석 모듈(112)은 상기 전처리된 질문에서 형태소 분석, 개체명 인식, 구문분석, 의미분석 등의 언어분석기능을 수행할 수 있다. 상기 형태소 분석은 전처리된 질문을 한국어 문법상 하나의 의미를 갖는 최소 단위인 형태소로 분석하는 것을 의미할 수 있고, 상기 구문분석은 상기 전처리된 질문의 구문구조를 분석하는 것을 의미할 수 있다. 상기 의미분석은 상기 전처리된 질문에서 질문 작성자의 의미를 파악하는 것을 의미할 수 있다. 여기서, 상기 개체명 인식과 상기 의미분석의 결과는 질문정답유형 인식을 위한 중요한 자질이 될 수 있다.

상기 질문 인식부(120)는 상기 언어분석된 질문에 포함되어 있는 의문사정보, 주소정보, 지역을 의미하는 POI(Point Of Interest) 정보, 주제 정보 등을 인식할 수 있고, 상기 언어분석된 질문을 질의, 키워드 나열형 질문, 자연어 질문 등으로 구분하는 기능을 수행할 수 있다.

상기 질문 인식부(120)는 질문유형인식 모듈(121), 주소제약인식 모듈(122), 질문주제분류 모듈(123) 및 질문형태인식 모듈(124)을 포함하여 구성될 수 있다.

상기 질문유형(QT : Question Type)인식 모듈(121)은 상기 언어분석된 질문에 포함되어 있는 의문사정보를 인식하는 기능을 수행할 수 있고, 질문에 포함된 의문사정보는 질문정답유형을 결정함에 중요한 자질이 될 수 있다. 예를 들어, "미국의 대통령은 누구인가요?"의 질문에서 '누구'라는 의문사정보는 질문정답유형이 사람(PS_NAME)임을 결정함에 있어서 중요한 단서가 될 수 있는 것이다.

상기 주소제약인식 모듈(122)은 상기 언어분석된 질문에 포함되어 있는 주소정보 및 POI 정보를 인식하고, 주소정보의 모호성을 해소하는 기능을 수행할 수 있다.

상기 언어분석된 질문에 기반하여 인식될 수 있는 주소정보들은 해당 질문에 대한 정답이 특정지역에 대하여 제한된 정보임을 파악할 수 있게 한다. 즉, 상기 주소정보들은 질문에 대한 정답을 포함하는 콘텐츠를 검색할 경우에 필터링의 중요한 단서가 될 수 있다.

또한, 주소정보와 POI 정보들은 서로 간의 지역적 모호성을 해소할 수 있는 계층적 관계를 형성할 수 있다. 예를 들어, "경기도 광주에 시외버스터미널 전화 번호는?"이라는 질문에서 주소정보는 '경기도'와 '광주'가 있다. '광주'는 '광주광역시'와 '경기도 광주시'로 모호성이 있으나, 본 질문에서는 '경기도'라는 주소정보가 있으므로, '경기도 광주시'를 언급한 것임을 알 수 있다.

이처럼 주소제약인식 모듈(122)은 주소정보의 모호성을 해소하는 기능을 수행할 수 있다. 주소에 대한 정보는 주소정보와 일반 POI 정보를 구분하고 있고, 해당 주소에 대한 계층적인 코드 정보를 포함하고 있는 기저장된 또는 외부로부터 제공된 주소정보 사전(3000)을 이용할 수 있다.

상기 질문주제분류 모듈(123)은 상기 언어분석된 질문에 기반하여 사용자의 질문이 어떤 주제에 대해서 언급하는 것인지를 파악하는 기능을 수행할 수 있으며, 질문주제분류는 기계학습 모델과 콘텐츠 색인 인덱스에 기반한 통계 모델을 통합하여 인식할 수 있다. 상기 주제는 뉴스의 카테고리 분류 정보를 이용할 수 있다. 상기 언어분석된 질문만으로는 콘텍스트(Context) 정보가 부족하여 질문의 주제를 분류하는 것이 상당히 어려운 문제일 수 있다.

따라서, 상기 기계학습 모델에 기반한 질문주제분류를 위해서 주제분류 학습데이터를 기계학습 모델을 통하여 학습한 결과인 주제분류 학습모델(4000)을 이용할 수 있다. 그리고 사전에 주제 할당된 콘텐츠로부터 추출한 키워드들의 빈도(Term Frequency)에 기반한 주제인식 모델인 콘텐츠 색인 인덱스에 기반한 통계 모델을 이용할 수 있다.

상기 질문형태(Question Form)인식 모듈(124)은 상기 언어분석된 질문이 정보검색을 위한 질의(Query)인지, 키워드 나열형태의 질문(Question)인지, 자연어 질문(Question)인지를 구분하는 질문형태정보를 인식하는 기능을 수행할 수 있다. 예를 들어, "질의응답"이라고 입력할 경우에 질문보다는 질의로 볼 수 있어 정보검색을 통하여 정보를 제공하는 것이 사용자의 요구를 충족시킬 가능성이 높을 것이다.

또한, 예를 들어, "미국 대통령 이름"과 같이 단순 키워드 나열로 질문하는 경우는 "미국 대통령의 이름이 무엇인가요?"라는 질문과 동일한 것으로 볼 수 있어, 형태는 단순한 질의 형태인 키워드 나열이지만, 질문으로써 처리되어야 바람직할 것이다.

따라서, 사용자의 입력 형태를 구분하여 보다 정확하게 사용자의 요구에 부합하는 정보를 제공하기 위해서 질의, 키워드 나열형 질문, 자연어 질문으로 구분하는 것이 바람직할 것이다. 이처럼, 구분된 결과에 따라 질의는 정보검색 결과를, 키워드 나열형 질문과 자연어 질문은 질의응답 결과를 제시할 수 있다.

상기 질문정답유형 인식부(130)는 상기 질문 인식부(120)에서 제공받은 질문인식 결과에 대해 패턴에 기반한 질문정답유형 모델을 이용하여 질문정답유형을 인식하는 기능을 수행할 수 있거나 또는 상기 질문 인식부(120)에서 제공받은 질문인식 결과에 대해 패턴에 기반한 질문정답유형 모델 및 기계학습 모델을 통합하여 질문정답유형을 인식하는 기능을 수행할 수 있다. 여기서, 상기 질문인식결과는 상기 언어분석된 질문, 상기 질문유형인식 결과, 상기 주소정보, 상기 주제정보, 상기 질문형태정보 등을 포함할 수 있다.

상기 질문정답유형 인식부(130)는 패턴기반질문정답유형인식 모듈(131), 학습기반질문정답유형인식 모듈(132) 및 질문유형인식 모듈(후처리)(133)을 포함하여 구성될 수 있다.

상기 패턴기반질문정답유형인식 모듈(131)은 상기 질문인식결과를 분석하여 기저장된 또는 외부로부터 제공된 일정한 패턴에 매칭되는 경우에 해당 질문정답유형으로 결정하는 기능을 수행할 수 있다. 상기 패턴기반질문정답유형은 상기 질문유형별로 구분하여 구축될 수 있으며, 정규표현식(Regular Expression)을 이용할 수 있다. 상기 정규표현식은 도 4에 도시되어 있다.

상기 학습기반질문정답유형인식 모듈(132)은 다양한 유형의 질문을 수집하고, 각 질문에 대하여 질문정답유형 학습데이터를 구축하여 기계학습(Machine Learning)을 한 모델일 수 있고, 기계학습에 기반하여 인식된 질문정답유형은 도 3에 도시된 질문유형과 질문정답유형의 의존관계에 기반하여 필터링될 수 있다.

예를 들어, 의문사 '몇'이 포함된 질문의 경우에 기계학습에 의해 인식된 질문정답유형들 중에서 QT_OTHERS, DT_OTHERS, TI_OTHERS를 제외한 질문정답유형은 필터링된다.

즉, 오픈 웹 질의응답은 다양한 유형의 질문을 처리할 수 있어야 하기 때문에, 패턴기반질문정답유형인식 모듈(131)만으로 사용자의 다양한 질문을 수용할 수 없는 경우에는 기계학습을 통한 모델을 패턴기반질문정답유형인식 모델과 통합하여 수행될 수 있다.

예를 들어, 패턴기반질문정답유형인식 모듈(131)에서 질문정답유형이 명확하게 하나만 인식되는 경우에는 학습기반질문정답유형인식 모듈(132)을 거치지 않을 수 있다.

그러나, 패턴기반질문정답유형인식 모듈(131)에서 질문정답유형을 인식하지 못하거나 또는 두 개 이상의 질문정답유형이 인식되는 경우에는 학습기반질문정답유형인식 모듈(132)에서 기계학습에 기반한 질문정답유형을 인식하고 상기 패턴기반질문정답유형인식 모듈(131) 및 상기 학습기반질문정답유형인식 모듈(132)의 결과들을 통합하여 질문정답유형을 인식할 수 있다.

또한, 기계학습에 기반한 질문정답유형인식을 위해서 다수의 질문정답유형 학습데이터로 학습을 수행한 기저장된 또는 외부에서 제공된 질문정답유형 학습모델(5000)을 이용할 수 있다.

상기 질문유형인식 모듈(133)은 상술한 질의와 키워드 나열형 질문은 구분이 모호한 경우가 많아 상기 패턴기반질문정답유형인식 모듈(131)로부터 제공되거나 또는 상기 학습기반질문정답유형인식 모듈(132)로부터 제공된 질문정답유형인식 결과에 기반하여 질문형태인식의 오류를 수정하는 기능을 수행할 수 있다.

상기 키워드 인식부(140)는 상기 언어분석된 질문에 포함된 키워드를 추출하는 기능을 수행할 수 있다.

상기 키워드 인식부(140)는 키워드추출 및 타이틀인식 모듈(141), 키워드확장 모듈(142) 및 핵심키워드인식 모듈(143)을 포함하여 구성될 수 있다.

상기 키워드추출 및 타이틀인식 모듈(141)은 오픈 웹 질의응답을 위한 지식베이스(Knowledge Base)에 상기 언어분석된 질문에서 형태소단위 키워드, 복합명사단위 키워드, 어절단위 키워드, 용언 키워드, 용언활용형 키워드 등으로 구분하여 추출한 키워드가 타이틀로 존재하는지 여부를 결정하는 기능을 수행할 수 있다. 예를 들어, 상기 지식베이스는 위키피디아(Wikipedia) 등이 될 수 있다.

상기 키워드확장 모듈(142)은 타이틀의 이형태 정보 및 유의어 정보로서 키워드확장에 활용가능한 리다이렉션(Redirection) 정보로부터 추출된 이형태 정보와 검색에서 사용자의 질의와 검색결과 중 사용자가 클릭한 URL(Uniform Resource Locator)의 관계성을 확인할 수 있는 중요한 자원인 클릭 로그(Click Log)에 기반하여 추출된 다양한 연관키워드 정보로 확장하는 기능을 수행할 수 있다.

즉, 사용자의 질의와 URL의 쌍 정보를 활용하여, 동일한 URL로 연결되는 사용자 질의들은 의미론적으로 연관관계가 있을 가능성이 많으므로, 이런 연관성을 기반으로 클릭 로그에 기반한 연관키워드로 확장이 가능할 수 있다. 또한, 타이틀 인식과 키워드 확장을 위해서는 키워드 확장 사전(6000)을 활용할 수 있다.

예를 들어, 지식베이스로 위키피디아를 활용하는 경우에 있어서, 'ETRI'라는 타이틀은 '한국전자통신연구원'과 동일한 객체를 의미하므로, 위키피디아에서는 'ETRI'를 '한국전자통신연구원'으로 리다이렉션하고 있어, 'ETIR'를 찾으면 자동으로 '한국전자통신연구원'으로 검색되는 것이다.

상기 핵심키워드인식 모듈(143)은 정답이 포함되어 있을 가능성이 높은 콘텐츠를 검색함에 있어서 키워드별로 가중치를 부여할 때 활용되고, 가장 중요한 키워드를 인식하는 기능을 할 수 있다. 이는 개체명 정보와 구문정보 등에 기반한 규칙을 활용하여 인식된 질문 핵심어휘에 대하여 보다 높은 가중치를 부여하고자 할 경우에 활용될 수 있다.

상기 개체명 정보를 인식하는 개체명 인식은 일반적인 명사보다는 고유명사에 해당하는 것을 태깅하는 기술로 개체명 인식으로 태깅된 키워드는 그렇지 않은 키워드보다 상대적으로 중요한 의미를 가질 수 있다.

또한, 상기 구문정보는 예를 들어, "거북선 개발자"라는 구문에서 일반적으로 '거북선'이 특정 객체가될 수 있고, '개발자'가 객체의 속성이 될 수 있으므로 상기와 같은 예에서는 객체가 중요한 키워드가 될 수 있고, 속성에 해당하는 '개발자'는 질문정답유형을 파악하는 중요한 정보가 될 수 있다.

예를 들어, "거북선을 만든 장군의 이름은 뭔가요?"라는 질문의 경우에 추출될 수 있는 키워드들은 '거북선', '장군', '이름' 등이 될 수 있고, 이들 키워드들로 콘텐츠를 검색할 때에 가장 중요하게 포함되어야 할 키워드는 '거북선'이 될 수 있다.

이와 같이 핵심키워드는 구문구조(청킹) 및 개체명 인식의 결과를 기반으로 추출할 수 있고, 핵심키워드로 인식된 키워드는 다른 키워드에 비해서 높은 가중치 예를 들어, 상기의 예에서 '거북선'의 가중치는 '1', '장군'의 가중치는 '0.5', '이름'의 가중치는 '0.2'로 부여하여 콘텐츠 검색을 수행할 수 있다.

도 2는 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 방법을 나타내는 흐름도이다.

도 2를 참조하면, 오픈 웹 질의응답을 위한 질문분석장치(100)는 외부로부터 제공된 질문이 띄어쓰기가 생략되거나 다양한 형태의 이모티콘이 포함된 경우에 띄어쓰기 오류를 기저장된 또는 외부로부터 제공받은 띄어쓰기 규칙 사전(2000)을 이용하여 수정하고, 다양한 형태의 이모티콘을 기저장된 또는 외부로부터 제공받은 이모티콘 제거 사전(1000)을 이용하여 제거하는 전처리를 수행하며(단계 200), 상기 전처리된 질문에 대하여 형태소 분석, 개체명 인식, 구문분석, 의미분석 등의 언어분석을 수행한다(단계 210).

상기 질문분석장치(100)는 상기 언어분석된 질문에 포함되어 있는 의문사정보를 인식하고(단계 220), 상기 언어분석된 질문에 포함되어 있는 주소정보 및 지역을 의미하는 POI(Point Of Interest) 정보를 주소정보 사전(3000)을 이용하여 인식하고, 주소정보의 모호성을 해소한다(단계 230).

상기 질문분석장치(100)는 상기 언어분석된 질문에 기반하여 주제분류학습 모델(4000)을 이용한 기계학습 모델과 콘텐츠 색인 인덱스에 기반한 통계 모델을 통합하여 어떤 주제에 대하여 언급하는 것인지를 인식한다(단계 240).

상기 질문분석장치(100)는 상기 언어분석된 질문이 정보검색을 위한 질의인지, 키워드 나열형태의 질문인지, 자연어 질문인지를 구분하고(단계 250), 질문인식 결과가 기저장된 또는 외부로부터 제공된 일정한 패턴에 매칭되는 경우에 해당 질문의 질문정답유형으로 결정하고(단계 260), 패턴기반질문정답유형인식 모듈(131)에서 질문정답유형을 인식하지 못하거나 또는 두 개 이상의 질문정답유형이 인식되는 경우(단계 270)에는 학습기반질문정답유형인식 모듈(132)로 기계학습에 기반한 질문정답유형을 인식하고, 상기 학습기반질문정답유형인식 모듈(132)의 결과와 상기 패턴기반질문정답유형인식 모듈(131)의 결과를 통합하여 질문정답유형을 인식한다(단계 280).

상기 질문분석장치(100)는 질의와 키워드 나열형 질문의 구분이 모호한 경우가 많아 질문정답유형인식 결과에 기반하여 질문형태인식의 오류를 수정한다(단계 290).

상기 질문분석장치(100)는 상기 언어분석된 질문에서 키워드를 추출하고 오픈 웹 질의응답을 위한 지식베이스 상에서 해당 키워드가 타이틀로 존재하는지 여부를 판단한다(단계 300).

상기 질문분석장치(100)는 단계 300에서 추출된 키워드를 리다이렉션 정보로부터 추출한 이형태 정보, 클릭 로그에 기반하여 추출된 다양한 연관키워드 정보 또는 키워드확장 사전(6000)을 이용하여 상기 키워드를 확장한다(단계 310).

상기 질문분석장치(100)는 개체명 정보와 구문 정보 등에 기반한 규칙을 활용하거나 색인키워드의 빈도 등을 사용하여 인식된 질문 핵심어휘에 대하여 보다 높은 가중치를 부여하여 질문에서 가장 중요한 키워드를 인식하여 질문을 분석한다(단계 320).

도 3은 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 장치 및 방법의 질문유형과 질문정답유형에 대한 의존관계를 나타낸다.

도 3을 참조하면, 질문유형에 따라 질문정답유형의 범위가 제약된다는 것을 확인할 수 있다. 질문유형 '왜'의 경우에는 일반적으로 질문정답유형이 DS_REASON(이유)일 가능성이 높다. 질문 예처럼, "배 멀미는 왜 나는 건가요?"에서 사용자가 요구하는 정답은 이유에 대한 것이다. 이처럼 의문사에 의해서 명확하게 질문정답유형이 제약되는 경우가 있는 반면에 의문사와의 구문관계에 의존하여 질문정답유형이 결정되는 경우도 많다.

예를 들면, 의문사 '어디'는 일반적으로 질문에서 주어에 해당하는 어휘에 따라서 질문정답유형이 결정되는 경우가 많다. "불교의 기원이 어디인가요?"와 "대전역이 어디에 있나요?"의 경우에 '기원'과 '대전역'이라는 키워드에 의해서 질문정답유형이 DS_ORIGIN(기원)과 LC_OTHERS(지역: Location)로 구분될 수 있다.

언급한 예와 같이 질문유형은 질문정답유형과 밀접한 관련이 있고, 이와 같은 의존관계에 기반하여 질문정답유형에 대한 규칙을 생성하고, 이를 이용하여 질문정답유형을 결정하거나, 제약할 수 있다.

도 4는 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 장치 및 방법의 질문유형에 따른 질문정답유형인식을 위한 패턴의 예를 나타낸다.

도 4를 참조하면, 질문유형별로 패턴을 구분하여 표시하는 이유는 도 3의 결과에 따른 것이고, 패턴은 정규표현식에 따라 생성된다.

예를 들어, "2=DS_DEFINITION;^.{0,100}<(PS_[A_Z]*):([^>]*)>.{0,25}(누구/)((?!/pa│/pv).)*$"는 다음과 같이 해석된다. 질문유형이 QT_Nugu(누구)인 경우에 적용되는 패턴이고, 정규표현식 ';^.{0,100}<(PS_[A_Z]*):([^>]*)>.{0,25}(누구/)((?!/pa│/pv).)*$'에 매칭되면, 질문정답유형이 DS_DEFINITION(정의)이다. 이에 해당하는 질문은 예를 들어, "박제상은 누구인가?"의 패턴이다.

도 5는 본 발명의 일 실시예에 따른 오픈 웹 질의응답을 위한 질문분석 장치 및 방법의 질문정답유형의 예를 나타낸다.

도 5를 참조하면, 질문정답유형은 팩토이드(Factoid)에 기반한 유형과 서술형 유형으로 나눌수 있다. 팩토이드형 질문정답유형은 개체명 태그에 기반하고, 계층적인 구조로 되어 있어 확장이 가능하다.

서술형 질문정답유형은 정답이 서술형 문장이나 단락인 경우이고, 예를 들어, 가장 흔한 서술형 질문정답유형은 DS_DEFINITION(정의), DS_REASON(이유), DS_METHOD(방법) 등이 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 질문분석 장치 110 : 질문언어 분석부
111 : 질문 전처리 모듈 112 : 언어분석 모듈
120 : 질문 인식부 121 : 질문유형인식 모듈
122 : 주소제약인식 모듈 123 : 질문주제분류 모듈
124 : 질문형태인식 모듈 130 : 질문정답유형 인식부
131 : 패턴기반질문정답유형인식 모듈 132 : 학습기반질문정답유형인식 모듈
133 : 질문유형인식 모듈(후처리) 140 : 키워드 인식부
141 : 키워드추출 및 타이틀인식 모듈 142 : 키워드 확장 모듈
143 : 핵심키워드인식 모듈 1000 : 이모티콘제거규칙 사전
2000 : 띄어쓰기 규칙 사전 3000 : 주소정보 사전
4000 : 주제분류 학습모델 5000 : 질문정답유형 학습모델
6000 : 키워드확장 사전

Claims (12)

1. 사용자로부터 제공된 질문에 대해 문법, 구조 또는 의미에 관한 언어 분석을 수행하는 질문 언어분석부;
   언어 분석된 질문에 포함된 의문사, 주소, 지역 및 주제 중 적어도 하나를 인식하는 질문 인식부;
   질문 인식된 결과에 대하여 패턴 또는 기계 학습에 기반한 질문 정답 유형을 인식하는 질문정답유형 인식부; 및
   상기 언어분석된 질문에 대하여 키워드를 추출하는 키워드 인식부를 포함하고,
   상기 질문 인식부는 상기 언어 분석된 질문을 질의(Query) 또는 질문(Question)으로 구분하여 질문의 형태를 인식하는 질문형태인식 모듈을 더 포함하는, 오픈 웹 질의응답을 위한 질문분석 장치.
2. 청구항 1에 있어서,
   상기 질문 인식부는,
   인식된 상기 주소 및 상기 지역에 관한 정보를 이용하여 상기 제공된 질문이 특정 지역에 대해 제한된 질문임을 인식하는 주소제약인식 모듈을 더 포함하는, 오픈 웹 질의응답을 위한 질문분석 장치.
3. 청구항 1에 있어서,
   상기 질문 인식부는,
   기계 학습 모델 또는 키워드 빈도를 이용한 콘텐츠 색인 인덱스에 기반한 통계 모델을 이용하여 상기 주제를 인식하는 질문주제분류 모듈을 더 포함하는, 오픈 웹 질의응답을 위한 질문분석 장치.
4. 청구항 1에 있어서,
   상기 질문정답유형 인식부는,
   상기 패턴에 기반한 질문 정답 유형을 인식하지 못하거나, 두 개 이상의 질문 정답 유형이 인식되면, 상기 기계 학습에 기반하여 질문 정답 유형을 인식하는, 오픈 웹 질의응답을 위한 질문분석 장치.
5. 청구항 1에 있어서,
   상기 키워드 인식부는,
   추출한 키워드가 오픈 웹 질의응답을 위한 지식베이스에서 타이틀로 존재하는지 결정하고, 상기 타이틀의 이형태 정보, 유의어 정보 및 클릭 로그에 기반한 연관키워드 정보 중 적어도 하나를 이용하여 키워드를 확장하는 키워드확장 모듈을 더 포함하는, 오픈 웹 질의응답을 위한 질문분석 장치.
6. 청구항 5에 있어서,
   상기 연관키워드 정보는,
   상기 제공된 질문에 대한 검색 결과에 대하여 사용자가 클릭한 URL 및 상기 제공된 질문과의 연관성에 기반하여 도출되는, 오픈 웹 질의응답을 위한 질문분석 장치.
7. 사용자로부터 제공된 질문에 대해 문법, 구조 또는 의미에 관한 언어 분석을 수행하는 언어 분석 단계;
   언어 분석된 질문에 포함된 의문사, 주소, 지역, 주제 중 적어도 하나를 인식하는 질문 인식 단계;
   상기 질문에 대해 인식된 결과에 대하여 패턴 또는 기계 학습에 기반한 질문 정답 유형을 인식하는 질문 정답 유형 인식 단계; 및
   상기 언어 분석된 질문에 대하여 키워드를 추출하는 키워드 추출 단계를 포함하고,
   상기 질문 인식 단계는 상기 언어 분석된 질문 질문을 질의(Query) 또는 질문(Question)으로 구분하여 질문의 형태를 인식하는 단계를 포함하는, 오픈 웹 질의응답을 위한 질문분석 방법.
8. 청구항 7에 있어서,
   상기 질문 인식 단계는,
   인식된 상기 주소 및 상기 지역에 관한 정보를 이용하여 상기 제공된 질문이 특정 지역에 대해 제한된 질문임을 인식하는, 오픈 웹 질의응답을 위한 질문분석 방법.
9. 청구항 7에 있어서,
   상기 질문 인식 단계는,
   기계 학습 모델 또는 키워드 빈도를 이용한 콘텐츠 색인 인덱스에 기반한 통계 모델을 이용하여 상기 주제를 인식하는, 오픈 웹 질의응답을 위한 질문분석 방법.
10. 청구항 7에 있어서,
    상기 질문 정답 유형 인식 단계는,
    상기 패턴에 기반한 질문 정답 유형을 인식하지 못하거나, 두 개 이상의 질문 정답 유형이 인식되면, 상기 기계 학습에 기반하여 질문 정답 유형을 인식하는, 오픈 웹 질의응답을 위한 질문분석 방법.
11. 청구항 7에 있어서,
    상기 키워드 추출 단계는,
    추출한 키워드가 오픈 웹 질의응답을 위한 지식베이스에서 타이틀로 존재하는지 결정하고, 상기 타이틀의 이형태 정보, 유의어 정보 및 클릭 로그에 기반한 연관키워드 정보 중 적어도 하나를 이용하여 키워드를 확장하는 단계를 더 포함하는, 오픈 웹 질의응답을 위한 질문분석 방법.
12. 청구항 11에 있어서,
    상기 키워드 추출 단계는,
    상기 제공된 질문에 대한 검색 결과에 대하여 사용자가 클릭한 URL 및 상기 제공된 질문과의 연관성에 기반하여 상기 연관키워드 정보를 도출하는, 오픈 웹 질의응답을 위한 질문분석 방법.

Images