WO2018147543A1 - 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법 - Google Patents

개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법 Download PDF

Info

Publication number
WO2018147543A1
WO2018147543A1 PCT/KR2017/014828 KR2017014828W WO2018147543A1 WO 2018147543 A1 WO2018147543 A1 WO 2018147543A1 KR 2017014828 W KR2017014828 W KR 2017014828W WO 2018147543 A1 WO2018147543 A1 WO 2018147543A1
Authority
WO
WIPO (PCT)
Prior art keywords
context
graph
query
concept
document
Prior art date
Application number
PCT/KR2017/014828
Other languages
English (en)
French (fr)
Inventor
맹성현
김경민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority claimed from KR1020170172922A external-priority patent/KR20180092808A/ko
Publication of WO2018147543A1 publication Critical patent/WO2018147543A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to a conceptual graph-based question answering system and a context search method using the same.
  • a question-and-answer using concept graph matching is used to generate an extended graph using two conceptual graphs, and to find the correct answer for a question based on a question graph and an extended graph generated based on a question input from the outside.
  • a question is answered using this question and answer method, it requires a long time since matching between the question graph and all document graphs requires a problem of slowing down the question and answer speed.
  • Another method is a multi-source hybrid question-and-answer method that receives a complete sentence or a keyword-listed question from a user and outputs the appropriate answer using a variety of resources and search techniques.
  • This method uses various strategies for integrating the results obtained by using both the information retrieval-based question answering system and the knowledge-based question answering system at the same time.
  • the knowledge base has a weak point in long knowledge chain inference, and the search base does not solve the weak point in semantic consideration.
  • the present invention provides a method of efficiently searching a context using a context search method in a conceptual graph based question answering system.
  • a question-and-answer system As a method for searching a context for processing an input query, a question-and-answer system, which is one feature of the present invention, for achieving the technical problem of the present invention,
  • Generating a query embedding vector by extracting a context from an input query, calculating a context similarity between a pre-created corpus embedding vector and the generated query embedding vector using corpus text, and a document graph having high context similarity to the query Extracting, obtaining a graph matching score for at least one concept included in the extracted document graph, extracting a plurality of correct candidate candidate concepts for the query, and extracting a plurality of correct candidate candidate concepts from the plurality of correct candidate candidate concepts. Providing the correct answer as a result of the question and answer.
  • Extracting concepts, relationships, and attributes from the corpus text generating a document concept graph based on the extracted concepts and relationship attributes, and extracting a plurality of contexts and context types for each of the contexts from the document concept graph, Generating a corpus embedding vector based on the context and context type.
  • the generating of the corpus embedding vector may include detecting an area sharing the same context in the document concept graph, and extracting each detected area as a document graph for the same context.
  • the generating of the query embedding vector may include extracting concepts and relationships from the query, generating a query concept graph based on the extracted concepts and relationships, and extracting the context and context type from the query concept graph. And generating the embedding vector using a context and a context type.
  • the extracting of the document graph with high context similarity may include calculating context similarity based on the query embedding vector and the corpus embedding vector, and calculating the graph with the calculated context similarity among the plurality of contextual document graphs. And extracting the document graph.
  • a conceptual graph extracting unit extracting a plurality of first contexts from the received corpus text to generate a first embedding vector and a first document graph for each context, and extracting a second context from the received query to generate a second embedding vector;
  • a graph matching score for each of at least one concept included in the second document graph and a context search unit for specifying a document graph having a high context similarity with the second context among the first document graphs;
  • a concept graph matching unit configured to output a plurality of correct candidate candidate concepts corresponding to the received query, and reordering the plurality of correct candidate candidates based on the context similarity, and selecting one correct candidate candidate according to the type of the query It includes a correct candidate candidate ranking unit for outputting as a question and answer result.
  • the concept graph extractor may extract concepts, relationships and attributes from the corpus text and the query, generate a first concept graph from the corpus text based on the extracted concept relations and attributes, and generate a second concept graph from the query. have.
  • the concept graph extracting unit checks context information about each of the extracted first and second contexts, generates a first embedding vector based on the first context and context information, and generates the second context and context information. Based on the second embedding vector can be generated.
  • the concept graph extractor may detect an area sharing the same context in the first concept graph and extract each detected area as the first document graph for the same context.
  • knowledge in the form of a concept graph can be built from text, and the speed of the question and answer can be improved through a context search in the question and answer system between the query concept graph and the document concept graph.
  • FIG. 1 is a structural diagram of a question and answer system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of a context search method according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram visualizing a first conceptual graph according to an embodiment of the present invention.
  • 4A and 4B are exemplary views for visualizing a second conceptual graph according to an embodiment of the present invention.
  • FIG. 5 is an exemplary view illustrating a performance evaluation of a question and answer according to an embodiment of the present invention.
  • FIG. 6 is a graph showing a performance evaluation result for a query according to the first embodiment of the present invention.
  • FIG. 7 is a graph illustrating a performance evaluation result for a query according to a second embodiment of the present invention.
  • FIG 8 is an exemplary view of a response to a query according to the first embodiment of the present invention.
  • FIG. 9 is an exemplary view of a response to a query according to a second embodiment of the present invention.
  • a question-and-answer system As a method for searching a context for processing an input query, a question-and-answer system, which is one feature of the present invention, for achieving the technical problem of the present invention,
  • Generating a query embedding vector by extracting a context from an input query, calculating a context similarity between a pre-created corpus embedding vector and the generated query embedding vector using corpus text, and a document graph having high context similarity to the query Extracting, obtaining a graph matching score for at least one concept included in the extracted document graph, extracting a plurality of correct candidate candidate concepts for the query, and extracting a plurality of correct candidate candidate concepts from the plurality of correct candidate candidate concepts. Providing the correct answer as a result of the question and answer.
  • a conceptual graph extracting unit extracting a plurality of first contexts from the received corpus text to generate a first embedding vector and a first document graph for each context, and extracting a second context from the received query to generate a second embedding vector;
  • a graph matching score for each of at least one concept included in the second document graph and a context search unit for specifying a document graph having a high context similarity with the second context among the first document graphs;
  • a concept graph matching unit configured to output a plurality of correct candidate candidate concepts corresponding to the received query, and reordering the plurality of correct candidate candidates based on the context similarity, and selecting one correct candidate candidate according to the type of the query It includes a correct candidate candidate ranking unit for outputting as a question and answer result.
  • FIG. 1 is a structural diagram of a question and answer system according to an embodiment of the present invention.
  • the question-and-answer system 100 is driven by at least one processor and includes a concept graph extractor 110, a context searcher 120, a concept graph matcher 130, and a candidate candidate ranking.
  • the unit 140, and the storage unit 150 are included in the embodiment of the present invention.
  • only the above components are mentioned for convenience of description, but may include additional components (eg, a query type determination unit, etc.) necessary for answering questions.
  • the concept graph extractor 110 receives the first text and the second text from the outside.
  • the first text is the corpus text and the second text is the query text.
  • the forms of the respective texts are not limited to any one.
  • the concept graph extracting unit 110 extracts a concept by natural language processing each of the received first text or the second text, and checks what type of the extracted concept is.
  • the concept graph extractor 110 also extracts attributes and relationships corresponding to the extracted concept.
  • the concept, relationship, and attribute extracted by the concept graph extracting unit 110 are described by using an information extraction (IE) technique as an example, but the present invention is not necessarily limited thereto.
  • IE information extraction
  • the concept graph extracting unit 110 generates a document concept graph (hereinafter, also referred to as a 'first concept graph') based on concepts, relationships, and attributes extracted from the first text.
  • the concept graph extractor 110 stores the generated first concept graph in the storage 150.
  • the concept graph extracting unit 110 generates a query concept graph (hereinafter, also referred to as a 'second concept graph') based on the concept and relationship attributes extracted from the second text.
  • a query concept graph hereinafter, also referred to as a 'second concept graph'
  • the first concept graph and the second concept graph generated by the concept graph extractor 110 represent knowledge in a form in which relationship nodes between the concept node and the plurality of concept nodes are connected.
  • the concept graph extractor 110 extracts a context and a context type to increase the weight when searching for a document from the first concept graph.
  • the context is metadata attached to each first conceptual graph, and the context type may be classified into a time, a place, a topic, and the like.
  • the concept graph extractor 110 detects another region (eg, a paragraph) that shares the same context among the plurality of contexts and context types extracted from the first concept graph.
  • the concept graph extractor 110 extracts at least one independent first document graph corresponding to one context as a detection result and stores the extracted first document graph in the storage 150.
  • the concept graph extracting unit 110 since the concept graph extracting unit 110 detects a region sharing the same context among the plurality of first concept graphs, it may be executed in various ways, and thus, detailed description thereof will be omitted.
  • the concept graph extractor 110 extracts a context and a context type to increase the weight when searching for a document from the second concept graph.
  • the conceptual graph extractor 110 expresses the extracted context and the context type as an embedding vector.
  • the concept graph extracting unit 110 refers to an embedding vector expressing the context and context type extracted from the first concept graph as a 'first embedding vector' and refers to the embedding vector expressing the context and context type extracted from the second concept graph. 2 embedding vector.
  • the context and context type represented by the first embedding vector are stored in the storage 150 together with the first concept graph.
  • the concept graph extracting unit 110 expresses the context and the context information in the embedding vector by using word embedding or canonical correlation analysis.
  • the word embedding method or the canonical correlation analysis method is already known, and detailed description thereof will be omitted in the exemplary embodiment of the present invention.
  • the context search unit 120 calculates the context similarity using the plurality of first embedding vectors and the second embedding vectors generated based on the second text stored in the storage unit 150. Based on the calculated context similarity, document graphs having high context similarity with the context of the second embedding vector among the first document graph are extracted as the second document graph.
  • the calculation using the cosine similarity function when calculating the context similarity between the first embedding vector and the second embedding vector will be described as an example.
  • the method of using the cosine similarity function is already known, and detailed description thereof will be omitted.
  • the concept graph matching unit 130 obtains a graph matching score for at least one concept included in the second document graph extracted by the context search unit 120.
  • the graph matching score is described by using a center-piece algorithm or the like as an example, but is not necessarily limited thereto.
  • the centerpiece algorithm is a known algorithm, and detailed description thereof will be omitted in the exemplary embodiment of the present invention.
  • the concept graph matching unit 130 extracts an upper k correct answer candidate concept hereinafter (hereinafter, referred to as a 'correct candidate concept' for convenience of description) based on the calculated graph matching score.
  • the correct candidate candidate ranking unit 140 rearranges the correct candidate candidate concept based on the context similarity calculated by the context search unit 120 and the existing question-and-answer qualities already generated by the context graph matching unit 130. do.
  • the rearranged correct candidate candidate concept is returned as a question and answer result.
  • FIG. 2 is a flowchart of a context search method according to an embodiment of the present invention.
  • the question and answer system 100 receives the first text and the second text (S100), the concept and relationship are extracted from the received texts (S101 and S102). Since the method for extracting concepts and relationships from the plurality of first texts and the second texts can be executed in various ways, the question answering system 100 is not limited to any one method in the embodiment of the present invention.
  • the question-and-answer system 100 constructs a first concept graph and a second concept graph based on the extracted concepts and relationships (S103).
  • first concept graph and the second concept graph will be described first with reference to FIGS. 3, 4A, and 4B.
  • FIGS. 4A and 4B are exemplary diagrams visualizing a second conceptual graph according to an exemplary embodiment of the present invention.
  • the first concept graph shown in FIG. 3 is a visualization of the concept graph extracted from the corpus text.
  • the question-and-answer system 100 uses the input corpus text.
  • ⁇ Robot, is_a, word>: Wikipedia: robot), ( ⁇ robot, appear, play>: Wikipedia: robot) ⁇ are extracted in relation to the concept for generating the first conceptual graph.
  • FIG. 4A is a visualization of a second conceptual graph when the query type is an fill-in-the-blank query type
  • FIG. 4B is a case where the query type is an association inference query type. Is a visualization of the second conceptual graph.
  • an embodiment of the present invention refers to only two query types, conceptual graphs may be similarly visualized for other types of queries (eg, relation inference type, semantic request type, and the like).
  • the second concept graph of FIG. 4A is a "robot” in response to a query of "This word firstly appeared in a play.The modern meaning of it is' a machinery similar to human'.What is this?"
  • a visualization of the query as a conceptual graph, and the second conceptual graph of FIG. 4B is "Apollon, Inka empire, and Louis XIV. In order to print 'sun' in response to the query "What is related to all the above?"
  • wild cards (*), machinery, play, human, Apollon, Inka empire, Louis XIV, and the like correspond to concepts, and MEAN, SIM, and APEAR correspond to relationships.
  • the wildcard means a node that can match anything, and the node targeted as a wildcard node will be described using an example of being predefined.
  • Concept is a basic structural unit of knowledge, and in an embodiment of the present invention, an object that satisfies at least one of the following elements is referred to as a concept.
  • a relationship is a standardized grouping of relations (actions and states) between two concepts, and the verb phrases that form a unit of knowledge after the concept are expressed.
  • the relationship is as follows.
  • the question and answer system 100 extracts the context and the context type from the first concept graph and the second concept graph. Based on the extracted context and context type, the first embedding vector is expressed through the context and context type extracted from the first conceptual graph, and the second embedding vector is represented through the plurality of contexts and context types extracted from the second conceptual graph. (S104).
  • the question and answer system 100 detects regions sharing the same context and generates an independent first document graph (S105).
  • the first document graph is a document graph formed based on all the contexts and context types extracted from the corpus text which is the first text.
  • the question-and-answer system 100 calculates the context similarity based on the first embedding vector and the second embedding vector expressed in step S104 (S106).
  • the first document graph having a high context similarity with the first embedding vector among the first document graphs is extracted as the second document graph (S107).
  • the question and answer system 100 calculates a graph matching score for each concept of the second document graph extracted in step S107 (S108), and extracts a document graph semantically close to the second concept graph as a correct candidate candidate concept (S109). At this time, the question and answer system 100 calculates through a method such as a centerpiece algorithm, Word2Vec, Canon Correlation Analysis (CCA), etc. to obtain a graph matching score, each of which is known in the embodiment of the present invention. Omit.
  • the question and answer system 100 rearranges the correct candidate candidates based on various qualities (S110).
  • the qualities used by the question and answer system 100 to rearrange the concept of the correct candidate the graph matching score, the semantic similarity obtained in step S108, or whether the question type is an indeterminate problem may be used. It does not limit qualities in form.
  • the question and answer system 100 provides the user with the result of the question and answer candidates rearranged in step S110 as a result of the question and answer (S111).
  • FIG. 5 is an exemplary view illustrating a performance evaluation of a question and answer according to an embodiment of the present invention.
  • the question answering system 100 when a query of any form is input to the question answering system 100, the question answering system 100 generates a second conceptual graph based on the question.
  • the language included in the query is analyzed using various types of language tools.
  • the language included in the query is analyzed using a pre-built Korean concept graph.
  • Korean concept graphs are generated through 350,902 concepts, 105 types of concept types, 47 relationships, total triples of 1,618,458, and 303,429 Korean documents.
  • an example of using a Korean concept graph generated using 2,355 additional questions will be described.
  • the conversion accuracy obtained by sampling 200 sentences corresponds to 80%
  • the inclusion rate including the correct answer concept in the sampled sentence corresponds to 92.54%.
  • the accuracy of graph matching shows that the query is 91% for the attribute value request type and 80% for the operation inference type.
  • Figure 6 is a graph of the performance evaluation results for the query according to a first embodiment of the present invention
  • Figure 7 is a query for a query according to a second embodiment of the present invention This is a graph of performance evaluation results.
  • FIG. 6 is a graph illustrating a performance evaluation result for a case where a query type is an attribute value request type
  • FIG. 7 is a graph illustrating a performance evaluation result for an associative inference type query. 6 shows the performance when 170 attribute value request queries are input to the query response system 100
  • FIG. 7 shows the performance evaluation when 30 associative inference queries are input.
  • the X axis represents the number of correct answers returned for the query and the Y axis represents the accuracy of the results obtained from the question and answer.
  • the X axis represents the number of correct answers returned for the query
  • the Y axis represents the accuracy of the results obtained from the question and answer.
  • FIG. 8 is an illustration of a response to a query according to a first embodiment of the present invention
  • Figure 9 is an illustration of a response to a query according to a second embodiment of the present invention.
  • Figure 8 is a query 'This is the city of Massachusetts, the United States is a city with a number of prestigious universities and prestigious high schools, such as Harvard, MIT. Where is the representative city of education in the United States, it is assumed that the input to the question and answer system (100).
  • the query type is an attribute value request type, which corresponds to a problem that can be corrected by filling in correct answers connected with different concepts.
  • the question and answer system 100 extracts the state of Massachusetts, USA, MIT, Harvard, etc. as a context to increase the weight in the search from the query.
  • the higher context similarity is identified. Extract document graphs generated based on US, Inha University, and others.
  • a graph matching score is obtained for each extracted upper context, and the top correct candidates semantically close to the query context graph are extracted.
  • the candidate candidate concepts such as Boston, Worcester, and Cambridge are extracted.
  • the question-and-answer system 100 rearranges the correct candidate candidate concepts by considering the contextual similarity or other question-answering features.
  • the correct answer to the query is 'Boston', and it can be seen that the correct answer is included in the first ranking among the correct answer candidates.
  • the question and answer system 100 outputs Boston as the correct answer.
  • the query inputs' What is not an expression of wishing for eternal love with the family by setting an impossible situation that cannot be taken into consideration?
  • the question-and-answer system 100 considers 'corrector' and 'consider' in a query that combines relational inference type, which is a problem of finding the correct answer that is semantically related to other concepts, and irregularity, which is the problem of selecting the farthest from the query.
  • relational inference type which is a problem of finding the correct answer that is semantically related to other concepts
  • irregularity which is the problem of selecting the farthest from the query.
  • ',' Korean music ', etc. are extracted as a higher context.
  • the question-and-answer system 100 extracts a "clearing star”, a "single point”, etc. as matching candidates. At this time, since the query is an indefinite problem, the question-and-answer system 100 can be seen that it derives 'sprout from the tree made of iron' far from the correct answer to the query.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

질의응답 시스템이 입력된 질의를 처리하기 위하여 문맥을 검색하는 방법으로서, 입력되는 질의로부터 문맥을 추출하여 질의 임베딩 벡터를 생성하면, 말뭉치 텍스트를 통해 미리 생성되어 있는 말뭉치 임베딩 벡터와 생성한 질의 임베딩 벡터의 문맥 유사도를 계산하여, 질의와 문맥 유사도가 높은 문서 그래프를 추출한다. 추출한 문서 그래프 내에 포함된 적어도 하나의 개념에 대한 그래프 매칭 점수를 구하여, 질의에 대한 복수의 정답 후보 개념을 추출하고, 복수의 정답 후보 개념에서 질의에 대한 정답을 질의응답 결과로 제공한다.

Description

개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법
본 발명은 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법에 관한 것이다.
최근 질의응답을 위해 다양한 방법들이 연구되고 있다.
먼저, 두 개의 개념 그래프를 이용하여 확장 그래프를 생성하고, 외부로부터 입력되는 질문을 토대로 생성한 질문 그래프와 확장 그래프를 토대로 정답 노드를 찾아 질문에 대한 정답을 도출하는, 개념 그래프 매칭을 이용한 질의응답 방법이 있다. 이 질의응답 방법을 이용하여 질의에 응답하는 경우 질문 그래프와 모든 문서 그래프간 매칭이 필요하기 때문에 오랜 시간이 소요되어, 질의 응답 속도가 느려지는 문제점이 있다.
또 다른 방법으로는 사용자로부터 온전한 문장으로 구성된 질문이나 키워드가 나열된 질문을 입력 받고 다양한 리소스와 검색기술을 활용하여, 질문에 대한 적절한 대답을 출력하는 다중 소스 하이브리드 질의응답 방법이 있다. 이 방법에 의하면 정보검색 기반 질의 응답 시스템과 지식 기반 질의 응답 시스템을 동시에 사용하여 얻은 결과를 통합하기 위한 다양한 전략들을 사용하기 때문에, 지식 기반 질의 응답 시스템과 정보 검색 기반 질의 응답 시스템을 각각 사용했을 때의 한계점을 보완할 수 있다. 그러나 지식 기반은 긴 지식 체인 추론에 약점이 있고, 검색 기반은 의미 고려에 약점이 있는 것은 해결하지 못한다는 단점이 있다.
따라서, 본 발명은 개념 그래프 기반 질의응답 시스템이 문맥 검색 방법을 이용하여 효율적으로 문맥을 검색하는 방법을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 질의응답 시스템이 입력된 질의를 처리하기 위하여 문맥을 검색하는 방법으로서,
입력되는 질의로부터 문맥을 추출하여 질의 임베딩 벡터를 생성하는 단계, 말뭉치 텍스트를 통해 미리 생성되어 있는 말뭉치 임베딩 벡터와 상기 생성한 질의 임베딩 벡터의 문맥 유사도를 계산하여, 상기 질의와 문맥 유사도가 높은 문서 그래프를 추출하는 단계, 상기 추출한 문서 그래프 내에 포함된 적어도 하나의 개념에 대한 그래프 매칭 점수를 구하여, 상기 질의에 대한 복수의 정답 후보 개념을 추출하는 단계, 그리고 상기 복수의 정답 후보 개념에서 상기 질의에 대한 정답을 질의응답 결과로 제공하는 단계를 포함한다.
상기 질의 임베딩 벡터를 생성하는 단계 이전에,
상기 말뭉치 텍스트로부터 개념, 관계, 속성을 추출하는 단계, 상기 추출한 개념, 관계 속성을 토대로 문서 개념 그래프를 생성하는 단계, 그리고 상기 문서 개념 그래프로부터 복수의 문맥과 문맥 각각에 대한 문맥 유형을 추출하고, 문맥과 문맥 유형을 토대로 말뭉치 임베딩 벡터를 생성하는 단계를 포함할 수 있다.
상기 말뭉치 임베딩 벡터를 생성하는 단계는, 상기 문서 개념 그래프에서 동일한 문맥을 공유하는 영역을 탐지하는 단계, 그리고 상기 탐지한 영역 각각을 상기 동일한 문맥에 대한 문서 그래프로 추출하는 단계를 포함할 수 있다.
상기 질의 임베딩 벡터를 생성하는 단계는, 상기 질의로부터 개념과 관계를 추출하는 단계, 상기 추출한 개념과 관계를 토대로 질의 개념 그래프를 생성하는 단계, 그리고 상기 질의 개념 그래프로부터 상기 문맥과 문맥 유형을 추출하고, 문맥과 문맥 유형을 이용하여 상기 임베딩 벡터를 생성하는 단계를 포함할 수 있다.
상기 문맥 유사도가 높은 문서 그래프를 추출하는 단계는, 상기 질의 임베딩 벡터와 말뭉치 임베딩 벡터를 기초로 문맥 유사도를 계산하는 단계, 그리고 상기 복수의 문맥별 문서 그래프 중 상기 계산한 문맥 유사도가 높은 그래프를 상기 문서 그래프로 추출하는 단계를 포함할 수 있다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 질의응답 시스템으로서,
수신한 말뭉치 텍스트로부터 복수의 제1 문맥을 추출하여 문맥별로 제1 임베딩 벡터와 제1 문서 그래프를 생성하고, 수신한 질의로부터 제2 문맥을 추출하여 제2 임베딩 벡터를 생성하는 개념 그래프 추출부, 상기 제1 문서 그래프 중 상기 제2 문맥과 문맥 유사도가 높은 문서 그래프를 제2 문서 그래프로 특정하는 문맥 검색부, 상기 제2 문서 그래프에 포함된 적어도 하나의 개념 각각에 대한 그래프 매칭 점수를 계산하여, 상기 수신한 질의에 대응하는 복수의 정답 후보 개념을 출력하는 개념 그래프 매칭부, 그리고 상기 문맥 유사도를 기초로 상기 복수의 정답 후보 개념을 재정렬하고, 상기 질의의 유형에 따라 어느 하나의 정답 후보 개념을 질의응답 결과로 출력하는 정답 후보 랭킹부를 포함한다.
상기 개념 그래프 추출부는, 상기 말뭉치 텍스트와 질의로부터 개념, 관계 그리고 속성을 추출하고, 추출한 개념 관계 그리고 속성을 토대로 상기 말뭉치 텍스트로부터 제1 개념 그래프를 생성하고, 질의로부터 제2 개념 그래프를 생성할 수 있다.
상기 개념 그래프 추출부는, 상기 추출한 제1 문맥과 제2 문맥 각각에 대한 문맥 정보를 각각 확인하고, 상기 제1 문맥과 문맥 정보를 토대로 제1 임베딩 벡터를 생성하고, 상기 제2 문맥과 문맥 정보를 토대로 제2 임베딩 벡터를 생성할 수 있다.
상기 개념 그래프 추출부는, 상기 제1 개념 그래프에서 동일한 문맥을 공유하는 영역을 탐지하고, 탐지한 영역 각각을 상기 동일한 문맥에 대한 상기 제1 문서 그래프로 추출할 수 있다.
본 발명에 따르면, 텍스트로부터 개념 그래프 형태의 지식을 구축하여, 질의 개념 그래프와 문서 개념 그래프 간 질의응답 시스템에서 문맥 검색을 통해 질의응답의 속도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 질의응답 시스템의 구조도이다.
도 2는 본 발명의 실시예에 따른 문맥 검색 방법에 대한 흐름도이다.
도 3은 본 발명의 실시예에 따른 제1 개념 그래프를 시각화한 예시도이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 제2 개념 그래프를 시각화한 예시도이다.
도 5는 본 발명의 실시예에 따른 질의응답에 대한 성능평가를 나타낸 예시도이다.
도 6은 본 발명의 제1 실시예에 따른 질의에 대한 성능 평가 결과에 대한 그래프이다.
도 7은 본 발명의 제2 실시예에 따른 질의에 대한 성능 평가 결과에 대한 그래프이다.
도 8은 본 발명의 제1 실시예에 따른 질의에 대한 응답의 예시도이다.
도 9는 본 발명의 제2 실시예에 따른 질의에 대한 응답의 예시도이다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 질의응답 시스템이 입력된 질의를 처리하기 위하여 문맥을 검색하는 방법으로서,
입력되는 질의로부터 문맥을 추출하여 질의 임베딩 벡터를 생성하는 단계, 말뭉치 텍스트를 통해 미리 생성되어 있는 말뭉치 임베딩 벡터와 상기 생성한 질의 임베딩 벡터의 문맥 유사도를 계산하여, 상기 질의와 문맥 유사도가 높은 문서 그래프를 추출하는 단계, 상기 추출한 문서 그래프 내에 포함된 적어도 하나의 개념에 대한 그래프 매칭 점수를 구하여, 상기 질의에 대한 복수의 정답 후보 개념을 추출하는 단계, 그리고 상기 복수의 정답 후보 개념에서 상기 질의에 대한 정답을 질의응답 결과로 제공하는 단계를 포함한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 질의응답 시스템으로서,
수신한 말뭉치 텍스트로부터 복수의 제1 문맥을 추출하여 문맥별로 제1 임베딩 벡터와 제1 문서 그래프를 생성하고, 수신한 질의로부터 제2 문맥을 추출하여 제2 임베딩 벡터를 생성하는 개념 그래프 추출부, 상기 제1 문서 그래프 중 상기 제2 문맥과 문맥 유사도가 높은 문서 그래프를 제2 문서 그래프로 특정하는 문맥 검색부, 상기 제2 문서 그래프에 포함된 적어도 하나의 개념 각각에 대한 그래프 매칭 점수를 계산하여, 상기 수신한 질의에 대응하는 복수의 정답 후보 개념을 출력하는 개념 그래프 매칭부, 그리고 상기 문맥 유사도를 기초로 상기 복수의 정답 후보 개념을 재정렬하고, 상기 질의의 유형에 따라 어느 하나의 정답 후보 개념을 질의응답 결과로 출력하는 정답 후보 랭킹부를 포함한다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 도면을 참조로 하여 본 발명의 실시예에 따른 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 질의응답 시스템의 구조도이다.
도 1에 도시된 바와 같이, 질의응답 시스템(100)은 적어도 하나의 프로세서에 의해 구동되며, 개념 그래프 추출부(110), 문맥 검색부(120), 개념 그래프 매칭부(130), 정답 후보 랭킹부(140), 그리고 저장부(150)를 포함한다. 본 발명의 실시예에서는 설명의 편의를 위하여 상기의 구성 요소만을 언급하고 있으나, 질의응답에 필요한 추가 구성 요소(예를 들어, 질의 유형 판단부 등)들을 포함할 수 있다.
개념 그래프 추출부(110)는 외부로부터 제1 텍스트와 제2 텍스트를 수신한다. 여기서, 제1 텍스트는 말뭉치 텍스트이고 제2 텍스트는 질의 텍스트이다. 본 발명의 실시예에서는 각각의 텍스트들의 형태를 어느 하나로 한정하지 않는다.
개념 그래프 추출부(110)는 수신한 제1 텍스트 또는 제2 텍스트 각각을 자연어 처리하여 개념을 추출하고, 추출한 개념의 유형이 어떤 유형인지 확인한다. 개념 그래프 추출부(110)는 추출한 개념에 대응하는 속성과 관계도 추출한다. 본 발명의 실시예에서는 개념 그래프 추출부(110)가 추출한 개념, 관계, 속성을 정보 추출(IE: Information Extraction) 기술을 통해 추출하는 것을 예로 하여 설명하나 반드시 이와 같이 한정되는 것은 아니다.
개념 그래프 추출부(110)는 제1 텍스트에서 추출한 개념, 관계, 속성을 토대로 문서 개념 그래프(이하, '제1 개념 그래프'라고도 지칭함)를 생성한다. 그리고 개념 그래프 추출부(110)는 생성한 제1 개념 그래프를 저장부(150)에 저장한다.
개념 그래프 추출부(110)는 제2 텍스트에서 추출한 개념, 관계 속성을 토대로 질의 개념 그래프(이하, '제2 개념 그래프'라고도 지칭함)를 생성한다. 여기서, 개념 그래프 추출부(110)가 생성한 제1 개념 그래프와 제2 개념 그래프는, 지식을 개념 노드와 복수의 개념 노드 사이의 관계 노드들이 연결되는 형태로 표현하는 것을 의미한다.
개념 그래프 추출부(110)는 제1 개념 그래프로부터 문서 검색 시 가중치를 높일 문맥(context)과 문맥 유형을 추출한다. 여기서, 문맥이라 함은 제1 개념 그래프마다 부착되는 메타 데이터이고, 문맥 유형은 시간, 장소, 토픽 등으로 구분할 수 있다.
개념 그래프 추출부(110)는 제1 개념 그래프로부터 추출한 복수의 문맥과 문맥 유형 중 동일한 문맥을 공유하는 또 다른 영역(예를 들어, 단락 등)을 탐지한다. 개념 그래프 추출부(110)는 탐지 결과로 하나의 문맥에 대응하되 적어도 하나의 독립된 제1 문서 그래프를 추출하여 저장부(150)에 저장한다. 여기서, 개념 그래프 추출부(110)가 복수의 제1 개념 그래프 중 동일한 문맥을 공유하는 영역을 탐지하는 방법은 다양한 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
이와 마찬가지로, 개념 그래프 추출부(110)는 제2 개념 그래프로부터 문서 검색 시 가중치를 높일 문맥과 문맥 유형을 추출한다.
개념 그래프 추출부(110)는 추출한 문맥과 문맥 유형을 임베딩 벡터로 표현한다. 개념 그래프 추출부(110)는 제1 개념 그래프에서 추출한 문맥과 문맥 유형을 표현한 임베딩 벡터를 '제1 임베딩 벡터'라 지칭하고, 제2 개념 그래프에서 추출한 문맥과 문맥 유형을 표현한 임베딩 벡터를 '제2 임베딩 벡터'라 지칭한다. 제1 임베딩 벡터로 표현된 문맥과 문맥 유형은 저장부(150)에 제1 개념 그래프와 함께 저장된다.
본 발명의 실시예에서는 개념 그래프 추출부(110)가 워드 임베딩 또는 정준상관분석(canonical correlation analysis) 방법 등을 이용하여 문맥과 문맥 정보를 임베딩 벡터로 표현하는 것을 예로 하여 설명한다. 이때, 워드 임베딩 방법이나 정준상관분석 방법은 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
문맥 검색부(120)는 저장부(150)에 저장되어 있는 복수의 제1 임베딩 벡터와 제2 텍스트를 토대로 생성된 제2 임베딩 벡터를 이용하여, 문맥 유사도를 계산한다. 그리고 계산한 문맥 유사도를 토대로 제1 문서 그래프 중 제2 임베딩 벡터의 문맥과 문맥 유사도가 높은 문서 그래프들을 제2 문서 그래프로 추출한다.
본 발명의 실시예에서는 제1 임베딩 벡터와 제2 임베딩 벡터의 문맥 유사도를 계산할 때 코사인 유사도 함수를 이용하여 계산하는 것을 예로 하여 설명한다. 여기서 코사인 유사도 함수 이용 방법은 이미 알려진 사항으로 본 발명의 실시예에서는 상세한 설명을 생략한다.
개념 그래프 매칭부(130)는 문맥 검색부(120)에서 추출한 제2 문서 그래프에 포함된 적어도 하나의 개념마다 그래프 매칭 점수를 구한다. 이때, 본 발명의 실시예에서는 그래프 매칭 점수는 센터피스(center-piece) 알고리즘 등을 사용하여 구하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 또한, 센터피스 알고리즘은 이미 알려진 알고리즘으로, 본 발명의 실시예에서는 상세한 설명은 생략한다.
개념 그래프 매칭부(130)는 계산한 그래프 매칭 점수를 토대로 제2 개념 그래프와 의미적으로 가까운 상위 k 정답 후보 개념(이하, 설명의 편의를 위하여 '정답 후보 개념'이라 지칭함)을 추출한다.
정답 후보 랭킹부(140)는 개념 그래프 매칭부(130)가 추출한 정답 후보 개념에 대해, 문맥 검색부(120)에서 계산한 문맥 유사도와 이미 발생한 기존의 질의응답 자질들을 고려하여 정답 후보 개념을 재정렬한다. 그리고 재정렬한 정답 후보 개념을 정답 리스트로 하여 질의응답 결과로 반환한다.
이상에서 설명한 질의응답 시스템(100)이 텍스트로부터 개념 그래프 형태의 지식을 구축하여 문맥을 검색하는 방법에 대해 도 2를 참조로 설명한다.
도 2는 본 발명의 실시예에 따른 문맥 검색 방법에 대한 흐름도이다.
도 2에 도시된 바와 같이, 질의응답 시스템(100)은 제1 텍스트와 제2 텍스트를 수신하면(S100), 수신한 텍스트들로부터 개념과 관계를 각각 추출한다(S101, S102). 질의응답 시스템(100)이 복수의 제1 텍스트와 제2 텍스트로부터 개념과 관계를 추출하는 방법은 다양한 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
질의응답 시스템(100)은 추출한 개념과 관계를 토대로, 제1 개념 그래프와 제2 개념 그래프를 구축한다(S103). 여기서 제1 개념 그래프와 제2 개념 그래프에 대해 도 3, 도 4a 및 도 4b를 참조로 먼저 설명한다.
도 3은 본 발명의 실시예에 따른 제1 개념 그래프를 시각화한 예시도이고, 도 4a 및 도 4b는 본 발명의 실시예에 따른 제2 개념 그래프를 시각화한 예시도이다.
도 3에 도시되어 있는 제1 개념 그래프는 말뭉치 텍스트로부터 추출된 개념 그래프를 시각화한 것이다. 도 3에 도시한 제1 개념 그래프는 입력으로 "The word 'robot' firstly written in a play" (from wikipedia document titled 'robot')"가 입력되면, 질의응답 시스템(100)은 입력된 말뭉치 텍스트로부터 제1 개념 그래프를 생성하기 위한 개념과 관계로 {<robot, is_a, word> : Wikipedia:robot), (<robot, appear, play> : Wikipedia:robot)}를 추출한다.
그리고 도 4a는 질의 타입이 속성값 요청형(Fill-in-the-blank) 질의 타입인 경우의 제2 개념 그래프를 시각화한 것이고, 도 4b는 질의 타입이 연상 추론(Association inference) 질의 타입인 경우의 제2 개념 그래프를 시각화한 것이다. 본 발명의 실시예에서는 두 개의 질의 타입에 대해서만 언급하고 있으나, 기타 유형별 질의(예를 들어, 관계 추론형, 의미 요청형 등)에 대해서도 유사하게 개념 그래프를 시각화할 수 있다.
도 4a의 제2 개념 그래프는 "This word firstly appeared in a play. The modern meaning of it is 'a machinery similar to human'. What is this?""의 질의에 대한 응답으로 'robot'을 출력하기 위하여, 질의를 개념 그래프로 시각화한 것이다. 그리고 도 4b의 제2 개념 그래프는 "Apollon, Inka empire, and Louis XIV… What is related to all the above?"의 질의에 대한 응답으로 'sun'을 출력하기 위하여, 질의를 개념 그래프로 시각화한 것이다.
도 4a 및 도 4b에서 와일드카드(*), machinery, play, human, Apollon, Inka empire, Louis XIV 등은 개념(concept)에 해당하고, MEAN, SIM, APEAR는 관계에 해당한다. 와일드카드는 무엇이든지 매칭이 될 수 있는 노드를 의미하며, 와일드카드 노드 대상이 되는 노드는 미리 정의되어 있는 것을 예로 하여 설명한다.
개념이라 함은 지식의 기본 구성 단위로서, 본 발명의 실시예에서는 다음 요소 중 하나 이상을 만족하는 대상을 개념이라 지칭한다.
- Wikidata 등의 백과사전에 등재된 대상
- 풀어 설명할 수 있는 대상, 즉, 정의문이 있는 대상(Entity)
- 행동 또는 서술의 주체나 객체가 될 수 있는 대상, 그러나 특정 수치 값을 나타내는 명사구는 개념이 될 수 없음
그리고 관계라 함은 두 개념 사이의 연관 관계(행동, 상태)를 표준화하여 묶은 것으로, 개념과 개념 사이를 이어 지식의 한 단위를 구성하는 동사구가 관계를 표현한다. 예를 들어, 관계의 예는 다음과 같다.
- part-of (부분이다, 구성하다, …)
- member-of (속하다, 소속되다, 구성원이다, …)
- founder-of (설립하다, 창립하다, 세우다, …)
- located-in (위치하다, ∼에 있다, …)
한편 상기 도 2를 이어 설명하면, S103 단계에서 제1 개념 그래프와 제2 개념 그래프를 구축하면, 질의응답 시스템(100)은 제1 개념 그래프와 제2 개념 그래프에서 문맥과 문맥 유형을 추출한다. 그리고 추출한 문맥과 문맥 유형을 토대로 제1 개념 그래프에서 추출한 문맥과 문맥 유형을 통해서는 제1 임베딩 벡터를 표현하고, 제2 개념 그래프에서 추출한 복수의 문맥과 문맥 유형을 통해서는 제2 임베딩 벡터를 표현한다(S104).
여기서, 질의응답 시스템(100)은 제1 개념 그래프에서 문맥과 문맥 유형을 추출할 경우, 동일한 문맥을 공유하는 영역들을 탐지하여 독립된 제1 문서 그래프를 생성한다(S105). 제1 문서 그래프는 제1 텍스트인 말뭉치 텍스트에서 추출된 모든 문맥과 문맥 유형을 토대로 형성된 문서 그래프이다.
질의응답 시스템(100)은 S104 단계에서 표현한 제1 임베딩 벡터와 제2 임베딩 벡터를 토대로, 문맥 유사도를 계산한다(S106). 그리고 제1 문서 그래프 중 제1 임베딩 벡터와 문맥 유사도가 높은 제1 문서 그래프를 제2 문서 그래프로써 추출한다(S107).
질의응답 시스템(100)은 S107 단계에서 추출한 제2 문서 그래프의 개념마다 그래프 매칭 점수를 계산하고(S108), 제2 개념 그래프와 의미적으로 가까운 문서 그래프를 정답 후보 개념으로 추출한다(S109). 이때, 질의응답 시스템(100)은 그래프 매칭 점수를 구하기 위해 센터피스 알고리즘, Word2Vec, CCA(Canonical Correlation Analysis) 등의 방법을 통해 계산하며, 각각의 방법들은 이미 알려진 것으로 본 발명의 실시예에서는 상세한 설명을 생략한다.
S109 단계에서 복수의 정답 후보 개념을 추출하면, 질의응답 시스템(100)은 정답 후보 개념을 다양한 자질들을 기초로 재정렬한다(S110). 이때, 질의응답 시스템(100)이 정답 후보 개념을 재정렬하기 위해 사용하는 자질로는, S108 단계에서 구한 그래프 매칭 점수나 의미적 유사도, 질의 유형이 부정형 문제인지 여부 등을 이용할 수 있으며, 어느 하나의 형태로 자질을 한정하지 않는다.
질의응답 시스템(100)은 S110 단계에서 재정렬된 정답 후보 개념을 질의응답 결과로 사용자에게 제공한다(S111).
이상에서 설명한 질의응답 시스템(100)을 이용하여 질의응답을 수행한 경우의 성능에 대해 도 5 내지 도 7을 참조로 설명한다.
도 5는 본 발명의 실시예에 따른 질의응답에 대한 성능평가를 나타낸 예시도이다.
도 5에 도시된 바와 같이, 임의의 형태의 질의가 입력되면 질의응답 시스템(100)으로 입력되면, 질의응답 시스템(100)은 질의를 토대로 제2 개념 그래프를 생성한다. 그리고, 다양한 형태의 언어 도구를 이용하여 질의에 포함된 언어를 분석하는데, 미리 구축되어 있는 한국어 개념 그래프를 이용하여 질의에 포함된 언어를 분석한다.
여기서, 한국어 개념 그래프는 350,902개의 개념과 105 종류의 개념 타입, 47개의 관계, 전체 트리플 수는 1,618,458개, 그리고 303,429개의 한글 문서를 통해 생성되어 있다. 여기에, 2,355개의 질문을 추가로 이용하여 한국어 개념 그래프가 생성되어 있는 것을 예로 하여 설명한다.
이러한 환경에서, 정답으로 제공된 정답 후보의 질의에 대한 매칭 정확도를 살펴보면, 200문장을 샘플링하여 얻은 변환 정확도는 80%, 샘플링된 문장에 정답 개념을 포함하는 포함율은 92.54%에 해당한다. 그리고 그래프 매칭의 정확도는 질의가 속성값 요청형의 경우에는 91%, 연산추론형은 80%를 나타냄을 알 수 있다.
질의에 대한 성능 평가에 대해 다른 형태로 살펴보면, 도 6은 본 발명의 제1 실시예에 따른 질의에 대한 성능 평가 결과에 대한 그래프이고, 도 7은 본 발명의 제2 실시예에 따른 질의에 대한 성능 평가 결과에 대한 그래프이다.
도 6은 질의 타입이 속성값 요청형인 경우에 대한 성능 평가 결과를 나타낸 그래프이고, 도 7은 연상 추론형 질의에 대한 성능 평가 결과를 나타낸 그래프이다. 도 6에서는 170개의 속성값 요청형 질의를 질의응답 시스템(100)에 입력하였을 때의 성능을 나타내었으며, 도 7에서는 30개의 연상 추론형 질의를 입력하였을 때의 성능 평가를 나타내었다.
두 그래프에서 X축은 질의에 대해 반환된 정답의 개수를 나타내고 Y축은 질의응답으로 도출된 결과에 대한 정확도를 나타낸다. 도 6과 도 7에 나타나 있는 바와 같이, 질의의 수가 많아 질수록 정답 후보 개념으로 제공되는 개념들 중 질의에 대응하는 개념을 추출하는 비율이 높아짐을 알 수 있다.
이상의 질의응답 시스템(100)에 질의를 입력하였을 때 제공되는 응답의 예에 대해 도 8 및 도 9를 참조로 설명한다.
도 8은 본 발명의 제1 실시예에 따른 질의에 대한 응답의 예시도이고, 도 9는 본 발명의 제2 실시예에 따른 질의에 대한 응답의 예시도이다.
먼저, 도 8은 질의로 '이곳은 미국 매사추세츠 주의 주도로 하버드, MIT 등 다수의 명문대와 명문 고등학교들이 있는 도시이다. 미국을 대표하는 교육도시인 이곳은 어디일까'이 질의응답 시스템(100)으로 입력되었다고 가정한다. 이때의 질의 형태는 속성값 요청형으로, 서로 다른 개념들과 연결된 정답을 채워 넣어야 맞출 수 있는 문제에 해당한다.
질의응답 시스템(100)은 질의로부터 검색 시 가중치를 높일 문맥으로 매사추세츠주, 미국, MIT, 하버드 등을 추출한다. 그리고, 미리 매사추세츠주, 미국, MIT, 하버드 등의 문맥을 동일한 문맥으로 공유하고 있는 제1 문서 그래프의 임베딩 벡터와 추출한 문맥을 통해 표현한 임베딩 벡터를 토대로 문맥 유사도가 높은 것으로파악되는 상위 문맥으로 매사추세츠 주, 미국, 인하대학교 등을 토대로 생성된 문서 그래프를 추출한다.
그리고, 추출한 상위 문맥마다 그래프 매칭 점수를 구하여, 질의 문맥 그래프와 의미적으로 가까운 상위 정답 후보를 추출한다. 도 8에서는 보스턴, 우스터, 케임브리지 등의 정답 후보 개념들이 추출된 것으로 나타내었다. 질의응답 시스템(100)은 추출된 정답 후보 개념들을 문맥 유사도 또는 다른 질의응답 자질들을 고려하여 정답 후보 개념들을 재정렬한다.
이때, 질의에 대한 정답은 '보스턴'으로 정답 후보 중 첫 번째 랭킹에 정답이 포함되어 있는 것을 알 수 있다. 따라서, 질의응답 시스템(100)은 정답으로 보스턴을 출력한다.
또 다른 실시예로 도 9에 나타낸 바와 같이, 질의로 '고려가요 <정석가>에서 이루어질 수 없는 불가능한 상황을 설정해 임과의 영원한 사랑을 기원하는 표현이 아닌 것은 무엇일까?'가 입력되는 것을 예로한다.
그러면, 질의응답 시스템(100)은 다른 개념들과 의미적 관련이 있는 정답을 찾는 문제인 관계 추론형과, 보기 중 질의와 가장 거리가 먼 것을 고르는 문제인 부정형이 섞인 질의에서는 '정석가', '고려가요', '한국음악' 등을 상위 문맥으로 추출한다.
질의응답 시스템(100)은 매칭한 정답 후보로 '청산별곡', '쌍화점'등을 추출한다. 이때 질의가 부정형 문제이기 때문에, 질의응답 시스템(100)은 보기에서 가장 질의에 대한 정답과 거리가 먼 '무쇠로 만든 나무에서 싹이 남'을 도출하는 것을 알 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (11)

  1. 질의응답 시스템이 입력된 질의를 처리하기 위하여 문맥을 검색하는 방법으로서,
    입력되는 질의로부터 문맥을 추출하여 질의 임베딩 벡터를 생성하는 단계,
    말뭉치 텍스트를 통해 미리 생성되어 있는 말뭉치 임베딩 벡터와 상기 생성한 질의 임베딩 벡터의 문맥 유사도를 계산하여, 상기 질의와 문맥 유사도가 높은 문서 그래프를 추출하는 단계,
    상기 추출한 문서 그래프 내에 포함된 적어도 하나의 개념에 대한 그래프 매칭 점수를 구하여, 상기 질의에 대한 복수의 정답 후보 개념을 추출하는 단계, 그리고
    상기 복수의 정답 후보 개념에서 상기 질의에 대한 정답을 질의응답 결과로 제공하는 단계
    를 포함하는 문맥 검색 방법.
  2. 제1항에 있어서,
    상기 질의 임베딩 벡터를 생성하는 단계 이전에,
    상기 말뭉치 텍스트로부터 개념, 관계, 속성을 추출하는 단계,
    상기 추출한 개념, 관계 속성을 토대로 문서 개념 그래프를 생성하는 단계, 그리고
    상기 문서 개념 그래프로부터 복수의 문맥과 문맥 각각에 대한 문맥 유형을 추출하고, 문맥과 문맥 유형을 토대로 말뭉치 임베딩 벡터를 생성하는 단계
    를 포함하는 문맥 검색 방법.
  3. 제2항에 있어서,
    상기 말뭉치 임베딩 벡터를 생성하는 단계는,
    상기 문서 개념 그래프에서 동일한 문맥을 공유하는 영역을 탐지하는 단계, 그리고
    상기 탐지한 영역 각각을 상기 동일한 문맥에 대한 문서 그래프로 추출하는 단계
    를 더 포함하는 문맥 검색 방법.
  4. 제3항에 있어서,
    상기 질의 임베딩 벡터를 생성하는 단계는,
    상기 질의로부터 개념과 관계를 추출하는 단계,
    상기 추출한 개념과 관계를 토대로 질의 개념 그래프를 생성하는 단계, 그리고
    상기 질의 개념 그래프로부터 상기 문맥과 문맥 유형을 추출하고, 문맥과 문맥 유형을 이용하여 상기 임베딩 벡터를 생성하는 단계
    를 포함하는 문맥 검색 방법.
  5. 제4항에 있어서,
    상기 문맥과 문맥 유형을 기초로 워드 임베딩 또는 정준상관분석 방법 중 어느 하나의 방법으로 상기 임베딩 벡터를 표현하는 문맥 검색 방법.
  6. 제4항에 있어서,
    상기 문맥 유사도가 높은 문서 그래프를 추출하는 단계는,
    상기 질의 임베딩 벡터와 말뭉치 임베딩 벡터를 기초로 문맥 유사도를 계산하는 단계, 그리고
    상기 복수의 문맥별 문서 그래프 중 상기 계산한 문맥 유사도가 높은 그래프를 상기 문서 그래프로 추출하는 단계
    를 포함하는 문맥 검색 방법.
  7. 질의응답 시스템으로서,
    수신한 말뭉치 텍스트로부터 복수의 제1 문맥을 추출하여 문맥별로 제1 임베딩 벡터와 제1 문서 그래프를 생성하고, 수신한 질의로부터 제2 문맥을 추출하여 제2 임베딩 벡터를 생성하는 개념 그래프 추출부,
    상기 제1 문서 그래프 중 상기 제2 문맥과 문맥 유사도가 높은 문서 그래프를 제2 문서 그래프로 특정하는 문맥 검색부,
    상기 제2 문서 그래프에 포함된 적어도 하나의 개념 각각에 대한 그래프 매칭 점수를 계산하여, 상기 수신한 질의에 대응하는 복수의 정답 후보 개념을 출력하는 개념 그래프 매칭부, 그리고
    상기 문맥 유사도를 기초로 상기 복수의 정답 후보 개념을 재정렬하고, 상기 질의의 유형에 따라 어느 하나의 정답 후보 개념을 질의응답 결과로 출력하는 정답 후보 랭킹부
    를 포함하는 질의응답 시스템.
  8. 제7항에 있어서,
    상기 개념 그래프 추출부는,
    상기 말뭉치 텍스트와 질의로부터 개념, 관계 그리고 속성을 추출하고,
    추출한 개념 관계 그리고 속성을 토대로 상기 말뭉치 텍스트로부터 제1 개념 그래프를 생성하고, 질의로부터 제2 개념 그래프를 생성하는 질의응답 시스템.
  9. 제8항에 있어서,
    상기 개념 그래프 추출부는,
    상기 추출한 제1 문맥과 제2 문맥 각각에 대한 문맥 정보를 각각 확인하고,
    상기 제1 문맥과 문맥 정보를 토대로 제1 임베딩 벡터를 생성하고, 상기 제2 문맥과 문맥 정보를 토대로 제2 임베딩 벡터를 생성하는 질의응답 시스템.
  10. 제9항에 있어서,
    상기 개념 그래프 추출부는,
    상기 제1 개념 그래프에서 동일한 문맥을 공유하는 영역을 탐지하고, 탐지한 영역 각각을 상기 동일한 문맥에 대한 상기 제1 문서 그래프로 추출하는 질의응답 시스템.
  11. 제7항에 있어서,
    상기 개념 그래프 추출부가 추출한 제1 임베딩 벡터와 제1 문서 그래프를 저장하는 저장부
    를 더 포함하는 질의응답 시스템.
PCT/KR2017/014828 2017-02-08 2017-12-15 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법 WO2018147543A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170017346 2017-02-08
KR10-2017-0017346 2017-02-08
KR10-2017-0172922 2017-12-15
KR1020170172922A KR20180092808A (ko) 2017-02-08 2017-12-15 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법

Publications (1)

Publication Number Publication Date
WO2018147543A1 true WO2018147543A1 (ko) 2018-08-16

Family

ID=63106835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/014828 WO2018147543A1 (ko) 2017-02-08 2017-12-15 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법

Country Status (1)

Country Link
WO (1) WO2018147543A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472305A (zh) * 2018-10-31 2019-03-15 国信优易数据有限公司 答案质量确定模型训练方法、答案质量确定方法及装置
CN109670029A (zh) * 2018-12-28 2019-04-23 百度在线网络技术（北京）有限公司 用于确定问题答案的方法、装置、计算机设备及存储介质
WO2022227171A1 (zh) * 2021-04-25 2022-11-03 平安科技（深圳）有限公司 关键信息提取方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302156A1 (en) * 2010-06-08 2011-12-08 Microsoft Corporation Re-ranking search results based on lexical and ontological concepts
KR20160046572A (ko) * 2014-10-21 2016-04-29 포항공과대학교 산학협력단 데이터베이스의 데이터 확장 방법 및 장치
KR20160103911A (ko) * 2015-02-24 2016-09-02 한국과학기술원 개념 그래프 매칭을 이용한 질의응답 방법 및 시스템
US20160357855A1 (en) * 2015-06-02 2016-12-08 International Business Machines Corporation Utilizing Word Embeddings for Term Matching in Question Answering Systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302156A1 (en) * 2010-06-08 2011-12-08 Microsoft Corporation Re-ranking search results based on lexical and ontological concepts
KR20160046572A (ko) * 2014-10-21 2016-04-29 포항공과대학교 산학협력단 데이터베이스의 데이터 확장 방법 및 장치
KR20160103911A (ko) * 2015-02-24 2016-09-02 한국과학기술원 개념 그래프 매칭을 이용한 질의응답 방법 및 시스템
US20160357855A1 (en) * 2015-06-02 2016-12-08 International Business Machines Corporation Utilizing Word Embeddings for Term Matching in Question Answering Systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BAE, HWAN-KOOK ET AL: "Context Extension in Concept-based Searching Using the Conceptual Graph", (KIISE) 2002 SPRING CONFERNCE, vol. 29, no. 1(b), April 2002 (2002-04-01), pages 331 - 333, Retrieved from the Internet <URL:http://www.dbpia.co.kr/Journal/PDFViewNew?id=NODE00612526> *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472305A (zh) * 2018-10-31 2019-03-15 国信优易数据有限公司 答案质量确定模型训练方法、答案质量确定方法及装置
CN109670029A (zh) * 2018-12-28 2019-04-23 百度在线网络技术（北京）有限公司 用于确定问题答案的方法、装置、计算机设备及存储介质
CN109670029B (zh) * 2018-12-28 2021-09-07 百度在线网络技术（北京）有限公司 用于确定问题答案的方法、装置、计算机设备及存储介质
WO2022227171A1 (zh) * 2021-04-25 2022-11-03 平安科技（深圳）有限公司 关键信息提取方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
Pan et al. Course concept extraction in moocs via embedding-based graph propagation
WO2020111314A1 (ko) 개념 그래프 기반 질의응답 장치 및 방법
WO2021049706A1 (ko) 앙상블 질의 응답을 위한 시스템 및 방법
WO2012165929A2 (ko) 웹을 이용한 정보 검색 방법 및 이를 사용하는 음성 대화 방법
WO2017150820A1 (ko) 지식베이스 기반의 개념그래프 확장 시스템
WO2014025135A1 (ko) 문법 오류 검출 방법, 이를 위한 오류검출장치 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록매체
WO2018147543A1 (ko) 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법
Damljanovic et al. Linked data-based concept recommendation: Comparison of different methods in open innovation scenario
Hamdi et al. TaxoMap in the OAEI 2009 alignment contest
WO2011129481A1 (ko) Ｒｄｆ 탐색기반 질의응답 서비스 시스템 및 방법
WO2014030834A1 (ko) 문법의 오류 검출 방법, 이를 위한 오류검출장치 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록매체
Kobbe et al. Unsupervised stance detection for arguments from consequences
KR20180092808A (ko) 개념 그래프 기반 질의응답 시스템 및 이를 이용한 문맥 검색 방법
Martin et al. MuDoCo: corpus for multidomain coreference resolution and referring expression generation
JP2011118689A (ja) 検索方法及びシステム
KR20160103911A (ko) 개념 그래프 매칭을 이용한 질의응답 방법 및 시스템
CN110096599A (zh) 知识图谱的生成方法及装置
KR20180093157A (ko) 의존구문 분석 기술 및 의미 표현 기술을 활용한 질문 번역 시스템 및 방법
Federici et al. Towards Unsupervised Approaches For Aspects Extraction.
Yang et al. Multi-module system for open domain chinese question answering over knowledge base
WO2013172499A1 (ko) 문헌에서 용어에 대한 서술적 개념 표현을 추출하기 위한 장치 및 그 방법
WO2020242086A1 (ko) 다중 지식의 비교 우위를 추론하는 서버, 방법 및 컴퓨터 프로그램
Saeidi et al. Context-enhanced concept disambiguation in Wikification
WO2017122904A1 (ko) 구체화된 삼항 관계 추출을 위한 개방형 정보 추출 방법 및 시스템
Huang et al. Pandasearch: A fine-grained academic search engine for research documents

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896069

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17896069

Country of ref document: EP

Kind code of ref document: A1