KR102297849B1 - Question answering system for finding correct sentence and training method thereof - Google Patents

Question answering system for finding correct sentence and training method thereof Download PDF

Info

Publication number
KR102297849B1
KR102297849B1 KR1020190154676A KR20190154676A KR102297849B1 KR 102297849 B1 KR102297849 B1 KR 102297849B1 KR 1020190154676 A KR1020190154676 A KR 1020190154676A KR 20190154676 A KR20190154676 A KR 20190154676A KR 102297849 B1 KR102297849 B1 KR 102297849B1
Authority
KR
South Korea
Prior art keywords
sentence
query
correct answer
comparison information
question
Prior art date
Application number
KR1020190154676A
Other languages
Korean (ko)
Other versions
KR20200064007A (en
Inventor
맹성현
한상도
권순철
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20200064007A publication Critical patent/KR20200064007A/en
Application granted granted Critical
Publication of KR102297849B1 publication Critical patent/KR102297849B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

문서 내에 포함된 복수의 본문 문장과 정답이 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 비교 네트워크를 사전 훈련하고, 사전 훈련의 결과에 따라 복수의 본문 문장과 질의 문장 간의 문장 비교 정보를 생성하는 문장 비교부, 및 문서 내의 본문, 질의 문장, 및 문장 비교 정보를 사용하여 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부를 포함하는 질의 응답 시스템 및 질의 응답 시스템의 훈련 방법이 제공된다.A sentence in which a comparison network is pre-trained based on a plurality of body sentences included in the document and a query sentence in which the correct answer is predetermined in the document, and sentence comparison information between the plurality of body sentences and the query sentence is generated according to the result of the pre-training A method for training a question answering system and a question answering system, comprising: a comparison unit; and a correct answer detection unit that trains a correct answer detection network so that a correct answer corresponding to the query sentence can be output by using the text in the document, the query sentence, and the sentence comparison information this is provided

Description

정답을 찾는 질의 응답 시스템 및 그의 훈련 방법{QUESTION ANSWERING SYSTEM FOR FINDING CORRECT SENTENCE AND TRAINING METHOD THEREOF}A question-and-answer system for finding the correct answer and its training method

본 기재는 문서 내에서 질의에 대한 정답을 찾는 질의 응답 시스템 및 그의 훈련 방법에 관한 것이다. The present disclosure relates to a question answering system for finding an answer to a question in a document, and a training method thereof.

독해 시스템은 자연어 질의가 입력되면 문서 내의 본문에서 알맞은 답을 출력하는 시스템으로서 질의 응답 시스템의 한 종류이다. 최근 독해 시스템은 딥러닝 기술의 발전과 함께 그 성능이 많이 향상되었다. 이들 독해 시스템은 자연어 질의 문장을 문서 내의 본문 전체와 비교하여 정답을 찾는다.The reading comprehension system is a type of question-and-answer system that outputs an appropriate answer from the body of a document when a natural language query is input. Recently, the performance of reading comprehension systems has improved a lot with the development of deep learning technology. These reading comprehension systems compare natural language query sentences with the entire text in the document to find the correct answer.

한 실시예는, 문장 비교 네트워크의 사전 훈련을 통해 제공되는 문장 비교 정보를 바탕으로 질의에 대한 정답을 찾는 질의 응답 시스템을 제공한다.An embodiment provides a question answering system that finds an answer to a question based on sentence comparison information provided through prior training of a sentence comparison network.

다른 실시예는, 문장 비교 정보의 손실 값을 사용하여 질의 응답 시스템의 정답 탐지 네트워크를 훈련하는 질의 응답 시스템의 훈련 방법을 제공한다.Another embodiment provides a training method for a question-and-answer system for training a correct answer detection network of the question-and-answer system using a loss value of sentence comparison information.

또 다른 실시예는, 질의 문장과 본문 문장 간의 비교를 통해 제공되는 자질 벡터를 바탕으로 정답 탐지 네트워크를 훈련하는 질의 응답 시스템의 훈련 방법을 제공한다.Another embodiment provides a training method for a question-and-answer system that trains a correct answer detection network based on a feature vector provided through comparison between a query sentence and a body sentence.

한 실시예에 따르면, 질의에 대한 정답을 찾는 질의 응답 시스템이 제공된다. 상기 질의 응답 시스템은, 문서 내에 포함된 복수의 본문 문장과 상기 정답이 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 비교 네트워크를 사전 훈련하고, 사전 훈련의 결과에 따라 복수의 본문 문장과 질의 문장 간의 문장 비교 정보를 생성하는 문장 비교부, 및 문서 내의 본문, 질의 문장, 및 문장 비교 정보를 사용하여 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부를 포함한다.According to one embodiment, a question answering system for finding an answer to a query is provided. The question answering system pre-trains a comparison network based on a plurality of body sentences included in the document and a query sentence in which the correct answer is predetermined in the document, and between the plurality of body sentences and the query sentence according to the result of the pre-training. a sentence comparison unit that generates sentence comparison information; and a correct answer detection unit that trains a correct answer detection network so that a correct answer corresponding to the query sentence can be output by using the text in the document, the query sentence, and the sentence comparison information.

상기 질의 응답 시스템은, 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 질의 인코더, 및 복수의 본문 문장을 인코딩하여 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 본문 인코더를 더 포함할 수 있다.The question answering system further comprises a query encoder that encodes a query sentence to generate a query embedding vector, and a body encoder that encodes a plurality of body sentences to generate a plurality of body sentence embedding vectors respectively corresponding to the plurality of body sentences. can do.

상기 질의 응답 시스템에서 문장 비교부는, 각각의 복수의 본문 문장 임베딩 벡터와 질의 임베딩 벡터 간의 의미 유사도를 문장 비교 정보로서 생성할 수 있다.In the question and answer system, the sentence comparison unit may generate a semantic similarity between each of the plurality of body sentence embedding vectors and the query embedding vectors as sentence comparison information.

상기 질의 응답 시스템에서 문장 비교 정보는, 각각의 복수의 본문 문장이 정답 문장일 확률을 나타낼 수 있다.In the question and answer system, the sentence comparison information may indicate a probability that each of the plurality of body sentences is a correct sentence.

다른 실시예에 따르면, 질의에 대한 정답을 찾는 질의 응답 시스템의 훈련 방법이 제공된다. 상기 질의 응답 시스템의 훈련 방법은, 문서 내에 포함된 복수의 본문 문장과 정답이 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 복수의 본문 문장과 질의 문장 간의 문장 비교 정보를 생성하는 단계, 문장 비교 정보의 손실 값을 계산하는 단계, 및 문서 내의 본문, 질의 문장, 문장 비교 정보, 및 문장 비교 정보의 손실 값을 바탕으로 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 단계를 포함한다.According to another embodiment, a method of training a question answering system for finding an answer to a question is provided. The training method of the question answering system includes generating sentence comparison information between a plurality of body sentences and the question sentence based on a plurality of body sentences included in the document and a question sentence in which the correct answer is predetermined in the document, sentence comparison information calculating the loss value of , and training the correct answer detection network so that the correct answer corresponding to the query sentence can be output based on the loss value of the text in the document, the query sentence, the sentence comparison information, and the sentence comparison information. do.

상기 훈련 방법은, 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 단계, 및 복수의 본문 문장을 인코딩하여 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 단계를 더 포함할 수 있다.The training method may further include encoding a query sentence to generate a query embedding vector, and encoding a plurality of body sentences to generate a plurality of body sentence embedding vectors respectively corresponding to the plurality of body sentences. .

상기 훈련 방법에서 문장 비교 정보를 생성하는 단계는, 각각의 복수의 본문 문장 임베딩 벡터와 질의 임베딩 벡터 간의 의미 유사도를 문장 비교 정보로서 생성하는 단계를 포함할 수 있다. The generating of the sentence comparison information in the training method may include generating a semantic similarity between each of the plurality of body sentence embedding vectors and the query embedding vector as sentence comparison information.

상기 훈련 방법에서 문장 비교 정보는, 각각의 복수의 본문 문장이 정답 문장일 확률 값일 수 있다.In the training method, the sentence comparison information may be a probability value that each of the plurality of body sentences is a correct sentence.

상기 훈련 방법에서 문장 비교 정보의 손실 값을 계산하는 단계는, 확률 1에서 확률 값을 차감함으로써 손실 값을 계산하는 단계를 포함할 수 있다.In the training method, calculating the loss value of the sentence comparison information may include calculating the loss value by subtracting the probability value from probability 1.

상기 훈련 방법에서 정답 탐지 네트워크를 훈련하는 단계는, 문장 비교 정보의 손실 값을 정답 탐지 네트워크의 정답 탐지 손실 값에 부가하는 단계를 포함할 수 있다. In the training method, training the correct answer detection network may include adding a loss value of sentence comparison information to a correct answer detection loss value of the correct answer detection network.

또 다른 실시예에 따르면, 질의에 대한 정답을 찾는 질의 응답 시스템의 훈련 방법이 제공된다. 상기 질의 응답 시스템의 훈련 방법은, 문서 내에 포함된 복수의 본문 문장의 정답이 문서 내에 미리 결정되어 있는 질의 문장으로부터 복수의 본문 문장에 각각 대응하는 자질 벡터를 생성하는 단계, 및 문서의 본문, 질의 문장, 및 자질 벡터를 바탕으로 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 단계를 포함한다.According to another embodiment, there is provided a training method of a question answering system for finding an answer to a question. The training method of the question answering system includes the steps of: generating a feature vector corresponding to each of the plurality of body sentences from a question sentence in which correct answers of a plurality of body sentences included in the document are predetermined in the document, and the body of the document, the query and training a correct answer detection network to output a correct answer corresponding to the query sentence based on the sentence and the feature vector.

상기 훈련 방법은, 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 단계, 및 복수의 본문 문장을 인코딩하여 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 단계를 더 포함할 수 있다.The training method may further include encoding a query sentence to generate a query embedding vector, and encoding a plurality of body sentences to generate a plurality of body sentence embedding vectors respectively corresponding to the plurality of body sentences. .

상기 훈련 방법에서 자질 벡터는 복수의 본문 문장 임베딩 벡터 및 질의 임베딩 벡터 간의 아다마르 곱(Hadamard product) 벡터일 수 있다.In the training method, the feature vector may be a Hadamard product vector between a plurality of body sentence embedding vectors and a query embedding vector.

상기 훈련 방법에서 정답 탐지 네트워크를 훈련하는 단계는, 복수의 본문 문장 임베딩 벡터 또는 문서 내에 포함된 단어의 단어 임베딩 벡터 내에 자질 벡터를 삽입하는 단계를 포함할 수 있다. In the training method, training the correct answer detection network may include inserting a feature vector into a plurality of body sentence embedding vectors or a word embedding vector of a word included in a document.

또 다른 실시예에 따르면, 질의에 대한 정답을 찾는 질의 응답 시스템이 제공된다. 상기 질의 응답 시스템은, 문서 내에 포함된 복수의 본문 문장과 정답이 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 복수의 본문 문장과 질의 문장 간의 문장 비교 정보를 생성하고, 문장 비교 정보의 손실 값을 계산하는 문장 비교부, 및 문서 내의 본문, 질의 문장, 문장 비교 정보, 및 문장 비교 정보의 손실 값을 바탕으로 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부를 포함한다.According to another embodiment, a question answering system for finding an answer to a query is provided. The question answering system generates sentence comparison information between a plurality of body sentences and a query sentence based on a plurality of body sentences included in the document and a query sentence in which the correct answer is predetermined in the document, and calculates the loss value of the sentence comparison information. a sentence comparison unit that calculates, and a correct answer detection unit that trains the correct answer detection network so that the correct answer corresponding to the query sentence can be output based on the loss value of the text in the document, the query sentence, the sentence comparison information, and the sentence comparison information. .

상기 질의 응답 시스템은, 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 질의 인코더, 및 복수의 본문 문장을 인코딩하여 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 본문 인코더를 더 포함할 수 있다.The question answering system further comprises a query encoder that encodes a query sentence to generate a query embedding vector, and a body encoder that encodes a plurality of body sentences to generate a plurality of body sentence embedding vectors respectively corresponding to the plurality of body sentences. can do.

상기 질의 응답 시스템에서 문장 비교부는, 각각의 복수의 본문 문장 임베딩 벡터와 질의 임베딩 벡터 간의 의미 유사도를 문장 비교 정보로서 생성할 수 있다. In the question and answer system, the sentence comparison unit may generate a semantic similarity between each of the plurality of body sentence embedding vectors and the query embedding vectors as sentence comparison information.

상기 질의 응답 시스템에서 문장 비교 정보는, 각각의 복수의 본문 문장이 정답 문장일 확률 값일 수 있다. In the question and answer system, the sentence comparison information may be a probability value that each of the plurality of body sentences is a correct sentence.

상기 질의 응답 시스템에서 문장 비교부는, 확률 1에서 확률 값을 차감함으로써 손실 값을 계산할 수 있다.In the question and answer system, the sentence comparison unit may calculate a loss value by subtracting a probability value from probability 1.

상기 질의 응답 시스템에서 정답 탐지부는, 문장 비교 정보의 손실 값을 정답 탐지 네트워크의 정답 탐지 손실 값에 부가할 수 있다.In the question and answer system, the correct answer detection unit may add a loss value of sentence comparison information to a correct answer detection loss value of the correct answer detection network.

문장 비교 네트워크의 사전 훈련을 통해 결정된 문장 비교 정보가 질의 응답 시스템의 정답 탐지 성능을 향상시킬 수 있다. 또한, 문장 비교 정보의 손실 값을 사용하여 정답 탐지 네트워크가 업데이트됨으로써 질의 응답 시스템의 정답 탐지 성능이 향상될 수 있다. 또한, 질의 문장과 본문 문장 간의 비교를 통해 결정되는 자질 벡터를 통해 질의 응답 시스템의 정답 탐지 성능이 향상될 수 있다.The sentence comparison information determined through prior training of the sentence comparison network can improve the correct answer detection performance of the question and answer system. In addition, the correct answer detection performance of the question answering system may be improved by updating the correct answer detection network using the loss value of the sentence comparison information. In addition, the ability of the question answering system to detect an answer may be improved through a feature vector determined through comparison between the question sentence and the body sentence.

도 1은 한 실시예에 따른 질의 응답 시스템을 나타낸 개념도이다.
도 2는 한 실시예에 따른 질의 응답 시스템을 나타낸 블록도이다.
도 3은 한 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.
도 4는 다른 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.
도 5는 다른 실시예에 따른 질의 응답 시스템의 블록도이다.
도 6은 또 다른 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.
도 7은 한 실시예에 따른 질의 응답 시스템의 추론 방법을 나타낸 흐름도이다.
도 8은 다른 실시예에 따른 질의 응답 시스템을 나타낸 개념도이다.
도 9는 또 다른 실시예에 따른 질의 응답 시스템을 나타낸 블록도이다.1 is a conceptual diagram illustrating a question answering system according to an embodiment.
2 is a block diagram illustrating a question answering system according to an embodiment.
3 is a flowchart illustrating a training method of a question answering system according to an embodiment.
4 is a flowchart illustrating a training method of a question answering system according to another embodiment.
5 is a block diagram of a question answering system according to another embodiment.
6 is a flowchart illustrating a training method of a question answering system according to another embodiment.
7 is a flowchart illustrating an inference method of a question answering system according to an embodiment.
8 is a conceptual diagram illustrating a question answering system according to another embodiment.
9 is a block diagram illustrating a question answering system according to another embodiment.

아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, it will be described in detail for those of ordinary skill in the art to which the present invention pertains to easily implement the embodiments of the present disclosure. However, the present description may be embodied in various different forms and is not limited to the embodiments described herein. And in order to clearly explain the present description in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

도 1은 한 실시예에 따른 질의 응답 시스템을 나타낸 개념도이다.1 is a conceptual diagram illustrating a question answering system according to an embodiment.

도 1을 참조하면, 한 실시예에 따른 질의 응답 시스템은, 문장 비교부(100) 및 정답 탐지부(200)를 포함한다. Referring to FIG. 1 , a question answering system according to an exemplary embodiment includes a sentence comparison unit 100 and a correct answer detection unit 200 .

문장 비교부(100)는 질의 문장과 본문 문장을 비교함으로써 문장 비교 정보를 생성할 수 있다. 문장 비교 정보는 질의 임베딩 벡터 및 본문 문장의 본문 문장 임베딩 벡터 사이의 의미 유사도일 수 있고, 각 본문 문장의 정답 확률 값일 수 있다. 문장 비교부(100)는 비교 네트워크의 사전 훈련(pre-training)을 통해 문장 비교 정보를 업데이트할 수 있다. 또는 문장 비교부(100)는 질의 임베딩 벡터와 본문 문장 임베딩 벡터를 각각 비교하여 질의 문장과 본문 문장 간의 문장 비교 정보를 생성할 수 있다.The sentence comparison unit 100 may generate sentence comparison information by comparing the query sentence with the main sentence. The sentence comparison information may be a semantic similarity between the query embedding vector and the body sentence embedding vector of the body sentence, and may be a correct answer probability value of each body sentence. The sentence comparison unit 100 may update the sentence comparison information through pre-training of the comparison network. Alternatively, the sentence comparison unit 100 may generate sentence comparison information between the query sentence and the body sentence by comparing the query embedding vector and the body sentence embedding vector, respectively.

정답 탐지부(200)는 문장 비교부(100)로부터 수신된 문장 비교 정보를 사용하여 문서 내의 본문에서 질의 문장의 정답을 결정하기 위한 기계 학습을 수행할 수 있다. 또는 정답 탐지부(200)는 질의 문장과 문서 내의 본문의 본문 문장 간의 관계에 기반하는 자질 벡터를 바탕으로 질의 문장에 대한 정답을 본문 내에서 결정하기 위한 기계 학습을 수행할 수 있다. 정답 탐지부(200)는 정답이 문서 내에 미리 결정되어 있는 질의 문장, 문서 내의 본문, 및 질의 문장과 본문 문장 간의 문장 비교 정보를 사용하여 독해 네트워크를 훈련시킬 수 있다. 또한 정답 탐지부(200)는 독해 네트워크의 훈련 결과를 바탕으로 정답이 미리 결정되어 있지 않은 질의에 대한 정답 또는 정답을 포함하는 문장을 문서 내의 본문 중에서 결정할 수 있다. The correct answer detection unit 200 may perform machine learning for determining the correct answer of a query sentence in the body of the document by using the sentence comparison information received from the sentence comparison unit 100 . Alternatively, the correct answer detecting unit 200 may perform machine learning to determine the correct answer to the query sentence in the text based on a feature vector based on the relationship between the query sentence and the body sentence of the body in the document. The correct answer detecting unit 200 may train the reading comprehension network by using a question sentence in which the correct answer is predetermined in a document, a text in the document, and sentence comparison information between the query sentence and the body sentence. Also, the correct answer detecting unit 200 may determine a correct answer to a question for which the correct answer is not predetermined or a sentence including the correct answer from the body of the document based on the training result of the reading comprehension network.

도 2는 한 실시예에 따른 질의 응답 시스템을 나타낸 블록도이고, 도 3은 한 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다. 2 is a block diagram illustrating a question and answer system according to an embodiment, and FIG. 3 is a flowchart illustrating a training method of the question and answer system according to an embodiment.

도 2 및 도 3을 참조하면, 질의 인코더(10)는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하고, 본문 인코더(20)는 문서 내의 본문 문장을 인코딩하여 본문 문장 임베딩 벡터를 생성한다(S110). 질의 인코더(10)는 질의 문장에 포함된 각 단어의 단어 임베딩을 생성하고, 질의 문장 내의 복수의 단어에 각각 대응하는 복수의 단어 임베딩의 집합을 질의 임베딩 벡터로서 생성할 수 있다. 본문 인코더(20)는 복수의 단어 임베딩에 대해 풀링(pooling) 연산(max pooling, mean pooling 등)을 수행하여 본문 문장 임베딩 벡터를 생성할 수 있다. 본문 인코더(20)는 BiDAF 네트워크 또는 fastQA 네트워크 등에서 사용될 수 있다. 한 실시예에 따르면 각 본문 문장 임베딩 벡터는 문서 내에 포함된 복수의 본문 문장에 대응할 수 있다. 2 and 3 , the query encoder 10 encodes a query sentence to generate a query embedding vector, and the body encoder 20 encodes a body sentence in the document to generate a body sentence embedding vector (S110) . The query encoder 10 may generate word embeddings of each word included in the query sentence, and may generate a set of a plurality of word embeddings respectively corresponding to a plurality of words in the query sentence as a query embedding vector. The body encoder 20 may generate a body sentence embedding vector by performing a pooling operation (max pooling, mean pooling, etc.) on a plurality of word embeddings. The body encoder 20 may be used in a BiDAF network or a fastQA network. According to an embodiment, each body sentence embedding vector may correspond to a plurality of body sentences included in the document.

다음, 문장 비교부(100)는 질의 임베딩 벡터와, 본문 문장 임베딩 벡터를 바탕으로 비교 네트워크를 사전 훈련함으로써 사전 훈련의 결과에 따라 질의 문장과 본문 문장 간의 문장 비교 정보를 생성할 수 있다(S120). 문장 비교부(100)는 사전 훈련이 종료된 후 생성된 문장 비교 정보를 정답 탐지부(200)에게 전달할 수 있다. 문장 비교 정보는, 각 본문 문장이 정답 문장(즉, 정답을 포함하는 문장)일 확률을 가리키는 확률 값일 수 있다. 문장 비교 정보(예를 들어, 본문 문장이 정답 문장일 확률 값)는, 질의 임베딩 벡터 및 본문 문장 임베딩 벡터 사이의 의미 유사도를 기반으로 결정될 수 있다. 문장 비교부(100)는 질의 문장 및 질의 문장에 대한 정답이 미리 결정되어 있을 때, 정답인 본문 문장이 가장 큰 확률 값에 대응될 수 있도록 사전 훈련을 수행할 수 있다. 이후 추론 단계에서 문장 비교부(100)는 질의 문장이 입력되면, 각 본문 문장마다 정답 확률 값을 문장 비교 정보로서 생성할 수 있고, 정답 탐지부(200)는 정답 확률 값이 가장 큰 문장 내에서 정답을 결정할 수 있다. Next, the sentence comparison unit 100 may generate sentence comparison information between the query sentence and the body sentence according to the result of the prior training by pre-training the comparison network based on the query embedding vector and the body sentence embedding vector (S120). . The sentence comparison unit 100 may transmit the sentence comparison information generated after the pre-training is completed to the correct answer detection unit 200 . The sentence comparison information may be a probability value indicating a probability that each body sentence is a correct sentence (ie, a sentence including a correct answer). The sentence comparison information (eg, a probability value that the body sentence is a correct sentence) may be determined based on the semantic similarity between the query embedding vector and the body sentence embedding vector. When the question sentence and the correct answer to the question sentence are predetermined, the sentence comparison unit 100 may perform pre-training so that the correct body sentence corresponds to the largest probability value. In the subsequent reasoning step, when a query sentence is input, the sentence comparison unit 100 may generate a correct answer probability value for each text sentence as sentence comparison information, and the correct answer detection unit 200 may generate a correct answer probability value within the sentence with the largest correct answer probability value. You can decide the answer.

다음, 정답 탐지부(200)는 질의 문장, 문서의 본문, 및 문장 비교 정보를 사용하여 정답 탐지 네트워크를 훈련한다(S130). 정답 탐지부(200)가 fastQA 네트워크를 포함할 때, 정답 탐지부(200)는 질의 문장의 문장 임베딩 벡터와 본문 내의 각 단어의 단어 임베딩 벡터 간의 전연결(fully connected, FC) 결과에 정답 확률 값을 곱함으로써 정답 탐지 네트워크를 훈련할 수 있다. 정답 탐지부(200)는, 정답이 미리 결정되어 있는 질의 문장이 입력될 때, 문장 비교 정보를 사용하여 각 문장에 확률 점수를 매기고, 가장 높은 확률 점수를 갖는 문장 내에서 또는 비슷하게 큰 확률 점수를 갖는 복수의 문장 내에 존재하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련할 수 있다. Next, the correct answer detection unit 200 trains the correct answer detection network using the query sentence, the text of the document, and the sentence comparison information ( S130 ). When the correct answer detection unit 200 includes the fastQA network, the correct answer detection unit 200 returns a correct answer probability value to the fully connected (FC) result between the sentence embedding vector of the query sentence and the word embedding vector of each word in the body. By multiplying by , we can train a correct answer detection network. The correct answer detection unit 200, when a question sentence with a predetermined correct answer is input, assigns a probability score to each sentence using the sentence comparison information, and obtains a similarly large probability score within the sentence having the highest probability score. The correct answer detection network can be trained so that the correct answer existing in a plurality of sentences with the sentence can be output.

도 4는 다른 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다. 4 is a flowchart illustrating a training method of a question answering system according to another embodiment.

도 2 및 도 4를 참조하면, 질의 인코더(10)는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하고, 본문 인코더(20)는 문서 내의 본문 문장을 인코딩하여 본문 문장 임베딩 벡터를 생성한다(S210). 문장 비교부(100)는 질의 임베딩 벡터와 본문 문장 임베딩 벡터를 각각 비교하여 질의 문장과 본문 문장 간의 문장 비교 정보를 생성하고, 문장 비교 정보의 손실 값을 계산한다(S220). 이후 문장 비교부(100)는 문장 비교 정보 및 문장 비교 정보의 손실 값을 정답 탐지부(200)에게 전달한다. 문장 비교 정보는 각 본문 문장이 정답 문장일 확률 값일 수 있고, 질의 임베딩 벡터 및 본문 문장 임베딩 벡터 간의 의미 유사도로부터 결정될 수 있다. 문장 비교 정보의 손실 값은 확률 1에 대한 각 본문 문장의 정답 확률 값의 차이일 수 있다. 예를 들어, 하나의 질의 문장에 대해, 문장 비교부(100)에 의해 결정된 임의의 본문 문장의 가장 큰 정답 확률 값이 0.8일 때, 손실 값은 0.2(0.2=1-0.8)로 결정될 수 있다. 2 and 4, the query encoder 10 encodes a query sentence to generate a query embedding vector, and the body encoder 20 encodes a body sentence in the document to generate a body sentence embedding vector (S210) . The sentence comparison unit 100 compares the query embedding vector and the body sentence embedding vector, respectively, to generate sentence comparison information between the query sentence and the body sentence, and calculates a loss value of the sentence comparison information ( S220 ). Thereafter, the sentence comparison unit 100 transmits the sentence comparison information and the loss value of the sentence comparison information to the correct answer detection unit 200 . The sentence comparison information may be a probability value that each body sentence is a correct sentence, and may be determined from the semantic similarity between the query embedding vector and the body sentence embedding vector. The loss value of the sentence comparison information may be the difference between the probability value of the correct answer of each body sentence with respect to the probability 1. For example, for one query sentence, when the highest probability of correct answer of any body sentence determined by the sentence comparison unit 100 is 0.8, the loss value may be determined to be 0.2 (0.2=1-0.8). .

이후, 정답 탐지부(200)는 질의 문장, 문서의 본문, 문장 비교 정보, 및 문장 비교 정보의 손실 값을 바탕으로 정답 탐지 네트워크를 훈련할 수 있다(S230). 문장 비교 정보의 손실 값은, 정답 탐지부(200)로 전달된 이후, 정답 탐지 네트워크의 정답 탐지 손실 값에 부가(예를 들어, 합산)됨으로써 정답 탐지 네트워크의 업데이트에 사용될 수 있다.Thereafter, the correct answer detection unit 200 may train the correct answer detection network based on the loss value of the query sentence, the text of the document, the sentence comparison information, and the sentence comparison information ( S230 ). After the loss value of the sentence comparison information is transmitted to the correct answer detection unit 200 , it is added (eg, summed) to the correct answer detection loss value of the correct answer detection network, so that it can be used for updating the correct answer detection network.

도 5는 다른 실시예에 따른 질의 응답 시스템의 블록도이고, 도 6은 또 다른 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.5 is a block diagram of a question and answer system according to another embodiment, and FIG. 6 is a flowchart illustrating a training method of a question and answer system according to another embodiment.

도 5를 참조하면, 다른 실시예에 따른 질의 응답 시스템은 문장 비교부를 포함하지 않고, 질의 문장과 문서 내 본문 문장들 간의 문장 비교 정보는 본문 문장의 자질 벡터(feature vector)로서 정답 탐지 네트워크 내에 포함될 수 있다. 각 본문 문장에 대응하는 자질 벡터는 본문 문장 임베딩 벡터 또는 단어 임베딩 벡터 내에 부가 차원으로서 삽입될 수 있다. Referring to FIG. 5 , the question answering system according to another embodiment does not include a sentence comparison unit, and sentence comparison information between the query sentence and body sentences in the document is included in the correct answer detection network as a feature vector of the body sentence. can The feature vector corresponding to each body sentence may be inserted as an additional dimension in the body sentence embedding vector or the word embedding vector.

도 6을 참조하면, 질의 인코더(10)는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하고, 본문 인코더(20)는 문서 내의 본문 문장을 인코딩하여 본문 문장 임베딩 벡터를 생성한다(S310). 정답 탐지부(200)는 질의 임베딩 벡터 및 복수의 본문 문장 임베딩 벡터를 바탕으로 각 본문 문장에 대응하는 자질 벡터를 생성한다(S320). 여기서 각 본문 문장에 대응되는 자질 벡터는 질의 임베딩 벡터 및 본문 문장 임베딩 벡터 간의 아다마르 곱(Hadamard product) 벡터일 수 있다. Referring to FIG. 6 , the query encoder 10 encodes a query sentence to generate a query embedding vector, and the body encoder 20 encodes a body sentence in the document to generate a body sentence embedding vector (S310). The correct answer detection unit 200 generates a feature vector corresponding to each body sentence based on the query embedding vector and the plurality of body sentence embedding vectors (S320). Here, the feature vector corresponding to each body sentence may be a Hadamard product vector between the query embedding vector and the body sentence embedding vector.

이후, 정답 탐지부(200)는 질의 문장, 문서의 본문, 및 자질 벡터를 사용하여 정답 탐지 네트워크를 훈련한다. Thereafter, the correct answer detection unit 200 trains the correct answer detection network using the query sentence, the body of the document, and the feature vector.

도 7은 한 실시예에 따른 질의 응답 시스템의 추론 방법을 나타낸 흐름도이다.7 is a flowchart illustrating an inference method of a question answering system according to an embodiment.

정답이 미리 결정되어 있지 않은 질의 문장이 입력되면, 질의 인코더(10)는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하고, 본문 인코더(20)는 문서 내의 본문 문장을 각각 인코딩하여 복수의 본문 문장 임베딩 벡터를 생성한다(S410). 이후 질의 임베딩 벡터 및 복수의 본문 문장 임베딩 벡터를 바탕으로 문장 비교 정보가 생성되거나(S420-1), 또는 질의 임베딩 벡터 및 복수의 본문 문장 임베딩 벡터를 바탕으로 자질 벡터가 생성된다(S420-2). 문장 비교 정보가 정답 탐지부로 전달되면, 정답 탐지부는 질의 문장, 문서의 본문, 및 문장 비교 정보를 사용하여 본문 내에서 정답을 결정한다(S430-1). 정답은 본문 내의 문장 중에서 가장 높은 가중치가 주어진 문장에 포함될 수 있다. 또는 자질 벡터가 정답 탐지부로 전달되면, 정답 탐지부는 질의 문장, 문서의 본문, 및 자질 벡터를 사용하여 본문 내의 정답을 결정할 수 있다(S430-2). 아래 표 1은 각 실시예에 따른 정답 탐지 네트워크의 스코어를 나타낸다.When a query sentence for which the correct answer is not predetermined is input, the query encoder 10 encodes the query sentence to generate a query embedding vector, and the body encoder 20 encodes each body sentence in the document to embed a plurality of body sentences. A vector is generated (S410). Then, sentence comparison information is generated based on the query embedding vector and the plurality of body sentence embedding vectors (S420-1), or a feature vector is generated based on the query embedding vector and the plurality of body sentence embedding vectors (S420-2) . When the sentence comparison information is transmitted to the correct answer detector, the correct answer detector determines the correct answer in the text by using the query sentence, the text of the document, and the sentence comparison information (S430-1). The correct answer may be included in the sentence given the highest weight among the sentences in the text. Alternatively, when the feature vector is transmitted to the correct answer detector, the correct answer detector may determine the correct answer in the text using the query sentence, the body of the document, and the feature vector (S430-2). Table 1 below shows the scores of the correct answer detection network according to each embodiment.

시스템system F1F1 EMEM -- 기준 시스템reference system 48.0448.04 29.9329.93 1One 사전 훈련된 문장 비교부를 포함하는 시스템A system comprising a pre-trained sentence comparison unit 46.4546.45 30.9530.95 22 손실 값을 제공하는 문장 비교부를 포함하는 시스템A system comprising a sentence comparator providing a loss value 46.8846.88 32.0932.09 33 자질 벡터를 사용하는 시스템Systems using feature vectors 48.2648.26 30.6230.62

표 1에서, 문자 임베딩이 적용되어 있지 않은 FastQA 네트워크가 기준(baseline) 시스템으로서 사용되었다. 표 1에는 위에서 설명된 각 실시예에 따른 F1 및 EM 스코어가 도시되어 있다. 각 실시예의 훈련 시 배치 크기(batch size)는 16이었다. 1번 시스템에서 사전 훈련은 확률 경사하강 알고리즘(stochastic gradient descendant algorithm)에 따라 수행되었고, 이때 학습률(learning rate)은 1로 설정되었다. 문장 비교부가 FastQA 네트워크에 추가되면(1번 및 2번 시스템), F1 스코어는 기준 시스템에 비해 다소 감소하지만(48.04 -> 46.45, 48.04 -> 46.88), EM 스코어는 상대적으로 향상된다. 질의 문장과 본문 내의 문장 각각의 비교 정보가 자질 벡터로서 추가될 때, F1 스코어 및 EM 스코어가 함께 향상되었다.In Table 1, a FastQA network without character embedding was used as a baseline system. Table 1 shows the F1 and EM scores for each of the examples described above. The batch size during training of each example was 16. In system 1, pre-training was performed according to a stochastic gradient descendant algorithm, and the learning rate was set to 1. When sentence comparators are added to the FastQA network (systems 1 and 2), the F1 score is slightly decreased compared to the reference system (48.04 -> 46.45, 48.04 -> 46.88), but the EM score is relatively improved. When the comparison information of the query sentence and each sentence in the text was added as a feature vector, the F1 score and the EM score were improved together.

즉, 문장 비교 네트워크의 사전 훈련을 통해 결정된 문장 비교 정보가 질의 응답 시스템의 정답 탐지 성능을 향상시킬 수 있다. 또한, 문장 비교 정보의 손실 값을 사용하여 정답 탐지 네트워크가 업데이트됨으로써 질의 응답 시스템의 정답 탐지 성능이 향상될 수 있다. 또한, 질의 문장과 본문 문장 간의 비교를 통해 결정되는 자질 벡터를 통해 질의 응답 시스템의 정답 탐지 성능이 향상될 수 있다.That is, the sentence comparison information determined through prior training of the sentence comparison network can improve the correct answer detection performance of the question and answer system. In addition, the correct answer detection performance of the question answering system may be improved by updating the correct answer detection network using the loss value of the sentence comparison information. In addition, the ability of the question answering system to detect an answer may be improved through a feature vector determined through comparison between the question sentence and the body sentence.

도 8은 다른 실시예에 따른 질의 응답 시스템을 나타낸 개념도이다.8 is a conceptual diagram illustrating a question answering system according to another embodiment.

도 8을 참조하면, 질의 문장에 대응하는 정답을 결정하는 FastQA 네트워크 내에 문장 비교부(100)가 포함되어 있다. FastQA 네트워크의 질의 인코더(10)는 질의 문장(1)에 포함된 각 단어(11 내지 1n)를 단어 임베딩으로 변환하고, 복수의 단어 임베딩을 결합하여 질의 문장(1)으로부터 질의 임베딩 벡터를 인코딩할 수 있다. 도 8에서 문장 비교부(100)는 질의 문장(1)으로부터 결정된 질의 임베딩 벡터와 본문 문장에 각각 대응하는 본문 문장 임베딩 벡터를 사용하여 질의 임베딩 벡터 및 본문 문장 임베딩 벡터 간의 문장 비교 정보를 결정할 수 있다. FastQA 네트워크에서, 문서 내에 포함된 n개의 본문 문장에 각각 대응하는 문장 비교 정보(비교 정보1 내지 비교 정보n)는 정답 문장의 앞뒤 문장의 색인을 찾기 위해 사용될 수 있다. Referring to FIG. 8 , a sentence comparison unit 100 is included in the FastQA network that determines a correct answer corresponding to a query sentence. The query encoder 10 of the FastQA network converts each word (1 1 to 1 n ) included in the query sentence (1) into a word embedding, and combines a plurality of word embeddings to obtain a query embedding vector from the query sentence (1). can be encoded. In FIG. 8 , the sentence comparison unit 100 uses the query embedding vector determined from the query sentence 1 and the body sentence embedding vector corresponding to the body sentence, respectively, to determine the sentence comparison information between the query embedding vector and the body sentence embedding vector. . In the FastQA network, sentence comparison information (comparison information 1 to comparison information n ) respectively corresponding to n body sentences included in a document may be used to find an index of sentences before and after the correct sentence.

도 9는 또 다른 실시예에 따른 질의 응답 시스템을 나타낸 블록도이다.9 is a block diagram illustrating a question answering system according to another embodiment.

다른 실시예에 따른 질의 응답 시스템은, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 도 9를 참조하면, 컴퓨터 시스템(900)은, 버스(970)를 통해 통신하는 프로세서(910), 메모리(930), 입력 인터페이스 장치(950), 출력 인터페이스 장치(960), 및 저장 장치(940) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(900)은 또한 네트워크에 결합된 통신 장치(920)를 포함할 수 있다. 프로세서(910)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(930) 또는 저장 장치(940)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(930) 및 저장 장치(940)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.The question answering system according to another embodiment may be implemented as a computer system, for example, a computer-readable medium. Referring to FIG. 9 , the computer system 900 includes a processor 910 , a memory 930 , an input interface device 950 , an output interface device 960 , and a storage device 940 that communicate via a bus 970 . ) may include at least one of. Computer system 900 may also include a communication device 920 coupled to a network. The processor 910 may be a central processing unit (CPU) or a semiconductor device that executes instructions stored in the memory 930 or the storage device 940 . The memory 930 and the storage device 940 may include various types of volatile or nonvolatile storage media. For example, the memory may include read only memory (ROM) and random access memory (RAM). In the embodiment of the present disclosure, the memory may be located inside or outside the processor, and the memory may be connected to the processor through various known means. The memory is a volatile or non-volatile storage medium of various types. For example, the memory may include a read-only memory (ROM) or a random access memory (RAM).

따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.Accordingly, an embodiment of the present invention may be implemented as a computer-implemented method, or as a non-transitory computer-readable medium having computer-executable instructions stored thereon. In one embodiment, when executed by a processor, the computer readable instructions may perform a method according to at least one aspect of the present disclosure.

통신 장치(920)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. The communication device 920 may transmit or receive a wired signal or a wireless signal.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. 구체적으로, 본 발명의 실시예에 따른 방법(예, 네트워크 관리 방법, 데이터 전송 방법, 전송 스케줄 생성 방법 등)은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.On the other hand, the embodiment of the present invention is not implemented only through the apparatus and/or method described so far, and a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded may be implemented. And, such an implementation can be easily implemented by those skilled in the art from the description of the above-described embodiments. Specifically, the method (eg, network management method, data transmission method, transmission schedule generation method, etc.) according to an embodiment of the present invention is implemented in the form of a program command that can be executed through various computer means, and is stored in a computer-readable medium. can be recorded. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable medium may be specially designed and configured for the embodiment of the present invention, or may be known and used by those skilled in the computer software field. The computer-readable recording medium may include a hardware device configured to store and execute program instructions. For example, the computer-readable recording medium includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and floppy disks. Such as magneto-optical media, ROM, RAM, flash memory, or the like. The program instructions may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer through an interpreter or the like.

이상에서 실시예에 대하여 상세하게 설명하였지만 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 권리범위에 속하는 것이다.Although the embodiments have been described in detail above, the scope of the rights is not limited thereto, and various modifications and improved forms of those skilled in the art using the basic concepts defined in the following claims also belong to the scope of the rights.

Claims (20)

질의에 대한 정답을 찾는 질의 응답 시스템으로서,
문서 내에 포함된 복수의 본문 문장을 인코딩하여 상기 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 본문 인코더,
상기 정답이 상기 문서 내에 미리 결정되어 있는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 질의 인코더,
각각의 상기 복수의 본문 문장 임베딩 벡터와 상기 질의 임베딩 벡터를 바탕으로 비교 네트워크를 사전 훈련하고, 사전 훈련의 결과에 따라 상기 복수의 본문 문장과 상기 질의 문장 간의 문장 비교 정보를 생성하는 문장 비교부, 및
상기 문서 내의 본문, 상기 질의 문장, 및 상기 문장 비교 정보를 사용하여 상기 질의 문장에 대응하는 상기 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부
를 포함하는 질의 응답 시스템.As a question-and-answer system that finds the answer to a question,
a body encoder for encoding a plurality of body sentences included in the document to generate a plurality of body sentence embedding vectors respectively corresponding to the plurality of body sentences;
a query encoder for generating a query embedding vector by encoding a query sentence in which the correct answer is predetermined in the document;
A sentence comparison unit that pre-trains a comparison network based on each of the plurality of body sentence embedding vectors and the query embedding vector, and generates sentence comparison information between the plurality of body sentences and the query sentence according to a result of the prior training; and
A correct answer detection unit that trains a correct answer detection network so that the correct answer corresponding to the query sentence is output using the text in the document, the query sentence, and the sentence comparison information
A question-and-answer system that includes. 삭제delete 제1항에서,
상기 문장 비교부는, 각각의 상기 복수의 본문 문장 임베딩 벡터와 상기 질의 임베딩 벡터 간의 의미 유사도를 상기 문장 비교 정보로서 생성하는, 질의 응답 시스템.In claim 1,
The sentence comparison unit generates, as the sentence comparison information, a degree of semantic similarity between each of the plurality of body sentence embedding vectors and the query embedding vector. 제1항에서,
상기 문장 비교 정보는, 각각의 상기 복수의 본문 문장이 상기 정답 문장일 확률을 나타내는, 질의 응답 시스템.In claim 1,
The sentence comparison information represents a probability that each of the plurality of body sentences is the correct sentence, a question answering system. 질의에 대한 정답을 찾는 질의 응답 시스템의 훈련 방법으로서,
문서 내에 포함된 복수의 본문 문장을 인코딩하여 상기 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 단계,
상기 정답이 상기 문서 내에 미리 결정되어 있는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 단계,
각각의 상기 복수의 본문 문장 임베딩 벡터와 상기 질의 임베딩 벡터를 바탕으로 상기 복수의 본문 문장과 상기 질의 문장 간의 문장 비교 정보를 생성하는 단계,
상기 문장 비교 정보의 손실 값을 계산하는 단계, 및
상기 문서 내의 본문, 상기 질의 문장, 상기 문장 비교 정보, 및 상기 문장 비교 정보의 손실 값을 바탕으로 상기 질의 문장에 대응하는 상기 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 단계
를 포함하는 훈련 방법.As a training method of a question-and-answer system to find the correct answer to a question,
Encoding a plurality of body sentences included in the document to generate a plurality of body sentence embedding vectors respectively corresponding to the plurality of body sentences;
generating a query embedding vector by encoding a query sentence in which the correct answer is predetermined in the document;
generating sentence comparison information between the plurality of body sentences and the query sentences based on each of the plurality of body sentence embedding vectors and the query embedding vector;
calculating a loss value of the sentence comparison information; and
Training a correct answer detection network to output the correct answer corresponding to the query sentence based on a loss value of the text in the document, the query sentence, the sentence comparison information, and the sentence comparison information
training methods that include 삭제delete 제5항에서,
상기 문장 비교 정보를 생성하는 단계는,
각각의 상기 복수의 본문 문장 임베딩 벡터와 상기 질의 임베딩 벡터 간의 의미 유사도를 상기 문장 비교 정보로서 생성하는 단계
를 포함하는, 훈련 방법.In claim 5,
The step of generating the sentence comparison information comprises:
generating a semantic similarity between each of the plurality of body sentence embedding vectors and the query embedding vector as the sentence comparison information;
A training method comprising: 제5항에서,
상기 문장 비교 정보는, 각각의 상기 복수의 본문 문장이 상기 정답 문장일 확률 값인, 훈련 방법.In claim 5,
The sentence comparison information is, each of the plurality of body sentences is a probability value of the correct sentence, the training method. 제8항에서,
상기 문장 비교 정보의 손실 값을 계산하는 단계는,
확률 1에서 상기 확률 값을 차감함으로써 상기 손실 값을 계산하는 단계
를 포함하는, 훈련 방법.In claim 8,
Calculating the loss value of the sentence comparison information comprises:
calculating the loss value by subtracting the probability value from probability 1.
A training method comprising: 제5항에서,
상기 정답 탐지 네트워크를 훈련하는 단계는,
상기 문장 비교 정보의 손실 값을 상기 정답 탐지 네트워크의 정답 탐지 손실 값에 부가하는 단계
를 포함하는, 훈련 방법.In claim 5,
The step of training the correct answer detection network comprises:
adding the loss value of the sentence comparison information to the correct answer detection loss value of the correct answer detection network
A training method comprising: 삭제delete 삭제delete 삭제delete 삭제delete 질의에 대한 정답을 찾는 질의 응답 시스템으로서,
문서 내에 포함된 복수의 본문 문장을 인코딩하여 상기 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 본문 인코더,
상기 정답이 상기 문서 내에 미리 결정되어 있는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 질의 인코더,
각각의 상기 복수의 본문 문장 임베딩 벡터와 상기 질의 임베딩 벡터를 바탕으로 상기 복수의 본문 문장과 상기 질의 문장 간의 문장 비교 정보를 생성하고, 상기 문장 비교 정보의 손실 값을 계산하는 문장 비교부, 및
상기 문서 내의 본문, 상기 질의 문장, 상기 문장 비교 정보, 및 상기 문장 비교 정보의 손실 값을 바탕으로 상기 질의 문장에 대응하는 상기 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부
를 포함하는 질의 응답 시스템.As a question-and-answer system that finds the answer to a question,
a body encoder for encoding a plurality of body sentences included in the document to generate a plurality of body sentence embedding vectors respectively corresponding to the plurality of body sentences;
a query encoder for generating a query embedding vector by encoding a query sentence in which the correct answer is predetermined in the document;
A sentence comparison unit that generates sentence comparison information between the plurality of body sentences and the query sentence based on each of the plurality of body sentence embedding vectors and the query embedding vector, and calculates a loss value of the sentence comparison information, and
A correct answer detection unit that trains a correct answer detection network to output the correct answer corresponding to the query sentence based on a loss value of the text in the document, the query sentence, the sentence comparison information, and the sentence comparison information
A question-and-answer system that includes. 삭제delete 제15항에서,
상기 문장 비교부는, 각각의 상기 복수의 본문 문장 임베딩 벡터와 상기 질의 임베딩 벡터 간의 의미 유사도를 상기 문장 비교 정보로서 생성하는, 질의 응답 시스템.In claim 15,
The sentence comparison unit generates, as the sentence comparison information, a degree of semantic similarity between each of the plurality of body sentence embedding vectors and the query embedding vector. 제15항에서,
상기 문장 비교 정보는, 각각의 상기 복수의 본문 문장이 상기 정답 문장일 확률 값인, 질의 응답 시스템.In claim 15,
Wherein the sentence comparison information is a probability value that each of the plurality of body sentences is the correct sentence, a question answering system. 제18항에서,
상기 문장 비교부는, 확률 1에서 상기 확률 값을 차감함으로써 상기 손실 값을 계산하는, 질의 응답 시스템.In claim 18,
wherein the sentence comparison unit calculates the loss value by subtracting the probability value from probability 1. 제15항에서,
상기 정답 탐지부는, 상기 문장 비교 정보의 손실 값을 상기 정답 탐지 네트워크의 정답 탐지 손실 값에 부가하는, 질의 응답 시스템.

In claim 15,
and the correct answer detection unit adds the loss value of the sentence comparison information to the correct answer detection loss value of the correct answer detection network.
KR1020190154676A 2018-11-28 2019-11-27 Question answering system for finding correct sentence and training method thereof KR102297849B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180150112 2018-11-28
KR20180150112 2018-11-28

Publications (2)

Publication Number Publication Date
KR20200064007A KR20200064007A (en) 2020-06-05
KR102297849B1 true KR102297849B1 (en) 2021-09-03

Family

ID=71089016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190154676A KR102297849B1 (en) 2018-11-28 2019-11-27 Question answering system for finding correct sentence and training method thereof

Country Status (1)

Country Link
KR (1) KR102297849B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023219298A1 (en) * 2022-05-09 2023-11-16 삼성전자주식회사 Electronic device and control method therefor

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102213476B1 (en) * 2020-06-09 2021-02-08 (주)뤼이드 Learning contents recommendation system based on artificial intelligence learning and operation method thereof
KR102486440B1 (en) * 2020-11-09 2023-01-09 한국과학기술원 Method and apparatus for training unsupervised question generation model
KR102593907B1 (en) * 2020-11-23 2023-10-25 한국과학기술원 Method and apparatus for operating neural network based on semantic role labeling
KR102464121B1 (en) * 2020-11-24 2022-11-04 경희대학교 산학협력단 Apparatus for providing query answering based on relation between query and response and method there of
CN113010679A (en) * 2021-03-18 2021-06-22 平安科技（深圳）有限公司 Question and answer pair generation method, device and equipment and computer readable storage medium
WO2024015252A1 (en) * 2022-07-11 2024-01-18 Pryon Incorporated Supervised summarization and structuring of unstructured documents
CN117131283B (en) * 2023-10-27 2024-03-19 知学云(北京)科技股份有限公司 Intelligent question-answering method and system based on asynchronous service

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120171648A1 (en) 2010-12-29 2012-07-05 Paula Price System for increasing the probability of success and identifying required preparation for service in lifestyle occupations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120171648A1 (en) 2010-12-29 2012-07-05 Paula Price System for increasing the probability of success and identifying required preparation for service in lifestyle occupations

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
박천음 외, ‘S2-Net: SRU 기반 Self-matching Network를 이용한 한국어 기계 독해’, 2017.*
이현구 외, ‘강화학습과 이중 상호 집중을 이용한 한국어 기계독해’, 정보과학회 논문지, 2018.09.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023219298A1 (en) * 2022-05-09 2023-11-16 삼성전자주식회사 Electronic device and control method therefor

Also Published As

Publication number Publication date
KR20200064007A (en) 2020-06-05

Similar Documents

Publication Publication Date Title
KR102297849B1 (en) Question answering system for finding correct sentence and training method thereof
CN111309889B (en) Method and device for text processing
CN108920654B (en) Question and answer text semantic matching method and device
KR102363369B1 (en) Generating vector representations of documents
CN107590168B (en) System and method for relationship inference
KR102153992B1 (en) Method and apparatus for detecting cyber threats using deep neural network
KR102223382B1 (en) Method and apparatus for complementing knowledge based on multi-type entity
CN111382255A (en) Method, apparatus, device and medium for question and answer processing
CN108776673B (en) Automatic conversion method and device of relation mode and storage medium
CN109344242B (en) Dialogue question-answering method, device, equipment and storage medium
CN111026857A (en) Conversation state tracking method, man-machine conversation method and system
US20220230061A1 (en) Modality adaptive information retrieval
CN114936287A (en) Knowledge injection method for pre-training language model and corresponding interactive system
CN112035165A (en) Code clone detection method and system based on homogeneous network
CN113705196A (en) Chinese open information extraction method and device based on graph neural network
KR102026967B1 (en) Language Correction Apparatus and Method based on n-gram data and linguistic analysis
US20230034414A1 (en) Dialogue processing apparatus, learning apparatus, dialogue processing method, learning method and program
CN113723070B (en) Text similarity model training method, text similarity detection method and device
KR20170048008A (en) Apparatus for analyzing intention of query and method thereof
KR102483927B1 (en) Method and apparatus for encoding sentence using hierarchical word information
KR102107502B1 (en) An apparatus for detecting spam news with false article titles, a method thereof and computer recordable medium storing program to perform the method
KR102633826B1 (en) Method and device for detect smishing based on knowledge base data
CN115796156A (en) Text error correction method, device, equipment and medium
KR102519618B1 (en) System and method for end to end neural machine translation
CN114139641A (en) Multi-modal characterization learning method and system based on local structure transfer

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant