KR20200064007A - 정답을 찾는 질의 응답 시스템 및 그의 훈련 방법 - Google Patents

정답을 찾는 질의 응답 시스템 및 그의 훈련 방법 Download PDF

Info

Publication number
KR20200064007A
KR20200064007A KR1020190154676A KR20190154676A KR20200064007A KR 20200064007 A KR20200064007 A KR 20200064007A KR 1020190154676 A KR1020190154676 A KR 1020190154676A KR 20190154676 A KR20190154676 A KR 20190154676A KR 20200064007 A KR20200064007 A KR 20200064007A
Authority
KR
South Korea
Prior art keywords
sentence
query
correct answer
comparison information
sentences
Prior art date
Application number
KR1020190154676A
Other languages
English (en)
Other versions
KR102297849B1 (ko
Inventor
맹성현
한상도
권순철
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20200064007A publication Critical patent/KR20200064007A/ko
Application granted granted Critical
Publication of KR102297849B1 publication Critical patent/KR102297849B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

문서 내에 포함된 복수의 본문 문장과 정답이 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 비교 네트워크를 사전 훈련하고, 사전 훈련의 결과에 따라 복수의 본문 문장과 질의 문장 간의 문장 비교 정보를 생성하는 문장 비교부, 및 문서 내의 본문, 질의 문장, 및 문장 비교 정보를 사용하여 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부를 포함하는 질의 응답 시스템 및 질의 응답 시스템의 훈련 방법이 제공된다.

Description

정답을 찾는 질의 응답 시스템 및 그의 훈련 방법{QUESTION ANSWERING SYSTEM FOR FINDING CORRECT SENTENCE AND TRAINING METHOD THEREOF}
본 기재는 문서 내에서 질의에 대한 정답을 찾는 질의 응답 시스템 및 그의 훈련 방법에 관한 것이다.
독해 시스템은 자연어 질의가 입력되면 문서 내의 본문에서 알맞은 답을 출력하는 시스템으로서 질의 응답 시스템의 한 종류이다. 최근 독해 시스템은 딥러닝 기술의 발전과 함께 그 성능이 많이 향상되었다. 이들 독해 시스템은 자연어 질의 문장을 문서 내의 본문 전체와 비교하여 정답을 찾는다.
한 실시예는, 문장 비교 네트워크의 사전 훈련을 통해 제공되는 문장 비교 정보를 바탕으로 질의에 대한 정답을 찾는 질의 응답 시스템을 제공한다.
다른 실시예는, 문장 비교 정보의 손실 값을 사용하여 질의 응답 시스템의 정답 탐지 네트워크를 훈련하는 질의 응답 시스템의 훈련 방법을 제공한다.
또 다른 실시예는, 질의 문장과 본문 문장 간의 비교를 통해 제공되는 자질 벡터를 바탕으로 정답 탐지 네트워크를 훈련하는 질의 응답 시스템의 훈련 방법을 제공한다.
한 실시예에 따르면, 질의에 대한 정답을 찾는 질의 응답 시스템이 제공된다. 상기 질의 응답 시스템은, 문서 내에 포함된 복수의 본문 문장과 상기 정답이 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 비교 네트워크를 사전 훈련하고, 사전 훈련의 결과에 따라 복수의 본문 문장과 질의 문장 간의 문장 비교 정보를 생성하는 문장 비교부, 및 문서 내의 본문, 질의 문장, 및 문장 비교 정보를 사용하여 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부를 포함한다.
상기 질의 응답 시스템은, 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 질의 인코더, 및 복수의 본문 문장을 인코딩하여 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 본문 인코더를 더 포함할 수 있다.
상기 질의 응답 시스템에서 문장 비교부는, 각각의 복수의 본문 문장 임베딩 벡터와 질의 임베딩 벡터 간의 의미 유사도를 문장 비교 정보로서 생성할 수 있다.
상기 질의 응답 시스템에서 문장 비교 정보는, 각각의 복수의 본문 문장이 정답 문장일 확률을 나타낼 수 있다.
다른 실시예에 따르면, 질의에 대한 정답을 찾는 질의 응답 시스템의 훈련 방법이 제공된다. 상기 질의 응답 시스템의 훈련 방법은, 문서 내에 포함된 복수의 본문 문장과 정답이 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 복수의 본문 문장과 질의 문장 간의 문장 비교 정보를 생성하는 단계, 문장 비교 정보의 손실 값을 계산하는 단계, 및 문서 내의 본문, 질의 문장, 문장 비교 정보, 및 문장 비교 정보의 손실 값을 바탕으로 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 단계를 포함한다.
상기 훈련 방법은, 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 단계, 및 복수의 본문 문장을 인코딩하여 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 단계를 더 포함할 수 있다.
상기 훈련 방법에서 문장 비교 정보를 생성하는 단계는, 각각의 복수의 본문 문장 임베딩 벡터와 질의 임베딩 벡터 간의 의미 유사도를 문장 비교 정보로서 생성하는 단계를 포함할 수 있다.
상기 훈련 방법에서 문장 비교 정보는, 각각의 복수의 본문 문장이 정답 문장일 확률 값일 수 있다.
상기 훈련 방법에서 문장 비교 정보의 손실 값을 계산하는 단계는, 확률 1에서 확률 값을 차감함으로써 손실 값을 계산하는 단계를 포함할 수 있다.
상기 훈련 방법에서 정답 탐지 네트워크를 훈련하는 단계는, 문장 비교 정보의 손실 값을 정답 탐지 네트워크의 정답 탐지 손실 값에 부가하는 단계를 포함할 수 있다.
또 다른 실시예에 따르면, 질의에 대한 정답을 찾는 질의 응답 시스템의 훈련 방법이 제공된다. 상기 질의 응답 시스템의 훈련 방법은, 문서 내에 포함된 복수의 본문 문장의 정답이 문서 내에 미리 결정되어 있는 질의 문장으로부터 복수의 본문 문장에 각각 대응하는 자질 벡터를 생성하는 단계, 및 문서의 본문, 질의 문장, 및 자질 벡터를 바탕으로 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 단계를 포함한다.
상기 훈련 방법은, 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 단계, 및 복수의 본문 문장을 인코딩하여 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 단계를 더 포함할 수 있다.
상기 훈련 방법에서 자질 벡터는 복수의 본문 문장 임베딩 벡터 및 질의 임베딩 벡터 간의 아다마르 곱(Hadamard product) 벡터일 수 있다.
상기 훈련 방법에서 정답 탐지 네트워크를 훈련하는 단계는, 복수의 본문 문장 임베딩 벡터 또는 문서 내에 포함된 단어의 단어 임베딩 벡터 내에 자질 벡터를 삽입하는 단계를 포함할 수 있다.
또 다른 실시예에 따르면, 질의에 대한 정답을 찾는 질의 응답 시스템이 제공된다. 상기 질의 응답 시스템은, 문서 내에 포함된 복수의 본문 문장과 정답이 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 복수의 본문 문장과 질의 문장 간의 문장 비교 정보를 생성하고, 문장 비교 정보의 손실 값을 계산하는 문장 비교부, 및 문서 내의 본문, 질의 문장, 문장 비교 정보, 및 문장 비교 정보의 손실 값을 바탕으로 질의 문장에 대응하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부를 포함한다.
상기 질의 응답 시스템은, 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 질의 인코더, 및 복수의 본문 문장을 인코딩하여 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 본문 인코더를 더 포함할 수 있다.
상기 질의 응답 시스템에서 문장 비교부는, 각각의 복수의 본문 문장 임베딩 벡터와 질의 임베딩 벡터 간의 의미 유사도를 문장 비교 정보로서 생성할 수 있다.
상기 질의 응답 시스템에서 문장 비교 정보는, 각각의 복수의 본문 문장이 정답 문장일 확률 값일 수 있다.
상기 질의 응답 시스템에서 문장 비교부는, 확률 1에서 확률 값을 차감함으로써 손실 값을 계산할 수 있다.
상기 질의 응답 시스템에서 정답 탐지부는, 문장 비교 정보의 손실 값을 정답 탐지 네트워크의 정답 탐지 손실 값에 부가할 수 있다.
문장 비교 네트워크의 사전 훈련을 통해 결정된 문장 비교 정보가 질의 응답 시스템의 정답 탐지 성능을 향상시킬 수 있다. 또한, 문장 비교 정보의 손실 값을 사용하여 정답 탐지 네트워크가 업데이트됨으로써 질의 응답 시스템의 정답 탐지 성능이 향상될 수 있다. 또한, 질의 문장과 본문 문장 간의 비교를 통해 결정되는 자질 벡터를 통해 질의 응답 시스템의 정답 탐지 성능이 향상될 수 있다.
도 1은 한 실시예에 따른 질의 응답 시스템을 나타낸 개념도이다.
도 2는 한 실시예에 따른 질의 응답 시스템을 나타낸 블록도이다.
도 3은 한 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.
도 4는 다른 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.
도 5는 다른 실시예에 따른 질의 응답 시스템의 블록도이다.
도 6은 또 다른 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.
도 7은 한 실시예에 따른 질의 응답 시스템의 추론 방법을 나타낸 흐름도이다.
도 8은 다른 실시예에 따른 질의 응답 시스템을 나타낸 개념도이다.
도 9는 또 다른 실시예에 따른 질의 응답 시스템을 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 한 실시예에 따른 질의 응답 시스템을 나타낸 개념도이다.
도 1을 참조하면, 한 실시예에 따른 질의 응답 시스템은, 문장 비교부(100) 및 정답 탐지부(200)를 포함한다.
문장 비교부(100)는 질의 문장과 본문 문장을 비교함으로써 문장 비교 정보를 생성할 수 있다. 문장 비교 정보는 질의 임베딩 벡터 및 본문 문장의 본문 문장 임베딩 벡터 사이의 의미 유사도일 수 있고, 각 본문 문장의 정답 확률 값일 수 있다. 문장 비교부(100)는 비교 네트워크의 사전 훈련(pre-training)을 통해 문장 비교 정보를 업데이트할 수 있다. 또는 문장 비교부(100)는 질의 임베딩 벡터와 본문 문장 임베딩 벡터를 각각 비교하여 질의 문장과 본문 문장 간의 문장 비교 정보를 생성할 수 있다.
정답 탐지부(200)는 문장 비교부(100)로부터 수신된 문장 비교 정보를 사용하여 문서 내의 본문에서 질의 문장의 정답을 결정하기 위한 기계 학습을 수행할 수 있다. 또는 정답 탐지부(200)는 질의 문장과 문서 내의 본문의 본문 문장 간의 관계에 기반하는 자질 벡터를 바탕으로 질의 문장에 대한 정답을 본문 내에서 결정하기 위한 기계 학습을 수행할 수 있다. 정답 탐지부(200)는 정답이 문서 내에 미리 결정되어 있는 질의 문장, 문서 내의 본문, 및 질의 문장과 본문 문장 간의 문장 비교 정보를 사용하여 독해 네트워크를 훈련시킬 수 있다. 또한 정답 탐지부(200)는 독해 네트워크의 훈련 결과를 바탕으로 정답이 미리 결정되어 있지 않은 질의에 대한 정답 또는 정답을 포함하는 문장을 문서 내의 본문 중에서 결정할 수 있다.
도 2는 한 실시예에 따른 질의 응답 시스템을 나타낸 블록도이고, 도 3은 한 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.
도 2 및 도 3을 참조하면, 질의 인코더(10)는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하고, 본문 인코더(20)는 문서 내의 본문 문장을 인코딩하여 본문 문장 임베딩 벡터를 생성한다(S110). 질의 인코더(10)는 질의 문장에 포함된 각 단어의 단어 임베딩을 생성하고, 질의 문장 내의 복수의 단어에 각각 대응하는 복수의 단어 임베딩의 집합을 질의 임베딩 벡터로서 생성할 수 있다. 본문 인코더(20)는 복수의 단어 임베딩에 대해 풀링(pooling) 연산(max pooling, mean pooling 등)을 수행하여 본문 문장 임베딩 벡터를 생성할 수 있다. 본문 인코더(20)는 BiDAF 네트워크 또는 fastQA 네트워크 등에서 사용될 수 있다. 한 실시예에 따르면 각 본문 문장 임베딩 벡터는 문서 내에 포함된 복수의 본문 문장에 대응할 수 있다.
다음, 문장 비교부(100)는 질의 임베딩 벡터와, 본문 문장 임베딩 벡터를 바탕으로 비교 네트워크를 사전 훈련함으로써 사전 훈련의 결과에 따라 질의 문장과 본문 문장 간의 문장 비교 정보를 생성할 수 있다(S120). 문장 비교부(100)는 사전 훈련이 종료된 후 생성된 문장 비교 정보를 정답 탐지부(200)에게 전달할 수 있다. 문장 비교 정보는, 각 본문 문장이 정답 문장(즉, 정답을 포함하는 문장)일 확률을 가리키는 확률 값일 수 있다. 문장 비교 정보(예를 들어, 본문 문장이 정답 문장일 확률 값)는, 질의 임베딩 벡터 및 본문 문장 임베딩 벡터 사이의 의미 유사도를 기반으로 결정될 수 있다. 문장 비교부(100)는 질의 문장 및 질의 문장에 대한 정답이 미리 결정되어 있을 때, 정답인 본문 문장이 가장 큰 확률 값에 대응될 수 있도록 사전 훈련을 수행할 수 있다. 이후 추론 단계에서 문장 비교부(100)는 질의 문장이 입력되면, 각 본문 문장마다 정답 확률 값을 문장 비교 정보로서 생성할 수 있고, 정답 탐지부(200)는 정답 확률 값이 가장 큰 문장 내에서 정답을 결정할 수 있다.
다음, 정답 탐지부(200)는 질의 문장, 문서의 본문, 및 문장 비교 정보를 사용하여 정답 탐지 네트워크를 훈련한다(S130). 정답 탐지부(200)가 fastQA 네트워크를 포함할 때, 정답 탐지부(200)는 질의 문장의 문장 임베딩 벡터와 본문 내의 각 단어의 단어 임베딩 벡터 간의 전연결(fully connected, FC) 결과에 정답 확률 값을 곱함으로써 정답 탐지 네트워크를 훈련할 수 있다. 정답 탐지부(200)는, 정답이 미리 결정되어 있는 질의 문장이 입력될 때, 문장 비교 정보를 사용하여 각 문장에 확률 점수를 매기고, 가장 높은 확률 점수를 갖는 문장 내에서 또는 비슷하게 큰 확률 점수를 갖는 복수의 문장 내에 존재하는 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련할 수 있다.
도 4는 다른 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.
도 2 및 도 4를 참조하면, 질의 인코더(10)는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하고, 본문 인코더(20)는 문서 내의 본문 문장을 인코딩하여 본문 문장 임베딩 벡터를 생성한다(S210). 문장 비교부(100)는 질의 임베딩 벡터와 본문 문장 임베딩 벡터를 각각 비교하여 질의 문장과 본문 문장 간의 문장 비교 정보를 생성하고, 문장 비교 정보의 손실 값을 계산한다(S220). 이후 문장 비교부(100)는 문장 비교 정보 및 문장 비교 정보의 손실 값을 정답 탐지부(200)에게 전달한다. 문장 비교 정보는 각 본문 문장이 정답 문장일 확률 값일 수 있고, 질의 임베딩 벡터 및 본문 문장 임베딩 벡터 간의 의미 유사도로부터 결정될 수 있다. 문장 비교 정보의 손실 값은 확률 1에 대한 각 본문 문장의 정답 확률 값의 차이일 수 있다. 예를 들어, 하나의 질의 문장에 대해, 문장 비교부(100)에 의해 결정된 임의의 본문 문장의 가장 큰 정답 확률 값이 0.8일 때, 손실 값은 0.2(0.2=1-0.8)로 결정될 수 있다.
이후, 정답 탐지부(200)는 질의 문장, 문서의 본문, 문장 비교 정보, 및 문장 비교 정보의 손실 값을 바탕으로 정답 탐지 네트워크를 훈련할 수 있다(S230). 문장 비교 정보의 손실 값은, 정답 탐지부(200)로 전달된 이후, 정답 탐지 네트워크의 정답 탐지 손실 값에 부가(예를 들어, 합산)됨으로써 정답 탐지 네트워크의 업데이트에 사용될 수 있다.
도 5는 다른 실시예에 따른 질의 응답 시스템의 블록도이고, 도 6은 또 다른 실시예에 따른 질의 응답 시스템의 훈련 방법을 나타낸 흐름도이다.
도 5를 참조하면, 다른 실시예에 따른 질의 응답 시스템은 문장 비교부를 포함하지 않고, 질의 문장과 문서 내 본문 문장들 간의 문장 비교 정보는 본문 문장의 자질 벡터(feature vector)로서 정답 탐지 네트워크 내에 포함될 수 있다. 각 본문 문장에 대응하는 자질 벡터는 본문 문장 임베딩 벡터 또는 단어 임베딩 벡터 내에 부가 차원으로서 삽입될 수 있다.
도 6을 참조하면, 질의 인코더(10)는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하고, 본문 인코더(20)는 문서 내의 본문 문장을 인코딩하여 본문 문장 임베딩 벡터를 생성한다(S310). 정답 탐지부(200)는 질의 임베딩 벡터 및 복수의 본문 문장 임베딩 벡터를 바탕으로 각 본문 문장에 대응하는 자질 벡터를 생성한다(S320). 여기서 각 본문 문장에 대응되는 자질 벡터는 질의 임베딩 벡터 및 본문 문장 임베딩 벡터 간의 아다마르 곱(Hadamard product) 벡터일 수 있다.
이후, 정답 탐지부(200)는 질의 문장, 문서의 본문, 및 자질 벡터를 사용하여 정답 탐지 네트워크를 훈련한다.
도 7은 한 실시예에 따른 질의 응답 시스템의 추론 방법을 나타낸 흐름도이다.
정답이 미리 결정되어 있지 않은 질의 문장이 입력되면, 질의 인코더(10)는 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하고, 본문 인코더(20)는 문서 내의 본문 문장을 각각 인코딩하여 복수의 본문 문장 임베딩 벡터를 생성한다(S410). 이후 질의 임베딩 벡터 및 복수의 본문 문장 임베딩 벡터를 바탕으로 문장 비교 정보가 생성되거나(S420-1), 또는 질의 임베딩 벡터 및 복수의 본문 문장 임베딩 벡터를 바탕으로 자질 벡터가 생성된다(S420-2). 문장 비교 정보가 정답 탐지부로 전달되면, 정답 탐지부는 질의 문장, 문서의 본문, 및 문장 비교 정보를 사용하여 본문 내에서 정답을 결정한다(S430-1). 정답은 본문 내의 문장 중에서 가장 높은 가중치가 주어진 문장에 포함될 수 있다. 또는 자질 벡터가 정답 탐지부로 전달되면, 정답 탐지부는 질의 문장, 문서의 본문, 및 자질 벡터를 사용하여 본문 내의 정답을 결정할 수 있다(S430-2). 아래 표 1은 각 실시예에 따른 정답 탐지 네트워크의 스코어를 나타낸다.
시스템 F1 EM
- 기준 시스템 48.04 29.93
1 사전 훈련된 문장 비교부를 포함하는 시스템 46.45 30.95
2 손실 값을 제공하는 문장 비교부를 포함하는 시스템 46.88 32.09
3 자질 벡터를 사용하는 시스템 48.26 30.62
표 1에서, 문자 임베딩이 적용되어 있지 않은 FastQA 네트워크가 기준(baseline) 시스템으로서 사용되었다. 표 1에는 위에서 설명된 각 실시예에 따른 F1 및 EM 스코어가 도시되어 있다. 각 실시예의 훈련 시 배치 크기(batch size)는 16이었다. 1번 시스템에서 사전 훈련은 확률 경사하강 알고리즘(stochastic gradient descendant algorithm)에 따라 수행되었고, 이때 학습률(learning rate)은 1로 설정되었다. 문장 비교부가 FastQA 네트워크에 추가되면(1번 및 2번 시스템), F1 스코어는 기준 시스템에 비해 다소 감소하지만(48.04 -> 46.45, 48.04 -> 46.88), EM 스코어는 상대적으로 향상된다. 질의 문장과 본문 내의 문장 각각의 비교 정보가 자질 벡터로서 추가될 때, F1 스코어 및 EM 스코어가 함께 향상되었다.
즉, 문장 비교 네트워크의 사전 훈련을 통해 결정된 문장 비교 정보가 질의 응답 시스템의 정답 탐지 성능을 향상시킬 수 있다. 또한, 문장 비교 정보의 손실 값을 사용하여 정답 탐지 네트워크가 업데이트됨으로써 질의 응답 시스템의 정답 탐지 성능이 향상될 수 있다. 또한, 질의 문장과 본문 문장 간의 비교를 통해 결정되는 자질 벡터를 통해 질의 응답 시스템의 정답 탐지 성능이 향상될 수 있다.
도 8은 다른 실시예에 따른 질의 응답 시스템을 나타낸 개념도이다.
도 8을 참조하면, 질의 문장에 대응하는 정답을 결정하는 FastQA 네트워크 내에 문장 비교부(100)가 포함되어 있다. FastQA 네트워크의 질의 인코더(10)는 질의 문장(1)에 포함된 각 단어(11 내지 1n)를 단어 임베딩으로 변환하고, 복수의 단어 임베딩을 결합하여 질의 문장(1)으로부터 질의 임베딩 벡터를 인코딩할 수 있다. 도 8에서 문장 비교부(100)는 질의 문장(1)으로부터 결정된 질의 임베딩 벡터와 본문 문장에 각각 대응하는 본문 문장 임베딩 벡터를 사용하여 질의 임베딩 벡터 및 본문 문장 임베딩 벡터 간의 문장 비교 정보를 결정할 수 있다. FastQA 네트워크에서, 문서 내에 포함된 n개의 본문 문장에 각각 대응하는 문장 비교 정보(비교 정보1 내지 비교 정보n)는 정답 문장의 앞뒤 문장의 색인을 찾기 위해 사용될 수 있다.
도 9는 또 다른 실시예에 따른 질의 응답 시스템을 나타낸 블록도이다.
다른 실시예에 따른 질의 응답 시스템은, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 도 9를 참조하면, 컴퓨터 시스템(900)은, 버스(970)를 통해 통신하는 프로세서(910), 메모리(930), 입력 인터페이스 장치(950), 출력 인터페이스 장치(960), 및 저장 장치(940) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(900)은 또한 네트워크에 결합된 통신 장치(920)를 포함할 수 있다. 프로세서(910)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(930) 또는 저장 장치(940)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(930) 및 저장 장치(940)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
통신 장치(920)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. 구체적으로, 본 발명의 실시예에 따른 방법(예, 네트워크 관리 방법, 데이터 전송 방법, 전송 스케줄 생성 방법 등)은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 실시예에 대하여 상세하게 설명하였지만 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 권리범위에 속하는 것이다.

Claims (20)

  1. 질의에 대한 정답을 찾는 질의 응답 시스템으로서,
    문서 내에 포함된 복수의 본문 문장과 상기 정답이 상기 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 비교 네트워크를 사전 훈련하고, 사전 훈련의 결과에 따라 상기 복수의 본문 문장과 상기 질의 문장 간의 문장 비교 정보를 생성하는 문장 비교부, 및
    상기 문서 내의 본문, 상기 질의 문장, 및 상기 문장 비교 정보를 사용하여 상기 질의 문장에 대응하는 상기 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부
    를 포함하는 질의 응답 시스템.
  2. 제1항에서,
    상기 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 질의 인코더, 및
    상기 복수의 본문 문장을 인코딩하여 상기 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 본문 인코더
    를 더 포함하는 질의 응답 시스템.
  3. 제2항에서,
    상기 문장 비교부는, 각각의 상기 복수의 본문 문장 임베딩 벡터와 상기 질의 임베딩 벡터 간의 의미 유사도를 상기 문장 비교 정보로서 생성하는, 질의 응답 시스템.
  4. 제1항에서,
    상기 문장 비교 정보는, 각각의 상기 복수의 본문 문장이 상기 정답 문장일 확률을 나타내는, 질의 응답 시스템.
  5. 질의에 대한 정답을 찾는 질의 응답 시스템의 훈련 방법으로서,
    문서 내에 포함된 복수의 본문 문장과 상기 정답이 상기 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 상기 복수의 본문 문장과 상기 질의 문장 간의 문장 비교 정보를 생성하는 단계,
    상기 문장 비교 정보의 손실 값을 계산하는 단계, 및
    상기 문서 내의 본문, 상기 질의 문장, 상기 문장 비교 정보, 및 상기 문장 비교 정보의 손실 값을 바탕으로 상기 질의 문장에 대응하는 상기 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 단계
    를 포함하는 훈련 방법.
  6. 제5항에서,
    상기 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 단계, 및
    상기 복수의 본문 문장을 인코딩하여 상기 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 단계
    를 더 포함하는 훈련 방법.
  7. 제6항에서,
    상기 문장 비교 정보를 생성하는 단계는,
    각각의 상기 복수의 본문 문장 임베딩 벡터와 상기 질의 임베딩 벡터 간의 의미 유사도를 상기 문장 비교 정보로서 생성하는 단계
    를 포함하는, 훈련 방법.
  8. 제5항에서,
    상기 문장 비교 정보는, 각각의 상기 복수의 본문 문장이 상기 정답 문장일 확률 값인, 훈련 방법.
  9. 제8항에서,
    상기 문장 비교 정보의 손실 값을 계산하는 단계는,
    확률 1에서 상기 확률 값을 차감함으로써 상기 손실 값을 계산하는 단계
    를 포함하는, 훈련 방법.
  10. 제5항에서,
    상기 정답 탐지 네트워크를 훈련하는 단계는,
    상기 문장 비교 정보의 손실 값을 상기 정답 탐지 네트워크의 정답 탐지 손실 값에 부가하는 단계
    를 포함하는, 훈련 방법.
  11. 질의에 대한 정답을 찾는 질의 응답 시스템의 훈련 방법으로서,
    문서 내에 포함된 복수의 본문 문장의 상기 정답이 상기 문서 내에 미리 결정되어 있는 질의 문장으로부터 상기 복수의 본문 문장에 각각 대응하는 자질 벡터를 생성하는 단계, 및
    상기 문서의 본문, 상기 질의 문장, 및 상기 자질 벡터를 바탕으로 상기 질의 문장에 대응하는 상기 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 단계
    를 포함하는 훈련 방법.
  12. 제11항에서,
    상기 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 단계, 및
    상기 복수의 본문 문장을 인코딩하여 상기 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 단계
    를 더 포함하는 훈련 방법.
  13. 제12항에서,
    상기 자질 벡터는 상기 복수의 본문 문장 임베딩 벡터 및 상기 질의 임베딩 벡터 간의 아다마르 곱(Hadamard product) 벡터인, 훈련 방법.
  14. 제13항에서,
    상기 정답 탐지 네트워크를 훈련하는 단계는,
    상기 복수의 본문 문장 임베딩 벡터 또는 상기 문서 내에 포함된 단어의 단어 임베딩 벡터 내에 상기 자질 벡터를 삽입하는 단계
    를 포함하는, 훈련 방법.
  15. 질의에 대한 정답을 찾는 질의 응답 시스템으로서,
    문서 내에 포함된 복수의 본문 문장과 상기 정답이 상기 문서 내에 미리 결정되어 있는 질의 문장을 바탕으로 상기 복수의 본문 문장과 상기 질의 문장 간의 문장 비교 정보를 생성하고, 상기 문장 비교 정보의 손실 값을 계산하는 문장 비교부, 및
    상기 문서 내의 본문, 상기 질의 문장, 상기 문장 비교 정보, 및 상기 문장 비교 정보의 손실 값을 바탕으로 상기 질의 문장에 대응하는 상기 정답이 출력될 수 있도록 정답 탐지 네트워크를 훈련하는 정답 탐지부
    를 포함하는 질의 응답 시스템.
  16. 제15항에서,
    상기 질의 문장을 인코딩하여 질의 임베딩 벡터를 생성하는 질의 인코더, 및
    상기 복수의 본문 문장을 인코딩하여 상기 복수의 본문 문장에 각각 대응하는 복수의 본문 문장 임베딩 벡터를 생성하는 본문 인코더
    를 더 포함하는 질의 응답 시스템.
  17. 제16항에서,
    상기 문장 비교부는, 각각의 상기 복수의 본문 문장 임베딩 벡터와 상기 질의 임베딩 벡터 간의 의미 유사도를 상기 문장 비교 정보로서 생성하는, 질의 응답 시스템.
  18. 제15항에서,
    상기 문장 비교 정보는, 각각의 상기 복수의 본문 문장이 상기 정답 문장일 확률 값인, 질의 응답 시스템.
  19. 제18항에서,
    상기 문장 비교부는, 확률 1에서 상기 확률 값을 차감함으로써 상기 손실 값을 계산하는, 질의 응답 시스템.
  20. 제15항에서,
    상기 정답 탐지부는, 상기 문장 비교 정보의 손실 값을 상기 정답 탐지 네트워크의 정답 탐지 손실 값에 부가하는, 질의 응답 시스템.
KR1020190154676A 2018-11-28 2019-11-27 정답을 찾는 질의 응답 시스템 및 그의 훈련 방법 KR102297849B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180150112 2018-11-28
KR20180150112 2018-11-28

Publications (2)

Publication Number Publication Date
KR20200064007A true KR20200064007A (ko) 2020-06-05
KR102297849B1 KR102297849B1 (ko) 2021-09-03

Family

ID=71089016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190154676A KR102297849B1 (ko) 2018-11-28 2019-11-27 정답을 찾는 질의 응답 시스템 및 그의 훈련 방법

Country Status (1)

Country Link
KR (1) KR102297849B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010679A (zh) * 2021-03-18 2021-06-22 平安科技（深圳）有限公司 问答对生成方法、装置、设备及计算机可读存储介质
CN113239704A (zh) * 2021-05-31 2021-08-10 平安科技（深圳）有限公司 干扰语句生成方法、装置、设备及计算机可读存储介质
WO2021251690A1 (ko) * 2020-06-09 2021-12-16 (주)뤼이드 인공 지능 학습 기반의 학습 컨텐츠 추천 시스템 및 그것의 동작 방법
WO2022097909A1 (ko) * 2020-11-09 2022-05-12 한국과학기술원 비지도 기반 질의 생성 모델의 학습 방법 및 장치
WO2022107955A1 (ko) * 2020-11-23 2022-05-27 한국과학기술원 의미역 결정 기반 신경망 연산 방법 및 장치
KR20220071791A (ko) * 2020-11-24 2022-05-31 경희대학교 산학협력단 응답과 질의 토큰의 관계에 기초하여 상기 질의에 대한 답변을 제공하는 방법 및 전자 장치
KR20220144482A (ko) * 2021-04-20 2022-10-27 주식회사 한글과컴퓨터 전자 문서에 포함된 평서문 문장에 대한 언어분석을 통해 질의 문장을 자동으로 생성하는 전자 단말 장치 및 그 동작 방법
CN117131283A (zh) * 2023-10-27 2023-11-28 知学云(北京)科技股份有限公司 基于异步服务的智能问答方法和系统
WO2024015252A1 (en) * 2022-07-11 2024-01-18 Pryon Incorporated Supervised summarization and structuring of unstructured documents
KR102703247B1 (ko) * 2023-12-12 2024-09-06 주식회사 노타 생성형 검색을 위한 질의의 복잡도에 따른 검색 결과의 세분성 재조정 방법 및 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023219298A1 (ko) * 2022-05-09 2023-11-16 삼성전자주식회사 전자 장치 및 이의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120171648A1 (en) * 2010-12-29 2012-07-05 Paula Price System for increasing the probability of success and identifying required preparation for service in lifestyle occupations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120171648A1 (en) * 2010-12-29 2012-07-05 Paula Price System for increasing the probability of success and identifying required preparation for service in lifestyle occupations

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
박천음 외, ‘S2-Net: SRU 기반 Self-matching Network를 이용한 한국어 기계 독해’, 2017.* *
이현구 외, ‘강화학습과 이중 상호 집중을 이용한 한국어 기계독해’, 정보과학회 논문지, 2018.09.* *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251690A1 (ko) * 2020-06-09 2021-12-16 (주)뤼이드 인공 지능 학습 기반의 학습 컨텐츠 추천 시스템 및 그것의 동작 방법
WO2022097909A1 (ko) * 2020-11-09 2022-05-12 한국과학기술원 비지도 기반 질의 생성 모델의 학습 방법 및 장치
KR20220062986A (ko) * 2020-11-09 2022-05-17 한국과학기술원 비지도 기반 질의 생성 모델의 학습 방법 및 장치
KR20220071044A (ko) * 2020-11-23 2022-05-31 한국과학기술원 의미역 결정 기반 신경망 연산 방법 및 장치
WO2022107955A1 (ko) * 2020-11-23 2022-05-27 한국과학기술원 의미역 결정 기반 신경망 연산 방법 및 장치
KR20220071791A (ko) * 2020-11-24 2022-05-31 경희대학교 산학협력단 응답과 질의 토큰의 관계에 기초하여 상기 질의에 대한 답변을 제공하는 방법 및 전자 장치
CN113010679A (zh) * 2021-03-18 2021-06-22 平安科技（深圳）有限公司 问答对生成方法、装置、设备及计算机可读存储介质
KR20220144482A (ko) * 2021-04-20 2022-10-27 주식회사 한글과컴퓨터 전자 문서에 포함된 평서문 문장에 대한 언어분석을 통해 질의 문장을 자동으로 생성하는 전자 단말 장치 및 그 동작 방법
CN113239704A (zh) * 2021-05-31 2021-08-10 平安科技（深圳）有限公司 干扰语句生成方法、装置、设备及计算机可读存储介质
CN113239704B (zh) * 2021-05-31 2024-05-28 平安科技（深圳）有限公司 干扰语句生成方法、装置、设备及计算机可读存储介质
WO2024015252A1 (en) * 2022-07-11 2024-01-18 Pryon Incorporated Supervised summarization and structuring of unstructured documents
CN117131283A (zh) * 2023-10-27 2023-11-28 知学云(北京)科技股份有限公司 基于异步服务的智能问答方法和系统
CN117131283B (zh) * 2023-10-27 2024-03-19 知学云(北京)科技股份有限公司 基于异步服务的智能问答方法和系统
KR102703247B1 (ko) * 2023-12-12 2024-09-06 주식회사 노타 생성형 검색을 위한 질의의 복잡도에 따른 검색 결과의 세분성 재조정 방법 및 시스템

Also Published As

Publication number Publication date
KR102297849B1 (ko) 2021-09-03

Similar Documents

Publication Publication Date Title
KR102297849B1 (ko) 정답을 찾는 질의 응답 시스템 및 그의 훈련 방법
KR102342066B1 (ko) 뉴럴 네트워크 모델을 이용한 기계 번역 방법, 장치 및 그 장치를 학습시키기 위한 방법
KR102589638B1 (ko) 문장 생성 장치 및 방법
US11972365B2 (en) Question responding apparatus, question responding method and program
US10325020B2 (en) Contextual pharmacovigilance system
KR102424514B1 (ko) 언어 처리 방법 및 장치
KR102363369B1 (ko) 문서들의 벡터 표현들 생성하기
US8762132B2 (en) Textual entailment recognition apparatus, textual entailment recognition method, and computer-readable recording medium
CN107590168B (zh) 用于关系推断的系统和方法
US20200380286A1 (en) Automatic optical character recognition (ocr) correction
US11675975B2 (en) Word classification based on phonetic features
CN114565104A (zh) 语言模型的预训练方法、结果推荐方法及相关装置
US20220230061A1 (en) Modality adaptive information retrieval
KR101939209B1 (ko) 신경망 기반의 텍스트의 카테고리를 분류하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
US8386489B2 (en) Applying formal concept analysis to validate expanded concept types
US20230034414A1 (en) Dialogue processing apparatus, learning apparatus, dialogue processing method, learning method and program
KR102026967B1 (ko) n-gram 데이터 및 언어 분석에 기반한 문법 오류 교정장치 및 방법
KR20200062521A (ko) 개념 그래프 기반 질의응답 장치 및 방법
GB2581461A (en) Semantic normalization in document digitization
CN113849623A (zh) 文本视觉问答方法和装置
CN112464655A (zh) 中文字符和拼音相结合的词向量表示方法、装置、介质
Shin et al. Deep image understanding using multilayered contexts
CN110287487B (zh) 主谓语识别方法、装置、设备及计算机可读存储介质
KR102483927B1 (ko) 계층적 단어 정보를 이용한 문장 인코딩 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant