KR102640564B1 - 질의 응답 시스템의 훈련 장치 및 그것을 위한 컴퓨터 프로그램 - Google Patents

질의 응답 시스템의 훈련 장치 및 그것을 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102640564B1
KR102640564B1 KR1020187005104A KR20187005104A KR102640564B1 KR 102640564 B1 KR102640564 B1 KR 102640564B1 KR 1020187005104 A KR1020187005104 A KR 1020187005104A KR 20187005104 A KR20187005104 A KR 20187005104A KR 102640564 B1 KR102640564 B1 KR 102640564B1
Authority
KR
South Korea
Prior art keywords
question
learning data
response
learning
unit
Prior art date
Application number
KR1020187005104A
Other languages
English (en)
Other versions
KR20180048624A (ko
Inventor
종훈 오
켄타로 토리사와
치카라 하시모토
류 이이다
마사히로 타나카
줄리앙 클로에체
Original Assignee
코쿠리츠켄큐카이하츠호진 죠호츠신켄큐키코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코쿠리츠켄큐카이하츠호진 죠호츠신켄큐키코 filed Critical 코쿠리츠켄큐카이하츠호진 죠호츠신켄큐키코
Publication of KR20180048624A publication Critical patent/KR20180048624A/ko
Application granted granted Critical
Publication of KR102640564B1 publication Critical patent/KR102640564B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computational Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

(과제) 수작업을 가능한 한 통하지 않고 효율적으로 분류기의 학습 데이터를 작성하는 왜형 질의 응답 시스템의 훈련 장치를 제공한다.
(해결수단) 훈련 장치(62)는 질문·예상 응답 기억부(76)에 기억된 질문을 질의 응답 시스템(60)에 발행하는 질문 발행부(100)와, 왜형 질의 응답 시스템(60)으로부터 스코어와 함께 출력되는 복수의 응답 후보의 각각과 질문의 페어로부터 왜형 질의 응답 시스템(60)의 랭킹부(122)의 학습 데이터를 생성하여 학습 데이터 기억부(64)에 추가하는 응답 후보 필터부(102), 응답 후보 판정부(104), 학습 데이터 생성·라벨링부(106) 및 학습 데이터 선택부(108)와, 학습 장치의 학습, 질문의 발행, 학습 데이터의 추가를 종료 조건이 성립할 때까지 반복하도록 질문 발행부(100), 응답 후보 필터부(102), 응답 후보 판정부(104), 학습 데이터 생성·라벨링부(106) 및 학습 데이터 선택부(108)를 제어하는 반복 제어부(110)를 포함한다.

Description

질의 응답 시스템의 훈련 장치 및 그것을 위한 컴퓨터 프로그램
본 발명은 질의 응답 시스템에 관한 것으로, 특히, 질의 응답 시스템에 있어서 「왜형 질문」에 대한 응답의 정확도를 향상시키는 기술에 관한 것이다.
인간에게 있어서, 무엇인가 의문이 생겼을 때에 그 응답을 찾는 것은 기본적인 활동의 하나이다. 예를 들면 「왜 암에 걸리는 것인가」라는 질의에 대해서 그 응답을 찾기 위한 여러가지 노력이 이루어져 왔다. 한편, 컴퓨터가 발달하여 인간이 지금까지 행해 온 여러가지 활동을 인간보다 높은 능력으로 행하는 것이 가능하게 되었다. 예를 들면 사물을 기억하거나, 요구하는 정보를 고속으로 검색하거나 하는 능력이다.
그런데, 종래, 위에 서술한 바와 같은, 「왜형 질문(Why-type question」에 대한 응답을 컴퓨터로 검색하는 것은 극히 곤란한 태스크라고 여겨지고 있었다. 여기에서, 「왜형 질문」이란 「왜 암에 걸리는 것인가」라고 하는 질문과 같이, 어떠한 사상이 발생한 이유를 묻는 질문을 말하며, 그것에 대한 응답을 컴퓨터에 의해 찾는 것을 「왜형 질의 응답」이라고 부른다.
한편, 컴퓨터 하드웨어와 소프트웨어의 발달에 의해, 인간이 「왜형 질문」에 대한 응답을 찾는 방법과는 다른 방법으로 「왜형 질문」에 대한 응답을 탐색하는 기술이 연구되고 있다. 기술분야로서는, 소위 인공지능, 자연언어처리, 웹 마이닝, 데이터 마이닝 등이라고 불리는 분야이다.
이 점에 관해서 질의 응답 시스템의 일례로서 본원의 출원인이 인터넷 상에서 공개하고 있는 질의 응답 서비스가 있다. 이 질의 응답 시스템은 그 1개의 구성 요건으로서 왜형 질의 응답 시스템을 실장하고 있다. 이 왜형 질의 응답 시스템은 뒤에 서술하는 특허문헌 1에 개시된 기술을 사용한 것이다.
이 왜형 질의 응답 시스템은 미리 웹으로부터 대량의 문서를 수집해 두고, 그 중에서 인과 관계를 나타내는 어휘 등에 착안해서 대량의 인과 관계 표현을 추출해 둔다. 여기에서 말하는 인과 관계 표현이란 원인을 나타내는 구(phrase)와, 결과를 나타내는 구가 특정 어휘에 의해 연결되어 있는 표현을 말한다. 이 시스템은 「왜형 질문」을 받으면, 이 대량의 인과 관계 표현 중에서 결과부분이 질문문과 공통되어 있는 것을 모으고, 그 원인을 나타내는 구를 응답 후보로서 추출한다. 이러한 응답 후보가 대량으로 얻어지기 때문에, 이 시스템에서는 이들 중에서 질문에 대한 응답으로서 적절한 것을 선택하기 위한 분류기를 사용한다.
이 분류기는 텍스트의 어휘적인 특징(단어열, 형태소열 등), 구조적 특징(부분적인 구문 트리 등), 의미적인 특징(단어의 의미, 평가 표현, 인과 관계 등)을 사용한 지도학습으로 학습을 행한다.
일본 특허공개 2015-011426호 공보 일본 특허공개 2013-175097호 공보
상기한 종래의 왜형 질의 응답 시스템은 이 분류기를 이용하여 어느 정도의 성능을 나타내고 있지만, 아직 개선의 여지가 남겨져 있다. 성능 개선을 위해서는 보다 많은 적절한 학습 데이터를 이용하여 분류기의 학습을 행하면 좋다고 생각된다. 그러나, 종래에는, 학습 데이터는 수작업으로 작성하고 있어서 작성 비용이 높기 때문에, 대량의 학습 데이터를 작성하는 것이 곤란했다. 또한, 어떤 학습 데이터를 선택하면 효율적으로 분류기의 학습을 행할 수 있을지가 불분명했다. 따라서, 보다 효율적으로 분류기의 학습을 행해서 분류기의 성능을 향상시키는 기술이 요구되고 있다.
그러므로 본 발명의 목적은, 수작업을 가능한 한 통하지 않고, 효율적으로 분류기의 학습 데이터를 작성해서 학습을 행할 수 있는 왜형 질의 응답 시스템의 훈련 장치를 제공하는 것이다.
본 발명의 제 1 국면에 따른 질의 응답 시스템의 훈련 장치는, 복수의 인과 관계 표현을 기억하는 인과 관계 표현 기억 수단, 인과 관계 표현 기억 수단에 기억된 동일한 인과 관계 표현으로부터 추출된 질문과 그 질문에 대한 예상 응답의 세트를 복수 기억한 질문 및 예상 응답 기억 수단, 및, 질문을 받으면 상기 질문에 대한 복수의 응답 후보를 스코어를 붙여서 출력하는 질의 응답 시스템과 함께 사용되고, 상기 질의 응답 시스템내의 응답 후보에 스코어를 부여하는 분류기의 성능을 향상시키기 위한 훈련 장치이다. 훈련 장치는 또한, 질의 응답 시스템의 분류기의 학습을 행하기 위한 학습 데이터 기억 수단을 구비한 학습 장치와 함께 사용된다. 이 훈련 장치는 학습 데이터 기억 수단에 기억된 학습 데이터를 이용하여 분류기의 학습을 행하도록 학습 장치를 제어하는 학습 장치 제어 수단과, 질문·예상 응답 기억 수단에 기억된 질문을 발행해서 질의 응답 시스템에 주는 질문 발행 수단과, 질문 발행 수단이 발행한 질문에 대해서 질의 응답 시스템으로부터 스코어와 함께 출력되는 복수의 응답 후보의 각각과, 상기 질문의 페어로부터 질의 응답 시스템의 분류기의 학습 데이터를 생성해서 학습 데이터 기억 수단에 추가하는 학습 데이터 추가 수단과, 학습 장치 제어 수단에 의한 학습 장치의 제어와, 질문 발행 수단에 의한 질문의 발행과, 학습 데이터 추가 수단에 의한 학습 데이터의 추가를 소정의 종료 조건이 성립할 때까지 복수의 횟수만큼 반복해서 실행하도록 학습 장치 제어 수단, 질문 발행 수단, 및 학습 데이터 추가 수단을 제어하는 반복 제어 수단을 포함한다.
바람직하게는, 학습 데이터 추가 수단은, 질문 발행 수단이 발행한 질문에 대해서 질의 응답 시스템으로부터 스코어와 함께 출력되는 복수의 응답 후보 중, 스코어의 절대값이 양의 제 1 임계값보다 작고, 또한 상기 스코어가 상위의 소정 개수의 응답 후보를 선택하는 응답 후보 선택 수단과, 응답 후보 선택 수단에 의해 선택된 소정 개수의 응답 후보의 각각과, 질문에 대응하는 예상 응답 사이의 일치도를 산출하고, 상기 일치도가 제 2 임계값보다 큰지 아닌지에 따라서, 상기 응답 후보와, 상기 질문에, 정례(正例) 또는 부례(負例)의 라벨을 붙여서 학습 데이터 후보를 생성하는 학습 데이터 후보 생성 수단과, 학습 데이터 후보 생성 수단에 의해 생성된 학습 데이터 후보를 새로운 학습 데이터로서 학습 데이터 기억 수단에 추가하는 수단을 포함한다.
보다 바람직하게는, 학습 데이터 추가 수단은 또한, 응답 후보 선택 수단의 출력과 학습 데이터 후보 생성 수단의 입력 사이에 설치되며, 응답 후보 선택 수단에 의해 선택된 응답 후보 중, 상기 응답 후보의 시초가 된 질문이 얻어진 인과 관계 표현으로부터 얻어진 것을 파기하는 제 1 응답 후보 파기 수단을 포함한다.
더욱 바람직하게는, 학습 데이터 추가 수단은 또한, 응답 후보 선택 수단의 출력과 학습 데이터 후보 생성 수단의 입력 사이에 설치되며, 응답 후보 선택 수단에 의해 선택된 응답 후보와 질문의 페어 중, 학습 데이터 기억 수단에 기억된 것과 일치하는 것을 삭제하는 제 2 응답 후보 파기 수단을 포함한다.
학습 데이터 추가 수단은, 학습 데이터 후보 생성 수단에 의해 생성된 학습 데이터 후보의 일부로서, 상기 학습 데이터 후보에 포함되는 응답 후보의 스코어가 상위의 소정 개수만을 선택해서 새로운 학습 데이터로서 학습 데이터 기억 수단에 추가하는 학습 데이터 선택 수단을 포함해도 좋다.
또한 질의 응답 시스템은, 복수의 문장으로 이루어지는 패시지로서, 인과 관계 표현의 추출을 행할 때에 단서가 되는 구를 적어도 1개 포함하는 패시지의 집합으로부터 응답 후보를 추출하는 것이어도 좋다.
본 발명의 제 2 국면에 따른 컴퓨터 프로그램은, 복수의 인과 관계 표현을 기억하는 인과 관계 표현 기억 수단, 인과 관계 표현 기억 수단에 기억된 동일한 인과 관계 표현으로부터 추출된 질문과 그 질문에 대한 예상 응답의 세트를 복수 기억한 질문 및 예상 응답 기억 수단, 및, 질문을 받으면 상기 질문에 대한 복수의 응답 후보를 스코어를 붙여서 출력하는 질의 응답 시스템과 함께 사용되고, 상기 질의 응답 시스템내의 기계학습에 의한 분류기의 성능을 향상시키기 위한 질의 응답 시스템의 훈련 장치로서 컴퓨터를 기능시키는 컴퓨터 프로그램이다. 훈련 장치는 또한, 질의 응답 시스템의 분류기의 학습을 행하기 위한 학습 데이터 기억 수단을 구비한 학습 장치와 함께 사용된다. 세트를 형성하는 질문과 예상 응답은 같은 인과 관계 표현으로부터 생성된 것이다. 컴퓨터 프로그램은 상기한 어느 하나의 훈련 장치를 구성하는 각 수단으로서 컴퓨터를 기능시킨다.
도 1은 본 발명의 실시형태에 따른 왜형 질의 응답 시스템의 훈련 시스템의 개요를 모식적으로 나타내는 도면이다.
도 2는 도 1에 나타내는 왜형 질의 응답 시스템의 훈련 장치의 개략 구성을 나타내는 블럭도이다.
도 3은 인과 관계 표현으로부터 질문과 예상 응답의 페어를 작성하는 순서를 나타내는 모식도이다.
도 4는 대량의 문서를 기억한 웹문서 등으로부터 추출된 대량의 인과 관계로부터 도 3에 나타내는 질문과 예상 응답의 페어를 생성하는 질문·예상 응답 생성·추출부의 블럭도이다.
도 5는 도 4에 나타내는 질문·예상 응답 생성·추출부에서 사용되는 질문의 필터 처리를 행하는 제 2 필터부의 학습을 행하는 제 2 필터 학습부의 블럭도이다.
도 6은 도 2에 나타내는 반복 제어부(110)를 컴퓨터 하드웨어와 컴퓨터 소프트웨어의 협동에 의해 실현할 때의 컴퓨터 프로그램의 제어 구조를 나타내는 플로우챠트이다.
도 7은 도 2에 나타내는 응답 후보 필터부, 응답 후보 판정부, 및 학습 데이터 생성·라벨링부를 실현하는 컴퓨터 프로그램의 제어 구조를 나타내는 플로우챠트이다.
도 8은 본 발명의 실시형태에 따른 훈련 시스템에 의해 학습을 행한 분류기의 성능을 종래 기술과 비교해서 나타내는 그래프이다.
도 9는 본 발명의 실시형태를 컴퓨터로 실현할 때에 필요한 컴퓨터 하드웨어의 구성을 나타내는 블럭도이다.
이하의 설명 및 도면에서는 동일한 부품에는 동일한 참조번호가 붙여져 있다. 따라서, 이들에 대한 상세한 설명은 반복하지 않는다.
[개요]
도 1에, 본 발명의 실시형태에 따른 왜형 질의 응답 시스템의 훈련 시스템(50)의 개요를 모식적으로 나타낸다. 도 1을 참조해서, 이 훈련 시스템(50)은 상기한 선행 기술의 왜형 질의 응답 시스템(60)이 골칫거리라고 하는 질문을 자동 인식하고, 그러한 질문에 대한 응답을 발견해서 분류기의 성능을 강화하는 학습 데이터를 자동 작성하여 학습 데이터 기억부(64)에 격납하는 훈련 장치(62)를 포함한다. 학습 데이터 기억부(64)에 기억된 학습 데이터를 사용한 학습 처리부(66)에 의한 학습에 의해, 왜형 질의 응답 시스템(60)의 성능이 향상된다.
[구성]
도 2에, 훈련 시스템(50)의 구체적인 구성을 나타낸다. 도 2를 참조해서, 훈련 시스템(50)은 웹으로부터 모은 대량의 문서로 이루어지는 웹 코퍼스를 기억하는 웹 코퍼스 기억부(68)와, 웹 코퍼스 기억부(68)에 기억된 대량의 문서로부터 대량의 인과 관계 표현을 추출하는 인과 관계 표현 추출부(70)와, 인과 관계 표현 추출부(70)에 의해 추출된 인과 관계 표현을 기억하는 인과 관계 표현 기억부(72)를 포함한다. 또, 인과 관계의 추출에는 상기한 특허문헌 1에 개시된 기술에 추가해서 특허문헌 2에 기재된 기술을 사용할 수 있다.
훈련 시스템(50)은 또한, 인과 관계 표현 기억부(72)에 기억된 대량의 인과 관계 표현 중에서 학습 데이터를 생성하는데에 적절한 질문과 그 예상 응답을 생성하여 출력하는 질문·예상 응답 생성·추출부(74)와, 질문·예상 응답 생성·추출부(74)에 의해 출력된 질문과 예상 응답을 기억하는 질문·예상 응답 기억부(76)와, 질문·예상 응답 기억부(76)에 기억된 질문 및 예상 응답의 세트를 왜형 질의 응답 시스템(60)에 주고, 그 응답을 이용하여 왜형 질의 응답 시스템(60)의 성능을 향상시키는 학습 데이터를 생성해서 학습 데이터 기억부(64)에 격납하는 상술의 훈련 장치(62)를 포함한다.
도 3에, 인과 관계 표현(130)으로부터 질문(144) 및 그 예상 응답(146)을 작성하는 순서를 나타낸다. 인과 관계 표현에는 여러가지 표현이 있을 수 있지만, 예를 들면 도 3에 나타내는 인과 관계 표현(130)의 경우, 원인을 나타내는 원인구(140)와, 결과를 나타내는 결과구(142)가 양자간의 인과 관계를 나타내는 접속사 「∼ 때문에」에 의해 접속되어 있다. 이 결과구(142)를 일정한 변형 규칙에 따라서 변형함으로써 질문(144)이 얻어진다. 원인구(140)로부터도 일정한 변형 규칙에 의해 질문(144)에 대한 예상 응답(146)이 얻어진다. 인과 관계의 형태에 따라, 변형 규칙의 세트를 미리 준비해 둠으로써, 인과 관계 표현으로부터 질문문과 그 예상 응답의 페어를 생성할 수 있다.
다시 도 2를 참조해서, 왜형 질의 응답 시스템(60)은 주어진 질문에 대한 복수의 응답 후보를 웹 코퍼스 기억부(68) 중에서 검색하는 응답 후보 검색부(120)와, 응답 후보 검색부(120)에 의해 검색된 대량의 응답 후보를 미리 학습이 완료된 분류기를 이용하여 스코어를 붙이고, 랭킹해서 출력하는 랭킹부(122)를 포함한다. 학습 데이터 기억부(64)에 기억된 학습 데이터를 사용한 학습 처리부(66)에 의한 학습이 행해지는 것은 이 랭킹부(122)의 분류기이다. 랭킹부(122)는 각 응답 후보에 스코어를 붙인 형태로 출력한다. 이 스코어는 상기 분류기에 의한 분류의 결과지어지는 질문에 대한 응답이 정답이 될 확률을 나타내는 스코어이다. 응답 후보 검색부(120)가 출력하는 응답 후보는 웹 코퍼스 기억부(68)에 격납된 문서 중에서 질문문과의 사이의 tf-idf의 값이 상위의 일정수의(본 실시형태에서는 1200세트)의 일련의 문장들(패시지)이다. 또, 본 실시형태에서는, 왜형 질의 응답 시스템(60)이 대량의 문서로부터 응답 후보를 효율적으로 검색할 수 있도록 하기 위해서, 이하와 같은 연구를 하고 있다. 즉, 웹 코퍼스 기억부(68)에 기억된 문서 중에서 연속하는 7문장으로 이루어지는 패시지로서, 또한, Oh 등의 논문(Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Motoki Sano, Stijn De Saeger, and Kiyonori Ohtake. 2013. Why-question answering using intra- and inter-sentential causal relations. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pages 1733-1743.)에 있어서 사용된 인과 관계를 인식하기 위한 단서가 되는 구를 적어도 하나 포함하는 패시지를 추출하고, 응답 후보는 이들 패시지의 집합 중에서 검색하도록, 왜형 질의 응답 시스템(60)의 응답 후보의 검색 범위를 한정했다. 또, 패시지가 포함하는 문장의 수는 7에는 한정되지 않고, 5∼10정도의 범위로부터 선택하도록 해도 좋다.
훈련 장치(62)는 질문·예상 응답 기억부(76)에 기억된 다수의 질문·예상 응답의 페어로부터 질문을 선택해서 응답 후보 검색부(120)에 대한 질문을 발행하는 질문 발행부(100)와, 질문 발행부(100)에 의해 발행된 질문에 대해서 왜형 질의 응답 시스템(60)이 송신해 오는 랭킹된 응답 후보 중에서, 일정한 조건을 충족하는 응답 후보만을 남기고 그 외를 필터링하는 응답 후보 필터부(102)를 포함한다. 응답 후보 필터부(102)의 기능에 대해서는 도 7을 참조해서 후술한다.
훈련 장치(62)는 또한, 응답 후보 필터부(102)가 출력하는 응답 후보의 각각에 대해서, 질문 발행부(100)가 발행한 질문과 세트로 되어 있는 예상 응답과 비교함으로써, 그 응답 후보가 옳은지 아닌지를 판정해서 판정 결과를 출력하는 응답 후보 판정부(104)와, 질문과 그 응답 후보의 세트에, 그 응답 후보에 대해서 응답 후보 판정부(104)가 출력한 판정 결과를 라벨로서 부착해서 학습 데이터 후보를 생성하는 학습 데이터 생성·라벨링부(106)와, 학습 데이터 생성·라벨링부(106)에 의해 출력된 학습 데이터 후보를 축적하고, 질문·예상 응답 생성·추출부(74)에 포함되는 전체 인과 관계 표현에 대해서 학습 데이터 후보의 생성이 끝난 시점에서, 학습 데이터 후보 중에서 랭킹부(122)에 의해 부착된 스코어가 가장 높은 소정 개수(K개)를 선택해서 학습 데이터 기억부(64)에 학습 데이터로서 추가하는 학습 데이터 선택부(108)와, 질문 발행부(100), 응답 후보 필터부(102), 응답 후보 판정부(104), 학습 데이터 생성·라벨링부(106) 및 학습 데이터 선택부(108)에 의한 처리를 소정의 종료 조건이 충족될 때까지 반복해서 행하도록 이들을 제어하는 반복 제어부(110)를 포함한다.
도 4에, 도 2에 나타내는 질문·예상 응답 생성·추출부(74)의 구성을 나타낸다. 도 4를 참조해서, 질문·예상 응답 생성·추출부(74)는 인과 관계 표현 기억부(72)에 기억된 인과 관계 표현의 결과부분에 질문문 생성을 위해서 부족한 정보가 있으면 그것들을 보충하는 보충 처리부(172)와, 미리 수작업에 의해 작성된 인과 관계의 결과구로부터 질문문을 생성하기 위한 규칙을 기억하는 규칙 기억부(170)와, 인과 관계 표현 기억부(72)에 기억된 인과 관계 표현의 각각의 결과구로서, 보충 처리부(172)에 의해 보충이 된 것에 대해서 규칙 기억부(170)에 기억된 규칙 중에서 어느 하나 적합한 것을 선택해서 적용하고, 질문문을 생성해서 출력하는 질문문 생성부(174)를 포함한다.
여기에서, 보충 처리부(172)의 처리에 대해서 설명한다. 인과 관계 표현의 결과구 부분에는 다른 부분에의 조응(다른 부분의 참조)이 존재하고 있거나, 술부가 취해야할 인수가 없거나 하는 경우가 많다. 그 결과, 결과부분에는 주어가 존재하지 않거나, 토픽이 누락되어 있는 일이 있다. 만일 이들의 결과부분으로부터 질문문을 생성하면, 학습 데이터로서 적절한 것을 얻을 수 없다. 그래서, 보충 처리부(172)는 그러한 주어 및 토픽을 인과 관계 표현의 다른 부분으로부터 보충한다.
질문·예상 응답 생성·추출부(74)는 또한, 질문문 생성부(174)가 출력하는 질문문 중에서, 대명사를 포함하는 것을 필터링하고, 그 이외를 출력하는 제 1 필터 처리부(176)와, 제 1 필터 처리부(176)가 출력하는 질문문 중에서, 술부에 관한 인수가 누락되어 있는 것이 있으면 이들을 필터링하고, 그 이외의 것을 출력하는 제 2 필터 처리부(178)와, 인과 관계 표현의 원인 부분으로부터 예상 응답을 생성하기 위한 변형 규칙을 기억한 규칙 기억부(182)와, 제 2 필터 처리부(178)가 출력하는 질문이 얻어진 인과 관계 표현의 원인 부분에 규칙 기억부(182)에 기억된 변형 규칙을 적용해서 상기 질문에 대한 예상 응답을 생성하고, 질문과 세트로 해서 질문·예상 응답 기억부(76)에 격납하는 예상 응답 생성부(180)를 포함한다.
도 4에 나타내는 제 2 필터 처리부(178)에 의한 처리는 기계학습에 의한 판별기를 이용하여 행한다. 도 5를 참조해서, 이 제 2 필터 처리부(178)를 위한 학습은 제 2 필터 학습부(202)에 의해 행해진다. 이 학습을 위해서, 정례 학습 데이터 기억부(200)에 자기 완결되어 있는 「왜형 질문」의 예를 정례로서 기억시킨다. 본 실시형태에서는 9,500개의 「왜형 질문」을 수작업으로 준비했다. 제 2 필터 처리부(178)는 SVM-Light(T. Joachims. 1999. Making large-scale SVM learning practical. In B. Schoelkopf, C. Burges, and A. Smola, editors, Advances in Kernel Methods-Support Vector Learning, chapter 11, pages 169-184. MIT Press, Cambridge, MA.)에 구현되어 있는 서브셋 트리 커널을 사용했다. 이 서브셋 트리 커널의 학습을 이하의 트리 및 벡터의 조합을 이용하여 행했다.
·구구조 트리의 서브셋 트리
·명사를 대응하는 단어 클래스로 치환한 서브셋 트리
·형태소 및 POS 태그-n그램으로 나타낸 벡터
제 2 필터 학습부(202)는 정례 학습 데이터 기억부(200)에 기억된 정례 학습 데이터의 각 질문문에 있어서, 주어 또는 목적어, 또는 그 쌍방을 삭제함으로써 자동적으로 부례의 학습 데이터를 생성하는 부례 학습 데이터 생성부(220)와, 부례 학습 데이터 생성부(220)에 의해 생성된 부례 학습 데이터를 기억하는 부례 학습 데이터 기억부(222)와, 정례 학습 데이터 기억부(200)에 기억된 정례 및 부례 학습 데이터 기억부(222)에 기억된 부례를 머지하고, 각 질문문으로부터 소정의 특징량을 추출해서 정례·부례의 라벨을 붙임으로써 학습 데이터 세트를 생성하는 학습 데이터 생성부(224)와, 학습 데이터 생성부(224)에 생성된 학습 데이터를 기억하는 학습 데이터 기억부(226)와, 학습 데이터 기억부(226)에 기억된 학습 데이터를 이용하여 제 2 필터 처리부(178)의 학습을 행하는 학습 처리부(228)를 포함한다. 본 실시형태에서는 9,500개의 정례 학습 데이터로부터 16,094개의 부례 학습 데이터를 생성했다. 따라서 학습 데이터는 합계 25,594개가 되었다.
학습 데이터 생성부(224)에 의한 학습 데이터의 생성은 각 질문문의 의존 구조 해석을 일본어 의존 구조 해석툴(J. DepP)에 의해 행하고, 얻어진 의존 구조 트리를 구구조 트리로 변환해서 행했다. 이 변환에는 이하와 같은 간단한 규칙을 사용했다. 의존 구조 트리에 있어서, 각 어절의 주요어가 명사이면 NP(명사구)를, 동사 또는 형용사이면 VP를, 그 이외이면 OP를 의존 구조 트리 상의 각 어절의 메인 노드로서 각각 추가함으로써 구구조 트리로 변환했다. 이 구구조 트리로부터 상기 서브셋 트리의 소성을 추출했다.
다시 도 2를 참조해서, 도 2에 나타내는 반복 제어부(110)의 기능에 대해서 설명한다. 반복 제어부(110)는 도 2의 질문 발행부(100), 응답 후보 필터부(102), 응답 후보 판정부(104), 학습 데이터 생성·라벨링부(106), 및 학습 데이터 선택부(108)에 의한 처리를 소정의 종료 조건이 충족될 때까지 반복 실행하는 기능을 갖는다. 반복 제어부(110)는 컴퓨터 하드웨어와 컴퓨터 소프트웨어에 의해 실현 가능하다.
도 6을 참조해서, 반복 제어부(110)를 실현하는 프로그램은 기동 후, 메모리 영역의 확보, 오브젝트의 생성 등의 준비처리를 행하는 스텝 250과, 반복 제어 변수(i)에 0를 대입하는 스텝 252과, 변수(i)에 관한 종료 조건이 성립할 때까지(구체적으로는 변수(i)가 미리 정해진 상한수에 도달할 때까지), 이하의 처리(256)를 반복해서 실행하는 스텝 254을 포함한다. 또한, 이하의 설명에서는 반복의 i회째의 데이터인 것을 나타내기 위해서, 각 기호의 우측 어깨에 소문자 i를 붙인다.
또, 이하의 설명에서는, 질문 발행부(100)로부터 왜형 질의 응답 시스템(60)에 대해서 주어지는 질문을 q, 그 질문(q)에 대한 예상 응답을 e, 그 질문(q)에 대해서 왜형 질의 응답 시스템(60)으로부터 되돌아오는 복수의 응답 후보(구체적으로는 20개)가 있고, 이들을 응답 후보(pj)(j=1∼20)로 한다. 각 응답 후보에는 랭킹부(122)에 의한 랭킹의 스코어(s)가 부착되어 있다. 랭킹부(122)는 본 실시형태에서는 SVM에 의해 실현되어 있다. 따라서 스코어(s)의 절대값은 SVM의 식별 경계로부터 응답 후보까지의 거리를 나타낸다. 이 거리가 가까우면(스코어의 절대값이 작으면) 응답의 신뢰도가 낮고, 멀면(스코어의 절대값이 크면) 신뢰도가 높다. 질문(q)과 응답 후보(pj)로 이루어지는 페어 중에서 스코어(s)가 최대의 페어를 (q', p')로 나타낸다. 또한 반복의 i번째의 학습 데이터를 Li로 나타내고, 그 학습 데이터 Li에 의해 학습한 랭킹부(122)의 분류기를 ci로 나타낸다. 아직 정례, 부례의 라벨이 부착되어 있지 않은 이러한 페어를 라벨 없음 페어라고 부른다.
처리 256은 학습 처리부(66)가 도 2에 나타내는 학습 데이터 기억부(64)에 기억된 학습 데이터 Li로 도 2에 나타내는 랭킹부(122)의 분류기(ci)의 학습을 행하는 스텝 270을 포함한다. 처리 256은 또한, 스텝 270 후, 질문·예상 응답 기억부(76)에 격납된 각 질문문을 응답 후보 검색부(120)에 주고, 그 결과, 랭킹부(122)로부터 보내져 오는 응답에 의해, 질문과 응답 후보로 이루어지는 라벨 없음 페어 중, 학습 데이터로서 적절한 일부의 페어에 정례·부례의 라벨링을 붙이는 스텝 272를 포함한다. 스텝 272의 처리 내용에 대해서는 도 7을 참조해서 후술한다.
1개의 질문(q)에 대해서 복수개(본 실시형태에서는 20개)의 응답 후보가 랭킹부(122)로부터 응답 후보 필터부(102)에 송신되어 온다. 질문(q) 및 예상 응답(e)에 추가해서 랭킹부(122)로부터의 응답 후보(pj)(j=1∼20)로 이루어지는 3개 세트(q, e, pj)를 U로 나타내고, 1개의 질문(q)에 대해서 스텝 272의 처리에 의해 얻어진 데이터의 집합을 LU i로 하면, LU i=Label(ci, U)라고 나타낼 수 있다. 스텝 272에서는 이 처리를 질문·예상 응답 기억부(76)에 기억된 모든 질문·예상 응답 페어에 대해서 실행한다.
처리 256은 또한, 모든 질문에 대해서 스텝 272에 의해 얻어진 모든 라벨링후의 페어(LU i) 중, 그 스코어가 상위인 K개의 페어를 학습 데이터(Li)에 추가해서 새로운 학습 데이터(Li+1)를 생성하는 스텝 274와, 변수(i)의 값에 1을 가산해서 처리 256을 종료하는 스텝 276을 포함한다.
도 7을 참조해서, 도 6에 나타내는 스텝 272를 실현하는 프로그램은, 질문 발행부(100)로부터 왜형 질의 응답 시스템(60)에 대해서 준 질문(q)과, 그 질문(q)에 대해서 왜형 질의 응답 시스템(60)으로부터 송신되어 온 20개의 응답 후보(pj)의 각각으로 이루어지는 라벨 없음 페어(q, pj) 중, 스코어(s)가 최대의 페어(q', p')를 선택하는 스텝 300과, 스텝 300에서 선택된 페어(q', p')의 스코어(s)의 절대값이 소정의 임계값(α(>0))보다 작은지 아닌지를 판정하고, 판정이 부정이면 아무것도 하지 않고 이 루틴의 실행을 종료하는 스텝 302를 포함한다. 이렇게, 본 실시형태에서는 응답 후보 중에서 스코어(s)가 가장 크고, 또한 그 값이 임계값(α) 미만인 것에 대해서는 현재의 왜형 질의 응답 시스템(60)에 의한 응답에 신뢰를 둘 수 없다고 판단하여 그 예에 관한 학습 데이터를 추가하기로 한다.
이 프로그램은 또한, 스텝 302의 판정이 긍정일 때에, 응답 후보(p')가 질문(q')이 얻어진 본래의 인과 관계 표현을 포함하는지 아닌지를 판정하고, 판정이 긍정이면 이 루틴의 실행을 종료하는 스텝 304와, 스텝 304의 판정이 부정일 때에 페어(q', p')가 현재의 학습 데이터 중에 있는지 아닌지 판정하고, 판정이 긍정이라면 이 루틴의 실행을 종료하는 스텝 306을 포함한다. 스텝 304의 판정은 인과 관계 표현이 얻어진 패시지에 과대한 바이어스가 가해지지 않도록 하기 위해서이다. 스텝 306의 판정은 같은 예가 학습 데이터에 가해지지 않도록 하기 위해서이다.
이 프로그램은 또한, 스텝 306의 판정이 부정일 때에 응답 후보(p')와, 질문(q')에 대한 예상 응답(e') 사이의 중복 어휘량(W1), 및 응답 후보(p')와 질문(q') 사이의 중복 어휘량(W2)을 산출하는 스텝 308과, 스텝 308에서 산출된 중복 어휘량(W1 및 W2)이 모두 소정의 임계값(a)보다 큰지 아닌지를 판정하고, 판정 결과에 의해 제어의 흐름을 분기시키는 스텝 310과, 스텝 310의 판정이 긍정일 때에, 페어(q', p')에 정례를 나타내는 라벨을 붙여서 추가 학습 데이터로서 출력하고, 이 루틴의 실행을 종료하는 스텝 312와, 스텝 310의 판정이 부정일 때에, 중복 어휘량(W1 및 W2)이 모두 소정의 임계값(b)(b<a)보다 작은지 아닌지를 판정하고, 판정 결과에 의해 제어의 흐름을 분기시키는 스텝 311과, 스텝 311의 판정이 긍정일 때에, 페어(q', p')에 부례를 나타내는 라벨을 부착해서 추가 학습 데이터로서 출력하고, 이 루틴의 실행을 종료하는 스텝 314를 포함한다. 스텝 311의 판정이 부정일 때에는 아무것도 하지 않고, 이 루틴은 종료한다.
예상 응답(e')은 질문(q')이 얻어진 인과 관계 표현의 원인 부분으로부터 얻어진 것이다. 따라서, 예상 응답(e')은 질문(q')의 응답으로서 어울리는 것이라고 생각된다. 만일 예상 응답(e')과 응답 후보(p')의 중복 어휘량이 큰 경우에는, 응답 후보(p')는 질문(q')에 대한 응답으로서 어울린다고 생각된다. 일반적으로, 예상 응답(e)과 응답 후보(p) 사이의 중복 어휘량(Tm(e, p))은 이하의 식에 의해 산출된다.
Figure 112018018186490-pct00001
여기에서, T(x)는 문장(x)에 포함되는 내용어(명사, 동사, 형용사)로 이루어지는 집합이며, S(p)는 응답 후보(p)를 구성하는 패시지 중의 연속하는 2문장으로 이루어지는 집합이다.
또, 상기 예에서는 스텝 310에 있어서, 중복 어휘량(W1 및 W2)에 대해서 같은 임계값(a)과 비교하고 있지만, 본 발명은 그러한 실시형태에는 한정되지 않는다. 중복 어휘량(W1과 W2)에 대해서 서로 다른 임계값과 비교하도록 해도 좋다. 스텝 311에 있어서 중복 어휘량(W1 및 W2)과 비교되는 임계값(b)에 대해서도 마찬가지이며, 서로 중복 어휘량(W1 및 W2)을 서로 다른 임계값과 비교하도록 해도 좋다.
또한 스텝 310 및 스텝 311에 있어서는, 2개의 조건이 모두 성립되어 있을 때에 전체로서 조건이 충족되어 있다고 판정했지만, 2개의 조건 중 어느 하나가 성립되어 있으면 전체로서 조건이 충족되어 있다고 판정해도 좋다.
[동작]
이 훈련 시스템(50)은 이하와 같이 동작한다. 도 2를 참조해서, 미리 웹 코퍼스 기억부(68)에 다수의 문서를 수집해 둔다. 응답 후보 검색부(120)는 주어진 각 질문에 어울리다고 생각되는 응답 후보인 패시지를 웹 코퍼스 기억부(68)로부터 tf-idf에 의해 랭킹해서 tf-idf가 상위의 소정 개수(본 실시형태(s)에서는 1200개)만 추출하고, 랭킹부(122)에 준다. 학습 데이터 기억부(64)에는 초기의 학습 데이터가 준비되어 있다. 인과 관계 표현 추출부(70)가 웹 코퍼스 기억부(68)로부터 다수의 인과 관계 표현을 추출하고, 인과 관계 표현 기억부(72)에 격납한다. 질문·예상 응답 생성·추출부(74)가 인과 관계 표현 기억부(72)에 기억된 다수의 인과 관계 표현으로부터 질문과, 그 질문에 대한 예상 응답의 세트를 추출하고, 질문·예상 응답 기억부(76)에 격납한다.
도 4를 참조해서, 이 때, 질문·예상 응답 생성·추출부(74)는 이하와 같이 동작한다. 우선 도 4에 나타내는 보충 처리부(172)가 인과 관계 표현 기억부(72)에 기억된 인과 관계 표현의 각각에 대해서 조응 관계, 생략 등을 검출하고, 이들의 조응 관계, 생략어 등을 보완함으로써, 인과 관계 표현의 특히 결과부분에 부족한 부분(주어, 토픽 등)을 보충한다. 질문문 생성부(174)는 인과 관계 표현의 결과부분에 대해서 규칙 기억부(170)를 참조하고, 적절한 변형 규칙을 적용해서 왜형 질문문을 생성한다. 제 1 필터 처리부(176)는 질문문 생성부(174)에 의해 생성된 질문문 중, 대명사를 포함하는 것을 필터링하고, 그 이외의 것을 제 2 필터 처리부(178)에 출력한다. 제 2 필터 처리부(178)는 술부의 인수 중, 필수적인 것이 없는 질문을 필터링하고, 그 이외의 것을 예상 응답 생성부(180)에 준다. 예상 응답 생성부(180)는 제 2 필터 처리부(178)가 출력하는 질문이 얻어진 인과 관계 표현의 원인 부분에 규칙 기억부(182)에 기억된 변형 규칙을 적용해서 상기 질문에 대한 예상 응답을 생성하고, 질문과 세트로 해서 질문·예상 응답 기억부(76)에 격납한다.
또, 이것에 앞서, 도 5에 나타내는 제 2 필터 학습부(202)에 의해 제 2 필터 처리부(178)의 학습이 행해지고 있을 필요가 있다. 도 5를 참조해서, 부례 학습 데이터 생성부(220)는 정례 학습 데이터 기억부(200)에 기억된 정례 학습 데이터의 각 질문문에 있어서, 주어 또는 목적어, 또는 그 쌍방을 삭제함으로써 자동적으로 부례의 학습 데이터를 생성한다. 생성된 부례의 학습 데이터는 부례 학습 데이터 기억부(222)에 격납된다. 학습 데이터 생성부(224)는 정례 학습 데이터 기억부(200)에 기억된 정례와, 부례 학습 데이터 기억부(222)에 기억된 부례를 머지하고, 제 2 필터 처리부(178)를 위한 학습 데이터를 생성한다. 학습 데이터는 학습 데이터 기억부(226)에 기억된다. 학습 처리부(228)가 이 학습 데이터를 이용하여 제 2 필터 처리부(178)의 학습을 행한다.
이하, 왜형 질의 응답 시스템(60)의 랭킹부(122)의 훈련이 이하의 반복에 의해 행해진다.
도 2를 참조해서, 처음에, 반복 제어부(110)의 제어에 의해 학습 처리부(66)가 학습 데이터 기억부(64)에 기억된 초기의 학습 데이터를 이용하여 랭킹부(122)의 학습을 행한다. 다음에 반복 제어부(110)는 질문 발행부(100)를 제어해서 질문·예상 응답 기억부(76)에 격납된 질문(q)을 순차 선택하고, 응답 후보 검색부(120)에 준다. 응답 후보 검색부(120)는 주어진 각 질문에 어울리다고 생각되는 응답 후보인 패시지를 웹 코퍼스 기억부(68)로부터 tf-idf에 의해 랭킹하고, tf-idf가 상위의 소정 개수(본 실시형태에서는 1200개)만큼 추출하고, 랭킹부(122)에 준다. 랭킹부(122)는 각 패시지로부터 소정의 특징량을 추출하고, 학습 처리부(66)에 의한 학습이 행해진 분류기에 의해 스코어링하고, 상위 20개를 선택해서 스코어를 붙여서 응답 후보 필터부(102)에 송신한다.
응답 후보 필터부(102)는 응답 후보를 받으면, 질문·응답 후보의 페어(q, pj)(j=1∼20)부터 스코어(s)가 최상위의 응답 후보(p')를 포함하는 페어(q', p')를 선택하고(도 7, 스텝 300), 그 스코어가 임계값(α)보다 작지 않으면(스텝 302에서 NO) 이 페어는 파기해서 다음 질문에 대한 처리로 이동한다. 스코어가 임계값(α)보다 작으면(스텝 302로 YES), 다음에 응답 후보(p')가 질문(q')이 얻어진 인과 관계 표현을 포함하는지 아닌지를 판정한다(스텝 304). 판정이 긍정이라면(스텝 304로 YES), 이 질문에 대한 처리를 종료하고, 다음 질문의 처리로 이동한다. 판정이 부정(스텝 304에서 NO)이라면 스텝 306에서 페어(q', p')가 현재의 학습 데이터중에 있는지 아닌지를 판정한다. 판정이 긍정(스텝 306에서 YES)이라면 이 질문에 대한 처리를 종료해서 다음 질문에 대한 처리로 이동한다. 판정이 부정(스텝 306에서 NO)이라면, 스텝 308에서 응답 후보(p')와 예상 응답(e) 사이의 중복 어휘량(W1)을, 응답 후보(p')와 질문(q') 사이의 중복 어휘량(W2)을 식(1)에 의해 각각 산출한다.
계속해서, 스텝 310에서 중복 어휘량(W1 및 W2)이 모두 소정의 임계값(a)보다 큰지 아닌지를 판정한다. 판정이 긍정이라면, 페어(q', p')에 정례를 나타내는 라벨을 부착해서 추가 학습 데이터로서 출력한다. 판정이 부정이라면, 제어는 스텝 311로 진행된다. 스텝 311에서는 중복 어휘량(W1 및 W2)이 모두 소정의 임계값(b)(b<a)인지 아닌지를 판정한다. 판정이 긍정이라면 페어(q', p')에 부례를 나타내는 라벨을 부착해서 추가 학습 데이터로서 출력한다. 판정이 부정이라면 아무것도 하지 않고 이 처리를 종료한다.
이렇게 해서, 도 2의 질문·예상 응답 기억부(76)에 기억되어 있던 질문·예상 응답에 관한 처리가 종료되면, 학습 데이터 선택부(108)에는 훈련 장치(62)에 의해 선택된 새로운 학습 데이터가 정례·부례의 라벨과 함께 기억되어 있다. 학습 데이터 선택부(108)는 이들 새로운 학습 데이터 중, 스코어가 상위인 K개를 선택해서 학습 데이터 기억부(64)에 추가한다.
반복 제어부(110)는 반복 변수(i)에 1을 더해서(도 6의 스텝 276), 종료조건이 충족되어 있는지 아닌지를 판정한다. 종료조건이 충족되어 있지 않으면 다시 학습 데이터 기억부(64)에 기억된 갱신후의 학습 데이터를 이용하여, 반복 제어부(110)의 제어에 의해 학습 처리부(66)가 랭킹부(122)의 학습을 실행한다. 이에 따라 랭킹부(122)의 분류기는 인과 관계 표현 기억부(72)에 기억된 인과 관계 표현 을 이용하여 얻어진 학습 데이터에 의한 학습으로 강화되게 된다.
반복의 종료조건이 충족됨으로써 이상의 반복이 종료되고, 인과 관계 표현 기억부(72)에 기억된 인과 관계를 이용하여 얻은 학습 데이터로 강화된 랭킹부(122)가 얻어지고, 그 결과, 왜형 질의 응답 시스템(60)에 의한 응답의 정확도가 높아진다.
[실험]
상기 실시형태의 효과를 확인하기 위해서, 850개의 일본어 왜형 질문과, 이들 질문에 대해서 6억건의 일본어 웹페이지로부터 추출한 상위 20개의 응답 후보 패시지로 이루어지는 실험 세트를 준비했다. 이 실험 세트는 Murata 등(Masaki Murata, Sachiyo Tsukawaki, Toshiyuki Kanamaru, Qing Ma, and Hitoshi Isahara. 2007. A system for answering non-factoid Japanese questions by using passage retrieval weighted based on type of answer. In Proceedings of NTCIR-6.)에 의해 제안된 질의 응답 시스템에 의해 얻은 것이다. 이들 각각에 대해서, 옳은 질문-응답 페어인지 아닌지를 수작업으로 확인했다. 실험에서는 이 실험 세트를 학습 세트, 개발 세트, 및 테스트 데이터 세트로 분할했다. 학습 세트는 15,000개의 질문-응답 페어로 이루어진다. 나머지의 2,000개의 실험 데이터는 100개의 질문과, 이들에 대한 응답(각 20개)으로 이루어지고, 개발 세트와 테스트 세트로 이등분했다.
상기 학습 데이터를 초기 학습 데이터로서 사용해서 랭킹부(122)의 반복 학습을 행했다. 개발 세트는 임계값(α), 중복 어휘량의 임계값(β), 또한, 반복마다 학습 데이터에 추가되는 새로운 데이터수(K)를 결정하기 위해서 사용했다. α∈{0.2,0.3,0.4}, β∈{0.6,0.7,0.8}, 및 K∈{150,300,450}을 만족하는 α, β 및 K의 조합에 대해서, 개발 데이터로 실험을 하고, 그 결과, α=0.3, β=0.7, K=150의 조합에서 가장 좋은 결과가 얻어졌다. 이하에 서술하는 실험에서는 이 α, β 및 K의 값의 조합을 사용하고 있다. 반복 횟수는 40으로 설정했다. 이것은 개발 세트에 대한 상기 α, β 및 K의 조합에 의한 학습 데이터가 이 반복 횟수의 부근에서 수속되었기 때문이다. 평가는 테스트 세트를 사용해서 행했다.
실험에서는 20억건의 문서를 기억한 웹 코퍼스로부터 자동적으로 추출된 6억5,600만건의 인과 관계 표현을 기초로 그 60분의 1에 해당되는 1,100만의 인과 관계 표현을 선택했다. 이것들로부터 자기 완결형의 질문과 그 예상 응답의 조합을 선택했다. 그 수는 56,775개였다. 이것들의 질문을 왜형 질의 응답 시스템(60)에 입력하고, 각 질문에 대해서 20개의 상위 응답 후보를 받고, 이것들을 이용하여 라벨 없음의 질문-응답 후보 페어(라벨 없음 페어)를 생성했다.
비교를 위해서, 처음에 상기한 1,100만의 인과 관계 표현으로부터 랜덤으로 10만개의 인과 관계 표현을 추출했다. 이들 전부로부터 질문을 생성해서 라벨 없음 페어를 전부 생성해서 사용했다.
이들 2개의 타입을 USC(자기완결형의 질문만으로부터 생성한 라벨 없음 페어) 및 UAll(자기완결형 이외도 포함하는 질문으로부터 생성한 라벨 없음 페어)라고 불러서 서로 구별한다. |USC|=514,674, |UAll|=1,548,998, |USC∩UAll|=17,844이다.
비교 결과를 다음 표에 나타낸다.
Figure 112018018186490-pct00002
OH는 초기 학습 데이터에 의한 학습을 행한 것이다.
AtOnce는 실시형태의 제1회째의 반복으로 얻어진 모든 라벨이 부착된 데이터를 학습 데이터에 추가했을 때의 성능을 나타낸다. 이 결과와 후술의 Ours(USC)를 비교함으로써, 반복의 효과가 명확해진다.
Ours(UAll)는 상기 실시형태의 변형예에서 상술한 UAll을 라벨 없음 페어로서 사용한 것이다. Ours(USC)를 비교함으로써, 본 실시형태에 있어서 자기완결형의 질문만을 사용하는 것에 의한 효율 좋음을 알 수 있다.
Ours(USC)는 상기 실시형태에 의한 것이다.
UpperBound는 모든 질문에 대해서 n개의 옳은 응답이 테스트 세트 중에 있기만 하면, 상위 n개의 응답 후보 중에 반드시 옳은 응답이 얻어지는 시스템이다. 이 결과는 본 실험의 성능의 상한을 나타내는 것이다. UpperBound를 제외한 모든 시스템에 있어서, 분류기의 학습을 행하기 위해서, 선형 커널의 TinySVM을 사용했다. 평가는 최상위 응답의 정확도(P＠1) 및 Mean average precision(MAP)을 이용하여 행한다. P＠1은 시스템에 의한 최상위 응답 중에서 어느 정도의 수의 정답이 얻어지는지를 나타낸다. Mean average precision은 시스템에 의해 출력된 상위 20건의 응답에 대한 전체의 품질을 나타낸다.
표 1은 그 평가의 결과를 나타낸다. 표 1에 의하면, AtOnce도 Ours(UAll)도 OH를 상회하는 결과를 나타낼 수는 없었다. 본 발명의 실시형태에 따른 결과(Ours(USC))에서는 P＠1에서도 MAP에서도 안정되고 OH보다 좋은 결과를 나타냈다. 이 결과는, 상기 실시형태에 있어서의 반복의 결과가 성능 향상에 중요한 것, 자기완결형의 질문문만을 사용하는 것이 성능 향상에 중요한 것을 나타내고 있다. 또한, Ours(USC)의 P＠1의 결과를 UpperBound와 비교하면, 75.7%라는 값을 나타내고 있는 것을 알 수 있다. 이에 따라 웹으로부터 적어도 1개의 옳은 대답을 인출할 수 있는 응답 검색 모듈이 있으면, 상기 실시형태에 의해 높은 정확도로 왜형 질문에 대해서 옳은 응답을 찾을 수 있다고 생각된다.
도 8에, Ours(UAll)와 Ours(USC)의 반복 횟수와 정확도의 관계를 반복 횟수=0∼50의 범위로 나타낸다. 본원 실시형태에 따른 Ours(USC)에서는 50회의 반복 학습 후, P＠1(그래프(350))과 MAP(그래프(360))에 있어서 정확도는 각각 50%와 49.2%에 달했다. P＠1의 경우, 38회로 수속했다. Ours(UAll)(P＠1은 그래프(362), MAP은 그래프(364)로 나타낸다.)는 처음 단계의 몇회인가의 반복에서는 Ours(USC)보다 높은 성능을 나타냈지만, 반복이 많아짐에 따라, 상대적으로는 성능은 낮아졌다. 이것은 자기완결형의 질문 이외의 질문이 노이즈로서 성능에 악영향을 미친 것이라고 생각된다.
Figure 112018018186490-pct00003
또한, 상기 본 발명의 실시형태에 따른 장치에서 학습한 질의 응답 시스템(Ours(USC))과, 초기 학습 데이터만을 이용하여 학습한 질의 응답 시스템(OH)의 성능비교를 행했다. 학습의 대상은 어느 경우나 질의 응답 시스템의 랭킹부(122)의 분류기이다. 실험에서는 개발 세트의 100개의 질문의 각각에 대해서 톱 5의 응답 패시지를 얻도록 했다. 3명의 평가자가 이들 질문-응답의 페어를 체크해서 다수결에 의해 그 정오를 판정했다. 평가는 P＠1, P＠3, 및 P＠5로 행했다. 여기에서 P＠N이란 톱 N개의 응답 후보 중에 옳은 응답이 있는 율을 가리킨다. 표 2에 그 결과를 나타낸다.
표 2의 결과로부터, 본 발명의 실시형태에 의하면, P＠1, P＠3, 및 P＠5 어느 것이나 OH에 의해 얻어진 것보다 좋은 결과를 나타내는 것을 알 수 있다.
[실시형태의 효과]
이상과 같이 본 실시형태에 의하면, 웹 코퍼스 기억부(68)에 기억된 대량의 문서로부터 다수의 인과 관계 표현을 추출한다. 이 인과 관계 표현으로부터 다수의 질문(q)과 예상 응답(e)의 페어를 선택한다. 선택한 페어 중 질문(q)을 왜형 질의 응답 시스템(60)에 주고, 왜형 질의 응답 시스템(60)으로부터 질문에 대한 응답 후보(p)를 복수개 받는다(p1∼p20). 각 응답 후보(pj)에는 본 시스템의 훈련 대상인 랭킹부(122)의 분류기에 의한 스코어(s)가 붙여져 있다. 스코어(s)가 가장 높은 응답 후보와 질문의 페어(q', p')를 선택하고, 그 페어가 이하의 조건을 만족시킬 때만 그 응답 후보를 채용한다.
(1)응답 후보(p')의 스코어(s)가 임계값(α)(>0) 미만이다.
(2) 그 응답 후보(p')가 질문(q')이 얻어진 인과 관계 표현을 포함하지 않는다.
(3)페어(q', p')가 현재의 학습 데이터 중에 없다.
이러한 조건을 충족하는 페어(q', p') 중, 중복 어휘량의 스코어가 상위의 K개만을 학습 데이터에 추가한다. 이 때, 질문(q')에 대한 예상 응답(e')과 응답 후보(p')의 중복 어휘량에 의거하여 그 페어가 정례인지 아닌지를 판정하고, 그 결과에 따라, 학습 데이터에 정례 또는 부례를 나타내는 플래그를 붙인다. 따라서, 학습 데이터에는 원래의 랭킹부(122)에 의한 판정의 신뢰도가 낮았던 데이터가 중점적으로 추가된다. 이러한 학습을 얻어진 인과 관계 표현 전체에 대해서 소정 횟수 반복함으로써, 신뢰도가 낮았던 부분에 관한 학습 데이터를 확충할 수 있다. 또한, 질의 응답 시스템의 분류기의 초기 학습 데이터는 수작업으로 준비할 필요가 있지만, 추가해야 할 학습 데이터를 수작업으로 준비할 필요가 없고, 낮은 비용으로 대량의 학습 데이터를 효율적으로 작성할 수 있다. 그 결과, 이 학습 데이터에 의해 학습된 랭킹부(122)의 분류기의 정확도를 수작업을 가능한 한 통하지 않고 높일 수 있다.
또, 상기한 실시형태에서는 질문·예상 응답 기억부(76)에는 웹 코퍼스 기억부(68)에 기억된 대량의 문서로부터 추출한 인과 관계로부터 자동적으로 작성한 질문과 예상 응답의 페어가 기억되어 있다. 그러나, 본 발명은 그러한 실시형태에는 한정되지 않는다. 질문·예상 응답 기억부(76)에 기억하는 질문과 예상 응답의 페어의 소스는 어떤 것이라도 좋다. 또한 자동적으로 생성한 것 뿐만 아니라, 수작업에 의해 작성한 질문과 예상 응답을 자동적으로 수집한 것과 함께 질문·예상 응답 기억부(76)에 기억하도록 해도 좋다.
또 상기 실시형태에서는 응답 후보 검색부(120)에 의한 반복은 반복수가 상한수에 도달했을 때에 종료하도록 하고 있다. 그러나 본 발명은 그러한 실시형태에는 한정되지 않는다. 예를 들면 학습 데이터 기억부(64)에 추가되는 새로운 학습 데이터가 없어진 시점에서 반복을 종료해도 좋다.
또한, 상기 실시형태에서는, 도 7의 스텝 300에서는 스코어가 최대의 페어를 1개만 선택하고 있다. 그러나 본 발명은 그러한 실시형태에는 한정되지 않는다. 스코어가 최대의 페어를 2개 이상의 소정 개수 선택하도록 해도 좋다. 이 경우에는, 스텝 302로부터 스텝 314의 처리를 각 페어에 대해서 각각 행하면 좋다.
[컴퓨터에 의한 실현]
상기 실시형태에 따른 훈련 장치(62)는 컴퓨터 하드웨어와, 그 컴퓨터 하드웨어 상에서 실행되는 컴퓨터 프로그램에 의해 실현할 수 있다. 도 9는 컴퓨터 시스템(930)의 내부 구성을 나타낸다.
도 9를 참조해서, 이 컴퓨터 시스템(930)은 메모리 포트(952) 및 DVD(Digital Versatile Disc) 드라이브(950)를 갖는 컴퓨터(940)와, 키보드(946)와, 마우스(948)와, 모니터(942)를 포함한다.
컴퓨터(940)는 메모리 포트(952) 및 DVD 드라이브(950)에 추가해서 CPU(중앙처리장치)(956)와, CPU(956), 메모리 포트(952) 및 DVD 드라이브(950)에 접속된 버스(966)와, 부트업 프로그램 등을 기억하는 판독 전용 메모리(ROM)(958)와, 버스(966)에 접속되고, 프로그램 명령, 시스템 프로그램, 및 작업 데이터 등을 기억하는 랜덤 액세스 메모리(RAM)(960)를 포함한다. 컴퓨터 시스템(930)은 또한, 타단말(예를 들면 도 2에 나타내는 왜형 질의 응답 시스템(60), 학습 데이터 기억부(64) 및 학습 처리부(66)를 실현하는 컴퓨터, 질문·예상 응답 기억부(76)를 실현하는 컴퓨터 등)과의 통신을 가능하게 하는 네트워크에의 접속을 제공하는 네트워크 인터페이스(I/F)(944)를 포함한다. 네트워크 I/F(944)는 인터넷(970)에 접속되어도 좋다.
컴퓨터 시스템(930)을 상기한 실시형태의 훈련 장치(62)를 구성하는 각 기능부로서 기능시키기 위한 컴퓨터 프로그램은 DVD 드라이브(950) 또는 메모리 포트(952)에 장착되는 DVD(962) 또는 리무버블 메모리(964)에 기억되고, 또한 하드 디스크(954)에 전송된다. 또는, 프로그램은 네트워크 I/F(944)를 통해서 컴퓨터(940)에 송신되어 하드 디스크(954)에 기억되어도 좋다. 프로그램은 실행일 때에 RAM(960)에 로드된다. DVD(962)로부터 리무버블 메모리(964)로부터, 또는 네트워크 I/F(944)를 통해 직접적으로 RAM(960)에 프로그램을 로드해도 좋다.
이 프로그램은 컴퓨터(940)를 상기 실시형태에 따른 훈련 장치(62)의 각 기능부로서 기능시키기 위한 복수의 명령을 포함한다. 이 동작을 행하게 하기 위해 필요한 기본적 기능의 몇개는 컴퓨터(940) 상에서 동작하는 오퍼레이팅 시스템(OS) 또는 써드 파티의 프로그램, 또는, 컴퓨터(940)에 인스톨되는 각종 프로그래밍 툴키트의 모듈에 의해 제공된다. 따라서, 이 프로그램은 이 실시형태에 따른 훈련 장치(62)를 실현하는데에 필요한 기능 전체를 반드시 포함하지 않아도 좋다. 이 프로그램은 명령 중 소망의 결과가 얻어지도록 제어된 방식으로 적절한 기능 또는 프로그래밍 툴키트 내의 적절한 프로그램 툴을 호출함으로써 상기한 시스템으로서의 기능을 실현하는 명령만을 포함하고 있으면 된다. 컴퓨터 시스템(930)의 동작은 주지이다. 따라서 여기에서는 반복하지 않는다.
이번 개시된 실시형태는 단지 예시이며, 본 발명이 상기한 실시형태에만 제한되는 것은 아니다. 본 발명의 범위는 발명의 상세한 설명의 기재를 참작한 후에 청구범위의 각 청구항에 의해 나타내어지며, 그것에 기재된 문언과 균등한 의미 및 범위내에서의 모든 변경을 포함한다.
본 발명은 왜형 질문에 대한 응답을 제공함으로써, 연구, 학습, 교육, 취미, 생산, 정치, 경제 등에 관여하는 기업 및 개인에게 공헌하는 질의 응답 서비스의 제공에 적용할 수 있다.
50: 훈련 시스템
60: 왜형 질의 응답 시스템
62: 훈련 장치
64: 학습 데이터 기억부
66: 학습 처리부
68: 웹 코퍼스 기억부
70: 인과 관계 표현 추출부
72: 인과 관계 표현 기억부
74: 질문·예상 응답 생성·추출부
76: 질문·예상 응답 기억부
100: 질문 발행부
102: 응답 후보 필터부
104: 응답 후보 판정부
106: 학습 데이터 생성·라벨링부
108: 학습 데이터 선택부
110: 반복 제어부
120: 응답 후보 검색부
122: 랭킹부

Claims (6)

  1. 복수의 인과 관계 표현을 기억하는 인과 관계 표현 기억 수단,
    상기 인과 관계 표현 기억 수단에 기억된 동일한 인과 관계 표현으로부터 추출된 질문과 그 질문에 대한 예상 응답의 세트를 복수 기억한 질문 및 예상 응답 기억 수단, 및, 질문을 받으면 상기 질문에 대한 복수의 응답 후보를 스코어를 붙여서 출력하는 질의 응답 시스템과 함께 사용되고, 상기 질의 응답 시스템내의 응답 후보의 스코어 부착을 행하는 분류기의 성능을 향상시키기 위한 훈련 장치로서,
    상기 훈련 장치는 또한, 상기 질의 응답 시스템의 상기 분류기를 위한 학습 데이터를 기억하기 위한 학습 데이터 기억 수단을 구비한 학습 장치와 함께 사용되고,
    상기 훈련 장치는,
    상기 학습 데이터 기억 수단에 기억된 학습 데이터를 이용하여 상기 분류기의 학습을 행하도록 상기 학습 장치를 제어하는 학습 장치 제어 수단과,
    상기 질문 및 예상 응답 기억 수단에 기억된 질문을 발행해서 상기 질의 응답 시스템에 주는 질문 발행 수단과,
    상기 질문 발행 수단이 발행한 질문에 대해서 상기 질의 응답 시스템으로부터 스코어와 함께 출력되는 복수의 응답 후보의 각각과, 상기 질문의 페어로부터 상기 질의 응답 시스템의 상기 분류기의 학습 데이터를 생성해서 상기 학습 데이터 기억 수단에 추가하는 학습 데이터 추가 수단과,
    상기 학습 장치 제어 수단에 의한 상기 학습 장치의 제어와, 상기 질문 발행 수단에 의한 질문의 발행과, 상기 학습 데이터 추가 수단에 의한 상기 학습 데이터의 추가를, 소정의 종료 조건이 성립할 때까지 복수의 횟수만큼 반복해서 실행하도록 상기 학습 장치 제어 수단, 상기 질문 발행 수단, 및 상기 학습 데이터 추가 수단을 제어하는 반복 제어 수단을 포함하는 질의 응답 시스템의 훈련 장치.
  2. 제 1 항에 있어서,
    상기 학습 데이터 추가 수단은,
    상기 질문 발행 수단이 발행한 질문에 대해서 상기 질의 응답 시스템으로부터 스코어와 함께 출력되는 복수의 응답 후보 중, 상기 스코어의 절대값이 양의 제 1 임계값보다 작고, 또한 상기 스코어가 상위의 소정 개수의 응답 후보를 선택하는 응답 후보 선택 수단과,
    상기 응답 후보 선택 수단에 의해 선택된 상기 소정 개수의 응답 후보의 각각과, 상기 질문에 대응하는 상기 예상 응답 사이의 일치도를 산출하고, 상기 일치도가 제 2 임계값보다 큰지 아닌지에 따라서, 상기 응답 후보와 상기 질문에 정례 또는 부례의 라벨을 붙여서 학습 데이터 후보를 생성하는 학습 데이터 후보 생성 수단과,
    상기 학습 데이터 후보 생성 수단에 의해 생성된 학습 데이터 후보를 새로운 학습 데이터로서 상기 학습 데이터 기억 수단에 추가하는 수단을 포함하는 질의 응답 시스템의 훈련 장치.
  3. 제 2 항에 있어서,
    상기 학습 데이터 추가 수단은 또한, 상기 응답 후보 선택 수단의 출력과 상기 학습 데이터 후보 생성 수단의 입력 사이에 설치되고, 상기 응답 후보 선택 수단에 의해 선택된 응답 후보 중, 상기 응답 후보의 시초가 된 질문이 얻어진 인과 관계 표현으로부터 얻어진 것을 파기하는 제 1 응답 후보 파기 수단을 포함하는 질의 응답 시스템의 훈련 장치.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 학습 데이터 추가 수단은 또한, 상기 응답 후보 선택 수단의 출력과 상기 학습 데이터 후보 생성 수단의 입력 사이에 설치되고, 상기 응답 후보 선택 수단에 의해 선택된 응답 후보와 상기 질문의 페어 중, 상기 학습 데이터 기억 수단에 기억된 것과 일치하는 것을 삭제하는 제 2 응답 후보 파기 수단을 포함하는 질의 응답 시스템의 훈련 장치.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 질의 응답 시스템은 복수의 문장으로 이루어지는 패시지로서, 인과 관계 표현의 추출을 행할 때에 단서가 되는 구를 적어도 1개 포함하는 패시지의 집합으로부터 응답 후보를 추출하는 질의 응답 시스템의 훈련 장치.
  6. 복수의 인과 관계 표현을 기억하는 인과 관계 표현 기억 수단,
    상기 인과 관계 표현 기억 수단에 기억된 동일한 인과 관계 표현으로부터 추출된 질문과 그 질문에 대한 예상 응답의 세트를 복수 기억한 질문 및 예상 응답 기억 수단, 및, 질문을 받으면 상기 질문에 대한 복수의 응답 후보를 스코어를 붙여서 출력하는 질의 응답 시스템과 함께 사용되고, 상기 질의 응답 시스템내의 기계학습에 의한 분류기의 성능을 향상시키기 위한 질의 응답 시스템의 훈련 장치로서 컴퓨터를 기능시키는 컴퓨터 프로그램으로서,
    상기 훈련 장치는 또한, 상기 질의 응답 시스템의 상기 분류기의 학습을 행하기 위한 학습 데이터 기억 수단을 구비한 학습 장치와 함께 사용되고,
    상기 세트를 형성하는 질문과 예상 응답은 같은 인과 관계 표현으로부터 생성된 것이며,
    상기 컴퓨터 프로그램은 제 1 항 내지 제 3 항 중 어느 한 항에 기재된 훈련 장치를 구성하는 각 수단으로서 컴퓨터를 기능시키기 위한 매체에 저장된 컴퓨터 프로그램.
KR1020187005104A 2015-08-31 2016-08-26 질의 응답 시스템의 훈련 장치 및 그것을 위한 컴퓨터 프로그램 KR102640564B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2015-170923 2015-08-31
JP2015170923A JP6618735B2 (ja) 2015-08-31 2015-08-31 質問応答システムの訓練装置及びそのためのコンピュータプログラム
PCT/JP2016/074903 WO2017038657A1 (ja) 2015-08-31 2016-08-26 質問応答システムの訓練装置及びそのためのコンピュータプログラム

Publications (2)

Publication Number Publication Date
KR20180048624A KR20180048624A (ko) 2018-05-10
KR102640564B1 true KR102640564B1 (ko) 2024-02-26

Family

ID=58188883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187005104A KR102640564B1 (ko) 2015-08-31 2016-08-26 질의 응답 시스템의 훈련 장치 및 그것을 위한 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US20180246953A1 (ko)
EP (1) EP3346394A4 (ko)
JP (1) JP6618735B2 (ko)
KR (1) KR102640564B1 (ko)
CN (1) CN107949841B (ko)
WO (1) WO2017038657A1 (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902330B2 (en) * 2016-06-21 2021-01-26 International Business Machines Corporation Cognitive question answering pipeline calibrating
JP6767042B2 (ja) * 2016-09-26 2020-10-14 国立研究開発法人情報通信研究機構 シナリオパッセージ分類器、シナリオ分類器、及びそのためのコンピュータプログラム
US10699215B2 (en) * 2016-11-16 2020-06-30 International Business Machines Corporation Self-training of question answering system using question profiles
CN107193882B (zh) * 2017-04-27 2020-11-20 东南大学 RDF数据上基于图匹配的why-not查询回答方法
JP2019020893A (ja) 2017-07-13 2019-02-07 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答装置
JP6506360B2 (ja) * 2017-08-24 2019-04-24 三菱電機インフォメーションシステムズ株式会社 教師データを生成する方法、学習済みモデルを生成する方法、学習済みモデル、コンピュータおよびプログラム
MX2018011305A (es) * 2017-09-18 2019-07-04 Tata Consultancy Services Ltd Técnicas para corregir el desvío de entrenamiento lingüístico en los datos de entrenamiento.
JP7009911B2 (ja) * 2017-10-26 2022-01-26 富士通株式会社 回答出力プログラム、回答出力方法および情報処理装置
KR102100951B1 (ko) * 2017-11-16 2020-04-14 주식회사 마인즈랩 기계 독해를 위한 질의응답 데이터 생성 시스템
CN108170749B (zh) * 2017-12-21 2021-06-11 北京百度网讯科技有限公司 基于人工智能的对话方法、装置及计算机可读介质
JP2019133229A (ja) * 2018-01-29 2019-08-08 国立研究開発法人情報通信研究機構 質問応答システムの訓練データの作成方法及び質問応答システムの訓練方法
JP7052395B2 (ja) * 2018-02-13 2022-04-12 富士通株式会社 学習プログラム、学習方法および学習装置
JP7126843B2 (ja) * 2018-03-29 2022-08-29 エヌ・ティ・ティ・データ先端技術株式会社 学習対象抽出装置、学習対象抽出方法及び学習対象抽出プログラム
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US10978056B1 (en) * 2018-04-20 2021-04-13 Facebook, Inc. Grammaticality classification for natural language generation in assistant systems
WO2019208161A1 (ja) * 2018-04-25 2019-10-31 日本電信電話株式会社 拡張なりきり発話組生成装置、対話装置、これらの方法及びプログラム
KR102329290B1 (ko) * 2018-05-31 2021-11-22 주식회사 마인즈랩 구조화된 학습 데이터의 전처리 방법 및 이를 이용한 인공 신경망 학습 방법
WO2019235103A1 (ja) * 2018-06-07 2019-12-12 日本電信電話株式会社 質問生成装置、質問生成方法及びプログラム
JP7087938B2 (ja) * 2018-06-07 2022-06-21 日本電信電話株式会社 質問生成装置、質問生成方法及びプログラム
WO2019244803A1 (ja) * 2018-06-18 2019-12-26 日本電信電話株式会社 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム
US10678822B2 (en) * 2018-06-29 2020-06-09 International Business Machines Corporation Query expansion using a graph of question and answer vocabulary
CN109376249B (zh) * 2018-09-07 2021-11-30 桂林电子科技大学 一种基于自适应负采样的知识图谱嵌入方法
CN113535915A (zh) * 2018-09-28 2021-10-22 北京百度网讯科技有限公司 用于扩充数据集的方法
WO2020122290A1 (ko) * 2018-12-14 2020-06-18 (주)하니소프트 암호 해독 장치 및 방법, 이를 기록한 기록매체인공지능 기반의 공동주택 민원처리 장치 및 방법
US20220237637A1 (en) * 2018-12-18 2022-07-28 Meta Platforms, Inc. Systems and methods for real time crowdsourcing
CN113302601A (zh) * 2019-01-08 2021-08-24 三菱电机株式会社 含义关系学习装置、含义关系学习方法及含义关系学习程序
JP2020123131A (ja) * 2019-01-30 2020-08-13 株式会社東芝 対話システム、対話方法、プログラム、及び記憶媒体
JP7018408B2 (ja) * 2019-02-20 2022-02-10 株式会社 日立産業制御ソリューションズ 画像検索装置および教師データ抽出方法
US11295077B2 (en) * 2019-04-08 2022-04-05 International Business Machines Corporation Stratification of token types for domain-adaptable question answering systems
US11270077B2 (en) * 2019-05-13 2022-03-08 International Business Machines Corporation Routing text classifications within a cross-domain conversational service
US11544461B2 (en) * 2019-05-14 2023-01-03 Intel Corporation Early exit for natural language processing models
KR102283779B1 (ko) * 2019-07-18 2021-07-29 건국대학교 산학협력단 질의 응답 방법 및 이를 수행하는 장치들
US11531818B2 (en) * 2019-11-15 2022-12-20 42 Maru Inc. Device and method for machine reading comprehension question and answer
JP2021096711A (ja) 2019-12-18 2021-06-24 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
EP4131056A4 (en) * 2020-04-30 2023-04-26 Mitsubishi Electric Corporation DEVICE, METHOD AND PROGRAM FOR GENERATION OF TRAINING DATA
CN111858883A (zh) * 2020-06-24 2020-10-30 北京百度网讯科技有限公司 三元组样本的生成方法、装置、电子设备及存储介质
KR102280489B1 (ko) 2020-11-19 2021-07-22 주식회사 두유비 대규모 사전학습 모델을 학습하여 지성을 기반으로 대화하는 대화 지능 획득 방법
CN113535911B (zh) * 2020-12-03 2024-04-12 腾讯科技（深圳）有限公司 奖励模型处理方法、电子设备、介质和计算机程序产品
CN112507706B (zh) * 2020-12-21 2023-01-31 北京百度网讯科技有限公司 知识预训练模型的训练方法、装置和电子设备
WO2022249946A1 (ja) * 2021-05-28 2022-12-01 国立研究開発法人情報通信研究機構 対話装置及びその訓練装置
CN113408299B (zh) * 2021-06-30 2022-03-25 北京百度网讯科技有限公司 语义表示模型的训练方法、装置、设备和存储介质
WO2023079703A1 (ja) * 2021-11-05 2023-05-11 楽天グループ株式会社 処理実行システム、処理実行方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090070311A1 (en) 2007-09-07 2009-03-12 At&T Corp. System and method using a discriminative learning approach for question answering
JP2015011426A (ja) 2013-06-27 2015-01-19 独立行政法人情報通信研究機構 ノン・ファクトイド型質問応答システム及びコンピュータプログラム
US20150026106A1 (en) 2012-02-23 2015-01-22 National Institute Of Information And Communcations Technology Non-factoid question-answering system and computer program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063975B2 (en) * 2013-03-15 2015-06-23 International Business Machines Corporation Results of question and answer systems
US8560567B2 (en) * 2011-06-28 2013-10-15 Microsoft Corporation Automatic question and answer detection
JP5664978B2 (ja) * 2011-08-22 2015-02-04 日立コンシューマエレクトロニクス株式会社 学習支援システム及び学習支援方法
JP5924666B2 (ja) * 2012-02-27 2016-05-25 国立研究開発法人情報通信研究機構 述語テンプレート収集装置、特定フレーズペア収集装置、及びそれらのためのコンピュータプログラム
CN103617159B (zh) * 2012-12-07 2016-10-12 万继华 将自然语言翻译成计算机语言的方法、语义分析器及人机对话系统
CN104572734B (zh) * 2013-10-23 2019-04-30 腾讯科技（深圳）有限公司 问题推荐方法、装置及系统
CN104834651B (zh) * 2014-02-12 2020-06-05 北京京东尚科信息技术有限公司 一种提供高频问题回答的方法和装置
CN104050256B (zh) * 2014-06-13 2017-05-24 西安蒜泥电子科技有限责任公司 基于主动学习的问答方法及采用该方法的问答系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090070311A1 (en) 2007-09-07 2009-03-12 At&T Corp. System and method using a discriminative learning approach for question answering
US20150026106A1 (en) 2012-02-23 2015-01-22 National Institute Of Information And Communcations Technology Non-factoid question-answering system and computer program
JP2015011426A (ja) 2013-06-27 2015-01-19 独立行政法人情報通信研究機構 ノン・ファクトイド型質問応答システム及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
‘Why-Question Answering using Intra- and Inter-Sentential casual Relations’, Association for Computational Linguistics(pp. 1733-1743), 2013.08.09.

Also Published As

Publication number Publication date
CN107949841B (zh) 2022-03-18
EP3346394A1 (en) 2018-07-11
CN107949841A (zh) 2018-04-20
EP3346394A4 (en) 2019-05-15
JP2017049681A (ja) 2017-03-09
JP6618735B2 (ja) 2019-12-11
WO2017038657A1 (ja) 2017-03-09
US20180246953A1 (en) 2018-08-30
KR20180048624A (ko) 2018-05-10

Similar Documents

Publication Publication Date Title
KR102640564B1 (ko) 질의 응답 시스템의 훈련 장치 및 그것을 위한 컴퓨터 프로그램
Naseem et al. A survey of pre-processing techniques to improve short-text quality: a case study on hate speech detection on twitter
Roy et al. Solving general arithmetic word problems
Lippi et al. Context-independent claim detection for argument mining
Oh et al. Why-question answering using intra-and inter-sentential causal relations
JP5825676B2 (ja) ノン・ファクトイド型質問応答システム及びコンピュータプログラム
US9727637B2 (en) Retrieving text from a corpus of documents in an information handling system
Kmail et al. An automatic online recruitment system based on exploiting multiple semantic resources and concept-relatedness measures
Hadni et al. Word sense disambiguation for Arabic text categorization.
Ezen-Can et al. Unsupervised classification of student dialogue acts with query-likelihood clustering
Santhanavijayan et al. Automatic generation of multiple choice questions for e-assessment
Yeasmin et al. Study of abstractive text summarization techniques
Li et al. Towards topic-aware slide generation for academic papers with unsupervised mutual learning
Thakur et al. A review on text based emotion recognition system
Yousif et al. The effect of combining different semantic relations on arabic text classification
Galitsky et al. Text classification into abstract classes based on discourse structure
Pirovani et al. Adapting NER (CRF+ LG) for Many Textual Genres.
CN112711666B (zh) 期货标签抽取方法及装置
KR102216065B1 (ko) 동영상 세그먼트에 대해 검색결과를 제공하는 방법
Riza et al. Natural language processing and levenshtein distance for generating error identification typed questions on TOEFL
Zhu et al. Twitter Sentiment analysis of covid vaccines
Chun et al. Unsupervised event extraction from biomedical literature using co-occurrence information and basic patterns
Ayed et al. Arabic text summarization via Knapsack balancing of effective retention
Li et al. Recovering traceability links in requirements documents
MalarSelvi et al. Analysis of Different Approaches for Automatic Text Summarization

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant