KR20190140537A - A method, apparatus and computer program for self-generation of learning data, reinforcement learning method, apparatus and computer program - Google Patents

A method, apparatus and computer program for self-generation of learning data, reinforcement learning method, apparatus and computer program Download PDF

Info

Publication number
KR20190140537A
KR20190140537A KR1020180062904A KR20180062904A KR20190140537A KR 20190140537 A KR20190140537 A KR 20190140537A KR 1020180062904 A KR1020180062904 A KR 1020180062904A KR 20180062904 A KR20180062904 A KR 20180062904A KR 20190140537 A KR20190140537 A KR 20190140537A
Authority
KR
South Korea
Prior art keywords
learning
present
correct answer
content
module
Prior art date
Application number
KR1020180062904A
Other languages
Korean (ko)
Inventor
유태준
황이규
조면철
최홍섭
Original Assignee
주식회사 마인즈랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마인즈랩 filed Critical 주식회사 마인즈랩
Priority to KR1020180062904A priority Critical patent/KR20190140537A/en
Publication of KR20190140537A publication Critical patent/KR20190140537A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

The present invention is to perform natural language question answer and dialogue by self-learning to increase reading comprehension only by supplying document of specific field through self-generation and reinforcement learning of learning data for machine reading comprehension (MRC) supervised learning. According to various embodiments of the present invention, provided is a learning apparatus. According to one embodiment, the learning apparatus capable of self-generation of learning data includes a control unit. The control unit may include: a correct answer extraction module generating correct answer content, which is likely to be semantically correct, in text content; a natural language sentence generation module generating query content corresponding to the correct answer content with reference to the text content; and a data determination and reinforcement module verifying the validity of the correct answer content and query content and updating at least one of the correct answer extraction module and natural language sentence generation module based on a verification result.

Description

학습 데이터의 자가생성 방법, 장치 및 컴퓨터 프로그램, 강화 학습 방법, 장치 및 컴퓨터 프로그램{A method, apparatus and computer program for self-generation of learning data, reinforcement learning method, apparatus and computer program}A method, apparatus and computer program for self-generation of learning data, reinforcement learning method, apparatus and computer program}

본 발명의 실시예들은 학습 데이터의 자가생성 방법, 장치 및 컴퓨터 프로그램에 관한 것이다. 또한 본 발명의 실시예들은 강화 학습 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.Embodiments of the present invention relate to a method, an apparatus and a computer program for self-generating learning data. Embodiments of the present invention also relate to reinforcement learning methods, apparatuses and computer programs.

MRC(Machine Reading Comprehension, 기계독해)는 질의응답, 다이얼로그 등 한국어 텍스트 분야에 폭넓게 응용될 수 있는 자연어처리 분야의 딥러닝 기반 기술이다.Machine Reading Comprehension (MRC) is a deep learning-based technology for natural language processing that can be widely applied to Korean text fields such as question and answer and dialog.

이러한 MRC 기술은 도메인이 바뀔 때 마다 최소 수 만 건에 달하는 학습 데이터를 추가로 만들어야 하는 번거로움이 있다. 물론 이러한 번거로움은 지도학습 기반 인공지능 엔진 모두가 가지고 있는 숙명과 같은 어려움이지만, MRC 기술의 경우, 단순히 지문을 읽고 해당 지문이 어떤 카테고리에 해당하는지 라벨링만 하면 되는 것이 아니라 해당 지문의 이해를 전제로, 지문에 나올법한 질문을 생성해야 한다는 점에서 학습데이터를 추가로 생성하는 것은 더욱 번거로울 수 있다.This MRC technique is cumbersome to create additional tens of thousands of training data each time the domain is changed. Of course, this hassle is the same fatality that both supervised-based AI engines have, but for MRC technology, it is not necessary to simply read a fingerprint and label which category the fingerprint belongs to. In this regard, it may be more cumbersome to generate additional learning data in that the question should be generated in the fingerprint.

사람이 학습하는 과정을 생각해도 마찬가지로 생소한 분야의 서적을 처음 접하면 초반에는 독해에 어려움을 느끼는 것은 마찬가지일 것이다. 그러나 사람은 한 분야의 독해가 자연스러워졌을 때 다른 분야의 문서를 읽으면서 독해를 위해 누군가 끊임없이 질문과 답의 쌍을 학습시켜주지 않아도 해당 분야의 지식에 익숙해질 수 있다. 머신러닝 기술로 비유하자면 특정 전문 분야의 문서만을 공급해주면 비-지도학습으로 해당 분야의 지식을 익히게 되는 셈이다.Similarly, if you think about the process of learning, it will be the same when you are new to books that are new to you. However, when one's reading becomes natural, one can become acquainted with the knowledge in the field without reading someone else's documents and constantly learning a pair of questions and answers for reading. The analogy of machine learning technology is that if you supply documents of a specific field of expertise, you will learn the field of knowledge through non-supervised learning.

본 발명은 상술한 번거로움을 해결하기 위한 것으로, MRC의 지도학습을 위한 학습 데이터의 자가생성 및 강화학습을 통해 특정분야의 문서 공급만으로 스스로 학습하여 독해력을 키움으로써 자연어 질의응답 및 다이얼로그를 수행할 수 있도록 하고자 한다.The present invention is to solve the above-mentioned hassle, natural language query response and dialog by performing self-learning by enhancing the reading power only by supplying a document in a specific field through self-generation and reinforcement learning of learning data for MRC supervised learning I want to be able to.

또한 본 발명은 특정 전문 분야의 문서만을 대량으로 학습시키면, 내부적으로 구성되어 있는 알고리즘을 통해 해당 문서들에서 나올 수 있는 질문-답변을 스스로 생성해내고, 이를 학습데이터로 삼아 재학습하는 순환 과정을 거쳐 지속적으로 독해 능력을 키울 수 있도록 하고자 한다.In addition, the present invention, if a large number of documents of a specific specialized field, a self-generating question-answer that can come out of the corresponding documents through the algorithm that is configured internally, and re-learning using this as learning data After that, I will continue to develop my reading skills.

일 실시예에 따른 학습 데이터의 자가생성이 가능한 학습 장치는 제어부를 포함하고, 상기 제어부는 텍스트 콘텐츠에서 의미적으로 정답으로 나올 법한 정답 콘텐츠를 생성하는 정답 추출 모듈; 상기 텍스트 콘텐츠를 참조하여, 상기 정답 콘텐츠에 대응되는 질의 콘텐츠를 생성하는 자연어 문장생성 모듈; 및 상기 정답 콘텐츠 및 상기 질의 콘텐츠의 타당성을 검증하고, 상기 검증 결과에 기초하여 상기 정답 추출 모듈 및 상기 자연어 문장생성 모듈 중 적어도 하나를 업데이트하는 데이터 판별 및 강화 모듈;을 포함할 수 있다.A learning apparatus capable of self-generating learning data according to an embodiment includes a controller, wherein the controller comprises: a correct answer extracting module for generating correct answer content semantically correct answers in text content; A natural language sentence generation module generating query content corresponding to the correct answer content with reference to the text content; And a data discrimination and reinforcement module for verifying validity of the correct answer content and the query content and updating at least one of the correct answer extraction module and the natural language sentence generation module based on the verification result.

본 발명에 따르면, MRC의 지도학습을 위한 학습 데이터의 자가생성 및 강화학습을 통해 특정분야의 문서 공급만으로 스스로 학습하여 독해력을 키움으로써 자연어 질의응답 및 다이얼로그를 수행할 수 있다.According to the present invention, natural language question and answer and dialogs can be performed by self-learning to increase reading comprehension by supplying documents in a specific field through self-generation and reinforcement learning of learning data for MRC supervised learning.

또한 특정 전문 분야의 문서만을 대량으로 학습시키면, 해당 문서들에서 나올 수 있는 질문-답변을 스스로 생성해내고, 이를 학습데이터로 삼아 재학습하는 순환 과정을 거쳐 지속적으로 독해 능력을 키울 수 있다.In addition, if you only learn a large amount of documents in a specific area of expertise, you can continue to develop reading comprehension through the process of re-learning the question-answers that can come from the documents and using them as learning data.

도 1은 본 발명의 일 실시예에 따른 MRC 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 학습 장치의 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 학습 장치에 구비되는 각 모듈을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 학습 장치에 구비되는 질의응답 생성 모듈에 의한 질문 문장 생성 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 학습 장치에 구비되는 질의응답 생성 모듈에 의한 정답 추출 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 학습 장치에 구비되는 질의응답 생성 모듈에 의한 생성 문장 판별 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 학습 장치에 구비되는 MRC 엔진 강화 모듈에 의한 학습 데이터 생성 방법을 설명하기 위한 도면이다.1 schematically illustrates an MRC system according to an embodiment of the present invention.
2 schematically illustrates a configuration of a learning apparatus according to an embodiment of the present invention.
3 is a view for explaining each module included in the learning apparatus according to an embodiment of the present invention.
4 is a view for explaining a question sentence generation method by the question and answer generation module provided in the learning apparatus according to an embodiment of the present invention.
FIG. 5 is a diagram for describing a method for extracting a correct answer by a question and answer generating module included in a learning apparatus according to an exemplary embodiment.
FIG. 6 is a diagram for describing a generated sentence determination method by a question-and-answer generation module included in a learning apparatus according to an embodiment of the present invention.
7 is a view for explaining a method of generating training data by the MRC engine reinforcement module included in the learning apparatus according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. Effects and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in detail together with the drawings. However, the present invention is not limited to the embodiments disclosed below but may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals, and redundant description thereof will be omitted. .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the following embodiments, the terms first, second, etc. are used for the purpose of distinguishing one component from other components rather than a restrictive meaning. In the following examples, the singular forms "a", "an" and "the" include plural forms unless the context clearly indicates otherwise. In the following examples, the terms including or having have meant that there is a feature or component described in the specification and does not preclude the possibility of adding one or more other features or components. In the drawings, components may be exaggerated or reduced in size for convenience of description. For example, the size and shape of each component shown in the drawings are arbitrarily shown for convenience of description, and thus the present invention is not necessarily limited to the illustrated.

도 1은 본 발명의 일 실시예에 따른 MRC 시스템을 개략적으로 도시한다.1 schematically illustrates an MRC system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 MRC 시스템은 서버(100), 사용자 단말(200) 및 이들을 연결하는 통신망(300)을 포함할 수 있다. Referring to FIG. 1, an MRC system according to an embodiment of the present invention may include a server 100, a user terminal 200, and a communication network 300 connecting them.

본 발명에서 사용자 단말(200)은 다양한 형태의 콘텐츠를 서버(100)와 송수신 할 수 있는 다양한 장치를 의미할 수 있다. 이 때 단말은 퍼스널 컴퓨터(201)일 수도 있고 또는 휴대용 단말(202)일 수도 있다. 도 1에서는 휴대용 단말(202)이 스마트폰(smart phone)으로 도시되었지만, 본 발명의 사상은 이에 제한되지 않는다.In the present invention, the user terminal 200 may refer to various devices capable of transmitting and receiving various types of content with the server 100. In this case, the terminal may be the personal computer 201 or the portable terminal 202. Although the portable terminal 202 is illustrated as a smart phone in FIG. 1, the spirit of the present invention is not limited thereto.

이와 같은 사용자 단말(200)은 사용자의 입력을 획득하기 위한 입력수단 및 서버(100)로부터 수신한 콘텐츠를 표시하기 위한 표시수단을 구비할 수 있다. 이 때 입력수단 및 표시수단은 다양하게 구성될 수 있다. 가령 입력수단은 키보드, 마우스, 트랙볼, 마이크, 버튼, 터치패널 등을 포함할 수 있으나 이에 한정되지 않는다. The user terminal 200 may include input means for acquiring a user input and display means for displaying content received from the server 100. In this case, the input means and the display means may be configured in various ways. For example, the input means may include a keyboard, a mouse, a trackball, a microphone, a button, a touch panel, and the like, but is not limited thereto.

본 발명에서, 통신망(300)은 서버(100) 및 사용자 단말(200)을 연결하는 역할을 수행한다. 예를 들어, 통신망(300)은 사용자 단말(200)이 서버(100)에 접속한 후 패킷 데이터를 송수신할 수 있도록 접속 경로를 제공한다. 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.In the present invention, the communication network 300 serves to connect the server 100 and the user terminal 200. For example, the communication network 300 provides a connection path for transmitting and receiving packet data after the user terminal 200 accesses the server 100. The communication network 300 may be, for example, wired networks such as local area networks (LANs), wide area networks (WANs), metropolitan area networks (MANs), integrated service digital networks (ISDNs), wireless LANs, CDMA, Bluetooth, satellite communications, and the like. Although it may encompass a wireless network, the scope of the present invention is not limited thereto.

본 발명에서, 서버(100)는 입력 콘텐츠에 대한 질의응답 세트를 생성할 수 있다. 또한 서버(100)는 생성된 질의응답 세트에 기초하여, 재학습 함으로써 독해 능력을 향상시킬 수 있다. 이에 대한 상세한 설명은 후술한다.In the present invention, the server 100 may generate a question and answer set for the input content. In addition, the server 100 may improve reading comprehension by relearning based on the generated question and answer set. Detailed description thereof will be described later.

도 2는 본 발명의 일 실시예에 따른 학습 장치(110)의 구성을 개략적으로 도시한다.2 schematically illustrates a configuration of the learning apparatus 110 according to an embodiment of the present invention.

도 2를 참조하면, 본 실시예에 따른 학습 장치(110)는 통신부(111), 제어부(112) 및 메모리(113)를 포함할 수 있다. 또한 도면에는 도시되지 않았으나, 본 실시예에 따른 학습 장치(110)는 입/출력부, 프로그램 저장부 등을 더 포함할 수 있다. Referring to FIG. 2, the learning apparatus 110 according to the present embodiment may include a communication unit 111, a control unit 112, and a memory 113. In addition, although not shown in the drawing, the learning apparatus 110 according to the present embodiment may further include an input / output unit, a program storage unit, and the like.

통신부(111)는 학습 장치(110)가 사용자 단말(200)과 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. The communication unit 111 may be a device including hardware and software necessary for the learning device 110 to transmit and receive a signal such as a control signal or a data signal through a wired or wireless connection with another network device such as the user terminal 200.

제어부(112)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The controller 112 may include all kinds of devices capable of processing data, such as a processor. Here, the 'processor' may refer to a data processing apparatus embedded in hardware having, for example, a circuit physically structured to perform a function represented by code or instructions included in a program. As an example of the data processing unit embedded in the hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, and an application-specific integrated (ASIC) Circuits, field programmable gate arrays (FPGAs), and the like, but may include a processing device, but the scope of the present invention is not limited thereto.

메모리(113)는 학습 장치(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The memory 113 performs a function of temporarily or permanently storing data processed by the learning apparatus 110. The memory may include a magnetic storage medium or a flash storage medium, but the scope of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 학습 장치(110)는 서버에(100)에 구비될 수도 있고, 서버(100)와 별개로 구비될 수도 있다. 다만 이하에서는 설명의 편의를 위하여 학습 장치(110)가 서버에 구비되는 것을 전제로, 학습 장치(110)에 포함되는 다양한 모듈의 동작을 중심으로 설명한다.The learning apparatus 110 according to an embodiment of the present invention may be provided in the server 100 or may be provided separately from the server 100. However, in the following description, the learning apparatus 110 is provided on the server for convenience of description, and the description will be given based on the operation of various modules included in the learning apparatus 110.

도 3은 본 발명의 일 실시예에 따른 학습 장치(110)에 구비되는 학습 장치(110)의 각 모듈을 설명하기 위한 도면이다.3 is a view for explaining each module of the learning device 110 provided in the learning device 110 according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 학습 장치(110)는 자연어 질의응답 학습데이터 생성 모듈 및 MRC 엔진 강화 모듈을 포함할 수 있다.Referring to FIG. 3, the learning apparatus 110 according to an embodiment of the present invention may include a natural language question and answer learning data generation module and an MRC engine reinforcement module.

본 발명의 일 실시예에 따른 자연어 질의응답 학습데이터 생성 모듈은 지문(passage)이 주어졌을 때 해당 지문에서 질문-답 쌍을 생성해주는 모듈일 수 있다. The natural language question-and-answer learning data generation module according to an embodiment of the present invention may be a module for generating a question-answer pair from a fingerprint when a fingerprint is given.

본 발명의 일 실시예에 따른 자연어 질의응답 학습 데이터 생성 모듈은 세부적으로 딥러닝 기반 자연어 문장생성 모듈(Question Generation, QG), 정답 추출 모듈(Answer Picker, AP) 및 생성 데이터 판별 및 강화 모듈을 포함할 수 있다.The natural language Q & A learning data generation module according to an embodiment of the present invention includes a deep learning based natural language sentence generation module (Question Generation, QG), a correct answer extraction module (Answer Picker, AP), and a generation data determination and reinforcement module. can do.

본 발명의 일 실시예에 다른 정답 추출 모듈은 주어진 지문에 대해서, 해당 지문에서 의미적으로 정답으로 나올 법한 단어, 어절, 문장 등을 선택할 수 있다.According to an embodiment of the present invention, the correct answer extracting module may select a word, a word, a sentence, or the like that can be semantically correct from the fingerprint for a given fingerprint.

본 발명의 일 실시예에 따른 자연어 문장생성 모듈은 정답 추출 모듈에 의해 생성된 정답이 나오기 위한 질문을 생성할 수 있다. Natural language sentence generation module according to an embodiment of the present invention may generate a question for the correct answer generated by the correct answer extraction module.

본 발명의 일 실시예에 따른 데이터 판별 및 강화 모듈은 전술한 과정에 의해 각 모듈에 의해 생성된 질문 및 답변의 쌍을, 문법적으로나 의미적으로 판별한 결과로 자연어 문장생성 모듈 및 정답 추출 모듈 중 적어도 하나를 학습(강화)시킬 수 있다.The data discrimination and reinforcement module according to an embodiment of the present invention is a natural language sentence generation module and a correct answer extraction module as a result of grammatically or semantically determining a pair of questions and answers generated by each module by the above-described process. At least one can be learned (enhanced).

한편 본 발명의 일 실시예에 따른 MRC 엔진 강화 모듈은 자연어 질의응답 학습데이터 생성 모듈에 의해 생성된 학습데이터를 재학습하는 모듈일 수 있다.Meanwhile, the MRC engine reinforcement module according to an embodiment of the present invention may be a module for relearning the learning data generated by the natural language question and answer learning data generation module.

본 발명의 일 실시예에 따른 MRC 엔진 강화 모듈은 특정 전문 분야의 문서들을 크롤링하고, 전술한 과정에 의해 학습된 자연어 문장생성 모듈로 질문-답변 쌍을 생성할 수 있다. The MRC engine reinforcement module according to an embodiment of the present invention may crawl documents of a specific specialty and generate a question-answer pair with the natural language sentence generation module learned by the above-described process.

또한 본 발명의 일 실시예에 따른 MRC 엔진 강화 모듈은 생성한 학습데이터로 MRC 엔진을 재학습 시킬 수 있다. 이때 MRC 엔진 강화 모듈은 적은 양의 데이터로 학습 시키는 효과를 극대화 하기 위해서 전이학습(Transfer learning)기법을 적용할 수 있다.In addition, the MRC engine reinforcement module according to an embodiment of the present invention may relearn the MRC engine with the generated learning data. In this case, the MRC engine reinforcement module may apply a transfer learning technique to maximize the effect of learning with a small amount of data.

본 발명의 일 실시예에 따른 학습 장치(110)는 전술한 방법에 따라 지문에서 질문-답변 쌍을 생성할 수 있는 엔진을 학습시키고 강화시키는 자연어 질의응답 학습데이터 생성 모듈을 및 추가적으로 새로운 지문을 넣어 생성한 학습데이터를 재학습하는 MRC 엔진 강화 모듈 사이에 피드백 체계를 구성하여, 전술한 자연어 문장생성 모듈(Question Generation, QG), 정답 추출 모듈(Answer Picker, AP) 및 생성 데이터 판별 및 강화 모듈이 번갈아 서로 학습되도록 할 수 있다.The learning apparatus 110 according to an embodiment of the present invention includes a natural language question and answer learning data generation module for learning and enhancing an engine capable of generating a question-answer pair from a fingerprint according to the above-described method, and additionally, a new fingerprint. A feedback system is constructed between the MRC engine reinforcement modules relearning the generated learning data, and the aforementioned natural language generation module (Question Generation (QG)), correct answer extraction module (Answer Picker, AP), and generation data determination and reinforcement module are provided. You can take turns learning each other.

도 4는 본 발명의 일 실시예에 따른 학습 장치(110)에 구비되는 질의응답 생성 모듈에 의한 질문 문장 생성 방법을 설명하기 위한 도면이다.4 is a view for explaining a question sentence generation method by the question and answer generation module provided in the learning apparatus 110 according to an embodiment of the present invention.

일반적으로 딥러닝 기반 문장생성 알고리즘은 Seq2Seq 모델을 원형으로 하며, 입력 데이터를 받아들여 Hidden Vector를 만드는 Encoder와 Hidden Vector를 다시 의미 있는 결과 값으로 변환하는 Decoder로 구성된다.In general, deep learning-based sentence generation algorithms have a Seq2Seq model as a prototype, and consist of an encoder that takes input data and creates a hidden vector, and a decoder that converts the hidden vector back to meaningful results.

그러나 MRC 학습데이터로 사용될 질문 문장을 생성하기 위해서는 일반적인 Seq2Seq와 같이 단일 Stream을 입력 받아 문장을 생성해내는 모델을 사용할 수 없고, 지문과 정답의 관계성을 기반으로 한 새로운 Encoding 모델을 구성할 필요가 있다. However, in order to generate a question sentence to be used as MRC learning data, a model that generates a sentence by receiving a single stream like a general Seq2Seq cannot be used, and it is necessary to construct a new encoding model based on the relationship between the fingerprint and the correct answer. have.

이를 위해서는 MRC 알고리즘을 응용할 필요가 있으며, 특히 Encoding 및 Decoding 성능 향상을 위해 최신 알고리즘인 Hierarchical Attention Network를 사용할 수 있다.To this end, it is necessary to apply the MRC algorithm. In particular, the Hierarchical Attention Network, which is the latest algorithm, can be used to improve the encoding and decoding performance.

도 5는 본 발명의 일 실시예에 따른 학습 장치(110)에 구비되는 질의응답 생성 모듈에 의한 정답 추출 방법을 설명하기 위한 도면이다.5 is a view for explaining a method for extracting a correct answer by a question and answer generating module included in the learning apparatus 110 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 학습 장치(110)는 주어진 지문에서 정답으로 나올 법한 단어, 문맥, 문장 등을 선택함에 있어서, 정답이 나올 법한 위치를 학습하는 알고리즘을 사용할 수 있다.The learning apparatus 110 according to an embodiment of the present invention may use an algorithm for learning a location where a correct answer is likely to be found in selecting a word, context, sentence, etc. that is likely to be a correct answer from a given fingerprint.

이때 본 발명의 일 실시예에 따른 학습 장치(110)는 전처리로 TF-IDF와 LDA, TextRank 알고리즘을 사용하여 단어들의 중요도를 추출할 수 있다. 본 발명의 일 실시예에 따른 학습 장치(110)는 추출한 중요도를 입력값으로 하여 딥러닝 강화학습 기반으로 중요 단어가 포함된 답(단어, 문맥, 문장)을 문서에서 선택할 수 있다.At this time, the learning apparatus 110 according to an embodiment of the present invention may extract the importance of words using TF-IDF, LDA, and TextRank algorithm as preprocessing. The learning apparatus 110 according to an embodiment of the present invention may select an answer (word, context, sentence) containing important words from a document based on deep learning reinforcement learning based on the extracted importance.

도 6은 본 발명의 일 실시예에 따른 학습 장치(110)에 구비되는 질의응답 생성 모듈에 의한 생성 문장 판별 방법을 설명하기 위한 도면이다.FIG. 6 is a diagram for describing a generation sentence determination method by a question-and-answer generation module included in the learning apparatus 110 according to an embodiment of the present invention.

전술한 문장생성 모듈(Question Generation, QG) 및 정답 추출 모듈(Answer Picker, AP)을 통해 생성한 질문-답 쌍을 그 자체로 사용하기에는 데이터의 질을 담보할 수 없을 수 있다.Using the question-answer pairs generated through the above-described question generation module (QG) and answer picker (AP) may not guarantee the quality of data.

따라서 본 발명의 일 실시예에 따른 따른 학습 장치(110)에는 전술한 과정에 의해서 생성한 질문-답 쌍, 특히 생성한 질문 문장에 대해서 문법적인 측면과 의미적인 측면에서 판별하고 검증하기 위한 알고리즘, 그리고 이렇게 판별한 결과를 보상으로 변환하여 문장생성 모듈(Question Generation, QG) 및 정답 추출 모듈(Answer Picker, AP)을 강화학습 시킬 수 있다.Therefore, the learning apparatus 110 according to an embodiment of the present invention includes an algorithm for discriminating and verifying a question-answer pair generated by the above-described process, in particular, a generated question sentence in grammatical and semantic terms, The result of the determination can be converted into a reward to reinforce the sentence generation module (Question Generation (QG)) and the correct answer extraction module (Answer Picker, AP).

이때 본 발명의 일 실시예에 따른 따른 학습 장치(110)는 생성된 질문 문장이 문법적으로 올바른지에 대한 판단의 방법으로써, n-gram 기반의 BLEU score를 활용할 수 있다. 또한 본 발명의 일 실시예에 따른 따른 학습 장치(110)는 생성된 질문 문장의 의미에 대한 판별 방법으로써, 문장생성 모듈 및 정답 추출 모듈이 생성한 질문-답변 쌍을 MRC 엔진에 입력하였을 때의 출력 결과와 원래 모델이 대답한 정답과 대조할 수 있다. 이때 본 발명의 일 실시예에 따른 따른 학습 장치(110)는 양자의 차이 값을 보상값으로 변환하여 문장생성 모듈 및 정답 추출 모듈의 오차역전파 기제로 활용할 수 있다.In this case, the learning apparatus 110 according to an embodiment of the present invention may use a n-gram-based BLEU score as a method of determining whether the generated question sentence is grammatically correct. In addition, the learning apparatus 110 according to an embodiment of the present invention is a method for determining the meaning of a generated question sentence, which is a method for generating a question-answer pair generated by a sentence generation module and a correct answer extraction module into an MRC engine. You can contrast the output with the correct answer from the original model. At this time, the learning apparatus 110 according to an embodiment of the present invention may be used as an error backpropagation mechanism of the sentence generation module and the correct answer extraction module by converting the difference value between the two.

본 발명의 일 실시예에 따른 학습 장치(110)에 구비되는 MRC 엔진 강화 모듈에 의한 학습 데이터 생성 방법을 설명한다. 본 발명의 일 실시예에 따른 MRC 엔진 강화 모듈에서는 지문을 지속적으로 크롤링하여 앞서 학습 시킨 문장생성 모듈 및 정답 추출 모듈을 통하여 질문과 답변을 생성할 수 있다.It describes a learning data generation method by the MRC engine reinforcement module provided in the learning apparatus 110 according to an embodiment of the present invention. In the MRC engine reinforcement module according to an embodiment of the present invention, a question and answer may be generated through a sentence generation module and a correct answer extracting module which are previously learned by continuously crawling a fingerprint.

이때 문장생성 모듈 및 정답 추출 모듈은 사전학습 된 상태에서 가중치를 고정한 상태로 사용될 수 있다. 또한 전문분야의 문서들은 가급적 비슷한 도메인의 문서들을 모아서 입력하는 것이 성능 향상에 유리할 수 있으며, 이러한 과정을 통하여 생성된 질문을 학습 데이터로 활용하기 위해서는 문법 교정 알고리즘을 이용해 검증 과정을 거칠 필요가 있을 수 있다.In this case, the sentence generation module and the correct answer extraction module may be used in a fixed state in the pre-learned state. In addition, it is advantageous to improve the performance of inputting documents of specialized fields by collecting documents of similar domains as much as possible. In order to utilize the questions generated through this process as learning data, it may be necessary to go through the verification process using a grammar correction algorithm. have.

도 7은 본 발명의 일 실시예에 따른 학습 장치(110)에 구비되는 MRC 엔진 강화 모듈에 의한 학습 데이터 생성 방법을 설명하기 위한 도면이다.7 is a view for explaining a method of generating training data by the MRC engine reinforcement module included in the learning apparatus 110 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 학습 장치(110)는 전술한 자연어 문장생성 모듈 및 정답 추출 모듈에 의해 생성된 데이터를 학습데이터로써 사용할 수 있다. 이때 본 발명의 일 실시예에 따른 학습 장치(110)는 매번 처음부터 새로 학습할 수 없기 때문에 적은 데이터로도 효과적인 학습이 가능한 전이학습(Transfer learning) 기술을 적용할 수 있다.The learning apparatus 110 according to an embodiment of the present invention may use the data generated by the above-described natural language sentence generation module and the correct answer extraction module as learning data. In this case, the learning apparatus 110 according to an embodiment of the present invention may apply a transfer learning technique that enables effective learning with little data since new learning cannot be performed from the beginning every time.

한편 전이학습을 위해서는 이미 학습된 사전학습(pre-trained) 모델을 재활용하기 위한 MRC 알고리즘의 변경이 필요하며, 전이학습 기법은 다양하게 적용될 수 있다. On the other hand, transfer learning requires modification of the MRC algorithm to recycle already learned pre-trained models, and transfer learning techniques can be applied in various ways.

본 발명의 일 실시예에 따른 학습 장치(110)는 기존에 학습된 모델을 그대로 활용하되, 학습된 가중치를 기반으로 추가학습을 할 수 있다. 또한 본 발명의 일 실시예에 따른 학습 장치(110)는Hidden layer의 특정 계층에 대해서만 가중치 학습을 수행하거나, Hidden layer를 추가하여 전이학습을 할 수도 있다. The learning apparatus 110 according to an embodiment of the present invention may utilize the previously learned model as it is, and perform additional learning based on the learned weights. In addition, the learning apparatus 110 according to an embodiment of the present invention may perform weight learning only on a specific layer of the hidden layer, or transfer learning by adding a hidden layer.

나아가 본 발명의 일 실시예에 따른 학습 장치(110)는 MRC 알고리즘에 사용된 심층신경망 구조를 Auto Encoder 형태로 구성하여, 특정 분야의 문서만을 사전학습하고, 그 가중치를 기저로 사용하여 추가학습하는 형태로도 전이학습을 수행할 수도 있다.Furthermore, the learning apparatus 110 according to an embodiment of the present invention configures the deep neural network structure used in the MRC algorithm in the form of an Auto Encoder, pre-learning only documents in a specific field, and further learning by using the weight as a basis. You can also perform transfer learning in form.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.Embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, such a computer program may be recorded on a computer readable medium. In this case, the medium may be to continuously store a program executable by the computer, or to temporarily store for execution or download. In addition, the medium may be a variety of recording means or storage means in the form of a single or several hardware combined, not limited to a medium directly connected to any computer system, it may be distributed on the network. Examples of the medium include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And ROM, RAM, flash memory, and the like, configured to store program instructions. In addition, examples of another medium may include a recording medium or a storage medium managed by an app store that distributes an application, a site that supplies or distributes various software, a server, or the like.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.On the other hand, the computer program may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field. Examples of computer programs may include not only machine code generated by a compiler, but also high-level language code executable by a computer using an interpreter or the like.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.Particular implementations described in the present invention are embodiments and do not limit the scope of the present invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings are illustrative of the functional connection and / or physical or circuit connections as an example, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections. In addition, unless specifically mentioned, such as "essential", "important" may not be a necessary component for the application of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is defined not only in the claims below, but also in the ranges equivalent to or equivalent to those of the claims. Will belong to.

100: 서버
110: 학습 장치
111: 통신부
112: 제어부
113: 메모리
200: 사용자 단말
300: 통신망100: server
110: learning device
111: communication unit
112: control unit
113: memory
200: user terminal
300: network

Claims (1)

학습 데이터의 자가생성이 가능한 학습 장치에 있어서, 상기 장치는 제어부를 포함하고,
상기 제어부는
텍스트 콘텐츠에서 의미적으로 정답으로 나올 법한 정답 콘텐츠를 생성하는 정답 추출 모듈;
상기 텍스트 콘텐츠를 참조하여, 상기 정답 콘텐츠에 대응되는 질의 콘텐츠를 생성하는 자연어 문장생성 모듈; 및
상기 정답 콘텐츠 및 상기 질의 콘텐츠의 타당성을 검증하고, 상기 검증 결과에 기초하여 상기 정답 추출 모듈 및 상기 자연어 문장생성 모듈 중 적어도 하나를 업데이트하는 데이터 판별 및 강화 모듈;을 포함하는, 학습 장치.A learning apparatus capable of self-generating learning data, the apparatus comprising a control unit,
The control unit
A correct answer extracting module for generating correct answer content semantically correct answers in the text content;
A natural language sentence generation module generating query content corresponding to the correct answer content with reference to the text content; And
And a data discrimination and reinforcement module for verifying validity of the correct answer content and the query content and updating at least one of the correct answer extraction module and the natural language sentence generation module based on the verification result.
KR1020180062904A 2018-05-31 2018-05-31 A method, apparatus and computer program for self-generation of learning data, reinforcement learning method, apparatus and computer program KR20190140537A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180062904A KR20190140537A (en) 2018-05-31 2018-05-31 A method, apparatus and computer program for self-generation of learning data, reinforcement learning method, apparatus and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180062904A KR20190140537A (en) 2018-05-31 2018-05-31 A method, apparatus and computer program for self-generation of learning data, reinforcement learning method, apparatus and computer program

Publications (1)

Publication Number Publication Date
KR20190140537A true KR20190140537A (en) 2019-12-20

Family

ID=69063008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180062904A KR20190140537A (en) 2018-05-31 2018-05-31 A method, apparatus and computer program for self-generation of learning data, reinforcement learning method, apparatus and computer program

Country Status (1)

Country Link
KR (1) KR20190140537A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210083731A (en) * 2019-12-27 2021-07-07 주식회사 포티투마루 Method and apparatus of generating question-answer learning model through reinforcement learning
KR20220046276A (en) * 2020-10-07 2022-04-14 한국전자통신연구원 Apparatus and method for automatic generation of machine reading comprehension data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210083731A (en) * 2019-12-27 2021-07-07 주식회사 포티투마루 Method and apparatus of generating question-answer learning model through reinforcement learning
KR20220046276A (en) * 2020-10-07 2022-04-14 한국전자통신연구원 Apparatus and method for automatic generation of machine reading comprehension data
US11983501B2 (en) 2020-10-07 2024-05-14 Electronics And Telecommunications Research Institute Apparatus and method for automatic generation of machine reading comprehension training data

Similar Documents

Publication Publication Date Title
Kant et al. Spatially aware multimodal transformers for textvqa
Nuruzzaman et al. A survey on chatbot implementation in customer service industry through deep neural networks
Kamath et al. Deep learning for NLP and speech recognition
Kumar et al. Syntax-guided controlled generation of paraphrases
Lowe et al. Training end-to-end dialogue systems with the ubuntu dialogue corpus
US10467270B2 (en) Utilizing word embeddings for term matching in question answering systems
Rocktäschel et al. Reasoning about entailment with neural attention
US20180329884A1 (en) Neural contextual conversation learning
Tseng et al. Towards machine comprehension of spoken content: Initial toefl listening comprehension test by machine
CN109271493A (en) A kind of language text processing method, device and storage medium
CN115310551A (en) Text analysis model training method and device, electronic equipment and storage medium
Fan et al. Phonetics and ambiguity comprehension gated attention network for humor recognition
Luo et al. EmotionX-DLC: self-attentive BiLSTM for detecting sequential emotions in dialogue
KR20190140537A (en) A method, apparatus and computer program for self-generation of learning data, reinforcement learning method, apparatus and computer program
Jiang et al. Knowledge augmented dialogue generation with divergent facts selection
Wang et al. An integrated deep generative model for text classification and generation
US20230042683A1 (en) Identifying and transforming text difficult to understand by user
Guan et al. Frame semantics guided network for abstractive sentence summarization
US20210272021A1 (en) Ai creation verification device
Wang Recognition of English speech–using a deep learning algorithm
Tseng et al. Tree-structured semantic encoder with knowledge sharing for domain adaptation in natural language generation
Shi et al. The design and implementation of intelligent english learning chabot based on transfer learning technology
CN113407683A (en) Text information processing method and device, electronic equipment and storage medium
Ma et al. Intention reasoning network for multi-domain end-to-end task-oriented dialogue
Perez Finding and Fixing Undesirable Behaviors in Pretrained Language Models