WO2020213785A1 - System for automatically generating text-based sentences on basis of deep learning to achieve improvement related to infinity of utterance patterns - Google Patents

System for automatically generating text-based sentences on basis of deep learning to achieve improvement related to infinity of utterance patterns Download PDF

Info

Publication number
WO2020213785A1
WO2020213785A1 PCT/KR2019/006337 KR2019006337W WO2020213785A1 WO 2020213785 A1 WO2020213785 A1 WO 2020213785A1 KR 2019006337 W KR2019006337 W KR 2019006337W WO 2020213785 A1 WO2020213785 A1 WO 2020213785A1
Authority
WO
WIPO (PCT)
Prior art keywords
deep learning
intention
unit
text
output
Prior art date
Application number
PCT/KR2019/006337
Other languages
French (fr)
Korean (ko)
Inventor
윤종성
김영준
김위백
양형원
이인구
김홍순
송민규
Original Assignee
미디어젠 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR10-2019-0043515 priority Critical
Priority to KR1020190043515A priority patent/KR102017229B1/en
Application filed by 미디어젠 주식회사 filed Critical 미디어젠 주식회사
Publication of WO2020213785A1 publication Critical patent/WO2020213785A1/en

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training

Abstract

The present invention relates to a system for automatically generating text-based sentences on the basis of deep learning to achieve an improvement related to the infinity of utterance patterns and, more specifically, to a system for automatically generating, on the basis of deep learning, text-based sentences having utterance patterns of natural language. The system is configured to: receive, through a deep learning modeling unit (100), an input of utterance patterns of texts and information about common purposes of the texts and perform training for deep learning therefrom; provide, through the deep learning modeling unit, an automatic test sentence generation unit (300) with information about trained deep learning models classified according to purposes; acquire, through the automatic test sentence generation unit (300), the information about deep learning models classified according to purposes, provided by the deep learning modeling unit; input a purpose type provided through an output purpose input unit (200), to the corresponding information about deep learning models classified according to purposes and output a text-based sentence having an utterance pattern of natural language, the sentence being automatically generated according to the input purpose type; and output a credibility value for the output text-based sentence.

Description

발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템Deep learning-based text sentence automatic generation system to improve the infinity of speech patterns
본 발명은 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 관한 것으로서, 더욱 상세하게는 원어민들로부터 수집된 딥러닝 학습자료인 텍스트들의 발화 패턴과 텍스트들의 의도 정보를 이용하여 딥러닝 트레이닝을 수행하고, 수행 결과인 의도별 딥러닝 모델 정보를 도출하고, 도출된 의도별 딥러닝 모델 정보에 특정 의도 정보를 적용하여 특정 의도를 갖는 다수의 텍스트 문장들을 자동으로 생성하여 출력하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 관한 것이다.The present invention relates to a deep learning-based text sentence automatic generation system for improving the infinity of speech patterns, and more particularly, by using speech patterns of texts and intention information of texts, which are deep learning learning data collected from native speakers. Perform deep learning training, derive deep learning model information for each intention, which is the result of the execution, and automatically generate and output a number of text sentences with specific intentions by applying specific intention information to the derived deep learning model information for each intention. The present invention relates to a deep learning-based text sentence automatic generation system for improving the infinity of speech patterns.
음성인식 기술이 발전하면서 자연어 인식에 대한 수요도 높아지고 있다.As speech recognition technology advances, the demand for natural language recognition is also increasing.
종래 기술의 경우, 자연어 인식은 의도 파악과 대상의 추출을 위해 Rule, 통계 모델, 의도별 딥러닝 모델 정보 등 다양한 모델을 사용하여 자연어 인식이 수행되는데, 실제 이러한 모델이 구현된 뒤 이를 검증하기 위한 데이터 수집이 용이치 않은 실정이다.In the case of the prior art, natural language recognition is performed using various models such as rules, statistical models, and deep learning model information for each intention in order to identify the intention and extract the object. It is difficult to collect data.
즉, 다수의 발화 데이터가 수집되어야 이러한 모델을 만들 수 있는데, 수집된 데이터의 대부분은 이미 모델을 생성하는 데 사용되었기 때문에, 검증용으로 재사용하기에는 부적합하다. 이에 따라, 검증용 자연어 문장 데이터를 새로 수집해야 하는데, 이는 비용과 시간이 매우 많이 드는 작업이다.That is, a large number of speech data must be collected to create such a model. Since most of the collected data has already been used to create a model, it is not suitable to be reused for verification. Accordingly, it is necessary to newly collect natural language sentence data for verification, which is a very expensive and time-consuming task.
따라서, 딥러닝 기술을 활용하여 기존에 수집된 데이터를 기반으로 새로운 테스트용 문장을 생성하는 기술과 이를 통해 모델 생성에 사용되지 않은 순수한 검증용 데이터를 확보할 수 있는 기술의 필요성이 대두되고 있다.Therefore, there is a need for a technology that generates new test sentences based on previously collected data using deep learning technology, and a technology that can secure pure data for verification that has not been used for model generation.
또한, 종래 기술의 경우, Dictation 및 NLU 기술 적용에 따른 인식 결과 Format이 변경될 수 밖에 없었다. 따라서, 기존의 Grammar Matching 방식으로 자동 평가는 불가능하였으며, 기존 평가시스템에서 발생하는 오류의 자동 수정의 필요성이 대두되고 있다.In addition, in the case of the prior art, the format was inevitably changed as a result of recognition according to application of dictation and NLU technology. Therefore, automatic evaluation was not possible with the existing Grammar Matching method, and the need for automatic correction of errors occurring in the existing evaluation system has emerged.
또한, 종래 기술의 경우, 음성 인식 장비에 자연어 처리 기술이 적용되면서 음성 인식 명령어로써 모든 경우의 발화 패턴이 입력 가능하게 되었으나, 사용자의 잠재적 발화 패턴을 수동으로 작성하여 테스트하는 것은 물리적으로 많은 시간과 비용이 소모되고 생성할 수 있는 패턴에 한계가 있다.In addition, in the case of the prior art, as natural language processing technology is applied to speech recognition equipment, speech patterns in all cases can be input as a speech recognition command. However, manually creating and testing a potential speech pattern of a user is physically time consuming and It is costly and there are limits to the patterns that can be created.
이에 따라, 발화 패턴의 무한성(infinity)을 개선한 사용자의 잠재적 발화 패턴을 자동으로 생성하는 자동화 시스템 개발이 필요해졌다.Accordingly, it is necessary to develop an automated system that automatically generates a user's potential utterance pattern with improved infinity of utterance patterns.
본 발명에서는 상기와 같은 종래 기술의 문제점을 개선하고자 원어민들로부터 수집된 딥러닝 학습자료인 텍스트들의 발화 패턴과 텍스트들의 공통 의도 정보를 이용하여 딥러닝 트레이닝을 수행하고, 수행 결과 의도별 딥러닝 모델 정보를 도출하고, 도출된 의도별 딥러닝 모델 정보에 특정 의도 정보를 적용하여 특정 의도를 갖는 다수의 텍스트 문장들을 자동으로 생성하여 출력하기 위한 딥러닝 기반의 자연어 발화 패턴 텍스트 문장 자동 생성시스템을 제안하게 되었다.In the present invention, in order to improve the problems of the prior art as described above, deep learning training is performed using speech patterns of texts, which are deep learning learning data collected from native speakers, and common intention information of texts, and a deep learning model for each intention as a result of the execution We propose a deep learning-based natural language speech pattern text sentence automatic generation system to automatically generate and output multiple text sentences with specific intentions by deriving information and applying specific intention information to the derived deep learning model information for each intention. Was done.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제1 목적은 수집된 딥러닝 학습 자료인 원어민 텍스트들의 발화 패턴과 텍스트들의 의도 정보를 이용하여 딥러닝 트레이닝을 수행하여 의도별 딥러닝 모델 정보를 생성하는 것을 목적으로 한다.Accordingly, the present invention has been proposed in consideration of the problems of the prior art as described above, and a first object of the present invention is to perform deep learning training using speech patterns of native-speaking texts and intention information of the collected deep learning learning data. It aims to generate deep learning model information by intention.
본 발명의 제2 목적은 생성된 의도별 딥러닝 모델 정보에 특정 의도 정보를 반영시켜 특정 의도를 갖는 텍스트 문장을 자동으로 생성하는 것을 목적으로 한다.A second object of the present invention is to automatically generate text sentences with specific intentions by reflecting specific intention information to the generated deep learning model information for each intention.
본 발명의 제3 목적은 생성된 텍스트 문장을 음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트(Text)로 활용하는 것을 목적으로 한다.A third object of the present invention is to utilize the generated text sentences as text for evaluation of NLU (Natural Language Understanding) of an automatic voice recognition evaluation system.
본 발명이 해결하고자 하는 과제를 달성하기 위하여, 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템은,In order to achieve the problem to be solved by the present invention, a deep learning-based text sentence automatic generation system for improving the infinity of speech patterns,
발화 패턴 정보와 의도 정보를 갖는 딥러닝 학습자료인 다양한 텍스트들을 입력받아 딥러닝 트레이닝을 수행하여 복수의 딥러닝 모델을 포함하는 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 딥러닝모델링부(100)와,Deep learning model information including a plurality of deep learning models is generated by receiving various texts, which are deep learning learning data having speech pattern information and intention information, and generated deep learning model information for each intention. The deep learning modeling unit 100 for providing the test sentence automatic generation unit 300,
테스트문장자동생성부(200)의 텍스트 문장 생성시 필요한 의도유형정보를 테스트문장자동생성부(200)로 제공하기 위한 출력의도입력부(200)와,An output intention input unit 200 for providing the intention type information necessary for the text sentence generation by the test sentence automatic generation unit 200 to the test sentence automatic generation unit 200,
상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여 의도유형정보에 해당하는 텍스트 문장을 생성하여 출력하고, 출력되는 텍스트 문장에 대한 신뢰값을 출력하기 위한 테스트문장자동생성부(300)를 포함하는 것을 특징으로 한다.Using the deep learning model information for each intention provided by the deep learning modeling unit 100 and the intention type information provided by the output intention input unit 200, a text sentence corresponding to the intention type information is generated, output, and output. It characterized in that it comprises a test sentence automatic generation unit 300 for outputting the confidence value for the text sentence.
이상의 구성 및 작용을 갖는 본 발명인 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템은 기존에 수집된 데이터(딥러닝 학습자료로 활용하기 위해 수집된 특정 의도를 갖는 다양한 발화패턴을 갖는 텍스트들)를 기반으로 수집된 데이터와는 다른 새로운 텍스트 문장(수집된 텍스트의 발화패턴과 동일한 의도를 갖되 다른 발화패턴을 갖는 텍스트 문장)을 자동으로 생성 출력함으로써, 사용자의 잠재적 발화 패턴 즉, 잠재적 발화 패턴의 무한성(infinity)을 개선할 수 있는 효과를 제공하게 된다.The present inventors having the above configuration and action, a deep learning-based text sentence automatic generation system for improving the infinity of speech patterns, uses previously collected data (various speech patterns with specific intentions collected for use as deep learning learning data). The user's potential speech pattern, that is, by automatically generating and outputting a new text sentence (text sentence with the same intention as the speech pattern of the collected text but different speech pattern) different from the collected data based on the It provides an effect that can improve the infinity of the potential firing pattern.
또한, 사용자를 대상으로 직접 평가용 코퍼스(말뭉치)를 수집하지 않아도 자동적으로 의도 유형별 텍스트 문장(모델 생성에 사용되지 않은 순수한 검증용 데이터)을 확보할 수 있게 되어, 이를 음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트(Text)로 활용함으로써, 사용자의 잠재적 발화 패턴을 수동으로 작성하여 테스트함에 따른 장시간 소요와 막대한 비용 소모를 줄일 수 있는 효과를 제공하게 된다.In addition, it is possible to automatically secure text sentences (pure verification data not used for model generation) by type of intention without directly collecting the evaluation corpus (corpus) for users, and this is the NLU of the automatic evaluation system for speech recognition. By using it as a text for evaluation of (Natural Language Understanding), it provides the effect of reducing the time required and enormous cost consumption by manually writing and testing the user's potential speech pattern.
도 1은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템을 개략적으로 나타낸 전체 구성도.1 is an overall configuration diagram schematically showing a system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to a first embodiment of the present invention.
도 2는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 딥러닝모델링부(100) 블록도.2 is a block diagram of a deep learning modeling unit 100 of a system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to the first embodiment of the present invention.
도 3은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 RNN 기본 구조 예시도.3 is a diagram illustrating the basic structure of an RNN of a system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to the first embodiment of the present invention.
도 4는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 테스트문장자동생성부(300) 블록도.4 is a block diagram of an automatic test sentence generation unit 300 of a system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to the first embodiment of the present invention.
도 5는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 테스트문장자동생성부(300)를 통해 생성되는 자동 텍스트 문장 생성 구조도.FIG. 5 is a structural diagram of automatic text sentence generation generated by the test sentence automatic generation unit 300 of the deep learning-based automatic text sentence generation system for improving the infinity of speech patterns according to the first embodiment of the present invention.
도 6은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 RNN 알고리즘 구조 및 트레이닝 파라미터 예시도.6 is an exemplary diagram of an RNN algorithm structure and training parameters of a system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to the first embodiment of the present invention.
도 7은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 RNN 모델 트레이닝 예시도.7 is a diagram illustrating an example of training an RNN model of a system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to the first embodiment of the present invention.
도 8은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 의해 생성된 자동 생성 결과 시험 예시도.8 is a diagram illustrating an example of an automatic generation result test generated by a deep learning-based text sentence automatic generation system for improving the infinity of a speech pattern according to the first embodiment of the present invention.
도 9는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 의해 생성된 의도 유형별 텍스트 문장 출력 예시도.9 is a diagram illustrating an example of outputting text sentences for each intention type generated by the deep learning-based automatic text sentence generation system for improving the infinity of speech patterns according to the first embodiment of the present invention.
<부호의 설명><Explanation of code>
100 : 딥러닝모델링부100: deep learning modeling unit
200 : 출력의도입력부200: output intention input unit
300 : 테스트문장자동생성부300: Test sentence automatic generation unit
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. The following content merely illustrates the principles of the present invention. Therefore, a person skilled in the art can implement the principles of the present invention and invent various devices included in the concept and scope of the present invention, although not clearly described or illustrated herein.
또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.In addition, all conditional terms and examples listed in this specification are, in principle, intended to be clearly intended only for the purpose of making the concept of the present invention understood, and should be understood as not limiting to the embodiments and states specifically listed as described above. do.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다.In describing the present invention, terms such as first and second may be used to describe various elements, but the elements may not be limited by terms.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.When a component is connected to or is referred to as being connected to another component, it can be understood that it may be directly connected or connected to the other component, but other components may exist in the middle. .
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention, and expressions in the singular may include a plurality of expressions unless the context clearly indicates otherwise.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.In the present specification, terms such as include or include are intended to designate the existence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, and one or more other features or numbers, It may be understood that the presence or addition of steps, operations, components, parts, or combinations thereof, does not preclude the possibility of preliminary exclusion.
본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템은,The system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to the first embodiment of the present invention,
발화 패턴 정보와 의도 정보를 갖는 딥러닝 학습자료인 다양한 텍스트들을 입력받아 딥러닝 트레이닝을 수행하여 복수의 딥러닝 모델을 포함하는 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 딥러닝모델링부(100)와,Deep learning model information including a plurality of deep learning models is generated by receiving various texts, which are deep learning learning data having speech pattern information and intention information, and generated deep learning model information for each intention. The deep learning modeling unit 100 for providing the test sentence automatic generation unit 300,
테스트문장자동생성부(200)의 텍스트 문장 생성시 필요한 의도유형정보를 테스트문장자동생성부(200)로 제공하기 위한 출력의도입력부(200)와,An output intention input unit 200 for providing the intention type information necessary for the text sentence generation by the test sentence automatic generation unit 200 to the test sentence automatic generation unit 200,
상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여 의도유형정보에 해당하는 텍스트 문장을 생성하여 출력하고, 출력되는 텍스트 문장에 대한 신뢰값을 출력하기 위한 테스트문장자동생성부(300)를 포함하여 구성되는 것을 특징으로 한다.Using the deep learning model information for each intention provided by the deep learning modeling unit 100 and the intention type information provided by the output intention input unit 200, a text sentence corresponding to the intention type information is generated, output, and output. It characterized in that it is configured to include a test sentence automatic generation unit 300 for outputting the confidence value for the text sentence.
또한, 상기 딥러닝모델링부(100)는,In addition, the deep learning modeling unit 100,
딥러닝 학습자료인 특정 발화패턴을 갖는 복수의 텍스트들을 입력받고, 입력된 텍스트들을 트레이닝모델링부(130)로 제공하기 위한 모델텍스트코퍼스부(110);A model text corpus unit 110 for receiving a plurality of texts having a specific speech pattern, which is a deep learning learning material, and providing the input texts to the training modeling unit 130;
모델텍스트코퍼스부(110)에 입력되는 텍스트들의 의도를 입력받고, 입력된 해당 의도를 해당 텍스트에 태깅하고, 텍스트마다 의도가 태깅된 택스트별 의도 태깅정보를 트레이닝모델링부(130)로 제공하기 위한 모델의도입력부(120);To receive the intention of the texts input to the model text corpus unit 110, tag the input corresponding intention to the text, and provide intention tagging information for each text tagged with the intention for each text to the training modeling unit 130 A model intention input unit 120;
상기 모델텍스트코퍼스부(110)가 제공한 특정 발화패턴을 갖는 복수의 텍스트들과 모델의도입력부(120)가 제공한 텍스트별 의도 태깅정보를 이용하여 딥러닝 트레이닝을 수행하여 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 트레이닝모델링부(130);를 포함하여 구성되는 것을 특징으로 한다.Deep learning model for each intention by performing deep learning training using a plurality of texts having a specific speech pattern provided by the model text corpus unit 110 and intention tagging information for each text provided by the model intention input unit 120 And a training modeling unit 130 for generating information and providing the generated deep learning model information for each intention to the automatic test sentence generation unit 300.
이때, 상기 트레이닝모델링부(130)는,At this time, the training modeling unit 130,
딥러닝 모델링시 모델링에 관한 파라미터를 조정하는 모델링파라미터제공모듈(131)을 포함하여 구성되는 것을 특징으로 한다.It characterized in that it comprises a modeling parameter providing module 131 for adjusting parameters related to modeling during deep learning modeling.
또한, 상기 테스트문장자동생성부(300)는,In addition, the test sentence automatic generation unit 300,
상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여, 상기 의도유형정보에 해당하는 의도를 갖는 다양한 발화패턴의 텍스트 문장들을 자동으로 생성하기 위한 연산모델부(310);By using deep learning model information for each intention provided by the deep learning modeling unit 100 and intention type information provided by the output intention input unit 200, various speech patterns having an intention corresponding to the intention type information An operation model unit 310 for automatically generating text sentences;
상기 연산모델부(310)가 생성한 텍스트 문장들을 출력하기 위한 코퍼스출력부(320);A corpus output unit 320 for outputting text sentences generated by the calculation model unit 310;
상기 코퍼스출력부(320)를 통해 출력되는 텍스트 문장이 출력의도입력부(200)를 통해 입력된 의도유형정보의 의도에 얼마나 유사한지를 나타내는 신뢰값을 출력하기 위한 신뢰값출력부(330);를 포함하여 구성되는 것을 특징으로 한다.A confidence value output unit 330 for outputting a confidence value indicating how similar the text sentence output through the corpus output unit 320 is to the intention of the intention type information input through the output intention input unit 200; It characterized in that it is configured to include.
이때, 상기 연산모델부(310)는,At this time, the calculation model unit 310,
생성된 텍스트 문장 출력시 출력 옵션에 관한 파라미터를 조정하기 위한 출력파라미터제공모듈(311);을 더 포함하여 구성되는 것을 특징으로 한다.And an output parameter providing module 311 for adjusting a parameter related to an output option when outputting the generated text sentence.
또한, 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은,In addition, the text sentences generated and output by the test sentence automatic generation unit 300,
딥러닝 학습자료로 사용되기 위해 입력된 텍스트들과는 동일한 의도 유형을 갖되 다른 발화 패턴을 갖는 텍스트 문장인 것을 특징으로을 특징으로 한다.It is characterized in that it is a text sentence having the same intention type as the text input to be used as a deep learning learning material but having a different speech pattern.
또한, 상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은,In addition, the text sentence generated and output by the test sentence automatic generation unit 300,
음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트로 활용되는 것을 특징으로 한다.It is characterized by being used as text for evaluation of NLU (Natural Language Understanding) of speech recognition automatic evaluation system.
이하에서는, 본 발명에 의한 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, a detailed description will be given through an embodiment of a system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to the present invention.
도 1은 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템을 개략적으로 나타낸 전체 구성도이다.1 is an overall configuration diagram schematically showing a system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to a first embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명인 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템(1000)은 딥러닝모델링부(100), 출력의도입력부(200), 테스트문장자동생성부(300)를 포함하여 구성되게 된다.As shown in Fig. 1, the deep learning-based text sentence automatic generation system 1000 for improving the infinity of the speech pattern according to the present invention includes a deep learning modeling unit 100, an output intention input unit 200, and an automatic test sentence. It will be configured to include the generation unit 300.
상기 딥러닝모델링부(100)는 발화 패턴 정보와 의도 정보를 갖는 딥러닝 학습자료인 다양한 텍스트들을 입력받아 딥러닝 트레이닝을 수행하여 복수의 딥러닝 모델을 포함하는 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 수단이다.The deep learning modeling unit 100 receives various texts, which are deep learning learning data having speech pattern information and intention information, and performs deep learning training to generate deep learning model information for each intention including a plurality of deep learning models. , It is a means for providing the generated deep learning model information for each intention to the test sentence automatic generation unit 300.
예를 들어, 딥러닝모델링부(100)로 입력되는 딥러닝 학습자료가 '1.판다 레스토랑 찾기', '2.나는 셜록홈즈가 누구인지 알고 싶다' 등일 때, 입력되는 각각의 텍스트들의 발화 패턴 정보는 "판다_레스토랑_찾기", "나_셜록홈즈_누구인지_알고싶다" 이고, 입력되는 각각의 텍스트들의 의도 정보는 '레스토랑 검색','인물검색' 이되는 것이다.For example, when the deep learning learning material input to the deep learning modeling unit 100 is '1. Find a panda restaurant', '2. I want to know who Sherlock Holmes is', etc., utterance patterns of each input text The information is "Panda_Restaurant_Find", "I_Sherlock Holmes_Who is_I want to know", and the intention information of each input text is'Restaurant Search' and'People Search'.
이와 같이 딥러닝모델링부(100)는 발화 패턴과 의도 정보를 갖는 다수의 딥러닝 학습자료인 텍스트들을 입력받아 딥러닝 트레이닝을 수행하고, 수행 결과인 의도별 딥러닝 모델 정보(복수의 딥러닝 모델 포함)를 테스트문장자동생성부(300)로 제공하게 된다.In this way, the deep learning modeling unit 100 performs deep learning training by receiving texts, which are a plurality of deep learning learning data having speech patterns and intention information, and deep learning model information for each intention (a plurality of deep learning models). Included) is provided to the test sentence automatic generation unit 300.
상기 출력의도입력부(200)는 테스트문장자동생성부(300)의 텍스트 문장 생성시 필요한 의도유형정보를 테스트문장자동생성부(300)로 제공하기 위한 수단이다.The output intention input unit 200 is a means for providing the intention type information required when the text sentence is generated by the test sentence automatic generating unit 300 to the test sentence automatic generating unit 300.
예를 들어, '레스토랑 찾기'라는 의도 유형을 테스트문장자동생성부(300)로 제공하여, 테스트문장자동생성부(300)가 '레스토랑 찾기'라는 의도를 갖는 다양한 발화 패턴의 텍스트 문장을 생성 출력하도록 하는 것이다.For example, by providing an intention type of'find a restaurant' to the automatic test sentence generation unit 300, the automatic test sentence generation unit 300 generates and outputs text sentences of various speech patterns with the intention of'finding a restaurant'. To do it.
상기 테스트문장자동생성부(300)는 상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여 의도유형정보에 해당하는 텍스트 문장을 생성하여 출력하고, 출력되는 텍스트 문장에 대한 신뢰값을 출력하는 구성이다.The test sentence automatic generation unit 300 corresponds to intention type information by using deep learning model information for each intention provided by the deep learning modeling unit 100 and intention type information provided by the output intention input unit 200. This is a configuration that generates and outputs a text sentence that is written and outputs a confidence value for the text sentence that is output.
예를 들어, 출력의도입력부(200)가 제공한 의도유형정보가 '레스토랑 찾기' 라면, 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보 중, '레스토랑 찾기'란 의도의 딥러닝 모델 정보를 이용하여 다양한 발화 패턴을 갖는 '레스토랑 찾기'란 의도의 텍스트 문장들을 생성하여 출력하는 것이다.For example, if the intention type information provided by the output intention input unit 200 is'Find a restaurant', among the deep learning model information for each intention provided by the deep learning modeling unit 100,'Find a restaurant' is a deep 'Restaurant search' with various speech patterns using the learning model information is to create and output text sentences of intention.
도 2는 본 발명의 제1 실시예에 따른 딥러닝 기반의 발화 패턴 무한성이 개선된 텍스트 문장 자동 생성시스템의 딥러닝모델링부(100) 블록도이다.2 is a block diagram of a deep learning modeling unit 100 of an automatic text sentence generation system with improved speech pattern infinity based on deep learning according to the first embodiment of the present invention.
도 2에 도시한 바와 같이, 상기 딥러닝모델링부(100)는 모델텍스트코퍼스부(110), 모델의도입력부(120), 트레이닝모델링부(130)를 포함하여 구성된다.As shown in FIG. 2, the deep learning modeling unit 100 includes a model text corpus unit 110, a model intention input unit 120, and a training modeling unit 130.
구체적으로 설명하면, 상기 모델텍스트코퍼스부(110)는 딥러닝 학습자료인 특정 발화패턴을 갖는 복수의 텍스트들을 입력받고, 입력된 텍스트들을 트레이닝모델링부(130)로 제공하는 것을 특징으로 한다.Specifically, the model text corpus unit 110 receives a plurality of texts having a specific speech pattern, which is a deep learning learning material, and provides the input texts to the training modeling unit 130.
특히 상기 입력되는 특정 발화패턴을 갖는 복수의 텍스트들은 각각의 의도를 갖고 있게 된다.In particular, a plurality of texts having a specific speech pattern to be input have respective intentions.
예를 들어, 입력되는 특정 발화패턴을 갖는 복수의 텍스트들이 1.Where is the <Panda Restaurant>?, 2.I want to look for <Panda Restaurant>, 3.Could you please find <Panda Restaurant>? 라면, 상기 텍스트들은 'Panda' 란 식당을 찾으라는 의도를 갖는 텍스트들인 것이다. 즉, 상기 텍스트들은 'Find Restaurant(식당 찾기)'라는 의도의 텍스트들인 것이다.For example, a plurality of texts having a specific speech pattern to be input are 1.Where is the <Panda Restaurant>?, 2.I want to look for <Panda Restaurant>, 3.Could you please find <Panda Restaurant>? If so, the above texts are texts intended to find a restaurant called'Panda'. That is, the texts are texts intended to be'Find Restaurant'.
마찬가지로, 다른 예로서, 음악 검색, 주소 검색, 날씨 검색, 주식 검색 등의 다양한 의도에 해당하는 다양한 발화 패턴을 갖는 텍스트들이 모델텍스트코퍼스부(110)를 통해 입력되는 것이다.Similarly, as another example, texts having various speech patterns corresponding to various intentions such as music search, address search, weather search, stock search, etc. are input through the model text corpus unit 110.
특히, 딥러닝 학습자료인 특정 발화패턴을 갖는 복수의 텍스트들의 모델텍스트코퍼스부(110)로의 입력은 수집된 텍스트들의 사람에 의한 수동 입력과 텍스트 수집 로봇에 의해 수집된 텍스트들의 로봇에 의한 자동 입력을 포함하는 것을 특징으로 한다.In particular, the input of a plurality of texts having a specific speech pattern, which is a deep learning learning data, into the model text corpus unit 110 is a manual input of the collected texts by a human and automatic input of the texts collected by the text collecting robot by the robot. It characterized in that it comprises a.
그리고, 모델의도입력부(120)는 모델텍스트코퍼스부(110)에 입력되는 텍스트들의 의도를 입력받고, 입력된 해당 의도를 해당 텍스트에 태깅하고, 텍스트마다 의도가 태깅된 택스트별 의도 태깅정보를 트레이닝모델링부(130)로 제공하는 것을 특징으로 한다.In addition, the model intention input unit 120 receives the intention of the texts input to the model text corpus unit 110, tags the input corresponding intention to the corresponding text, and stores intention tagging information for each text whose intention is tagged for each text. It characterized in that it is provided to the training modeling unit 130.
예를 들어, 모델텍스트코퍼스부(110)에 입력되는 1번 텍스트가 "Where is the <Panda Restaurant>?"이고 1번 텍스트의 의도가 식당 찾기라는 정보가 모델의도입력부(120)에 입력되면, 모델의도입력부(120)는 입력된 1번 텍스트인 "Where is the <Panda Restaurant>?"에 "식당 찾기"란 의도를 태깅하고, "식당 찾기"란 의도정보가 태깅된 텍스트별 의도태킹정보(예:"Where is the <Panda Restaurant>? _식당 찾기")를 트레이닝모델링부(300)로 제공하게 된다.For example, if text 1 input to the model text corpus unit 110 is "Where is the <Panda Restaurant>?" and information indicating that the intention of text 1 is to find a restaurant is input to the model intention input unit 120 , The model intention input unit 120 tags the intention of "Find a restaurant" in the input text "Where is the <Panda Restaurant>?", and the intention tag for each text tagged with the intention information of "Find a restaurant" Information (eg, "Where is the <Panda Restaurant>? _Find a restaurant") is provided to the training modeling unit 300.
이후, 상기 트레이닝모델링부(130)는 상기 모델텍스트코퍼스부(110)가 제공한 특정 발화패턴을 갖는 복수의 텍스트들과 모델의도입력부(120)가 제공한 텍스트별 의도태깅정보를 이용하여 딥러닝 트레이닝을 수행하여 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하는 기능을 수행하게 된다.Thereafter, the training modeling unit 130 uses a plurality of texts having a specific speech pattern provided by the model text corpus unit 110 and intention tagging information for each text provided by the model intention input unit 120 It performs a function of generating deep learning model information for each intention by performing learning training, and providing the generated deep learning model information for each intention to the test sentence automatic generation unit 300.
상기 트레이닝모델링부(130)는 의도별 딥러닝 모델 정보 생성을 위해 도 3에 도시된 종래의 RNN(Recurrent Neural Network) 알고리즘을 활용할 수 있다.The training modeling unit 130 may utilize the conventional recurrent neural network (RNN) algorithm shown in FIG. 3 to generate deep learning model information for each intention.
상기 RNN(Recurrent Neural Network) 알고리즘은 입력된 텍스트들의 문장은 시간의 순서에 따라 그 연쇄가 달라질 수 있는 특성을 지니고 있으므로 하나의 단어만을 이해하는 것이 아니라, 이전 단어와 현재 단어의 관계를 학습한 후, 이후 단어를 예측하는 알고리즘인 것으로 종래의 기술인바 구체적인 설명은 생략한다.Since the RNN (Recurrent Neural Network) algorithm has the characteristic that the chain of input texts can be changed according to the sequence of time, it is not only understanding one word, but after learning the relationship between the previous word and the current word. , Since it is an algorithm for predicting words after that, a detailed description thereof will be omitted.
한편, 부가적인 양태에 따라, 상기 트레이닝모델링부(130)는 딥러닝 모델링시 모델링에 관한 파라미터를 조절하는 모델링파라미터제공모듈(131)를 더 포함하여 구성되는 것을 특징으로 한다.Meanwhile, according to an additional aspect, the training modeling unit 130 is characterized in that it is configured to further include a modeling parameter providing module 131 that adjusts parameters related to modeling during deep learning modeling.
예를 들어, 딥러닝 모델링시 모델링의 차수, 모델링의 깊이, 모델링 네트워크 유형 등과 같은 모델링시 필요한 모델링 옵션을 조절하여 모델링의 차수, 깊이, 네트워크 유형등을 조절할 필요가 있는데, 상기 모델링파라미터제공모듈(131)은 이러한 모델링 옵션에 관한 모델링 파라미터를 트레이닝모델링부(130)에 제공하여 제공된 파라미터로 모델링이 이루어질 수 있도록 하는 것이다.For example, in deep learning modeling, it is necessary to adjust the modeling order, depth, network type, etc. by adjusting modeling options necessary for modeling, such as modeling order, modeling depth, modeling network type, etc., the modeling parameter providing module ( 131) provides modeling parameters related to these modeling options to the training modeling unit 130 so that modeling can be performed using the provided parameters.
도 4는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 테스트문장자동생성부(300) 블록도이다.4 is a block diagram of an automatic test sentence generation unit 300 of a system for automatically generating text sentences based on deep learning for improving the infinity of speech patterns according to the first embodiment of the present invention.
도 5는 본 발명의 제1 실시예에 따른 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템의 테스트문장자동생성부(300)를 통해 생성되는 자동 텍스트 문장 생성 구조도이다.5 is a structural diagram of automatic text sentence generation generated by the test sentence automatic generation unit 300 of the deep learning-based automatic text sentence generation system for improving the infinity of speech patterns according to the first embodiment of the present invention.
도 4 내지 도 5에 도시한 바와 같이, 상기 테스트문장자동생성부(300)는 연산모델부(310), 코퍼스출력부(320), 신뢰값출력부(330)을 포함하여 구성되게 된다.As shown in FIGS. 4 to 5, the automatic test sentence generation unit 300 includes a calculation model unit 310, a corpus output unit 320, and a confidence value output unit 330.
상기 연산모델부(310)는 딥러닝모델링부(100)로부터 제공된 의도별 딥러닝 모델 정보(50)와 출력의도입력부(200)를 통해 제공된 의도유형정보를 이용하여 상기 의도유형정보에 해당하는 의도를 갖는 다양한 발화패턴의 텍스트 문장들을 자동 생성하게 된다.The calculation model unit 310 uses the intention-specific deep learning model information 50 provided from the deep learning modeling unit 100 and the intention type information provided through the output intention input unit 200 to correspond to the intention type information. Text sentences of various speech patterns with intention are automatically generated.
예를 들어, 딥러닝모델링부(100)에 5만개의 원어민 텍스트가 입력되고 입력된 텍스트들은 150개의 의도 유형으로 구분되고, 5만개의 원어민 텍스트는 150개의 의도 유형별로 특정한 발화패턴을 갖고 있으며, 딥러닝모델링부(100)의 트레이닝모델링부(130)는 상술한 바와 같이 RNN(Recurrent Neural Network) 알고리즘을 활용하여 의도별 딥러닝 모델 정보(50)을 생성하여 연산모델부(310)로 제공하는 것이다.For example, 50,000 native-speaking texts are input to the deep learning modeling unit 100, and the input texts are divided into 150 intention types, and 50,000 native-speaking texts have specific speech patterns for each of 150 intention types, The training modeling unit 130 of the deep learning modeling unit 100 generates deep learning model information 50 for each intention by using a recurrent neural network (RNN) algorithm as described above and provides it to the computational model unit 310. will be.
딥러닝모델링부(100)로부터 의도별 딥러닝 모델 정보(50)와 출력의도입력부(200)로부터 의도유형정보를 제공받은 상기 연산모델부(310)는 상기 의도유형정보에 해당하는 의도를 갖는 다양한 발화패턴의 텍스트 문장들을 자동 생성하게 되는 것이다The calculation model unit 310, which received deep learning model information 50 for each intention from the deep learning modeling unit 100 and intention type information from the output intention input unit 200, has an intention corresponding to the intention type information. It is to automatically generate text sentences with various speech patterns.
도 6을 참조하여 구체적으로 설명하면, 딥러닝모델링부(100)로부터 의도별 딥러닝 모델 정보(50)와 출력의도입력부(200)로부터 의도유형정보를 제공받은 연산모델부(310)는 예를 들어, GRU Cell(Gated Recurrent Unit)이라는 대표적인 RNN 알고리즘을 이용하여 출력값인 다양한 발화패턴의 텍스트 문장들을 자동 생성하는 것이다.Referring to FIG. 6, the calculation model unit 310 receiving deep learning model information 50 for each intention from the deep learning modeling unit 100 and intention type information from the output intention input unit 200 is an example. For example, text sentences with various speech patterns, which are output values, are automatically generated by using a representative RNN algorithm called GRU Cell (Gated Recurrent Unit).
도 7을 참조하여 GRU Cell(Gated Recurrent Unit)이라는 RNN 알고리즘을 이용한 다양한 발화패턴의 텍스트 문장 자동 생성에 대해 설명한다.With reference to FIG. 7, automatic generation of text sentences of various speech patterns using an RNN algorithm called GRU Cell (Gated Recurrent Unit) will be described.
예를 들어, 입력 데이터 <STR>는 출력의도입력부(200)로부터 제공된 의도유형정보에 해당하는 것으로 예를 들어, 의도유형정보가 "식당 찾기"란 의도인 경우, 입력 데이터 <STR>가 S1을 통과하면 Find 라는 출력값이 나오고, 입력 데이터인 Find를 S2에 통과시키면 me 라는 출력값이 나오고, me를 S3에 통과시키면 POI(찾는 목적지 의미함)라는 출력값이 나오고 POI(찾는 목적지 의미함)를 S4에 통과시키면 문장이 종료되는 마침표가 출력됨으로 "Find me POI."란 식당 찾기란 의도를 갖는 특정 발화패턴의 텍스트 문장이 생성 되는것이다. For example, the input data <STR> corresponds to the intention type information provided from the output intention input unit 200. For example, when the intention type information is the intention of "Find a restaurant", the input data <STR> is S1 If you pass Find, the output value of Find comes out, if you pass the input data Find through S2, you get an output value of me. If you pass me through S3, you get an output value called POI (means the destination you are looking for), and POI (means the destination you are looking for) is S4. When passed, a period that ends the sentence is outputted, so a text sentence with a specific speech pattern with the intention of finding a restaurant called "Find me POI." is created.
상기 코퍼스출력부(320)는 상기 연산모델부(310)가 자동 생성한 텍스트 문장을 출력하게 되는 것이다. 이때 연산모델부(310)가 자동 생성한 텍스트 문장들은 딥러닝 학습자료로 딥러닝모델링부(100)에 입력된 텍스트와 의도는 동일하되 다른 발화 패턴을 갖는 텍스트 문장들인 것을 특징으로 한다.The corpus output unit 320 outputs a text sentence automatically generated by the calculation model unit 310. At this time, the text sentences automatically generated by the computational modeling unit 310 are text sentences having the same intention as the text input to the deep learning modeling unit 100 as deep learning learning data, but having different speech patterns.
예를 들어, 딥러닝 학습자료로 딥러닝모델링부(100)에 입력된 텍스트가 1. Where is the <Restaurant>?, 2. I want to look for <Restaurant>., 3. Could you please find <Restaurant>? 라면, 상기 연산모델부(310)가 자동 생성한 텍스트 문장은 4. Find <Restaurant>., 5. I want to find <Restaurant>., 6. Could you please looking for <Restaurant>., 7. Where is the <Restaurant>. 등과 같이 의도는 "식당 찾기"로 동일하지만 발화패턴이 상이한 텍스트 문장이 생성되고, 생성된 텍스트 문장들이 코퍼스출력부(320)를 통해 출력되는 것이다.For example, the text entered into the deep learning modeling unit 100 as a learning material for deep learning is 1. Where is the <Restaurant>?, 2. I want to look for <Restaurant>., 3. Could you please find < Restaurant>? If so, the text sentence automatically generated by the computational model unit 310 is 4. Find <Restaurant>., 5. I want to find <Restaurant>., 6. Could you please looking for <Restaurant>., 7. Where is the <Restaurant>. As such, text sentences with the same intention as "Find a restaurant" but different speech patterns are generated, and the generated text sentences are output through the corpus output unit 320.
따라서, '식당 찾기'라는 의도유형정보를 출력의도입력부(200)를 통해 입력하게 되면 '식당 찾기'란 동일 의도를 갖되 상기한 4번 내지 7번 등과 같이 발화 패턴이 서로 상이한 텍스트 문장이 연산모델부(310)에 의해 생성되고, 생성된 텍스트 문장들은 코퍼스출력부(320)를 통해 출력되는 것이다.Therefore, when the intention type information of'Find a restaurant' is input through the output intention input unit 200, text sentences with the same intention of'Find a restaurant' but with different utterance patterns are calculated. The text sentences generated by the model unit 310 are output through the corpus output unit 320.
즉, 상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은 딥러닝 학습자료로 사용되기 위해 딥러닝모델링부(100)에 입력된 텍스트들과는 동일한 의도 유형을 갖되 다른 발화 패턴을 갖는 텍스트 문장인 것을 특징으로 한다.That is, the text sentence generated and output by the test sentence automatic generation unit 300 has the same intention type as the texts input to the deep learning modeling unit 100 to be used as deep learning learning data, but has a different speech pattern. Characterized in that it is a sentence.
그리고, 상기 신뢰값출력부(330)는 코퍼스출력부(320)를 통해 출력되는 텍스트 문장이 출력의도입력부(200)를 통해 입력된 의도유형정보의 의도에 얼마나 유사한지를 나타내는 신뢰값을 출력하게 된다.Further, the confidence value output unit 330 outputs a confidence value indicating how similar the text sentence output through the corpus output unit 320 is to the intention of the intention type information input through the output intention input unit 200. do.
즉, 생성 출력되는 텍스트 문장이 출력의도입력부(200)를 통해 입력된 의도유형정보의 의도에 얼마나 유사한지를 확인할 수 있는 신뢰값 즉, 확률값을 출력하는 기능을 수행하게 된다.That is, a function of outputting a confidence value, that is, a probability value, that can confirm how similar the generated and output text sentence is to the intention of the intention type information input through the output intention input unit 200 is performed.
출력되는 텍스트 문장과 의도 유형간의 신뢰값(확률값) 계산은 일반적으로 확률적 거리값을 이용할 수 있는데, 이에 대한 구체적인 설명은 본 출원인이 출원하여 등록된 대한민국등록특허번호 제10-1890704호인 '음성 인식과 언어 모델링을 이용한 간편 메시지 출력장치 및 출력방법'과 대한민국등록특허번호 제10-1913191호인 '도메인 추출기반의 언어 이해 성능 향상장치및 성능 향상방법'에 구체적으로 설명되어 있다.Calculation of the confidence value (probability value) between the output text sentence and the intention type can generally use a probabilistic distance value, and a detailed description of this can be found in Korean Patent No. 10-1890704,'Speech Recognition' It is described in detail in'a simple message output device and output method using language modeling' and'A device for improving language comprehension performance based on domain extraction and a method for improving performance' in Korean Patent No. 10-1913191.
신뢰값을 계산하는 기술은 통계학 혹은 음성 인식 기술에서 주로 사용하는 기술로서, 토픽모델, 오피니언 마이닝, 텍스트 요약, 데이터 분석, 여론 조사 등에서 일반적으로 적용되는 기술이므로 신뢰값을 계산하는 원리를 구체적으로 설명하지 않아도 당업자들은 상기한 의미를 충분히 이해할 수 있다는 것은 자명한 사실이다.The technology to calculate the confidence value is a technology mainly used in statistics or speech recognition technology, and it is a technology commonly applied in topic models, opinion mining, text summarization, data analysis, and public opinion surveys, so the principle of calculating the confidence value is specifically explained. It is obvious that even if not, those skilled in the art can fully understand the above meaning.
한편, 부가적인 양태에 따라 상기 연산모델부(310)는 생성된 텍스트 문장 출력시 출력 옵션에 관한 파라미터를 조정하기 위한 출력파라미터제공모듈(311);을 더 포함하여 구성되는 것을 특징으로 한다.On the other hand, according to an additional aspect, the calculation model unit 310 is characterized in that it is configured to further include an output parameter providing module 311 for adjusting a parameter related to an output option when the generated text sentence is output.
예를 들어, 출력파라미터제공모듈(311)이 조정할 수 있는 출력 옵션에 관한 파라미터는 의도 유형과 의도유형별 출력 텍스트 문장 수량일 수 있다.For example, a parameter related to an output option that can be adjusted by the output parameter providing module 311 may be an intention type and an output text sentence quantity for each intention type.
예를 들어, 출력파라미터제공모듈(311)를 통해 의도유형을 지정(예: 길찾기, 라디오 검색, 주소 검색 등)하고, 지정된 의도 유형별 출력 텍스트 문장의 수량을 5개로 조정하면, 도 9와 같이, 의도 유형별로 5개씩 자동 생성된 텍스트 문장을 출력하게 되는 것이다.For example, if the intention type is designated (eg, directions, radio search, address search, etc.) through the output parameter providing module 311 and the number of output text sentences for each designated intention type is adjusted to five, as shown in FIG. , 5 automatically generated text sentences for each type of intention are output.
결론적으로, 상기 테스트문장자동생성부(300)의 연산모델부(310), 코퍼스출력부(320), 신뢰값출력부(330)에 의해, 딥러닝 모델 생성에 사용되지 않은 순수한 검증용 자연어 발화 패턴 텍스트 문장을 생성할 수 있고, 이를 음성인식장치의 테스트용 텍스트 문장으로 활용할 수 있는 효과를 발휘하게 되는 것이다. 특히, 상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은 음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트로 활용될 수 있다.In conclusion, by the calculation model unit 310, the corpus output unit 320, and the confidence value output unit 330 of the test sentence automatic generation unit 300, pure natural language for verification that is not used for deep learning model generation is uttered. A pattern text sentence can be created, and the effect can be used as a test text sentence for a speech recognition device. In particular, the text sentence generated and output by the test sentence automatic generation unit 300 may be used as an evaluation text for NLU (Natural Language Understanding) of the automatic speech recognition evaluation system.
다음은 실제 본 발명인 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 의해 의도별로 출력되는 텍스트 문장의 적정성 즉, 신뢰성 및 입력 문장의 중복성을 시험한 예시를 도 8을 통해 설명하도록 한다.The following describes an example of testing the appropriateness of text sentences output for each intention, that is, reliability and redundancy of input sentences, by a deep learning-based automatic text sentence generation system for improving the infinity of speech patterns of the present inventors. Do it.
도 8과 같이, 10개 의도 유형별 의도 내용으로 Navigate, Search, FM, Search Nearest, Create Calendar, Find Address, Search Menu, DisableGPS, StockMarketTrend, Search Weather 를 입력할 경우에 적정성 즉, 신뢰성은 각각, 100%, 100%, 100%, 100%, 100%, 80%, 100%, 100%, 60%, 100% 으로서, 평균 신뢰값이 94%에 달하여 상당한 신뢰도가 있음을 확인할 수 있었다.As shown in Fig. 8, when entering Navigate, Search, FM, Search Nearest, Create Calendar, Find Address, Search Menu, DisableGPS, StockMarketTrend, and Search Weather as intention contents for each of 10 intention types, the appropriateness, that is, reliability is 100%, respectively. , 100%, 100%, 100%, 100%, 80%, 100%, 100%, 60%, 100%, the average confidence value reached 94%, it was confirmed that there is considerable reliability.
또한, 입력 문장의 중복성은 각각 40%, 40%, 80%, 40%, 0%, 60%, 20%, 40%, 20%, 20% 으로서, 평균 입력문장의 중복성이 36%에 달하여 모델 생성에 사용하지 않은 순수한 검증용 데이터의 신규 확보가 가능한 장점을 가지게 됨을 확인할 수 있었다.In addition, the redundancy of the input sentence is 40%, 40%, 80%, 40%, 0%, 60%, 20%, 40%, 20%, and 20%, respectively, and the redundancy of the average input sentence reaches 36%. It was confirmed that it has the advantage of securing new data for pure verification that was not used for generation.
또한, 도 9에 도시한 바와 같이, 1번 의도 유형인 Navigate에 대하여 하기와 같이, 새롭게 자동 생성된 자연어 발화 패턴의 텍스트 문장을 생성 출력할 수 있고, 이를 NLU 평가 Text로 활용할 수 있게 되는 것이다.In addition, as shown in FIG. 9, a text sentence of a newly automatically generated natural language speech pattern can be generated and output for Navigate, which is an intention type 1, as follows, and this can be used as an NLU evaluation text.
즉, Generated Pattern 1: navigate to a <POI> on <STREET> and <STREET> ,In other words, Generated Pattern 1: navigate to a <POI> on <STREET> and <STREET>,
Generated Pattern 2: navigate me over to a <POI> on <STREET> and <STREET>,Generated Pattern 2: navigate me over to a <POI> on <STREET> and <STREET>,
Generated Pattern 3: navigate me over to <POI>,Generated Pattern 3: navigate me over to <POI>,
Generated Pattern 4: navigate to the <STREET> and <STREET> intersection,Generated Pattern 4: navigate to the <STREET> and <STREET> intersection,
Generated Pattern 5: navigate to <POI> on the corner of <STREET> and <STREET>.Generated Pattern 5: navigate to <POI> on the corner of <STREET> and <STREET>.
결국, 의도 유형별로 비문법적인 문장이 생성될 확률이 각각 다르게 나타나지만 충분히 활용할 정도 수준의 매칭성을 보여주고 있음을 알 수 있으며, 이렇게 출력된 새로운 문장들을 정제(원본 중복 문장 제거, 비문법적 문장 제거, 도메인 정보 부족 제거 등)를 거치고 나면 NLU 평가 Text로 활용할 수 있게 되는 것이다.In the end, it can be seen that the probability of generating non-grammatical sentences for each type of intention is different, but it shows a level of matching that is sufficiently utilized, and the new sentences outputted in this way are refined (remove original duplicate sentences, After the lack of domain information is removed), it can be used as NLU evaluation text.
결국, 본 발명에 의하면, 딥러닝모델링부(100)를 통해 발화 패턴과 의도 정보를 갖는 원어민 텍스트들을 입력받아 딥러닝 트레이닝을 수행하고, 수행 결과인 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하면, 테스트문장자동생성부(300)는 제공된 의도별 딥러닝 모델 정보와 출력의도입력부(200)를 통해 제공된 의도 유형을 이용하여 의도 유형에 해당하는 각기 다른 발화 패턴을 갖는 텍스트 문장을 생성하고 출력함으로써, 사용자의 잠재적 발화 패턴의 무한성(infinity)을 개선할 수 있게 된다.After all, according to the present invention, the deep learning modeling unit 100 receives native-speaker texts having speech patterns and intention information, performs deep learning training, and automatically generates a test sentence for deep learning model information for each intention as a result of the execution. If provided as 300, the test sentence automatic generation unit 300 uses the deep learning model information for each intention and the intention type provided through the output intention input unit 200 to have different speech patterns corresponding to the intention type. By generating and outputting text sentences, it is possible to improve the infinity of the user's potential speech pattern.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be implemented by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.
본 발명인 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템은 기존에 수집된 데이터(딥러닝 학습자료로 활용하기 위해 수집된 특정 의도를 갖는 다양한 발화패턴을 갖는 텍스트들)를 기반으로 수집된 데이터와는 다른 새로운 텍스트 문장(수집된 텍스트의 발화패턴과 동일한 의도를 갖되 다른 발화패턴을 갖는 텍스트 문장)을 자동으로 생성 출력함으로써, 사용자의 잠재적 발화 패턴 즉, 잠재적 발화 패턴의 무한성(infinity)을 개선할 수 있는 효과를 제공하게 되므로 산업상 이용가능성도 높다.The present inventor's deep learning-based text sentence automatic generation system for improving the infinity of speech patterns is based on previously collected data (texts having various speech patterns with specific intentions collected for use as deep learning learning data). By automatically generating and outputting new text sentences (text sentences that have the same intention as the utterance patterns of the collected text, but different utterance patterns) different from the collected data, the user's potential utterance pattern, that is, the infinity of potential utterance patterns As it provides an effect to improve (infinity), it has high industrial applicability.

Claims (7)

  1. 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템에 있어서,In a deep learning-based text sentence automatic generation system for improving the infinity of speech patterns,
    발화 패턴 정보와 의도 정보를 갖는 딥러닝 학습자료인 다양한 텍스트들을 입력받아 딥러닝 트레이닝을 수행하여 복수의 딥러닝 모델을 포함하는 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 딥러닝모델링부(100)와,Deep learning model information including a plurality of deep learning models is generated by receiving various texts, which are deep learning learning data having speech pattern information and intention information, and generated deep learning model information for each intention. The deep learning modeling unit 100 for providing the test sentence automatic generation unit 300,
    테스트문장자동생성부(300)의 텍스트 문장 생성시 필요한 의도유형정보를 테스트문장자동생성부(300)로 제공하기 위한 출력의도입력부(200)와,An output intention input unit 200 for providing the intention type information required when the text sentence is generated by the test sentence automatic generating unit 300 to the test sentence automatic generating unit 300,
    상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여 의도유형정보에 해당하는 텍스트 문장을 생성하여 출력하고, 출력되는 텍스트 문장에 대한 신뢰값을 출력하기 위한 테스트문장자동생성부(300)를 포함하여 구성되는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.Using the deep learning model information for each intention provided by the deep learning modeling unit 100 and the intention type information provided by the output intention input unit 200, a text sentence corresponding to the intention type information is generated, output, and output. Deep learning-based text sentence automatic generation system for improving the infinity of speech patterns, characterized in that it comprises a test sentence automatic generation unit 300 for outputting a confidence value for a text sentence to be used.
  2. 제 1항에 있어서,The method of claim 1,
    상기 딥러닝모델링부(100)는,The deep learning modeling unit 100,
    딥러닝 학습자료인 특정 발화패턴을 갖는 복수의 텍스트들을 입력받고, 입력된 텍스트들을 트레이닝모델링부(130)로 제공하기 위한 모델텍스트코퍼스부(110);A model text corpus unit 110 for receiving a plurality of texts having a specific speech pattern, which is a deep learning learning material, and providing the input texts to the training modeling unit 130;
    모델텍스트코퍼스부(110)에 입력되는 텍스트들의 의도를 입력받고, 입력된 해당 의도를 해당 텍스트에 태깅하고, 텍스트마다 의도가 태깅된 택스트별 의도 태깅정보를 트레이닝모델링부(130)로 제공하기 위한 모델의도입력부(120);To receive the intention of the texts input to the model text corpus unit 110, tag the input corresponding intention to the text, and provide intention tagging information for each text tagged with the intention for each text to the training modeling unit 130 A model intention input unit 120;
    상기 모델텍스트코퍼스부(110)가 제공한 특정 발화패턴을 갖는 복수의 텍스트들과 모델의도입력부(120)가 제공한 텍스트별 의도 태깅정보를 이용하여 딥러닝 트레이닝을 수행하여 의도별 딥러닝 모델 정보를 생성하고, 생성된 의도별 딥러닝 모델 정보를 테스트문장자동생성부(300)로 제공하기 위한 트레이닝모델링부(130);를 포함하여 구성되는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.Deep learning model for each intention by performing deep learning training using a plurality of texts having a specific speech pattern provided by the model text corpus unit 110 and intention tagging information for each text provided by the model intention input unit 120 A training modeling unit 130 for generating information and providing the generated deep learning model information for each intention to the test sentence automatic generation unit 300; for improving the infinity of the speech pattern, comprising: Deep learning-based text sentence automatic generation system.
  3. 제 2항에 있어서,The method of claim 2,
    상기 트레이닝모델링부(130)는,The training modeling unit 130,
    딥러닝 모델링시 모델링에 관한 파라미터를 조정하는 모델링파라미터제공모듈(131)를 더 포함하여 구성되며,It is configured to further include a modeling parameter providing module 131 for adjusting parameters related to modeling during deep learning modeling,
    상기 모델링에 관한 파라미터는 모델링의 차수, 모델링의 깊이, 모델링 네트워크 유형을 포함하는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.The parameters related to the modeling include an order of modeling, a depth of modeling, and a modeling network type. A deep learning-based text sentence automatic generation system for improving infinity of speech patterns.
  4. 제 1항에 있어서,The method of claim 1,
    상기 테스트문장자동생성부(300)는,The test sentence automatic generation unit 300,
    상기 딥러닝모델링부(100)가 제공한 의도별 딥러닝 모델 정보와 상기 출력의도입력부(200)가 제공한 의도유형정보를 이용하여, 상기 의도유형정보에 해당하는 의도를 갖는 다양한 발화패턴의 텍스트 문장들을 자동으로 생성하기 위한 연산모델부(310);By using deep learning model information for each intention provided by the deep learning modeling unit 100 and intention type information provided by the output intention input unit 200, various speech patterns having an intention corresponding to the intention type information An operation model unit 310 for automatically generating text sentences;
    상기 연산모델부(310)가 생성한 텍스트 문장들을 출력하기 위한 코퍼스출력부(320);A corpus output unit 320 for outputting text sentences generated by the calculation model unit 310;
    상기 코퍼스출력부(320)를 통해 출력되는 텍스트 문장이 출력의도입력부(200)를 통해 입력된 의도유형정보의 의도에 얼마나 유사한지를 나타내는 신뢰값을 출력하기 위한 신뢰값출력부(330);를 포함하여 구성되는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.A confidence value output unit 330 for outputting a confidence value indicating how similar the text sentence output through the corpus output unit 320 is to the intention of the intention type information input through the output intention input unit 200; Deep learning-based text sentence automatic generation system for improving the infinity of speech patterns, characterized in that it comprises.
  5. 제 4항에 있어서,The method of claim 4,
    상기 연산모델부(310)는,The calculation model unit 310,
    생성된 텍스트 문장 출력시 출력 옵션에 관한 파라미터를 조정하기 위한 출력파라미터제공모듈(311);을 더 포함하여 구성되며,And an output parameter providing module 311 for adjusting a parameter related to an output option when outputting the generated text sentence,
    상기 출력 옵션에 관한 파라미터는 의도 유형과 의도유형별 출력 텍스트 문장 수량을 포함하는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.The parameter related to the output option includes an intention type and an output text sentence quantity for each intention type. A deep learning-based text sentence automatic generation system for improving infinity of a speech pattern.
  6. 제 1항에 있어서,The method of claim 1,
    상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은,The text sentence generated and output by the test sentence automatic generation unit 300,
    딥러닝 학습자료로 사용되기 위해 입력된 텍스트들과는 동일한 의도 유형을 갖되 다른 발화 패턴을 갖는 텍스트 문장인 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.A deep learning-based text sentence automatic generation system for improving the infinity of a speech pattern, characterized in that it is a text sentence having the same intention type as the input texts to be used as deep learning learning data but different speech patterns.
  7. 제 1항에 있어서,The method of claim 1,
    상기 테스트문장자동생성부(300)가 생성하여 출력하는 텍스트 문장은,The text sentence generated and output by the test sentence automatic generation unit 300,
    음성인식 자동평가시스템의 NLU(Natural Language Understanding)의 평가용 텍스트로 활용되는 것을 특징으로 하는 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템.Deep learning-based text sentence automatic generation system for improving the infinity of speech patterns, characterized in that it is used as text for evaluation of NLU (Natural Language Understanding) of speech recognition automatic evaluation system.
PCT/KR2019/006337 2019-04-15 2019-05-27 System for automatically generating text-based sentences on basis of deep learning to achieve improvement related to infinity of utterance patterns WO2020213785A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2019-0043515 2019-04-15
KR1020190043515A KR102017229B1 (en) 2019-04-15 2019-04-15 A text sentence automatic generating system based deep learning for improving infinity of speech pattern

Publications (1)

Publication Number Publication Date
WO2020213785A1 true WO2020213785A1 (en) 2020-10-22

Family

ID=67951389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006337 WO2020213785A1 (en) 2019-04-15 2019-05-27 System for automatically generating text-based sentences on basis of deep learning to achieve improvement related to infinity of utterance patterns

Country Status (2)

Country Link
KR (1) KR102017229B1 (en)
WO (1) WO2020213785A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102173382B1 (en) 2020-02-25 2020-11-03 휴멜로 주식회사 Apparatus for generating text and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224194A (en) * 2009-03-23 2010-10-07 Sony Corp Speech recognition device and speech recognition method, language model generating device and language model generating method, and computer program
KR20170078788A (en) * 2015-07-02 2017-07-07 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 On-board voice command identification method and apparatus, and storage medium
KR20180071931A (en) * 2016-12-20 2018-06-28 삼성전자주식회사 Electronic apparatus, method for determining user utterance intention of thereof, and non-transitory computer readable recording medium
KR20180124716A (en) * 2017-05-11 2018-11-21 경희대학교 산학협력단 Method for intent-context fusioning in healthcare systems for effective dialogue management
KR20190019294A (en) * 2017-08-17 2019-02-27 주식회사 엘지유플러스 Apparatus and method for Natural Language Processing Engine Performance Auto Evaluation System for use in Artificial Intelligence Device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040073291A (en) 2004-01-08 2004-08-19 정보통신연구진흥원 appraisal system of foreign language pronunciation and method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224194A (en) * 2009-03-23 2010-10-07 Sony Corp Speech recognition device and speech recognition method, language model generating device and language model generating method, and computer program
KR20170078788A (en) * 2015-07-02 2017-07-07 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 On-board voice command identification method and apparatus, and storage medium
KR20180071931A (en) * 2016-12-20 2018-06-28 삼성전자주식회사 Electronic apparatus, method for determining user utterance intention of thereof, and non-transitory computer readable recording medium
KR20180124716A (en) * 2017-05-11 2018-11-21 경희대학교 산학협력단 Method for intent-context fusioning in healthcare systems for effective dialogue management
KR20190019294A (en) * 2017-08-17 2019-02-27 주식회사 엘지유플러스 Apparatus and method for Natural Language Processing Engine Performance Auto Evaluation System for use in Artificial Intelligence Device

Also Published As

Publication number Publication date
KR102017229B1 (en) 2019-09-02

Similar Documents

Publication Publication Date Title
The SRI MAESTRO Team MAESTRO: Conductor of multimedia analysis technologies
WO2018151464A1 (en) Coding system and coding method using voice recognition
WO2018128238A1 (en) Virtual consultation system and method using display device
WO2016021937A1 (en) Method for outputting text data content as voice of text data sender
WO2014106979A1 (en) Method for recognizing statistical voice language
WO2014025135A1 (en) Method for detecting grammatical errors, error detecting apparatus for same, and computer-readable recording medium having the method recorded thereon
WO2020213785A1 (en) System for automatically generating text-based sentences on basis of deep learning to achieve improvement related to infinity of utterance patterns
WO2015023035A1 (en) Preposition error correcting method and device performing same
WO2018131955A1 (en) Method for analyzing digital contents
WO2015163684A1 (en) Method and device for improving set of at least one semantic unit, and computer-readable recording medium
WO2011162444A1 (en) Named entity dictionary combined with ontology schema and device and method for renewing named entity dictionary or mining rule database using mining rule
WO2021162362A1 (en) Method of training voice recognition model and voice recognition device trained by using same method
WO2017142109A1 (en) System and method for improving unstructured text extraction performance
WO2018088664A1 (en) Device for automatically detecting morpheme part of speech tagging corpus error by using rough sets, and method therefor
WO2015133790A1 (en) Translation chatting service providing device and method
WO2014200187A1 (en) Apparatus for learning vowel reduction and method for same
WO2020139058A1 (en) Cross-device voiceprint recognition
WO2020149541A1 (en) Method and device for automatically generating question-answer data set for specific topic
WO2019168253A1 (en) Interactive counseling chatbot device and method for hierarchically understanding user&#39;s expression and generating answer
WO2018169276A1 (en) Method for processing language information and electronic device therefor
CN107767717A (en) A kind of intelligent interaction tutoring system applied to foreign language teaching
WO2020158991A1 (en) Language learning system using concept maker of word
WO2021177499A1 (en) Method and device for automatically extracting new function of voice agent by using usage log analysis
WO2021182886A1 (en) Device and method for providing artificial intelligence-based virtual consultation service
WO2020204256A1 (en) Automatic multimedia speech recognition evaluation system using speech synthesis engine

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925290

Country of ref document: EP

Kind code of ref document: A1