KR20210074833A - 구문 분석 장치 및 방법 - Google Patents

구문 분석 장치 및 방법 Download PDF

Info

Publication number
KR20210074833A
KR20210074833A KR1020190165929A KR20190165929A KR20210074833A KR 20210074833 A KR20210074833 A KR 20210074833A KR 1020190165929 A KR1020190165929 A KR 1020190165929A KR 20190165929 A KR20190165929 A KR 20190165929A KR 20210074833 A KR20210074833 A KR 20210074833A
Authority
KR
South Korea
Prior art keywords
syntax analysis
learning
output layer
slot
intention
Prior art date
Application number
KR1020190165929A
Other languages
English (en)
Inventor
박성수
천창우
박찬일
박수현
이정국
김현태
이상구
유강민
신유현
최지헌
배상환
Original Assignee
현대자동차주식회사
서울대학교산학협력단
기아 주식회사
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 서울대학교산학협력단, 기아 주식회사, 현대오토에버 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190165929A priority Critical patent/KR20210074833A/ko
Priority to US16/901,437 priority patent/US11714960B2/en
Publication of KR20210074833A publication Critical patent/KR20210074833A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Abstract

본 발명의 일 실시예에 따른 구문 분석 장치는 사용자로부터 발화된 구문을 입력받는 입력부 및 상기 발화된 구문으로부터 상기 사용자의 발화 의도를 분류하기 위한 의도 출력층 확장 및 상기 구문의 정보를 포함하는 슬롯을 분류하기 위한 슬롯 출력층 확장 중 적어도 어느 하나 이상을 수행하며, 상기 발화된 구문이 상기 확장된 의도 출력층 및 상기 확장된 슬롯 출력층으로 분류되도록 기 생성된 발화 구문 분석 모델을 확장하는 학습부를 포함하여, 기 생성된 구문 분석 모델의 기능을 빠르게 확장할 수 있어 사용자로부터 발화된 구문에 대한 의도 및 슬롯을 폭 넓게 분류하도록 할 수 있다.

Description

구문 분석 장치 및 방법{SYNTACTIC ANALYSIS APPARATUS AND METHOD FOR THE SAME}
본 발명은 구문 분석 장치 및 방법에 관한 것이다.
구문 분석 장치는 사용자로부터 발화된 문장들을 포함하는 학습용 말뭉치를 기반으로 인공신경망을 통해 발화 문장을 학습하고, 구문 분석 모델을 생성한다. 또한, 구문 분석 장치는 구문 분석 모델을 통해 발화 문장이 어떤 의도를 가진 문장인지 분류하고, 정해진 슬롯으로 분류할 수 있다. 여기서, 학습용 말뭉치는 설계자에 의해 정해진 특정 분야 내에서 사용되는 문장, 단어 들을 포함할 수 있다.
예를들어, 구문 분석 장치는 '홍길동에게 전화해줘'라는 문장이 입력되면, 구문 분석 모델을 통해 발화 의도는 '전화 발신'이고, '홍길동'을 대화 대상의 슬롯으로 분류할 수 있다. 그러나, 구문 분석 모델은 정해진 분야에 대해서만 의도 및 슬롯을 분류할 수 있기 때문에 발화 문장이 정해진 분야에서 벗어나는 경우, 구문 분석 모델을 통해 의도 및 슬롯을 분류하기 어려운 문제가 있다.
본 발명의 일 목적은 출력층을 확장하고, 확장된 출력층에 대해 신규 학습용 말뭉치를 구성하여 학습하도록 함으로써, 기 생성된 구문 분석 모델의 기능을 확장할 수 있는 구문 분석 장치 및 방법을 제공하는데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 구문 분석 장치는 사용자로부터 발화된 구문을 입력받는 입력부 및 상기 발화된 구문으로부터 상기 사용자의 발화 의도를 분류하기 위한 의도 출력층 확장 및 상기 구문의 정보를 포함하는 슬롯을 분류하기 위한 슬롯 출력층 확장 중 적어도 어느 하나 이상을 수행하며, 상기 발화된 구문이 상기 확장된 의도 출력층 및 상기 확장된 슬롯 출력층으로 분류되도록 기 생성된 발화 구문 분석 모델을 확장하는 학습부를 포함한다.
상기 학습부는 상기 발화된 구문으로부터 분류하고자 하는 상기 사용자의 발화 의도를 기반으로 뉴런을 추가하여 상기 의도 출력층을 확장한다.
상기 학습부는 상기 발화된 구문으로부터 분류하고자 하는 슬롯을 기반으로 뉴런을 추가하여 상기 슬롯 출력층을 확장한다.
상기 학습부는 신규 학습용 말뭉치를 기반으로 학습을 수행하여 상기 기 생성된 발화 구문 분석 모델을 확장한다.
상기 신규 학습용 말뭉치는 기 생성된 학습용 말뭉치로부터 추출된 일부 정보 및 추가된 뉴런을 학습하기 위한 학습용 말뭉치를 포함한다.
상기 학습부는 상기 의도 출력층에 포함된 복수의 뉴런 중 상기 추가된 뉴런의 학습속도가 기 생성된 뉴런의 학습속도보다 빠르게 학습한다.
상기 학습부는 상기 발화된 구문에 대해 변환된 벡터값이 입력되는 입력층을 더 포함한다.
본 발명의 일 실시예에 따른 구문 분석 방법은 사용자로부터 발화된 구문을 입력받는 단계와, 상기 발화된 구문으로부터 상기 사용자의 발화 의도를 분류하기 위한 의도 출력층의 확장 및 상기 구문의 정보를 포함하는 슬롯을 분류하기 위한 슬롯 출력층의 확장 중 적어도 어느 하나 이상을 수행하는 단계 및 상기 발화된 구문이 상기 확장된 의도 출력층 및 상기 확장된 슬롯 출력층으로 분류되도록 기 생성된 발화 구문 분석 모델을 확장하는 단계를 포함한다.
상기 수행하는 단계에서, 상기 발화된 구문으로부터 분류하고자 하는 상기 사용자의 발화 의도를 기반으로 뉴런을 추가하여 상기 의도 출력층을 확장한다.
상기 수행하는 단계에서, 상기 발화된 구문으로부터 분류하고자 하는 슬롯을 기반으로 뉴런을 추가하여 상기 슬롯 출력층을 확장한다.
상기 기 생성된 발화 구문 분석 모델을 확장하는 단계는 신규 학습용 말뭉치를 기반으로 학습을 수행하여 상기 기 생성된 발화 구문 분석 모델을 확장한다.
상기 신규 학습용 말뭉치는 기 생성된 학습용 말뭉치로부터 추출된 일부 정보 및 추가된 뉴런을 학습하기 위한 학습용 말뭉치를 포함한다.
상기 기 생성된 발화 구문 분석 모델을 확장하는 단계에서 상기 확장된 의도 출력층에 포함된 복수의 뉴런 중 상기 추가된 뉴런의 학습속도가 기 생성된 뉴런의 학습속도보다 빠르게 학습되도록 한다.
본 발명의 일 실시예에 따른 구문 분석 장치 및 방법은 확장된 출력층에 대해 신규 학습용 말뭉치를 구성하여 학습하도록 함으로써, 기 생성된 구문 분석 모델의 기능을 빠르게 확장할 수 있어 사용자로부터 발화된 구문에 대한 의도 및 슬롯을 폭 넓게 분류하도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 구문 분석 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 출력층이 확장된 상태의 학습부를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 제1 발화 구문 분석 모델 형성 방법을 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 제1 발화 구문 분석 모델을 이용한 구문 분석 방법을 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 제2 발화 구문 분석 모델 형성 방법을 도시한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 신규 학습용 말뭉치 구성을 개략적으로 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 제2 발화 구문 분석 모델을 이용한 구문 분석 방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 구문 분석 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 구문 분석 장치(100)는 입력부(110) 및 학습부(120)를 포함할 수 있다.
입력부(110)는 사용자의 발화를 입력받을 수 있다. 일 예로, 입력부(110)는 마이크로 구현될 수 있다.
학습부(120)는 입력층(121), 은닉층(122) 및 출력층(123,124)을 포함할 수 있다. 보다 자세한 설명은 도 2를 참조한다.
도 2는 본 발명의 일 실시예에 따른 출력층이 확장된 상태의 학습부를 개략적으로 도시한 도면이다.
도 2에 도시된 바와 같이, 학습부(120)는 입력층(121)에서 사용자의 발화를 입력받거나, 학습용 말뭉치를 입력받도록 할 수 있다. 여기서, 학습용 말뭉치는 분석 모델 설계자에 의해 정해진 특정 분야에서 사용되는 문장, 단어 등을 포함할 수 있고, 사용자가 발화한 구문들도 포함할 수 있다.
학습부(120)는 입력층(121)으로 입력된 구문들을 학습하기 위한 발화 구문 분석 모델을 은닉층(122)에서 생성할 수 있다. 실시예에 따르면, 학습부(120)는 은닉층(122)에서 입력층(121)으로 입력된 구문들에 대해 인공신경망을 이용하여 학습하여 발화 구문 분석 모델을 생성할 수 있다. 일 예로, 인공신경망은 목적 함수(object function)로부터 경사하강법(gradient decent)을 사용할 수 있으며, 학습률을 조절하여 학습량 또는 학습 속도를 제어할 수 있다.
학습부(120)는 확장된 의도 출력층(123) 및 확장된 슬롯 출력층(124)을 통해 입력층(121)에 입력된 사용자의 발화 의도 및 슬롯을 분류할 수 있다. 여기서, 학습부(120)는 발화된 구문으로부터 분류하고자 하는 사용자의 발화 의도를 기반으로 뉴런(125)을 추가하여 의도 출력층을 확장하여 확장된 의도 출력층(123)을 생성할 수 있다. 또한, 학습부(120)는 발화된 구문으로 분류하고자 하는 슬롯을 기반으로 뉴런(126)을 추가하여 슬롯 출력층을 확장하여 확장된 슬롯 출력층(124)을 생성할 수 있다. 여기서, 슬롯은 단어의 분석 항목을 의미할 수 있으며, 분석 모델 설계자가 분류하고자 하는 항목으로 기 설정될 수 있다. 실시예에 따르면, 슬롯은 '누구', 날짜', '시간', '장소' 등을 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 제1 발화 구문 분석 모델 형성 방법을 도시한 순서도이다.
학습부(120)는 제1 학습용 구문으로부터 학습용 말뭉치를 생성하고, 생성된 학습용 말뭉치를 입력층(121)에 입력할 수 있다(S110). 여기서, 제1 학습용 구문은 학습용 말뭉치를 생성하기 위한 문장 또는 단어를 포함할 수 있으며, 사용자로부터 발화된 구문도 포함할 수 있다. 또한, 제1 학습용 구문은 설계자로부터 설정된 특정 분야에서 사용될 수 있는 문장, 단어 등을 포함할 수 있다.
학습부(120)는 인공신경망을 이용하여 학습용 말뭉치를 학습할 수 있다(S120). 아울러, 학습부(120)는 학습용 말뭉치를 학습하여 제1 발화 구문 분석 모델을 생성할 수 있다(S130).
학습부(120)는 S110 내지 S130의 동작을 수행하여, 설계자가 설정한 특정 분야에서 사용할 수 있는 문장 또는 단어를 학습할 수 있다.
도 4는 본 발명의 일 실시예에 따른 제1 발화 구문 분석 모델을 이용한 구문 분석 방법을 도시한 순서도이다.
도 4에 도시된 바와 같이, 입력부(110)는 사용자로부터 발화된 구문을 입력받을 수 있다(S210). 학습부(120)는 입력부(110)에 입력된 구문을 벡터값으로 변환하고, 변환된 값을 입력층(121)으로 입력하도록 할 수 있다(S220). S220에서 학습부(120)는 발화된 구문을 이루는 단어와 해당 단어를 나타내는 벡터를 매핑하고, 해당 단어들을 나타내는 벡터로 변환할 수 있다. 일 예로, 학습부(120)는 원-핫 인코딩(one-hot encoding), Word2Vec, GloVe, FastText 등을 통해 발화된 구문을 벡터로 변환할 수 있다.
학습부(120)는 S130에서 생성된 제1 발화 구문 분석 모델을 이용하여 발화된 구문에 대한 사용자의 발화 의도 및 슬롯을 분류할 수 있다(S230). 아울러, 학습부(120)는 분류된 사용자의 발화 의도 및 슬롯을 의도 출력층 및 슬롯 출력층을 통해 각각 출력할 수 있다(S240).
학습부(120)는 S210 내지 S240의 동작을 수행하여, 설계자가 설정한 특정 분야에서 사용할 수 있는 문장 또는 단어를 학습한 결과로 생성된 제1 발화 구문 분석 모델을 통해 사용자의 발화 의도 및 슬롯을 출력할 수 있다. 즉, 학습부(120)는 제1 발화 구문 분석 모델을 통해 사용자의 발화 의도 및 슬롯을 출력하기 때문에 설계자가 설정한 특정 분야 내에서 사용할 수 있는 문장 또는 단어에 대해서만 사용자의 발화 의도 및 슬롯을 출력할 수 있다.
실시예에 따르면, 학습부(120)는 표 1과 같이 발화된 구문에 대한 분석 결과를 출력할 수 있다.
발화된 구문 분석 결과
(1)홍길동에게 전화해줘 사용자의 발화 의도 슬롯(Slot)
전화발신 홍길동 = 발신 대상
(2)오늘 날씨 어때? 사용자의 발화 의도 슬롯(Slot)
- -
예를들어, 학습부(120)는 설계자가 설정한 특정 분야가 '전화'인 경우, 발화된 구문(1)에 대하여 제1 발화 구문 분석 모델을 통해 사용자의 발화 의도 및 슬롯을 분류할 수 있다. 그러나, 학습부(120)는 발화된 구문(2)의 경우 설계자가 설정한 특정 분야의 문장 또는 단어를 포함하지 않기 때문에 제1 발화 구문 분석 모델을 통해 사용자의 발화 의도 및 슬롯을 분류할 수 없다. 따라서, 학습부(120)는 발화된 구문(2)에 대해 사용자의 발화 의도 및 슬롯을 분류하기 위하여 제2 구문 분석 모델을 형성하고, 설계자가 설정한 특정 분야를 벗어난 문장 또는 단어를 포함하는 구문에 대해서도 사용자의 발화 의도 및 슬롯으로 분류되도록 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 제2 구문 분석 모델 형성 방법을 도시한 순서도이다.
도 5에 도시된 바와 같이, 학습부(120)는 제1 발화 구문 분석 모델로부터 의도 출력층을 확장하거나 슬롯 출력층을 확장할 수 있다(S310). S310에서 학습부(120)는 발화된 구문으로부터 분류하고자 하는 사용자의 발화 의도를 기반으로 뉴런을 추가하여 의도 출력층을 확장할 수 있다. 또한, S310에서 학습부(120)는 발화된 구문으로부터 분류하고자 하는 슬롯을 기반으로 뉴런을 추가하여 슬롯 출력층을 확장할 수 있다.
학습부(120)는 신규 학습용 말뭉치를 입력층(121)에 입력할 수 있다(S320). 여기서, 신규 학습용 말뭉치는 S110에서 생성된 학습용 말뭉치로부터 추출된 일부 정보 및 S310에서 추가된 뉴런을 학습하기 위한 학습용 말뭉치를 포함할 수 있다. 학습부(120)는 인공신경망을 이용하여 신규 학습용 말뭉치를 학습할 수 있다(S330). 아울러, 학습부(120)는 신규 학습용 말뭉치를 학습하여 제2 발화 구문 분석 모델을 생성할 수 있다(S340).
학습부(120)는 S310 내지 S340의 동작을 수행하여, 설계자가 설정한 특정 분야 이외의 분야에서도 사용할 수 있는 문장 또는 단어를 학습할 수 있다.
도 6은 본 발명의 일 실시예에 따른 신규 학습용 말뭉치 구성을 개략적으로 도시한 도면이다.
도 6에 도시된 바와 같이 신규 학습용 말뭉치(340)는 S110에서 생성된 학습용 말뭉치(310)로부터 추출된 일부 정보(320) 및 S310에서 추가된 뉴런을 학습하기 위한 학습용 말뭉치(330)를 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 제2 구문 분석 모델을 이용한 구문 분석 방법을 도시한 순서도이다.
도 7에 도시된 바와 같이, 입력부(110)는 사용자로부터 발화된 구문을 입력받을 수 있다(S410). 학습부(120)는 입력부(110)에 입력된 구문을 벡터값으로 변환하고, 변환된 값을 입력층(121)으로 입력하도록 할 수 있다(S420). S420에서 학습부(120)는 발화된 구문을 이루는 단어와 해당 단어를 나타내는 벡터를 매핑하고, 해당 단어들을 나타내는 벡터로 변환할 수 있다. 일 예로, 학습부(120)는 원-핫 인코딩(one-hot encoding), Word2Vec, GloVe, FastText 등을 통해 발화된 구문을 벡터로 변환할 수 있다.
학습부(120)는 S340에서 생성된 제2 발화 구문 분석 모델을 이용하여 발화된 구문에 대한 사용자의 발화 의도 및 슬롯을 분류할 수 있다(S430). 아울러, 학습부(120)는 분류된 사용자의 발화 의도 및 슬롯을 확장된 의도 출력층(123) 및 확장된 슬롯 출력층(124)을 통해 각각 출력할 수 있다(S440).
학습부(120)는 S410 내지 S440의 동작을 수행하여, 설계자가 설정한 특정 분야 이외에서 사용할 수 있는 문장 또는 단어를 학습한 결과로 생성된 제2 발화 구문 분석 모델을 통해 사용자의 발화 의도 및 슬롯을 출력할 수 있다. 즉, 학습부(120)는 제2 발화 구문 분석 모델을 통해 사용자의 발화 의도 및 슬롯을 출력하기 때문에 설계자가 설정한 특정 분야 이외에서 사용할 수 있는 문장 또는 단어에 대해서도 사용자의 발화 의도 및 슬롯을 출력할 수 있다.
실시예에 따르면, 학습부(120)는 표 2과 같이 발화된 구문에 대한 분석 결과를 출력할 수 있다.
발화된 구문 분석 결과
(1) 홍길동에게 전화해줘 사용자의 발화 의도 슬롯(Slot)
전화발신 홍길동 = 발신 대상
(2) 오늘 날씨 어때? 사용자의 발화 의도 슬롯(Slot)
날씨 확인 오늘 = 날짜
(3) 오늘 서울 저녁 날씨 어때? 사용자의 발화 의도 슬롯(Slot)
날씨 확인 오늘 = 날짜
예를들어, 학습부(120)는 설계자가 설정한 특정 분야가 '전화'인 경우, 발화된 구문(1)에 대하여 제1 발화 구문 분석 모델을 통해 사용자의 발화 의도 및 슬롯을 분류할 수 있다. 아울러, 학습부(120)는 발화된 구문(2)에 대해 사용자의 발화 의도 및 슬롯을 분류하기 위하여 제2 구문 분석 모델을 형성하고, 설계자가 설정한 특정 분야를 벗어난 문장 또는 단어를 포함하는 구문에 대해서도 사용자의 발화 의도 및 슬롯으로 분류되도록 할 수 있다.
그러나, 학습부(120)는 발화된 구문(3)의 경우 제2 발화 구문 분석 모델을 통해 사용자의 발화 의도는 분류할 수 있으나, 슬롯을 상세하게 분류할 수 없다. 따라서, 본 발명의 실시예에 따르면, 학습부(120)는 발화된 구문(3)을 보다 상세히 분석하기 위해서 슬롯 출력층의 뉴런을 더 추가할 수 있다. 실시예에 따르면, 학습부(120)는 발화된 구문에 대해 더 세부적인 분석 항목으로 분류되도록 하기 위하여 분석 항목에 상응하는 슬롯 출력층의 뉴런을 추가할 수 있다. 아울러, 학습부(120)는 슬롯 출력층의 뉴런이 추가되면, 도 5에 도시된 S310 내지 S340 동작을 수행하여, 추가된 뉴런이 학습되도록 할 수 있다.
학습부(120)는 추가된 뉴런에 대해 학습이 완료되면 표 3은 분석 결과를 출력할 수 있다.
발화된 구문 분석 결과
(3)오늘 서울 저녁 날씨 어때? 사용자의 발화 의도 슬롯(Slot)
날씨 확인 오늘 = 날짜
서울 = 지역
저녁 = 시간
즉, 학습부(120)는 슬롯 출력층의 뉴런이 더 추가되기 이전에는 표 2에 기재된 바와 같이, 발화된 구문(3)에 대하여 하나의 슬롯(날짜)으로 분류할 수 있지만, 슬롯 출력층의 뉴런이 더 추가된 경우, 표 3에 기재된 바와 같이, 발화된 구문(3)에 대하여 세가지의 슬롯(날짜, 지역, 시간)으로 분류하여 발화된 구문이 보다 구체적으로 분석되도록 할 수 있다.
도 8은 본 발명의 일 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면이다.
도 8을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory,1310) 및 RAM(Random Access Memory,1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
구문 분석 장치 100
입력부 110
학습부 120

Claims (13)

  1. 사용자로부터 발화된 구문을 입력받는 입력부; 및
    상기 발화된 구문으로부터 상기 사용자의 발화 의도를 분류하기 위한 의도 출력층 확장 및 상기 구문의 정보를 포함하는 슬롯을 분류하기 위한 슬롯 출력층 확장 중 적어도 어느 하나 이상을 수행하며, 상기 발화된 구문이 상기 확장된 의도 출력층 및 상기 확장된 슬롯 출력층으로 분류되도록 기 생성된 발화 구문 분석 모델을 확장하는 학습부를 포함하는 구문 분석 장치.
  2. 청구항 1에 있어서,
    상기 학습부는
    상기 발화된 구문으로부터 분류하고자 하는 상기 사용자의 발화 의도를 기반으로 뉴런을 추가하여 상기 의도 출력층을 확장하는 구문 분석 장치.
  3. 청구항 2에 있어서,
    상기 학습부는
    상기 발화된 구문으로부터 분류하고자 하는 슬롯을 기반으로 뉴런을 추가하여 상기 슬롯 출력층을 확장하는 구문 분석 장치.
  4. 청구항 3에 있어서,
    상기 학습부는
    신규 학습용 말뭉치를 기반으로 학습을 수행하여 상기 기 생성된 발화 구문 분석 모델을 확장하는 구문 분석 장치.
  5. 청구항 4에 있어서,
    상기 신규 학습용 말뭉치는
    기 생성된 학습용 말뭉치로부터 추출된 일부 정보 및 추가된 뉴런을 학습하기 위한 학습용 말뭉치를 포함하는 구문 분석 장치.
  6. 청구항 5에 있어서,
    상기 학습부는
    상기 의도 출력층에 포함된 복수의 뉴런 중 상기 추가된 뉴런의 학습속도가 기 생성된 뉴런의 학습속도보다 빠르게 학습되도록 하는 구문 분석 장치.
  7. 청구항 1에 있어서,
    상기 학습부는
    상기 발화된 구문에 대해 변환된 벡터값이 입력되는 입력층을 더 포함하는 구문 분석 장치.
  8. 사용자로부터 발화된 구문을 입력받는 단계;
    상기 발화된 구문으로부터 상기 사용자의 발화 의도를 분류하기 위한 의도 출력층의 확장 및 상기 구문의 정보를 포함하는 슬롯을 분류하기 위한 슬롯 출력층의 확장 중 적어도 어느 하나 이상을 수행하는 단계; 및
    상기 발화된 구문이 상기 확장된 의도 출력층 및 상기 확장된 슬롯 출력층으로 분류되도록 기 생성된 발화 구문 분석 모델을 확장하는 단계를 포함하는 구문 분석 방법.
  9. 청구항 8에 있어서,
    상기 수행하는 단계에서,
    상기 발화된 구문으로부터 분류하고자 하는 상기 사용자의 발화 의도를 기반으로 뉴런을 추가하여 상기 의도 출력층을 확장하는 구문 분석 방법.
  10. 청구항 9에 있어서,
    상기 수행하는 단계에서,
    상기 발화된 구문으로부터 분류하고자 하는 슬롯을 기반으로 뉴런을 추가하여 상기 슬롯 출력층을 확장하는 구문 분석 방법.
  11. 청구항 10에 있어서,
    상기 기 생성된 발화 구문 분석 모델을 확장하는 단계는
    신규 학습용 말뭉치를 기반으로 학습을 수행하여 상기 기 생성된 발화 구문 분석 모델을 확장하는 구문 분석 방법.
  12. 청구항 11에 있어서,
    상기 신규 학습용 말뭉치는
    기 생성된 학습용 말뭉치로부터 추출된 일부 정보 및 추가된 뉴런을 학습하기 위한 학습용 말뭉치를 포함하는 구문 분석 방법.
  13. 청구항 12에 있어서,
    상기 기 생성된 발화 구문 분석 모델을 확장하는 단계에서
    상기 확장된 의도 출력층에 포함된 복수의 뉴런 중 상기 추가된 뉴런의 학습속도가 기 생성된 뉴런의 학습속도보다 빠르게 학습되도록 하는 구문 분석 방법.


KR1020190165929A 2019-12-12 2019-12-12 구문 분석 장치 및 방법 KR20210074833A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190165929A KR20210074833A (ko) 2019-12-12 2019-12-12 구문 분석 장치 및 방법
US16/901,437 US11714960B2 (en) 2019-12-12 2020-06-15 Syntactic analysis apparatus and method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190165929A KR20210074833A (ko) 2019-12-12 2019-12-12 구문 분석 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210074833A true KR20210074833A (ko) 2021-06-22

Family

ID=76317109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190165929A KR20210074833A (ko) 2019-12-12 2019-12-12 구문 분석 장치 및 방법

Country Status (2)

Country Link
US (1) US11714960B2 (ko)
KR (1) KR20210074833A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097867A1 (ko) 2020-11-05 2022-05-12 (주) 엘지화학 열가소성 수지 조성물, 이의 제조방법 및 이로부터 제조된 성형품

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110574049B (zh) * 2017-05-19 2023-05-16 谷歌有限责任公司 多任务多模态机器学习系统
US10515625B1 (en) * 2017-08-31 2019-12-24 Amazon Technologies, Inc. Multi-modal natural language processing
US11263525B2 (en) * 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks
US10963273B2 (en) * 2018-04-20 2021-03-30 Facebook, Inc. Generating personalized content summaries for users
US11068939B1 (en) * 2018-04-27 2021-07-20 Gbt Travel Services Uk Limited Neural network for optimizing display of hotels on a user interface
US11094317B2 (en) * 2018-07-31 2021-08-17 Samsung Electronics Co., Ltd. System and method for personalized natural language understanding
EP3871155A4 (en) * 2018-10-23 2022-09-28 HRL Laboratories, LLC ARTIFICIAL NEURAL NETWORK AND METHOD OF TRAINING AN ARTIFICIAL NEURAL NETWORK WITH EPIGENETIC NEUROGENESIS
US11011161B2 (en) * 2018-12-10 2021-05-18 International Business Machines Corporation RNNLM-based generation of templates for class-based text generation
US10679150B1 (en) * 2018-12-13 2020-06-09 Clinc, Inc. Systems and methods for automatically configuring training data for training machine learning models of a machine learning-based dialogue system including seeding training samples or curating a corpus of training data based on instances of training data identified as anomalous
US10783433B1 (en) * 2019-04-22 2020-09-22 Bell Integrator Inc. Method for training and self-organization of a neural network

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097867A1 (ko) 2020-11-05 2022-05-12 (주) 엘지화학 열가소성 수지 조성물, 이의 제조방법 및 이로부터 제조된 성형품

Also Published As

Publication number Publication date
US20210182482A1 (en) 2021-06-17
US11714960B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
US8589163B2 (en) Adapting language models with a bit mask for a subset of related words
US8751230B2 (en) Method and device for generating vocabulary entry from acoustic data
KR102222317B1 (ko) 음성 인식 방법, 전자 디바이스, 및 컴퓨터 저장 매체
CN108510976B (zh) 一种多语言混合语音识别方法
US20230186912A1 (en) Speech recognition method, apparatus and device, and storage medium
US9558741B2 (en) Systems and methods for speech recognition
JP2021515905A (ja) 音声認識方法、並びにその装置、デバイス、記憶媒体及びプログラム
US11113335B2 (en) Dialogue system and computer program therefor
CN111292740B (zh) 语音辨识系统及其方法
JP6815899B2 (ja) 出力文生成装置、出力文生成方法および出力文生成プログラム
CN112562640B (zh) 多语言语音识别方法、装置、系统及计算机可读存储介质
KR20210146089A (ko) 대화 스타일링 서비스를 위한 다중 페르소나 모델 생성 방법 및 이를 이용한 대화 스타일링 방법
EP3550449A1 (en) Search method and electronic device using the method
CN111192570A (zh) 语言模型训练方法、系统、移动终端及存储介质
CN112669845A (zh) 语音识别结果的校正方法及装置、电子设备、存储介质
US9658999B2 (en) Language processing method and electronic device
KR20210074833A (ko) 구문 분석 장치 및 방법
US20060136195A1 (en) Text grouping for disambiguation in a speech application
CN115132170A (zh) 语种分类方法、装置及计算机可读存储介质
CN114818684A (zh) 文本复述模型的训练方法、文本复述方法和装置
US20170270917A1 (en) Word score calculation device, word score calculation method, and computer program product
JP2007026347A (ja) テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム
KR20180052990A (ko) 심층인공신경망의 학습 장치 및 방법
JP2018097045A (ja) 発音辞書及び音響モデル生成装置、音声認識装置、方法及びプログラム
CN115358216A (zh) 一种文本纠错方法、装置、电子终端及存储介质

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination