KR102198265B1 - 신경망을 이용한 사용자 의도분석 시스템 및 방법 - Google Patents

신경망을 이용한 사용자 의도분석 시스템 및 방법 Download PDF

Info

Publication number
KR102198265B1
KR102198265B1 KR1020180028173A KR20180028173A KR102198265B1 KR 102198265 B1 KR102198265 B1 KR 102198265B1 KR 1020180028173 A KR1020180028173 A KR 1020180028173A KR 20180028173 A KR20180028173 A KR 20180028173A KR 102198265 B1 KR102198265 B1 KR 102198265B1
Authority
KR
South Korea
Prior art keywords
speech
neural network
act
utterance
emotion
Prior art date
Application number
KR1020180028173A
Other languages
English (en)
Other versions
KR20190109670A (ko
Inventor
김학수
김민경
Original Assignee
강원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교 산학협력단 filed Critical 강원대학교 산학협력단
Priority to KR1020180028173A priority Critical patent/KR102198265B1/ko
Publication of KR20190109670A publication Critical patent/KR20190109670A/ko
Application granted granted Critical
Publication of KR102198265B1 publication Critical patent/KR102198265B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 신경망을 이용한 사용자 의도분석 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 합성곱 신경망(Convolutional Neural Network, CNN)과 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)을 이용하여 사용자의 발화에 내포된 화행(speech-act)과 서술자(predicator) 및 감정(sentiment)을 통합적으로 분석함으로써 발화에 내포된 사용자의 의도를 분석하는 신경망을 이용한 사용자 의도분석 시스템 및 방법에 관한 것이다.
본 발명의 일 실시 예에 따른 신경망을 이용한 사용자 의도분석 방법은 사용자의 발화(utterance)에서 화행(speech act), 서술자(predicator) 및 감정(sentiment)의 각각에 영향을 미치는 은닉층 노드와 서로 공유하는 은닉층 노드를 분리하는 단계와 대화 내에 존재하는 각 발화(utterance)를 상기 은닉층 노드를 토대로 상기 합성곱 신경망(CNN)을 이용하여 추상화하는 단계를 포함할 수 있다.
또한, 상기 추상화된 결과를 상기 화행, 서술자, 감정에 연결된 노드들에만 오류를 역전파하는 부분 오류 역전파(partial error backpropagation)를 수행하여 학습하는 단계와 상기 학습된 각 발화에 대한 추상화 정보(임베딩 벡터)를 토대로 상기 대화 전체를 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)에 입력하여 문맥을 학습하는 단계 및 상기 발화에 대한 화행, 서술자 및 감정을 분류하는 단계를 포함할 수 있다.
이로 인해, 본 발명에 따른 신경망을 이용한 사용자 의도분석 시스템 및 방법은 지능형 대화 시스템을 구현하기 위한 의도분석 모듈의 정확성을 높일 수 있는 효과가 있다.

Description

신경망을 이용한 사용자 의도분석 시스템 및 방법{User intention analysis system and method using neural network}
본 발명은 신경망을 이용한 사용자 의도분석 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 합성곱 신경망(Convolutional Neural Network, CNN)과 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)을 이용하여 사용자의 발화에 내포된 화행(speech-act)과 서술자(predicator) 및 감정(sentiment)을 통합적으로 분석함으로써 발화에 내포된 사용자의 의도를 분석하는 신경망을 이용한 사용자 의도분석 시스템 및 방법에 관한 것이다.
통상적으로 목적 지향 대화시스템은 한정된 도메인(domain) 안에서 사용자 발화(utterance)에 대해 적절한 응답을 제시해 주는 시스템을 말한다. 이러한 목적 지향 대화시스템이 사용자와 자연스럽게 의사소통하고, 사용자에게 적절한 응답을 제시해 주기 위해서는 발화(utterance)에 내포된 사용자의 의도를 분석하는 것이 중요하다.
사용자의 의도는 영역(domain) 독립적인 행위 범주인 화행(speech act)과 영역(domain) 종속적 의미 범주인 서술자(predicator) 및 발화에 내포된 감정(sentiment)이 결합된 형태로 표현될 수 있다. 사용자의 의도를 정확하게 분석하기 위해서는 화행과 서술자를 동시에 분석하고 대화의 문맥을 고려해야 한다.
종래의 사용자 의도분석 연구는 화행(speech act), 서술자(predicator) 및 감정(sentiment)을 별개로 간주하고 독립적인 분석 모델을 통해서 나온 결과를 단순 결합하여 사용한다. 그러나 화행, 서술자 및 감정은 서로 연관 관계가 강하기 때문에 단순 결합은 많은 정보 손실을 초래하는 문제점이 있다.
대한민국 등록특허 제10-1661669호(2016년 09월 30일 공고)
따라서, 본 발명이 이루고자 하는 기술적 과제는 종래의 단점을 해결한 것으로서, 발화(utterance)에 내포된 사용자의 의도를 정확하게 분석함으로써 지능형 대화 시스템을 구현하기 위해 필요한 의도분석 모듈의 정확성을 향상시키고자 하는데 그 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 특징에 따른 신경망을 이용한 사용자 의도분석 시스템은 발화 임베딩 모델, 화행 분류 모델, 서술자 분류 모델 및 감정 분류 모델을 포함할 수 있다.
상기 발화 임베딩 모델은 사용자의 발화(utterance)를 입력받아 합성곱 신경망(Convolutional Neural Network, CNN)을 토대로 화행(Speech act) 분류를 위한 화행 임베딩 벡터(Speech act embedding vector)와 서술자(Predicator) 분류를 위한 서술자 임베딩 벡터(Predicator embedding vector) 및 감정(Sentiment) 분류를 위한 감정 임베딩 벡터(Sentiment embedding vector)를 추출할 수 있다.
상기 화행 분류 모델은 상기 발화 임베딩 모델로부터 화행 임베딩 벡터를 입력받아 화행을 분류할 수 있다. 상기 서술자 분류 모델은 상기 발화 임베딩 모델로부터 서술자 임베딩 벡터를 입력받아 서술자를 분류할 수 있다. 상기 감정 분류 모델은 상기 발화 임베딩 모델로부터 감정 임베딩 벡터를 입력받아 감정을 분류할 수 있다.
본 발명의 특징에 따른 신경망을 이용한 사용자 의도분석 방법은 효과적인 추상화를 위해 사용자의 발화(utterance)에서 화행(speech act), 서술자(predicator) 및 감정(sentiment)의 각각에 영향을 미치는 은닉층 노드와 서로 공유하는 은닉층 노드를 분리하는 단계와 대화 내에 존재하는 각 발화(utterance)를 상기 은닉층 노드를 토대로 상기 합성곱 신경망(CNN)을 이용하여 추상화하는 단계를 포함할 수 있다.
또한, 학습 시에 화행, 서술자 및 감정 각각에 대한 최적의 추상화 정보를 얻기 위해서 상기 추상화된 결과를 상기 화행, 서술자, 감정에 연결된 노드들에만 오류를 역전파하는 부분 오류 역전파(partial error backpropagation)를 수행하여 학습하는 단계와, 상기 학습된 각 발화에 대한 추상화 정보(임베딩 벡터)를 토대로 상기 대화 전체를 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)에 입력하여 문맥을 학습하는 단계 및 상기 발화에 대한 화행, 서술자 및 감정을 분류하는 단계를 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 신경망을 이용한 사용자 의도분석 시스템 및 방법은 지능형 대화 시스템을 구현하기 위한 의도분석 모듈의 정확성을 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템을 나타내는 구성도이다.
도 2는 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템에서 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하는 발화 임베딩 모델(Utterance embedding model)을 나타내는 구성도이다.
도 3은 본 발명의 실시 예에 따른 합성곱 신경망(CNN)과 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)을 이용하여 대화를 예측하는 신경망을 이용한 사용자 의도분석 시스템을 나타내는 구성도이다.
도 4는 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템의 통합 의도 식별 모델(Integrated Intention Identification Model, IIIM)을 나타내는 구성도이다.
도 5는 본 발명의 실시 예에 따른 마르코프 가정(Markov assumption)과 독립 가정(Independence assumption)에 의한 방정식의 단순화 과정을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 또는 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명은 합성곱 신경망(Convolutional Neural Network, CNN)과 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)을 이용하여 화행(speech-act)과 서술자(predicator) 및 감정(sentiment)을 통합적으로 분석하는 신경망을 이용한 사용자 의도분석 시스템 및 방법에 관한 것이다.
도 1은 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템을 나타내는 구성도이다.
본 발명에 따른 신경망을 이용한 사용자 의도분석 시스템(1)은 합성곱 신경망(Convolutional Neural Network, CNN)(20)에서 공유 계층을 이용하여 화행(speech-act)과 서술자(predicator) 간 상호작용이 반영된 발화 임베딩 모델(Utterance embedding model)(110)을 학습하고, LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)(30)을 통해 대화의 문맥을 반영하여 발화(utterance)를 분석할 수 있다.
여기에서, 상기 화행(speech-act)은 도메인(domain)에 독립적으로 사용자가 전달하고자 하는 일반적인 의도를 나타내고, 상기 서술자(predicator)는 도메인(domain)에 종속적이며 주된 서술어의 의미 범주를 나타낼 수 있다.
본 발명에 따른 일 실시 예를 들어 설명하면 다음과 같다. 아래의 표 1은 일정 관리 도메인에서 목적 지향 발화의 예와 해당 의도를 나타낼 수 있다.
표 1 목적 지향 대화의 예

발 화(Utterance) 		의도(Intention)
화행(speech-act) 서술자(predicator)
User (UA1) 안녕~ Greeting Null
System (UA2) 무엇을 도와드릴까요 ? Opening Null

User
(UA3) 약속 잡아줘
Request		 Update
-appointment
System (UA4) 날짜는 언제로 할까요 ? Ask-ref Update-date
User (UA5) 10월 8일 Response Update-date
일반적으로 화행과 서술자는 문맥에 의존적이기 때문에 하나의 발화만으로 추론하는 것은 매우 어렵다. 예를 들어, 상기 표 1에서 발화 (UA5)는 두 가지 의도로 분석이 가능한데 현재 설정되어 있는 일정을 알려주는 "Inform & Select-date"와 일정이 무엇으로 변경되었는지를 묻는 질문에 대해 답해주는 "Response & Update-date"가 될 수 있다.
이러한 모호성을 해결하기 위해 발화 (UA5)에 문맥이 반영될 수 있다. 상기 표 1에서 바로 이전 발화인 (UA4)를 고려하면 발화 (UA5)의 올바른 의도인 "Response & Update-date"를 선택할 수 있다.
종래에는 사용자 의도를 분석하기 위해 다양한 자질에 기반을 둔 기계 학습 모델들이 제안되었지만, 종래의 연구들은 주로 발화의 화행 분류만을 다루거나, 화행과 서술자를 개별적으로 다룬다. 그러나 사용자의 의도를 정확히 파악하기 위해서는 화행과 서술자를 동시에 식별하는 것이 바람직하다.
본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템 및 방법은 합성곱 신경망(Convolutional Neural Network)(20)과 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)(30)을 이용하여 화행과 서술자를 동시에 분석할 수 있다. 즉, 합성곱 신경망(20)을 기반으로 한 새로운 발화 임베딩 방법을 이용하여 화행과 서술자 간의 상호작용이 가능하게 하고, LSTM 순환 신경망(30)을 기반으로 대화의 문맥을 반영하여 의도 분석의 성능을 향상시킬 수 있다.
도 1에서 도시된 바와 같이 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템(1)은 발화 임베딩 모델(Utterance embedding model)(110)과 화행 분류 모델(Speech-act classifier model)(120) 및 서술자 분류 모델(Predicator classifier model)(130)을 포함할 수 있다.
또한, 대화의 문맥을 고려하여 화행과 서술자를 분류하기 위해 각 분류 모델은 LSTM 순환 신경망(30)이 적용될 수 있다. 발화 임베딩 모델(Utterance embedding model)(110)을 이용하여 m개의 발화(
Figure 112018024131688-pat00001
)에 대해 화행 분류를 위한 화행 임베딩 벡터(Speech act embedding vector)(140)와 서술자 분류를 위한 서술자 임베딩 벡터(Predicator embedding vector)(150)를 얻을 수 있다. 도 1에서 화행 임베딩 벡터(140)는
Figure 112018024131688-pat00002
로 나타낼 수 있고, 서술자 임베딩 벡터(150)는
Figure 112018024131688-pat00003
로 나타낼 수 있다.
최종적으로 화행 분류 모델(120)과 서술자 분류 모델(130)은 발화 임베딩 모델(110)로부터 생성된 각각의 임베딩 벡터를 입력받아 화행과 서술자를 출력할 수 있다.
도 2는 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템(1)에서 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하는 발화 임베딩 모델(Utterance embedding model)을 나타내는 구성도이다. 즉, 상기 도 1에서 발화 임베딩 모델(110)은 합성곱 신경망(20)을 이용하여 화행 분류 모델(120)과 서술자 분류 모델(1300)에 입력되는 화행 임베딩 벡터(
Figure 112018024131688-pat00004
)(140)와 서술자 임베딩 벡터(
Figure 112018024131688-pat00005
)(150)를 구할 수 있다.
본 발명에 따른 실시 예로 상기 도 2에서 입력 발화(Utterance)(10)의 각 단어 wm은 50차원의 Word2Vec 임베딩 벡터(embedding vector)일 수 있다. 입력 발화(10)는 두 개의 독립된 컨볼루션(Convolution) 계층을 통해 화행과 서술자에 적합한 자질 벡터 FS, FP를 생성할 수 있다.
또한, 은닉노드 HS와 HP는 각각 자질 벡터 FS와 FP만을 입력으로 하며, HSP는 FS, FP를 모두 입력으로 한다. 이는 공유 계층으로 화행과 서술자의 조합된 정보를 추상화 할 수 있다. Fx를 입력으로 하는 은닉 노드들은 H'x의 입력이 될 수 있다.
예를 들어, 상기 도 2에서 은닉 노드 HS와 HSP가 H'S의 입력이 될 수 있다. 화행을 분류할 때, 입력된 이전 화행(Previous S)을 자질로 사용하며 서술자를 분류할 때는 모델이 예측한 현재 화행을 자질로 사용할 수 있다.
모델을 학습할 때 예측 화행과 정답 화행 간의 오류가 화행과 관련된 노드들(i.e., H'S, HS, HSP)로 부분적 역 전파되며, 같은 방식으로 서술자에 대한 오류가 역 전파될 수 있다. 학습이 완료된 임베딩 모델에서 H'S와 H'P를 각각 화행과 서술자를 분류하기 위한 임베딩 값 EmbS, EmbP로 이용할 수 있다.
한편, 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템은 감정 분류 모델(Sentiment classifier model)(160)과 감정 임베딩 벡터(170)를 더 포함할 수 있다. 발화 임베딩 모델(Utterance embedding model)(110)을 이용하여 m개의 발화(
Figure 112018024131688-pat00006
)에 대해 감정 분류를 위한 감정 임베딩 벡터(Sentiment embedding vector)(170)를 추출할 수 있다. 감정 임베딩 벡터(Sentiment embedding vector)(170)는
Figure 112018024131688-pat00007
로 나타낼 수 있다.(미도시)
또한, 감정 분류 모델(160)은 대화의 문맥을 고려하여 감정을 분류하기 위해 LSTM 순환 신경망(30)이 적용되고, 발화 임베딩 모델(110)로부터 생성된 감정 임베딩 벡터(
Figure 112018024131688-pat00008
)(170)를 입력받아 감정을 출력할 수 있다.
이와 같이 합성곱 신경망(20)을 통해 화행과 서술자 간의 상호작용이 반영되게 발화를 임베딩(embedding)하고, LSTM 순환 신경망(30)을 이용하여 대화의 문맥을 반영함으로써 자질 추출 및 선택에 많은 비용을 소모하지 않으며, 상호 재학습 방법을 이용하지 않고도 의도분석 모듈의 정확성을 증대시킬 수 있는 효과가 있다.
도 3은 본 발명의 실시 예에 따른 합성곱 신경망(CNN)(20)과 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)(30)을 이용하여 대화를 예측하는 신경망을 이용한 사용자 의도분석 시스템을 나타내는 구성도이다.
도 3에서 도시된 바와 같이 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템(1)은 화자의 화행, 서술자 및 감정을 동시에 결정할 수 있다.
종래에 사용자의 의도를 분석하기 위해 화행 식별과 서술자 식별을 개별적으로 사용하는 통합 신경망 모델이 제안되었으나, 상기 통합 모델은 사용자의 의도를 구성하는 요소로써 화자의 감정(sentiment)을 고려하지 않는다. 그러나 사용자의 의도를 정확히 파악하기 위해서는 화행과 서술자 및 감정을 동시에 식별하는 것이 바람직하다.
예들 들어 설명하면, 아래의 표 2는 대화 시스템과 사용자 간의 대화의 일부를 나타낼 수 있다.
표 2 대화 시스템과 사용자 간의 대화
화자(Speaker) 발화(Utterance) 의도(Intention)

User		 (UB1) I was late in returning home
yesterday.		 (inform, late, none)
System (UB2) What time was it? (ask-ref, be, none)
User (UB3) 11 P.M. (response, be, none)
User (UB4) In fact, I was parted from her. (inform, part, sadness)
System (UB5) Come on. (statement, encourage, sadness)
상기 표 2에서 화자(speaker)의 의도를 쉼표(,)로 구분된 3중 형식(triple format)으로 나타낼 수 있다. 상기 3중 형식에서 첫 번째 요소는 발화(utterance)의 대화적 역할과 관련된 도메인(domain) 독립적인 의도를 나타내는 화행(speech act)일 수 있다. 즉, 상기 표 2에서 "inform", "ask-ref", "response" 및 "statement"가 화행이 될 수 있다. 상기 3중 형식에서 두 번째 요소는 발화의 주요 의미와 관련된 도메인(domain) 의존적인 의미론적 초점을 포착하는 서술자(predicator)일 수 있다. 즉, 상기 표 2에서 "late", "be", "part" 및 "encourage"가 서술자일 수 있다.
상기 3중 형식에서 세 번째 요소는 대화 주제와 관련하여 화자(speaker)의 태도를 나타내는 감정(sentiment)이 될 수 있다. 즉, 상기 표 2에서 "none" 및 "sadness"가 감정이 될 수 있다. 상기 표 2에서 도시된 바와 같이 화행과 서술자는 화자의 명시적 의도를 나타내며, 감정은 화장의 명시적인 의도를 보완하는 암시적 의도를 나타낼 수 있다.
또한, 현재 화행은 이전 화행에 강하게 의존한다. 예를 들어, 표 2에서 발화 (UB3)의 화행 "response"는 이전 화행 "ask-ref"에 의해 영향을 받을 수 있다. 만약, 이전 화행이 "ask-ref"가 아닌 경우에 상기 이전 화행은 "inform"이 될 수 있다.
한편, 서술자와 감정은 화행보다 문맥에 덜 의존적일 수 있다. 상기 서술자와 감정은 현재 발화의 어휘 의미에 의해 영향을 받으며 서로 연관될 수 있다. 예를 들어, 상기 표 2에서 발화 (UB4)의 서술자 "part"는 주동사 어구("was departed from.")의 단어 감각에 의해 결정될 수 있다.
또한, 상기 표 2에서 발화 (UB4)의 서술자 "part"는 대화 시스템이 감정(sentiment) "sadness"를 결정하는데 도움을 주며, 발화 (UB5)의 상기 감정 "sadness"는 대화 시스템이 서술자 "encourage"를 결정하는데 도움이 될 수 있다.
한편, 아래의 표 3은 본 발명의 일 실시 예에 따른 대화 코퍼스(Dialogue corpus)에서 빈번하게 발생하는 화행, 서술자 및 감정을 나타낼 수 있다. 즉, 본 발명의 실시 예에 따른 사랑의 견해에 대한 대화 코퍼스에서 나타날 수 있는 화행, 서술자 및 감정을 보여준다.
표 3 대화 코퍼스(Dialogue corpus)의 상위 태그(tags)
화행( Speech act )( % ) 서술자( Predicator )( % ) 감정( Sentiment )( % )
Statement (51.3) None (17.9) None (43.5)
Response-if (18.3) Judge (9.3) Fear (10.5)
Ask-if (10.0) Other (6.6) sadness (8.9)
Ask-ref (7.8) Be (6.3) Anger (8.8)
Response-ref (5.3) Express (6.0) Coolness (8.0)
Hope (2.7) Know (5.4) Love (6.5)
Request (1.2) Like (5.2) Joy (4.6)
Opinion (1.0) Non_exist (4.2) Wish (3.9)
Ask-confirm (0.9) Exist (4.1) Other (3.0)
Thanks (0.7) Perform (3.8) Surprise (2.2)
도 4는 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 시스템의 통합 의도 식별 모델(Integrated Intention Identification Model, IIIM)을 나타내는 구성도이고, 도 5는 본 발명의 실시 예에 따른 마르코프 가정(Markov assumption)과 독립 가정(Independence assumption)에 의한 방정식의 단순화 과정을 나타내는 도면이다.
본 발명에 따른 신경망을 이용한 사용자 의도분석 시스템은 합성곱 신경망(CNN)(20)과 LSTM 순환 신경망(30)을 기반으로 하는 통합 의도 식별 모델(Integrated Intention Identification Model, IIIM)(2)을 포함할 수 있다.
도 4에서 도시된 바와 같이 통합 의도 식별 모델(2)의 대화를 구성하는 i번째 발화 Ui가 해당 발화에 대한 화행 Si, 서술자 Pi, 감정 Ei로 분류되기 위해 학습되는 과정에서 Si, Pi, Ei에 영향을 주는 은닉층의 값들(임베딩 벡터; SEi, PEi, EEi)이 추상화된 정보를 가지게 된다. 또한, 학습이 종료된 이후에 상기 은닉층의 값들(임베딩 벡터; SEi, PEi, EEi)은 LSTM 순환 신경망(30)의 입력으로 사용될 수 있다.
여기에서, 상기 은닉층의 값들(임베딩 벡터; SEi, PEi, EEi)은 상기 도 3에서 LSTM 순환 신경망(30)에 입력되는 EmbSA, EmbPR, EmbEM의 값들과 각각 대응될 수 있다.
일반적으로 감정(sentiment) 분류는 특징 중심의 방법(feature-focused methods)과 학습자 중심의 방법(learner-focused methods)으로 나눌 수 있다. 상기 특징 중심의 방법은 주로 감정 사전 및 감정 정보와 같은 다양한 리소스(resources)를 기반으로 하는 특징 가중치 방식일 수 있다. 즉, 감정 단어를 포함하는 2개 또는 3개의 문장으로 이루어질 수 있다. 상기 학습자 중심의 방법은 주로 감정 분류에 다양한 기계 학습 모델을 적용하는 방법이다.
도 5에서 도시된 바와 같이 입력 발화(10)에 n 개의 발화(utterance) U1,n이 주어질 때 S1,n과 P1,n 및 E1,n은 각각 입력 발화(10)에서 n 개의 화행 태그(speech act tags), 서술자 태그(predicator tags) 및 감정 태그(sentiment tags)를 나타내고, 통합된 모델(IM(D))은 아래의 [수학식 1]로 표현될 수 있다.
[수학식 1]
Figure 112018024131688-pat00009
연쇄 법칙(chain rule)에 따라 상기 [수학식 1]은 다음의 [수학식 2]와 같이 재작성 될 수 있다.
[수학식 2]
Figure 112018024131688-pat00010
여기에서,
Figure 112018024131688-pat00011
은 화행 식별 모델(Speech act identification model)을 나타내고, 서술자 & 감정 식별 모델(Predicator & sentiment identification model)을 나타낼 수 있다.
상술한 바와 같이 화행이 이전 문맥(context)에 크게 영향을 받기 때문에 상기 화행 식별 모델을 단순화하기 위해 현재 화행이 이전 화행에 의존한다고 가정할 수 있다(즉, 1차 마르코프 가정). 또한, 서술자와 감정이 현재 발화의 어휘적 의미에 의해 강하게 영향을 받기 때문에 서술자와 감정이 현재의 관찰 정보에만 의존한다고 가정할 수 있다(조건부 독립 가정). 또한, 조건부 독립 가정을 화행 식별 모델에 적용할 수 있다.
상기 도 5에는 [수학식 2]가 상술한 2개의 가정(1차 마르코프 가정, 조건부 독립 가정)에 따라 아래의 [수학식 3]으로 단순화되는 과정을 나타내고 있다.
[수학식 3]
Figure 112018024131688-pat00012
상기 [수학식 3]을 최대화하는 시퀀스 레이블(sequence labels)
Figure 112018024131688-pat00013
,
Figure 112018024131688-pat00014
, 및
Figure 112018024131688-pat00015
을 얻기 위해 상기 도 4에서 도시된 바와 같이 합성곱 신경망(Convolutional Neural Network, CNN) 기반의 통합 의도 식별 모델(Integrated Intention Identification Model, IIIM)(2)을 적용할 수 있다.
본 발명에 따른 실시 예로 상기 도 4에서, Wi는 입력 발화에서 i 번째 단어의 50 차원을 갖는 Word2Vec 임베딩 벡터(embedding vector)일 수 있다. 상기 임베딩 벡터는 큰 균형화된 코퍼스(corpus)로부터 훈련될 수 있다. 본 발명에 따른 실시 예로 상기 코퍼스(corpus)에는 21세기 세종 프로젝트의 POS 태그가 붙여진 코퍼스(corpus)가 사용될 수 있다.
상기 도 4에서 히든 레이어(Hidden layer) HX는 출력 X와 완전히 연결된 노드 집합을 나타낼 수 있다. 여기에서, 상기 X는 E, S 및 P가 될 수 있다. 즉, HP는 서술자 Pi를 나타내는 출력 벡터와 완전히 연결된 노드들의 집합을 나타낼 수 있다. 또한, HS는 화행 Si를 나타내는 출력 벡터와 완전히 연결된 노드들의 집합을 의미하고, HE는 감정 Ei를 나타내는 출력 벡터와 완전히 연결된 노드들의 집합을 의미할 수 있다.
마찬가지로, 히든 레이어(Hidden layer) HXY는 출력 X 및 Y와 완전히 연결된 노트 집합을 나타낼 수 있다. 여기에서, X 및 Y는 각각 E, S 및 P가 될 수 있다. 즉, HXY는 HES, HSP 및 HEP가 될 수 있다. 또한, 상기 HEP는 감정 Ei와 서술자 Pi를 나타내는 두 개의 출력 벡터와 완전히 연결된 노드 집합을 의미할 수 있다.
또한, HESP는 감정 Ei와 화행 Si 및 서술자 Pi를 나타내는 세 개의 출력 벡터와 완전히 연결된 노드 집합을 의미할 수 있다.
한편, 공유 노드 HES, HSP, HEP 및 HESP와 같이 부분적으로 그룹화된 노드 집합은 여러 출력과 관련된 가중치가 포함될 수 있다.
학습하는 동안 상기 히든 레이어(Hidden layer)의 노드를 연결하여 3가지 유형의 발화 임베딩 벡터(embedding vector)를 생성할 수 있다. 즉, 화행 식별을 위한 발화 임베딩 벡터 SEi, 서술자 식별을 위한 발화 임베딩 벡터 PEi 및 감정 식별을 위한 발화 임베딩 벡터 EEi를 포함할 수 있다.
또한, 상기 임베딩 벡터를 생성하기 위해 3 사이클(cycle)의 부분 오차 역전파(backpropagation)가 합성곱 신경망(CNN)(20)에 적용될 수 있다. 첫째로 화행 카테고리(categories)와 연관된 출력 값과 원 핫 코드(one-hot code)에 의해 표현된 정확한 화행 벡터 간의 오차가 부분적으로 연결된 노드를 통해 전파될 수 있다. 둘째로 서술자 식별을 위한 부분 오차 역전파는 화행 식별을 위한 부분 오차 역전파와 동일한 방식으로 수행될 수 있다. 또한, 감정 식별을 위한 부분 오차 역전파가 유사하게 수행될 수 있다.
상기 부분 오차 역전파를 통해 정보적 특징(또는 추상화 값)이 임베딩 벡터에 축적될 수 있다. 또한, 화행 카테고리와 연관된 출력값 S는 서술자 식별 및 감정 식별을 위해 입력 노드에 공급될 수 있다. 원 핫 코드(one-hot code)에 의해 표현된 이전 화행 벡터 Si-1은 화행 식별을 위해 발화 임베딩에 연결될 수 있다.
상기 부분 오차 역전파 동안, 교차 엔트로피(cross-entropies)는 아래의 [수학식 4]와 같이 올바른 카테고리와 출력 카테고리 사이의 유사성을 최대화하기 위해 손실 함수로서 사용될 수 있다.
[수학식 4]
Figure 112018024131688-pat00016
Figure 112018024131688-pat00017
Figure 112018024131688-pat00018
도 6은 본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 방법을 나타내는 흐름도이다.
본 발명에 따른 신경망을 이용한 사용자 의도분석 방법은 합성곱 신경망(Convolutional Neural Network, CNN)(20)과 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)(30)을 이용하여 사용자의 발화(utterance)를 분석할 수 있다.
본 발명의 실시 예에 따른 신경망을 이용한 사용자 의도분석 방법은 효과적인 추상화를 위해 사용자의 발화(utterance)에서 화행(speech act), 서술자(predicator) 및 감정(sentiment)의 각각에 영향을 미치는 은닉층 노드와 서로 공유하는 은닉층 노드를 분리하는 단계(S10)와, 대화 내에 존재하는 각 발화(utterance)를 상기 은닉층 노드를 토대로 상기 합성곱 신경망(CNN)을 이용하여 추상화하는 단계(S20)를 포함할 수 있다.
또한, 학습 시에 화행, 서술자 및 감정 각각에 대한 최적의 추상화 정보를 얻기 위해서 상기 추상화된 결과를 상기 화행, 서술자, 감정에 연결된 노드들에만 오류를 역전파하는 부분 오류 역전파(partial error backpropagation)를 수행하여 학습하는 단계(S30)와, 상기 학습된 각 발화에 대한 추상화 정보(임베딩 벡터)를 토대로 상기 대화 전체를 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)에 입력하여 문맥을 학습하는 단계(S40) 및 상기 발화에 대한 화행, 서술자 및 감정을 분류하는 단계(S50)를 포함할 수 있다.
상술한 바와 같이 사용자 발화(utterance)에 내포된 화행(speech act), 서술자(predicator) 및 감정(sentiment)을 통합적으로 분석하기 위해서 대화 내에 존재하는 각 발화(utterance)를 합성곱 신경망(Convolutional Neural Network, CNN)(20)을 이용하여 추상화할 수 있다. 또한, 효과적인 추상화를 위해 화행(speech act), 서술자(predicator) 및 감정(sentiment) 각각에 영향을 미치는 은닉층 노드와 서로 공유하는 은닉층 노드를 분리할 수 있다.
또한, 학습 시에 화행, 서술자 및 감정 각각에 대한 최적의 추상화 정보를 얻기 위해서 부분적으로 오류를 역전파(화행, 서술자, 감정에 연결된 노드들에만 오류를 역전파)할 수 있다. 이렇게 해서 학습된 은닉층의 값들(화행에 연결된 노드 가중치들, 서술자에 연결된 노드 가중치들, 감정에 연결된 노드 가중치들)을 화행 분석, 서술자 분석, 감정 분석을 위한 추상화 정보(임베딩 벡터)로 사용할 수 있다.
각 발화에 대한 임베딩 벡터가 만들어지면 대화 전체를 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)(30)에 입력하여 문맥을 학습할 수 있다. 학습이 종료되고 예측 시에 대화를 구성하는 각 발화는 합성곱 신경망(CNN)(20)을 통해 추상화되고, LSTM 순환 신경망(30)을 통과함으로써 화행, 서술자 및 감정으로 분류될 수 있다.
이상으로 본 발명에 관한 바람직한 실시 예를 설명하였으나, 본 발명은 상기 실시 예에 한정되지 아니하며, 본 발명의 실시 예로부터 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의한 용이하게 변경되어 균등하다고 인정되는 범위의 모든 변경을 포함한다.
1 : 사용자 의도분석 시스템 2 : 통합 의도 식별 모델
10 : 입력 발화 20 : 합성곱 신경망
30 : LSTM 순환 신경망 40 : 예측 발화
110 : 발화 임베딩 모델 120 : 화행 분류 모델
130 : 서술자 분류 모델 140 : 화행 임베딩 벡터
150 : 서술자 임베딩 벡터 160 : 감정 분류 모델
170 : 감정 임베딩 벡터

Claims (9)

  1. 합성곱 신경망(Convolutional Neural Network, CNN)과 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)을 이용하여 사용자의 발화(utterance)를 분석하는 사용자 의도분석 시스템에 있어서,
    사용자의 발화(utterance)를 입력받아 상기 합성곱 신경망(Convolutional Neural Network, CNN)을 토대로 화행(Speech act) 분류를 위한 화행 임베딩 벡터(Speech act embedding vector)와 서술자(Predicator) 분류를 위한 서술자 임베딩 벡터(Predicator embedding vector) 및 감정(Sentiment) 분류를 위한 감정 임베딩 벡터(Sentiment embedding vector)를 추출하는 발화 임베딩 모델(Utterance embedding model);
    상기 발화 임베딩 모델로부터 화행 임베딩 벡터를 입력받고, 상기 LSTM 순환 신경망을 토대로 대화의 문맥을 반영하여 발화(utterance)를 분석하며 화행을 분류하는 화행 분류 모델(Speech-act classifier model);
    상기 발화 임베딩 모델로부터 서술자 임베딩 벡터를 입력받고, 상기 LSTM 순환 신경망을 토대로 대화의 문맥을 반영하여 발화를 분석하며 서술자를 분류하는 서술자 분류 모델(Predicator classifier model); 및
    상기 발화 임베딩 모델로부터 감정 임베딩 벡터를 입력받고, 상기 LSTM 순환 신경망을 토대로 대화의 문맥을 반영하여 발화를 분석하며 감정을 분류하는 감정 분류 모델(Predicator classifier model)을 포함하고,
    상기 발화 임베딩 모델은 발화의 효과적인 추상화를 위해 사용자의 발화에서 화행, 서술자 및 감정의 각각에 영향을 미치는 은닉층 노드와 서로 공유하는 은닉층 노드를 분리하고, 대화 내에 존재하는 각 발화를 상기 은닉층 노드를 토대로 합성곱 신경망(CNN)을 이용하여 추상화하며, 학습 시에 화행, 서술자 및 감정 각각에 대한 최적의 추상화 정보를 추출하기 위해 상기 화행, 서술자, 감정에 연결된 노드들에만 오류를 역전파하는 부분 오차 역전파(Partial error backpropagations)를 수행하며, 상기 부분 오차 역전파가 수행되는 동안 상기 화행, 서술자 및 감정에 대한 기설정된 카테고리(categories)와 출력 카테고리(categories) 사이의 유사성을 최대화하기 위해 교차 엔트로피(cross-entropies)가 수행되고, 상기 합성곱 신경망(CNN)을 토대로 상기 화행(speech act)과 서술자(predicator) 간의 공유 계층을 이용하여 화행(speech act)과 서술자(predicator) 간 상호작용이 반영되게 상기 발화(utterance)를 임베딩(embedding)하는 것을 특징으로 하는 사용자 의도분석 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1항에 있어서,
    상기 화행 분류 모델(Speech-act classifier model)에서 원핫코드(one-hot code)로 표현되는 이전 화행 임베딩 벡터(Previous speech act embedding vector)가 현재의 화행 식별을 위해 현재 화행 임베딩 벡터에 연결되는 것을 특징으로 하는 사용자 의도분석 시스템.
  8. 합성곱 신경망(Convolutional Neural Network, CNN)과 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)을 이용하여 사용자의 발화(utterance)를 분석하는 사용자 의도분석 방법에 있어서,
    발화 임베딩 모델이 효과적인 추상화를 위해 사용자의 발화(utterance)에서 화행(speech act), 서술자(predicator) 및 감정(sentiment)의 각각에 영향을 미치는 은닉층 노드와 서로 공유하는 은닉층 노드를 분리하는 단계(S10);
    상기 발화 임베딩 모델이 대화 내에 존재하는 각 발화(utterance)를 상기 은닉층 노드를 토대로 상기 합성곱 신경망(CNN)을 이용하여 추상화하는 단계(S20);
    화행 분류 모델, 서술자 분류 모델 및 감정 분류 모델이 학습 시에 화행, 서술자 및 감정 각각에 대한 최적의 추상화 정보를 얻기 위해서 상기 추상화된 결과를 상기 화행, 서술자, 감정에 연결된 노드들에만 오류를 역전파하는 부분 오류 역전파(partial error backpropagation)를 수행하여 학습하는 단계(S30);
    상기 화행 분류 모델, 서술자 분류 모델 및 감정 분류 모델이 상기 학습된 각 발화에 대한 추상화 정보(임베딩 벡터)를 토대로 상기 대화 전체를 LSTM 순환 신경망(Long Short-Term Memory Recurrent Neural Network)에 입력하여 문맥을 학습하는 단계(S40); 및
    상기 화행 분류 모델, 서술자 분류 모델 및 감정 분류 모델이 상기 발화에 대한 화행, 서술자 및 감정을 분류하는 단계(S50)를 포함하는 사용자 의도분석 방법.
  9. 제8항에 있어서,
    상기 문맥을 학습하는 단계(S40)는
    상기 부분 오류 역전파를 수행하여 학습하는 단계(S30)에서 학습된 은닉층의 값들(화행에 연결된 노드 가중치들, 서술자에 연결된 노드 가중치들, 감정에 연결된 노드 가중치들)을 상기 화행 분류 모델, 서술자 분류 모델 및 감정 분류 모델이 화행 분석, 서술자 분석 및 감정 분석을 위한 추상화 정보(임베딩 벡터)로 사용하는 것을 특징으로 하는 사용자 의도분석 방법.

KR1020180028173A 2018-03-09 2018-03-09 신경망을 이용한 사용자 의도분석 시스템 및 방법 KR102198265B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180028173A KR102198265B1 (ko) 2018-03-09 2018-03-09 신경망을 이용한 사용자 의도분석 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180028173A KR102198265B1 (ko) 2018-03-09 2018-03-09 신경망을 이용한 사용자 의도분석 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190109670A KR20190109670A (ko) 2019-09-26
KR102198265B1 true KR102198265B1 (ko) 2021-01-04

Family

ID=68067906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180028173A KR102198265B1 (ko) 2018-03-09 2018-03-09 신경망을 이용한 사용자 의도분석 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102198265B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029850A1 (ko) * 2022-08-05 2024-02-08 삼성전자주식회사 언어 모델에 기초하여 사용자 발화를 처리하는 방법 및 전자 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337678B1 (ko) * 2019-11-29 2021-12-08 숙명여자대학교산학협력단 그래프 유사 여부를 분석하기 위하여 기계학습을 이용한 전자 장치 및 그 제어 방법
WO2021107360A2 (ko) * 2019-11-29 2021-06-03 숙명여자대학교산학협력단 유사도를 판단하는 전자 장치 및 그 제어 방법
CN111125326A (zh) * 2019-12-06 2020-05-08 贝壳技术有限公司 用于实现人机对话的方法、装置、介质以及电子设备
KR102315830B1 (ko) * 2019-12-27 2021-10-22 한국과학기술원 반지도 학습 기반 단어 단위 감정 임베딩과 lstm 모델을 이용한 대화 내에서 발화의 감정 분류 방법
CN111260154B (zh) * 2020-02-17 2020-10-27 河海大学 基于cnn-lstm的短期太阳辐射预测方法及装置
KR102443961B1 (ko) 2020-07-10 2022-09-16 고려대학교 산학협력단 뇌파를 활용한 동작 상상 분류 장치 및 방법
KR102448733B1 (ko) * 2020-11-18 2022-09-30 주식회사 스캐터랩 문맥 내 턴 구성을 고려하여 응답을 선택하는 대화 시스템 및 그 방법
KR102547136B1 (ko) * 2021-12-06 2023-06-22 삼성생명보험주식회사 음성 상담을 보조하기 위한 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017211799A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置および情報処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101661669B1 (ko) 2015-01-06 2016-09-30 포항공과대학교 산학협력단 대화시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017211799A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置および情報処理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Convolutional Neural Network를 이용한 사용자 발화 분석" 김민경, 김학수, 정보통신 논문지 제21호 2017.(2017.02.28. 공개)*
"Long Short-Term Memory를 이용한 통합 대화 분석" 김민경, 김학수, 제28회 한글 및 한국어 정보처리 학술대회 논문집(2016.10.18. 공개)*
"Machine Learning 스터디 (18) Neural Network Introduction" http://sanghyukchun.github.io/74/ (2015.9.13 공개)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029850A1 (ko) * 2022-08-05 2024-02-08 삼성전자주식회사 언어 모델에 기초하여 사용자 발화를 처리하는 방법 및 전자 장치

Also Published As

Publication number Publication date
KR20190109670A (ko) 2019-09-26

Similar Documents

Publication Publication Date Title
KR102198265B1 (ko) 신경망을 이용한 사용자 의도분석 시스템 및 방법
US11568855B2 (en) System and method for defining dialog intents and building zero-shot intent recognition models
US11503155B2 (en) Interactive voice-control method and apparatus, device and medium
Kheddar et al. Deep transfer learning for automatic speech recognition: Towards better generalization
US11380330B2 (en) Conversational recovery for voice user interface
US20230395075A1 (en) Human-machine dialogue system and method
Gupta et al. The AT&T spoken language understanding system
US10872601B1 (en) Natural language processing
WO2017000809A1 (zh) 一种语言交互方法
US11132994B1 (en) Multi-domain dialog state tracking
CN114911932A (zh) 基于主题语义增强的异构图结构多会话者情感分析方法
CN111881672A (zh) 一种意图识别的方法
Chandak et al. Streaming language identification using combination of acoustic representations and ASR hypotheses
CN115455197A (zh) 一种融合位置感知细化的对话关系抽取方法
CN116108856B (zh) 基于长短回路认知与显隐情感交互的情感识别方法及系统
CN117634471A (zh) 一种nlp质检方法及计算机可读存储介质
CN115033695A (zh) 一种基于常识知识图谱的长对话情感检测方法及系统
Petukhova et al. Incremental dialogue act understanding
CN117056506A (zh) 一种基于长序列文本数据的舆情情感分类方法
KR102624790B1 (ko) 다중 의도 발화의 의도 분석 및 처리를 위한 자연어 처리 장치, 프로그램 및 그것의 제어 방법
Kuhn Keyword classification trees for speech understanding systems
CN117493548A (zh) 文本分类方法、模型的训练方法和装置
Bonneau-Maynard et al. MEDIA: a semantically annotated corpus of task oriented dialogs in French: Results of the French media evaluation campaign
CN114238606A (zh) 一种智能语音客服机器人对话管理方法及装置
Henderson et al. Data-driven methods for spoken language understanding

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180309

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191206

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200507

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20191206

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20200507

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20200206

Comment text: Amendment to Specification, etc.

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20200603

Patent event code: PE09021S02D

AMND Amendment
PX0701 Decision of registration after re-examination

Patent event date: 20201214

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20200803

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200526

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200507

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20200206

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201228

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201228

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231004

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee