JP6884947B2 - 対話システム及びそのためのコンピュータプログラム - Google Patents
対話システム及びそのためのコンピュータプログラム Download PDFInfo
- Publication number
- JP6884947B2 JP6884947B2 JP2017051504A JP2017051504A JP6884947B2 JP 6884947 B2 JP6884947 B2 JP 6884947B2 JP 2017051504 A JP2017051504 A JP 2017051504A JP 2017051504 A JP2017051504 A JP 2017051504A JP 6884947 B2 JP6884947 B2 JP 6884947B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- response
- emotion
- score
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004590 computer program Methods 0.000 title claims description 10
- 230000004044 response Effects 0.000 claims description 199
- 230000008451 emotion Effects 0.000 claims description 189
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010187 selection method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000009118 appropriate response Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Description
<構成>
図2に、本発明の第1の実施の形態に係る対話システム100のブロック図を示す。図2を参照して、この対話システム100は、入力発話52からユーザの感情を推定する入力発話感情推定部120と、入力発話52に基づいて、既存の手法を用いて、図2には図示しない対話・応答ベータベースから応答発話を選択する応答発話選択部122と、応答発話選択部122により選択された応答発話に対し、入力発話感情推定部120により推定された感情に応じて、接続詞又は相槌を追加することによって応答発話を変換し、最終的な応答発話102を出力する応答発話変換部124とを含む。
上記した第1の実施の形態に係る対話システム50は以下のように動作する。予め、図3及び図6にそれぞれ示す感情極性記憶部156及び246には、図4に示すように感情項目ごとに極性が記憶されている。同様に、CNN152及び242については、入力発話を構成する単語の単語ベクトルが与えられると、その入力発話に対する各感情項目のスコアを出力するよう学習が行われているものとする。また図5に示す入力文・応答文ペアDB202にはウェブ等のコーパスから収集された大量の入力文・応答文ペアが、入力文をキーに応答文を検索可能なように構築されている。さらに、図6に示す接続詞記憶部250には逆接の接続詞がいくつか記憶されており、相槌DB252には感情項目ごとに相槌が1又は複数個記憶されている。
<構成>
応答発話の変換手法としては種々のものを選択できる。この第2の実施の形態は、その1例である。この実施の形態では、過去の入力発話に対して算出された感情スコア及び極性スコアが履歴として残され、この履歴を用いて応答発話の変換が行われる。なお、この第2の実施の形態では、直前の入力発話に対する履歴のみを用いるが、さらに前の履歴を用いるようにしてもよい。
この第2の実施の形態では、図11を参照して、最初に履歴記憶部350に記憶されている履歴の感情スコアは全て感情スコア初期値で初期化する。感情スコア初期値は、合計が1.0となるように、1.0/(感情スコアの項目数)とするのが良い。入力発話52が入力されると、入力発話感情推定部120は入力発話52に対する感情スコアを算出し履歴記憶部350に格納される。この履歴記憶部350に格納された感情スコアは、図13に示す応答発話変換部352の接続詞・相槌付与部380に与えられる。応答発話選択部122は入力発話52に対する応答発話原文を入力文・応答文ペアDB202(図5参照)において検索して取出し、応答発話変換部352に与える。
<構成>
図15に、本発明の第3の実施の形態に係る対話システム430の構成を示す。この対話システム430が図11に示す第2の実施の形態に係る対話システム330と異なるのは、図11に示す応答発話変換部352に代えて、履歴記憶部350に記憶された感情スコアの履歴と、入力発話52に対して入力発話感情推定部120から得られた感情スコアとを用いて、応答発話変換部352とは異なる手法で応答発話原文に文字列を付与することで応答発話を変換し応答発話432として出力する応答発話変換部450を含む点である。
本実施の形態に係る対話システム430の動作は基本的に第2の実施の形態と同様である。ただし、図18に示すフローチャートから分かるように、入力発話のポジティブ値とシステム発話のポジティブ値との差が0.5以上でかつ入力発話の履歴の各感情スコアと、現在の入力発話の各感情スコアの差の最大値が0.3以上の場合には対話システム430は以下のように動作する。すなわち、この場合、本実施の形態では、単なる相槌ではなく、ステップ502において、感情スコアの差の最大値を与えるような感情に対応する文字列が図17に示す文字列DB470から選択され、応答発話原文220の先頭に付与される。単に逆接の接続詞が付与されるのではなく、入力発話の感情と応答発話の感情とがかなり異なっているときには、感情項目の内で特に異なっている感情に応じて、逆接の接続詞と同様の働きを持ち、かつ具体的に応答発話を発するための導入となる文字列が付与される。そのため、対話が機械的なものにならず、自然に感じられるという効果がある。
本発明の実施の形態に係る対話システム100、330及び430及びその構成要素は、いずれもコンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図19はこのコンピュータシステム630の外観を示し、図20はコンピュータシステム630の内部構成を示す。
52 入力発話
54、102、360、432 応答発話
70、120 入力発話感情推定部
72 応答発話感情決定部
74 応答発話選択・生成部
122 応答発話選択部
124、352、450 応答発話変換部
150、240 CNN入力生成部
152、242 CNN
154、244 スコア記憶部
156、246 感情極性記憶部
158、248 極性スコア算出部
200 応答発話検索部
202 入力文・応答文ペアDB
204 語尾変化処理部
220 応答発話原文
250 接続詞記憶部
252 相槌DB
254、380 接続詞・相槌付与部
350 履歴記憶部
470 文字列DB
472 文字列付与部
Claims (6)
- 入力発話を受け、当該入力発話に対する応答発話原文を生成する応答発話生成手段と、
複数の感情の各々に対し、前記入力発話が表す感情と前記複数の感情とが合致する度合いを表す入力発話感情スコアを算出することにより前記入力発話の感情を推定する入力発話感情推定手段と、
前記応答発話原文に対し、前記複数の感情の各々に対する感情スコアである応答発話感情スコアを算出するための応答発話感情スコア算出手段と、
前記応答発話生成手段により生成された応答発話原文を、前記入力発話感情スコア及び前記応答発話感情スコアの値により定められる変換方法にしたがって変換して応答発話を生成し出力する応答発話変換手段とを含む、対話システム。 - 前記応答発話変換手段は、
前記応答発話原文に付与すべき文字列を記憶する文字列記憶手段と、
前記入力発話感情スコア及び前記応答発話感情スコアの値により定められる選択方法にしたがって前記文字列記憶手段から文字列を選択し、前記応答発話原文に付与して応答発話を生成するための手段とを含む、請求項1に記載の対話システム。 - さらに、入力発話に対して算出された前記入力発話感情スコアの履歴を記憶する履歴記憶手段を含み、
前記応答発話変換手段は、
前記入力発話感情スコア及び前記応答発話感情スコア、並びに前記履歴記憶手段に記憶された以前の入力発話の前記入力発話感情スコアの値により定められる選択方法にしたがって前記文字列記憶手段から任意の文字列を選択し、前記応答発話原文に付与して応答発話を生成するための手段を含む、請求項2に記載の対話システム。 - 前記文字列は接続詞及び/又は相槌であり、前記文字列記憶手段は、
逆接の接続詞を記憶する接続詞記憶手段と、
相槌を記憶する相槌記憶手段とを含み、
前記応答発話変換手段は、
前記入力発話感情スコア及び前記応答発話感情スコアの値により定められる選択方法にしたがって前記接続詞記憶手段及び/又は前記相槌記憶手段から接続詞及び/又は相槌を選択し、前記応答発話原文に付与して応答発話を生成するための手段を含む、請求項2または3に記載の対話システム。 - 前記複数の感情の各々は、いずれも第1の極性及び当該第1の極性と異なる第2の極性とに分類され、
さらに、前記入力発話感情スコア及び前記応答発話感情スコアの各々について、前記第1の極性の感情スコアの合計からなる第1極性スコアを算出する第1極性算出手段と、
前記入力発話の前記第1極性スコアと、前記応答発話の前記第1極性スコアとの差の絶対値がしきい値以下であることに応答して、同意を示す文言を前記応答発話原文に付与するための手段とを含む、請求項1〜請求項4のいずれかに記載の対話システム。 - コンピュータを、請求項1〜5の何れかに記載の対話システムとして機能させる、コンピュータプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017051504A JP6884947B2 (ja) | 2017-03-16 | 2017-03-16 | 対話システム及びそのためのコンピュータプログラム |
PCT/JP2018/010230 WO2018169000A1 (ja) | 2017-03-16 | 2018-03-15 | 対話システム及びそのためのコンピュータプログラム |
US16/487,041 US11113335B2 (en) | 2017-03-16 | 2018-03-15 | Dialogue system and computer program therefor |
KR1020197025856A KR20190127708A (ko) | 2017-03-16 | 2018-03-15 | 대화 시스템 및 그것을 위한 컴퓨터 프로그램 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017051504A JP6884947B2 (ja) | 2017-03-16 | 2017-03-16 | 対話システム及びそのためのコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018156273A JP2018156273A (ja) | 2018-10-04 |
JP6884947B2 true JP6884947B2 (ja) | 2021-06-09 |
Family
ID=63523141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017051504A Active JP6884947B2 (ja) | 2017-03-16 | 2017-03-16 | 対話システム及びそのためのコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11113335B2 (ja) |
JP (1) | JP6884947B2 (ja) |
KR (1) | KR20190127708A (ja) |
WO (1) | WO2018169000A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10741169B1 (en) * | 2018-09-25 | 2020-08-11 | Amazon Technologies, Inc. | Text-to-speech (TTS) processing |
CN109977215B (zh) * | 2019-03-29 | 2021-06-18 | 百度在线网络技术(北京)有限公司 | 基于关联兴趣点的语句推荐方法和装置 |
IT201900008295A1 (it) * | 2019-06-06 | 2020-12-06 | Univ Degli Studi Di Verona | Metodo per l’allenamento della prevenzione ad un disastro, nonché sistema computerizzato ed un programma eseguibile al calcolatore per l’implementazione di tale metodo. |
CN111833907B (zh) * | 2020-01-08 | 2023-07-18 | 北京嘀嘀无限科技发展有限公司 | 一种人机交互方法与终端、计算机可读存储介质 |
WO2021217769A1 (zh) * | 2020-04-27 | 2021-11-04 | 平安科技(深圳)有限公司 | 基于情绪识别的答复方法、装置、计算机设备及存储介质 |
US11393462B1 (en) * | 2020-05-13 | 2022-07-19 | Amazon Technologies, Inc. | System to characterize vocal presentation |
US20230298580A1 (en) * | 2022-03-18 | 2023-09-21 | Google Llc | Emotionally Intelligent Responses to Information Seeking Questions |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001215993A (ja) * | 2000-01-31 | 2001-08-10 | Sony Corp | 対話処理装置および対話処理方法、並びに記録媒体 |
JP2006071936A (ja) * | 2004-09-01 | 2006-03-16 | Matsushita Electric Works Ltd | 対話エージェント |
JP2009129405A (ja) * | 2007-11-28 | 2009-06-11 | Toyota Central R&D Labs Inc | 感情推定装置、事例感情情報生成装置、及び感情推定プログラム |
JP2013109575A (ja) | 2011-11-21 | 2013-06-06 | Nec Corp | メンタルケア装置、メンタルケア方法及びメンタルケアプログラム |
JP6343823B2 (ja) * | 2013-07-03 | 2018-06-20 | 株式会社Lassic | 機械対話による感情推定システム及びそのプログラム |
CN105723360A (zh) * | 2013-09-25 | 2016-06-29 | 英特尔公司 | 利用情感调节改进自然语言交互 |
JP6262613B2 (ja) * | 2014-07-18 | 2018-01-17 | ヤフー株式会社 | 提示装置、提示方法及び提示プログラム |
JP2016090775A (ja) * | 2014-11-04 | 2016-05-23 | トヨタ自動車株式会社 | 応答生成装置、応答生成方法およびプログラム |
US10289731B2 (en) * | 2015-08-17 | 2019-05-14 | International Business Machines Corporation | Sentiment aggregation |
EP3185523B1 (en) * | 2015-12-21 | 2018-10-10 | Wipro Limited | System and method for providing interaction between a user and an embodied conversational agent |
US9812151B1 (en) * | 2016-11-18 | 2017-11-07 | IPsoft Incorporated | Generating communicative behaviors for anthropomorphic virtual agents based on user's affect |
-
2017
- 2017-03-16 JP JP2017051504A patent/JP6884947B2/ja active Active
-
2018
- 2018-03-15 WO PCT/JP2018/010230 patent/WO2018169000A1/ja active Application Filing
- 2018-03-15 US US16/487,041 patent/US11113335B2/en active Active
- 2018-03-15 KR KR1020197025856A patent/KR20190127708A/ko not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
WO2018169000A1 (ja) | 2018-09-20 |
JP2018156273A (ja) | 2018-10-04 |
US11113335B2 (en) | 2021-09-07 |
KR20190127708A (ko) | 2019-11-13 |
US20200233908A1 (en) | 2020-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6884947B2 (ja) | 対話システム及びそのためのコンピュータプログラム | |
US9865264B2 (en) | Selective speech recognition for chat and digital personal assistant systems | |
CN109657054A (zh) | 摘要生成方法、装置、服务器及存储介质 | |
US11586689B2 (en) | Electronic apparatus and controlling method thereof | |
CN110472043B (zh) | 一种针对评论文本的聚类方法及装置 | |
CN111832308B (zh) | 语音识别文本连贯性处理方法和装置 | |
KR20200056261A (ko) | 전자 장치 및 이의 제어 방법 | |
CN107393529A (zh) | 语音识别方法、装置、终端及计算机可读存储介质 | |
JP2010157081A (ja) | 応答生成装置及びプログラム | |
JP2018156272A (ja) | 対話システム、対話装置及びそのためのコンピュータプログラム | |
CN110929505A (zh) | 房源标题的生成方法和装置、存储介质、电子设备 | |
CN116401354A (zh) | 一种文本处理方法、装置、存储介质及设备 | |
WO2022142823A1 (zh) | 人机对话方法、装置、计算机设备及可读存储介质 | |
JP6449368B2 (ja) | 会話提供装置、会話提供方法及びプログラム | |
JP6806619B2 (ja) | 音声合成システム、音声合成方法、及び音声合成プログラム | |
CN113609301A (zh) | 一种基于知识图谱的对话方法、介质及系统 | |
CN110931002B (zh) | 人机交互方法、装置、计算机设备和存储介质 | |
CN109002498B (zh) | 人机对话方法、装置、设备及存储介质 | |
CN108206020A (zh) | 一种语音识别方法、装置及终端设备 | |
JP6097791B2 (ja) | 話題継続願望判定装置、方法、及びプログラム | |
WO2020080228A1 (ja) | 発話生成装置、方法、及びプログラム | |
CN112307181A (zh) | 基于特定语料库的提取语料的方法及语料提取器 | |
CN112037780A (zh) | 用于智能语音机器人的语义识别方法、装置及电子设备 | |
JP2020129061A (ja) | 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体 | |
JP2020140674A (ja) | 回答選択装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6884947 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |