JP6804763B2 - 対話システム、対話装置及びそのためのコンピュータプログラム - Google Patents
対話システム、対話装置及びそのためのコンピュータプログラム Download PDFInfo
- Publication number
- JP6804763B2 JP6804763B2 JP2017051503A JP2017051503A JP6804763B2 JP 6804763 B2 JP6804763 B2 JP 6804763B2 JP 2017051503 A JP2017051503 A JP 2017051503A JP 2017051503 A JP2017051503 A JP 2017051503A JP 6804763 B2 JP6804763 B2 JP 6804763B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- utterance
- response utterance
- response
- items
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004590 computer program Methods 0.000 title claims description 16
- 230000004044 response Effects 0.000 claims description 236
- 238000011156 evaluation Methods 0.000 claims description 84
- 230000006870 function Effects 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000008451 emotion Effects 0.000 description 82
- 230000002996 emotional effect Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 20
- 239000000284 extract Substances 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009118 appropriate response Effects 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 2
- 102100034761 Cilia- and flagella-associated protein 418 Human genes 0.000 description 1
- 101100439214 Homo sapiens CFAP418 gene Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019219 chocolate Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
<構成>
図1に、本発明の第1の実施の形態に係る対話システム40のブロック図を示す。図1を参照して、この対話システム40は、ウェブから収集した大量のテキストをそのURLとともに記憶した大規模テキストデータベース52と、予めこの大規模テキストデータベースから抽出された、評価項目としての一組の感情語を記憶した感情語辞書54と、後に感情語のいずれかが現れることが多い語(ここでは「接続語」と呼ぶ。)を記憶した接続語辞書56と、感情語辞書54に記憶された感情語の各々について、入力された文がそれらに合致するスコアを算出するよう、事前に機械学習済の感情判定モデル60と、大規模テキストデータベース52、感情語辞書54及び接続語辞書56を用いて感情判定モデル60の機械学習を行うためのモデル学習部58とを含む。
以上に構成を説明した対話システム40は以下のように動作する。動作には2つのフェーズがある。第1はモデル学習部58による感情判定モデル60の学習フェーズであり、第2は対話装置66による対話動作フェーズである。
大規模テキストデータベース52には大量のテキストを格納し、データベース化する。また、接続語辞書56には予め接続語を格納しておき、感情語辞書54には接続語辞書56を用いて大規模テキストデータベース52から抽出した感情語を格納しておく。
会話文データベース64には予め大量の会話文を格納し、テキストに含まれる任意の文字列に基づいて検索できるようデータベース化しておく。また、実際に対話動作を行う前に、ユーザは入出力装置98を用いて、図10に示すようなダイアログ340を表示させ、応答の基準値を設定する。設定された基準値は応答発話選択基準記憶部100に記憶される。
上記第1の実施の形態では、対話における感情に焦点を当てている。しかし本発明はそのような実施の形態には限定されない。例えば、多数のユーザが多くの発言を行うようなサイトでは、そのサイト特有の発言スタイルが形成されていたり、特有の話題に焦点があった発言のみが行われていたりする。例えば2ch(登録商標)等が有名である。ユーザがこうしたサイトでの発言を読むことを好んでいる場合、対話でも同じような発言スタイルを採用したり、特定の話題に関する話題に焦点が当てられていたりすることを望む場合があり得る。この第2の実施の形態は、第1の実施の形態で採用されていた「感情」に代えて、こうした発話スタイルを基準にした対話を可能にする。特にこの実施の形態は、特定サイトでの発言スタイルに近い発言をし、かつ、そのような特定サイトらしさとは独立に、発言の内容として最近のニュースに関する話題を扱うような対話システムを提供する。
この第2の実施の形態に係る対話システム430は以下のように動作する。予め大規模テキストデータベース52及び入力・応答データベース444を準備しておくことは第1の実施の形態と同様である。この対話システム430にも動作フェーズは学習と対話との2つがある。
図13を参照して、入力発話442が与えられると、対話装置446の応答発話候補選択部470は、入力・応答データベース444に記憶されている入力・応答ペアの内、入力が入力発話442に類似しているものを所定個数検索し、対応する応答を応答発話候補として選択し応答発話候補記憶部472に格納する。
第3の実施の形態は、上記第1の実施の形態と第2の実施の形態とを組合せたものである。図16を参照して、第3の実施の形態に係る対話システム510は、入力発話442が与えられると、第1の実施の形態で用いられた感情判定モデル60、並びに第2の実施の形態で用いられた特定サイト判別モデル448及びニュース判別モデル450を用いて、入力・応答データベース444に記憶された応答発話候補から、ユーザにより設定された基準値に最もよく合致するものを選択して応答発話528として出力する対話装置526を含む。
本発明の実施の形態に係る対話システム40、430及び510及びその構成要素は、いずれもコンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとによっても実現できる。図18はこのコンピュータシステム630の外観を示し、図19はコンピュータシステム630の内部構成を示す。
52 大規模テキストデータベース
54 感情語辞書
56 接続語辞書
58、440 モデル学習部
60 感情判定モデル
62、442 入力発話
64 会話文データベース
66、446、526 対話装置
68、454、528 応答発話
80 テキスト抽出・分類部
82 学習用テキスト記憶部
84 学習処理部
90、470 応答発話候補選択部
92、472 応答発話候補記憶部
94 応答発話感情分析部
96、476、554 応答発話選択・生成部
98、478、550 入出力装置
100、480、552 応答発話選択基準記憶部
240 入力
242 出力
340 ダイアログ
390 基準点
392 探索範囲
444 入力・応答データベース
448 特定サイト判別モデル
450 ニュース判別モデル
452 特定サイト/ニュースURLリスト
460 テキスト分類部
462 第1の学習用テキスト記憶部
463 第2の学習用テキスト記憶部
464 第1の学習処理部
465 第2の学習処理部
474 ニュースらしさスコア算出部
475 特定サイトらしさスコア算出部
Claims (5)
- 予め定められた一組の評価項目に関する基準値を設定するための基準値設定手段と、
入力発話に対して複数の応答発話候補を生成するための応答発話候補生成手段と、
前記複数の応答発話候補の各々について、前記一組の評価項目の各々に関する評価値を算出するための評価手段と、
前記複数の応答発話候補の内、前記評価手段による評価値が前記基準値に対して予め定める関係にある応答発話候補を前記入力発話に対する応答発話として選択するための応答発話選択手段とを含み、
前記一組の評価項目は複数の項目を含み、
前記評価手段は、発話が与えられると、当該発話が前記複数の項目に合致する度合いを示すスコアを前記複数の項目の各々について出力するように機械学習により学習済のモデルを用いる判別手段を含む、対話装置。 - 前記一組の評価項目は、当該一組の評価項目の値に対応して1点が定められる評価空間を定義し、
前記応答発話選択手段は、前記評価空間内において、前記応答発話候補の内、対応する点が前記基準値により定められる点に最も近いものを前記入力発話に対する応答発話として選択するための手段を含む、請求項1に記載の対話装置。 - 前記一組の評価項目は、複数の項目を含む第1の評価項目と、前記第1の評価項目とは独立な第2の評価項目とを含み、
前記評価手段は、
前記複数の応答発話候補の各々について、前記第1の評価項目の前記複数の項目の各々について評価値を算出するための第1の評価手段と、
前記複数の応答発話候補の各々について、前記第2の評価項目について評価値を算出するための第2の評価手段とを含む、請求項1に記載の対話装置。 - 請求項1〜請求項3のいずれかに記載の対話装置と、
複数の学習用テキストの各々を、前記一組の評価項目にしたがった評価値と関係づけて記憶するテキスト記憶装置と、
前記テキスト記憶装置に記憶された前記複数の学習用テキストを学習データとして、入力発話が与えられると、前記一組の評価項目に関する評価値を推定し出力するよう、機械学習により前記評価手段の学習を行うための学習手段とを含む、対話システム。 - コンピュータを、請求項1〜請求項4のいずれかに記載の各手段として機能させる、コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017051503A JP6804763B2 (ja) | 2017-03-16 | 2017-03-16 | 対話システム、対話装置及びそのためのコンピュータプログラム |
PCT/JP2018/010231 WO2018169001A1 (ja) | 2017-03-16 | 2018-03-15 | 対話システム、対話装置及びそのためのコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017051503A JP6804763B2 (ja) | 2017-03-16 | 2017-03-16 | 対話システム、対話装置及びそのためのコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018156272A JP2018156272A (ja) | 2018-10-04 |
JP6804763B2 true JP6804763B2 (ja) | 2020-12-23 |
Family
ID=63523498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017051503A Active JP6804763B2 (ja) | 2017-03-16 | 2017-03-16 | 対話システム、対話装置及びそのためのコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6804763B2 (ja) |
WO (1) | WO2018169001A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018167339A (ja) * | 2017-03-29 | 2018-11-01 | 富士通株式会社 | 発話制御プログラム、情報処理装置及び発話制御方法 |
JP7126682B2 (ja) * | 2018-05-11 | 2022-08-29 | 国立研究開発法人情報通信研究機構 | 対話システム及びそのコンピュータプログラム |
JP7161361B2 (ja) * | 2018-09-28 | 2022-10-26 | 大和ハウス工業株式会社 | 情報管理システム |
KR102341634B1 (ko) * | 2018-11-28 | 2021-12-22 | 김훈 | 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 |
WO2020111835A1 (ko) * | 2018-11-28 | 2020-06-04 | 김훈 | 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 |
JP6599534B1 (ja) * | 2018-11-30 | 2019-10-30 | 株式会社三菱総合研究所 | 情報処理装置、情報処理方法及びプログラム |
KR102536372B1 (ko) * | 2019-11-28 | 2023-05-26 | 김훈 | 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버 |
US11361754B2 (en) * | 2020-01-22 | 2022-06-14 | Conduent Business Services, Llc | Method and system for speech effectiveness evaluation and enhancement |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06348761A (ja) * | 1993-06-07 | 1994-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 質問項目生成装置 |
JP2003006207A (ja) * | 2001-06-18 | 2003-01-10 | Nippon Telegr & Teleph Corp <Ntt> | 質問回答方法、質問回答装置及び質問回答プログラム。 |
US6763354B2 (en) * | 2002-05-10 | 2004-07-13 | Agentarts, Inc. | Mining emergent weighted association rules utilizing backlinking reinforcement analysis |
JP6220762B2 (ja) * | 2014-10-28 | 2017-10-25 | 日本電信電話株式会社 | 次発話候補スコアリング装置、方法、及びプログラム |
-
2017
- 2017-03-16 JP JP2017051503A patent/JP6804763B2/ja active Active
-
2018
- 2018-03-15 WO PCT/JP2018/010231 patent/WO2018169001A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2018169001A1 (ja) | 2018-09-20 |
JP2018156272A (ja) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6804763B2 (ja) | 対話システム、対話装置及びそのためのコンピュータプログラム | |
Zadeh et al. | Multimodal sentiment intensity analysis in videos: Facial gestures and verbal messages | |
KR102222451B1 (ko) | 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법 | |
Christy et al. | Multimodal speech emotion recognition and classification using convolutional neural network techniques | |
Escudeiro et al. | Virtual sign–a real time bidirectional translator of portuguese sign language | |
CN110795913B (zh) | 一种文本编码方法、装置、存储介质及终端 | |
CN108326855A (zh) | 一种机器人的交互方法、装置、设备以及存储介质 | |
JP6884947B2 (ja) | 対話システム及びそのためのコンピュータプログラム | |
CN108153831A (zh) | 音乐添加方法及装置 | |
Goel et al. | Cross lingual cross corpus speech emotion recognition | |
de Velasco et al. | Emotion Detection from Speech and Text. | |
Alam et al. | Comparative study of speaker personality traits recognition in conversational and broadcast news speech. | |
CN116958342A (zh) | 虚拟形象的动作生成方法、动作库的构建方法及装置 | |
Dzogang et al. | Expressions of graduality for sentiments analysis—A survey | |
Vanmassenhove et al. | Prediction of Emotions from Text using Sentiment Analysis for Expressive Speech Synthesis. | |
Ajili et al. | Expressive motions recognition and analysis with learning and statistical methods | |
CN117711444A (zh) | 一种基于口才表达的互动方法、装置、设备及存储介质 | |
KR20130075124A (ko) | 텍스트의 정서 단어 추출을 통한 정서 분석 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체 | |
Fonnegra et al. | Speech emotion recognition based on a recurrent neural network classification model | |
Henri et al. | A deep transfer learning model for the identification of bird songs: A case study for Mauritius | |
JP2016048463A (ja) | 次発話候補ランキング装置、方法、及びプログラム | |
Novais | A framework for emotion and sentiment predicting supported in ensembles | |
Tigunova et al. | Exploring personal knowledge extraction from conversations with charm | |
Ali et al. | AI-Natural Language Processing (NLP) | |
Abubakar et al. | Emotionally intelligent chatbots-designing for empathy and emotional support: A review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6804763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |