JP7348027B2 - 対話システム、対話プログラムおよび対話システムの制御方法 - Google Patents
対話システム、対話プログラムおよび対話システムの制御方法 Download PDFInfo
- Publication number
- JP7348027B2 JP7348027B2 JP2019195122A JP2019195122A JP7348027B2 JP 7348027 B2 JP7348027 B2 JP 7348027B2 JP 2019195122 A JP2019195122 A JP 2019195122A JP 2019195122 A JP2019195122 A JP 2019195122A JP 7348027 B2 JP7348027 B2 JP 7348027B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- information
- interface
- user
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000004364 calculation method Methods 0.000 claims description 210
- 238000009826 distribution Methods 0.000 claims description 194
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 230000003993 interaction Effects 0.000 claims description 21
- 230000006399 behavior Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000013459 approach Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 230000009471 action Effects 0.000 description 17
- 238000005259 measurement Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
Description
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
ステップ104:発話特徴算出部21は、i番目の種類の発話特徴量があるか否かを判定する。i番目の種類の発話特徴量がある場合(104:YES)、発話特徴算出部21はステップ105に進む。i番目の種類の発話特徴量がない場合(104:NO)、発話特徴算出部21はステップ107に進む。
ステップ116:発話分布算出部22は、カウンタjを1に設定する。
ステップ117:発話分布算出部22は、発話履歴情報32Aにi番目の発話特徴量があるか否かを判定する。i番目の発話特徴量がある場合(117:YES)、発話分布算出部22はステップ118に進み、i番目の発話特徴量が無い場合(117:NO)、発話分布算出部22はステップ120に進む。
ステップ120:発話分布算出部22は、発話分布情報33のユーザ度数324の値を用いて、ユーザ相対度数325の値を算出する。
ステップ123:発話分布算出部22は、発話履歴情報32Bにj番目の発話特徴量があるか否かを判定する。j番目の発話特徴量がある場合(123:YES)、発話分布算出部22はステップ124に進み、j番目の発話特徴量が無い場合(123:YES)、発話分布算出部22はステップ126に進む。
ステップ125:発話分布算出部22は、カウンタjを1だけインクリメントする。
ステップ126:発話分布算出部22は、発話分布情報33のインタフェース度数328の値を用いて、インタフェース相対度数329の値を算出する。
ステップ135:言語情報算出部23は、カウンタiがインタフェース言語情報候補の規定数以下であるか否かを判断する。カウンタiが規定数以下であれば、言語情報算出部23はステップ136に進み、カウンタiが規定数を超えていれば言語情報算出部23は終了する。規定数は、専門家の判断により事前に入力した数値でもよいし、前回インタフェース言語情報候補が算出された数を用いてもよい。また、発話設定情報35が規定数を入力する項目を含み、専門家の判断や前回の対話における動作などに基づいてその項目に入力された数値を用いてもよい。
ステップ137:言語情報算出部23は、i番目のインタフェース言語情報候補の発話特徴量を算出する。
ステップ138:言語情報算出部23は、カウンタiを1だけインクリメントする。
ステップ143:発話設定算出部24は、発話設定情報35の言語情報選択基準351に、外部信号から算出して得た情報を格納し、終了する。
ステップ155:発話情報算出部25は、i番目の種類のインタフェース言語情報候補があるか否かを判定する。i番目の種類のインタフェース言語情報候補がある場合(155:YES)、発話情報算出部25はステップ156に進み、i番目の種類のインタフェース言語情報候補がない場合(155:NO)、発話情報算出部25はステップ158に進む。
ステップ157:発話情報算出部25は、カウンタiを1、インクリメントする。
ステップ158:発話情報算出部25は、出力信号名を取得する。出力信号名は、上述のように、たとえば事前に設定されている。
ステップ160:発話情報算出部25は、選択したインタフェース発話内容の発話特徴量を算出または取得し、出力発話情報36の発話特徴量365に格納して、終了する。
ステップ163:発話情報出力部26は、インタフェース発話内容を出力部15に出力する。発話情報出力部26は、インタフェース発話内容とともに、インタフェース発話内容の発話特徴量も出力部15に出力するなど、他の情報の一部または全部も出力してもよい。また、インタフェース発話内容の発話特徴量が前回の出力時の発話特徴量から大きく変化した場合において、発話特徴量がインタフェース発話内容に影響しない場合は、発話情報出力部26は、所定回数や時間をかけて対話インタフェースの発話特徴量を変化させるように出力してもよい。
Claims (12)
- ユーザと対話を行う対話システムであって、
ユーザの発話信号を受け付ける入力装置と、
前記対話システムの発話履歴に基づく発話内容の発話特徴量の度数分布が理想度数分布に近づくように、前記ユーザの発話信号から取得した発話内容に対する前記対話システムの発話内容を決定する演算装置と、
前記決定した前記対話システムの発話内容を出力する出力装置と、を含む対話システム
。 - 請求項1に記載の対話システムであって、
前記演算装置は、前記ユーザの発話特徴量の度数分布に基づき、前記理想度数分布を決定する、対話システム。 - 請求項1記載の対話システムであって、
前記発話特徴量の種類は、発話時間、発話のピッチ、発話のトーン、発話のエネルギ、および話者交代潜時のいずれかである、対話システム。 - 請求項2記載の対話システムであって、
前記演算装置は、
前記ユーザの発話時間の度数分布を算出し、
前記ユーザの発話時間よりも短い発話時間の数が多くなるように、前記対話システムの発話内容を決定する、対話システム。 - 請求項1記載の対話システムであって、
前記演算装置は、
前記ユーザの発話特徴量の度数分布から分布変換係数により前記理想度数分布を算出し、
前記対話システムの発話内容の発話特徴量の度数分布と前記理想度数分布との間の距離を算出し、
前記距離に基づき、前記対話システムの発話内容の理想発話特徴量を算出する、対話システム。 - 請求項5記載の対話システムであって、
前記演算装置は前記理想発話特徴量に基づき、複数の候補より前記対話システムの出力する発話内容を選択する、対話システム。 - 請求項5記載の対話システムであって、
前記演算装置は、外部から受け付けた発話設定情報に基づき前記対話システムの発話内容を決定する、対話システム。 - 請求項7記載の対話システムであって、
前記発話設定情報は、前記発話特徴量の種類と数、前記発話特徴量の下限と上限、前記分布変換係数、前記距離の算出方法、誘発行動の種類と数、および学習データの使用の有無のうち少なくともいずれかである、対話システム。 - 請求項6記載の対話システムであって、
前記演算装置は、前記複数の候補の発話特徴量と前記理想発話特徴量との間の距離に基づき、前記複数の候補より発話内容を選択する、対話システム。 - 請求項1記載の対話システムであって、
前記演算装置は、前記対話システムの発話内容の複数種類の発話特徴量の度数分布それぞれが対応する理想度数分布に近づくように、前記ユーザの発話信号から取得した発話内容に対する前記対話システムの発話内容を決定する、対話システム。 - ユーザと対話を行う計算機に実行される対話プログラムであって、
計算機に、
ユーザの発話信号を入力装置から取得する処理、
前記計算機の発話履歴に基づく発話内容の発話特徴量の度数分布が理想度数分布に近づくように、前記ユーザの発話信号から取得した発話内容に対する前記計算機の発話内容を決定する処理、
前記決定した前記計算機の発話内容を出力装置に出力させる処理、を実行させる対話プログラム。 - 演算装置を含み、ユーザと対話を行う対話システムの制御方法であって、
前記演算装置が、ユーザの発話信号を取得し、
前記演算装置が、前記対話システムの発話履歴に基づく発話内容の発話特徴量の度数分布が理想度数分布に近づくように、前記ユーザの発話信号から取得した発話内容に対する前記対話システムの発話内容を決定する、ことを含む対話システムの制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195122A JP7348027B2 (ja) | 2019-10-28 | 2019-10-28 | 対話システム、対話プログラムおよび対話システムの制御方法 |
US17/030,515 US11538491B2 (en) | 2019-10-28 | 2020-09-24 | Interaction system, non-transitory computer readable storage medium, and method for controlling interaction system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195122A JP7348027B2 (ja) | 2019-10-28 | 2019-10-28 | 対話システム、対話プログラムおよび対話システムの制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021067907A JP2021067907A (ja) | 2021-04-30 |
JP2021067907A5 JP2021067907A5 (ja) | 2022-05-17 |
JP7348027B2 true JP7348027B2 (ja) | 2023-09-20 |
Family
ID=75586890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019195122A Active JP7348027B2 (ja) | 2019-10-28 | 2019-10-28 | 対話システム、対話プログラムおよび対話システムの制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11538491B2 (ja) |
JP (1) | JP7348027B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011242470A (ja) | 2010-05-14 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 発声用テキストセット作成方法、発声用テキストセット作成装置及び発声用テキストセット作成プログラム |
JP2014134675A (ja) | 2013-01-10 | 2014-07-24 | Ntt Docomo Inc | 機能実行システム及び発話例出力方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4456537B2 (ja) | 2004-09-14 | 2010-04-28 | 本田技研工業株式会社 | 情報伝達装置 |
WO2012063424A1 (ja) * | 2010-11-08 | 2012-05-18 | 日本電気株式会社 | 特徴量系列生成装置、特徴量系列生成方法および特徴量系列生成プログラム |
CN105247609B (zh) * | 2013-05-31 | 2019-04-12 | 雅马哈株式会社 | 利用言语合成对话语进行响应的方法及装置 |
JP6375604B2 (ja) * | 2013-09-25 | 2018-08-22 | ヤマハ株式会社 | 音声制御装置、音声制御方法およびプログラム |
KR20170034154A (ko) * | 2015-09-18 | 2017-03-28 | 삼성전자주식회사 | 콘텐츠 제공 방법 및 이를 수행하는 전자 장치 |
JP6440660B2 (ja) * | 2016-09-12 | 2018-12-19 | ヤフー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11270684B2 (en) * | 2019-09-11 | 2022-03-08 | Artificial Intelligence Foundation, Inc. | Generation of speech with a prosodic characteristic |
-
2019
- 2019-10-28 JP JP2019195122A patent/JP7348027B2/ja active Active
-
2020
- 2020-09-24 US US17/030,515 patent/US11538491B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011242470A (ja) | 2010-05-14 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 発声用テキストセット作成方法、発声用テキストセット作成装置及び発声用テキストセット作成プログラム |
JP2014134675A (ja) | 2013-01-10 | 2014-07-24 | Ntt Docomo Inc | 機能実行システム及び発話例出力方法 |
Also Published As
Publication number | Publication date |
---|---|
US11538491B2 (en) | 2022-12-27 |
US20210125630A1 (en) | 2021-04-29 |
JP2021067907A (ja) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tahon et al. | Towards a small set of robust acoustic features for emotion recognition: challenges | |
WO2020135194A1 (zh) | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 | |
US9275637B1 (en) | Wake word evaluation | |
EP3966809B1 (en) | Wake word selection assistance architectures and methods | |
US10629192B1 (en) | Intelligent personalized speech recognition | |
JP2021105736A (ja) | 情報処理装置、方法及びプログラム | |
US11900959B2 (en) | Speech emotion recognition method and apparatus | |
CN112309365A (zh) | 语音合成模型的训练方法、装置、存储介质以及电子设备 | |
JP7063937B2 (ja) | 音声対話するための方法、装置、電子デバイス、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム | |
JP6201212B2 (ja) | キャラクタ生成装置およびプログラム | |
CN109658931A (zh) | 语音交互方法、装置、计算机设备及存储介质 | |
CN112562723A (zh) | 发音准确度确定方法、装置、存储介质和电子设备 | |
JP7063230B2 (ja) | コミュニケーション装置およびコミュニケーション装置の制御プログラム | |
WO2021009962A1 (ja) | 対話装置 | |
JP7348027B2 (ja) | 対話システム、対話プログラムおよび対話システムの制御方法 | |
JP6993314B2 (ja) | 対話システム、装置、及びプログラム | |
EP4123498A1 (en) | Open input empathy interaction | |
CN112017668B (zh) | 一种基于实时情感检测的智能语音对话方法、装置和系统 | |
Zargham et al. | " I Know What You Mean": Context-Aware Recognition to Enhance Speech-Based Games | |
JPH06315572A (ja) | 音声ゲーム機 | |
Kaur | Mouse movement using speech and non-speech characteristics of human voice | |
JP2022081279A (ja) | ゲームプログラム、記録媒体、ゲーム処理方法、情報処理装置 | |
JP6993034B1 (ja) | コンテンツ再生方法、及びコンテンツ再生システム | |
WO2024024065A1 (ja) | 感性変換方法、感性変換装置および感性変換プログラム | |
US20240194197A1 (en) | Systems, devices and methods for affective computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220506 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220506 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7348027 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |