JP6917611B2 - ヒューマノイドロボットの驚き動作生成装置 - Google Patents
ヒューマノイドロボットの驚き動作生成装置 Download PDFInfo
- Publication number
- JP6917611B2 JP6917611B2 JP2017047509A JP2017047509A JP6917611B2 JP 6917611 B2 JP6917611 B2 JP 6917611B2 JP 2017047509 A JP2017047509 A JP 2017047509A JP 2017047509 A JP2017047509 A JP 2017047509A JP 6917611 B2 JP6917611 B2 JP 6917611B2
- Authority
- JP
- Japan
- Prior art keywords
- surprise
- state
- robot
- control means
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 148
- 210000003128 head Anatomy 0.000 claims description 52
- 230000007935 neutral effect Effects 0.000 claims description 45
- 230000008921 facial expression Effects 0.000 claims description 38
- 210000004709 eyebrow Anatomy 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 description 26
- 210000000744 eyelid Anatomy 0.000 description 20
- 230000006870 function Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 230000004886 head movement Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 230000002269 spontaneous effect Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002747 voluntary effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Description
〈マルチモーダル対話音声データベース〉
分析には、出願人が収集したマルチモーダル対話音声データベースを用いた。このデータベースはさまざまな年代の話者による、音声、頭部のモーションキャプチャデータおよびビデオデータを含む。各対話は10分程度で、自由会話である。データベースは発話区間の情報と書き起こしを含み、驚きが表現された発話にはラベルが付与されている。
各驚き発話において、驚きの度合を4段階(驚いていない、少し驚いている、驚いている、すごく驚いている)で付与するようラベル付与者に指示した。その際に、会話の文脈を考慮するため、発話の前後5秒の区間も含め、対話の相手の声も聴ける様にした。
2 社会的・意図的な反応
3 対話の中に過去の驚き発話を再現・引用
意図的な驚き表現は、対話インタラクションを円滑にするため、自然に発生することが多い。しかし、驚き表現が自発的か意図的かを第三者が判断するのは、ラベル付与者の主観によるため、判断結果にばらつきが多く生じると予想される。
驚き発話に伴う表情や身体動作に関連するラベルとして、以下の項目を使用した。
眉毛:{上がっている、少し上がっている、上がっていない、顰めている}
頭部:{動いていない、上、下、左か右、上昇下降、傾げ、頷き、その他}
胴体:{動いていない、前、後ろ、上、下、左か右、傾げ、回る、その他}
各驚き発話区間に対し、研究補助員1名がビデオを見ながら表情や動作に関連するラベルを付与した。複数の動作が含まれる場合は、複数項目の選択を可能とした。
図4に、驚き表現の種類別で、驚きの度合における動作の出現度の分布を示す。全体的に驚き表現の度合が上がるにつれて、動作の出現度も上がることが分かる(「全体」)。この傾向は、感情的・自発的な驚き発話でより顕著に現れる。一方で、社会的・意図的な驚き発話および驚きの引用発話では、驚きの度合が高くても動作が必ずしも伴わないことが分かる。
本実施の形態では、驚き発話の持続時間が所与のものであるとして、種々の驚き度合いについて種々の驚き動作を制御する場合の効果について検討した。分析の結果、発明者は、以下の4つの要件を考慮した動作生成方法を提案する。すなわち、表情制御(瞼の開大を伴う眉毛の引き上げ)、頭部動作制御(頭部のピッチ方向)、及び上半身動作制御(トルソのピッチ方向)である。
本実施の形態で制御対象となるのは女性のアンドロイドであり、このアンドロイドを用いて驚き発話に伴う動作を評価した。アンドロイドは、遠隔の話者から送られてくる音声信号に応じて、アンドロイドの前にいる相手と対話することが想定されている。アンドロイドの発声する音声は、遠隔の話者から送られてくる音声を再生したものでもよいし、別の音声に変換したものでもよい。
下瞼制御(アクチュエータ5)
眉毛引き上げ制御(アクチュエータ6)
口角引き上げ制御(アクチュエータ8。ほほも同時に引き上げられる。)
口角伸長制御(アクチュエータ10)
顎部引き下げ制御(アクチュエータ13)
頭部ピッチ制御(アクチュエータ15)
上半身ピッチ制御(アクチュエータ18)
全てのアクチュエータについて、コマンド値は0〜255の範囲で与えられる。なお、以下の説明では、アクチュエータの状態(位置)については、そのコマンド値を用いて表し、「アクチュエータ値」と呼ぶことがある。
驚き動作における顔の表情について、眉毛の引き上げと瞼の開大は、驚きの2つのレベルにしたがって互いに協働するよう制御される。眉毛のアクチュエータ6の位置はレベル1については127、レベル2については255とし、上瞼及び下瞼のアクチュエータ1及び5についての目標値はレベル1についてはそれぞれ80及び60,レベル2についてはそれぞれ40及び30とする。中立状態の位置(レベル0に対応)における顔表情については、アクチュエータ6、1、5の位置はそれぞれ0、90及び80である。これらの値は、アンドロイドロボットの顔の表情を見ながら手動により設定した。この設定により、レベル1については少し驚いた表情、レベル2については明らかな驚きの表情が得られた。
3.1.2 上半身動作制御
上半身動作制御に関し、本実施の形態では以下の式(1)に示される様に、コサイン関数にしたがって上半身を後方に動かす。式(1)において「act[18][t]」は、アクチュエータ18に対して時刻t秒に送信されるコマンドを表す。
頭部動作に関し、本実施の形態では、頭部のピッチを音声ピッチ(基本周波数F0)により制御する方法を採用した。実際の人間がこのような頭部動作をしているわけではないが、笑いに関する同様の研究から、このような制御をしても自然な頭部動作を実現できることが判明しているため、本実施の形態でも同様の制御を行うこととした。通常、驚いたときには、人間は高いF0の音声を発生して頭を上に動かして顔を上に向け、又は上に向けた後に下に向ける動作をすることが多いためである。本実施の形態では、このF0の値を頭部ピッチアクチュエータ15へのコマンド値に変換するために、以下の式(3)を用いる。
有声で発話されない驚き表現では、顎部を下げるべきである。しかし、有声で発話される驚き表現では、口唇の動きと、それに続く顎部の動きは、ともに発話内容と同期すべきである。本実施の形態では、口唇動作は特開2012−173389号公報において提案された、フォルマントに基づく口唇動作制御方法を採用した。この様にすることで、種々の母音音質を持つ有声の驚き発話部分(「えー」、「あー」等)における適切な口唇形状を生成できる。この方法は母音のフォルマントを元にしているためである。顎部アクチュエータ(アクチュエータ13)はこの様にして推定された口唇の高さを用いて制御する。
以上、制御の細部について説明した本実施の形態に係る驚き動作の生成装置は以下のような構成を有する。図12を参照して、この実施の形態に係る驚き動作生成装置200は音声信号202を受けて、発話の内容、韻律、及び声質に基づいて驚き区間を検出し、その開始と終了とを少なくとも示す驚き区間信号を生成し出力するための驚き区間信号生成部210と、音声信号202からフォルマントを抽出しフォルマントの値を示す信号を出力するフォルマント抽出部212と、フォルマント抽出部212の出力する信号に基づいて驚き区間中の口唇動作のためのアクチュエータ群(図示せず)を制御するための口唇動作制御部214とを含む。遠隔の話者の音声に基づいて、その話者の驚き状態を検出し、その驚き状態に応じ、実際の人間に近い自然な動きでアンドロイドの表情、頭部、及び上半身を制御する。
遠隔から送信されてきた話者の音声信号202が与えられると、驚き動作生成装置200は以下の様に動作する。音声認識装置260は音声信号202に対する音声認識を行い、発話内容のテキストを驚き区間検出部264に出力する。韻律・声質特徴抽出部262は、音声信号202から発話音声の韻律及び声質特徴を抽出し、驚き区間検出部264に与える。驚き区間検出部264は、発話内容のテキスト及び韻律及び声質特徴に基づいて遠隔の話者の驚き状態を反映した驚き区間と驚きレベルとを検出し、少なくともその開始時刻及び終了時刻と驚きレベルとを特定する驚き区間信号を生成して、眉毛引き上げ動作制御部280、瞼開大動作制御部282、瞬き制御部218、頭部動作制御部220及び上半身動作制御部222に与える。
図13は、アンドロイドを制御する装置の典型例の構成を示す。この実施の形態では、制御装置630はコンピュータ640からなり、このコンピュータ640をアンドロイドの各部と接続することでアンドロイドの動作を制御する。図13を参照して、制御装置630は、メモリポート652及び入出力インターフェイス(入出力I/F)650を有するコンピュータ640と、いずれもコンピュータ640に接続されたキーボード646と、マウス648と、モニタ642とを含む。コンピュータ640は、入出力I/F650を介してアンドロイドの各部と接続されている。
202 音声信号
210 驚き区間信号生成部
212 フォルマント抽出部
214 口唇動作制御部
216 表情制御部
218 瞬き制御部
220 頭部動作制御部
222 上半身動作制御部
224、226、228、230 アクチュエータ群
260 音声認識装置
262 韻律・声質特徴抽出部
264 驚き区間検出部
280 眉毛引き上げ動作制御部
282 瞼開大動作制御部
630 制御装置
Claims (10)
- 所定の時間区間において、驚きに伴う動作を行う様にヒューマノイド型のロボットを制御するための驚き動作生成装置であって、
前記ロボットの顔の表情、頭部の状態、及び上半身の状態は、驚いていない状態である中立状態と、驚いた状態である驚き状態とにそれぞれ制御可能であり、
前記時間区間の少なくとも開始時刻と終了時刻とを特定する驚き区間信号を受信する様に接続され、前記開始時刻に、前記顔の表情を前記驚き状態に変化させる動作を開始し、前記終了時刻の後、第1の戻り時間内に、前記顔の表情を前記中立状態に戻すよう、前記ロボットを制御する表情制御手段と、
前記開始時刻に、前記頭部を前記驚き状態に変化させる動作を開始し、前記終了時刻の後、第2の戻り時間内に、前記頭部の状態を前記中立状態に戻すよう、前記ロボットを制御する頭部制御手段と、
前記開始時刻に、前記上半身を前記驚き状態に変化させる動作を開始し、前記終了時刻の後、第3の戻り時間内に、前記上半身を前記中立状態に戻すよう、前記ロボットを制御する上半身制御手段とを含み、
前記表情制御手段、前記頭部制御手段、及び前記上半身制御手段のいずれにおいても、前記第1、第2又は第3の戻り時間が、前記開始時刻に開始した、前記驚き状態への変化に要する時間よりも長くなる様に制御され、
前記表情制御手段、前記頭部制御手段、及び前記上半身制御手段のいずれも、前記中立状態と前記驚き状態との間の変化が滑らかになる様に前記ロボットを制御し、
前記頭部制御手段は、前記頭部の状態を前記驚き状態に変化させる際に、前記開始時刻から、前記終了時刻までの間、前記上半身制御手段による前記上半身の驚き状態への動きに比例する量の、前記上半身の動きとは逆方向の動きを前記頭部の動きに加え、それによって前記ロボットが前記顔を前方に向けるように前記頭部を制御する、驚き動作生成装置。 - 前記驚き状態は、第1のレベルの驚き状態と、前記第1のレベルより高い第2のレベルの驚き状態とを含み、
前記驚き区間信号に加えて、驚きのレベルを示す驚きレベル信号がさらに前記驚き動作生成装置に与えられ、
前記表情制御手段、前記頭部制御手段、及び前記上半身制御手段の任意の組み合わせにおいて、前記驚きレベル信号に応じて驚き状態を前記第1のレベルに応じた第1の驚き状態と、前記第2のレベルに応じた第2の驚き状態とに区別して前記ロボットを制御する、請求項1に記載の驚き動作生成装置。 - 前記中立状態から前記第2の驚き状態への前記ロボットの各部の変位量は、前記中立状態から前記第1の驚き状態への前記ロボットの各部の変位量より大きい、請求項2に記載の驚き動作生成装置。
- 前記表情制御手段は、前記驚き状態における眉毛の目からの離間量が、前記中立状態における離間量より大きくなる様に眉毛を制御する、請求項1〜請求項3のいずれかに記載の驚き動作生成装置。
- 前記頭部制御手段は、前記驚き状態における前記頭部が、前記中立状態における位置から前記ロボットにとって後方に移動する様に前記頭部を制御する、請求項1〜請求項4のいずれかに記載の驚き動作生成装置。
- 前記上半身制御手段は、前記驚き状態における前記上半身が、前記中立状態における位置から前記ロボットにとって後方に反る様に前記上半身を制御する、請求項1〜請求項5のいずれかに記載の驚き動作生成装置。
- 前記顔の表情が、前記驚き状態から前記中立状態に戻ったことに応答して、前記ロボットの目を1回閉じさせた後、前記中立状態に戻す制御を行うことにより前記ロボットに瞬きを行わせるための瞬き制御手段をさらに含む、請求項1〜請求項6のいずれかに記載の驚き動作生成装置。
- 前記時間区間において、前記ロボットが発声すべき発話音声信号のフォルマントを抽出するフォルマント抽出手段と、
前記フォルマント抽出手段により抽出されたフォルマントに対応して前記ロボットの口唇の開口量を制御するための口唇動作制御手段をさらに含む、請求項1〜請求項7のいずれかに記載の驚き動作生成装置。 - 音声信号を受信し、当該音声信号から、その話者の驚き状態を検出し、前記驚き区間信号を生成するための驚き区間信号生成手段をさらに含む、請求項1〜請求項8のいずれかに記載の驚き動作生成装置。
- 前記音声信号からフォルマントを抽出するフォルマント抽出手段と、
前記フォルマント抽出手段により抽出されたフォルマントに対応して前記ロボットの口唇の開口量を制御するための口唇動作制御手段をさらに含む、請求項9に記載の驚き動作生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017047509A JP6917611B2 (ja) | 2017-03-13 | 2017-03-13 | ヒューマノイドロボットの驚き動作生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017047509A JP6917611B2 (ja) | 2017-03-13 | 2017-03-13 | ヒューマノイドロボットの驚き動作生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018149629A JP2018149629A (ja) | 2018-09-27 |
JP6917611B2 true JP6917611B2 (ja) | 2021-08-11 |
Family
ID=63680793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017047509A Active JP6917611B2 (ja) | 2017-03-13 | 2017-03-13 | ヒューマノイドロボットの驚き動作生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6917611B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113625662B (zh) * | 2021-07-30 | 2022-08-30 | 广州玺明机械科技有限公司 | 用于摇饮料机器人的数据采集传输的律动动感控制系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3650817B2 (ja) * | 2001-09-06 | 2005-05-25 | 独立行政法人情報通信研究機構 | ロボットの感情表現方法及び装置 |
JP3702297B2 (ja) * | 2002-08-01 | 2005-10-05 | 株式会社Oiテクノロジーズ | ロボット制御装置及びロボット制御方法並びにそのプログラム |
JP3851328B2 (ja) * | 2004-09-15 | 2006-11-29 | 独立行政法人科学技術振興機構 | 音声データの息漏れ領域自動検出装置および息漏れ領域自動検出プログラム |
JP5750636B2 (ja) * | 2011-02-18 | 2015-07-22 | 株式会社国際電気通信基礎技術研究所 | 口唇動作パラメータ生成装置及びコンピュータプログラム |
JP5521240B1 (ja) * | 2012-12-26 | 2014-06-11 | コリア インスティチュート オブ インダストリアル テクノロジー | 人工情緒表現動作を選択するための装置及び方法 |
JP6583815B2 (ja) * | 2015-09-01 | 2019-10-02 | 株式会社国際電気通信基礎技術研究所 | アンドロイドロボットの制御システム、装置、プログラムおよび方法 |
-
2017
- 2017-03-13 JP JP2017047509A patent/JP6917611B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018149629A (ja) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6583815B2 (ja) | アンドロイドロボットの制御システム、装置、プログラムおよび方法 | |
US20190172448A1 (en) | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method | |
JP5982840B2 (ja) | 対話装置、対話プログラムおよび対話方法 | |
JP7352115B2 (ja) | 非言語情報生成装置、非言語情報生成モデル学習装置、非言語情報生成方法、非言語情報生成モデル学習方法及びプログラム | |
JP2002268699A (ja) | 音声合成装置及び音声合成方法、並びにプログラムおよび記録媒体 | |
KR20200036089A (ko) | 상호 작용 장치 및 방법 | |
JP7157340B2 (ja) | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム | |
Ishi et al. | Motion analysis in vocalized surprise expressions and motion generation in android robots | |
Sakai et al. | Speech driven trunk motion generating system based on physical constraint | |
JP6917611B2 (ja) | ヒューマノイドロボットの驚き動作生成装置 | |
US20240220811A1 (en) | System and method for using gestures and expressions for controlling speech applications | |
JP7140984B2 (ja) | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム | |
JP7225642B2 (ja) | コミュニケーションロボット、制御方法及び制御プログラム | |
JP5055486B2 (ja) | 遠隔操作アンドロイドの発話動作制御システム | |
d’Alessandro et al. | Reactive statistical mapping: Towards the sketching of performative control with data | |
Gustafson et al. | Casual chatter or speaking up? Adjusting articulatory effort in generation of speech and animation for conversational characters | |
Huckvale et al. | KLAIR: a virtual infant for spoken language acquisition research | |
JP2002258886A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 | |
CA3128594C (en) | System and method for triggering animated paralingual behaviour from dialogue | |
US20240321011A1 (en) | Nonverbal Information Generation Apparatus, Nonverbal Information Generation Model Learning Apparatus, Methods, And Programs | |
JP2023127042A (ja) | 人型エージェントの口唇動作生成方法及びコンピュータプログラム | |
Filntisis et al. | Demonstration of an HMM-based photorealistic expressive audio-visual speech synthesis system | |
KR20220015214A (ko) | 아바타의 얼굴 표정을 생성하는 서버, 방법 및 컴퓨터 프로그램 | |
Maskeliunas | Modeling aspects of multimodal Lithuanian human-machine interface | |
Brøndsted et al. | AVective multimodal interaction with a 3D agent |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6917611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |