JP5515173B2 - 頭部動作制御情報生成装置 - Google Patents
頭部動作制御情報生成装置 Download PDFInfo
- Publication number
- JP5515173B2 JP5515173B2 JP2010035614A JP2010035614A JP5515173B2 JP 5515173 B2 JP5515173 B2 JP 5515173B2 JP 2010035614 A JP2010035614 A JP 2010035614A JP 2010035614 A JP2010035614 A JP 2010035614A JP 5515173 B2 JP5515173 B2 JP 5515173B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- movement
- robot
- probability model
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004886 head movement Effects 0.000 title claims description 113
- 230000033001 locomotion Effects 0.000 claims description 138
- 238000003860 storage Methods 0.000 claims description 27
- 230000002123 temporal effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 56
- 230000008451 emotion Effects 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 239000003550 marker Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000004804 winding Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Description
後述する本発明の実施の形態を実現するにあたり、人間の発話と頭部の動きとの関係、及び人間の頭部の動きを談話相手がどのように理解するかについての実験を行なった。この結果から、後述するように比較的単純な構成のモデルを得ることができ、それによって本発明の実施の形態に係るロボットの頭部動作生成装置を実現することができた。
─データ─
実験には7人の被験者(男性4人、女性3人の発話者)を用いた。テーブル1にこれら被験者のリストと、これら被験者と対話した相手(談話相手)と、談話相手及び被験者の関係とを示す。
ただし、sqrt、^、及びatan2はそれぞれ、Matlab(登録商標)の平方関数、べき乗関数、及びアークタンジェント関数である。
日本語による対話の間で何らかの意味がある部分と考えられる分について、そのときの頭部の動きに以下のような頭部動作タグからなる注釈を手作業により付した。
・nd:単一の頷き(顔下げ─顔上げの動き)
・mnd:句とともに複数回の頷きが生じた
・fd:顔下げ
・ud:顔上げ─顔下げ(1回)
・fu:顔上げ
・ti:句内で顔かしげ
・sh:句内で顔振り(左右の動き)
頷きが常に頭部の上下への動きにより表されるとは限らない。例えば顔を軽く傾けることでも頷きと見られることがある。このようにして注釈をつけた後、最も程度の大きかった動きについて考察した。
データセット中の各句について、以下のような談話機能タグの組から選択した談話機能タグを注釈として付した。この際、肯定又は否定の反応、驚き・意外さの表れの感情表現、及び発話交替などについて考察した。
・k3(keep):考えているときなど、話者が句の末尾を延ばしながら、しかし話順は保持している(ポーズが続く場合も続かない場合もある。)。
図2及び図3に、各談話機能の機能に対する頭部動作の分布を示す。これらグラフは、各発話者と談話相手との関係に応じたグループ(各図の最下部のx軸に示す。)に分けて示してある。y軸には各頭部動作タグの生起した確率を示してある。
上記実験からはまた、頭部動作の頻度は話者により異なることが明らかとなった。
以上の結果から、談話中に最もよく生ずる頭部の動きは頷きであることが分かるが、それ以外の頭部の動きの頻度にも、談話相手、及び談話機能により一定の傾向があることが分かる。したがって、以下の実施の形態では、ルールベースの頭部動作生成モデルとそれを用いてロボットの頭部動作コマンドを生成する装置を提案する。なお、以下の説明では主として頭部動作、特に頷きについて説明するが、首振り及び首かしげなどについても同様の考え方で頭部動作コマンドを生成することができる。
<構成>
図4を参照して、制御対象となるロボット50の頭部60の駆動系は、頭部60をy軸周りに回転させるモータ62と、x軸周りに回転させるモータ64と、z軸周りに回転させるモータ66とを含む。頷き動作ではモータ64を、首振り動作ではモータ66を、首かしげではモータ62を、それぞれ動作させればよい。
図5〜図9を参照して、ロボット80の頭部動作生成装置86は以下のように動作する。
上記第1の実施の形態では、特定の談話機能タグのときのみ、頭部動作コマンドに所定の形状を重畳している。しかし、想定される全ての談話機能タグについて、必要なら頭部動作コマンドを生成するようにしてもよい。第2の実施の形態はそのような構成をとっている。
32,34,36,38,40,42,44 マーカ
80 ロボット
82,108,110,112,114 記憶装置
86 頭部動作生成装置
88 発話データ記憶装置
90 ロボット制御部
92 音声再生部
100 確率モデル群
102 頭部動作位置生成部
104 頭部動作コマンド生成部
106 談話区間用頭部動作コマンド生成部
114 記憶装置
130,132 確率モデル
150,290 頷き位置生成部
152,292 首振り位置生成部
154,294 首かしげ位置生成部
Claims (5)
- ヒューマノイド型ロボットの頭部の動きを、当該ロボットが発生する音声に同期して制御する制御情報を生成するための頭部動作制御情報生成装置であって、
前記音声は予め所定の単位に分割された音声データにより規定され、前記所定の単位の各々には、当該単位に割当てられた音声データにより発声される音声による談話機能を示す談話機能タグを含む注釈が付されており、
談話機能タグごとに、複数の頭部動作をどのような確率で実行するかを規定する確率モデルを記憶するための確率モデル記憶手段と、
前記音声データの前記所定の単位の入力を受け、当該単位に付された注釈に基づいて決定される確率モデルを、前記確率モデル記憶手段に記憶された確率モデルの中から選択するための確率モデル選択手段と、
前記確率モデル選択手段により選択された確率モデルにしたがった確率で、前記入力された所定の単位の音声データに対応する頭部動作コマンドを生成し、前記ヒューマノイドロボット型ロボットの制御部に出力するための頭部コマンド生成手段と、を含む、頭部動作制御情報生成装置。 - 請求項1に記載の頭部動作制御情報生成装置であって、
前記音声データには、話者を特定する話者特定情報、話者と談話相手との関係を特定する関係特定情報、及び発話時の非言語的情報、の任意の組合せからなる、談話モードを指定する談話モード情報が付されており、
前記確率モデル選択手段は、前記談話モード情報と前記談話機能タグとの組合せに応じて予め準備された複数個の確率モデルを記憶しており、
前記確率モデル選択手段は、前記音声データに付された談話モード情報と、前記入力された所定の単位とに応じて前記複数個の確率モデルの内の一つを選択するための手段を含む、請求項1に記載の頭部動作制御情報生成装置。 - 請求項1又は請求項2に記載の頭部動作制御情報生成装置であって、
前記頭部コマンド生成手段は、
前記確率モデル選択手段により選択された確率モデルにしたがった確率で、前記入力された所定の単位の音声データに対応する頭部動作を発生させるか否かを決定するための頭部動作決定手段と、
前記複数の頭部動作の各々に対し、当該頭部動作に対応する頭部の時間的動きを、前記ロボットの頭部の3軸のうち任意の組合せの軸周りの回転角度の変化により規定する形状情報を記憶するための形状情報記憶手段と、
前記頭部動作決定手段により何らかの頭部動作を発生させることが決定されたことに応答して、当該頭部動作の種類により予め決まっているタイミングで、当該頭部動作に対応する形状情報を前記形状情報記憶手段から読出して前記ロボットの頭部を制御するための制御コマンドを生成し前記制御部に出力するための形状読出手段とを含む、請求項1又は請求項2に記載の頭部動作制御情報生成装置。 - 請求項3に記載の頭部動作制御情報生成装置であって、
前記ロボットの頭部の動きは、前記ロボットの頭部の3軸周りの回転のうち、ピッチ角に関連するものであって、
前記頭部コマンド生成手段はさらに、
前記ロボットの発話時の頭部の時間的動きを規定する、予め準備された頭部動作の形状を記憶するための発話時頭部形状記憶手段と、
前記形状読出手段と前記制御部との間に接続され、前記音声データにより前記ロボットが発話する期間であることが示されていることに応答して、前記形状読出手段により出力される制御コマンドに、前記発話時頭部形状記憶手段から読出した頭部動作の形状を重畳して前記制御部に与えるための手段とを含む、請求項3に記載の頭部動作制御情報生成装置。 - 請求項1〜請求項3のいずれかに記載の頭部動作制御情報生成装置であって、
前記ロボットの頭部の動きは、前記ロボットの頭部の3軸のうち任意の組合せの軸周りの回転に関するものであって、
前記確率モデル記憶手段、前記確率モデル選択手段、及び前記頭部コマンド生成手段は、いずれも前記任意の組合せを構成する軸ごとに独立に頭部制御コマンドを生成する、請求項1〜請求項3のいずれかに記載の頭部動作制御情報生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010035614A JP5515173B2 (ja) | 2010-02-22 | 2010-02-22 | 頭部動作制御情報生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010035614A JP5515173B2 (ja) | 2010-02-22 | 2010-02-22 | 頭部動作制御情報生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011167820A JP2011167820A (ja) | 2011-09-01 |
JP5515173B2 true JP5515173B2 (ja) | 2014-06-11 |
Family
ID=44682465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010035614A Active JP5515173B2 (ja) | 2010-02-22 | 2010-02-22 | 頭部動作制御情報生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5515173B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5393544B2 (ja) * | 2010-03-12 | 2014-01-22 | 本田技研工業株式会社 | ロボット、ロボット制御方法およびプログラム |
JP6812269B2 (ja) * | 2017-02-23 | 2021-01-13 | 株式会社国際電気通信基礎技術研究所 | ヒューマノイド型エージェントの頷き動作生成装置 |
JP7201984B2 (ja) * | 2018-07-09 | 2023-01-11 | 株式会社国際電気通信基礎技術研究所 | アンドロイドのジェスチャ生成装置及びコンピュータプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001157982A (ja) * | 1999-11-30 | 2001-06-12 | Sony Corp | ロボット装置及びその制御方法 |
JP2002239971A (ja) * | 2001-02-16 | 2002-08-28 | Sanyo Electric Co Ltd | ロボットシステム及びロボット |
JP4555039B2 (ja) * | 2004-03-30 | 2010-09-29 | 日本電気株式会社 | ロボット、ロボット制御方法、ロボット制御プログラム |
JP5033994B2 (ja) * | 2006-01-19 | 2012-09-26 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
JP2009072910A (ja) * | 2008-12-22 | 2009-04-09 | Nec Corp | ロボット装置及びその制御方法 |
JP5402648B2 (ja) * | 2010-01-05 | 2014-01-29 | 日本電気株式会社 | 音声合成装置、ロボット装置、音声合成方法、及び、プログラム |
-
2010
- 2010-02-22 JP JP2010035614A patent/JP5515173B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011167820A (ja) | 2011-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Generation of nodding, head tilting and eye gazing for human-robot dialogue interaction | |
Kucherenko et al. | Gesticulator: A framework for semantically-aware speech-driven gesture generation | |
Glas et al. | Erica: The erato intelligent conversational android | |
US20200279553A1 (en) | Linguistic style matching agent | |
US20190172448A1 (en) | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method | |
Ishi et al. | A speech-driven hand gesture generation method and evaluation in android robots | |
CN112379780B (zh) | 多模态情感交互方法、智能设备、系统、电子设备及介质 | |
JP2003271174A (ja) | 音声合成方法、音声合成装置、プログラム及び記録媒体、制約情報生成方法及び装置、並びにロボット装置 | |
JP7352115B2 (ja) | 非言語情報生成装置、非言語情報生成モデル学習装置、非言語情報生成方法、非言語情報生成モデル学習方法及びプログラム | |
JP7180139B2 (ja) | ロボット、ロボットの制御方法及びプログラム | |
Sakai et al. | Online speech-driven head motion generating system and evaluation on a tele-operated robot | |
JP5515173B2 (ja) | 頭部動作制御情報生成装置 | |
JP2023055910A (ja) | ロボット、対話システム、情報処理方法及びプログラム | |
JP2017213612A (ja) | ロボットおよびロボットの制御方法 | |
Ishi et al. | Analysis of head motions and speech, and head motion control in an android | |
De Melo et al. | Multimodal expression in virtual humans | |
Bernardet et al. | Speech breathing in virtual humans: An interactive model and empirical study | |
JP2003058908A (ja) | 顔画像制御方法および装置、コンピュータプログラム、および記録媒体 | |
KR102576788B1 (ko) | 로봇 인터랙션 행위 생성 장치 및 방법 | |
JP2008026485A (ja) | 遠隔操作アンドロイドの発話動作制御システム | |
Ishi et al. | Online processing for speech-driven gesture motion generation in android robots | |
Gustafson et al. | Casual chatter or speaking up? Adjusting articulatory effort in generation of speech and animation for conversational characters | |
Grzyb et al. | Beyond robotic speech: mutual benefits to cognitive psychology and artificial intelligence from the study of multimodal communication | |
JP2006142407A (ja) | ロボット装置およびロボット装置システム | |
Ishi et al. | Analysis of inter-and intra-speaker variability of head motions during spoken dialogue. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5515173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |