JP6166234B2 - ロボット制御装置、ロボット制御方法及びロボット制御プログラム - Google Patents

Description

本発明は、ロボットを制御する技術に関する。

人間同士で共に映像を見た場合と一人で視聴する場合とでは、同じ喜劇ビデオを見せたとしても共視聴する他者が同席する方が一人で視聴するよりも笑う頻度と程度が増し、映像自体に対する面白さが向上することが分かっている（例えば非特許文献１）。そのため、ロボットと映像を共視聴することで共に映像内容に対して笑い・喜び・悲しみ・怒りといった同調的反応をロボットに行わせると、一人きりで映像を見た場合よりも笑い・喜びといった感情を促進し、悲しみ・怒りといった感情を抑えることが可能となる。

また、人とＣＧ人物とのコミュニケーション研究において、共感を与えるような表情変化をＣＧ人物に行わせることで人に対し親和動機を与えることが指摘されている。親和動機とは、相手に対して近寄り・協力し・行為に報いることを求める欲求と定義されており、人は自分と類似した態度をとる他者に対して親和動機を抱くと考えられている。

映像視聴時にロボットがユーザに対し情報を提供する技術として、例えば非特許文献２では、ユーザの視聴番組ログと視聴中の発話から、視聴番組に対するユーザの評価をプロファイルとして推定し、視聴中にユーザが退屈そうであればプロファイルを用いてロボットが他のテレビ番組を推薦する技術が開示されている。

また、視聴番組に関するソーシャルメディア上のコメントをロボットが発話文として用いユーザに向けて対話を行い、更にロボットがソーシャルメディア上へコメントとして投稿するという、ロボットがソーシャルメディアの仲介役を行う技術が開示されている（例えば非特許文献３）。

また、映像を見ている人の笑い行為に対して胸部の筋電位の変化を検知し、ロボットが反応して笑うことで、ユーザの笑い行動を促進する技術が開示されている（例えば非特許文献４）。

大森慈子、外１名、「他者の存在が映像に対する面白さと笑い表情の表出に与える影響」、２０１１年、仁愛大学研究紀要、人間学部篇、第１０号、pp.25-32 高間康史、外５名、「テレビ視聴時の情報推薦に基づくヒューマン・ロボットコミュニケーション」、２００７年、人口知能学会全国大会２００７、2D5-5 高橋達、外２名、「高齢者の発話機会増加のためのソーシャルメディア仲介ロボット」、２０１２年１０月、電子情報通信学会、信学技報、vol.112, no.233, CNR2012-9, pp.21-26 福嶋政期、外３名、「笑い増幅器：笑い増幅効果の検証」、２０１０年、ヒューマンインターフェース学会論文誌、pp.199-207

しかしながら、非特許文献２に開示された技術では、番組単位のユーザ評価により他の番組を紹介しているのみで、視聴時の感情表現については扱うことができない。

また、非特許文献３においても、ソーシャルメディアから決定するのはロボットの発話内容のみであり、表出すべき感情表現については扱っていない。非特許文献３では、ロボットの発話動作をソーシャルメディアコメント情報のみから決定している。しかし、ソーシャルメディア上のコメント内容はユーザが映像から受ける感情と必ずしも近いものとは限らないため、ユーザが映像から受けた感情と、ソーシャルメディアコメント情報より決定されるロボットの発話動作からユーザが受ける印象が大きく食い違う場合において、ロボットの反応がユーザにとって共感できないものになってしまう課題がある。

また、非特許文献４は、ユーザの笑い行動のみを促進する手法である。「笑い」は喜感情の中の１要素であり興奮や悲しみといった感情表現全体における僅かな部分しか対応することができない。また、ロボットへの入力がユーザの笑い反応のみであるため、ロボットはユーザの反応を検出してから検出内容に応じるというユーザに対してリアクティブ（reactive）な制御しかすることができない。そのため、筋電位の変化が検出できないような笑い反応が少ない場合には、ロボットからユーザに笑うように働き掛けるといったユーザに対するプロアクティブ（proactive）な制御を行うことができず、映像視聴時の体験を向上させる条件が限定的である。

本発明は、これらの課題に鑑みてなされたものであり、ユーザの視聴する映像に共感しているような同調的反応をロボットに行わせるロボット制御装置、ロボット制御方法及びロボット制御プログラムを提供することを目的とする。

本発明のロボット制御装置は、ユーザとともに映像を視聴するような動作をロボットに実行させるロボット制御装置であって、ユーザとともに映像を視聴するような動作をロボットに実行させるロボット制御装置であって、人間が前記映像を見た場合に当該人間に喚起される感情を表す映像印象情報と、前記映像を見た前記ユーザの感情を表すユーザ感情情報とを入力し、互いに関連する２種類の感情の種類を１組としてｎ組（ｎは１以上の整数）の感情の種類が予め設定されている場合において、前記映像印象情報から、予め用意された変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記ユーザ感情情報から、前記変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記各組につき、（１）前記映像印象情報から生成した当該組の一方の感情の種類についての値に予め定められた重みαを乗じた値と前記ユーザ感情情報から生成した当該組の当該一方の感情の種類についての値に予め定められた重みβを乗じた値の和を前記ロボットの当該組の当該一方の感情の種類についての値として計算し、（２）前記映像印象情報から生成した当該組の他方の感情の種類についての値に前記重みαを乗じた値と前記ユーザ感情情報から生成した当該組の当該他方の感情の種類についての値に前記重みβを乗じた値の和を前記ロボットの当該組の当該他方の感情の種類についての値として計算する感情状態決定部を備える。

また、本発明のロボット制御方法は、ユーザとともに映像を視聴するような動作をロボットに実行させるロボット制御装置が行うロボット制御方法であって、人間が前記映像を見た場合に当該人間に喚起される感情を表す映像印象情報と、前記映像を見た前記ユーザの感情を表すユーザ感情情報とを入力し、互いに関連する２種類の感情の種類を１組としてｎ組（ｎは１以上の整数）の感情の種類が予め設定されている場合において、前記映像印象情報から、予め用意された変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記ユーザ感情情報から、前記変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記各組につき、（１）前記映像印象情報から生成した当該組の一方の感情の種類についての値に予め定められた重みαを乗じた値と前記ユーザ感情情報から生成した当該組の当該一方の感情の種類についての値に予め定められた重みβを乗じた値の和を前記ロボットの当該組の当該一方の感情の種類についての値として計算し、（２）前記映像印象情報から生成した当該組の他方の感情の種類についての値に前記重みαを乗じた値と前記ユーザ感情情報から生成した当該組の当該他方の感情の種類についての値に前記重みβを乗じた値の和を前記ロボットの当該組の当該他方の感情の種類についての値として計算する。

本発明では、映像印象情報とユーザ感情情報を用いてロボットの感情状態を決定するので共感を得られたと感じさせる同調的反応をロボットに行わせることが可能である。

本実施の形態におけるロボット制御装置１を含む全体構成図である。 感情語辞書１５の構成例を示す図である。 感情状態変換ルールベース１８の構成例を示す図である。 音声表現データベース１９の構成例を示す図である。 身体表現データベース２０の構成例を示す図である。 位置情報取得サーバ６が保持する方位情報データベース６０の構成例を示す図である。 本実施の形態の映像関連情報とユーザ情報の流れを示す図である。 図７に、更にロボット視線情報の流れを追記した図である。 映像関連情報収集部１１の動作フローを示す図である。 ユーザ情報収集部１２の動作フローを示す図である。 映像印象推定部１４の動作フローを示す図である。 ユーザ感情推定部１３の動作フローを示す図である。 感情状態決定部１６の動作フローを示す図である。 感情要素を２次元座標上にマッピングする例を示す図である。 感情表現生成部１７の動作フローを示す図である。

以下、本発明の実施の形態について図面を用いて説明する。

図１に、本実施の形態におけるロボット制御装置を含む全体構成図を示す。

本実施の形態におけるロボット制御装置１は、映像とユーザ動画情報とユーザ音声情報をそれぞれ取得し、それらの情報を元にロボット５の感情状態を決定してロボット５を制御する装置である。映像は、映像を表示すると共に送信可能な映像表示デバイス２から取得する。ユーザ動画情報は、ユーザのユーザ表情を撮影し動画情報を送信可能なカメラ３から取得する。ユーザ音声情報は、ユーザの発話する音声を取得して音声情報を送信可能なマイク４から取得する。

ロボット５は、音声データと駆動制御命令を受信し音声データの再生と駆動制御命令に従いモータを駆動させて身体表現をすることが可能なロボットである。位置情報取得サーバ６は、ロボット５から見たユーザと映像表示デバイス２の方位角と仰俯角を保持し送信可能なサーバであり、方位情報データベース６０を備える。

〔ロボット制御装置の構成〕
まず、本実施の形態におけるロボット制御装置１の構成について説明する。

ロボット制御装置１は、映像関連情報収集部１１、ユーザ情報収集部１２、ユーザ感情推定部１３、映像印象推定部１４、感情語辞書１５、感情状態決定部１６、感情表現生成部１７、感情状態変換ルールベース１８、音声表現データベース１９、身体表現データベース２０を備える。ロボット制御装置１は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはロボット制御装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。なお、ロボット制御装置１の各機能構成部をコンピュータで構成するようにしてもよい。図１では、ロボット制御装置１とロボット５とを分けて示しているが、ロボット５内にロボット制御装置１を組み込んでもよい。

映像関連情報収集部１１は、映像を映像表示デバイス２から受信し、当該映像に関する映像関連情報を映像印象推定部１４に送信する。ここで映像関連情報とは、映像の動画像情報と音声情報と字幕情報を含む情報である。

ユーザ情報収集部１２は、カメラ３で撮影して送信したユーザの表情をユーザ動画情報として受信する。また、マイク４で収音したユーザの発話する音声をユーザ音声情報として受信する。そして受信したユーザ動画情報とユーザ音声情報を、ユーザ情報としてユーザ感情推定部１３に送信する。

映像印象推定部１４は、映像関連情報収集部１１から送信される映像関連情報から、人が当該映像関連情報を視聴した際に喚起される感情である映像印象情報を推定する。ユーザ感情推定部１３は、ユーザ情報収集部１２から送信されるユーザ情報から、ユーザの感じているユーザ感情情報を推定する。

感情状態決定部１６は、映像印象推定部１４で推定した映像印象情報と、ユーザ感情推定部１３で推定したユーザ感情情報の２つの情報を用いてロボット５の感情状態であるロボット感情状態を決定する。感情表現生成部１７は、感情状態決定部１６で決定したロボット感情状態を受信し、ロボット制御装置１が保持するデータを参照してロボット５に送信する音声データと駆動制御命令を生成する。

続いて、ロボット制御装置１が保持するデータについて説明する。

図２に、感情語辞書１５の構成例を示す。感情語辞書１５は、「きれい」や「凄い」といった感情を表現する単語と各単語の感情強度を格納する。感情を表現する各単語に対して、各単語を、「興奮」、「喜び」、「怒り」、「悲しみ」、「…」、といった感情要素に分解した各感情要素の強度が対応付けられている。例えばその強度は0.0〜1.0の値によって表される。感情語辞書１５は、映像印象推定部１４が、映像印象情報を推定するときに用いられる。

図３に、感情状態変換ルールベース１８の構成例を示す。感情状態変換ルールベース１８は、感情語辞書１５の感情要素に対応させた覚醒値式と快値式を格納する。感情要素の「興奮」に対する覚醒値は例えば覚醒値=ｎ*0.15+0.35、快値は例えば快値=ｎ*0.10+0.10で与えられる。ここでｎは感情要素の強度を表す変数である。感情状態変換ルールベース１８は、感情状態決定部１６がロボットの感情状態を決定するときに用いられる。なお、覚醒値と快値について詳しくは後述する。

図４に、音声表現データベース１９の構成例を示す。音声表現データベース１９は、音声名に対応させた覚醒値と快値と音声ファイルパスを格納する。例えば音声名「すごい」に対する覚醒値は0.85、快値は0.80である。音声ファイルパスは、「すごい」等の音声データの所在を表す。音声データは、例えばロボット制御装置１の内部にあってもよいし、外部のサーバにあってもよい。音声表現データベース１９は、感情表現生成部１７が音声データを生成するときに用いられる。

図５に、身体表現データベース２０の構成例を示す。身体表現データベース２０は、動作名と、それに対応させた覚醒値と快値と視線対象と駆動部制御関数を格納する。駆動部制御関数は、モータ制御箇所と値、シーケンス移動間隔の２つの値の配列で構成される。モータ制御箇所と値は、作動させるロボット５のモータ部位と作動量の値（角度）である。シーケンス移動間隔は、モータ制御箇所と値を次の値に変更するまでの時間間隔を表す数値である。身体表現データベース２０は、感情表現生成部１７が駆動制御命令を生成するときに用いられる。

〔ロボット制御装置が利用する外部のデータ〕
続いて、ロボット制御装置１が利用する外部のサーバが保持するデータについて説明する。図６に、位置情報取得サーバ６が保持する方位情報データベース６０の構成例を示す。方位情報データベース６０は、視線対象に対応させた方位角と仰俯角を格納する。視線対象は、ロボット５の視線の先にあるユーザ又は映像表示デバイス２のことである。方位角と仰俯角はロボット５の視線の角度である。

各視線対象の方位角と仰俯角は、ユーザ、ロボット５、映像表示デバイス２の移動に応じて逐次更新されるものである。その更新は、映像表示デバイス２とユーザの位置が決まった時点で、人が位置情報取得サーバ６に設定してもよい。または、自動的にそれらの位置を検出して逐次更新されるようにしてもよい。

方位角は、ロボット５から各対象が地面に水平方向において北を0°とした際にどの方向にあるかを示したものである。仰俯角は、ロボット５から各対象が地面に垂直方向において水平を0°、真上を90°とした際にどの角度にあるかを示したものである。

方位情報データベース６０は、感情表現生成部１７が駆動制御命令を生成するときに用いられる。

〔映像関連情報とユーザ情報の流れ〕
本実施の形態を詳細に説明する前に、主要な情報である映像関連情報とユーザ情報の情報の流れを図７に示して本実施の形態の基本的な考えについて説明する。映像関連情報は、映像印象を推定するために必要な視聴シーンに関わる情報であり、視聴映像の音声、動画像、視聴映像に含まれる字幕などのデータを含む情報である。なお、視聴映像に関するTwitterなどのソーシャルコメント情報等を映像関連情報に含めてもよい。

ユーザ情報は、映像視聴時におけるユーザの表情、ユーザの発話音声などのデータを含む情報である。なお、ユーザの姿勢やユーザの心拍数などの生体情報をユーザ情報に含めてもよい。

映像関連情報が入力される映像印象推定部１４は、一般の人が映像関連情報を視聴した際に喚起される感情を、映像印象情報として推定する。ユーザ情報が入力されるユーザ感情推定部１３は、ユーザ情報からユーザが感じているユーザ感情情報を推定する。

感情状態決定部１６は、映像印象情報とユーザ感情情報を入力として、ユーザが共感を得られたと感じさせる同調的反応をロボット５に行わせる感情表現を生成する。ロボット５に行わせる感情表現としては、ロボット５の腕の動きや頭の動きなどの身体的表現、ロボット５が発話する音声、ロボット５の表情などである。

感情状態決定部１６が、２つの情報を用いてロボット５の感情状態を決定することで、ユーザの感情的な反応が少ない場合や、映像印象情報とユーザ感情情報のそれぞれから推定されるロボット５の感情表現が大きく食い違う場合でも、適切な感情表現をロボット５に対して行わせることが可能になる。

また、映像印象情報とユーザ感情情報に加えてロボット５の視線方向を表すロボット視線情報を用いてロボット５に行わせる感情表現を生成するようにしてもよい。図８に、ロボット視線情報を追加した本実施の形態の情報の流れを示す。ロボット視線情報を用いて、映像印象情報とユーザ感情情報のどちらの情報に重み付けして利用するかを設定することで、ロボット５により人らしい自然な共感反応を行わせることが可能になる。

このように本実施の形態は、映像関連情報とユーザ情報を用いてロボット５の適切な感情状態を決定する考えである。よって本実施の形態に係るロボット制御装置１は、ロボット５にユーザがロボットと共に映像を視聴して共感を得られたと感じさせる同調的反応を行わせることができる。

〔ロボット制御装置の動作〕
次に、ロボット制御装置１の動作について説明する。以下では、ロボット制御装置１を構成する各機能構成部ごとの動作を順に説明する。

〔映像関連情報収集部〕
図９に、映像関連情報収集部１１の動作フローを示してその動作を説明する。映像関連情報収集部１１は、映像表示デバイス２から映像を受信すると動作を開始する。まず、映像関連情報収集部１１は、映像表示デバイス２から受信した情報が映像であるか否かを判定する（ステップＳ１１０）。映像でなかった場合は、映像が受信されるまで判定動作を繰り返す（ステップＳ１１０のＮｏ）。

映像が受信されると、映像を構成する映像の動画像情報と音声情報と字幕情報を映像関連情報として映像印象推定部１４へ送信する（ステップＳ１１１）。映像関連情報収集部１１は、映像関連情報を映像印象推定部１４に送信すると動作を終了する。

〔ユーザ情報収集部〕
図１０に、ユーザ情報収集部１２の動作フローを示してその動作を説明する。ユーザ情報収集部１２は、カメラ３からユーザ動画情報、マイク４からユーザ音声情報、の何れかを受信すると動作を開始する。まず、ユーザ情報収集部１２は、カメラ３とマイク４から受信した情報がユーザ動画情報とユーザ音声情報であるか否かを判定する（ステップＳ１２０）。ユーザ動画情報とユーザ音声情報の両方が受信できるまで判定動作を繰り返す（ステップＳ１２０のＮｏ）。

ユーザ動画情報とユーザ音声情報の両方が受信できると、ユーザ動画情報とユーザ音声情報をユーザ情報としてユーザ感情推定部１３へ送信する（ステップＳ１２１）。ユーザ情報収集部１２は、ユーザ情報をユーザ感情推定部１３に送信すると動作を終了する。

〔映像印象推定部〕
図１１に、映像印象推定部１４の動作フローを示してその動作を説明する。映像印象推定部１４は、最初に映像関連情報収集部１１から受信した情報が映像関連情報であるか否かを判定する（ステップＳ１４０）。

映像印象推定部１４は、映像関連情報を受信すると動作を開始する（ステップＳ１４０のＹｅｓ）。まず、映像印象推定部１４は、受信した映像関連情報のうちの映像の動画像情報と音声情報から音声動画像感情の抽出を行う（ステップＳ１４１）。音声動画像感情は、感情要素のカテゴリとその強度で構成される。

音声動画像感情の抽出方法は、例えば参考文献１（Go Irie, Takashi Satou, Akira Kojima, Toshihiko Yamasaki and Kiyaharu Aizawa,“Affective Audio-Visual Words and Latent Topic Driving Model for Realizing Movie Affective Scene Classification”, IEEE Transactions on Multimedia, Vol.12, No.6, pp.523-534, 2010.）に記載された映像区間に対して感情ラベルを付与する方法を用いる。参考文献１では、音声情報から映像区間に対して感情ラベルを付与する手法が示されている。つまり、映像区間は音声区間に対応する区間である。音声区間は、例えばユーザ音声情報の振幅が所定値以上ある区間とすることで容易に抽出することができる。また、映像区間は話題（Topics）毎に分割された区間としてもよい。話題は、音声情報を音声認識した結果を分析して抽出してもよいし、後述する字幕情報を形態素解析した結果から抽出するようにしてもよい。

参考文献１に記載された方法は、映像区間毎に８種類の感情を表すラベルのうち最も適する感情ラベルの推定を行う。８種類の感情ラベルは、例えば、喜び（joy）、賛同（acceptance）、恐れ（fear）、驚き（surprise）、悲しみ（sadness）、嫌悪（disgust）、怒り（anger）、期待（anticipation）の８種類である。この感情ラベルが音声動画像感情の感情要素のカテゴリとなる。

本実施の形態では、映像区間について複数のシーンが検出され、複数のラベルが推定されてもよいし、ラベル数が０でもよい。映像区間の全シーンに対して感情ラベルの推定が終了したら各感情ラベルの数をカウントし、各感情ラベルの数を、当該感情要素の感情強度としたものを音声動画像感情とする。

次に、映像印象推定部１４は、映像関連情報の字幕情報に対して形態素解析処理を実施する（ステップＳ１４２）。形態素解析処理は周知の方法を用いて行う。

字幕情報を形態素解析した結果の各語彙と一致する語句を、感情語辞書１５を参照して探索する。感情語辞書１５を用いて日本語テキストから感情抽出を行う方法は、例えば参考文献２（菅原久嗣、外２名、「感情語辞書を用いた日本語テキストからの感情抽出」、the 23^rd Annual Conference of the Japanese Society for Artificial Intelligence,2009）に記載されている。一致する語句があればその単語を保持して探索を継続する。例えば、字幕情報を形態素解析した結果の語彙に、「凄い」と「きれい」の単語が含まれていると仮定する。その場合、映像印象推定部１４は、「凄い」に対応する感情要素として「興奮：0.6」、「喜び：0.2」、「怒り：0.1」を保持する（図２参照）。同様に、「きれい」に対応する感情要素として「興奮：0.3」、「喜び：0.8」も保持する。この探索動作は、形態素解析結果の全ての語彙について終了するまで繰り返される。

そして、映像印象推定部１４は、一致する語句として保持された全単語の各感情要素の感情強度の和を計算し、各感情要素と感情強度の和の組みを字幕感情として抽出する（ステップＳ１４４）。上記の例では、「興奮：0.9(0.6+0.3)」、「喜び：1.0(0.2+0.8)」、「怒り：0.1(0.1+0)」が字幕感情として抽出される。

次に、映像印象推定部１４は、音声動画像感情と字幕感情から映像印象情報の決定を行う（ステップＳ１４５）。映像印象情報の決定は、音声動画像感情と字幕感情の各感情要素の強度を合算し、その合算値が例えば最大値の５以上である場合はその感情要素の強度を５として行う。全ての感情要素の値の算出が終了したら、各感情要素と各算出値の組を映像印象情報として決定する。決定した映像印象情報を、感情状態決定部１６に送信すると映像印象推定部１４は動作を終了する（ステップＳ１４６）。

〔ユーザ感情推定部〕
図１２に、ユーザ感情推定部１３の動作フローを示してその動作を説明する。ユーザ感情推定部１３は、最初にユーザ情報収集部１２から受信した情報がユーザ情報であるか否かを判定する（ステップＳ１３０）。

ユーザ感情推定部１３は、ユーザ情報を受信すると動作を開始する（ステップＳ１３０のＹｅｓ）。ユーザ感情推定部１３は、受信したユーザ情報のうちのユーザ動画情報からユーザの表情感情の抽出を行う（ステップＳ１３１）。表情感情の抽出には、例えばオムロン株式会社の商品であるOKAO Visionなどを利用することができる。

OKAO Visionではユーザ動画情報中のユーザの表情に対して７つの感情ラベルとその度合いを計測することができる。７つの感情ラベルは、上記の８種類の感情ラベルに含まれるものであり、この感情ラベルが表情感情の感情要素のカテゴリを表す。度合いを表す値の最大値がE_maxだとした場合、計測した各感情ラベルの度合いのうち計測区間における最大値に対し、5/ E_maxを積算した値と各感情ラベルに一致する感情要素の全てのペアを表情感情として決定する。

次に、ユーザ感情推定部１３は、受信したユーザ情報のうちのユーザ音声情報から音声感情の抽出を行う（ステップＳ１３２）。音声感情の抽出方法は、例えば非特許文献３に記載された人の発話に対して感情ラベルを付与する方法を用いる。非特許文献３の方法は、音声区間に５種類の感情を表す感情ラベルのうち最も適する感情ラベルの推定を行う。５種類の感情ラベルは、喜びや悲しみや驚きなどである。この感情ラベルが音声感情の感情要素のカテゴリとなる。

本実施の形態においては、ユーザ音声情報について複数の音声区間が検出され、複数の感情ラベルが推定されてもよいし、感情ラベルの数が０であってもよい。ユーザ音声情報の音声区間に対して感情ラベルの推定が終了したら、音声区間毎に感情ラベルの数をカウントし、各感情ラベルの数を一致する感情要素の感情強度としたものを音声感情とする。

そして、ユーザ感情推定部１３は、ステップＳ１３１で抽出した表情感情とステップＳ１３２で抽出した音声感情の各感情要素の強度を合計した値を算出する。合計値が、例えば最大値の５以上である場合はその感情要素の強度を５とする。全ての感情要素の値の算出が終了したら、各感情要素と各算出値の組をユーザ感情情報として決定する（ステップＳ１３３）。決定したユーザ感情情報を、感情状態決定部１６に送信するとユーザ感情推定部１３は動作を終了する（ステップＳ１３４）。

〔感情状態決定部〕
図１３に、感情状態決定部１６の動作フローを示してその動作を説明する。感情状態決定部１６は、映像印象推定部１４から受信した情報が映像印象情報であるか否かを判定する（ステップＳ１６０）。映像印象情報である場合（ステップＳ１６０のＹｅｓ）、感情状態決定部１６は、ユーザ感情推定部１３から受信した情報がユーザ感情情報であるか否かを判定する（ステップＳ１６１）。なお、判定の順番はユーザ感情情報が先であってもよい。

感情状態決定部１６は、映像印象情報とユーザ感情情報の両方を受信すると動作を開始する（ステップＳ１６１のＹｅｓ）。感情状態決定部１６は、映像印象情報とユーザ感情情報の２つの情報を用いてロボット５の感情状態を決定する。

感情状態決定部１６において２つの情報を用いる理由について説明する。映像印象情報を利用する理由は、ユーザ感情情報のみでロボット５の感情を決定しようとすると、ユーザの感情的な反応が少ない場合に、ロボット５から積極的にユーザに働きかけて、より笑わせる、より興奮させるといったユーザに対するプロアクティブな制御が行えない問題が発生するからである。また逆に、映像印象情報のみでロボット５の感情を決定しようとすると、ユーザの感情と映像印象情報から推定される印象が大きく食い違う場合に、ロボット５の反応がユーザにとって共感できないものになってしまう問題が発生するからである。

印象が大きく食い違う問題として、例えば映像は笑いを喚起するような内容であるがユーザはそれを全く面白いと感じていない場合に、ロボット５がユーザの反応と関係なく笑い続けてしまう現象が生じる。このような問題を回避する目的で本実施の形態では、映像印象情報とユーザ感情情報の２つの情報を用いてロボット５の感情状態を決定する。

ロボット５がユーザに対して共感を生じさせる人らしい感情表現を行うためには、映像やユーザ状況に応じて適切な感情状態を決定し、その感情状態を伝えるための感情表現を行う必要がある。ここで適切な感情状態とは、例えば喜・怒・哀・楽などのような感情を構成する各感情要素に対して、各感情要素の強度を表す値が適切に決められることである。

例えば各感情要素の強度が0〜1の範囲で定まるとすると、激しい怒りを表す感情状態は、喜=0、怒=1、哀=0、楽=0。小さな喜びを表す感情状態は喜=0.3、怒=0、哀=0、楽=0のように定まる。適切な感情状態を定めることができれば、ロボット５はその感情状態に応じた表情表出、身体動作、音声表現などによって感情表現を行うことが可能である。

２つの情報を用いて上記の問題を緩和若しくは解決する手法として例えば中間値利用手法がある。次に中間値利用手法について説明する。

〔中間値利用手法〕
中間値利用手法では、映像印象情報とユーザ感情情報を同じ種類の感情状態の要素と値のスケールにマッピングする。マッピングにおいては、マッピングの変換対応を記述したデータベースを用意することで実現できる。マッピングは、互いに関連する２種類の感情状態の要素を１組として行う。例えば、感情状態の要素を２組の覚醒−非覚醒と快−不快とした場合、マッピングの変換対応は例えば図１４に示すように行うことができる。ここで、感情状態の要素とはロボット５の感情の種類である。よって、感情状態の要素を覚醒−非覚醒と快−不快とした場合のロボット５の感情は、覚醒レベル（覚醒値）と快適レベル（快値）とで表現される。

なお、覚醒−非覚醒と快−不快の組はラッセンの円環モデルに基づく。感情要素を表す２軸は、この例の他に歓喜−悲嘆と激怒と恐怖の組、憧憬−憎悪と警戒−驚嘆の組なども考えられる。

つまり、感情状態決定部１６は、映像印象情報とユーザ感情情報とを、ロボット５の感情状態を決定するための感情状態の要素を２軸の２次元空間に配置し、配置した映像印象情報とユーザ感情情報との間の感情状態の要素の値を、ロボット５の感情状態として決定する。

なお、本実施の形態では感情状態の要素を２組とした例で説明するが、感情要素を表す軸は１組単位でよい。つまり、覚醒−非覚醒の１組（１軸）に対して中間値利用手法を適用してもよい。また、喜び−悲しみ、受容−嫌悪、恐れ−怒り、驚き−期待、の４組に拡張してもよい。このように互いに関連する２種類の感情の種類の組の数は、ｎ組に拡大することができる。

図１４において、入力１と入力２は２つの情報である。入力１は、例えば映像印象推定部１４が推定した映像印象情報の推定結果が「怒り」の感情を表す単一ラベルで表される例を示している。「怒り」の覚醒値=0.85、快値=-0.5なのでその２軸上の座標に推定結果α(-0.5,0.85)がプロットされる。

入力２は、例えばユーザ感情推定部１３が推定したユーザ感情情報の推定結果が複数の感情要素とその程度で表される例を示している。ユーザ感情情報の推定結果の例は、「喜び（ｎ=5）」、「興奮（ｎ=2）」である。このように推定結果が複数の感情要素とその程度で構成される場合は、推定結果が変換式ルール上で一致する各感情要素に対して、その程度の値を覚醒値式と快値式に代入した値を求める。そして各感情要素の代入結果の覚醒値と快値のそれぞれを加算した値が推定結果となる。

この例では、快値=2*0.05+0.10+5*0.08+0.35=0.95、覚醒値=２*0.10+0.35+5*0.05+0.25=1.05、である。本実施の形態では1.0以上の値は1.0とするので、２軸上の座標に推定結果β（0.95,1.0）がプロットされる。

中間値利用手法では、映像印象情報とユーザ感情情報の２つの情報をマッピングした感情状態を用いて次式に示すように両情報の中間値にロボット５の感情状態を決定する。

ここでRobotArousal_iとRobotPositive_iは時間ｉにおけるロボット５の感情状態の覚醒−非覚醒と快−不快要素の値を表す。時間ｉは、例えば上記の音声区間や映像区間に対応する時間である。式（１）は、感情状態の要素を覚醒−非覚醒と快−不快の２組とした場合の例である。

この感情状態の要素の組はｎ組（ｎは１以上の整数）であってもよい。感情状態の要素の組に、例えば歓喜−悲嘆と激怒と恐怖の組を追加して４組としてもよい。その場合のロボット５の感情には、歓喜−悲嘆のレベルと激怒と恐怖のレベルが追加される。その場合の式（１）は４個の式で表現されることになる。

また、MovieArousal_iとMoviePositive_iは映像印象情報の覚醒−非覚醒と快−不快要素の値を表す。UserArousal_iとUserPositive_iはユーザ感情情報の覚醒−非覚醒と快−不快要素の値を表す。また、val値はどの程度ユーザ感情情報又は映像印象情報に依存すべきかを規定する値であり0≦val≦１の範囲を取る値に設定する。

中間値利用手法を用いることで、ロボット５はユーザの感情状態の表出が少ない場合、例えばUserArousal_iとUserPositive_iが０に近い場合においてもロボット５は映像印象情報の推定値を用いてプロアクティブにユーザに対して感情表現を行うことができる。また、ユーザ感情情報と映像印象情報とから推定される印象が大きく食い違う場合であっても、val値を適切に設定することで、ユーザの反応を考慮した感情表現を行うことが可能である。

例えばval値を大きく設定した場合、映像は笑いを喚起するシーンであるが、ユーザが全く笑っていない場面では、まずロボット５は小さく笑う反応を表出し、その後のロボット５の反応につられてユーザが笑った場合には、ロボット５もUserArousal_iとUserPositive_iの変化に応じて笑い反応を強くするという制御が可能になる。

要するに、感情状態決定部１６は、人間が前記映像を見た場合に当該人間に喚起される感情を表す映像印象情報と、前記映像を見た前記ユーザの感情を表すユーザ感情情報とを入力し、互いに関連する２種類の感情の種類を１組としてｎ組（ｎは１以上の整数）の感情の種類が予め設定されている場合において、前記映像印象情報から、予め用意された変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記ユーザ感情情報から、前記変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記各組につき、（１）前記映像印象情報から生成した当該組の一方の感情の種類についての値に予め定められた重みα（α=（1−val））を乗じた値と前記ユーザ感情情報から生成した当該組の当該一方の感情の種類についての値に予め定められた重みβ（β=val）を乗じた値の和を前記ロボットの当該組の当該一方の感情の種類についての値として計算し、（２）前記映像印象情報から生成した当該組の他方の感情の種類についての値に前記重みαを乗じた値と前記ユーザ感情情報から生成した当該組の当該他方の感情の種類についての値に前記重みβを乗じた値の和を前記ロボットの当該組の当該他方の感情の種類についての値として計算する。

次に、中間値利用手法に更にロボット５の視線方向を利用する手法について説明する。

〔ロボットの視線方向を利用した方式〕
ロボット５が感情表現を行うために利用する映像関連情報やユーザ情報は、ロボット５がどの方向を向いているかに関わらず取得することができる。一方で、人は視覚により周囲の情報を得ることが多い。人同士が交流する際には、相手が視覚によった情報処理をしている前提でコミュニケーションが図られる。

そのためロボット５が見ていない方向の情報を入力して感情表現を行うと、ロボット５の情報処理系と人が交流する相手に想定するモデルが食い違うため、人がロボット５に対して共感を生む際の障害となる。そこで、映像関連情報やユーザ情報のどちらの情報を重み付けして利用するか、ロボットの視線方向を用いて設定することでより人らしく自然な共感反応を行わせ、共感における障害を減ずる方法が考えられる。

ロボット５の視線方向を利用した方式の実現方法の例としては、中間値利用手法で説明したval値とRobotArousal_iとRobotPositive_iを例えば次式に示すように設定することで実現することができる。

ここでRobotView_iは時間ｉにおけるロボット５の視線方向を表す。Movie,User,Noneはそれぞれ映像表示デバイス２、ユーザ、その他の方向に向けたロボット５の視線方向を表すラベルである。また、val_see-movie,val_nosee-movie,val_nosee-user,val_nosee-userはロボット５の振る舞いを決める変数である。これらの変数は、0≦val_see-movie≦1,0≦val_nosee-movie≦1,0≦val_nosee-user≦1,0≦val_nosee-user≦1の範囲を取る。ロボット５に人らしい反応を行わせるためには、これらの変数の値を適切な値に設定すればよい。なお、ロボットの視線方向を用いる場合でも、上記と同様に感情状態の要素の組を増やすことができる。感情状態の要素を増やした場合の式（２）は、上記の式（１）と同様に感情状態の要素の組の数分増加することになる。

感情状態決定部１６は、映像印象情報とユーザ感情情報を受信すると、上記の中間値利用手法に基づいてまず映像印象情報を覚醒値と快値のペアに変換する（ステップＳ１６２）。変換の方法は、映像印象情報の各感情要素と一致する感情状態変換ルールベース１８に格納された変換ルールの感情要素の項目を探索し、一致した変換ルールの覚醒値式と快値式に対し、映像印象情報の感情要素の強度値を両変換式の変数ｎに代入する。

映像印象情報の強度が０ではない全感情要素に対して探索と代入の処理を繰り返し、全覚醒式と快式の代入結果をそれぞれ加算したものを覚醒値と快値とする。ただし、加算した結果が−1以下の場合は−1を、加算した結果が1以上の場合は1を覚醒値または快値の値とする。映像印象情報を変換した覚醒値を表す変数がMovieArousal_iであり、快値を表す変数がMoviePositive_iである。

感情状態決定部１６は、次にユーザ感情情報を覚醒値と快値のペアに変換する（ステップＳ１６３）。変換の方法は映像印象情報と同様である。

ユーザ感情情報を覚醒値と快値のペアに変換する処理は、具体例を示して説明する。例えば、感情要素と強度nを「喜び、ｎ=5」と「興奮、ｎ=4」と仮定する。その場合、感情状態変換ルールベース１８に格納された変換ルールの快値式は「喜び」の「n*0.08+0.45」と「興奮」の「n*0.10+0.10」を用いる（図３参照）。よって快値は、快値=5*0.08+0.45+4*0.10+0.10=1.35と計算される。

覚醒値式は「喜び」の「n*0.05+0.25」と「興奮」の「n*0.15+0.35」を用いる。よって覚醒値は、覚醒値=5*0.05+0.25+4*0.15+0.35=1.45と計算される。加算した結果が快値=1.35と覚醒値=1.45であり、それぞれが1以上であるので快値=1.0と覚醒値=1.0とされる。したがって上記の変数UserArousal_i=1.0、UserPositive_i=1.0となる。

ここで映像印象情報から得られた覚醒値（MovieArousal_i）を0、快値（MoviePositive_i）を0と仮定すると、ロボット５の感情状態の覚醒値（RobotArousal_i）と快値（RobotPositive_i）は上記の式（１）に各変数の値を代入することで計算できる。

どの程度ユーザ感情情報又は映像印象情報に依存すべきかを規定する値であるval値をval=0.5と仮定すると、この例ではロボット５の感情状態のRobotArousal_iはRobotArousal_i=（1-0.5）*0+0.5+1.0=0.5、RobotPositive_iはRobotPositive_i=（1-0.5）*0+0.5+1.0=0.5として生成される（ステップＳ１６４）。

感情状態決定部１６は、生成したロボット５の感情状態を表すRobotArousal_iとRobotPositive_iを感情表現生成部１７に送信すると動作を終了する（ステップＳ１６６）。図１１に示すステップＳ１６５の処理は、ロボット視線情報を受信した場合に行われる。

ロボット視線情報が入力された場合の感情状態決定部１６は、ロボット視線情報が映像の方向を表していれば映像印象情報の重み（1-val）を大きく、ユーザの方向を表していればユーザ感情情報の重み（val）を大きくしてロボット５の感情状態を決定する。

感情状態決定部１６は、感情表現生成部１７からロボット５の視線方向を表すロボット視線情報を受信すると視線対象変数(RobotView_i)を設定する。視線方向が映像表示デバイス２であった場合はRobotView_i=Movieに、視線方向がユーザであった場合はRobotView_i=Userに設定する。視線方向が映像表示デバイス２又はユーザのどちらでもない場合はRobotView_i=Noneに設定する。

視線対象変数が設定された場合、感情状態決定部１６は上記の式（２）を用いてロボット５の感情状態のRobotArousal_iとRobotPositive_i を生成する（ステップＳ１６４）。映像印象情報から得られた覚醒値と快値をそれぞれMovieArousal_iとMoviePositive_iとし、ユーザ感情情報より得られた覚醒値と快値をそれぞれUserArousal_iとUserPositive_iとし、val_see-movie=0.8, val_nosee-movie=0.2, val_see-user=0.8, val_nosee-user=0.2として上記の式（２）を用いることでロボット５の感情状態の覚醒値RobotArousal_iと快値RobotPositive_i を求める。
ここでval_see-movie=0.8, val_nosee-movie=0.2, val_see-user=0.8, val_nosee-user=0.2の値は一例である。

このように視線対象変数が設定された場合の感情状態決定部１６は、ロボット視線情報記映像の方向を示す場合は、ロボット視線情報が映像の方向を示す場合のために予め定められた映像印象情報の重みおよびユーザ感情情報の重みをそれぞれ重みα（val_see-movie）および重みβ（val_nosee-user）に設定し、ロボット視線情報がユーザの方向を示す場合は、ロボット視線情報がユーザの方向を示す場合のために予め定められた映像印象情報の重みおよびユーザ感情情報の重みをそれぞれ重みα（val_nosee-movie）および重みβ(val_see-user)に設定し、ロボット視線情報がその他の方向を示す場合は、ロボット視線情報がその他の方向を示す場合のために予め定められた映像印象情報の重みおよびユーザ感情情報の重みをそれぞれ重みα(val_nosee-movie)および重みβ(val_nosee-user)に設定する。

〔感情表現生成部〕
図１５に、感情表現生成部１７の動作フローを示してその動作を説明する。感情表現生成部１７は、感情状態決定部１６からロボット５の感情状態を受信すると動作を開始する（ステップＳ１７０のＹｅｓ）。感情表現生成部１７が動作を開始すると、ロボット５の感情状態の覚醒値と快値を用いて音声表現データベース１９を参照し、ロボット５が発する音声データを決定する（ステップＳ１７１）。

ここで決定とは、ある音声データO_nの覚醒値をVoiceArousalo_n、快値をVoicePositiveo_nとしたときの全音声データO_Nの中から次式を満たす参照する音声データを決定することである（図４参照）。音声表現データベース１９は、音声データそのものを持つようにしてもよいが、本実施の形態では、音声表現データベース１９は音声データが格納された場所を表す音声ファイルパスを格納している。

次に、感情表現生成部１７はロボット５の感情状態の覚醒値と快値を用いて身体表現データベース２０を参照し、ロボット５を駆動する駆動制御情報を決定する（ステップＳ１７２）。ここで決定とは、ある駆動制御情報K_nの覚醒値をMotionArousal_Kn、快値をMotionPositive_Knとしたときの全駆動制御情報K_Nの中から次式を満たす参照する駆動制御情報を決定することである（図５参照）。

参照する駆動部制御情報が決定すると、感情表現生成部１７は決定した駆動部制御情報に含まれる視線対象の方位角と仰俯角を方位情報として参照する（ステップＳ１７３）。視線対象が例えば映像表示デバイス２であれば、駆動制御関数の頭部方位角dxと頭部仰俯角dyに、195.6°（図６参照）と-15.1°を代入する（ステップＳ１７４）。

感情状態決定部１６がロボット視線情報を利用する場合、感情表現生成部１７は駆動部制御情報に含まれる視線対象をロボット視線情報として感情状態決定部１６に送信する（ステップＳ１７５）。頭部方位角dxと頭部仰俯角dyに角度が代入された駆動制御関数と音声ファイルパスは、駆動制御命令及び音声データとしてロボット５に送信される（ステップＳ１７６）。

この駆動制御命令と音声データの送信は、駆動制御関数のシーケンス移動間隔として設定された時間毎に繰り返される。例えば身体表現データベース２０（図５）の１行目の駆動部制御情報が参照された場合、ロボット５の視線方向は、映像表示デバイス２としたままの状態で、ロボット５の右腕チルト角0°左腕チルト角0°の状態が２０秒継続した後に、右腕チルト角30°左腕チルト角30°の状態に変化する。

感情表現生成部１７では、ロボット５の感情状態に基づいてロボット５の身体的表現と発話表現の内容を生成する。身体的表現とは、身体表現データベース２０（図５）に格納された動作名に記載されたロボット５の動作である。発話表現とは、音声表現データベース１９に格納された例えば「すごい」等の音声である。

なお、身体的表現にロボット５の表情表現を含めてもよい。その場合、感情表現生成部１７は、身体的表現と発話表現と合わせて表情表現の内容も生成する。感情表現生成部１７は、ロボット５の感情状態に基づきロボット５の身体的表現と表情的表現と発話表現を、動的に生成してもよいし、予め感情状態に対応させて保持している身体的表現と表情的表現と発話表現を利用する方法をとってもよい。また、ロボット５の感情状態を決定するための感情状態の要素を、覚醒−非覚醒と快−不快の２組とする例で説明を行ったが、上記のように感情状態の要素の組の数をｎ組にしてもよい。

以上説明したように本実施の形態によれば、ロボット５がユーザと共に映像を視聴する際に、より人らしい感情表現をロボット５が行うことで、ユーザがロボット５に対して共感を持ち映像視聴をより豊かに楽しむことを可能にする。

１：ロボット制御装置
１１：映像関連情報収集部
１２：ユーザ情報収集部
１３：ユーザ感情推定部
１４：映像印象推定部
１５：感情語辞書
１６：感情状態決定部
１７：感情表現生成部
１８：感情状態変換ルールベース
１９：音声表現データベース
２０：身体表現データベース
２：映像表示デバイス
３：カメラ
４：マイク
５：ロボット
６：位置情報取得サーバ
６０：方位情報データベース

Claims (6)

1. ユーザとともに映像を視聴するような動作をロボットに実行させるロボット制御装置であって、
   人間が前記映像を見た場合に当該人間に喚起される感情を表す映像印象情報と、前記映像を見た前記ユーザの感情を表すユーザ感情情報とを入力し、互いに関連する２種類の感情の種類を１組としてｎ組（ｎは１以上の整数）の感情の種類が予め設定されている場合において、前記映像印象情報から、予め用意された変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記ユーザ感情情報から、前記変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記各組につき、（１）前記映像印象情報から生成した当該組の一方の感情の種類についての値に予め定められた重みαを乗じた値と前記ユーザ感情情報から生成した当該組の当該一方の感情の種類についての値に予め定められた重みβを乗じた値の和を前記ロボットの当該組の当該一方の感情の種類についての値として計算し、（２）前記映像印象情報から生成した当該組の他方の感情の種類についての値に前記重みαを乗じた値と前記ユーザ感情情報から生成した当該組の当該他方の感情の種類についての値に前記重みβを乗じた値の和を前記ロボットの当該組の当該他方の感情の種類についての値として計算する
   感情状態決定部を備えることを特徴とするロボット制御装置。
2. 請求項１に記載したロボット制御装置において、
   前記感情状態決定部は、
   前記重みβは０≦β≦１の範囲に含まれ、前記重みαはα＝（１−β）であることを特徴とするロボット制御装置。
3. 請求項１に記載したロボット制御装置において、
   前記ロボットの視線方向を表すロボット視線情報を入力とし、前記ロボット視線情報が前記映像の方向を示す場合はα＞βであり、前記ロボット視線情報が前記ユーザの方向を示す場合はβ＞αであることを特徴とするロボット制御装置。
4. 請求項３に記載したロボット制御装置において、
   前記感情状態決定部は、
   前記ロボット視線情報が前記映像の方向を示す場合は、前記ロボット視線情報が前記映像の方向を示す場合のために予め定められた映像印象情報の重みおよびユーザ感情情報の重みをそれぞれ前記重みαおよび前記重みβに設定し、
   前記ロボット視線情報が前記ユーザの方向を示す場合は、前記ロボット視線情報が前記ユーザの方向を示す場合のために予め定められた映像印象情報の重みおよびユーザ感情情報の重みをそれぞれ前記重みαおよび前記重みβに設定し、
   前記ロボット視線情報がその他の方向を示す場合は、前記ロボット視線情報がその他の方向を示す場合のために予め定められた映像印象情報の重みおよびユーザ感情情報の重みをそれぞれ前記重みαおよび前記重みβに設定する
   ことを特徴とするロボット制御装置。
5. ユーザとともに映像を視聴するような動作をロボットに実行させるロボット制御装置が行うロボット制御方法であって、
   人間が前記映像を見た場合に当該人間に喚起される感情を表す映像印象情報と、前記映像を見た前記ユーザの感情を表すユーザ感情情報とを入力し、互いに関連する２種類の感情の種類を１組としてｎ組（ｎは１以上の整数）の感情の種類が予め設定されている場合において、前記映像印象情報から、予め用意された変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記ユーザ感情情報から、前記変換ルールを用いて、当該各種類の感情の大きさを示す値を生成し、前記各組につき、（１）前記映像印象情報から生成した当該組の一方の感情の種類についての値に予め定められた重みαを乗じた値と前記ユーザ感情情報から生成した当該組の当該一方の感情の種類についての値に予め定められた重みβを乗じた値の和を前記ロボットの当該組の当該一方の感情の種類についての値として計算し、（２）前記映像印象情報から生成した当該組の他方の感情の種類についての値に前記重みαを乗じた値と前記ユーザ感情情報から生成した当該組の当該他方の感情の種類についての値に前記重みβを乗じた値の和を前記ロボットの当該組の当該他方の感情の種類についての値として計算することを特徴とするロボット制御方法。
6. 請求項１乃至４の何れかに記載したロボット制御装置としてコンピュータを機能させるためのロボット制御プログラム。

Images