JP7152908B2 - 仕草制御装置及び仕草制御プログラム - Google Patents

Description

本発明は、ロボットの仕草を制御するための装置及びプログラムに関する。

家庭内のロボットがユーザと一緒にテレビを視聴し、ロボットが視聴映像に対して反応している振る舞いを表現するためには、ロボットが視聴映像から受け取る感情状態を推定し、仕草を決定することにより、視聴映像に対して反応しているかのような感情動作を表出することが重要である。

例えば、特許文献１では、映像印象情報とユーザ感情情報とを用いてロボットの感情状態を決定し、共感を得られたと感じさせる同調的反応をロボットに実行させる装置が提案されている。
また、特許文献２では、ロボットが検出する基準データを基にコンテンツの評価を行い、評価結果に基づいてロボットの挙動又は状態を制御する装置が提案されている。

特開２０１６－３６８８３号公報 国際公開第２０１２／１７２７２１号

しかしながら、特許文献１では、ロボットの動作がユーザと共感を得るための同調的な動作に限定されるため、ロボット自身の感情を、特に感情の移り変わりを表出することはできなかった。
また、特許文献２においても、コンテンツの評価結果に基づいてロボットの挙動又は状態を制御したとしても、変化していくコンテンツのシーンに対する反応の移り変わりを表出することはできなかった。
したがって、ロボットの仕草により表現する感情が急に変化する場合があるため、ユーザは、ロボットの仕草に違和感を覚えることがあった。

本発明は、ロボットの感情の変化を表現できる仕草制御装置及び仕草制御プログラムを提供することを目的とする。

本発明に係る仕草制御装置は、感情を表現する複数の軸で定義された空間における、複数の感情語の感情ベクトルを記憶する第１記憶部と、前記空間を分割した複数のエリアそれぞれに対して、ロボットの仕草を割り当てた第２記憶部と、入力文から感情語を抽出する感情語抽出部と、前記感情語に対応する前記空間における遷移先の感情ベクトルを決定する感情決定部と、前記ロボットに現在設定されている遷移元の感情ベクトルから、前記遷移先の感情ベクトルまで感情ベクトルを段階的に遷移させ、各段階の感情ベクトルに対応する前記エリアに割り当てられた前記仕草を順に決定する仕草決定部と、を備える。

前記仕草決定部は、前記遷移元の感情ベクトルと前記遷移先の感情ベクトルとの距離に基づいて、遷移に要する時間を決定してもよい。

前記仕草決定部は、前記遷移元の感情ベクトルと前記遷移先の感情ベクトルとの距離に基づいて、感情ベクトルを遷移させる段階の数を決定してもよい。

前記空間は、「快－不快」及び「覚醒－眠気」を指標とし、２次元の軸で構成されたラッセル円環モデルであってもよい。

本発明に係る仕草制御プログラムは、コンピュータを、前記仕草制御装置として機能させるためのものである。

本発明によれば、ロボットの感情の変化を表現できる。

実施形態に係る仕草制御装置の機能構成を示すブロック図である。 実施形態に係る映像情報取得部の詳細な機能構成を示すブロック図である。 実施形態に係る感情語辞書を例示する図である。 実施形態に係る仕草データベースに記憶される感情ベクトルを例示する図である。 実施形態に係る仕草データベースに記憶される感情ベクトルと仕草との関係を例示する図である。 実施形態に係る感情ベクトルの段階的な遷移方法、及び対応する仕草の決定方法を例示する図である。 実施形態に係る仕草に対応するロボットのモータ制御データを例示する図である。

以下、本発明の実施形態の一例について説明する。
図１は、本実施形態に係る仕草制御装置１の機能構成を示すブロック図である。
仕草制御装置１は、制御部１０と記憶部２０とを備えた情報処理装置（コンピュータ）であり、さらに、入出力及び通信のインタフェースを備える。仕草制御装置１は、記憶部２０に格納されたソフトウェア（仕草制御プログラム）を制御部１０が実行することにより、本実施形態の各種機能を実現する。
なお、仕草制御装置１は、制御対象であるロボットに内蔵されてもよいし、通信により外部からロボットを制御する構成であってもよい。

仕草制御装置１は、本実施形態の各種機能により、ロボットの仕草を制御する。本実施形態において制御対象とするロボットは、コミュニケーションロボット又はスマートスピーカ等の家庭用のロボットである。また、仕草とは、ロボットの動作制御部４がモータ５を動作させることによる空間的な動作に加えて、ロボットに設けられた発光デバイスの発光、又はロボットによる発話の速度若しくは強弱の変化を含む動作全般をいう。

このとき、仕草制御装置１は、カメラ２及びマイク３から、ロボットが視聴している映像及び音声を取得すると、感情を表現する感情語を抽出し、ロボットの感情状態を、現在の状態から抽出した感情語の感情状態へ時間的に徐々に遷移させることにより、ロボットの仕草を段階的に決定する。ロボットの感情の初期状態は、予めラッセル円環モデルのいずれかの場所にマッピングされていてもよい。

制御部１０は、映像情報取得部１１と、感情語抽出部１２と、感情決定部１３と、仕草決定部１４とを備える。
また、記憶部２０は、感情語辞書２１と、仕草データベース２２と、ロボット感情部２３と、方向データベース２４とを備える。

映像情報取得部１１は、テレビ等を視聴している際の映像又は音声の情報を解析し、ロボットの仕草を決定するための入力文を生成する。
図２は、本実施形態に係る映像情報取得部１１の詳細な機能構成を示すブロック図である。
映像情報取得部１１は、映像取得部１１１と、音声取得部１１２と、映像画像解析部１１３と、音声解析部１１４と、映像情報統合部１１５とを備える。

映像情報取得部１１は、映像取得部１１１によりロボットに搭載されているカメラ２から映像情報を、また、音声取得部１１２によりマイク３から音声情報を取得する。
取得された映像情報は、映像画像解析部１１３により物体認識、シーン検出、文字認識等の解析が行われ、音声情報は、音声解析部１１４により音声認識が行われる。
映像情報統合部１１５は、映像画像解析部１１３及び音声解析部１１４から得られた解析結果を統合し、映像音声解析情報を出力する。このとき、映像情報統合部１１５は、不適当な特定の単語又は文章を利用させないようにするために、映像音声解析情報の該当する単語及び文章のフィルタリングを行ってもよい。

映像音声解析情報は、仕草制御のための入力文として感情語抽出部１２に提供される。
なお、映像情報取得部１１は、映像情報の解析又は音声情報の解析のために、クラウドネットワークを利用した一般に公開されている画像認識ＡＰＩ等を用いてもよい。

感情語抽出部１２は、映像情報取得部１１により提供される映像音声解析情報から感情語を抽出する。
このとき、感情語抽出部１２は、感情語辞書２１を利用して感情語を抽出する。感情語抽出部１２は、例えば、文字列に形態素解析及び係り受け解析等の構文解析を行って文構造を取得し、感情語辞書に定義されている感情語を抽出する。なお、形態素解析には、オープンソースの形態素解析エンジン（例えば、「ＭｅＣａｂ」、＜ｈｔｔｐ：／／ｔａｋｕ９１０．ｇｉｔｈｕｂ．ｉｏ／ｍｅｃａｂ／＞）等が利用可能である。
また、感情語辞書２１は、例えば「感情表現辞典、中村明、東京堂出版、１９９３」等を用いるほか、ＷＥＢページから収集されてもよい。

図３は、本実施形態に係る感情語辞書２１を例示する図である。
例えば、同一の感情を示すが表現が異なる複数の単語がグループ化され、主単語、単語１、単語２、・・・のように定義される。
感情語抽出部１２は、映像音声解析情報に含まれる単語に対して、同一グループの主単語を感情語として抽出してよい。

ここで、感情語辞書２１で定義された複数の感情語は、それぞれに対して、感情を表現する複数の軸で定義された空間における、感情ベクトルが仕草データベース２２に記憶される。
この空間は、例えば、「快－不快」及び「覚醒－眠気」の２次元の軸で構成されたラッセル円環モデルであってよい。このような空間に対して複数の感情語が予めマッピングされ、各感情語について感情ベクトルの座標値が仕草データベース２２（第１記憶部）に記憶される。
さらに、仕草データベース２２（第２記憶部）では、空間を分割した複数のエリアそれぞれに対して、ロボットの仕草が割り当てられる。

図４は、本実施形態に係る仕草データベース２２に記憶される感情ベクトルを例示する図である。
例えば、ラッセル円環モデルでは、ｘ軸に「快－不快」を表す情動価が、ｙ軸に「覚醒－眠気」を表す覚醒度が設けられる。これにより、４象限がそれぞれ、喜び、怒り、悲しみ、リラックスといった感情を表す。そして、感情語辞書２１に含まれる感情語がそれぞれ、固有の座標にマッピングされ、感情ベクトルとして記憶される。

図５は、本実施形態に係る仕草データベース２２に記憶される感情ベクトルと仕草との関係を例示する図である。
ロボットの仕草は、感情語がマッピングされた空間を複数に分割したエリア毎に定義される。
例えば、「ａ_ｓａｄ≦ｘ＜０，ｂ_ｓａｄ≦ｙ＜０」のエリアには「悲しい１」という仕草が、「ｘ＜ａ_ｓａｄ，ｂ_ｓａｄ≦ｙ＜０」のエリアには「悲しい２」という仕草が割り当てられる。
なお、この例では、等間隔の格子状にエリアが設けられているが、空間に分割方法はこれに限られない。

感情決定部１３は、ロボットの感情の遷移先として、抽出された感情語に対応する感情ベクトルを仕草データベース２２から抽出し、空間における遷移先の感情ベクトルを決定する。

仕草決定部１４は、ロボットに現在設定されている遷移元の感情ベクトルＥｒ（ａ、ｂ）から、視聴映像に基づく遷移先の感情ベクトル（ａ_ｍ、ｂ_ｍ）まで感情ベクトルを段階的に遷移させ、各段階の感情ベクトルに対応するエリアに割り当てられた仕草を順に決定する。
このとき、仕草決定部１４は、遷移元の感情ベクトルと遷移先の感情ベクトルとの距離に基づいて、遷移に要する時間を決定してもよいし、予め所定時間が指定されてもよい。
また、仕草決定部１４は、遷移元の感情ベクトルと遷移先の感情ベクトルとの距離に基づいて、感情ベクトルを遷移させる段階の数を決定してもよいし、予め所定数が指定されてもよい。

例えば、時刻ｔ０から時刻ｔ４の間にＥｒ（－１，－１）からＥｍ（１，１）まで、４段階に感情ベクトルを遷移させる場合、時刻ｔ０：Ｅｒ（－１，－１）、時刻ｔ１：Ｅｒ（－０．５，－０．５）、時刻ｔ２：Ｅｒ（０，０）、時刻ｔ３：Ｅｒ（０．５，０．５）、時刻ｔ４：Ｅｒ（１，１）のように、遷移元の感情ベクトルＥｒから遷移先の感情ベクトルＥｍに至るまでの間に３つの感情ベクトルが補間される。
これにより、仕草決定部１４は、遷移元の感情ベクトルＥｒを遷移先の感情ベクトルＥｍへ徐々に遷移させ、遷移途中の各段階の感情ベクトルそれぞれに応じたロボットの仕草を決定する。

図６は、本実施形態に係る感情ベクトルの段階的な遷移方法、及び対応する仕草の決定方法を例示する図である。
この例では、仕草決定部１４は、時刻ｔ０における遷移元の感情ベクトルＥｒ（ｔ０）から、時刻ｔ４における遷移先の感情ベクトルＥｍ＝Ｅｒ（ｔ４）まで、４段階に感情ベクトルＥｒ（）を変化させている。

例えば、感情語「退屈な」に対応する遷移元の感情ベクトルＥｒ（ａ，ｂ）がロボットに設定されている際に、新たにテレビの実況音声等から感情語「嬉しい」が検出されると、検出された感情語に対応した遷移先の感情ベクトルＥｍ（ａ_ｍ，ｂ_ｍ）が決定される。
このとき、感情ベクトル間の距離Ｒ＝√｛（ａ_ｍ－ａ）^２＋（ｂ_ｍ－ｂ）^２｝と角度θが求まる。距離Ｒを４等分して感情ベクトルを補間する場合、（ａ，ｂ）から角度θの方向に、変化量Ｄ＝Ｒ／４毎に、各段階での感情ベクトルＥｒ（ｔ１）、Ｅｒ（ｔ２）、Ｅｒ（ｔ３）、Ｅｒ（ｔ４）＝Ｅｍが決定される。

次に、決定された各段階の感情ベクトルＥｒ（ｔ１）、Ｅｒ（ｔ２）、Ｅｒ（ｔ３）、Ｅｒ（ｔ４）に対して、エリア毎に定義された仕草が抽出され、時刻ｔ１、ｔ２、ｔ３、ｔ４において、それぞれ仕草「悲しい１」、「リラックス１」、「喜び１」、「喜び３」が実行される。

仕草決定部１４による感情ベクトルの補間方法は、これには限られず、例えば、次のようなバリエーション（１）～（３）が採用可能である。
（１）仕草決定部１４は、遷移元の感情ベクトルから遷移先の感情ベクトルまでの線分を閾値以上の幅の等間隔Ｄに分割することにより、各段階の感情ベクトルを決定する。
（２）仕草決定部１４は、予め設定又は距離Ｒ若しくは遷移元の座標等に応じて決定される遷移に要する時間を、閾値以上の幅の等間隔に分割することにより、各段階の感情ベクトルを決定する。
（３）仕草決定部１４は、仕草それぞれの動作時間の合計が遷移に要する時間に収まるように、各段階の感情ベクトルを決定する。
なお、遷移の軌跡は曲線であってもよいし、距離又は時間の分割は等間隔でなくてもよい。

仕草制御装置１は、前述のように感情ベクトルを遷移させると、更新された最新の感情ベクトルをロボット感情部２３に記憶する。記憶された感情ベクトルは、ロボットの現在の感情を定義するものであり、次に感情語が抽出された際に、遷移元の感情ベクトルとなる。

図７は、本実施形態に係る仕草に対応するロボットのモータ制御データを例示する図である。
例えば、ロボットが「喜び１」の仕草を表現する場合、３０００ｍｓｅｃの動作時間で、動作１から動作３の動作を順に実行する。各動作の動作制御データは、ロボットが備えるモータそれぞれに対応する制御値が配列として記述されている。この例では、５自由度のロボットに対して要素数５の配列が用いられ、例えば、３軸の頭の回転量と、左右の腕の移動量とが指定される。
これより、動作１から動作３にかけて、「喜び１」の仕草である腕を上げていくロボットの動作が実現する。

また、ロボットの仕草は、視聴しているテレビ又は視聴者の方向を向く動作を含んでいてもよい。方向データベース２４は、予め設定されたか、又はロボットにより検出されたテレビ及び視聴者の方向を保持している。方向は、例えばロボットの正面に対する水平方向及び垂直方向の角度で表される。

なお、仕草それぞれの動作時間（例えば、３０００ｍｓｅｃ）は所定の範囲で調整可能であってよい。これにより、ロボットは、感情ベクトルの遷移時間内に各段階の仕草を完了させることができる。

本実施形態によれば、仕草制御装置１は、ロボットが視聴している映像から感情語を抽出することにより感情状態を定義した空間内における感情ベクトルを決定する。そして、仕草制御装置１は、現在のロボットの感情状態を示す遷移元の感情ベクトルを、視聴映像に基づいて決定した感情状態を示す遷移先の感情ベクトルへ、段階的に遷移させながら、各段階の感情ベクトルが属するエリアに応じたロボットの仕草を決定する。
これにより、仕草制御装置１は、視聴映像に対してロボットの感情状態が徐々に変化する様子を表現するための動作制御を可能とする。また、仕草制御装置１は、テレビディスプレイ等と通信せず、例えば悲しい感情状態から嬉しい感情状態に徐々に遷移するようなロボットの動作を可能とする。したがって、ユーザは、ロボットが急な感情変化を表出することによる違和感を覚えることなく、ロボットと一緒に映像を視聴できる。

仕草制御装置１は、遷移元の感情ベクトルと遷移先の感情ベクトルとの距離に基づいて、遷移に要する時間を決定することで、感情の変化の度合いに応じて、適切な時間を掛けて感情変化を表現できる。

仕草制御装置１は、遷移元の感情ベクトルと遷移先の感情ベクトルとの距離に基づいて、感情ベクトルを遷移させる段階の数を決定することで、感情の変化の度合いに応じて、適切な動作数により感情変化を表現できる。

仕草制御装置１は、遷移元の感情ベクトルから遷移先の感情ベクトルまでの線分を閾値以上の幅の等間隔に分割することにより、各段階の感情ベクトルを決定することで、適度な変化量で感情ベクトルを遷移させ、容易に感情変化を表現できる。

仕草制御装置１は、遷移に要する時間を閾値以上の幅の等間隔に分割することにより、各段階の感情ベクトルを決定することで、適度な時間間隔で仕草を変化させ、かつ、容易に感情変化を表現できる。

仕草制御装置１は、仕草それぞれの動作時間の合計が感情ベクトルの遷移に要する時間に収まるように、各段階の感情ベクトルを決定することで、段階毎の仕草の動作時間が互いに干渉することなく、ロボットの感情変化を適切に表現できる。

仕草制御装置１は、感情ベクトルを定義する空間として、「快－不快」及び「覚醒－眠気」の２次元の軸で構成されたラッセル円環モデルを用いる。これにより、仕草制御装置１は、様々な感情語に対応する感情ベクトル、及び感情が変化する過程の感情ベクトル、さらには、空間内のエリア毎の仕草を容易に決定できる。この結果、仕草制御装置１は、感情語に基づく感情状態の変化を、複数の仕草を段階的に決定することで容易に表現できる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

前述の実施形態では、ロボットの仕草として、主にモータ制御による空間的な動作を例示したが、これには限られない。例えば、スマートスピーカであれば、リラックス時に緩やかにＬＥＤを点滅させたり、ゆっくりと発話させたりする等、発光デバイスの発光、又は発話の速度若しくは強弱等を感情語に対応した仕草と定義できる。この場合にも、仕草制御装置１は、感情ベクトルの遷移に応じて、発光又は発話等を徐々に変化させることで、感情変化を表現できる。

また、前述の実施形態では、感情を定義する空間として、ラッセル円環モデルを例示したが、空間は２次元には限られず、３次以上の多次元の空間であってもよい。

本実施形態では、主に仕草制御装置１の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、ロボットの動作を制御するための仕草制御方法、又は仕草制御プログラムとして構成されてもよい。

さらに、仕草制御装置１の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１ 仕草制御装置
１０ 制御部
１１ 映像情報取得部
１２ 感情語抽出部
１３ 感情決定部
１４ 仕草決定部
２０ 記憶部
２１ 感情語辞書
２２ 仕草データベース（第１記憶部、第２記憶部）
２３ ロボット感情部
２４ 方向データベース

Claims (3)

1. 感情を表現する複数の軸で定義された空間における、複数の感情語の感情ベクトルを記憶する第１記憶部と、
   前記空間を分割した複数のエリアそれぞれに対して、ロボットの仕草を割り当てた第２記憶部と、
   入力文から感情語を抽出する感情語抽出部と、
   前記感情語に対応する前記空間における遷移先の感情ベクトルを決定する感情決定部と、
   前記ロボットに現在設定されている遷移元の感情ベクトルから、前記遷移先の感情ベクトルまで感情ベクトルを段階的に遷移させ、各段階の感情ベクトルに対応する前記エリアに割り当てられた前記仕草を順に決定する仕草決定部と、を備え、
   前記仕草決定部は、前記遷移元の感情ベクトルと前記遷移先の感情ベクトルとの距離に基づいて、遷移に要する時間、又は感情ベクトルを遷移させる段階の数の少なくとも一方を決定する仕草制御装置。
2. 前記空間は、「快－不快」及び「覚醒－眠気」を指標とし、２次元の軸で構成されたラッセル円環モデルである請求項１に記載の仕草制御装置。
3. コンピュータを、請求項１又は請求項２に記載の仕草制御装置として機能させるための仕草制御プログラム。

Images