JP6922766B2 - コミュニケーションロボットおよびその制御プログラム - Google Patents

Description

本発明は、コミュニケーションロボットおよびその制御プログラムに関する。

胴体部に対して頭部を動かし、頭部に設けられた眼球部も動かすことで、コミュニケーション対象であるユーザへ視線を向けるコミュニケーションロボットが知られている（例えば、特許文献１参照）。

特開２００７−１３０６９１号公報

特許文献１に開示されたコミュニケーションロボットによると、頭部を動作させる割合と眼球部を動作させる割合を設定して、常に頭部と眼球部を動作させて視線を調整している。しかし、そのような視線調整が、ユーザとコミュニケーションとの相対的な位置関係やコミュニケーションの状況によっては、不自然に感じられることがあった。例えば、睨めつける印象を与えたり、落ち着きのない印象をあたえたりすることがあった。

本発明は、このような問題を解決するためになされたものであり、ユーザにより自然な印象を与えるように視線方向を調整するコミュニケーションロボットおよびその制御プログラムを提供するものである。

本発明の第１の態様におけるコミュニケーションロボットは、胴体部と、胴体部に対して向きを変化させることができる頭部と、頭部に設けられ、黒目の位置を変化させることができる眼球部と、頭部の向きおよび黒目の位置の少なくともいずれかを変化させることにより視線方向を制御する制御部と、コミュニケーション対象の基準方向を取得する取得部とを備え、制御部は、視線方向を基準方向へ向ける場合に、基準方向が現在の視線方向に対して予め定められた規定範囲に含まれる場合には、頭部の向きを変化させずに黒目の位置を変化させることにより視線方向を基準方向へ向け、基準方向が規定範囲に含まれない場合には、頭部の向きと黒目の位置を共に変化させることにより視線方向を基準方向へ向ける。コミュニケーションロボットは、このように視線方向を調整することにより、ユーザにより自然な表情の印象を与え、意図せず睨めつけるような印象を与えることがなくなる。

また、第２の態様におけるコミュニケーションロボットは、胴体部と、胴体部に対して向きを変化させることができる頭部と、頭部に設けられ、黒目の位置を変化させることができる眼球部と、頭部の向きおよび黒目の位置の少なくともいずれかを変化させることにより視線方向を制御する制御部と、コミュニケーション対象の基準方向を取得する取得部とを備え、制御部は、視線方向を基準方向へ向ける場合に、頭部の向きを変化させずに黒目の位置を変化させた後に頭部の向きと黒目の位置を共に変化させて視線方向を基準方向へ向ける第１制御と、頭部の向きと黒目の位置を共に変化させた後に頭部の向きを変化させずに黒目の位置を変化させて視線方向を基準方向へ向ける第２制御の少なくともいずれかを実行可能である。第１の態様に加え、このような第１制御および第２制御の視線方向の調整によっても、コミュニケーションロボットは、ユーザにより自然な表情の印象を与えることができる。

この場合に、制御部は、基準方向が現在の視線方向に対して予め定められた規定範囲に含まれる場合には、頭部の向きを変化させずに黒目の位置を変化させることにより視線方向を基準方向へ向け、基準方向が規定範囲に含まれない場合には、第１制御または第２制御により視線方向を基準方向へ向けるようにしても良い。自然な表情の印象を与える範囲で、できる限り頭部の向きを変化させないことにより、エネルギー消費を抑制することができる。

このような第１の態様および第２の態様におけるコミュニケーションロボットは、コミュニケーション対象に対して発話する発話部を備え、制御部は、発話部が発話を開始するタイミングに連動して視線方向を基準方向へ向けると良い。また、コミュニケーション対象の発話を検出する検出部を備え、制御部は、検出部がコミュニケーション対象の発話を検出したタイミングに連動して視線方向を基準方向へ向けると良い。このようなタイミングで視線方向を調整すれば、ユーザにより自然な目の動きの印象を与えることができる。

また、制御部は、頭部の向きと黒目の位置を共に変化させる場合には、頭部の向きが視線方向に遅れて追従するように、頭部の向きと黒目の位置を制御しても良い。このように頭部の向きと黒目の位置の変化を互いに協調させることにより、更に自然な目の動きの印象を与えることができる。

また、第３の態様における制御プログラムは、胴体部と、胴体部に対して向きを変化させることができる頭部と、頭部に設けられ、黒目の位置を変化させることができる眼球部とを備えるコミュニケーションロボットを制御するための制御プログラムであって、コミュニケーション対象の基準方向を取得する取得ステップと、基準方向が、頭部の向きおよび黒目の位置によって定まる現在の視線方向に対して予め定められた規定範囲に含まれるかを判断する判断ステップと、基準方向が現在の視線方向に対して予め定められた規定範囲に含まれると判断した場合に、頭部の向きを変化させずに黒目の位置を変化させることにより視線方向を基準方向へ向ける第１制御ステップと、基準方向が現在の視線方向に対して予め定められた規定範囲に含まれないと判断した場合に、頭部の向きと黒目の位置を共に変化させることにより視線方向を基準方向へ向ける第２制御ステップとをコンピュータに実行させる。

また、第４の態様における制御プログラムは、胴体部と、胴体部に対して向きを変化させることができる頭部と、頭部に設けられ、黒目の位置を変化させることができる眼球部とを備えるコミュニケーションロボットを制御するための制御プログラムであって、コミュニケーション対象の基準方向を取得する取得ステップと、頭部の向きおよび黒目の位置によって定まる視線方向を、頭部の向きを変化させずに黒目の位置を変化させた後に頭部の向きと黒目の位置を共に変化させて基準方向へ向ける制御ステップとをコンピュータに実行させる。

また、第５の態様における制御プログラムは、胴体部と、胴体部に対して向きを変化させることができる頭部と、頭部に設けられ、黒目の位置を変化させることができる眼球部とを備えるコミュニケーションロボットを制御するための制御プログラムであって、コミュニケーション対象の基準方向を取得する取得ステップと、頭部の向きおよび黒目の位置によって定まる視線方向を、頭部の向きと黒目の位置を共に変化させた後に頭部の向きを変化させずに黒目の位置を変化させて基準方向へ向ける制御ステップとをコンピュータに実行させる。

このように、第３、第４および第５の態様における制御プログラムによって制御が実行されるコミュニケーションロボットは、第１および第２の態様におけるコミュニケーションロボットと同様に、ユーザにより自然な表情の印象を与えることができる。

本発明により、ユーザにより自然な印象を与えるように視線方向を調整するコミュニケーションロボットおよびその制御プログラムを提供することができる。

第１の実施例に係るロボットの概観図である。 ロボットとのコミュニケーションの例を示す図である。 ロボットのシステム構成図である。 右眼の構造を示す斜視図である。 視線方向の制御について説明する図である。 規定範囲内における視線調整を説明する図である。 規定範囲外への第１の視線調整を説明する図である。 規定範囲外への第２の視線調整を説明する図である。 規定範囲外への第３の視線調整を説明する図である。 視線方向と頭部の向きの第１の変化について説明する図である。 視線方向と頭部の向きの第２の変化について説明する図である。 視線方向の調整処理の手順を示すフローチャートである。 規定範囲外への調整処理の手順を示すフローチャートである。 第２の実施例に係るロボットの概観図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態の第１の実施例に係るロボット１００の概観図である。ロボット１００は、ユーザである人間と音声対話を行うコミュニケーションロボットである。ロボット１００は、キャラクターを具現化したキャラクター装置であり、対話に合わせて眼の表情や視線方向が変化する。

ロボット１００は、外観として動物を模しており、胴体部１１０と頭部１２０を有する。胴体部１１０の内部には、モータ１１１が設けられており、頭部１２０は、モータ１１１の駆動により、胴体部１１０に対して向きが変化する。頭部１２０には、ユーザが眼と認識できる位置に、眼球部１２２（右眼１２２ａ、左眼１２２ｂ）が設けられている。眼球部１２２の構造については後に詳述するが、右眼１２２ａ、左眼１２２ｂのそれぞれの背後には、例えば液晶パネルや有機ＥＬパネルである表示パネル１０６（右眼用表示パネル１０６ａ、左眼用表示パネル１０６ｂ）が設置されている。表示パネル１０６には、黒目画像１６１（右黒目画像１６１ａ、左黒目画像１６１ｂ）が映し出される。

ロボット１００の鼻の位置には、カメラ１０２が目立たないように配置されている。カメラ１０２は、例えばＣＭＯＳセンサを含み、外部環境を認識するための画像を取得する撮像部として機能する。ロボット１００の口の位置には、スピーカ１０９が隠されて配置されている。スピーカ１０９は、ロボット１００が生成した音声を発する発話出力部として機能する。ユーザは、口の位置から出力される音声に、ロボット１００が喋っているような感覚を覚える。また、頭部１２０のいずれかの位置には、マイク１０１が隠されて配置されている。マイク１０１は、ユーザの発話音声を検出する検出部としての機能を担う。

図２は、ユーザとロボット１００のコミュニケーションの一例を示す図である。図２（ａ）に示すように、例えばユーザがロボット１００に「やあ、げんき？」と話しかけると、図２（ｂ）に示すように、ロボット１００は、その話しかけに反応して、視線をユーザに向け、「元気だよ！おはなしできて嬉しいなあ。」などと発話する。視線の変化は、胴体部１１０に対する頭部１２０の向き、および右黒目画像１６１ａと左黒目画像１６１ｂの位置の少なくともいずれかが変化することにより実現される。具体的には後述する。

図３は、ロボット１００のシステム構成図である。ロボット１００は、主なシステム構成として、マイク１０１、カメラ１０２、表示パネル１０６、スピーカ１０９、モータ１１１、制御部２００、および応答音声ＤＢ３１０を備えている。制御部２００は、例えばＣＰＵによって構成され、機能ごとの実行を担う機能実行部としても動作し、主に、発話認識部２０１、顔認識部２０２、視線制御部２０３、表示制御部２０４、モータ制御部２０５、音声選択部２０６、および発話制御部２０７として動作する。

マイク１０１は、主な機能として、ロボット１００が対話する相手であるユーザの発話音声を集音する。マイク１０１は、集音したユーザの発話音声を音声信号に変換して、発話認識部２０１へ引き渡す。

発話認識部２０１は、マイク１０１から受け取った音声信号を解析してユーザの発話を認識する。発話認識部２０１は、マイク１０１と協働して、ロボット１００へ向かって話しかけるユーザの発話を取得する発話取得部としての機能を担う。発話認識部２０１は、具体的には、一般的な音声認識技術によりユーザの発話内容を認識する。発話認識部２０１は、認識した発話内容を音声選択部２０６へ引き渡す。

音声選択部２０６は、発話認識部２０１で認識されたユーザの発話内容に対して会話としてふさわしいセンテンスを選択し、選択したセンテンスに応じた発話データを応答音声ＤＢ３１０から収集して、発話制御部２０７へ引き渡す。応答音声ＤＢ３１０は、音声選択部２０６に接続されている応答音声のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答音声ＤＢ３１０は、例えばコーパスとして体系化されており、個々の用語は、再生可能な発話データを伴って格納されている。

発話制御部２０７は、受け取った発話データを音声信号に変換してスピーカ１０９へ引き渡す。音声選択部２０６と発話制御部２０７は、互いに協働して、ユーザの発話内容に基づいて応答音声を生成する音声生成部としての機能を担う。スピーカ１０９は、発話制御部２０７で変換された音声信号を受け取って、応答音声を音声出力する。

発話認識部２０１は、ユーザが発話を始めたタイミングを視線制御部２０３へ引き渡す。また、発話制御部２０７は、応答音声を音声出力するタイミングを視線制御部２０３へ引き渡す。視線制御部２０３は、これらのタイミング情報に同期させて、視線方向の調整を実行する。

カメラ１０２は、主な機能として、ロボット１００とコミュニケーションを取るユーザを撮影する。カメラ１０２は、撮影した画像を画像信号に変換して、顔認識部２０２へ引き渡す。

顔認識部２０２は、カメラ１０２から受け取った画像信号を解析してコミュニケーション対象であるユーザの顔を認識する。顔認識部２０２は、抽出した顔領域中から、ユーザの基準方向を決定する。基準方向は、ロボット１００から、例えばユーザの両目を結ぶ中点へ向かう方向である。顔認識部２０２は、カメラ１０２と協働して、ユーザの基準方向を取得する取得部としての機能を担う。

基準方向は、三次元空間におけるベクトルで表されるので、基準方向を定めるためには、ロボット１００からユーザの顔までの距離情報が必要である。距離情報は、例えばカメラ１０２がステレオカメラで構成される場合には画像間のズレ量から算出することができ、赤外線にも感度を有するカメラで構成される場合には投光した赤外線パターンの歪みから算出することができる。また、簡易的には、顔領域の大きさからおよその距離を推定することもできるし、コミュニケーションを行う状況でのユーザまでの距離は一定距離であると割り切っても良い。すなわち、ロボット１００の仕様に応じて、距離情報を取得する手法を選択すれば良い。

視線制御部２０３は、発話認識部２０１、発話制御部２０７から受け取ったタイミング、あるいはその他のタイミングに同期して、視線方向を顔認識部２０２から受け取った基準方向へ向ける制御を行う。具体的には後述するが、視線方向を基準方向に一致させるために、黒目画像１６１の位置を変化させる変化量と、頭部１２０の向きを変化させる変化量を決定し、それぞれを表示制御部２０４とモータ制御部２０５へ引き渡す。

表示制御部２０４は、視線制御部２０３から受け取った黒目画像１６１の位置の変化量に従って、表示パネル１０６上で黒目画像１６１の位置を移動させる。表示制御部２０４は、受け取った変化量の大きさ、すなわち黒目画像１６１を移動させる距離に応じて、中間的な表示画像を段階的に生成し、アニメーションとして黒目画像１６１を表示すると良い。モータ制御部２０５は、視線制御部２０３から受け取った頭部１２０の向きの変化量に従って、モータ１１１を駆動する。視線制御部２０３、表示制御部２０４およびモータ制御部２０５は、互いに協働することにより全体として、視線方向を制御する制御部として機能する。

図４は、右眼１２２ａの構造を示す斜視図である。左眼１２２ｂも右眼１２２ａと同様の構造であり、それぞれの表示パネルは、共に表示制御部２０４によって表示制御される。

右眼１２２ａは、主に、透光カバー１３１、光ファイバ束１３２および右眼用表示パネル１０６ａから構成される。透光カバー１３１は、例えば透明なポリカーボネイトによって成形され、頭部１２０の外装材としての役割を担う。動物や人を模したロボットの場合、眼の表面は曲面であることが自然であり、ユーザに受け入れられやすい。したがって、本実施形態におけるロボット１００も、眼の表面に相当する透光カバー１３１は、外部に向かって凸状の曲面に成形されている。

右眼１２２ａの奥側には、右眼の黒目を図案化した図柄である右黒目画像１６１ａを表示するための表示パネル１０６が設置されている。右眼用表示パネル１０６ａの表示面は平面である。また、表示面は、透光カバー１３１の外縁周を包含する大きさを有する。図においては、透光カバー１３１の外縁周に対応する大きさの白目に対して偏位した位置に右黒目画像１６１ａが表示されている様子を示す。

なお、本実施形態において表示する黒目は、生身の人間であれば虹彩と瞳孔を含む角膜に相当する部分であるが、図案化して表示するものであるので、生身の人間の黒目に対して部分的に省略されていたり、デフォルメされていたりするものであって良い。また、生身の人間には生じ得ないような装飾が施されていても良く、また、開閉を伴うようなアニメーションであっても良い。いずれにしても、コミュニケーション対象であるユーザが、黒目の動きとして認識し得るような図柄であれば良い。

右黒目画像１６１ａには、中心座標Ｃ_Ｒ（Ｙ_Ｒ０、Ｚ_Ｒ０）が定義されている。表示制御部２０４は、中心座標Ｃ_Ｒを、右眼用表示パネル１０６ａに設定された右眼座標系Ｙ_Ｒ−Ｚ_Ｒにおける表示座標と一致させることにより、右黒目画像１６１ａの表示位置を定める。表示制御部２０４は、右黒目画像１６１ａを現在表示している表示位置から目標位置まで変化させる場合には、右眼用表示パネル１０６ａに現在表示している表示画像を、中心座標Ｃ_Ｒを目標座標とする表示画像に切り替える。このとき、表示制御部２０４は、現在の表示座標と目標座標との間に中間座標を段階的に定め、それぞれの中間座標に中心座標Ｃ_Ｒを一致させた中間画像を生成して順次表示しても良い。中間画像も順次表示すれば、視線の遷移をアニメーションとして表現できるので、より現実感のある視線移動を実現することができる。

透光カバー１３１の内曲面と右眼用表示パネル１０６ａの表面とは、光ファイバ束１３２によって接続される。光ファイバ束１３２は、右眼用表示パネル１０６ａに表示された右黒目画像１６１ａを透光カバー１３１まで伝達する。光ファイバ束１３２は、右眼用表示パネル１０６ａのピクセルのそれぞれに一対一に対応する光ファイバ１３２ａの集合体である。図では説明のために右眼用表示パネル１０６ａの表面から浮かせて示しているが、それぞれの光ファイバ１３２ａの一端は、右眼用表示パネル１０６ａの表面に導光系の接着剤により接着されている。それぞれの光ファイバ１３２ａは、集合体としてその外周面が被覆１３２ｂで覆われて束ねられている。このようにして、透光カバー１３１、光ファイバ束１３２および右眼用表示パネル１０６ａは、互いに接続されて一体化される。

右眼用表示パネル１０６ａに表示された右黒目画像１６１ａの光束は、光ファイバ１３２ａの一端から入射し、他端から出射する。光ファイバ１３２ａの出射面である他端の集合体は、透光カバー１３１の内曲面に沿う仮想的なスクリーンを形成する。したがって、右眼用表示パネル１０６ａに表示された右黒目画像１６１ａは、この仮想的なスクリーンにおいてユーザに観察される。

図５は、視線方向の制御について説明する図である。視線制御部２０３は、上述のように定めた基準方向に一致するようにロボット１００の視線方向を調整する。視線方向の調整は、黒目画像１６１の位置と頭部１２０の向きの少なくともいずれかを変化させて行う。

頭部１２０の向きは、胴体部１１０に対する向きであって、例えば図示するように顔部中心の表面における法線方向と定義される。胴体部１１０を基準とする全体座標系ｘ−ｙ−ｚを図示するように定めると、頭部１２０は、モータ１１１の駆動により、ヨー軸方向θ_ｙおよびピッチ軸方向θ_ｚ方向に回動可能である。すなわち、モータ制御部２０５は、頭部１２０をヨー軸方向θ_ｙおよびピッチ軸方向θ_ｚ方向に回動させることにより頭部１２０の向きを調整することができる。

右黒目画像１６１ａの位置は、上述のように、右眼座標系Ｙ_Ｒ−Ｚ_Ｒにおける表示座標により定まる。同様に、左黒目画像１６１ｂの位置は、左眼座標系Ｙ_Ｌ−Ｚ_Ｌにおける表示座標により定まる。視線方向は、頭部１２０の向きと、右黒目画像１６１ａおよび左黒目画像１６１ｂの位置とによって確定する。このとき、右黒目画像１６１ａおよび左黒目画像１６１ｂのそれぞれの中心座標Ｃ_Ｒ、Ｃ_Ｌは、それぞれの仮想的な眼球中心と視線方向の注視点とを結ぶ直線上に位置する。このように、頭部１２０の向きと、右黒目画像１６１ａおよび左黒目画像１６１ｂの位置とを調整することにより、ロボット１００が特定の方向に視線を向けている印象をユーザに与える。

次に、視線方向を調整する制御について説明する。図６は、予め定められた規定範囲Ｃ_ｐ内における視線調整を説明する図である。左図は、現時点Ｔ＝ｔ_ｓにおいてカメラ１０２が撮影している画像を示し、その画像中心は頭部１２０の向きとほぼ一致する。「□」は、顔認識部２０２が決定した基準方向を示し、「×」は、現時点における視線方向を示す。視線制御部２０３は、「×」を「□」に一致させることを目標として、視線方向を基準方向へ向ける調整を行う。

現時点Ｔ＝ｔ_ｓにおいては、視線方向は基準方向と一致していないが、基準方向は、視線方向に比較的近くに存在し、予め定められた規定範囲Ｃ_ｐに含まれている。このような状況においては、視線制御部２０３は、頭部１２０の向きを変化させずに黒目画像１６１の位置を変化させることにより視線方向を調整する。すなわち、視線制御部２０３は、頭部１２０を固定したままで視線方向を基準方向に一致させるための右黒目画像１６１ａの変化量ｇ（Ｙ_Ｒ，Ｚ_Ｒ）および左黒目画像１６１ｂの変化量ｈ（Ｙ_Ｌ，Ｚ_Ｌ）を演算し、表示制御部２０４へ引き渡す。変化量ｇ（Ｙ_Ｒ，Ｚ_Ｒ）は、右眼用表示パネル１０６ａ上で右黒目画像１６１ａの中心座標Ｃ_ＲをＹ_Ｒ軸方向とＺ_Ｒ軸方向へそれぞれ並進移動する移動量を表す。同様に、変化量ｈ（Ｙ_Ｌ，Ｚ_Ｌ）は、左眼用表示パネル１０６ｂ上で左黒目画像１６１ｂの中心座標Ｃ_ＬをＹ_Ｌ軸方向とＺ_Ｌ軸方向へそれぞれ並進移動する移動量を表す。表示制御部２０４は、この変化量ｇ（Ｙ_Ｒ，Ｚ_Ｒ）、ｈ（Ｙ_Ｌ，Ｚ_Ｌ）に従って右黒目画像１６１ａおよび左黒目画像１６１ｂの表示位置を移動させ、右図に示すように、時刻Ｔ＝ｔ_ｅで視線方向と基準方向の一致を達成する。

規定範囲Ｃ_ｐは、黒目画像１６１のみを変化させて視線方向を調整しても、睨みつけるような不自然な印象を与えない範囲として定められる。その大きさは、ロボット１００のキャラクターとしての性質や、頭部１２０に対する眼球部１２２の大きさなどの様々な要因に従って予め決定される。

このように、規定範囲Ｃ_ｐ内での視線方向の調整において頭部１２０の向きを変化させなければ、モータ１１１を駆動する電力を削減できる。また、モータ１１１の駆動音がマイク１０１の集音の妨げになることも防ぐことができる。また、カメラ１０２の撮影方向も固定されるので、画像の解析などの観点においても都合が良い。

図７は、規定範囲Ｃ_ｐ外への第１の視線調整を説明する図である。左図は、現時点Ｔ＝ｔ_ｓにおいてカメラ１０２が撮影している画像を示し、その画像中心は頭部１２０の向きとほぼ一致する。図６と同様に、「□」は、顔認識部２０２が決定した基準方向を示し、「×」は、現時点における視線方向を示す。視線制御部２０３は、「×」を「□」に一致させることを目標として、視線方向を基準方向へ向ける調整を行う。

現時点Ｔ＝ｔ_ｓにおいては、視線方向は基準方向と一致しておらず、また、基準方向は、視線方向から比較的遠くに存在し、予め定められた規定範囲Ｃ_ｐに含まれていない。このような状況における第１の視線調整手法として、視線制御部２０３は、頭部１２０の向きと黒目画像１６１の位置を共に変化させることにより視線方向を調整する。すなわち、視線制御部２０３は、視線方向を基準方向に一致させるための頭部１２０の変化量ｆ（θ_ｙ，θ_ｚ）、右黒目画像１６１ａの変化量ｇ（Ｙ_Ｒ，Ｚ_Ｒ）および左黒目画像１６１ｂの変化量ｈ（Ｙ_Ｌ，Ｚ_Ｌ）を演算し、モータ制御部２０５、表示制御部２０４へ引き渡す。

変化量ｆ（θ_ｙ，θ_ｚ）は、胴体部１１０に対して頭部１２０をヨー軸方向θ_ｙとピッチ軸方向θ_ｚ方向へそれぞれ回動する回動角を表す。また、変化量ｇ（Ｙ_Ｒ，Ｚ_Ｒ）は、右眼用表示パネル１０６ａ上で右黒目画像１６１ａの中心座標Ｃ_ＲをＹ_Ｒ軸方向とＺ_Ｒ軸方向へそれぞれ並進移動する移動量を表す。同様に、変化量ｈ（Ｙ_Ｌ，Ｚ_Ｌ）は、左眼用表示パネル１０６ｂ上で左黒目画像１６１ｂの中心座標Ｃ_ＬをＹ_Ｌ軸方向とＺ_Ｌ軸方向へそれぞれ並進移動する移動量を表す。表示制御部２０４は、変化量ｇ（Ｙ_Ｒ，Ｚ_Ｒ）、ｈ（Ｙ_Ｌ，Ｚ_Ｌ）に従って右黒目画像１６１ａおよび左黒目画像１６１ｂの表示位置を移動させ、また、モータ制御部２０５は、変化量ｆ（θ_ｙ，θ_ｚ）に従って頭部１２０を回動する。これらの動作により、右図に示すように、時刻Ｔ＝ｔ_ｅで視線方向と基準方向の一致を達成する。

このとき、右黒目画像１６１ａおよび左黒目画像１６１ｂの移動は、時刻Ｔ＝ｔ_ｓで開始し、時刻Ｔ＝ｔ_ｅで終了するように調整される。また、頭部１２０の回動も、時刻Ｔ＝ｔ_ｓで開始し、時刻Ｔ＝ｔ_ｅで終了するように調整される。すなわち、黒目画像１６１の移動と頭部１２０の回動が同時に始まって同時に終了するように調整される。このように両者を同期させることにより、視線方向の変化としてより自然な印象をユーザに与えることができる。なお、視線方向の変化に対して、頭部１２０の回動が寄与する寄与分と、黒目画像１６１の移動が寄与する寄与分の配分は、ロボット１００のキャラクターとしての性質や、頭部１２０に対する眼球部１２２の大きさなどの様々な要因に従って予め決定される。

図８は、規定範囲Ｃ_ｐ外への第２の視線調整を説明する図である。左図は、現時点Ｔ＝ｔ_ｓにおいてカメラ１０２が撮影している画像を示し、図７の左図と同様の状況である。視線制御部２０３は、「×」を「□」に一致させることを目標として、視線方向を基準方向へ向ける調整を行う。このような状況における第２の視線調整手法として、視線制御部２０３は、途中までは頭部１２０の向きを変化させずに黒目画像１６１の位置を変化させ、その後に頭部１２０の向きと黒目画像１６１の位置を共に変化させて、視線方向を調整する。すなわち、視線制御部２０３は、視線方向を基準方向に一致させるために中間目標を設定し、まず中間目標における視線方向を実現するための右黒目画像１６１ａの変化量ｇ（Ｙ_Ｒ１，Ｚ_Ｒ１）および左黒目画像１６１ｂの変化量ｈ（Ｙ_Ｌ１，Ｚ_Ｌ１）を演算する。そして、中間目標における視線方向を基準方向に一致させるための頭部１２０の変化量ｆ（θ_ｙ，θ_ｚ）、右黒目画像１６１ａの変化量ｇ（Ｙ_Ｒ２，Ｚ_Ｒ２）および左黒目画像１６１ｂの変化量ｈ（Ｙ_Ｌ２，Ｚ_Ｌ２）を演算する。視線制御部２０３は、これらの変化量をモータ制御部２０５、表示制御部２０４へ引き渡す。

表示制御部２０４は、時刻Ｔ＝ｔ_ｓで、右黒目画像１６１ａおよび左黒目画像１６１ｂの表示位置の移動を開始し、時刻Ｔ＝ｔ_ｉで、変化量ｇ（Ｙ_Ｒ１，Ｚ_Ｒ１）、ｈ（Ｙ_Ｌ１，Ｚ_Ｌ１）分の移動を終了する。時刻Ｔ＝ｔ_ｉで実現される中間目標における視線方向は、中図の「×」で示すように、規定範囲Ｃ_ｐの内側である。表示制御部２０４は、中間目標における視線方向を、Ｔ＝ｔ_ｓにおける視線方向と基準方向とを結ぶ線分が、規定範囲Ｃ_ｐの大きさの６０％以上９０％未満の範囲で設定される内包範囲Ｃ_ｗと交叉する点を向く方向に設定する。続けて、モータ制御部２０５および表示制御部２０４は、時刻Ｔ＝ｔ_ｉで、頭部１２０の回動と、右黒目画像１６１ａおよび左黒目画像１６１ｂの表示位置の移動を開始する。そして、時刻Ｔ＝ｔ_ｅで、変化量ｆ（θ_ｙ，θ_ｚ）分の回動と、変化量ｇ（Ｙ_Ｒ２，Ｚ_Ｒ２）、ｈ（Ｙ_Ｌ２，Ｚ_Ｌ２）分の移動を終了する。これらの動作により、右図に示すように、時刻Ｔ＝ｔ_ｅで視線方向と基準方向の一致を達成する。

このように頭部１２０の回動と黒目画像１６１の移動を連動させても、視線方向の変化としてより自然な印象をユーザに与えることができる。なお、頭部１２０の回動と黒目画像１６１の移動を同時に行う後半の動作において、視線方向の変化に対する、頭部１２０の回動が寄与する寄与分と黒目画像１６１の移動が寄与する寄与分の配分は、第１の視線調整と同様に決定される。

図９は、規定範囲Ｃ_ｐ外への第３の視線調整を説明する図である。左図は、現時点Ｔ＝ｔ_ｓにおいてカメラ１０２が撮影している画像を示し、図７の左図と同様の状況である。視線制御部２０３は、「×」を「□」に一致させることを目標として、視線方向を基準方向へ向ける調整を行う。このような状況における第３の視線調整手法として、視線制御部２０３は、途中までは頭部１２０の向きと黒目画像１６１の位置を共に変化させ、その後に頭部１２０の向きを変化させずに黒目画像１６１の位置を変化させて、視線方向を調整する。すなわち、視線制御部２０３は、視線方向を基準方向に一致させるために中間目標を設定し、まず中間目標における視線方向を実現するための頭部１２０の変化量ｆ（θ_ｙ，θ_ｚ）、右黒目画像１６１ａの変化量ｇ（Ｙ_Ｒ１，Ｚ_Ｒ１）および左黒目画像１６１ｂの変化量ｈ（Ｙ_Ｌ１，Ｚ_Ｌ１）を演算する。そして、中間目標における視線方向を基準方向に一致させるための右黒目画像１６１ａの変化量ｇ（Ｙ_Ｒ２，Ｚ_Ｒ２）および左黒目画像１６１ｂの変化量ｈ（Ｙ_Ｌ２，Ｚ_Ｌ２）を演算する。視線制御部２０３は、これらの変化量をモータ制御部２０５、表示制御部２０４へ引き渡す。

モータ制御部２０５および表示制御部２０４は、時刻Ｔ＝ｔ_ｓで、頭部１２０の回動と、右黒目画像１６１ａおよび左黒目画像１６１ｂの表示位置の移動を開始する。そして、時刻Ｔ＝ｔ_ｉで、変化量ｆ（θ_ｙ，θ_ｚ）分の回動と、変化量ｇ（Ｙ_Ｒ１，Ｚ_Ｒ１）、ｈ（Ｙ_Ｌ１，Ｚ_Ｌ１）分の移動を終了する。時刻Ｔ＝ｔ_ｉで実現される中間目標における視線方向は、中図の「×」で示すように、基準方向に対してユーザの顔領域近傍に設定される近傍範囲Ｃ_ｆの周縁上の点を向く方向に設定する。続けて表示制御部２０４は、時刻Ｔ＝ｔ_ｉで、右黒目画像１６１ａおよび左黒目画像１６１ｂの表示位置の移動を開始し、時刻Ｔ＝ｔ_ｅで、変化量ｇ（Ｙ_Ｒ２，Ｚ_Ｒ２）、ｈ（Ｙ_Ｌ２，Ｚ_Ｌ２）分の移動を終了する。これらの動作により、右図に示すように、時刻Ｔ＝ｔ_ｅで視線方向と基準方向の一致を達成する。

このように頭部１２０の回動と黒目画像１６１の移動を連動させても、視線方向の変化としてより自然な印象をユーザに与えることができる。なお、頭部１２０の回動と黒目画像１６１の移動を同時に行う前半の動作において、視線方向の変化に対する、頭部１２０の回動が寄与する寄与分と黒目画像１６１の移動が寄与する寄与分の配分は、第１の視線調整と同様に決定される。

次に、頭部１２０の回動と黒目画像１６１の移動を同時に行う場合の、視線方向と頭部１２０の向きの変化について説明する。図１０は、視線方向と頭部１２０の向きの第１の変化について説明する図である。横軸は経過時間であり、時刻Ｔ＝ｔ_ｓで頭部１２０の回動と黒目画像１６１の移動を同時に開始し、時刻Ｔ＝ｔ_ｅで同時に終了する場合を表す。縦軸は、目標方向との誤差を表す。実線は視線方向と目標方向との誤差を表し、点線は頭部１２０の向きと目標方向との誤差を表す。図は、時刻Ｔ＝ｔ_ｅおよびｔ_ｓにおいて、頭部１２０の向きと視線方向とが一致する例を示している。

図示するように、視線制御部２０３は、経過時間に対して、視線方向の方が頭部１２０の向きよりも早く目標方向に近づくように頭部１２０の回動と黒目画像１６１の移動を制御する。すなわち、視線制御部２０３は、頭部１２０の向きが視線方向に遅れて追従するように、頭部１２０の向きと黒目画像１６１の位置を制御する。このように制御することにより、頭部１２０の向きと視線方向の関係が人間のそれに近似し、ユーザにより自然な印象を与える。

図１１は、視線方向と頭部１２０の向きの第２の変化について説明する図である。第２の変化は、頭部１２０の向きが視線方向に遅れて追従する点で第１の変化と同様である。一方、第２の変化は、視線方向が目標方向に対して一旦オーバシュートし、かつ、頭部１２０の向きが目標方向に対してオフセットして動作を終了する点で第１の変化と異なる。このように視線方向を泳がすように目標方向へ収束させたり、頭部１２０をユーザに正対させないようにしたりすることで、より現実感のある視線の動きを実現することができる。

次に、制御部２００が視線方向の調整に関して実行する動作処理の手順を説明する。以下に説明する動作処理は、制御部２００がシステムメモリから読み込んだ制御プログラムを実行することにより実行される。図１２は、視線方向の調整処理の手順を示すフローチャートである。フローは、ロボット１００の電源がオンにされて開始される。なお、視線方向に関する処理以外の処理についての説明は省略する。

視線制御部２０３は、ステップＳ１０１で、発話認識部２０１がユーザの発話を検出したか否かを確認する。検出したらステップＳ１０３へ進み、そうでなければステップＳ１０２へ進む。視線制御部２０３は、ステップＳ１０２で、発話制御部２０７が応答音声の出力を開始するか否かを確認する。開始するならステップＳ１０３へ進み、そうでなければステップＳ１０８へ進む。

視線制御部２０３は、ステップＳ１０３で、表示制御部２０４から現在の黒目画像１６１の位置を取得し、モータ制御部２０５から現在の頭部１２０の向きを取得して、現在の視線方向を確認する。そして、顔認識部２０２は、ステップＳ１０４で、カメラ１０２から受信した画像信号を解析してユーザに対する基準方向を取得する。

視線制御部２０３は、ステップＳ１０５へ進み、基準方向が現在の視線方向に対して設定される規定範囲Ｃ_ｐの内側に含まれるか否かを判断する。含まれるのであればステップＳ１０６へ進み、含まれないのであればステップＳ１０７へ進む。

視線制御部２０３は、ステップＳ１０６へ進んだ場合には、図６を用いて説明したように、頭部１２０の向きを変化させずに黒目画像１６１の位置を変化させることにより視線方向を基準方向へ向ける調整を実行する。調整が終了したら、ステップＳ１０８へ進む。

視線制御部２０３は、ステップＳ１０７へ進んだ場合には、図１３に示すサブファンクションを実行する。視線制御部２０３は、ステップＳ１０７１へ進み、ロボット１００の制御状態が条件１を満たすか否かを判断する。条件１を満たす場合はステップＳ１０７２へ進み、満たさない場合はステップＳ１０７３へ進む。条件１については後述する。

視線制御部２０３は、ステップＳ１０７２へ進んだ場合には、図７を用いて説明したように、頭部１２０の向きと黒目画像１６１の位置を共に変化させることにより視線方向を基準方向へ向ける調整を実行する。調整が終了したら、ステップＳ１０８へ進む。

視線制御部２０３は、ステップＳ１０７３へ進んだ場合には、ロボット１００の制御状態が条件１とは異なる条件２を満たすか否かを判断する。条件２を満たす場合はステップＳ１０７４へ進み、満たさない場合はステップＳ１０７６へ進む。条件２については後述する。

視線制御部２０３は、ステップＳ１０７４へ進んだ場合には、図８を用いて説明したように、時刻Ｔ＝ｔ_ｓから時刻Ｔ＝ｔ_ｉまでの間は頭部１２０の向きを変化させずに黒目画像１６１の位置を変化させることにより視線方向を中間目標の方向へ向ける調整を実行する。

その後ステップＳ１０７５へ進み、時刻Ｔ＝ｔ_ｉから時刻Ｔ＝ｔ_ｅまでの間は頭部１２０の向きと黒目画像１６１の位置を共に変化させることにより視線方向を基準方向へ向ける調整を実行する。調整が終了したら、ステップＳ１０８へ進む。

視線制御部２０３は、ステップＳ１０７６へ進んだ場合には、図９を用いて説明したように、時刻Ｔ＝ｔ_ｓから時刻Ｔ＝ｔ_ｉまでの間は頭部１２０の向きと黒目画像１６１の位置を共に変化させることにより視線方向を中間目標の方向へ向ける調整を実行する。その後ステップＳ１０７７へ進み、時刻Ｔ＝ｔ_ｉから時刻Ｔ＝ｔ_ｅまでの間は頭部１２０の向きを変化させずに黒目画像１６１の位置を変化させることにより視線方向を基準方向へ向ける調整を実行する。調整が終了したら、ステップＳ１０８へ進む。

図１２へ戻り、視線制御部２０３は、ステップＳ１０８で、無会話状態で一定時間が経過するなど、ユーザとのコミュニケーションが終了したか否かを判断する。まだ終了していないと判断した場合には、ステップＳ１０１へ戻る。終了したと判断した場合には、一連の処理を終了する。

ここで、条件１および条件２について説明する。条件１および条件２は、ユーザの発話内容、発話制御部２０７が出力する発話内容や、制御部２００が読み取ったユーザの感情、ロボット１００が表出したい感情等によって適宜定められる条件である。例えば、表出する感情Ａに相応しい視線方向の調整がステップＳ１０７４およびステップＳ１０７５によって実現される調整であり、表出する感情Ｂに相応しい視線方向の調整がステップＳ１０７６およびステップＳ１０７７によって実現される調整であるとする。このような場合は、条件１を「表出する感情がＡおよびＢのいずれでもない」と設定し、条件２を「表出する感情がＡである」と設定すれば良い。

また、条件は２つ設定しなくても良く、１つだけでも良い。更には、基準方向が現在の視線方向に対して設定される規定範囲Ｃ_ｐの外側である場合の視線方向の調整をいずれか１つの手法に限っても良い。

次に、本実施形態の第２の実施例について説明する。図１４は、第２の実施例に係るロボット４００の概観図である。第１の実施例に係るロボット１００は、キャラクターを具現化したコミュニケーションロボットであったが、第２の実施例に係るロボット４００は、搬送物を把持して自律移動する搬送ロボットとしての機能も有するコミュニケーションロボットである。近時の搬送ロボットは、人間と作業空間を共有するものが増えており、人間とコミュニケーションを取りながら作業を実行するものも知られてきている。ロボット４００は、搬送ロボットでありながら、ロボット１００のようなコミュニケーションを実行できるロボットである。

ロボット４００は、コミュニケーション機能に関する構成はロボット１００とほぼ同様であるので、主に相違点について説明する。搬送ロボットのような機能ロボットは、頭部や胴体部が必ずしも人間や動物の形態を模倣するものでなくて良い。ロボット４００は、図示するように、胴体部４１０が半円筒形状であり、頭部４２０がほぼ表示パネル４０６のみで構成されている。表示パネル４０６には、黒目画像４６１を含む顔画像が表示される。また、表示パネル４０６は、頭部４２０として、胴体部４１０に対してヨー軸方向θ_ｙおよびピッチ軸方向θ_ｚ方向に回動される。

このように構成されたロボット４００においても、ロボット１００と同様に、頭部４２０の向きと黒目画像４６１の位置を変化させることにより、視線方向を基準方向へ向けることができる。したがって、ロボット４００が人間や動物の形態とはかけ離れた外見であっても、ロボット４００と作業するユーザは、ロボット１００のようにコミュニケーションを取ることができる。更には、より自然な視線移動を体感することができる。

以上第１の実施例と第２の実施例を通じて本実施形態を説明したが、ロボットの態様はこれらの実施例に限定されない。上記の実施例では、コミュニケーション対象であるユーザの基準方向は、カメラ１０２で取得した画像信号を解析して決定したが、基準方向の決定方法はこれに限らず、例えばマイク１０１をステレオマイクにして、発話方向を基準方向として定めても良い。視線制御部２０３は基準方向を取得できれば良いので、環境センサや基準方向の演算部は外部装置に備えられていても良い。この場合、視線制御部２０３は、通信ＩＦを介して基準方向を取得すれば良い。このような構成においては、通信ＩＦが基準方向を取得する取得部として機能する。

また上記の実施例では、両眼の眼球部を備えるロボットを説明したが、単眼の眼球部や、三眼以上の眼球部を備えるロボットであっても構わない。そのような眼球部であっても、視線方向を定めることは可能である。また、上記の例では、光ファイバ束１３２を介在させた眼球部１２２を説明したが、光ファイバ束１３２等を介在させることなく、曲面の表示パネルを眼球部１２２として採用しても良い。また、簡易的には平面の表示パネルを眼球部１２２として採用しても良い。また、眼球部は表示パネルによって実現されるものに限らず、例えば黒目が描かれた球がモータで回転される態様であっても構わない。その場合の黒目の位置の変化は、モータによる球の回転によって実現される。また、上記の第２の実施例におけるロボット４００では両眼を一つの表示パネルに表示したが、両眼の他に眉や鼻や口も表示して、これらのパーツも視線方向に連動させて変化させても良い。この場合において視線制御部２０３は、表示パネル全体の表示態様を制御すると良い。

また、上記の実施例では、基準方向が規定範囲Ｃ_ｐの内側に存在しない場合の視線調整として図８の例および図９の例を説明した。しかし、規定範囲Ｃ_ｐの内側か外側かに関わらず、これらの視線調整を実行しても良い。すなわち、途中までは頭部１２０の向きを変化させずに黒目画像１６１の位置を変化させ、その後に頭部１２０の向きと黒目画像１６１の位置を共に変化させて視線方向を調整する手法は、現視線方向と基準方向が近くても実行し得る。同様に、途中までは頭部１２０の向きと黒目画像１６１の位置を共に変化させ、その後に頭部１２０の向きを変化させずに黒目画像１６１の位置を変化させて、視線方向を調整する手法は、現視線方向と基準方向が近くても実行し得る。このような視線の動きは、表現したい感情や表情との兼ね合い等において採用することができる。

また、設定する基準方向はユーザの両眼の中間点でなくても良い。コミュニケーションによっては、表出する表情の例として「視線を外す」場合もあり、このような場合には、視線制御部２０３は、ユーザの両眼から離れた点を基準方向として設定する。

１００ ロボット、１０１ マイク、１０２ カメラ、１０６ 表示パネル、１０６ａ 右眼用表示パネル、１０６ｂ 左眼用表示パネル、１０９ スピーカ、１１０ 胴体部、１１１ モータ、１２０ 頭部、１２２ 眼球部、１２２ａ 右眼、１２２ｂ 左眼、１３１ 透光カバー、１３２ 光ファイバ束、１３２ａ 光ファイバ、１３２ｂ 被覆、１６１ 黒目画像、１６１ａ 右黒目画像、１６１ｂ 左黒目画像、２００ 制御部、２０１ 発話認識部、２０２ 顔認識部、２０３ 視線制御部、２０４ 表示制御部、２０５ モータ制御部、２０６ 音声選択部、２０７ 発話制御部、３１０ 応答音声ＤＢ、４００ ロボット、４０６ 表示パネル、４１０ 胴体部、４２０ 頭部、４６１ 黒目画像、４６１ａ 右黒目画像、４６１ｂ 左黒目画像

Claims (9)

1. 胴体部と、
   前記胴体部に対して向きを変化させることができる頭部と、
   前記頭部に設けられ、黒目の位置を変化させることができる眼球部と、
   前記頭部の向きおよび前記黒目の位置の少なくともいずれかを変化させることにより視線方向を制御する制御部と、
   コミュニケーション対象の基準方向を取得する取得部と
   を備え、
   前記制御部は、前記視線方向を前記基準方向へ向ける場合に、前記基準方向が現在の視線方向に対して予め定められた規定範囲に含まれる場合には、前記頭部の向きを変化させずに前記黒目の位置を変化させることにより前記視線方向を前記基準方向へ向け、前記基準方向が前記規定範囲に含まれない場合には、前記頭部の向きと前記黒目の位置を共に変化させることにより前記視線方向を前記基準方向へ向けるコミュニケーションロボット。
2. 胴体部と、
   前記胴体部に対して向きを変化させることができる頭部と、
   前記頭部に設けられ、黒目の位置を変化させることができる眼球部と、
   前記頭部の向きおよび前記黒目の位置の少なくともいずれかを変化させることにより視線方向を制御する制御部と、
   コミュニケーション対象の基準方向を取得する取得部と
   を備え、
   前記制御部は、前記視線方向を前記基準方向へ向ける場合に、前記頭部の向きを変化させずに前記黒目の位置を変化させた後に前記頭部の向きと前記黒目の位置を共に変化させて前記視線方向を前記基準方向へ向ける第１制御と、前記頭部の向きと前記黒目の位置を共に変化させた後に前記頭部の向きを変化させずに前記黒目の位置を変化させて前記視線方向を前記基準方向へ向ける第２制御の少なくともいずれかを実行可能であるコミュニケーションロボット。
3. 前記制御部は、前記基準方向が現在の視線方向に対して予め定められた規定範囲に含まれる場合には、前記頭部の向きを変化させずに前記黒目の位置を変化させることにより前記視線方向を前記基準方向へ向け、前記基準方向が前記規定範囲に含まれない場合には、前記第１制御または前記第２制御により前記視線方向を前記基準方向へ向ける請求項２に記載のコミュニケーションロボット。
4. 前記コミュニケーション対象に対して発話する発話部を備え、
   前記制御部は、前記発話部が発話を開始するタイミングに連動して前記視線方向を前記基準方向へ向ける請求項１から３のいずれか１項に記載のコミュニケーションロボット。
5. 前記コミュニケーション対象の発話を検出する検出部を備え、
   前記制御部は、前記検出部が前記コミュニケーション対象の発話を検出したタイミングに連動して前記視線方向を前記基準方向へ向ける請求項１から４のいずれか１項に記載のコミュニケーションロボット。
6. 前記制御部は、前記頭部の向きと前記黒目の位置を共に変化させる場合には、前記頭部の向きが前記視線方向に遅れて追従するように、前記頭部の向きと前記黒目の位置を制御する請求項１から５のいずれか１項に記載のコミュニケーションロボット。
7. 胴体部と、前記胴体部に対して向きを変化させることができる頭部と、前記頭部に設けられ、黒目の位置を変化させることができる眼球部とを備えるコミュニケーションロボットを制御するための制御プログラムであって、
   コミュニケーション対象の基準方向を取得する取得ステップと、
   前記基準方向が、前記頭部の向きおよび前記黒目の位置によって定まる現在の視線方向に対して予め定められた規定範囲に含まれるかを判断する判断ステップと、
   前記基準方向が現在の視線方向に対して予め定められた規定範囲に含まれると判断した場合に、前記頭部の向きを変化させずに前記黒目の位置を変化させることにより前記視線方向を前記基準方向へ向ける第１制御ステップと、
   前記基準方向が現在の視線方向に対して予め定められた規定範囲に含まれないと判断した場合に、前記頭部の向きと前記黒目の位置を共に変化させることにより前記視線方向を前記基準方向へ向ける第２制御ステップと
   をコンピュータに実行させる制御プログラム。
8. 胴体部と、前記胴体部に対して向きを変化させることができる頭部と、前記頭部に設けられ、黒目の位置を変化させることができる眼球部とを備えるコミュニケーションロボットを制御するための制御プログラムであって、
   コミュニケーション対象の基準方向を取得する取得ステップと、
   前記頭部の向きおよび前記黒目の位置によって定まる視線方向を、前記頭部の向きを変化させずに前記黒目の位置を変化させた後に前記頭部の向きと前記黒目の位置を共に変化させて前記基準方向へ向ける制御ステップと
   をコンピュータに実行させる制御プログラム。
9. 胴体部と、前記胴体部に対して向きを変化させることができる頭部と、前記頭部に設けられ、黒目の位置を変化させることができる眼球部とを備えるコミュニケーションロボットを制御するための制御プログラムであって、
   コミュニケーション対象の基準方向を取得する取得ステップと、
   前記頭部の向きおよび前記黒目の位置によって定まる視線方向を、前記頭部の向きと前記黒目の位置を共に変化させた後に前記頭部の向きを変化させずに前記黒目の位置を変化させて前記基準方向へ向ける制御ステップと
   をコンピュータに実行させる制御プログラム。

Images