JP7177497B2 - 相手を見つめる自律行動型ロボット - Google Patents

Description

本発明は、内部状態または外部環境に応じて自律的に行動選択するロボット、に関する。

人間は、癒やしを求めてペットを飼う。その一方、ペットの世話をする時間を十分に確保できない、ペットを飼える住環境にない、アレルギーがある、死別がつらい、といったさまざまな理由により、ペットをあきらめている人は多い。もし、ペットの役割が務まるロボットがあれば、ペットを飼えない人にもペットが与えてくれるような癒やしを与えられるかもしれない（特許文献１参照）。

特開２０００－３２３２１９号公報

近年、ロボット技術は急速に進歩しつつあるが、ペットのような伴侶としての存在感を実現するには至っていない。ロボットに自由意志があるとは思えないからである。人間は、ペットの自由意志があるとしか思えないような行動を観察することにより、ペットに自由意志の存在を感じ、ペットに共感し、ペットに癒される。

ペットは、しゃべることができないため、自分の気持ちを眼で伝えようとする。眼は「心の窓」ともよばれる。相手を見つめることは、相手に興味をもっていることを意味する。人間は、ペットと見つめ合う時、心が通い合っていると感じ、ペットに対する親愛の情を掻き立てられる。本発明者らは、ロボットに「生物としての存在感」を発揮させるためには、ロボットにおける眼の表現力、特に「見つめる」制御が重要であると考える。

本発明は、上記認識に基づいて完成された発明であり、その主たる目的は、ロボットがユーザを見つめる際の好適な制御方法を提案することにある。

本発明のある態様における自律行動型ロボットは、ロボットのモーションを選択する動作制御部と、動作制御部により選択されたモーションを実行する駆動機構と、ロボットの表示装置に眼画像を表示させる眼制御部と、ユーザを検出する認識部と、を備える。
眼制御部は、ユーザとロボットとの相対位置に応じて眼画像に含まれる瞳領域を変化させる。

本発明の別の態様における自律行動型ロボットは、カメラと、温度検出センサと、ロボットのモーションを選択する動作制御部と、動作制御部により選択されたモーションを実行する駆動機構と、ロボットの表示装置に眼画像を表示させる眼制御部と、カメラにより取得された撮像画像または温度検出センサにより取得された熱分布画像に基づいて、ユーザを検出する認識部と、を備える。
認識部は、ロボットとユーザの位置関係に応じて撮像画像および熱分布画像のいずれかを選択し、選択した画像からユーザの顔領域を特定する。
眼制御部は、特定された顔領域を注視点として設定し、眼画像に含まれる瞳領域を注視点に応じて移動させる。

本発明の別の態様における自律行動型ロボットは、ロボットのモーションを選択する動作制御部と、動作制御部により選択されたモーションを実行する駆動機構と、ロボットの表示装置に眼画像を表示させる眼制御部と、ユーザの目を検出する認識部と、を備える。
眼制御部は、ユーザの目を注視点として設定した上で眼画像に含まれる瞳領域を注視点に応じて移動させることによりロボットの視線をユーザの目に向けさせ、ロボットとユーザの位置関係が変化した場合にも変化後のユーザの目の位置を新たな注視点として設定することによりユーザの目に向けたロボットの視線を維持する。

本発明の別の態様における自律行動型ロボットは、ロボットのモーションを選択する動作制御部と、動作制御部により選択されたモーションを実行する駆動機構と、ロボットの表示装置に眼画像を表示させる眼制御部と、ユーザを検出する認識部と、を備える。
認識部は、更に、ユーザの視線方向を検出する。
眼制御部は、ユーザの目を注視点として設定した上で眼画像に含まれる瞳領域を注視点に応じて移動させることによりロボットの視線をユーザの目に向けさせ、ユーザの視線がロボットから外されたときに注視点をユーザの目から外す。

本発明によれば、ロボットから見つめられている感覚をロボットの観察者にもたせやすくなる。

ロボットの正面外観図である。 ロボットの側面外観図である。 ロボットの構造を概略的に表す断面図である。 ロボットシステムの構成図である。 感情マップの概念図である。 ロボットのハードウェア構成図である。 ロボットシステムの機能ブロック図である。 眼画像の外観図である。 眼画像の拡大図である。 眼画像の生成方法を示す模式図である。 視線方向と対象方向の関係を説明するための模式図である。 観察対象者がロボットの左に位置するときのロボットの外観図である。 通常時における眼画像の表示態様を示す図である。 扁平時における眼画像の表示態様を示す図である。 図１２（ｂ）に示す眼画像の斜め方向からの視認態様を示す図である。 対象方向とモニタおよび瞳画像の見え方を示す模式図である。 固視微動を説明するための模式図である。 観察対象者がロボットの上方に位置するときのロボットの外観図である。 注視点を説明するための模式図である。 右目モニタにおける瞳画像が中央ポジションにあるときの眼画像の模式図である。 右目モニタにおける瞳画像が中央ポジションから外れたときの眼画像の模式図である。 瞼画像と瞳画像の連動を説明するための模式図である。 開眼前の縮瞳状態を示す模式図である。 閉眼中の通常状態を示す模式図である。 開眼直後の通常状態を示す模式図である。 開眼後の縮瞳状態を示す模式図である。 開眼前の散瞳状態を示す模式図である。 閉眼中の通常状態を示す模式図である。 開眼直後の通常状態を示す模式図である。 開眼後の散瞳状態を示す模式図である。

図１（ａ）は、ロボット１００の正面外観図である。図１（ｂ）は、ロボット１００の側面外観図である。
本実施形態におけるロボット１００は、外部環境および内部状態に基づいて行動や仕草（ジェスチャー）を決定する自律行動型のロボットである。外部環境は、カメラやサーモセンサなど各種のセンサにより認識される。内部状態はロボット１００の感情を表現するさまざまなパラメータとして定量化される。これらについては後述する。

ロボット１００は、原則として、オーナー家庭の家屋内を行動範囲とする。以下、ロボット１００に関わる人間を「ユーザ」とよび、特に、ロボット１００が所属する家庭の構成員となるユーザのことを「オーナー」とよぶ。

ロボット１００のボディ１０４は、全体的に丸みを帯びた形状を有し、ウレタンやゴム、樹脂、繊維などやわらかく弾力性のある素材により形成された外皮を含む。ロボット１００に服を着せてもよい。丸くてやわらかく、手触りのよいボディ１０４とすることで、ロボット１００はユーザに安心感とともに心地よい触感を提供する。

ロボット１００は、総重量が１５キログラム以下、好ましくは１０キログラム以下、更に好ましくは、５キログラム以下である。生後１３ヶ月までに、赤ちゃんの過半数は一人歩きを始める。生後１３ヶ月の赤ちゃんの平均体重は、男児が９キログラム強、女児が９キログラム弱である。このため、ロボット１００の総重量が１０キログラム以下であれば、ユーザは一人歩きできない赤ちゃんを抱きかかえるのとほぼ同等の労力でロボット１００を抱きかかえることができる。生後２ヶ月未満の赤ちゃんの平均体重は男女ともに５キログラム未満である。したがって、ロボット１００の総重量が５キログラム以下であれば、ユーザは乳児を抱っこするのと同等の労力でロボット１００を抱っこできる。

適度な重さと丸み、柔らかさ、手触りのよさ、といった諸属性により、ユーザがロボット１００を抱きかかえやすく、かつ、抱きかかえたくなるという効果が実現される。同様の理由から、ロボット１００の身長は１．２メートル以下、好ましくは、０．７メートル以下であることが望ましい。本実施形態におけるロボット１００にとって、抱きかかえることができるというのは重要なコンセプトである。

ロボット１００は、３輪走行するための３つの車輪を備える。図示のように、一対の前輪１０２（左輪１０２ａ，右輪１０２ｂ）と、一つの後輪１０３を含む。前輪１０２が駆動輪であり、後輪１０３が従動輪である。前輪１０２は、操舵機構を有しないが、回転速度や回転方向を個別に制御可能とされている。後輪１０３は、いわゆるオムニホイールからなり、ロボット１００を前後左右へ移動させるために回転自在となっている。左輪１０２ａよりも右輪１０２ｂの回転数を大きくすることで、ロボット１００は左折したり、左回りに回転できる。右輪１０２ｂよりも左輪１０２ａの回転数を大きくすることで、ロボット１００は右折したり、右回りに回転できる。

前輪１０２および後輪１０３は、駆動機構（回動機構、リンク機構）によりボディ１０４に完全収納できる。走行時においても各車輪の大部分はボディ１０４に隠れているが、各車輪がボディ１０４に完全収納されるとロボット１００は移動不可能な状態となる。すなわち、車輪の収納動作にともなってボディ１０４が降下し、床面Ｆに着座する。この着座状態においては、ボディ１０４の底部に形成された平坦状の着座面１０８（接地底面）が床面Ｆに当接する。

ロボット１００は、２つの手１０６を有する。手１０６には、モノを把持する機能はない。手１０６は上げる、振る、振動するなど簡単な動作が可能である。２つの手１０６も個別制御可能である。

目１１０は、液晶素子または有機ＥＬ素子による画像表示が可能である。本実施形態における目１１０は、有機ＥＬ素子を配された平面形状のモニタの上に反射防止フィルムを貼付することで反射防止処置を施される。モニタの上に反射防止処置の施された凸面レンズを取り付けてもよい。ロボット１００は、音源方向を特定可能なマイクロフォンアレイや超音波センサなどさまざまなセンサを搭載する。また、スピーカーを内蔵し、簡単な音声を発することもできる。

ロボット１００の頭部にはツノ１１２が取り付けられる。上述のようにロボット１００は軽量であるため、ユーザはツノ１１２をつかむことでロボット１００を持ち上げることも可能である。ツノ１１２には全天周カメラが取り付けられ、ロボット１００の上部全域を一度に撮像可能である。

図２は、ロボット１００の構造を概略的に表す断面図である。
図２に示すように、ロボット１００のボディ１０４は、ベースフレーム３０８、本体フレーム３１０、一対の樹脂製のホイールカバー３１２および外皮３１４を含む。ベースフレーム３０８は、金属からなり、ボディ１０４の軸芯を構成するとともに内部機構を支持する。ベースフレーム３０８は、アッパープレート３３２とロアプレート３３４とを複数のサイドプレート３３６により上下に連結して構成される。複数のサイドプレート３３６間には通気が可能となるよう、十分な間隔が設けられる。ベースフレーム３０８の内方には、バッテリー１１８、制御回路３４２および各種アクチュエータが収容されている。

本体フレーム３１０は、樹脂材からなり、頭部フレーム３１６および胴部フレーム３１８を含む。頭部フレーム３１６は、中空半球状をなし、ロボット１００の頭部骨格を形成する。胴部フレーム３１８は、段付筒形状をなし、ロボット１００の胴部骨格を形成する。胴部フレーム３１８は、ベースフレーム３０８と一体に固定される。頭部フレーム３１６は、胴部フレーム３１８の上端部に相対変位可能に組み付けられる。

頭部フレーム３１６には、ヨー軸３２０、ピッチ軸３２２およびロール軸３２４の３軸と、各軸を回転駆動するためのアクチュエータ３２６が設けられる。アクチュエータ３２６は、各軸を個別に駆動するための複数のサーボモータを含む。首振り動作のためにヨー軸３２０が駆動され、頷き動作のためにピッチ軸３２２が駆動され、首を傾げる動作のためにロール軸３２４が駆動される。

頭部フレーム３１６の上部には、ヨー軸３２０を支持するプレート３２５が固定されている。プレート３２５には、上下間の通気を確保するための複数の通気孔３２７が形成される。

頭部フレーム３１６およびその内部機構を下方から支持するように、金属製のベースプレート３２８が設けられる。ベースプレート３２８は、クロスリンク機構３２９（パンタグラフ機構）を介してプレート３２５と連結される一方、ジョイント３３０を介してアッパープレート３３２（ベースフレーム３０８）と連結される。

胴部フレーム３１８は、ベースフレーム３０８と車輪駆動機構３７０を収容する。車輪駆動機構３７０は、回動軸３７８およびアクチュエータ３７９を含む。胴部フレーム３１８の下半部は、ホイールカバー３１２との間に前輪１０２の収納スペースＳを形成するために小幅とされている。

外皮３１４は、ウレタンゴムからなり、本体フレーム３１０およびホイールカバー３１２を外側から覆う。手１０６は、外皮３１４と一体成形される。外皮３１４の上端部には、外気を導入するための開口部３９０が設けられる。

図３は、ロボットシステム３００の構成図である。
ロボットシステム３００は、ロボット１００、サーバ２００および複数の外部センサ１１４を含む。家屋内にはあらかじめ複数の外部センサ１１４（外部センサ１１４ａ、１１４ｂ、・・・、１１４ｎ）が設置される。外部センサ１１４は、家屋の壁面に固定されてもよいし、床に載置されてもよい。サーバ２００には、外部センサ１１４の位置座標が登録される。位置座標は、ロボット１００の行動範囲として想定される家屋内においてｘ，ｙ座標として定義される。

サーバ２００は、家屋内に設置される。本実施形態におけるサーバ２００とロボット１００は、通常、１対１で対応する。ロボット１００の内蔵するセンサおよび複数の外部センサ１１４から得られる情報に基づいて、サーバ２００がロボット１００の基本行動を決定する。
外部センサ１１４はロボット１００の感覚器を補強するためのものであり、サーバ２００はロボット１００の頭脳を補強するためのものである。

外部センサ１１４は、定期的に外部センサ１１４のＩＤ（以下、「ビーコンＩＤ」とよぶ）を含む無線信号（以下、「ロボット探索信号」とよぶ）を送信する。ロボット１００はロボット探索信号を受信するとビーコンＩＤを含む無線信号（以下、「ロボット返答信号」とよぶ）を返信する。サーバ２００は、外部センサ１１４がロボット探索信号を送信してからロボット返答信号を受信するまでの時間を計測し、外部センサ１１４からロボット１００までの距離を測定する。複数の外部センサ１１４とロボット１００とのそれぞれの距離を計測することで、ロボット１００の位置座標を特定する。
もちろん、ロボット１００が自らの位置座標を定期的にサーバ２００に送信する方式でもよい。

図４は、感情マップ１１６の概念図である。
感情マップ１１６は、サーバ２００に格納されるデータテーブルである。ロボット１００は、感情マップ１１６にしたがって行動選択する。図４に示す感情マップ１１６は、ロボット１００の場所に対する好悪感情の大きさを示す。感情マップ１１６のｘ軸とｙ軸は、二次元空間座標を示す。ｚ軸は、好悪感情の大きさを示す。ｚ値が正値のときにはその場所に対する好感が高く、ｚ値が負値のときにはその場所を嫌悪していることを示す。

図４の感情マップ１１６において、座標Ｐ１は、ロボット１００の行動範囲としてサーバ２００が管理する屋内空間のうち好感情が高い地点（以下、「好意地点」とよぶ）である。好意地点は、ソファの陰やテーブルの下などの「安全な場所」であってもよいし、リビングのように人が集まりやすい場所、賑やかな場所であってもよい。また、過去にやさしく撫でられたり、触れられたりした場所であってもよい。
ロボット１００がどのような場所を好むかという定義は任意であるが、一般的には、小さな子どもや犬や猫などの小動物が好む場所を好意地点として設定することが望ましい。

座標Ｐ２は、悪感情が高い地点（以下、「嫌悪地点」とよぶ）である。嫌悪地点は、テレビの近くなど大きな音がする場所、お風呂や洗面所のように濡れやすい場所、閉鎖空間や暗い場所、ユーザから乱暴に扱われたことがある不快な記憶に結びつく場所などであってもよい。
ロボット１００がどのような場所を嫌うかという定義も任意であるが、一般的には、小さな子どもや犬や猫などの小動物が怖がる場所を嫌悪地点として設定することが望ましい。

座標Ｑは、ロボット１００の現在位置を示す。複数の外部センサ１１４が定期的に送信するロボット探索信号とそれに対するロボット返答信号により、サーバ２００はロボット１００の位置座標を特定する。たとえば、ビーコンＩＤ＝１の外部センサ１１４とビーコンＩＤ＝２の外部センサ１１４がそれぞれロボット１００を検出したとき、２つの外部センサ１１４からロボット１００の距離を求め、そこからロボット１００の位置座標を求める。

図４に示す感情マップ１１６が与えられた場合、ロボット１００は好意地点（座標Ｐ１）に引き寄せられる方向、嫌悪地点（座標Ｐ２）から離れる方向に移動する。

感情マップ１１６は動的に変化する。ロボット１００が座標Ｐ１に到達すると、座標Ｐ１におけるｚ値（好感情）は時間とともに低下する。これにより、ロボット１００は好意地点（座標Ｐ１）に到達して、「感情が満たされ」、やがて、その場所に「飽きてくる」という生物的行動をエミュレートできる。同様に、座標Ｐ２における悪感情も時間とともに緩和される。時間経過とともに新たな好意地点や嫌悪地点が生まれ、それによってロボット１００は新たな行動選択を行う。ロボット１００は、新しい好意地点に「興味」を持ち、絶え間なく行動選択する。

感情マップ１１６は、ロボット１００の内部状態として、感情の起伏を表現する。ロボット１００は、好意地点を目指し、嫌悪地点を避け、好意地点にしばらくとどまり、やがてまた次の行動を起こす。このような制御により、ロボット１００の行動選択を人間的・生物的なものにできる。

なお、ロボット１００の行動に影響を与えるマップ（以下、「行動マップ」と総称する）は、図４に示したようなタイプの感情マップ１１６に限らない。たとえば、好奇心、恐怖を避ける気持ち、安心を求める気持ち、静けさや薄暗さ、涼しさや暖かさといった肉体的安楽を求める気持ち、などさまざまな行動マップを定義可能である。そして、複数の行動マップそれぞれのｚ値を重み付け平均することにより、ロボット１００の目的地点を決定してもよい。

ロボット１００は、行動マップとは別に、さまざまな感情や感覚の大きさを示すパラメータを有する。たとえば、寂しさという感情パラメータの値が高まっているときには、安心する場所を評価する行動マップの重み付け係数を大きく設定し、目標地点に到達することでこの感情パラメータの値を低下させる。同様に、つまらないという感覚を示すパラメータの値が高まっているときには、好奇心を満たす場所を評価する行動マップの重み付け係数を大きく設定すればよい。

図５は、ロボット１００のハードウェア構成図である。
ロボット１００は、内部センサ１２８、通信機１２６、記憶装置１２４、プロセッサ１２２、駆動機構１２０およびバッテリー１１８を含む。駆動機構１２０は、上述した車輪駆動機構３７０を含む。プロセッサ１２２と記憶装置１２４は、制御回路３４２に含まれる。各ユニットは電源線１３０および信号線１３２により互いに接続される。バッテリー１１８は、電源線１３０を介して各ユニットに電力を供給する。各ユニットは信号線１３２により制御信号を送受する。バッテリー１１８は、リチウムイオン二次電池であり、ロボット１００の動力源である。

内部センサ１２８は、ロボット１００が内蔵する各種センサの集合体である。具体的には、カメラ（全天周カメラ）、マイクロフォンアレイ、測距センサ（赤外線センサ）、サーモセンサ、タッチセンサ、加速度センサ、ニオイセンサなどである。タッチセンサは、外皮３１４と本体フレーム３１０の間に設置され、ユーザのタッチを検出する。ニオイセンサは、匂いの元となる分子の吸着によって電気抵抗が変化する原理を応用した既知のセンサである。

通信機１２６は、サーバ２００や外部センサ１１４、ユーザの有する携帯機器など各種の外部機器を対象として無線通信を行う通信モジュールである。記憶装置１２４は、不揮発性メモリおよび揮発性メモリにより構成され、コンピュータプログラムや各種設定情報を記憶する。プロセッサ１２２は、コンピュータプログラムの実行手段である。駆動機構１２０は、内部機構を制御するアクチュエータである。このほかには、表示器やスピーカーなども搭載される。

プロセッサ１２２は、通信機１２６を介してサーバ２００や外部センサ１１４と通信しながら、ロボット１００の行動選択を行う。内部センサ１２８により得られるさまざまな外部情報も行動選択に影響する。駆動機構１２０は、主として、車輪（前輪１０２）と頭部（頭部フレーム３１６）を制御する。駆動機構１２０は、２つの前輪１０２それぞれの回転速度や回転方向を変化させることにより、ロボット１００の移動方向や移動速度を変化させる。また、駆動機構１２０は、車輪（前輪１０２および後輪１０３）を昇降させることもできる。車輪が上昇すると、車輪はボディ１０４に完全に収納され、ロボット１００は着座面１０８にて床面Ｆに当接し、着座状態となる。また、駆動機構１２０は、ワイヤ１３４を介して、手１０６を制御する。

図６は、ロボットシステム３００の機能ブロック図である。
上述のように、ロボットシステム３００は、ロボット１００、サーバ２００および複数の外部センサ１１４を含む。ロボット１００およびサーバ２００の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーション・プログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
ロボット１００の機能の一部はサーバ２００により実現されてもよいし、サーバ２００の機能の一部または全部はロボット１００により実現されてもよい。

（サーバ２００）
サーバ２００は、通信部２０４、データ処理部２０２およびデータ格納部２０６を含む。
通信部２０４は、外部センサ１１４およびロボット１００との通信処理を担当する。データ格納部２０６は各種データを格納する。データ処理部２０２は、通信部２０４により取得されたデータおよびデータ格納部２０６に格納されるデータに基づいて各種処理を実行する。データ処理部２０２は、通信部２０４およびデータ格納部２０６のインタフェースとしても機能する。

データ格納部２０６は、モーション格納部２３２、マップ格納部２１６および個人データ格納部２１８を含む。
ロボット１００は、複数の動作パターン（モーション）を有する。手１０６を震わせる、蛇行しながらオーナーに近づく、首をかしげたままオーナーを見つめる、などさまざまなモーションが定義される。

モーション格納部２３２は、モーションの制御内容を定義する「モーションファイル」を格納する。各モーションは、モーションＩＤにより識別される。モーションファイルは、ロボット１００のモーション格納部１６０にもダウンロードされる。どのモーションを実行するかは、サーバ２００で決定されることもあるし、ロボット１００で決定されることもある。

ロボット１００のモーションの多くは、複数の単位モーションを含む複合モーションとして構成される。たとえば、ロボット１００がオーナーに近づくとき、オーナーの方に向き直る単位モーション、手を上げながら近づく単位モーション、体を揺すりながら近づく単位モーション、両手を上げながら着座する単位モーションの組み合わせとして表現されてもよい。このような４つのモーションの組み合わせにより、「オーナーに近づいて、途中で手を上げて、最後は体をゆすった上で着座する」というモーションが実現される。モーションファイルには、ロボット１００に設けられたアクチュエータの回転角度や角速度などが時間軸に関連づけて定義される。モーションファイル（アクチュエータ制御情報）にしたがって、時間経過とともに各アクチュエータを制御することで様々なモーションが表現される。

先の単位モーションから次の単位モーションに変化するときの移行時間を「インターバル」とよぶ。インターバルは、単位モーション変更に要する時間やモーションの内容に応じて定義されればよい。インターバルの長さは調整可能である。
以下、いつ、どのモーションを選ぶか、モーションを実現する上での各アクチュエータの出力調整など、ロボット１００の行動制御に関わる設定のことを「行動特性」と総称する。ロボット１００の行動特性は、モーション選択アルゴリズム、モーションの選択確率、モーションファイル等により定義される。

モーション格納部２３２は、モーションファイルのほか、各種のイベントが発生したときに実行すべきモーションを定義するモーション選択テーブルを格納する。モーション選択テーブルにおいては、イベントに対して１以上のモーションとその選択確率が対応づけられる。

マップ格納部２１６は、複数の行動マップのほか、椅子やテーブルなどの障害物の配置状況を示すマップも格納する。個人データ格納部２１８は、ユーザ、特に、オーナーの情報を格納する。具体的には、ユーザに対する親密度とユーザの身体的特徴・行動的特徴を示すマスタ情報を格納する。年齢や性別などの他の属性情報を格納してもよい。

ロボット１００は、ユーザごとに親密度という内部パラメータを有する。ロボット１００が、自分を抱き上げる、声をかけてくれるなど、自分に対して好意を示す行動を認識したとき、そのユーザに対する親密度が高くなる。ロボット１００に関わらないユーザや、乱暴を働くユーザ、出会う頻度が低いユーザに対する親密度は低くなる。

データ処理部２０２は、位置管理部２０８、マップ管理部２１０、認識部２１２、動作制御部２２２、親密度管理部２２０および状態管理部２４４を含む。
位置管理部２０８は、ロボット１００の位置座標を、図３を用いて説明した方法にて特定する。位置管理部２０８はユーザの位置座標もリアルタイムで追跡してもよい。

状態管理部２４４は、充電率や内部温度、プロセッサ１２２の処理負荷などの各種物理状態など各種内部パラメータを管理する。状態管理部２４４は、感情管理部２３４を含む。
感情管理部２３４は、ロボット１００の感情（寂しさ、好奇心、承認欲求など）を示すさまざまな感情パラメータを管理する。これらの感情パラメータは常に揺らいでいる。感情パラメータに応じて複数の行動マップの重要度が変化し、行動マップによってロボット１００の移動目標地点が変化し、ロボット１００の移動や時間経過によって感情パラメータが変化する。

たとえば、寂しさを示す感情パラメータが高いときには、感情管理部２３４は安心する場所を評価する行動マップの重み付け係数を大きく設定する。ロボット１００が、この行動マップにおいて寂しさを解消可能な地点に至ると、感情管理部２３４は寂しさを示す感情パラメータを低下させる。また、後述の応対行為によっても各種感情パラメータは変化する。たとえば、オーナーから「抱っこ」をされると寂しさを示す感情パラメータは低下し、長時間にわたってオーナーを視認しないときには寂しさを示す感情パラメータは少しずつ増加する。

マップ管理部２１０は、複数の行動マップについて図４に関連して説明した方法にて各座標のパラメータを変化させる。マップ管理部２１０は、複数の行動マップのいずれかを選択してもよいし、複数の行動マップのｚ値を加重平均してもよい。たとえば、行動マップＡでは座標Ｒ１、座標Ｒ２におけるｚ値が４と３であり、行動マップＢでは座標Ｒ１、座標Ｒ２におけるｚ値が－１と３であるとする。単純平均の場合、座標Ｒ１の合計ｚ値は４－１＝３、座標Ｒ２の合計ｚ値は３＋３＝６であるから、ロボット１００は座標Ｒ１ではなく座標Ｒ２の方向に向かう。
行動マップＡを行動マップＢの５倍重視するときには、座標Ｒ１の合計ｚ値は４×５－１＝１９、座標Ｒ２の合計ｚ値は３×５＋３＝１８であるから、ロボット１００は座標Ｒ１の方向に向かう。

認識部２１２は、外部環境を認識する。外部環境の認識には、温度や湿度に基づく天候や季節の認識、光量や温度に基づく物陰（安全地帯）の認識など多様な認識が含まれる。ロボット１００の認識部１５６は、内部センサ１２８により各種の環境情報を取得し、これを一次処理した上でサーバ２００の認識部２１２に転送する。

具体的には、ロボット１００の認識部１５６は、画像から移動物体、特に、人物や動物に対応する画像領域を抽出し、抽出した画像領域から移動物体の身体的特徴や行動的特徴を示す特徴量の集合として「特徴ベクトル」を抽出する。特徴ベクトル成分（特徴量）は、各種身体的・行動的特徴を定量化した数値である。たとえば、人間の目の横幅は０～１の範囲で数値化され、１つの特徴ベクトル成分を形成する。人物の撮像画像から特徴ベクトルを抽出する手法については、既知の顔認識技術の応用である。ロボット１００は、特徴ベクトルをサーバ２００に送信する。

サーバ２００の認識部２１２は、更に、人物認識部２１４と応対認識部２２８を含む。
人物認識部２１４は、ロボット１００の内蔵カメラによる撮像画像から抽出された特徴ベクトルと、個人データ格納部２１８にあらかじめ登録されているユーザ（クラスタ）の特徴ベクトルと比較することにより、撮像されたユーザがどの人物に該当するかを判定する（ユーザ識別処理）。人物認識部２１４は、表情認識部２３０を含む。表情認識部２３０は、ユーザの表情を画像認識することにより、ユーザの感情を推定する。
なお、人物認識部２１４は、人物以外の移動物体、たとえば、ペットである猫や犬についてもユーザ識別処理を行う。

応対認識部２２８は、ロボット１００になされたさまざまな応対行為を認識し、快・不快行為に分類する。応対認識部２２８は、また、ロボット１００の行動に対するオーナーの応対行為を認識することにより、肯定・否定反応に分類する。
快・不快行為は、ユーザの応対行為が、生物として心地よいものであるか不快なものであるかにより判別される。たとえば、抱っこされることはロボット１００にとって快行為であり、蹴られることはロボット１００にとって不快行為である。肯定・否定反応は、ユーザの応対行為が、ユーザの快感情を示すものか不快感情を示すものであるかにより判別される。たとえば、抱っこされることはユーザの快感情を示す肯定反応であり、蹴られることはユーザの不快感情を示す否定反応である。

サーバ２００の動作制御部２２２は、ロボット１００の動作制御部１５０と協働して、ロボット１００のモーションを決定する。サーバ２００の動作制御部２２２は、マップ管理部２１０による行動マップ選択に基づいて、ロボット１００の移動目標地点とそのための移動ルートを作成する。動作制御部２２２は、複数の移動ルートを作成し、その上で、いずれかの移動ルートを選択してもよい。

動作制御部２２２は、モーション格納部２３２の複数のモーションからロボット１００のモーションを選択する。各モーションには状況ごとに選択確率が対応づけられている。たとえば、オーナーから快行為がなされたときには、モーションＡを２０％の確率で実行する、気温が３０度以上となったとき、モーションＢを５％の確率で実行する、といった選択方法が定義される。
行動マップに移動目標地点や移動ルートが決定され、後述の各種イベントによりモーションが選択される。

親密度管理部２２０は、ユーザごとの親密度を管理する。上述したように、親密度は個人データ格納部２１８において個人データの一部として登録される。快行為を検出したとき、親密度管理部２２０はそのオーナーに対する親密度をアップさせる。不快行為を検出したときには親密度はダウンする。また、長期間視認していないオーナーの親密度は徐々に低下する。

（ロボット１００）
ロボット１００は、通信部１４２、データ処理部１３６、データ格納部１４８、内部センサ１２８および駆動機構１２０を含む。
通信部１４２は、通信機１２６（図５参照）に該当し、外部センサ１１４、サーバ２００および他のロボット１００との通信処理を担当する。データ格納部１４８は各種データを格納する。データ格納部１４８は、記憶装置１２４（図５参照）に該当する。データ処理部１３６は、通信部１４２により取得されたデータおよびデータ格納部１４８に格納されているデータに基づいて各種処理を実行する。データ処理部１３６は、プロセッサ１２２およびプロセッサ１２２により実行されるコンピュータプログラムに該当する。データ処理部１３６は、通信部１４２、内部センサ１２８、駆動機構１２０およびデータ格納部１４８のインタフェースとしても機能する。

データ格納部１４８は、ロボット１００の各種モーションを定義するモーション格納部１６０と眼画像格納部１７２を含む。
ロボット１００のモーション格納部１６０には、サーバ２００のモーション格納部２３２から各種モーションファイルがダウンロードされる。モーションは、モーションＩＤによって識別される。前輪１０２を収容して着座する、手１０６を持ち上げる、２つの前輪１０２を逆回転させることで、あるいは、片方の前輪１０２だけを回転させることでロボット１００を回転行動させる、前輪１０２を収納した状態で前輪１０２を回転させることで震える、ユーザから離れるときにいったん停止して振り返る、などのさまざまなモーションを表現するために、各種アクチュエータ（駆動機構１２０）の動作タイミング、動作時間、動作方向などがモーションファイルにおいて時系列定義される。

データ格納部１４８には、マップ格納部２１６および個人データ格納部２１８からも各種データがダウンロードされてもよい。眼画像格納部１７２は、目１１０に表示される眼画像（後述）のデータを格納する。

内部センサ１２８は、タッチセンサ１５４、サーモセンサ１３８、視線検出部１４０、カメラ１４４および測距センサ１８０を含む。
本実施形態におけるカメラ１４４は、ツノ１１２に取り付けられる全天周カメラ（全方位カメラ）である。カメラ１４４は、ロボット１００の周辺を常時撮像する。サーモセンサ１３８は、ロボット１００の周辺の外気温分布を定期的に検出する。ロボット１００は、カメラ１４４およびサーモセンサ１３８によりユーザが周辺に存在しているか否かを検出する。視線検出部１４０は、カメラ１４４の撮像画像からユーザの目の動きを検出する既知のセンサである。視線検出部１４０により、ロボット１００に対するユーザの視線方向を検出する。

タッチセンサ１５４は、ボディ１０４に対するユーザのタッチを検出する。測距センサ１８０は、対象物までの距離を測定する既知のセンサである。

データ処理部１３６は、認識部１５６、動作制御部１５０および眼制御部１５２を含む。
ロボット１００の動作制御部１５０は、サーバ２００の動作制御部２２２と協働してロボット１００のモーションを決める。一部のモーションについてはサーバ２００で決定し、他のモーションについてはロボット１００で決定してもよい。また、ロボット１００がモーションを決定するが、ロボット１００の処理負荷が高いときにはサーバ２００がモーションを決定するとしてもよい。サーバ２００においてベースとなるモーションを決定し、ロボット１００において追加のモーションを決定してもよい。モーションの決定処理をサーバ２００およびロボット１００においてどのように分担するかはロボットシステム３００の仕様に応じて設計すればよい。

ロボット１００の動作制御部１５０は、サーバ２００の動作制御部２２２とともにロボット１００の移動方向を決める。行動マップに基づく移動をサーバ２００で決定し、障害物をよけるなどの即時的移動をロボット１００の動作制御部１５０により決定してもよい。駆動機構１２０は、動作制御部１５０の指示にしたがって前輪１０２を駆動することで、ロボット１００を移動目標地点に向かわせる。

ロボット１００の動作制御部１５０は選択したモーションを駆動機構１２０に実行指示する。駆動機構１２０は、モーションファイルにしたがって、各アクチュエータを制御する。

動作制御部１５０は、親密度の高いユーザが近くにいるときには「抱っこ」をせがむ仕草として両方の手１０６をもちあげるモーションを実行することもできるし、「抱っこ」に飽きたときには左右の前輪１０２を収容したまま逆回転と停止を交互に繰り返すことで抱っこをいやがるモーションを表現することもできる。駆動機構１２０は、動作制御部１５０の指示にしたがって前輪１０２や手１０６、首（頭部フレーム３１６）を駆動することで、ロボット１００にさまざまなモーションを表現させる。

眼制御部１５２は、眼画像を生成し、眼画像を目１１０に設置されるモニタに表示させる。眼画像の詳細は後述する。

ロボット１００の認識部１５６は、内部センサ１２８から得られた外部情報を解釈する。認識部１５６は、視覚的な認識（視覚部）、匂いの認識（嗅覚部）、音の認識（聴覚部）、触覚的な認識（触覚部）が可能である。認識部１５６に含まれる相対位置特定部１８２は、ロボット１００と観察対象者の相対的な位置関係を特定する。

認識部１５６は、カメラ１４４による撮影画像（天球画像）に基づいて、人やペットなどの移動物体を検出する。認識部１５６は、特徴抽出部１４６を含む。特徴抽出部１４６は、移動物体の撮像画像から特徴ベクトルを抽出する。上述したように、特徴ベクトルは、移動物体の身体的特徴と行動的特徴を示すパラメータ（特徴量）の集合である。移動物体を検出したときには、ニオイセンサや内蔵の集音マイク、温度センサ等からも身体的特徴や行動的特徴が抽出される。これらの特徴も定量化され、特徴ベクトル成分となる。

ロボットシステム３００は、大量の画像情報やその他のセンシング情報から得られる身体的特徴および行動的特徴に基づいて、高い頻度で出現するユーザを「オーナー」としてクラスタリングする。
たとえば、ひげが生えている移動物体（ユーザ）は早朝に活動すること（早起き）が多く、赤い服を着ることが少ないのであれば、早起きでひげが生えていて赤い服をあまり着ないクラスタ（ユーザ）、という第１のプロファイルができる。一方、メガネをかけている移動物体はスカートを履いていることが多いが、この移動物体にはひげが生えていない場合、メガネをかけていてスカートを履いているが絶対ひげは生えていないクラスタ（ユーザ）、という第２のプロファイルができる。
以上は、簡単な設例であるが、上述の方法により、父親に対応する第１のプロファイルと母親に対応する第２のプロファイルが形成され、この家には少なくとも２人のユーザ（オーナー）がいることをロボット１００は認識する。

ただし、ロボット１００は第１のプロファイルが「父親」であると認識する必要はない。あくまでも、「ひげが生えていて早起きすることが多く、赤い服を着ることはめったにないクラスタ」という人物像を認識できればよい。プロファイルごとに、プロファイルを特徴づける特徴ベクトルが定義される。

このようなクラスタ分析が完了している状態において、ロボット１００が新たに移動物体（ユーザ）を認識したとする。
このとき、サーバ２００の人物認識部２１４は、新たな移動物体の特徴ベクトルに基づいてユーザ識別処理を実行し、移動物体がどのプロファイル（クラスタ）に該当するかを判断する。たとえば、ひげが生えている移動物体を検出したとき、この移動物体は父親である確率が高い。この移動物体が早朝行動していれば、父親に該当することはいっそう確実である。一方、メガネをかけている移動物体を検出したときには、この移動物体は母親である可能性もある。この移動物体にひげが生えていれば、母親ではなく父親でもないので、クラスタ分析されていない新しい人物であると判定する。

特徴抽出によるクラスタ（プロファイル）の形成（クラスタ分析）と、特徴抽出にともなうクラスタへの当てはめは同時並行的に実行されてもよい。なお、オーナーの特徴は、あらかじめ登録されてもよい。そして、未知のユーザを検出したとき、特徴抽出部１４６はユーザから特徴ベクトルを抽出し、人物認識部２１４は既知のオーナーのいずれに該当するかを判定することで人物特定をしてもよい。

検出・分析・判定を含む一連の認識処理のうち、ロボット１００の認識部１５６は認識に必要な情報の取捨選択や抽出を行い、判定等の解釈処理はサーバ２００の認識部２１２により実行される。認識処理は、サーバ２００の認識部２１２だけで行ってもよいし、ロボット１００の認識部１５６だけで行ってもよいし、上述のように双方が役割分担をしながら上記認識処理を実行してもよい。

ロボット１００に対する強い衝撃が与えられたとき、認識部１５６は内蔵の加速度センサによりこれを認識し、サーバ２００の応対認識部２２８は、近隣にいるユーザによって「乱暴行為」が働かれたと認識する。ユーザがツノ１１２を掴んでロボット１００を持ち上げるときにも、乱暴行為と認識してもよい。ロボット１００に正対した状態にあるユーザが特定音量領域および特定周波数帯域にて発声したとき、サーバ２００の応対認識部２２８は、自らに対する「声掛け行為」がなされたと認識してもよい。また、体温程度の温度を検知したときにはユーザによる「接触行為」がなされたと認識し、接触認識した状態で上方への加速度を検知したときには「抱っこ」がなされたと認識する。ユーザがボディ１０４を持ち上げるときの物理的接触をセンシングしてもよいし、前輪１０２にかかる荷重が低下することにより抱っこを認識してもよい。
まとめると、ロボット１００は内部センサ１２８によりユーザの行為を物理的情報として取得し、サーバ２００の応対認識部２２８は快・不快を判定し、サーバ２００の認識部２１２は特徴ベクトルに基づくユーザ識別処理を実行する。

サーバ２００の応対認識部２２８は、ロボット１００に対するユーザの各種応対を認識する。各種応対行為のうち一部の典型的な応対行為には、快または不快、肯定または否定が対応づけられる。一般的には快行為となる応対行為のほとんどは肯定反応であり、不快行為となる応対行為のほとんどは否定反応となる。快・不快行為は親密度に関連し、肯定・否定反応はロボット１００の行動選択に影響する。

認識部１５６により認識された応対行為に応じて、サーバ２００の親密度管理部２２０はユーザに対する親密度を変化させる。原則的には、快行為を行ったユーザに対する親密度は高まり、不快行為を行ったユーザに対する親密度は低下する。

サーバ２００の認識部２１２は、応対に応じて快・不快を判定し、マップ管理部２１０は「場所に対する愛着」を表現する行動マップにおいて、快・不快行為がなされた地点のｚ値を変化させてもよい。たとえば、リビングにおいて快行為がなされたとき、マップ管理部２１０はリビングに好意地点を高い確率で設定してもよい。この場合、ロボット１００はリビングを好み、リビングで快行為を受けることで、ますますリビングを好む、というポジティブ・フィードバック効果が実現する。

移動物体（ユーザ）からどのような行為をされるかによってそのユーザに対する親密度が変化する。

ロボット１００は、よく出会う人、よく触ってくる人、よく声をかけてくれる人に対して高い親密度を設定する。一方、めったに見ない人、あまり触ってこない人、乱暴な人、大声で叱る人に対する親密度は低くなる。ロボット１００はセンサ（視覚、触覚、聴覚）によって検出するさまざまな外界情報にもとづいて、ユーザごとの親密度を変化させる。

実際のロボット１００は行動マップにしたがって自律的に複雑な行動選択を行う。ロボット１００は、寂しさ、退屈さ、好奇心などさまざまなパラメータに基づいて複数の行動マップに影響されながら行動する。ロボット１００は、行動マップの影響を除外すれば、あるいは、行動マップの影響が小さい内部状態にあるときには、原則的には、親密度の高い人に近づこうとし、親密度の低い人からは離れようとする。

ロボット１００の行動は親密度に応じて以下に類型化される。
（１）親密度が非常に高いユーザ
ロボット１００は、ユーザに近づき（以下、「近接行動」とよぶ）、かつ、人に好意を示す仕草としてあらかじめ定義される愛情仕草を行うことで親愛の情を強く表現する。
（２）親密度が比較的高いユーザ
ロボット１００は、近接行動のみを行う。
（３）親密度が比較的低いユーザ
ロボット１００は特段のアクションを行わない。
（４）親密度が特に低いユーザ
ロボット１００は、離脱行動を行う。

以上の制御方法によれば、ロボット１００は、親密度が高いユーザを見つけるとそのユーザに近寄り、逆に親密度が低いユーザを見つけるとそのユーザから離れる。このような制御方法により、いわゆる「人見知り」を行動表現できる。また、来客（親密度が低いユーザＡ）が現れたとき、ロボット１００は、来客から離れて家族（親密度が高いユーザＢ）の方に向かうこともある。この場合、ユーザＢはロボット１００が人見知りをして不安を感じていること、自分を頼っていること、を感じ取ることができる。このような行動表現により、ユーザＢは、選ばれ、頼られることの喜び、それにともなう愛着の情を喚起される。

一方、来客であるユーザＡが頻繁に訪れ、声を掛け、タッチをするとロボット１００のユーザＡに対する親密度は徐々に上昇し、ロボット１００はユーザＡに対して人見知り行動（離脱行動）をしなくなる。ユーザＡも自分にロボット１００が馴染んできてくれたことを感じ取ることで、ロボット１００に対する愛着を抱くことができる。

なお、以上の行動選択は、常に実行されるとは限らない。たとえば、ロボット１００の好奇心を示す内部パラメータが高くなっているときには、好奇心を満たす場所を求める行動マップが重視されるため、ロボット１００は親密度に影響された行動を選択しない可能性もある。また、玄関に設置されている外部センサ１１４がユーザの帰宅を検知した場合には、ユーザのお出迎え行動を最優先で実行するかもしれない。

認識部１５６は、カメラ１４４およびサーモセンサ１３８によりユーザの顔の位置を検出する。認識部１５６の相対位置特定部１８２は、測距センサ１８０によりロボット１００からユーザまでの距離（以下、「対象距離」とよぶ）を測定する。相対位置特定部１８２は、撮影画像や熱分布画像から特定されるユーザの顔の大きさに基づいて、対象距離を測定してもよい。

［眼画像制御］
図７は、眼画像１７４の外観図である。
眼制御部１５２は、瞳画像１６４（瞳領域）と周縁画像１６８を含む眼画像１７４を生成し、眼画像１７４を目１１０の位置に埋設されるモニタ１７０に動画表示させる。瞳画像１６４を動かすことでロボット１００の「視線」が表現される。また、所定のタイミングで瞬き動作を実行することもできる。

瞳画像１６４は、瞳孔領域１５８と虹彩領域１６２を含む。また、瞳画像１６４には、外光の映り込みを表現するためのキャッチライト１６６も表示される。眼画像１７４のキャッチライト１６６は、外光の反射によって輝いているのではなく、眼制御部１５２により高輝度領域として表現される画像領域である。

眼制御部１５２は、瞳画像１６４を上下左右に移動させる。ロボット１００の認識部１５６がユーザを認識したときには、眼制御部１５２は瞳画像１６４をユーザの存在する方向に向ける。眼制御部１５２は、眼画像１７４を変化させることにより、ロボット１００の「注視」を表現する。眼画像１７４の制御の詳細は図９に関連して後述する。

眼制御部１５２は、瞳画像１６４の形状を変化させてもよい。たとえば、瞳画像１６４がモニタ１７０の中心にあるときには真円形状とし、周縁部分にあるときには楕円形状に変化させる。瞳画像１６４の形状をモニタ１７０内の位置に応じて変化させることにより平面のモニタ１７０を実際の眼球のような曲面形状であるかのように見せることができる。

眼制御部１５２は、外部光源の存在方向に対応してキャッチライト１６６の位置を変化させる。図７は、ロボット１００から見て左上方に外部光源が存在する場合のキャッチライト１６６の表示位置を示している。キャッチライト１６６の位置を外部光源に連動させることにより、いっそうリアルな眼画像１７４を表現できる。眼制御部１５２は、外部光源の方向を撮像画像から画像認識により判定してもよいし、光センサ（図示せず）の検出データから判定してもよい。

図８は、眼画像１７４の拡大図である。
眼画像１７４においては、瞳画像１６４と周縁画像１６８に瞼（まぶた）を示す瞼画像１７６が重畳される。瞼画像１７６は、まつ毛１７８を含む。周縁画像１６８は、人間の結膜にあたる部分である。瞳画像１６４に含まれる虹彩領域１６２は、人間の角膜にあたる部分である。

眼制御部１５２は、眼画像１７４のうち、瞼画像１７６、瞳孔領域１５８、虹彩領域１６２およびキャッチライト１６６を変化させる。光量が大きいときには、眼制御部１５２は瞳孔領域１５８の直径を縮小する。眼制御部１５２は、瞳孔領域１５８ではなく、瞳画像１６４の全体を拡縮させてもよい。眼制御部１５２は、光量が特に大きいときには瞼画像１７６を下げることで「眩しそうな様子」を表現してもよい。

図９は、眼画像１７４の生成方法を示す模式図である。
眼球モデル２５０は、ロボット１００の眼球を模した三次元コンピュータグラフィックスである。眼制御部１５２は、まず、三次元の球体をポリゴンにて形成し、これにテクスチャ（以下、「眼球テクスチャ」とよぶ）を貼ることにより眼球モデル２５０を形成する。眼球テクスチャは、瞳画像１６４を含む画像である。眼画像格納部１７２は、複数種類の眼球テクスチャを格納する。

眼球モデル２５０の前方に、第１面２５２および第２面２５４が設定される。第１面２５２および第２面２５４は、目１１０のモニタ１７０の表示面に対応する仮想的な平面である。眼制御部１５２は、眼球モデル２５０を第１面２５２に投影させることにより、３次元の眼球モデル２５０から２次元の眼球投影画像２５６を生成する。

眼制御部１５２は、第２面２５４に瞼画像１７６を表示させる。第１面２５２の眼球投影画像２５６と第２面２５４の瞼画像１７６を重ね合わせることにより、図８等に示した眼画像１７４が生成される。眼制御部１５２は、右目用と左目用に２つの眼球モデル２５０を生成し、それぞれについて眼画像１７４を生成する。以下、第１面２５２および第２面２５４をまとめていうときには「眼球面２５８」とよぶ。

眼制御部１５２は、眼球モデル２５０を回転させることにより、眼球投影画像２５６を変化させる。３次元の眼球モデル２５０を生成してこれを回転させながら第１面２５２に投影する方式であるため、第１面２５２に眼画像１７４を直接描画するよりもロボット１００の視線の動きを滑らかに表現できる。二次元の眼画像１７４であっても、三次元の眼球モデル２５０を元にして生成・制御されるため、本方式は、後述の固視微動など、生物の眼球に特有の複雑な動きを表現しやすい。

眼制御部１５２は、第１面２５２とは異なる第２面２５４に瞼画像１７６を表示させることにより、瞼画像１７６を眼球投影画像２５６に重畳させる。人間は、目の前で手を叩かれたとき、反射的に目をつぶる。このような眼の条件反射をロボット１００に実装する上では、瞼画像１７６を高速で変化させる必要がある。本実施形態においては、第１面２５２の画像処理と第２面２５４の画像処理が独立している。眼制御部１５２は、目をつぶる表現をするときには、第２面２５４だけを対象として画像制御すればよい。瞬きのときにも、眼制御部１５２は第２面２５４を対象として画像処理を実行すればよい。眼球モデル２５０（眼球投影画像２５６）と瞼画像１７６を別々に制御できるため、瞼画像１７６を高速に制御できる。

図１０は、視線方向と対象方向の関係を説明するための模式図である。
生物は、球体形状の眼球を有し、眼球を回転させることによって視線の方向を変化させる。たとえば、人間が犬の左側にいるときでも犬の視線を感じられるのは、犬が眼球を回転させ、瞳を左にいる人間に向けることができるためである。犬の瞳と正対する方向、いいかえれば、犬の眼球面における瞳の中心線方向（法線方向）が犬の視線方向を表す。このとき、人間からは犬の瞳は真円に見える。犬は、体や首を動かさなくても、眼球を動かして瞳の法線方向（視線方向）を変えることにより、いわゆる「流し目」にて人間を凝視できる。

上述したように、ロボット１００においても凝視を表現するためには、瞳画像１６４の法線方向を凝視の対象者（以下、「観察対象者」とよぶ）に向ける必要がある。本実施形態におけるロボット１００の目１１０は、モニタ１７０に眼画像１７４を表示することにより生成される。モニタ１７０は、ボディ１０４に固定される平面形状の表示装置である。したがって、ロボット１００の目１１０の視線方向（瞳の法線方向）は固定されている。

図１０は、ロボット１００を真上から見た図である。右目法線ＮＲは右目モニタ１７０Ｒの法線方向（視線方向）を表し、左目法線ＮＬは左目モニタ１７０Ｌの法線方向（視線方向）を表す。ロボット１００は、頭部フレーム３１６または胴部フレーム３１８を回転させない限り、右目法線ＮＲ（右目視線）、左目法線ＮＬ（左目視線）を動かすことができない。

以下、ロボット１００から観察対象者の向かう方向を「対象方向」とよぶ。相対位置特定部１８２は、対象距離だけでなく対象方向も特定する。観察対象者がロボット１００の右に存在するとき、右目法線ＮＲと対象方向ＤＲが近いため、観察対象者はロボット１００の右目に見つめられていると感じることができる。一方、左目法線ＮＬと対象方向ＤＲは大きく異なるため、観察対象者はロボット１００の左目に見つけられていると感じにくい。同様にして、観察対象者がロボット１００の左に存在するとき、観察対象者はロボット１００の左目に見つめられていると感じられるが、右目からは視線を感じにくくなる。

観察対象者がロボット１００の正面に存在するとき、右目法線ＮＲと左目法線ＮＬのいずれも対象方向ＤＦと一致しない。観察対象者はロボット１００の左右どちらの目からも視線を感じにくくなる。

図１１は、観察対象者がロボット１００の左に位置するときのロボット１００の外観図である。
図１１において、観察対象者はロボット１００の左側に位置する。左目法線ＮＬと対象方向ＤＬはほぼ一致するため、左目モニタ１７０Ｌの瞳画像１６４（以下、「左瞳画像１６４Ｌ」と表記する）を少し左方向に移動させれば、観察対象者はロボット１００の左目に見つめられていると感じることができる。一方、右目法線ＮＲと対象方向ＤＬは大きく異なる。眼制御部１５２が右目モニタ１７０Ｒの瞳画像（以下、「右瞳画像１６４Ｒ」と表記する）を左方向に移動させても、観察対象者はロボット１００の右目による視線を感じにくい。右目法線ＮＲ（右目の視線方向）が観察対象者に向いていないためである。対象距離が近いときには、左目に見つめられていても右目には見つめられていないという違和感が強くなりやすい。

動作制御部１５０が頭部フレーム３１６を左方向に動かせば、右目法線ＮＲと対象方向ＤＬのずれを小さくできる。しかし、頭部フレーム３１６の回動量にも限度がある。また、首を動かさないで視線だけを観察対象者に向けるという表現を実現したい場合もある。

視線を感じるとき、観察対象者と相手の瞳は正対している。観察対象者からロボット１００の瞳画像１６４が真円に見えるとき、観察対象者はロボット１００に見つめられていると感じることができると考えられる。本実施形態におけるモニタ１７０は本体に固定されているため、眼球のようにモニタ１７０を観察対象者に向けて回転させることができない。また、モニタ１７０は平面ディスプレイであるため、瞳画像１６４の位置に応じて視線方向が変わることもない。そこで、本実施形態においては、右目法線ＮＲと対象方向ＤＬがずれているとき、瞳画像１６４を変形させることにより、右眼画像１７４Ｒの視線方向を擬似的に変化させる。

図１２（ａ）は、通常時における眼画像１７４の表示態様を示す図である。図１２（ｂ）は、扁平時における眼画像１７４の表示態様を示す図である。図１２（ｃ）は、図１２（ｂ）に示す眼画像１７４の斜め方向からの視認態様を示す図である。
本実施形態においては、視線方向（法線方向）と対象方向のずれにともなう違和感を抑制するため、眼制御部１５２は瞳画像１６４を扁平化させることにより瞳画像１６４の視線方向を疑似的に動かす（以下、「瞳扁平処理」とよぶ）。瞳扁平処理は、瞳画像１６４を縦方向に圧縮し、瞳画像１６４を横長の楕円形状に変形させる処理である。

観察対象者がロボット１００の左側にいるとき、観察対象者は左目モニタ１７０Ｌの表示面と正対する。このとき、眼制御部１５２は左目の瞳画像１６４を扁平化させない。観察対象者からは、真円の左眼画像１７４Ｌと真円の瞳画像１６４が見えるため、観察対象者はロボット１００の左目の視線を感じることができる。

一方、観察対象者は右目モニタ１７０Ｒを斜め左方向から見ることになるため（図１１参照）、右目モニタ１７０Ｒは縦長の楕円形状に見える。円形のコインを斜めから見るときコインが縦長に見えるのと同じである。眼制御部１５２は右目の瞳画像１６４を図１２（ｂ）に示すように扁平化させる。横長に扁平化した瞳画像１６４を斜め左方向から見ると、図１２（ｃ）に示すように瞳画像１６４は真円に見える。モニタ１７０を斜めからみるときにモニタ１７０が縦長に扁平化するため、瞳画像１６４を横長に扁平化しておけば、瞳画像１６４は真円に近い表示となる。

図１３は、対象方向とモニタ１７０および瞳画像１６４の見え方を示す模式図である。
図１３においては、図１２（ｂ）に示したように瞳画像１６４が扁平化しているものとする。観察対象者がモニタ１７０に正対するとき（正面方向Ｄ１）、モニタ１７０は真円に見えるが、瞳画像１６４は横長に大きく扁平している。モニタ１７０の左方向Ｄ２に観察対象者がいるとき、観察対象者はモニタ１７０を斜めから見ることになるため、モニタ１７０は縦長に扁平した形で見える。モニタ１７０の縦長扁平と瞳画像１６４の横長扁平が相殺され、瞳画像１６４は真円に近い横長扁平形状に見える。観察対象者が更に左方向Ｄ３に位置すると、モニタ１７０はいっそう縦長に扁平して見え、瞳画像１６４は真円形状に見える。このように、横長楕円形状の瞳画像１６４を斜め方向から見るとき、観察対象者には瞳画像１６４が真円に見える。

平面のモニタ１７０が動かなければ、モニタ１７０の法線方向も変化しないので、ロボット１００の視線方向を実際には変化させることはできない。本実施形態においては、瞳画像１６４を変形させることで、斜め方向からモニタ１７０を見るときにも真円形状の瞳画像１６４を観察対象者に見せる。瞳画像１６４を横長に扁平させることにより、モニタ１７０と正対していない観察対象者に対して擬似的な真円にて瞳画像１６４を見せることができる。このような制御方法によれば、ロボット１００の左側にいる観察対象者は、左目だけではなく、右目にも見つめられていると感じることができる。瞳扁平処理により、不動かつ平面形状のモニタ１７０であっても、「流し目による凝視」を表現できる。ただし、左方向Ｄ３にいる観察対象者に対応して瞳扁平処理を実行したとき、正面方向Ｄ１にいる別のユーザには扁平化した瞳画像１６４が見えてしまう。

本実施形態においては、真円の瞳画像１６４と扁平の瞳画像１６４の２パターンが用意される。眼制御部１５２は、眼球テクスチャを変更することにより、２種類の瞳画像１６４を切り替える。２パターンに限らず、扁平度に応じて複数種類の眼球テクスチャを用意してもよい。眼球テクスチャを貼り替えるだけなので、眼制御部１５２は瞳画像１６４の扁平度を簡易かつ高速に変更できる。

観察対象者がロボット１００の正面にいるときには（図１０の対象方向ＤＦ参照）、眼制御部１５２は、右目の瞳画像１６４および左目の瞳画像１６４の双方を扁平化させる。観察対象者がロボット１００の左側にいるときには（図１０の対象方向ＤＬ参照）、眼制御部１５２は右目の瞳画像１６４を扁平化させるが左目の瞳画像１６４は扁平化させない。観察対象者がロボット１００の右側にいるときには（図１０の対象方向ＤＲ参照）、眼制御部１５２は左目の瞳画像１６４を扁平化させるが右目の瞳画像１６４は扁平化させない。

ロボット１００は、ユーザによる抱っこを検知したときには、抱っこをしているユーザを観察対象者として特定する。抱っこをされたとき、眼制御部１５２はロボット１００と観察対象者の相対位置に応じて双方または一方の瞳画像１６４を扁平化させる。相対位置特定部１８２により特定される「相対位置」は、対象方向であってもよいし、対象方向と対象距離の双方に基づいて定義されてもよい。

抱っこをされていないときには、ロボット１００はカメラ１４４により周辺を撮影し、認識部１５６は画像処理によりユーザを認識する。ユーザが１人しかいないときには、認識部１５６はその唯一のユーザを観察対象者として特定する。眼制御部１５２は、ロボット１００と観察対象者の相対位置に応じて瞳画像１６４（瞳領域）を変化させる。相対位置特定部１８２は、カメラ１４４の撮影画像からユーザの顔を認識することにより対象方向を特定する。２人以上のユーザがいるときには、認識部１５６はいずれか１人のユーザを観察対象者として選択する。観察対象者は、対象距離のもっとも近いユーザであってもよいし、もっとも親密度の高いユーザであってもよい。

図１４は、固視微動を説明するための模式図である。
人間の瞳は、眼から取り入れた光が網膜に焼き付くのを防ぐため、また、視神経の疲れを防止するため絶えず微動している。これを「固視微動（Involuntary Eye Movement）」という。固視微動は、ドリフト（drift）、トレマ（tremor）、マイクロサッケード（micro-saccade）といった動きに分解される。ドリフトは瞳の中心点の波状の動き、トレマはドリフトに重なったジグザグの動き、マイクロサッケードは瞳の直線状の動きを表す。固視微動は、人間の心理状態を表すともいわれている。

本実施形態におけるロボット１００の眼画像１７４は、この固視微動をシミュレートする。具体的には、眼制御部１５２は瞳画像１６４の軸点を波状にゆっくり動かしつつ、瞳画像１６４を、軸点を中心として振動させることによりトレマとドリフトを表現する。また、定期的、あるいは、ランダムに瞳画像１６４の軸点を跳躍的に移動させることでマイクロサッケードを表現する。軸点とは、瞳画像１６４に含まれる任意の点であればよい。本実施形態においては、軸点とは瞳画像１６４の中心点であるとする。

モニタ１７０に映る瞳画像１６４を振動させることにより、特に、固視微動に似た動きをさせることにより、ロボット１００の生物感をいっそう高めることができる。眼制御部１５２は、瞳画像１６４をトレマ運動させつつ、ランダムなタイミングにてマイクロサッケード運動させる。眼制御部１５２は、ロボット１００の電源投入後は、瞳画像１６４を常時ドリフト運動させつつ、トレマ運動とマイクロサッケード運動を継続させる。

以上、実施形態に基づいてロボット１００およびロボット１００を含むロボットシステム３００について説明した。
本実施形態に示す制御方法によれば、ユーザがロボット１００に正対していないときでも、ユーザはロボット１００に見つめられていると感じることができる。見つめられているとは、視線、いいかえれば、眼球における瞳の法線が自分に向けられていると感じることである。このとき、自分を見つめる瞳は真円となる。本実施形態におけるロボット１００は、三次元の眼球モデル２５０を有するものの、それを二次元のモニタ１７０（眼球面２５８）に投影するため、実際に瞳の法線を動かすことはできない。そこで、本実施形態においては、瞳画像１６４を扁平化して、モニタ１７０に正対しないユーザに対しても真円に近い瞳画像１６４を見せることにより、「見つめられている」という感覚をユーザにもたせている。

ロボット１００は、丸い頭部を有し、法線方向の異なる２枚のモニタ１７０に眼画像１７４を表示させる。本質的に、左右の瞳画像１６４は別々の方向を向いている（図１０の右目法線ＮＲと左目法線ＮＬ）。本発明者らは、ロボット１００と向き合うとき、ロボット１００に見つめられていると感じにくいことに気づき、その原因について分析した。本実施形態においては、ユーザ（観察対象者）とロボット１００の相対位置に応じて瞳扁平処理を施すことにより、ユーザに対して真円の瞳画像１６４を見せている。瞳扁平処理により、モニタ１７０の法線方向に固定されずに擬似的な視線方向を設定できる。

本実施形態においては、眼制御部１５２は三次元の眼球モデル２５０を生成し、これを第１面２５２に投影することにより二次元の眼画像１７４を生成する。眼球モデル２５０を回転させることにより、瞳画像１６４の移動や固視微動を表現できる。更に、眼制御部１５２は、瞼画像１７６を投影した第２面２５４を第１面２５２に重ねて表示する。眼球モデル２５０（眼球投影画像２５６）とは独立して瞼画像１７６を制御できるため、眼制御部１５２は瞼画像１７６を素早く変化させることができる。

眼制御部１５２は、固視微動を模した動きにて瞳画像１６４を微動させる。ユーザが近距離にてロボット１００の眼画像１７４を見つめたときにも、視線だけではなく固視微動によっていっそう「見つめられている」と感じやすくなる。また、固視微動を表現することにより、ユーザはロボット１００の生物としての存在を感じ取りやすくなる。

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

１つのロボット１００と１つのサーバ２００、複数の外部センサ１１４によりロボットシステム３００が構成されるとして説明したが、ロボット１００の機能の一部はサーバ２００により実現されてもよいし、サーバ２００の機能の一部または全部がロボット１００に割り当てられてもよい。１つのサーバ２００が複数のロボット１００をコントロールしてもよいし、複数のサーバ２００が協働して１以上のロボット１００をコントロールしてもよい。

ロボット１００やサーバ２００以外の第３の装置が、機能の一部を担ってもよい。図６において説明したロボット１００の各機能とサーバ２００の各機能の集合体は大局的には１つの「ロボット」として把握することも可能である。１つまたは複数のハードウェアに対して、本発明を実現するために必要な複数の機能をどのように配分するかは、各ハードウェアの処理能力やロボットシステム３００に求められる仕様等に鑑みて決定されればよい。

上述したように、「狭義におけるロボット」とはサーバ２００を含まないロボット１００のことであるが、「広義におけるロボット」はロボットシステム３００のことである。サーバ２００の機能の多くは、将来的にはロボット１００に統合されていく可能性も考えられる。

ロボット１００の行動制御プログラムは、所定のサーバからインターネットを介して提供されてもよいし、ＣＤ－ＲＯＭなどの固定の記録媒体により提供されてもよい。いずれにしてもロボット１００の行動制御プログラムは、ロボット１００とは異なる記録媒体（サーバ、ＣＤ－ＲＯＭなど）から提供されることにより、ロボット１００にインストールされてもよい。

［変形例］
本実施形態においては、ロボット１００は２つの目１１０を有するとして説明したが、３以上の目１１０を有するロボット、あるいは、目１１０を１つしか有さないロボットに対しても本発明は応用可能である。

本実施形態におけるロボット１００は、２つの目１１０の法線方向（モニタ１７０の向き）が異なるとして説明したが、２以上の目１１０の法線方向が同一であるときにも本発明は応用可能である。たとえば、平面形状の顔面を有し、平面顔面に２つの目１１０を設定されるロボットを想定する。このロボットの正面に観察対象者がいるときには、瞳扁平処理は不要である。ロボットの斜め前方に観察対象者が存在するときには、２つの瞳画像１６４の双方を観察対象者とロボット１００の相対位置に扁平化させればよい。

ユーザＡがユーザＢにロボット１００を手渡すとき、ユーザＡに対する親密度がユーザＢに対する親密度が高いならば、ロボット１００はユーザＡを観察対象者として選択してもよい。この場合には、好きなユーザＡからユーザＢに手渡されることによる不安感をユーザＡに眼で訴えるという感情表現が可能となる。

眼制御部１５２は、ロボット１００の周辺に複数のユーザが検出されたときには瞳扁平処理を実行しない、あるいは、扁平度を抑制するとしてもよい。ユーザＡが観察対象者であるとき、ロボット１００はユーザＡから真円の瞳画像１６４が見えるように瞳画像１６４を扁平化する。このとき、ユーザＡとは異なる方向に位置するユーザＢ（観察対象者でないユーザ）には、扁平化した瞳画像１６４が見えてしまう。複数のユーザが存在するとき、あるいは、ロボット１００から見て複数のユーザが所定角度以上異なる方向に存在するときには、眼制御部１５２は瞳画像１６４の扁平化を中止または抑制してもよい。

眼制御部１５２は、観察対象者がロボット１００から所定範囲（以下、「瞳制御範囲」とよぶ）内にいるとき、たとえば、ロボット１００から３メートル以内であって、ロボット１００の前方１５０度の範囲内に観察対象者が存在するときに限り瞳扁平化処理を実行するとしてもよい。観察対象者とロボット１００が離れているときには、観察対象者はロボット１００の視線を感じにくく、視線方向のずれにともなう違和感を抱きにくい。また、観察対象者がロボット１００の後方にいるときには、観察対象者からはロボット１００の目１１０を見ることができないため、瞳扁平化処理を実行する必要性が薄い。

眼制御部１５２は、複数のユーザが瞳制御範囲内に存在するときには、瞳扁平処理を実行しない、または、抑制するとしてもよい。複数のユーザが瞳制御範囲にいるとき、１人のユーザに対して瞳扁平処理を実行すると他のユーザに扁平化された瞳画像１６４を視認されてしまうためである。一方、複数のユーザが存在するときであっても、瞳制御範囲内にいるユーザが１人だけの場合には、眼制御部１５２はそのユーザを対象として瞳扁平処理を実行してもよい。

眼制御部１５２は、瞳画像１６４を拡縮させてもよい。眼制御部１５２は、周縁画像１６８のサイズを維持したまま瞳孔領域１５８を拡縮させてもよいし、虹彩領域１６２そのものを拡縮させてもよい。眼制御部１５２は、所定のイベント（以下、「拡縮イベント」とよぶ）が発生したことを契機として、瞳画像１６４を拡縮する。大きな音や人を検出したときに眼制御部１５２は瞳画像１６４を拡大することにより、ロボット１００の驚きや興味を表現してもよい。親密度が所定の閾値以上のユーザを検出したときや、ユーザの視線を検出したときに眼制御部１５２は瞳画像１６４を拡大してもよい。

認識部１５６は、光センサ等により外部環境が明るさを検出してもよい。眼制御部１５２は、外部環境の明るさが所定値以上のときには瞳画像１６４を縮小させ、明るさが所定値以下のときには瞳画像１６４を拡大させてもよい。このように拡縮イベントは、興味や驚きも含めた外部環境の変化を示すイベントとして定義されればよい。

眼制御部１５２は、所定のイベント（以下、「エフェクトイベント」とよぶ）が発生したとき、眼画像１７４に所定のエフェクト表示をしてもよい。眼制御部１５２は、所定範囲内に存在するユーザからロボット１００に向けられた視線を検出したとき、所定の確率にてウィンクを実行してもよい。具体的には、瞼画像１７６を瞬間的に開閉させることでウィンクを表現してもよい。ウィンクのほかにも、瞳をそらす、瞳をにじませるなどのエフェクト表示が考えられる。たとえば、親密度が所定値以下のユーザ（嫌いなユーザ）が検出されたとき、眼制御部１５２はユーザに視線を向けないように瞳画像１６４を動かしてもよい。いいかえれば、眼制御部１５２は「嫌いなユーザ」を観察対象者から除外してもよい。眼制御部１５２は、親密度が高いユーザほど凝視時間を長く設定してもよい。ユーザから話しかけられたときに眼制御部１５２は瞳画像１６４を拡大させる、あるいは、瞳が潤んでいるかのような潤目表示をすることで「興味」を示してもよい。潤目表示の具体的な方法としては、瞳画像１６４に映るキャチライト１６６のサイズを拡大する、キャッチライト１６６をユラユラと振動させる、キャッチライト１６６の数や形、位置の変更、瞳画像１６４または瞳孔領域１５８を拡大する、瞳画像１６４を振動させるなどが考えられる。

本実施形態におけるモニタ１７０は、有機ＥＬ素子による平面ディスプレイであるとして説明した。有機ＥＬは曲面化が可能であるため、モニタ１７０そのものの曲面化ができればいっそう自然な視線制御が可能になると考えられる。また、本実施形態におけるモニタ１７０はボディ１０４に固定されるが、モニタ１７０がボディ１０４において可動としてもよい。モニタ１７０の可動および曲面化により、いっそう自然な視線の変化を表現できると考えられる。モニタ１７０の曲率や可動性に制限があるときでも、本実施形態に示した瞳扁平処理と併用することにより、自然な視線表現が可能となる。

本実施形態においては、眼制御部１５２は瞳画像１６４を横方向に扁平させるとして説明した。眼制御部１５２は、対象方向に応じて瞳画像１６４を任意の方向に変形させてもよい。図１５に示すように、ロボット１００の上部に観察対象者の顔が位置するときには、眼制御部１５２は瞳画像１６４を縦方向に扁平させてもよい。縦方向および横方向に限らず、対象方向に合わせて斜め方向に瞳画像１６４が変形されてもよい。相対位置特定部１８２は、観察対象者にロボット１００が抱っこされているときには、ジャイロセンサやタッチセンサ、撮影画像等により抱っこの傾きを検出し、ロボット１００の傾きと観察対象者の顔の位置に基づいてロボット１００と観察対象者との相対的な位置関係を特定する。眼制御部１５２は、相対位置に基づいて、瞳扁平処理するときの虹彩領域１６２の扁平方向を選択する。このような制御方法によれば、上方からロボット１００を見下ろしたときでも、ロボット１００が上目遣いにて観察対象者を凝視している様子を表現できる。横方向の扁平と原理は同じである。小動物が上目遣いで見上げるとき、観察対象者は小動物の可愛らしさを感じやすい。ロボット１００においても、瞳画像１６４を縦方向に瞳扁平処理することでこのような小動物と同様の上目遣いを表現できる。

本実施形態においては、眼制御部１５２は真円の瞳画像１６４の眼球テクスチャと扁平の瞳画像１６４の眼球テクスチャを貼り替えることにより、瞳画像１６４を２段階に変化させるとして説明した。眼制御部１５２は、３段階以上にて瞳画像１６４を変化させてもよい。また、テクスチャの貼り替えに限らず、眼制御部１５２は瞳画像１６４の扁平度を連続的に変化させてもよい。たとえば、眼制御部１５２は、眼球モデル２５０に貼り付けられた眼球テクスチャにおける瞳画像１６４を連続的に扁平させることで瞳画像１６４の連続的な扁平を表現してもよい。眼制御部１５２は、モニタ１７０の法線方向と対象方向のなす角度が大きいほど瞳画像１６４の扁平度を大きく設定してもよい。

瞳画像１６４の扁平度には上限を設定してもよい。過度の扁平を抑制することにより、観察対象者以外のユーザが不自然な形状にて瞳画像１６４を認識するのを抑制できる。また、瞳画像１６４の扁平度が第１閾値以上となるとき、認識部１５６は頭部フレーム３１６を観察対象者の方向に回動させてもよい。頭部フレーム３１６を少し動かすことで、瞳画像１６４の扁平度を過度に大きくしなくても、観察対象者への凝視を表現できる。同様にして、扁平度が第１閾値よりも大きな第２閾値以上となるときには、認識部１５６は胴部フレーム３１８（体全体）を観察対象者に向けて回動させてもよい。

眼制御部１５２は、複数種類の眼球モデル２５０（眼画像１７４）のうちのいずれかを選択してもよい。たとえば、眼制御部１５２は、複数の眼球テクスチャ・セットから眼球モデル２５０に貼り付けるべき眼球テクスチャ・セットを選択してもよい。瞳の色の異なる複数の眼球テクスチャ・セット（眼画像１７４）を用意してもよい。あるいは、マンガのような瞳の眼球テクスチャ・セットと写真のような瞳の眼球テクスチャ・セットを用意してもよい。あらかじめ複数種類の眼球テクスチャ・セットを用意しておき、そこから制御対象となる眼球テクスチャ・セットを選択することを「第１選択」とよぶ。眼球テクスチャ・セットには、扁平度に応じて複数の眼球テクスチャが対応づけられる。扁平度に応じて、眼球テクスチャ・セットに含まれるいずれかの眼球テクスチャを選択することを「第２選択」とよぶ。たとえば、青い目の眼球テクスチャ・セットが第１選択されたときには、眼制御部１５２は第１選択された眼球テクスチャ・セットに含まれる複数の青い目の眼球テクスチャのうちのいずれかを扁平度に応じて第２選択する。また、眼制御部１５２は、複数種類の眼球テクスチャのいずれかを第１選択し、第１選択された眼球テクスチャにおいて瞳画像１６４の扁平度を変化させてもよい。

ユーザは、眼制御部１５２に対して選択指示をすることにより、眼球モデル２５０を切り替えてもよい。ユーザは、音声により眼球テクスチャ・セットの選択指示を入力してもよいし、ロボット１００に図示しない選択ボタンを設けてもよい。地域に応じて眼球モデル２５０（眼球テクスチャ・セット）を選択してもよい。たとえば、北米に出荷されたロボット１００については青い目の眼球モデル２５０（眼球テクスチャ・セット）を設定し、アジア圏に出荷されたロボット１００については黒い目の眼球モデル２５０を設定してもよい。眼制御部１５２は、ＧＰＳ（Global Positioning System）によりロボット１００の所在地を判定し、所在地に応じて眼球モデル２５０を変更してもよい。眼制御部１５２は、電源投入後に最初に見たオーナーの瞳の色に近い眼球テクスチャ・セットを第１選択してもよい。

眼制御部１５２は、２つのモニタ１７０の輝度を個別に変化させてもよい。一般的には、モニタ１７０は正対時に明るく見えるが、斜め方向からモニタ１７０を見ると暗く見える。図１１のように、法線方向と対象方向（視線方向）のずれが左目モニタ１７０Ｌにより大きな右目モニタ１７０Ｒは、左目モニタ１７０Ｌよりも暗く見える。このとき、眼制御部１５２は、左目モニタ１７０Ｌよりも右目モニタ１７０Ｒの輝度を高くすることにより、観察対象者から遠い右目モニタ１７０Ｒにおける瞳画像１６４の視認性を高めることができる。いわば、明るさという点において左右の目１１０のバランスを図ることができる。眼制御部１５２は、モニタ１７０の法線方向と対象方向のずれが大きいほどモニタ１７０の輝度を高く設定すればよい。あるいは、眼制御部１５２は、瞳画像１６４の扁平度が大きいほどモニタ１７０の輝度を高く設定するとしてもよい。

眼制御部１５２の主たる機能は、眼球テクスチャ・セットを第１選択する第１機能、第１選択された眼球テクスチャ・セットに含まれるいずれかの眼球テクスチャを扁平度に応じて第２選択すること第２機能、眼球テクスチャを貼付された眼球モデル２５０を立体的に動かし、これを第１面２５２に投影する第３機能、瞼画像１７６を表示させる第４機能である。眼制御部１５２は、第１から第４の機能をそれぞれ担当する「第１眼選択部」「第２眼制御部」「第３眼制御部」「第４眼制御部」を備えてもよい。

本実施形態においては、瞳扁平処理を前提として説明したが、瞳扁平処理を実行しない各種変形例も想定可能である。

＜注視点Ｓ＞
図１６は、注視点Ｓを説明するための模式図である。
眼制御部１５２は、ロボット１００が存在する空間内の任意の地点に注視点Ｓを設定してもよい。眼制御部１５２は、眼球モデル２５０Ｒ（右目）および眼球モデル２５０Ｌ（左目）を回転させ、２つの瞳画像１６４を注視点Ｓに向ける。いいかえれば、眼球モデル２５０における瞳画像１６４の法線上に注視点Ｓを位置させる。ロボット１００の２つの瞳画像１６４による２つの視線を注視点Ｓに集中させることにより、ロボット１００による注視点Ｓの「注目」を表現できる。

カメラ１４４、左目モニタ１７０Ｌおよび右目モニタ１７０Ｒは、ロボット１００の頭部フレーム３１６に設けられており、それらの相対的な位置関係は固定されている。まず、ロボット１００の額（頭部フレーム３１６における所定領域）を原点とする三次元の座標系（以下、「視線座標系」とよぶ）を定義する。視線座標系において、カメラ１４４、左目モニタ１７０Ｌおよび右目モニタ１７０Ｒの位置座標は固定される。視線座標系において注視点Ｓを配置することにより、視線を表現するための瞳画像１６４のモニタ１７０における表示位置を算出できる。眼制御部１５２は、この視線座標系において注視点Ｓの座標を決定する。ロボット１００（左目モニタ１７０Ｌおよび右目モニタ１７０Ｒ）から注視点Ｓまでの距離は、デプスカメラやステレオカメラなどの測距センサを用いて測定してもよい。注視点Ｓを人の顔に設定するときには、撮像画像に含まれる顔画像の大きさに基づいて距離判定してもよい。注視点Ｓは、人の顔に限らず、ロボット１００がそのときに興味を持っている物体であってよい。たとえば、ロボット１００が画像認識をしている対象を注視点Ｓに設定して、画像認識の進行に応じて順次注視点Ｓを切り替えても良い。

ユーザがロボット１００を抱っこしているときや、タッチしているときなどは、その態様に応じてユーザとロボット１００のおおよその距離が決まる。眼制御部１５２は、ロボット１００がユーザに対してどのような態様の関わり方をしているかを特定し、その態様に応じて注視点Ｓまでの距離を推定してもよい。このように、注視点Ｓの視線座標系（空間）における座標値を算出し、左右の眼球モデル２５０の法線上に注視点Ｓが位置するように瞳画像１６４の位置を算出すればよい。

眼制御部１５２は、ユーザの顔領域、好ましくは、ユーザの目を注視点Ｓとして設定すればよい。これにより、ロボット１００のユーザに対する注目（凝視）を表現できる。このほかにも、眼制御部１５２は、ロボット１００が新しく発見したものや新しく視認したユーザに注視点Ｓを設定してもよい。ユーザが身につけるアクセサリ、たとえば、指輪に注視点Ｓを設定すればロボット１００の指輪に対する興味・好奇心を表現できる。別のロボット１００に注視点Ｓを設定してもよい。注視点Ｓを高頻度で動かすことにより、注意散漫を表現できる。

眼制御部１５２は、視線検出部１４０がユーザからの視線を検出したとき、そのユーザの顔領域または目に注視点Ｓを設定してもよい。このような制御方法によれば、ユーザから見つめられたときにユーザを見つめ返す行動表現が可能となり、ユーザとロボット１００が「見つめ合う時間」を作ることができる。

人間には、好きなものをずっと視界に入れておきたいという本能があるといわれる。ユーザがロボット１００を見つめるとき、ロボット１００もユーザを見つめ返してくれれば、ユーザは「自分のロボット１００に対する愛情が受け止められている」「自分がロボット１００を好きなだけでなく、ロボット１００も自分のことを好んでいる」と感じることができる。「見つめ合う時間」は、ユーザとロボット１００との交流を深めるための重要要因になると考えられる。

＜サーモセンサ１３８による顔認識＞
上述したように、「見つめる」という行為は「対象に興味をもっている」ことを意味する。特に、二人の人間がお互いの目を見つめ合うとき、この二人は言葉にはならない「一体感」「交流感」をもつことになる。ユーザとロボット１００の間でもこのような強い絆を実現するためには、ロボット１００がユーザの顔の位置、特に、ユーザの目の位置を認識する必要がある。

ロボット１００の認識部１５６は、カメラ１４４により取得される撮像画像（全天周画像）からユーザの顔領域を認識する。認識部１５６は、更に、撮像画像内の顔領域からユーザの目の位置を特定する。具体的には、認識部１５６（相対位置特定部１８２）は、ロボット１００の現在地点から見て、ユーザの目が存在する方向と距離を特定する。眼制御部１５２は、ユーザの目の位置に注視点Ｓを設定する。

その一方、ユーザがロボット１００を抱っこしているとき、特に、ユーザがロボット１００を膝に抱え込んでいるとき、ロボット１００からはユーザの顔の位置を認識しづらいことがある。たとえば、逆光のためにユーザの撮像画像が暗くなってしまうこともあれば、ユーザの顔の直下にロボット１００のカメラ１４４（ツノ１１２）が位置するため、ロボット１００から見るとユーザの顔領域が扁平に見えてしまうこともある。好適な撮像画像を取得できない場合には、認識部１５６は、撮像画像ではなく、サーモセンサ１３８から得られる熱分布画像（外気温分布）に基づいてユーザの顔の位置を特定する。

熱分布画像ではユーザの目の位置を特定しづらいこともあるが、少なくともユーザの顔領域は熱源となるため、ユーザとロボット１００の位置関係に関わらず、ユーザの顔領域を高精度にて特定しやすい。眼制御部１５２は、熱分布画像により特定されたユーザの顔領域に注視点Ｓを設定する。このような制御方法によれば、ロボット１００は抱っこされているときであっても、ユーザの顔を見失うことなくユーザの顔を見つめることができる。

熱分布画像でも顔領域を検出しづらいときには、動作制御部１５０は頭部フレーム３１６を動かすことで別角度からの熱分布画像を取得してもよい。抱っこをされているときでも、首や胴を動かし、顔を検出しやすいポジションを探ることで、ユーザの顔をより正確に見つめることができる。ユーザを見つめるためにロボット１００が首や胴を動かす行為に対して、ユーザはロボット１００の自分に対する強い興味を感じることができる。もちろん、抱っこされているときであっても好適な撮像画像を得られるときには、撮像画像に基づいてユーザの顔または目を特定してもよい。

上述したように、抱っこされているときには、ロボット１００は撮像画像ではなく熱分布画像に基づいてユーザの顔領域を認識するとしてもよい。あるいは、ロボット１００がタッチを検出したときにはユーザがロボット１００の至近にいると考えられる。このため、ロボット１００はタッチを検出したときにも撮像画像ではなく熱分布画像に基づいてユーザの顔領域を認識するとしてもよい。一方、ロボット１００が直立しているとき、あるいは、タッチを検出していないときには撮像画像に基づいてユーザの顔領域を認識するとしてもよい。撮像画像（可視光画像）および熱分布画像の２種類の画像を利用することにより、ロボット１００はユーザの顔の位置をより確実に認識しやすくなる。

ロボット１００の認識部１５６は、ロボット１００の直立作動時においても熱分布画像から熱源をサーチしてもよい。熱源は顔である可能性がある。顔は熱源となるが、熱源が顔とは限らない。冷蔵庫などの家電製品も熱源になる可能性がある。そこで、サーモセンサ１３８により熱源の存在地点を特定し、これを「顔領域候補」とする。認識部１５６は、撮像画像（全天周画像）から顔領域を特定するとき、サーモセンサ１３８により特定された顔領域候補の存在地点から優先的に画像認識を実行する。サーモセンサ１３８により顔領域候補のある地点をあらかじめ絞り込んでおくことにより、撮像画像（全天周画像）に基づく顔認識処理を効率的に実行できる。このように、認識部１５６は、熱分布画像および撮像画像の一方ではなく、双方に基づいてユーザの顔領域あるいはユーザの目を検出してもよい。

＜瞳画像１６４の移動＞
図１７は、右目モニタ１７０Ｒにおける瞳画像１６４が中央ポジションにあるときの眼画像１７４の模式図である。図１８は、右目モニタ１７０Ｒにおける瞳画像１６４が中央ポジションから外れたときの眼画像１７４の模式図である。
人間は、真正面を向いているときには、瞳を動かしやすい。しかし、横方向を見ているとき、いわゆる「流し目」の状態になっているときには眼球を動かす外眼筋（上直筋などの各種筋肉の総称）に力がかかっているため、瞳を動かしづらくなる。たとえば、既に左方を見ているときに更に左方を見ようとするとき、あるいは、左方を見ているときに左上に視線を移動させるときには外眼筋に力がかかる。同様にして、上目遣いになっているときに瞳を更に上に動かすのは、真正面を向いているときに視線を上方に動かすときよりも動かしづらい。

このような人間の眼球の肉体的特性に鑑み、ロボット１００の眼画像１７４においても同様の制御をすれば、ロボット１００の生物感をいっそう高められるのではないかと考えられる。図１７において、点Ｒは右目モニタ１７０Ｒ（真円）の中心を示し、軸点Ｖは瞳画像１６４（真円）の中心を示す。中心点Ｒの周縁には、あらかじめホーム領域４００が設定される。ホーム領域４００の形状は任意である。図１７に示す右目モニタ１７０Ｒにおいては、ホーム領域４００は内側（ロボット１００の顔の中心側）にやや広い卵型の形状を有する。

瞳画像１６４の軸点Ｖがホーム領域４００内にあるときには（図１７）、眼制御部１５２は瞳画像１６４を第１上限速度Ｔ１以下の速度で動かすことができる。一方、軸点Ｖがホーム領域４００から外れたときには（図１８）、虹彩領域１６２は瞳画像１６４を第１上限速度Ｔ１未満の第２上限速度Ｔ２以下の速度（低速度）で動かす。瞳画像１６４は眼画像１７４の中央部では機敏に動くが、周縁部では緩やかに動くことになる。いいかえれば、ロボット１００が正面を向いているときには視線が動きやすく、周辺を見ているときには視線の動きが鈍くなる。このような制御方法によれば、ロボット１００の目の特性を人間の目の特性にいっそう近づけることができる。

上述したように、眼制御部１５２は、任意の注視対象物に対して注視点Ｓを設定してもよい。動作制御部１５０は、所定の変位条件が成立したとき、ロボット１００の首あるいは胴を動かすことで、ロボット１００の顔を注視点Ｓに向けてもよい。具体的には、瞳画像１６４の軸点Ｖがホーム領域４００内に存在している状態（以下、「中央ポジション」とよぶ）で、注視点Ｓに瞳画像１６４を向けられるようにロボット１００の首や胴（ボディ１０４）の位置を物理的に調整してもよい。

変位条件は、たとえば、親密度が所定の閾値以上のユーザ（好きなユーザ）をロボット１００が視認したとき、あるいは、ロボット１００がユーザに抱っこされたときに成立してもよい。このほかにも、ロボット１００が動くものを検出したとき、点滅するものを検出したとき、赤い服などの所定物体を検出したときなど、変位条件は任意に設定されればよい。

ロボット１００は抱っこされたときに視線をユーザの顔に向ける。中央ポジションではユーザの顔を注視できないときには（ロボット１００がまっすぐにユーザを見つめられないとき）、中央ポジションにてユーザの顔を注視できるようにロボット１００は体の向きを変える。ユーザは、ロボット１００を抱っこしているとき、ロボット１００が自分にしっかりと向き合うために体を動かしていると認識できる。瞳画像１６４を動かすだけでなく、場合によっては体も動かした上でユーザを見つめることは、ユーザのロボット１００に対する愛おしさをいっそう喚起すると考えられる。

ホーム領域４００と、ホーム領域４００以外の領域の２つの領域に限らず、３以上の領域を設定してもよい。また、ホーム領域４００のような領域を明示的に設定しなくてもよい。少なくとも、眼制御部１５２は、モニタ１７０の中央部ほど瞳画像１６４を素早く動かし、周辺部ほど瞳画像１６４をゆるやかに動かせばよい。

＜瞼画像１７６と瞳画像１６４の連動＞
図１９は、瞼画像１７６と瞳画像１６４の連動を説明するための模式図である。
人間が眼球を回転させて上を見るとき、いいかえれば、上目遣いになるとき、瞼も眼球の動きにつられて上（開眼方向）に移動する。また、人間が眼球を回転させて下を見るときには瞼もつられて下（閉眼方向）に移動する。ロボット１００においても同様の制御を実行すれば、人間の目の肉体的特性を表現できるため、ロボット１００の生物感をいっそう高められると考えられる。

図１９においては、モニタ１７０に上目領域４０２と下目領域４０４をあらかじめ設定している。上目領域４０２はホーム領域４００よりも上方の領域全体に対応し、下目領域４０４はホーム領域４００よりも下方の領域全体に対応する。上目領域４０２は、少なくともモニタ１７０の中央線Ｋよりも上方に設定されればよい。同様にして、下目領域４０４は少なくとも中央線Ｋよりも下方に設定されればよい。

瞳画像１６４の軸点Ｖが上目領域４０２内に入るとき（以下、「上部ポジション」とよぶ）、眼制御部１５２は瞼画像１７６を上方（開眼方向）に移動させる。あるいは、上部ポジションにおいて瞳画像１６４が更に上方に移動するとき、眼制御部１５２は瞼画像１７６を瞳画像１６４に連動させて上に動かす。瞳画像１６４の移動量と瞼画像１７６の移動量は同一である必要はない。

同様にして、瞳画像１６４の軸点Ｖが下目領域４０４内に入るとき（以下、「下部ポジション」とよぶ）、眼制御部１５２は瞼画像１７６を下方（閉眼方向）に移動させる。あるいは、下部ポジションにおいて瞳画像１６４が更に下方に移動するとき、眼制御部１５２は瞼画像１７６を瞳画像１６４に連動させて下に動かす。

本実施形態におけるロボット１００は、成人に比べると背が低いため、ユーザを上目遣いで見る機会が多くなる。ロボット１００が近くにいるユーザを上目遣いで見るときに瞼画像１７６も連動して上げることにより、ユーザには「ロボット１００がユーザを見るために目を見開いている」ように見える。また、ロボット１００は、床の上にある物体に注視点Ｓを設定するとき、視線を落とす。このとき、瞼画像１７６も下がることになる。視線だけでなく瞼画像１７６も下げることにより、ユーザには「ロボット１００がなにかに集中している」ように見える。このように、ロボット１００の瞳画像１６４だけでなく、瞼画像１７６も、ロボット１００が注意や興味を表現する上で有効に機能させることができる。

＜縮瞳と散瞳＞
図２０（ａ）から図２０（ｄ）は、開眼時における縮瞳を説明するための模式図である。図２１（ａ）から図２１（ｄ）は、開眼時における散瞳を説明するための模式図である。
ロボット１００は、瞬きや睡眠（充電）のために、適宜、瞼を閉じることで閉眼する。本変形例においては、開眼時において、瞳孔領域１５８を縮小または拡大させることで、ユーザがロボット１００の瞳画像１６４に注目する機会を積極的に作り出す。以下、瞳孔領域１５８を縮小させた状態を「縮瞳」とよび、瞳孔領域１５８を拡大させた状態を「散瞳」とよぶ。ここでは、瞳孔領域１５８は「縮瞳状態（小サイズ）」「通常状態（基本サイズ）」および「散瞳状態（大サイズ）」の３状態の間で状態遷移するものとして説明する。

図２０（ａ）においては、瞳孔領域１５８は縮瞳状態にある。上述したように、眼制御部１５２は、外部環境の明るさが所定値以上のときには瞳孔領域１５８を縮小させ、明るさが所定値以下のときには瞳孔領域１５８を拡大させてもよい。図２０（ａ）においては、ロボット１００の周辺が明るいため、瞳孔領域１５８は縮瞳している。ここで、ロボット１００は瞬きのため閉眼したとする。

図２０（ｂ）は、閉眼時の瞳孔領域１５８の状態を示す。閉眼時においては、眼制御部１５２は瞳孔領域１５８を縮瞳状態から通常状態（基本サイズ）に変化させる。閉眼中なので、ユーザからはこのような瞳孔領域１５８の変化は見えない。次に、ロボット１００が開眼したとする。図２０（ｃ）は開眼直後の瞳孔領域１５８の状態を示す。開眼直後の瞳孔領域１５８は通常状態にある。

開眼後、眼制御部１５２は瞳孔領域１５８を通常状態から縮瞳状態に徐々に変化させる。０．５秒から３．０秒程度の短時間にてもとの縮瞳状態に戻る。以上の制御により、ロボット１００の瞳孔領域１５８は瞬きの直後に一瞬大きくなるが（図２０（ｃ））、その後は当初の大きさ（縮瞳状態）に戻る（図２０（ｄ））。瞬きの直後に、ユーザは瞳孔領域１５８が縮小する様子を見ることになる。

一方、図２１（ａ）においては、ロボット１００の周辺が暗いため、瞳孔領域１５８は散瞳状態にある。ここで、ロボット１００は瞬きのために閉眼したとする。図２１（ｂ）は、閉眼時の瞳孔領域１５８の状態を示す。閉眼時においては、眼制御部１５２は瞳孔領域１５８を散瞳状態から通常状態（基本サイズ）に変化させる。

続いて、ロボット１００は開眼する。図２１（ｃ）は開眼直後の瞳孔領域１５８の状態を示す。開眼直後の瞳孔領域１５８は一時的に通常状態にある。開眼後、眼制御部１５２は瞳孔領域１５８を通常状態から散瞳状態に徐々に変化させる。以上の制御により、ロボット１００の瞳孔領域１５８は瞬きのあとに小さくなるが（図２１（ｃ））、その後、元の大きさ（散瞳状態）に戻る（図２１（ｄ））。瞬きの直後に、ユーザは瞳孔領域１５８が拡大する様子を見ることになる。

上述したように、ロボット１００が開眼したとき、瞳孔領域１５８は通常状態から縮瞳状態、あるいは、通常状態から散瞳状態に変化する。人間には、動くものを目で追ってしまうという本能があるため、瞳孔領域１５８を変化させることでユーザがロボット１００の目に注目する機会を作り出すことができる。

ロボット１００が閉眼しているときに、いいかえれば、ユーザが見ていないときに瞳孔領域１５８を通常状態に変化させておき、開眼後に瞳孔領域１５８を当初状態（縮瞳状態または散瞳状態）に戻すため、ユーザに違和感を持たれにくい。たとえば、図２０（ａ）～図２０（ｄ）に示した一連の制御においては、瞳孔領域１５８は縮瞳状態を基本とし、通常状態になるのは開眼直後だけである。縮瞳状態で瞬きをしたとき、一瞬だけ瞳孔領域１５８が拡大して見えるもののすぐに縮瞳状態に戻る。開眼後における通常状態から縮瞳状態へのわずかな画像変化により、人間は無意識的にロボット１００の眼画像１７４に注目しやすくなる。

ロボット１００は、ユーザに見つめられたことを契機として、ユーザに注目する。したがって、ユーザがロボット１００を見つめる機会が多いほど、「見つめ合う時間」も作り出されやすくなる。縮瞳や散瞳は、ロボット１００の生物感を高めるだけではなく、ユーザとロボット１００が見つめ合う機会を積極的に作り出す上でも効果的である。

ロボット１００は、照度センサ等により、外部環境の明るさを計測してもよい。あるいは、ロボット１００は撮像画像から明るさを計測してもよい。眼制御部１５２は、明るさに応じて、瞳孔領域１５８を縮瞳または散瞳させてもよい。たとえば、図２１（ｃ）の開眼直後において、外部環境の明るさが所定閾値以上のときには、眼制御部１５２は瞳孔領域１５８を通常状態から縮瞳状態に変化させてもよい。

動作制御部１５０は、バッテリー１１８の充電率が低下したとき、ロボット１００を充電ステーション（図示せず）に向かわせる。ロボット１００は、充電ステーションと接続するときには閉眼する。充電中にロボット１００を閉眼させることにより、充電状態を睡眠状態に対応づけてもよい。動作制御部１５０は、バッテリー１１８の充電率が所定の閾値以上となったとき、ロボット１００を充電ステーションから離脱させる。このとき、眼制御部１５２は眼画像１７４を開眼させることにより「起床」を表現する。

起床にともなう開眼に際しても、眼制御部１５２は瞳孔領域１５８の大きさを変化させてもよい。眼制御部１５２は、瞼画像１７６をゆっくりと移動させることで目覚めを表現してもよい。

眼制御部１５２は、ロボット１００の移動中においては瞳孔領域１５８を縮瞳または散瞳させてもよい。また、ロボット１００の注視点Ｓが所定時間以上変化しないときにも、眼制御部１５２は瞳孔領域１５８を縮瞳または散瞳させてもよい。

明るさに限らず、眼制御部１５２は開眼時に発生している各種の拡縮イベントに応じて、瞳孔領域１５８を縮瞳または散瞳させてもよい。たとえば、ロボット１００が開眼したとき、親密度が所定の閾値以上のユーザを視認した場合には、眼制御部１５２は瞳孔領域１５８を散瞳させることで、ロボット１００の「嬉しい驚き」を表現してもよい。あるいは、ロボット１００が開眼したとき、親密度が所定の閾値以下のユーザ（好きではないユーザ）を視認した場合、あるいは、未登録のユーザを視認した場合には、眼制御部１５２は瞳孔領域１５８を縮瞳させてもよいし、注視点Ｓをユーザから外すことで「気まずさ」を表現してもよい。このような制御方法によれば、ユーザは、自分がロボット１００からどのように思われているかを感じ取ることができる。

ユーザは、ロボット１００に対して「目をつぶって（閉眼指示）」「目を開けて（開眼指示）」などの音声命令を与えてもよい。ロボット１００は、マイクロフォンアレイにて音声を検出し、認識部１５６は音声命令を解釈する。たとえば、ロボット１００を閉眼させておき、ロボット１００の目の前に新しい服などのプレゼントを用意しておく。ロボット１００を開眼させたとき、「新しいもの」を検出するというイベントに対応して眼制御部１５２は瞳孔領域１５８を散瞳させる。このような制御方法によれば、ロボット１００に新しいものを見せてびっくりさせるという、ロボット１００との関わり方も可能となる。

図２０（ｂ）において（閉眼中）、眼制御部１５２が瞳孔領域１５８を縮瞳状態から通常状態に戻すとき、一瞬で通常状態に戻すのではなく縮瞳状態から通常状態に徐々に戻すとしてもよい。この場合には、閉眼時間の長短に応じて、開眼直後の瞳孔領域１５８の大きさを変化させることができる。

＜瞳による感情の表現＞
眼制御部１５２は、感情パラメータに応じて、眼画像１７４を変化させてもよい。眼制御部１５２は、感情パラメータに応じて、ドリフトの移動速度、移動量、トレマの振幅、周波数、マイクロサッケードの頻度、移動量、移動速度を変化させてもよい。眼制御部１５２は、感情パラメータに応じて、瞳孔領域１５８の形状およびサイズを変化させてもよい。

感情パラメータに応じて、眼画像１７４をどのように変化させるかは任意に設定可能である。たとえば、承認欲求を表す感情パラメータが所定値以上となっているときには、眼制御部１５２はマイクロサッケードの頻度を高めることにより、ロボット１００の不安や動揺を表現してもよい。承認欲求を示す感情パラメータが高まっているときにマイクロサッケードの頻度をどの程度まで高めるか、あるいは、頻度を高めるか否かはランダムに決定してもよい。

＜凝視の継続＞
ロボット１００は、ユーザの顔、特に、目に注視点Ｓを設定する。ロボット１００が移動するとき、あるいは、ユーザが移動するときには、ユーザとロボット１００の位置関係が変化する。認識部１５６は、ユーザとロボット１００の位置関係が変化したときにもユーザの顔の位置を再検出し、眼制御部１５２は再検出地点に注視点Ｓを再設定する。つまり、認識部１５６は、注視点Ｓを連続的に追尾し、眼制御部１５２は瞳画像１５４を連続的に動かすことでスムーズな視線の動きを表現する。このような制御方法によれば、ユーザとロボット１００の位置関係が変化しても、ロボット１００はユーザを凝視しつづけることができる。

位置関係が変化するとき、眼制御部１５２はまず瞳画像１６４を動かすことにより、ロボット１００のユーザに対する凝視を継続する。瞳画像１６４が中央ポジションから外れるときには動作制御部１５０はロボット１００の首あるいは体全体を動かすことで視線を維持する。ロボット１００のユーザに対する凝視を継続することにより、ユーザはロボット１００の自分に対する強い興味や期待を感じ取ることができる。

＜凝視の解除＞
ロボット１００がユーザから視線を外すことも、ユーザはロボット１００から見つめられていたことに気づく契機となる。ロボット１００が注視対象物（ユーザなど）から視線を外すタイミングを決定するために下記のような条件が考えられる。
（Ｃ１）ロボット１００がユーザの顔（注視対象物）に注視点Ｓを設定してから所定時間（以下、「第１注視維持時間」とよぶ）が経過したとき、ロボット１００はユーザの顔以外に注視点Ｓを再設定することにより、ユーザから視線を外す。
（Ｃ２）ユーザがロボット１００に対して話しかけているときには視線は外さない。ユーザのロボット１００に対する声かけが終了してから所定時間（以下、「第２注視維持時間」とよぶ）が経過したとき、ロボット１００はユーザから視線を外す。
（Ｃ３）ユーザがロボット１００を見つめているときには視線は外さない。ユーザがロボット１００から視線を外してから所定時間（以下、「第３注視維持時間」とよぶ）が経過したとき、ロボット１００はユーザから視線を外す。
（Ｃ４）所定のイベントが発生したとき、ロボット１００はユーザから視線を外す。たとえば、大きな音を検出したとき、別のユーザを視認したときなどが考えられる。
（Ｃ５）感情パラメータが所定状態となったときに、ロボット１００はユーザから視線を外す。たとえば、承認欲求を示す感情パラメータはユーザからの視線を検出しているときに上昇し続け、この感情パラメータが所定の閾値以上となったとき、ロボット１００はユーザから視線を外すとしてもよい。

上述した各種注視維持時間は、可変値であってもよい。眼制御部１５２は、注視対象物となるユーザの親密度が高いほど注視維持時間を長く設定してもよい。あるいは、眼制御部１５２は、感情パラメータに基づいて注視維持時間の長さを決定してもよい。たとえば、眼制御部１５２は、承認欲求を示す感情パラメータが高いときほど注視維持時間を長く設定してもよい。

なお、注視対象物は、ユーザである必要はなく、他のロボット１００であってもよい。複数のロボット１００が互いに見つめ合うことも可能である。

＜複数枚の画像による眼画像１７４の形成＞
本実施形態においては、眼球モデル２５０を第１面２５２に投影することにより、二次元の眼画像１７４を生成するとして説明した。変形例として、眼画像１７４を複数枚の画像を重ね合わせることにより形成してもよい。

本変形例においては、白目画像、虹彩画像、瞳孔画像、ハイライト画像、反射画像の５枚の画像を重ね合わせることにより、眼画像１７４を生成するものとして説明する。また、これら５枚の画像の上に第２面２５４（瞼画像１７６）が重ねられる。
（Ｌ１）白目画像
白目画像は、最下層の画像であり、眼画像１７４の白目部分（周縁画像１６８）に対応する。視線の動きに追随することはない固定の画像である。
（Ｌ２）虹彩画像
白目画像の上に重ねられる。眼画像１７４の虹彩領域１６２に対応する。視線の動きにともなって眼画像１７４において上下左右に移動する。
（Ｌ３）瞳孔画像
虹彩画像の上に重ねられる。眼画像１７４の瞳孔領域１５８に対応する。視線の動きにともなって眼画像１７４において上下左右に移動する。
（Ｌ４）ハイライト画像
瞳孔画像の上に重ねられる。眼画像１７４のキャッチライト１６６に対応する。視線の動きに追随することはない。ロボット１００の向きが変化するとき、眼制御部１５２は光入射方向に合わせてハイライト画像を移動させることにより、キャッチライト１６６の位置を調整する。
（Ｌ５）反射画像
ハイライト画像の上に重ねられる。ハイライト画像は、瞳への映り込みである。眼制御部１５２はロボット１００の正面の撮像画像を魚眼レンズのように変形させた上で、ハイライト画像の上に重ねる。反射画像は視線の動きに追随することはない。ロボット１００の向きが変化するとき、眼制御部１５２は撮像画像に合わせて反射画像を変化させる。

まとめると、白目画像は眼画像１７４の「下地」として固定される。瞳孔画像と虹彩画像は視線方向に合わせて移動する。ハイライト画像と反射画像は、視線方向とは関係なく、ロボット１００の向きに応じて移動する。また、瞳孔画像と虹彩画像は同一方向に動くがその移動量は同一である必要はない。本変形例においては、虹彩画像を第１の方向に第１の移動量だけ動かしたとき、瞳孔画像を第１の方向に第２の移動量だけ移動させる。このとき、第２の移動量は第１の移動量よりも大きな値である。瞳孔の動きと虹彩の動きにわずかなズレをつくることにより、眼画像１７４の生物感・リアル感をいっそう高めることができる。

Claims (16)

1. ロボットのモーションを選択する動作制御部と、
   前記動作制御部により選択されたモーションを実行する駆動機構と、
   前記ロボットの表示装置に眼画像を表示させる眼制御部と、
   ユーザを検出する認識部と、を備え、
   前記眼制御部は、前記ユーザと前記ロボットとの相対位置に応じて眼画像に含まれる瞳領域を変化させ、
   前記動作制御部は、前記瞳領域の変化量が所定値以上となるとき、
   前記ロボットの頭部または胴部を前記ユーザに向けるモーションを選択することを特徴とする自律行動型ロボット。
   
2. 前記眼制御部は、前記ユーザが所定範囲内に存在することを条件として、前記瞳領域を変化させることを特徴とする請求項1に記載の自律行動型ロボット。
   
3. 前記眼制御部は、眼球の3次元モデルである眼球モデルを生成し、
   前記眼球モデルを第1の面に投影することにより前記眼画像を生成することを特徴とする請求項1に記載の自律行動型ロボット。
   
4. 前記眼制御部は、瞼画像を第2の面に表示させ、前記第1の面に投影される前記眼画像に前記瞼画像を重畳して前記表示装置に表示させることを特徴とする請求項3に記載の自律行動型ロボット。
   
5. 前記眼制御部は、前記眼画像において前記瞳領域を振動させることを特徴とする請求項1に記載の自律行動型ロボット。
   
6. 前記眼制御部は、軸点を中心として前記瞳領域を振動させつつ、前記眼画像において前記軸点を移動させることを特徴とする請求項5に記載の自律行動型ロボット。
   
7. 前記眼制御部は、前記瞳領域を拡縮させることを特徴とする請求項1に記載の自律行動型ロボット。
   
8. 前記認識部は、更に、前記ユーザの視線方向を検出し、
   前記眼制御部は、前記ユーザの前記ロボットに対する視線を検出したとき、前記眼画像を変化させることを特徴とする請求項1に記載の自律行動型ロボット。
   
9. 前記ロボットの表示装置は、第1および第2の表示装置を含み、前記眼制御部は、前記第1および第2の表示装置それぞれに眼画像を表示させ、前記ユーザから遠い側の表示装置に表示させる眼画像の瞳領域を近い側の表示装置に表示させる眼画像の瞳領域よりも大きく変形させることを特徴とする請求項1に記載の自律行動型ロボット。
   
10. 前記眼制御部は、複数種類の眼画像からいずれかの眼画像を制御対象として選択し、前記選択した眼画像に含まれる瞳領域を変化させることを特徴とする請求項1に記載の自律行動型ロボット。
    
11. 自律行動型ロボットのモーションを選択する機能と、
    前記自律行動型ロボットに搭載される表示装置に眼画像を表示させる機能と、
    ユーザを検出する機能と、
    前記ユーザと前記自律行動型ロボットとの相対位置に応じて眼画像に含まれる瞳領域を変化させる機能と、
    前記瞳領域の変化量が所定値以上となるとき、前記自律行動型ロボットの頭部または胴部を前記ユーザに向けるモーションを選択する機能と、をコンピュータに発揮させることを特徴とするロボット制御プログラム。
    
12. カメラと、
    温度検出センサと、
    ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    前記ロボットの表示装置に眼画像を表示させる眼制御部と、
    前記カメラにより取得された撮像画像または前記温度検出センサにより取得された熱分布画像に基づいて、ユーザを検出する認識部と、
    を備え、
    前記認識部は、前記ロボットと前記ユーザの位置関係に応じて前記撮像画像および前記熱分布画像のいずれかを選択し、選択した画像から前記ユーザの顔領域を特定し、
    前記眼制御部は、前記特定された顔領域を注視点として設定し、前記眼画像に含まれる瞳領域を前記注視点に応じて移動させることを特徴とする自律行動型ロボット。
    
13. 前記眼制御部は、更に、前記ユーザの目を注視点として設定した上で前記眼画像に含まれる瞳領域を前記注視点に応じて移動させることにより前記ロボットの視線を前記ユーザの目に向けさせ、前記ロボットと前記ユーザの位置関係が変化した場合にも変化後の前記ユーザの目の位置を新たな注視点として設定することにより前記ロボットの前記ユーザの目に向けた視線を維持することを特徴とする請求項1に記載の自律行動型ロボット。
    
14. 前記眼制御部は、更に、前記ユーザの目を注視点として設定した上で前記眼画像に含まれる瞳領域を前記注視点に応じて移動させることにより前記ロボットの視線を前記ユーザの目に向けさせ、
    前記ユーザの視線が前記ロボットから外されたときに前記注視点を前記ユーザの目から外すことを特徴とする請求項8に記載の自律行動型ロボット。
    
15. ロボットのモーションを選択する動作制御部と、
    前記動作制御部により選択されたモーションを実行する駆動機構と、
    前記ロボットの第1の表示装置および第2の表示装置それぞれに眼画像を表示させる眼制御部と、
    ユーザを検出する認識部と、を備え、
    前記眼制御部は、前記ユーザと前記ロボットとの相対位置に応じて眼画像に含まれる瞳領域を変化させるとともに、
    前記第1の表示装置および前記第2の表示装置それぞれに眼画像を表示させ、前記ユーザから遠い側の表示装置に表示させる眼画像の瞳領域を近い側の表示装置に表示させる眼画像の瞳領域よりも大きく変形させることを特徴とする自律行動型ロボット。
    
16. 自律行動型ロボットのモーションを選択する機能と、
    前記自律行動型ロボットに搭載される表示装置に眼画像を表示させる機能と、
    ユーザを検出する機能と、
    前記ユーザと前記自律行動型ロボットとの相対位置に応じて眼画像に含まれる瞳領域を変化させる機能と、
    第1および第2の表示装置それぞれに眼画像を表示させ、前記ユーザから遠い側の表示装置に表示させる眼画像の瞳領域を近い側の表示装置に表示させる眼画像の瞳領域よりも大きく変形させることを特徴とするロボット制御プログラム。

Images