JP7846633B2 - エンタテインメントシステムおよびロボット - Google Patents

Description

本発明は、データ処理技術に関し、特にエンタテインメントシステムおよびロボットに関する。

近年、ペットロボット等、様々なエンタテインメントロボットが提供されている。エンタテインメントロボットの中には、ある程度の自律行動が可能なものもある。

これまでのエンタテインメントロボットは、単一のキャラクタの個性が作り込まれたものであった。本発明者は、エンタテインメントロボットによるユーザ体験を改善する技術を開発するに至った。

本発明は本発明者の上記課題認識に基づきなされたものであり、１つの目的は、エンタテインメントロボットによるユーザ体験を改善する技術を提供することにある。

上記課題を解決するために、本発明のある態様のエンタテインメントシステムは、ユーザ端末と、ロボットと、動作決定部と、を備える。ユーザ端末は、異なる個性が定められた複数のキャラクタの中からいずれかのキャラクタをユーザに選択させる内容を表示部に表示させる表示制御部を備える。動作決定部は、ユーザ端末において選択されたキャラクタの個性に対応するパラメータに基づいて、ロボットの動作態様を決定する。

本発明の別の態様は、ロボットである。このロボットは、異なる個性が定められた複数のキャラクタの中からユーザにより選択されたキャラクタに関する情報をユーザ端末から受け付ける受付部と、ユーザにより選択されたキャラクタの個性に対応するパラメータに基づいて、本ロボットの動作態様を決定する動作決定部とを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、エンタテインメントロボットによるユーザ体験を改善することができる。

実施例における情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示すブロック図である。 ユーザ端末の機能ブロックを示すブロック図である。 キャラクタデータの例を示す図である。 ロボットの機能ブロックを示すブロック図である。 制御装置の機能ブロックを示すブロック図である。 キャラクタ選択画面の例を示す図である。 ＡＲ画像の例を示す図である。 ゲーム生成部により生成されるゲームの画面例を示す図である。 第２実施例の制御装置の機能ブロックを示すブロック図である。 第１ゲーム画像の例を示す図である。 第２ゲーム画像の例を示す図である。

＜第１実施例＞
第１実施例の概要を説明する。近年、ペットロボット等、様々なエンタテインメントロボットが提供されているが、これまでのエンタテインメントロボットは、単一のキャラクタの個性が作り込まれたものであった。第１実施例では、異なる個性を有する複数のキャラクタの中から、ユーザが所望するキャラクタの個性に応じた動作をエンタテインメントロボットに実行させるエンタテインメントシステムを提案する。なお、実施例におけるキャラクタは、ユーザやフレンドの分身として「アバター」と呼ぶこともできる。

図１は、第１実施例のエンタテインメントシステム１０の構成例を示す。エンタテインメントシステム１０は、ロボットを用いたエンタテインメント体験をユーザに提供する情報処理システムである。エンタテインメントシステム１０は、ユーザにより操作されるユーザ端末１１、ＨＭＤ１００ａ、処理装置１２８ａと、ユーザがフレンドとして登録した他のユーザ（以下「フレンド」と呼ぶ。）により操作されるＨＭＤ１００ｂ、処理装置１２８ｂと、ロボット１３と、制御装置１４とを備える。これらの装置は、有線通信および／または無線通信の機能を有し、ＬＡＮ・ＷＡＮ・インターネット等を含み得る通信網１５を介して接続される。

ユーザ端末１１は、モバイル向けオペレーティングシステムを備える携帯電話機であり、例えば、スマートフォンやタブレット端末である。

ＨＭＤ１００ａは、ユーザが頭部に装着するヘッドマウントディスプレイ装置である。処理装置１２８ａは、ＨＭＤ１００ａにおける画像（例えばＶＲ（Virtual reality）画像、ＡＲ（Augmented Reality）画像等）の表示を制御する情報処理装置である。実施例における「画像」は、静止画および動画を含む。処理装置１２８ａは、ユーザにより入力されたロボット１３に対する操作を受け付け、その操作に関する情報（以下「ユーザ操作情報」とも呼ぶ。）を制御装置１４へ送信する。ユーザ操作情報は、ＨＭＤ１００ａのマイクで集音された、ユーザの声を示す音声データを含む。

ＨＭＤ１００ｂは、フレンドが頭部に装着するヘッドマウントディスプレイ装置である。処理装置１２８ｂは、ＨＭＤ１００ｂにおける画像の表示を制御する情報処理装置である。処理装置１２８ｂは、フレンドにより入力されたロボット１３に対する操作を受け付け、その操作に関する情報（以下「フレンド操作情報」とも呼ぶ。）を制御装置１４へ送信する。フレンド操作情報は、ＨＭＤ１００ｂのマイクで集音された、フレンドの声を示す音声データを含む。

以下、ＨＭＤ１００ａとＨＭＤ１００ｂを特に区別しない場合、「ＨＭＤ１００」と呼ぶ。また、処理装置１２８ａと処理装置１２８ｂを特に区別しない場合、「処理装置１２８」と呼ぶ。処理装置１２８は、ＰＣであってもよく、据置型または携帯型のゲームであってもよい。ＨＭＤ１００と処理装置１２８は一体的に構成されてもよく、例えば、ＨＭＤ１００は、処理装置１２８の機能を含んでもよい。この場合、通信網１５を介して、ＨＭＤ１００と制御装置１４が通信する構成であってもよい。

ロボット１３は、全幅１９２ｍｍ、全高１６７ｍｍ、奥行１６６ｍｍの自走式ロボットである。ロボット１３は、走行駆動部２０、首駆動部２２、右カメラ２４ａ、左カメラ２４ｂ、右マイク２６ａ、左マイク２６ｂ、スピーカ２８を備える。以下、右カメラ２４ａと左カメラ２４ｂを特に区別しない場合には「カメラ２４」と呼ぶ。また、右マイク２６ａと左マイク２６ｂを特に区別しない場合には「マイク２６」と呼ぶ。スピーカ２８は、外部装置から受信した音声データを出力する。

走行駆動部２０は、３つのオムニホイールを含む。各オムニホイールは、軸上の本体（ホイール）の回転によって前後に動き、円周状の樽の回転によって左右に動き、これらのコンビネーションによって多方向への動きが得られる。首駆動部２２は、ロボット１３の頭部２１を３軸で回動させる。３軸は、首を上下方向に回動させるピッチ軸と、首をかしげる方向に回動させるロール軸と、首を横向きに回動させるヨー軸とを含む。

右カメラ２４ａと左カメラ２４ｂは、頭部２１に設けられる。右カメラ２４ａと左カメラ２４ｂは、横方向に所定の間隔を空けて配置される。右カメラ２４ａと左カメラ２４ｂはステレオカメラを構成し、右カメラ２４ａは右目用画像を所定の周期で撮影し、左カメラ２４ｂは左目用画像を所定の周期で撮影する。右カメラ２４ａと左カメラ２４ｂの取り付け位置の高さ（目高）は、１４４ｍｍである。

右マイク２６ａと左マイク２６ｂは、頭部２１に設けられる。右マイク２６ａと左マイク２６ｂは、横方向に所定の間隔を空けて配置される。右マイク２６ａと左マイク２６ｂはステレオマイクを構成し、横方向に所定の間隔を空けて配置されることで、音源の位置に応じて音声が到達する時間が異なるようにされる。音声の到達時間の差は、右マイク２６ａと左マイク２６ｂが生成する音声信号の位相差として表れる。なお右マイク２６ａと左マイク２６ｂの音声信号の位相差を大きくするために、右マイク２６ａと左マイク２６ｂは可能な限り離して配置されることが好ましい。

制御装置１４は、ロボット１３の動作を決定し、ロボット１３の動作を制御する情報処理装置である。制御装置１４の詳細な構成は後述する。

図２は、ＨＭＤ１００の外観形状の例を示す。この例においてＨＭＤ１００は、出力機構部１１０および装着機構部１１２から構成される。装着機構部１１２は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０８を含む。装着バンド１０８はユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。

出力機構部１１０は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１１４を含み、内部には目に正対する位置に表示パネル１０２を備える。表示パネル１０２は液晶パネルや有機ＥＬパネルなどであってよい。筐体１１４内部には、表示パネル１０２とユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。

ＨＭＤ１００はさらに、装着時にユーザの耳に差し込まれるイヤホン１０４を備える。なおイヤホン１０４は、音声出力手段の一例であり、ＨＭＤ１００はヘッドホンを備えてもよい。このときＨＭＤ１００とヘッドホンとは、一体に構成されてもよいが、別体であってもよい。

ＨＭＤ１００は、姿勢センサが検出したセンサ情報、およびマイク１０６からの音声信号を符号化した音声データを、処理装置１２８を介して制御装置１４へ送信する。また、ＨＭＤ１００は、制御装置１４（ロボット１３）で生成された画像データおよび音声データを、処理装置１２８を介して受信し、表示パネル１０２およびイヤホン１０４から出力する。

なお図２に示すＨＭＤ１００は、両目を完全に覆う没入型（非透過型）のディスプレイ装置を示すが、透過型のディスプレイ装置であってもよい。また形状としては、図示されるような帽子型であってもよいが、眼鏡型であってもよい。なおＨＭＤ１００は専用の頭部装着ディスプレイ装置のみならず、表示パネル、マイク、スピーカを有する端末装置と、端末装置の表示パネルをユーザの目の前の位置に固定する筐体とから構成されてもよい。端末装置は、たとえばスマートフォンやポータブルゲーム機など、比較的小型の表示パネルを有するものであってよい。

図３は、ＨＭＤ１００の機能ブロックを示すブロック図である。本明細書のブロック図で示す各ブロックは、ハードウェア的には、コンピュータのプロセッサ、ＣＰＵ、メモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

制御部１２０は、画像信号、音声信号、センサ情報などの各種信号およびデータや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の回転角度や傾きなどの姿勢情報を所定の周期で検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。また、姿勢センサ１２４は、ＨＭＤ１００の高さ方向の位置（またはその変化）を検出するセンサを含む。マイク１０６は、ユーザの声を電気信号に変換して音声信号を生成する。

通信制御部１２６は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御装置１４との間で信号やデータを送受信する。実施例では、通信制御部１２６は、処理装置１２８を介して、制御装置１４との間で信号やデータを送受信する。通信制御部１２６は、制御部１２０から、姿勢センサ１２４で検出された姿勢情報（例えば、ＨＭＤ１００の高さ方向の位置および／または高さ方向の位置の変化）、およびマイク１０６からの音声信号を符号化した音声データを受け取り、制御装置１４へ送信する。

また、通信制御部１２６は、制御装置１４から送信された画像データおよび音声データを受け付け、制御部１２０に供給する。制御部１２０は、制御装置１４から送信された画像データおよび音声データを受け付けると、画像データを表示パネル１０２に供給して表示させ、また音声データをイヤホン１０４に供給して音声出力させる。

図４は、ユーザ端末１１の機能ブロックを示すブロック図である。ユーザ端末１１は、表示部３０、カメラ３２、キャラクタデータ記憶部３４、操作受付部３６、Ａｐｐ制御部３８、表示内容生成部４０、表示制御部４２、キャラクタデータ送信部４４を備える。

表示部３０は、各種情報を表示する。表示部３０は、液晶パネルまたは有機ＥＬパネルを含んでもよい。また、表示部３０は、タッチパネル（言い換えればタッチスクリーン）の機能を含む。カメラ３２は、ユーザ端末１１の周囲の様子（例えばユーザ端末１１の周囲に存在する物体）を撮像する撮像装置である。

キャラクタデータ記憶部３４は、ユーザが選択可能な複数のキャラクタであって、かつ、異なる個性が定められた複数のキャラクタに関するデータ（以下「キャラクタデータ」とも呼ぶ。）を記憶する。図５は、キャラクタデータの例を示す。キャラクタＡには好奇心旺盛な性格が割り当てられ、キャラクタＢには人懐っこい性格が割り当てられ、キャラクタＣには勇ましい性格が割り当てられ、キャラクタＤには気弱い性格が割り当てられている。各キャラクタには、割り当てられた性格に整合するように各種属性値（「パラメータ」とも呼ぶ。）が予め定められる。

パラメータ（１）「経路探索－障害物との間隔」は、経路上で検知した障害物（例えば人や物）に対してロボット１３が確保する間隔の広狭を定める。例えば、「狭い」に対応する値は２０ｃｍ、「中程度」に対応する値は４０ｃｍ、「広い」に対応する値は６０ｃｍであってもよい。

パラメータ（２）「経路探索－経路の滑らかさ」は、ロボット１３が移動する経路の曲率を定める。例えば、「直線」に対応する値は相対的に小さい曲率値（例えば曲率０）、「滑らか」に対応する値は相対的に大きい曲率値、「中程度」に対応する値は「直線」と「滑らか」の中間の曲率値であってもよい。パラメータ（１）と（２）にしたがって、ロボット１３がゴールまで移動する際の経路が決定される。

パラメータ（３）「経路探索－寄り道（人）」は、ロボット１３が移動経路上で人を検出した場合に、その人に反応する頻度を定める。反応するとは、検出対象の近傍に停止することでもよく、検出対象の周囲を移動することでもよく、検出対象をカメラ２４で撮像することでもよく、これらの組み合わせであってもよい。例えば、「なし」に対応する値は、頻度０（寄り道なし）、「多い」に対応する値は頻度５０％、「中程度」に対応する値は頻度２５％であってもよい。

パラメータ（４）「経路探索－寄り道（物）」は、ロボット１３が移動経路上で人以外の物を検出した場合に、その物に反応する頻度を定める。反応の例は人と同様である。例えば、「なし」に対応する値は、頻度０（寄り道なし）、「多い」に対応する値は頻度５０％、「中程度」に対応する値は頻度２５％であってもよい。パラメータ（３）と（４）にしたがって、ロボット１３の移動経路が更新され、言い換えれば、寄り道を含めた新たな移動経路が決定される。

パラメータ（５）「経路探索－ゴール位置（人）」は、経路設定時の優先的なゴール位置を定めるものであり、言い換えれば、優先的にゴール位置とする人についてのロボット１３からの距離を定める。例えば、「近い」に対応する値は相対的に短い距離（例えば３メートル未満）、「遠い」に対応する値は相対的に長い距離（例えば６メートル以上）、「中程度」に対応する値は中間の距離（例えば３メートル以上６メートル未満）であってもよい。

パラメータ（６）「速度－移動速度変化（加速度）」は、ロボット１３の移動時の加速度を定める。例えば、「大きい」に対応する値は相対的に大きい加速度、「小さい」に対応する値は相対的に小さい加速度、「中程度」に対応する値は「大きい」と「小さい」の中間の加速度であってもよい。また、「大きい（人のみ）」に対応する値は、ゴールが人である場合に相対的に大きい加速度であり、ゴールが人以外の物である場合には相対的に小さい加速度であってもよい。

パラメータ（７）「速度－通常移動速度」は、ロボット１３の移動時の速度（例えば最高速度）を定める。例えば、「速い」に対応する値は相対的に速い速度、「遅い」に対応する値は相対的に遅い速度、「中程度」に対応する値は「速い」と「遅い」の中間の速度であってもよい。

パラメータ（８）「速度－首振り速度」は、ロボット１３の首振りの速度（すなわち首駆動部２２の回動速度）を定める。例えば、「速い」に対応する値は相対的に速い速度、「遅い」に対応する値は相対的に遅い速度、「中程度」に対応する値は「速い」と「遅い」の中間の速度であってもよい。

パラメータ（９）「注目対象範囲－対人」は、ロボット１３が周囲の人を検出する範囲の広狭を定める。例えば、「広い」に対応する値は相対的に広い範囲（例えば半径４メートルの範囲）、「狭い」に対応する値は相対的に狭い範囲（例えば半径２メートルの範囲）であってもよい。

パラメータ（１０）「注目対象範囲－対障害物」は、ロボット１３が周囲の人以外の物を検出する範囲の広狭を定める。例えば、「広い」に対応する値は相対的に広い範囲（例えば半径４メートルの範囲）、「狭い」に対応する値は相対的に狭い範囲（例えば半径２メートルの範囲）であってもよい。

パラメータ（１１）「注目対象範囲－人／物優先度」は、周囲の人を検出することと、周囲の人以外の物を検出することとの優先度を定める。例えば、「人＝物」に対応する値は、周囲の人と物とを同じ優先度で検出することを示す値であってもよい。「人＞物」に対応する値は、周囲の人を物より優先的に検出することを示す値であってもよい。図５には不図示だが、無愛想な性格が割り当てられたキャラクタには、パラメータ（１１）として「人＜物」が設定されてもよい。「人＜物」に対応する値は、周囲の人より物を優先的に検出することを示す値であってもよい。

キャラクタデータ記憶部３４に記憶されるキャラクタデータは、各キャラクタの画像をさらに含む。また、ユーザが選択可能な複数のキャラクタは、ユーザ自身を示すキャラクタ（ユーザアバター）と、フレンドを示すキャラクタ（フレンドアバター）を含む。ユーザ自身を示すキャラクタと、フレンドを示すキャラクタのそれぞれに関するキャラクタデータは、各キャラクタの画像に加えて、ロボット１３の遠隔操作に必要な情報を含む。ロボット１３の遠隔操作に必要な情報は、例えば、ロボット１３が収集した画像および音声の送信先であり、かつ、ロボット１３に対する操作情報の送信元となる処理装置１２８（ＨＭＤ１００）の識別情報や、当該処理装置１２８（ＨＭＤ１００）との通信に必要な情報を含んでもよい。

図４に戻り、実施例では、操作受付部３６、Ａｐｐ制御部３８、表示内容生成部４０、表示制御部４２、キャラクタデータ送信部４４に対応する複数のモジュールが実装されたアプリケーションプログラム（以下「エンタテインメントＡｐｐ」）が、ユーザ端末１１のストレージにインストールされる。エンタテインメントＡｐｐは、記録媒体に格納され、その記録媒体を介してユーザ端末１１にインストールされてもよい。またはエンタテインメントＡｐｐは、ネットワークを介してサーバからダウンロードされてユーザ端末１１にインストールされてもよい。ユーザ端末１１のＣＰＵは、エンタテインメントＡｐｐをメインメモリに読み出して実行することで、上記複数の機能ブロックの機能を発揮する。

操作受付部３６は、ユーザが表示部３０（タッチパネル）に入力した操作を受け付ける。操作受付部３６は、受け付けた操作に関する情報をＡｐｐ制御部３８に通知する。Ａｐｐ制御部３８は、操作受付部３６により受け付けられたユーザ操作に応じて、エンタテインメントＡｐｐの動作を制御する。

表示内容生成部４０は、表示部３０に表示させる内容（画像等）を生成する。表示制御部４２は、表示内容生成部４０により生成された内容（画像等）を表示部３０に表示させる。例えば、表示内容生成部４０は、異なる個性が定められた複数のキャラクタの中からいずれかのキャラクタをユーザに選択させる内容（第１実施例では「キャラクタ選択画面」と呼ぶ。）を生成する。表示制御部４２は、キャラクタ選択画面を表示部３０に表示させる。

キャラクタデータ送信部４４は、キャラクタ選択画面において選択されたキャラクタのデータ（以下「選択キャラクタデータ」とも呼ぶ。）をキャラクタデータ記憶部３４から読み出し、選択キャラクタデータを制御装置１４へ送信する。

図６は、ロボット１３の機能ブロックを示すブロック図である。ロボット１３は、外部からの入力を受け付けて処理する入力系統５０と、外部への出力を処理する出力系統５２とを備える。入力系統５０は、動作指令受付部５４、駆動制御部５６、音声処理部５８を備える。出力系統５２は、画像処理部６０、音声処理部６２、送信部６４を備える。

動作指令受付部５４は、制御装置１４から送信された動作指令を受け付ける。動作指令は、走行駆動部２０および首駆動部２２の動作態様を指示する駆動指令と、スピーカ２８から出力させるべき音声データの少なくとも一方を含む。

駆動制御部５６は、動作指令に含まれる駆動指令にしたがって、走行駆動部２０および首駆動部２２の動作を制御する。言い換えれば、駆動制御部５６は、駆動指令が示す態様（例えば速度、距離、角度等）にて走行駆動部２０および首駆動部２２を動作させる。音声処理部５８は、動作指令に含まれる音声データに基づく音声処理を実行し、音声データに基づく音声をスピーカ２８から出力させる。

右カメラ２４ａと左カメラ２４ｂは、首駆動部２２により制御された方向に向けられて、それぞれの画角内を撮像する。右カメラ２４ａと左カメラ２４ｂは、大人の平均的な両目の間隔となるように離れて配置されてよい。右カメラ２４ａが撮像した右目用画像データおよび左カメラ２４ｂが撮像した左目用画像データは、ＨＭＤ１００に提供されて、それぞれ表示パネル１０２の右半分および左半分に表示されてもよい。これらの画像は、右目および左目から見た視差画像を形成し、表示パネル１０２を２分割してなる領域にそれぞれ表示させることで、画像を立体視させることができる。なおユーザは光学レンズを通して表示パネル１０２を見るために、画像処理部６０は、予めレンズによる光学歪みを補正した画像データを生成して、ＨＭＤ１００に供給してもよい。右目用画像データと左目用画像データを特に区別しない場合、「撮像データ」と総称する。

右マイク２６ａと左マイク２６ｂは、ロボット１３の周囲の音を電気信号に変換して音声信号を生成する。音声処理部６２は、右マイク２６ａと左マイク２６ｂから出力された音声信号を符号化した音声データを生成する。送信部６４は、画像処理部６０から供給された撮像データと、音声処理部６２から供給された音声データを制御装置１４へ送信する。

図７は、制御装置１４の機能ブロックを示すブロック図である。制御装置１４は、キャラクタデータ記憶部７０、ゲーム記憶部７２、キャラクタデータ受付部７４、撮像データ受付部７６、物体識別部７８、動作決定部８０、動作指令送信部８２、ゲーム生成部８４、ゲーム提供部８６、音声データ受付部８８、ロボット周囲データ送信部９０、ロボット操作受付部９２を備える。

キャラクタデータ記憶部７０は、ユーザにより選択されたキャラクタのデータであり、ユーザ端末１１から送信された選択キャラクタデータ（画像や各種パラメータ等）を記憶する。ゲーム記憶部７２は、後述のゲーム生成部８４により生成されたゲームアプリケーションのデータ（以下「ゲームデータ」とも呼ぶ。）を記憶する。

実施例では、キャラクタデータ受付部７４、撮像データ受付部７６、物体識別部７８、動作決定部８０、動作指令送信部８２、ゲーム生成部８４、ゲーム提供部８６、音声データ受付部８８、ロボット周囲データ送信部９０、ロボット操作受付部９２に対応する複数のモジュールが実装されたアプリケーションプログラムが、記録媒体またはネットワークを介して、制御装置１４のストレージにインストールされる。制御装置１４のＣＰＵは、上記アプリケーションプログラムをメインメモリに読み出して実行することで、上記複数の機能ブロックの機能を発揮する。

キャラクタデータ受付部７４は、ユーザにより選択されたキャラクタのデータであり、ユーザ端末１１から送信された選択キャラクタデータを受け付ける。キャラクタデータ受付部７４は、受け付けた選択キャラクタデータをゲーム記憶部７２に格納する。

撮像データ受付部７６は、ロボット１３から送信された撮像データを受け付ける。すなわち、撮像データ受付部７６は、ロボット１３のカメラ２４により撮像された実世界の物体が映る画像データを取得する。

物体識別部７８は、公知の手法により、ロボット１３のカメラ２４により撮像された物体が何であるかを識別する。言い換えれば、物体識別部７８は、ロボット１３から送信された撮像データに映る物体の種類を識別する。例えば、物体識別部７８は、撮像データに映る物体が人であるか、人以外の物であるかを識別する。物体識別部７８は、テンプレートマッチングを用いて、撮像データに映る物体の形状、模様、色彩等に基づいて、当該物体の種類を識別してもよい。

動作決定部８０は、ユーザ端末１１において選択されたキャラクタの個性に対応するパラメータに基づいて、ロボット１３の動作態様を決定する。具体的には、動作決定部８０は、ロボット１３から送信された撮像データに映る物体の像と、物体識別部７８により識別された当該物体の種類と、キャラクタデータ記憶部７０に格納されたキャラクタデータとに基づいて、ロボット１３の動作態様を決定する。ロボット１３の動作態様は、走行駆動部２０の動作態様（移動方向、移動速度等）と、首駆動部２２の動作態様（回動角度、回動速度等）を含む。

動作指令送信部８２は、動作決定部８０により決定されたロボット１３の動作態様を示す動作指令（駆動指令）をロボット１３へ送信することにより、動作決定部８０により決定された態様にてロボット１３を動作させる。

ゲーム生成部８４は、ロボット１３のカメラ２４により撮像された実世界の物体であって、すなわちロボット１３から送信された撮像データに映る実世界の物体と、その実世界の物体に応じた仮想的な物体の両方を含むＡＲ空間（ＡＲ画像）を表示するゲームを生成する。ゲーム生成部８４は、生成したゲームデータをゲーム記憶部７２に格納する。

ゲーム提供部８６は、ゲーム生成部８４により生成され、ゲーム記憶部７２に記憶されたゲームデータを外部装置へ提供する。例えば、ゲーム生成部８４は、互いに視差を設けた右目用ＡＲ画像および左目用ＡＲ画像を表示し、ＡＲ空間を探索する内容のゲームを生成してもよい。ゲーム提供部８６は、そのゲームデータを処理装置１２８に提供することにより、ＡＲ空間を探索する内容の３ＤゲームをＨＭＤ１００に表示させてもよい。

音声データ受付部８８は、ロボット１３から送信された音声データを受け付ける。ロボット周囲データ送信部９０は、撮像データ受付部７６により取得された撮像データと、音声データ受付部８８により取得された音声データの少なくとも一方を含むロボット周囲データを処理装置１２８へ送信する。これにより、ロボット１３により撮像されたロボット１３の周囲を映した画像と、ロボット１３により集音されたロボット１３の周囲の音声とがＨＭＤ１００で再生される。

ロボット操作受付部９２は、ユーザまたはフレンドによるロボット１３に対する遠隔操作を受け付ける。具体的には、ロボット操作受付部９２は、処理装置１２８ａから送信されたユーザ操作情報を受け付け、また、処理装置１２８ｂから送信されたフレンド操作情報を受け付ける。

動作決定部８０は、ユーザ操作情報（またはフレンド操作情報）が受け付けられた場合、ユーザ操作情報（またはフレンド操作情報）が示す操作に応じた動作をロボット１３に実行させるための駆動指令を含む動作指令を生成する。また、動作決定部８０は、ユーザ操作情報（またはフレンド操作情報）に含まれる音声データを含む動作指令を生成する。

以上の構成による第１実施例のエンタテインメントシステム１０の動作を説明する。
ユーザは、ユーザ端末１１でエンタテインメントＡｐｐを起動する。ユーザ端末１１の表示内容生成部４０は、キャラクタ選択画面のデータを生成し、表示制御部４２は、キャラクタ選択画面を表示部３０に表示させる。

図８は、キャラクタ選択画面の例を示す。キャラクタ選択画面１３１は、個性が異なる複数のキャラクタ（すなわち選択候補のキャラクタ）をスワイプ操作等に応じて切り替えて表示するよう構成される。図８では、複数のキャラクタとして、キャラクタ１３０ａ（図５のキャラクタＢ）、キャラクタ１３０ｂ（図５のキャラクタＡ）、キャラクタ１３０ｃ（図５のキャラクタＣ）と、フレンドを示すキャラクタ１３０ｄ（Ｔａｋｅｏ）を含む。キャラクタ１３０ａ、キャラクタ１３０ｂ、キャラクタ１３０ｃ、キャラクタ１３０ｄを特に区別しない場合、「キャラクタ１３０」と呼ぶ。

アイコン１３２は、ロボット１３が自律的に動作し、または、ロボット１３が遠隔操作により動作するキャラクタであることを示す。また、アイコン１３４は、ゲームを自動生成するキャラクタであることを示す。

特定のキャラクタが表示されたキャラクタ選択画面１３１においてインストールボタン１３６に対する押下操作が入力されると、ユーザ端末１１のＡｐｐ制御部３８は、カメラ３２を起動する。ユーザ端末１１の表示内容生成部４０は、カメラ３２により撮像された、ユーザ端末１１の周囲の物体を映す画像を表示内容として決定し、表示制御部４２は、当該画像を表示部３０に表示させる。

ユーザは、カメラ３２の画角内にロボット１３を入れる。表示内容生成部４０は、公知の物体認識処理（テンプレートマッチング等）により、カメラ３２によりロボット１３が撮像された場合、すなわちカメラ３２により撮像された画像にロボット１３が映る場合、そのことを検知する。表示内容生成部４０は、カメラ３２によりロボット１３が撮像されたことを検知した場合、ロボット１３の像とともに、キャラクタ選択画面１３１でユーザが選択したキャラクタ１３０の画像を表示するＡＲ画像を生成する。表示制御部４２は、上記ＡＲ画像を表示部３０に表示させる。

続いて、表示内容生成部４０は、ユーザが選択したキャラクタ１３０がロボット１３に憑依する内容を含むＡＲ画像を生成する。図９は、ＡＲ画像の例を示す。ＡＲ画像１３８は、ロボット１３の外からロボット１３の中へキャラクタ１３０が入っていく内容の動画であってもよい。また、ＡＲ画像１３８は、ロボット１３とキャラクタ１３０とを関連付けるオブジェクトをさらに表示する画像であってもよい。このように、ユーザが選択したキャラクタ１３０がロボット１３に憑依する内容を含むＡＲ画像を表示させることで、以降、ロボット１３が、当該キャラクタ１３０の個性に応じた動作を行うことをユーザに分かり易く示すことができる。

ユーザ端末１１のキャラクタデータ送信部４４は、ＡＲ画像１３８の表示（すなわちユーザが選択したキャラクタ１３０がロボット１３に憑依する内容の表示）と同期して、ユーザが選択したキャラクタ１３０に関するキャラクタデータを制御装置１４へ送信する。

制御装置１４のキャラクタデータ受付部７４は、ユーザ端末１１から送信されたキャラクタデータを受け付け、キャラクタデータ記憶部７０に格納する。制御装置１４の動作決定部８０は、ロボット１３のカメラ２４の起動を決定し、動作指令送信部８２は、カメラ２４の起動を指示する動作指令をロボット１３へ送信する。ロボット１３は、カメラ２４を起動し、ロボット１３の送信部６４は、カメラ２４により撮像された画像データ（撮像データ）を制御装置１４へ送信する。

制御装置１４の撮像データ受付部７６は、ロボット１３から送信された撮像データを受け付ける。制御装置１４の物体識別部７８は、撮像データの画像に映る物体であって、ロボット１３の周囲に存在する物体の種類（例えば人か物か）を識別する。制御装置１４の動作決定部８０は、ロボット１３の周囲に存在する物体の属性（例えば位置、形状、模様、色彩、種類）と、ユーザにより選択されたキャラクタの個性に対応するパラメータ（すなわちキャラクタデータ記憶部７０に記憶されたキャラクタデータ）とに基づいて、ロボット１３の動作態様を決定する。

ロボット１３の動作態様の決定処理に関する第１の例を説明する。動作決定部８０は、ユーザ端末１１で選択されたキャラクタの個性として予め定められたパラメータに基づいて、ロボット１３の経路探索に関する態様を決定する。例えば、動作決定部８０は、図５のパラメータ（５）「経路探索－ゴール位置（人）」にしたがって、ゴール位置（例えば人に近接する位置）を決定する。また、動作決定部８０は、図５のパラメータ（１）「経路探索－障害物との間隔」、パラメータ（２）「経路探索－経路の滑らかさ」、パラメータ（３）「経路探索－寄り道（人）」、パラメータ（４）「経路探索－寄り道（物）」にしたがって、ゴールまでの移動態様（移動経路）を決定する。

ロボット１３の動作態様の決定処理に関する第２の例を説明する。動作決定部８０は、ユーザ端末１１で選択されたキャラクタの個性として予め定められたパラメータに基づいて、ロボット１３の動作速度に関する態様を決定する。例えば、動作決定部８０は、図５のパラメータ（７）「速度－通常移動速度」にしたがって、ロボット１３の移動速度（例えば走行駆動部２０の回転速度）を決定する。また、動作決定部８０は、図５のパラメータ（６）「速度－移動速度変化（加速度）」にしたがって、上記移動速度に達するまでの加速度（例えば走行駆動部２０の回転の加速度）を決定する。また、動作決定部８０は、図５のパラメータ（８）「速度－首振り速度」にしたがって、首駆動部２２の回動速度を決定する。

ロボット１３の動作態様の決定処理に関する第３の例を説明する。動作決定部８０は、ユーザ端末１１で選択されたキャラクタの個性として予め定められたパラメータに基づいて、物体識別部７８により識別された物体の中からロボット１３が注目する対象を決定する動作に関する態様を決定する。例えば、動作決定部８０は、図５のパラメータ（９）「注目対象範囲－対人」が定める範囲内の人を注目対象候補とする。また、動作決定部８０は、図５のパラメータ（１０）「注目対象範囲－対障害物」が定める範囲内の物を注目対象候補とする。また、動作決定部８０は、図５のパラメータ（１１）「注目対象範囲－人／物優先度」にしたがって、注目対象候補の人と物の中から注目対象を決定する。

動作決定部８０は、注目対象を決定した場合、注目対象の人または物に対して注目動作（例えばカメラ２４による撮像）をロボット１３に実行させることを決定してもよい。

動作決定部８０は、決定した動作態様を指示する動作指令を生成する。制御装置１４の動作指令送信部８２は、動作決定部８０により生成された動作指令をロボット１３へ送信する。ロボット１３の駆動制御部５６は、動作指令にしたがって、走行駆動部２０および首駆動部２２の動作を制御する。以上の処理の結果、ロボット１３は、ユーザにより選択されたキャラクタの個性（キャラクタデータの各パラメータ）に応じた態様で自律的に周囲を探索する。

このように、第１実施例のエンタテインメントシステム１０によると、異なる個性を有する複数のキャラクタの中から、ユーザが所望するキャラクタの個性に応じた動作をロボット１３に実行させることができ、ロボット１３（エンタテインメントロボット）によるユーザ体験を改善することができる。

なお、ユーザにより第１のキャラクタが選択後、ユーザにより第２のキャラクタ（第１のキャラクタとは異なるキャラクタ）が新たに選択された場合、制御装置１４は、第１のキャラクタのキャラクタデータに基づきロボット１３の動作を制御することに代えて、第２のキャラクタのキャラクタデータに基づきロボット１３の動作を制御する。すなわち、制御装置１４は、ユーザによるキャラクタ選択の変更に応じて、ロボット１３の動作を制御するためのパラメータを動的に切り替える。これにより、単一のロボット１３の動作態様をユーザが任意に切り替えることができる。

次に、図８のキャラクタ選択画面１３１においてアイコン１３４が付与されたキャラクタ１３０ｂ（キャラクタＡ）が選択された場合の動作を説明する。この場合、ロボット１３は、キャラクタＡに割り当てられた個性に応じた態様で周囲を自律的に探索しつつ、周囲の物体をカメラ２４により所定の周期で撮像する。ロボット１３の送信部６４は、カメラ２４による撮像データを所定の周期で制御装置１４へ送信する。

制御装置１４の撮像データ受付部７６は、ロボット１３から送信された撮像データを受け付け、物体識別部７８は、撮像データに映る物体であり、言い換えれば、ロボット１３のカメラ２４により撮像された実世界の物体の種類を識別する。ゲーム生成部８４は、ロボット１３のカメラ２４により撮像された実世界の物体（以下「リアルオブジェクト」とも呼ぶ。）と、その実世界の物体に応じた仮想的な物体（以下「バーチャルオブジェクト」とも呼ぶ。）とを含むＡＲ空間を表示するゲームを生成する。

図１０は、ゲーム生成部８４により生成されるゲーム画像の例を示す。ゲーム画像１４０は、リアルオブジェクト１４２として、スケボー、棚、ブロック、ボールが配置される。これらは、ロボット１３が置かれた部屋に実在する物である。また、ゲーム画像１４０は、バーチャルオブジェクト１４４として、仲間キャラクタ、風車、柵、雲、キャラクタ１３０（ユーザにより選択されたキャラクタ）を含む。このゲームは、例えば、リアルオブジェクト１４２とバーチャルオブジェクト１４４が混在するＡＲ空間をキャラクタ１３０が探索するゲームであってもよい。

ゲーム生成部８４は、撮像データに映るリアルオブジェクト１４２の形状、模様、色彩、種類等の任意の組み合わせと、バーチャルオブジェクト１４４との対応関係を示すデータを記憶する。対応関係を示すデータは、例えば、（１）リアルオブジェクト１４２としてのスケボーと、バーチャルオブジェクト１４４としての仲間キャラクタを対応付け、（２）リアルオブジェクト１４２としての棚と、バーチャルオブジェクト１４４としての風車を対応付け、（３）リアルオブジェクト１４２としてのブロックと、バーチャルオブジェクト１４４としての柵を対応付けるデータであってもよい。ゲーム生成部８４は、或るリアルオブジェクト１４２の近傍位置に、そのリアルオブジェクト１４２に対応するバーチャルオブジェクト１４４を配置する。

ゲーム生成部８４は、生成したゲームデータをゲーム記憶部７２に格納する。ゲーム提供部８６は、外部機器の要求に応じて、ゲーム記憶部７２に格納されたゲームデータを要求元の外部機器へ送信する。第１実施例のエンタテインメントシステム１０によると、ロボット１３の視点（カメラ２４の位置）から撮像されたリアルオブジェクトとともに、そのリアルオブジェクトに応じたバーチャルオブジェクトが配置されたＡＲ空間を表示するゲームをユーザに提供でき、ロボット１３を利用した斬新なユーザ体験を提供することができる。

次に、図８のキャラクタ選択画面１３１においてキャラクタ１３０ｄ（フレンドアバター）が選択された場合の動作を説明する。この場合、動作決定部８０は、フレンドの装置から送信されたフレンド操作情報に基づいて、ロボット１３の動作態様を決定する。

具体的には、キャラクタ選択画面１３１においてキャラクタ１３０ｄ（フレンドアバター）が選択された場合、制御装置１４のキャラクタデータ記憶部７０に、当該キャラクタのデータとして、処理装置１２８ｂとの通信に必要なデータが格納される。制御装置１４（ロボット操作受付部９２、ロボット周囲データ送信部９０）は、キャラクタデータ記憶部７０に記憶されたデータを用いて、処理装置１２８ｂとの接続を確立する。

制御装置１４の撮像データ受付部７６は、ロボット１３から所定の周期で送信された撮像データ（右目用画像および左目用画像）を受け付ける。音声データ受付部８８は、ロボット１３から所定の周期で送信された音声データを受け付ける。ロボット周囲データ送信部９０は、ロボット１３から送信された撮像データと音声データとを処理装置１２８ｂへ送信する。

処理装置１２８ｂは、制御装置１４から送信された撮像データと音声データとをＨＭＤ１００ｂへ転送する。ＨＭＤ１００ｂは、処理装置１２８ｂから送信された撮像データ（右目用画像および左目用画像）を、表示パネル１０２（右目用表示パネルおよび左目用表示パネル）に表示させる。フレンドは、ロボット１３の周囲の様子をリアルタイムで見ることができ、また、ロボット１３の周囲の音声をリアルタイムで聞くことができる。

フレンドは、ロボット１３に対する操作（走行駆動部２０の駆動態様や、首駆動部２２の駆動態様を指示する操作）を処理装置１２８ｂに入力する。処理装置１２８ｂは、フレンドにより入力されたロボット１３に対する操作を示すフレンド操作情報を制御装置１４へ送信する。フレンド操作情報は、ＨＭＤ１００ｂのマイク１０６で集音された、フレンドが発した声を示す音声データを含む。

制御装置１４のロボット操作受付部９２は、処理装置１２８ｂから送信されたフレンド操作情報を受け付ける。動作決定部８０は、フレンド操作情報が示す操作内容（走行駆動部２０の駆動態様や、首駆動部２２の駆動態様）を指示する動作指令を生成する。動作指令送信部８２は、その動作指令をロボット１３へ送信する。なお、フレンド操作情報は、ＨＭＤ１００ｂが装着されたフレンドの頭部の動きを含んでもよく、動作決定部８０は、フレンドの頭部の動きに整合するようロボット１３の首駆動部２２の駆動態様を決定してもよい。

以上の処理の結果、フレンドが入力したロボット１３に対する操作が、ロボット１３の動作にリアルタイムに反映される。また、動作決定部８０は、フレンド操作情報に含まれる音声データを含む動作指令を生成する。動作指令送信部８２は、その動作指令をロボット１３へ送信する。これにより、フレンドが発した声が、ロボット１３のスピーカ２８からリアルタイムに出力される。

このように、第１実施例のエンタテインメントシステム１０によると、ロボット１３は、フレンドによる遠隔操作に応じて動作し、またフレンドの声を再生する。一方でフレンドは、ＨＭＤ１００ｂを通じて、ロボット１３周辺の画像や音声をリアルタイムで視聴できる。これにより、ロボット１３周辺の人とフレンドとが、リアルタイムでコミュニケーションを取ることができる。

なお、図８には不図示だが、キャラクタ選択画面１３１で選択可能なキャラクタに、ユーザ自身を示すキャラクタ（ユーザアバター）が含まれてもよい。キャラクタ選択画面１３１でユーザアバターが選択された場合、動作決定部８０は、ユーザの装置から送信されたユーザ操作情報に基づいて、ロボット１３の動作態様を決定する。キャラクタ選択画面１３１でユーザアバターが選択された場合の具体的な処理は、キャラクタ選択画面１３１においてフレンドアバターが選択された場合の処理と同様であり、ＨＭＤ１００ｂをＨＭＤ１００ａに置き換え、かつ、処理装置１２８ｂを処理装置１２８ａに置き換えた処理となる。

＜第２実施例＞
以下、第２実施例について、第１実施例と相違する構成を中心に説明し、共通する構成の説明は適宜省略する。第２実施例の構成は、第１実施例および変形例の構成と任意の組合せが可能であることはもちろんである。

第２実施例の概要を説明する。近年、遠隔地に配置したロボットを自分の分身として利用するテレイグジスタンスと呼ばれる技術が登場している。遠隔地にいるロボットが周囲の画像データや音声データをユーザに送信し、ユーザ側で再生することで、ユーザは、ロボットの場所にいるような臨場感を体験することが可能になる。また、ヘッドマウントディスプレイ（ＨＭＤ）が様々な分野で利用されている。ＨＭＤにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢と連動して表示画面を更新することで、映像世界への没入感を高められる。

第２実施例では、ロボットのカメラにより撮像された画像に映る実世界の物体と、ユーザにより配置された仮想的なオブジェクトとが映るＡＲ画像をユーザが装着したＨＭＤに表示させる。ユーザが立ち上がった場合等、ＨＭＤの高さ方向の位置は大きく変化しうる。高さ方向は、例えば、ロボットやユーザが移動する床面に対する垂直方向である。一方、ロボットは、通常、カメラの高さ方向の位置が所定範囲を超えて変化しないよう構成される。そのため、ＨＭＤの高さ方向の位置が変化した場合、ＡＲ画像を見るユーザに違和感を抱かせ、ユーザにいわゆるＶＲ酔いを生じさせることがあった。

そこで第２実施例のエンタテインメントシステムでは、ＨＭＤの高さ方向の位置が変化した場合に、実世界の物体が消去された画像であって、かつ、ＨＭＤの高さ方向の位置の変化に応じた新たな視点から見える仮想的なオブジェクトの外観を示す画像（いわゆるＶＲ画像）を生成し、それまでのＡＲ画像の表示からＶＲ画像の表示へ切り替える。すなわち、第２実施例のエンタテインメントシステムでは、デフォルトモードとしてＨＭＤのビデオシースルーをオンにする一方、ＨＭＤの高さ方向の位置が変化した場合、ＨＭＤのビデオシースルーをオフに切り替える。

第２実施例のエンタテインメントシステム１０の構成は、図１に示した第１実施例のエンタテインメントシステム１０の構成と同じである。既述したように、ロボット１３におけるカメラ２４の取り付け位置の高さ（目高）は１４４ｍｍである。ロボット１３は、カメラ２４の高さ方向の位置が所定範囲を超えて変化しないよう構成される。例えば、ロボット１３の首駆動部２２がピッチ軸またはロール軸で回動した場合でも、目高の変化は数ｃｍであるよう構成される。なお、ロボット１３は、カメラ２４の高さ方向の位置が変化しないように構成されてもよい。

図１１は、第２実施例の制御装置１４の機能ブロックを示すブロック図である。第２実施例の制御装置１４は、第１実施例の制御装置１４と同様の機能ブロックとして、キャラクタデータ記憶部７０、キャラクタデータ受付部７４、撮像データ受付部７６、物体識別部７８、動作決定部８０、動作指令送信部８２、音声データ受付部８８、ロボット周囲データ送信部９０、ロボット操作受付部９２を備える。第２実施例の制御装置１４はさらに、ゲーム操作受付部１５０、ゲーム画像生成部１５２、ゲーム画像送信部１５４、センサ情報受付部１５６、動き検出部１５８を備える。

キャラクタデータ受付部７４、撮像データ受付部７６、物体識別部７８、動作決定部８０、動作指令送信部８２、音声データ受付部８８、ロボット周囲データ送信部９０、ロボット操作受付部９２、ゲーム操作受付部１５０、ゲーム画像生成部１５２、ゲーム画像送信部１５４、センサ情報受付部１５６、動き検出部１５８に対応する複数のモジュールが実装されたアプリケーションプログラムが、記録媒体またはネットワークを介して、制御装置１４にインストールされてもよい。制御装置１４のＣＰＵは、上記アプリケーションプログラムをメインメモリに読み出して実行することにより、上記複数の機能ブロックの機能を発揮してもよい。

ゲーム操作受付部１５０は、処理装置１２８ａに入力された、ゲームに対するユーザの操作を示すユーザ操作情報を処理装置１２８ａから受け付ける。

ゲーム画像生成部１５２は、撮像データ受付部７６により取得されたロボット１３による撮像データと、ゲーム操作受付部１５０により取得されたユーザ操作情報とに基づいて、ゲーム画像を生成する。ゲーム画像は、互いに視差を設けた右目用ゲーム画像と左目用ゲーム画像とを含む。

第２実施例では、制御装置１４のゲーム画像送信部１５４、処理装置１２８ａおよびＨＭＤ１００ａの制御部１２０は、互いに連携することにより、ＨＭＤ１００ａの表示パネル１０２にゲーム画像を表示させる表示制御部として機能する。具体的には、ゲーム画像送信部１５４は、ゲーム画像生成部１５２により生成されたゲーム画像（右目用ゲーム画像と左目用ゲーム画像）のデータを処理装置１２８ａへ送信する。処理装置１２８ａは、ゲーム画像をＨＭＤ１００ａに渡し、ＨＭＤ１００ａは、右目用ゲーム画像を右目用表示パネルに表示させ、左目用ゲーム画像を左目用表示パネルに表示させる。これにより、ユーザは、ゲーム画像に描かれた内容を立体視することができる。

センサ情報受付部１５６は、ＨＭＤ１００ａの姿勢センサ１２４が検出した姿勢情報を取得する。動き検出部１５８は、公知のヘッドトラッキング技術を用い、センサ情報受付部１５６により取得された姿勢情報に基づいて、ユーザの頭部に装着されたＨＭＤ１００ａの姿勢を検出する。

第２実施例では、動き検出部１５８は、ＨＭＤ１００ａの高さ方向の位置の変化（変化量）を検出する。動き検出部１５８は、ＨＭＤ１００ａの高さ方向の位置の変化量をゲーム画像生成部１５２へ入力する。ゲーム画像生成部１５２は、ＨＭＤ１００ａの高さ方向の位置の変化量を加味したゲーム画像を生成する。

以上の構成による第２実施例のエンタテインメントシステム１０の動作を説明する。
ここでは、複数のキャラクタの中からユーザアバターが選択され、ユーザはロボット１３を遠隔操作し、また、ロボット１３の周囲の映像と音声がＨＭＤ１００ａで再生されていることとする。ユーザは、ゲームモードへの切り替えを指示する操作を処理装置１２８ａに入力し、処理装置１２８ａは、その操作を示すユーザ操作情報を制御装置１４へ送信する。

制御装置１４のゲーム画像生成部１５２は、ゲームモードへの切り替えを指示するユーザ操作情報が受け付けられると、撮像データ受付部７６により取得された撮像データ（すなわちロボット１３のカメラ２４により撮像された画像）に映る実世界の物体（リアルオブジェクト）とともに仮想的なオブジェクト（バーチャルオブジェクト）が映る第１ゲーム画像を生成する。第１ゲーム画像は、デフォルトのゲーム画像であり、ＨＭＤ１００ａのビデオシースルーを有効にしたゲーム画像である。

図１２は、第１ゲーム画像の例を示す。同図の第１ゲーム画像１６０は、リアルオブジェクト１４２として、ソファー１６２、ドア１６４、テーブル１６６、カップ１６８を含む。また、第１ゲーム画像１６０は、バーチャルオブジェクト１４４として、複数のブロック１７０、複数の敵キャラクタ１７２を含む。第１ゲーム画像は、ロボット１３のカメラ２４が撮像した実世界の空間に、バーチャルオブジェクト１４４が付加されたＡＲ画像である。

ユーザは、ロボット１３により撮像された実世界の空間にバーチャルオブジェクト（ブロック１７０または敵キャラクタ１７２）を配置する操作を処理装置１２８ａに入力し、処理装置１２８ａは、上記操作を示すユーザ操作情報を制御装置１４へ送信する。制御装置１４のゲーム操作受付部１５０は、上記操作を示すユーザ操作情報を受け付ける。

制御装置１４のゲーム画像生成部１５２は、上記操作を示すユーザ操作情報にしたがって、撮像データ受付部７６により取得された撮像データに映る空間にバーチャルオブジェクト１４４を配置する。ゲーム画像生成部１５２は、ロボット１３のカメラ２４の位置を視点とするバーチャルオブジェクト１４４の外観を示す第１ゲーム画像を生成し、言い換えれば、ロボット１３の目高から見えるバーチャルオブジェクト１４４の外観を示す第１ゲーム画像を生成する。制御装置１４のゲーム画像送信部１５４は、第１ゲーム画像を処理装置１２８ａへ送信することにより、第１ゲーム画像をＨＭＤ１００ａに表示させる。

制御装置１４のセンサ情報受付部１５６は、ＨＭＤ１００ａの姿勢センサ１２４で検知されたＨＭＤ１００ａの姿勢情報を取得する。制御装置１４の動き検出部１５８は、ＨＭＤ１００ａの姿勢情報に基づいて、ＨＭＤ１００ａの高さ方向の位置が変化した場合、その変化量を検出する。

制御装置１４のゲーム画像生成部１５２は、ＨＭＤ１００ａの高さ方向の位置が所定範囲を超えて変化した場合、第１ゲーム画像に代えて第２ゲーム画像を生成する。ゲーム画像送信部１５４は、第２ゲーム画像を処理装置１２８ａへ送信することにより、第１ゲーム画像に代えて第２ゲーム画像をＨＭＤ１００ａに表示させる。第１ゲーム画像から第２ゲーム画像に切り替える閾値である上記の所定範囲は、ロボット１３におけるカメラ２４の高さ方向の位置（すなわち目高）が変化しうる範囲であってもよい。または、上記の所定範囲は、開発者の知見や、エンタテインメントシステム１０を用いた実験に基づいて適切な範囲が決定されてもよい。

図１３は、第２ゲーム画像の例を示す。同図の第２ゲーム画像１６１は、バーチャルオブジェクト１４４として、複数のブロック１７０と、複数の敵キャラクタ１７２を含む。また、第２ゲーム画像１６１は、第１ゲーム画像１６０とは異なり、リアルオブジェクト１４２（カップ１６８等）を含まない。すなわち、第２ゲーム画像は、実世界の物体が消去された画像であり、かつ、ＨＭＤ１００ａの高さ方向の位置の変化に応じた新たな視点から見えるバーチャルオブジェクト１４４の外観を示すＶＲ画像である。また、第２ゲーム画像は、ＨＭＤ１００ａのビデオシースルーを無効にしたゲーム画像である。

図１３の第２ゲーム画像１６１は、典型的には、座った姿勢で第１ゲーム画像１６０を視聴していたユーザが立ち上がり、それに伴って、ＨＭＤ１００ａの高さ方向の位置が下から上へ変化した場合に表示される。制御装置１４のゲーム画像生成部１５２は、ＨＭＤ１００ａの高さ方向の位置が下から上へ変化した場合、実世界の物体が消去された第２ゲーム画像であって、かつ、第１ゲーム画像における視点より上位置の視点から見えるバーチャルオブジェクト１４４の外観を示す第２ゲーム画像を生成する。図１３の第２ゲーム画像１６１は、俯瞰画像とも言える。なお、上位置の視点は、立ち上がったユーザの視点であってもよく、言い換えれば、ユーザの目高であってもよい。

第１ゲーム画像１６０は、ロボット１３の視点を基準とする画像と言え、一方、第２ゲーム画像１６１は、ユーザの視点を基準とする画像と言える。第１ゲーム画像１６０の生成時、ゲーム画像生成部１５２は、座標系の中心に仮想カメラを配置し、その仮想カメラの光軸の向きを、ロボット１３のカメラ２４の光軸方向と一致するようにしてもよい。ゲーム画像生成部１５２は、ロボット１３のカメラ２４により撮像されたリアルオブジェクト１４２の像と、ユーザ操作により配置されたバーチャルオブジェクト１４４とを上記座標系に配置した上で仮想カメラで撮像し、その撮像結果に基づいて第１ゲーム画像１６０を生成してもよい。

一方、第２ゲーム画像１６１の生成時、ゲーム画像生成部１５２は、ＨＭＤ１００ａの高さ方向の位置の変化量に応じて、仮想カメラの位置をそれまでより上位置に変更してもよい。ゲーム画像生成部１５２は、相対的に上位置の仮想カメラから、相対的に下位置のリアルオブジェクト１４２とバーチャルオブジェクト１４４を撮像し、その撮像結果に基づいて第２ゲーム画像１６１を生成してもよい。

第２実施例のエンタテインメントシステム１０によると、ＨＭＤ１００の高さ方向の位置が変化した場合でも、ゲーム画像を見るユーザに違和感を抱かせることを抑制し、いわゆるＶＲ酔いがユーザに生じることを抑制できる。これにより、テレイグジスタンスとＨＭＤ１００の連携によるユーザ体験を改善することができる。なお、第２実施例に記載の技術は、カメラ２４がロボット１３に搭載される場合に制限されない。カメラ２４で撮像された画像（映像）がＨＭＤ１００で表示され、かつ、カメラ２４の高さ方向の位置の変化に制限がある（もしくはカメラ２４の高さ方向の位置が変化しない）場合に広く有用である。

以上、本発明を第１実施例、第２実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

第１変形例を説明する。第１実施例では、ユーザにより選択されたキャラクタのデータ（画像や各種パラメータ等）が、ユーザ端末１１から制御装置１４へ送信された。変形例として、制御装置１４のキャラクタデータ記憶部７０は、第１実施例のユーザ端末１１のキャラクタデータ記憶部７０と同様に、ユーザが選択可能な複数のキャラクタに関する複数のキャラクタデータを記憶してもよい。ユーザ端末１１は、ユーザにより選択されたキャラクタの識別情報（名称やＩＤ等）を制御装置１４へ通知してもよい。制御装置１４の動作決定部８０は、キャラクタデータ記憶部７０に記憶された複数のキャラクタデータのうちユーザ端末１１から送信された識別情報により特定されるキャラクタのキャラクタデータを参照して、ロボット１３の動作態様を決定してもよい。

第２変形例を説明する。第２実施例では、第１ゲーム画像および第２ゲーム画像をユーザのＨＭＤ１００ａで表示したが、これらのゲーム画像をフレンドのＨＭＤ１００ｂで表示する場合も同様の構成にて実現できる。この場合、第２実施例に記載の「処理装置１２８ａ」を「処理装置１２８ｂ」に置き換え、第２実施例に記載の「ユーザ操作情報」を「フレンド操作情報」に置き換えればよい。

第３変形例を説明する。第２実施例では言及していないが、制御装置１４のゲーム画像生成部１５２は、ＨＭＤ１００の高さ方向の位置が上から下へ変化した場合も、リアルオブジェクトが消去された第２ゲーム画像であって、かつ、ＨＭＤ１００の高さ方向の位置の変化に応じた新たな視点から見えるバーチャルオブジェクトの外観を示す第２ゲーム画像を第１ゲーム画像に代えて生成してもよい。この変形例での第２ゲーム画像は、第１ゲーム画像における視点より下位置の視点から見えるバーチャルオブジェクトの外観を示すものであってもよい。

第４変形例を説明する。各実施例のエンタテインメントシステム１０は、制御装置１４を含まない構成であってもよい。この場合、第１実施例と第２実施例に記載した制御装置１４の機能（例えば動作決定部８０等）は、ロボット１３に実装されてもよく、ユーザ端末１１（エンタテインメントＡｐｐ）に実装されてもよい。または、第１実施例と第２実施例に記載した制御装置１４の機能の一部がロボット１３に実装され、制御装置１４の機能の残りがユーザ端末１１（エンタテインメントＡｐｐ）に実装されてもよい。本変形例では、通信網１５を介して、ユーザ端末１１とロボット１３が通信する構成であってもよい。

例えば、第４変形例のロボット１３は、キャラクタデータ受付部（実施例の制御装置１４のキャラクタデータ受付部７４に対応）と、動作決定部（実施例の制御装置１４の動作決定部８０に対応）を備えてもよい。キャラクタデータ受付部は、異なる個性が定められた複数のキャラクタの中からユーザにより選択されたキャラクタに関する情報をユーザ端末１１から受け付けてもよい。動作決定部は、ユーザにより選択されたキャラクタの個性に対応するパラメータに基づいて、本ロボット１３の動作態様を決定してもよい。

第５変形例を説明する。上記実施例では、ロボット１３の視点位置に設置されたカメラ２４により撮像された画像（ここでは「ロボット視点画像」と呼ぶ。）をＨＭＤ１００（ＨＭＤ１００ａ、ＨＭＤ１００ｂ）に表示させた。変形例のエンタテインメントシステム１０では、ロボット１３または制御装置１４は、ロボット視点画像をユーザやフレンドの端末（スマートフォン等、例えばユーザ端末１１）に送信し、ロボット視点画像をユーザやフレンドの端末に表示させてもよい。この場合、ユーザやフレンドの端末（スマートフォン等、例えばユーザ端末１１）は、ユーザ操作情報またはフレンド操作情報を制御装置１４へ送信してもよく、ロボット１３へ直接送信してもよい。このように、ユーザやフレンドの端末を用いてロボット１３を制御してもよい。

第６変形例を説明する。ユーザ端末１１のキャラクタデータ記憶部３４に記憶されるキャラクタデータは、キャラクタの個性として、以下のパラメータを含んでもよい。（１）ボール等のおもちゃを優先的に見つけるか否か（言い換えればボール等のおもちゃに反応しやすいか否か）を制御するパラメータ。おもちゃ好きな性格のキャラクタのキャラクタデータでは、画像認識技術に基づいて、ボール等のおもちゃに優先的に反応することを示す値が当該パラメータ値として設定されてもよい。（２）周囲の音に敏感に反応し（マイク感度を通常より高めて）、検知した音に合わせて踊り出すか否かを制御するパラメータ。ダンス好きな性格のキャラクタのキャラクタデータでは、マイク感度を通常より高めることを示す値が当該パラメータ値として設定されてもよい。

（３）声を通常より大きくするか否かを制御するパラメータ。声が大きいという個性を持つキャラクタのキャラクタデータでは、スピーカ２８からの音声出力強度を通常より大きくすることを示す値が当該パラメータ値として設定されてもよい。本変形例のエンタテインメントシステム１０では、制御装置１４の動作決定部８０は、ユーザ端末１１において選択されたキャラクタの個性として予め定められたパラメータに基づいて、音に関する動作態様（すなわちロボット１３のマイク２６やスピーカ２８の動作態様）を決定してもよい。

上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

本発明は、エンタテインメントシステムおよびロボットに適用することができる。

１０ エンタテインメントシステム、 １１ ユーザ端末、 １３ ロボット、 １４ 制御装置、 ２４ カメラ、 ３０ 表示部、 ３２ カメラ、 ４２ 表示制御部、 ７６ 撮像データ受付部、 ７８ 物体識別部、 ８０ 動作決定部、 ８４ ゲーム生成部、 ９２ ロボット操作受付部、 １５２ ゲーム画像生成部、 １５４ ゲーム画像送信部、 １５８ 動き検出部。

Claims (7)

1. ユーザ端末と、
   ロボットと、
   動作決定部と、を備え、
   前記ユーザ端末は、異なる個性が定められた複数のキャラクタの中からいずれかのキャラクタをユーザに選択させる内容を表示部に表示させる表示制御部を備え、
   前記動作決定部は、前記ユーザ端末において選択されたキャラクタの個性に対応するパラメータに基づいて、前記ロボットの動作態様を決定し、
   前記動作決定部は、前記ユーザ端末において選択されたキャラクタの個性として予め定められたパラメータに基づいて、前記ロボットの動作速度に関する態様と、前記ロボットの経路探索に関する態様とを決定する、
   エンタテインメントシステム。
2. 前記ユーザ端末は、周囲を撮像する撮像部をさらに備え、
   前記ユーザ端末の表示制御部は、前記いずれかのキャラクタが選択され、かつ、前記撮像部により前記ロボットが撮像された場合、選択されたキャラクタが前記ロボットに憑依する内容を含むＡＲ（Augmented Reality）画像を前記表示部に表示させる、
   請求項１に記載のエンタテインメントシステム。
3. 前記ロボットは、周囲を撮像する撮像部をさらに備え、
   前記エンタテインメントシステムは、前記ロボットの撮像部により撮像された物体を識別する識別部をさらに備え、
   前記動作決定部は、前記ユーザ端末において選択されたキャラクタの個性として予め定められたパラメータに基づいて、前記識別部により識別された物体の中から前記ロボットが注目する対象を決定することに関する態様を決定する、
   請求項１または２に記載のエンタテインメントシステム。
4. 前記動作決定部は、前記ユーザ端末において選択されたキャラクタの個性として予め定められたパラメータに基づいて、音に関する動作態様を決定する、
   請求項１から３のいずれかに記載のエンタテインメントシステム。
5. 前記ロボットは、周囲を撮像する撮像部をさらに備え、
   前記ロボットの撮像部により撮像された実世界の物体と、前記実世界の物体に応じた仮想的な物体とを含むＡＲ空間を表示するゲームを生成するゲーム生成部をさらに備える、
   請求項１から４のいずれかに記載のエンタテインメントシステム。
6. ユーザのフレンドが入力した操作に関する操作情報を前記フレンドの装置から受け付ける受付部をさらに備え、
   前記複数のキャラクタは、前記フレンドを示すキャラクタを含み、
   前記動作決定部は、前記ユーザ端末において前記フレンドを示すキャラクタが選択された場合、前記フレンドの装置から送信された操作情報に基づいて、前記ロボットの動作態様を決定する、
   請求項１から５のいずれかに記載のエンタテインメントシステム。
7. 異なる個性が定められた複数のキャラクタの中からユーザにより選択されたキャラクタに関する情報をユーザ端末から受け付ける受付部と、
   前記ユーザにより選択されたキャラクタの個性に対応するパラメータに基づいて、本ロボットの動作態様を決定する動作決定部と、
   を備え、
   前記動作決定部は、前記ユーザ端末において選択されたキャラクタの個性として予め定められたパラメータに基づいて、前記ロボットの動作速度に関する態様と、前記ロボットの経路探索に関する態様とを決定する、
   ロボット。