JPWO2020095368A1 - 情報処理システム、表示方法およびコンピュータプログラム - Google Patents

Abstract

属性取得部３８は、現実空間においてユーザの行動に反応して作動する第１オブジェクトに関する属性情報を外部装置から取得する。画像生成部５０は、仮想現実空間においてユーザの行動に反応して作動する第２オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、属性取得部３８により取得された属性情報に応じて第２オブジェクトが動作する仮想現実画像を生成する。画像出力部５２は、画像生成部５０により生成された仮想現実画像を表示装置に表示させる。

Description

本発明は、データ処理技術に関し、特に情報処理システム、表示方法およびコンピュータプログラムに関する。

ヘッドマウントディスプレイにパノラマ画像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、仮想現実空間への没入感を高めることができる。

国際公開第２０１７／１１０６３２号

仮想現実空間をユーザに体験させる様々なアプリケーションが提供されている中、仮想現実空間を視聴するユーザにエンタテインメント性が高い視聴体験を提供することが求められている。

本発明はこうした課題に鑑みてなされたものであり、１つの目的は、仮想現実空間を視聴するユーザにエンタテインメント性が高い視聴体験を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理システムは、現実空間においてユーザの行動に反応して作動する第１オブジェクトに関する属性情報を外部装置から取得する取得部と、仮想現実空間においてユーザの行動に反応して作動する第２オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、取得部により取得された属性情報に応じて第２オブジェクトが動作する仮想現実画像を生成する生成部と、生成部により生成された仮想現実画像を表示装置に表示させる出力部と、を備える。

本発明の別の態様は、表示方法である。この方法は、現実空間においてユーザの行動に反応して作動する第１オブジェクトに関する属性情報を外部装置から取得するステップと、仮想現実空間においてユーザの行動に反応して作動する第２オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、取得するステップで取得された属性情報に応じて第２オブジェクトが動作する仮想現実画像を生成するステップと、生成するステップで生成された仮想現実画像を表示装置に表示させるステップと、をコンピュータが実行する。

なお、以上の構成要素の任意の組合せ、本発明の表現を、装置、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、上記情報処理装置の機能を含むヘッドマウントディスプレイなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、仮想現実空間を視聴するユーザにエンタテインメント性が高い視聴体験を提供することができる。

実施例に係るエンタテインメントシステムの構成を示す図である。 図１のＨＭＤの外観形状を示す図である。 図１のＨＭＤの機能ブロックを示すブロック図である。 図１の情報処理装置の機能ブロックを示すブロック図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。

まず、実施例のエンタテインメントシステムの概要を説明する。実施例のエンタテインメントシステムは、映画やコンサート、アニメーション、ゲーム映像等の映像コンテンツを再生する仮想現実空間をユーザの頭部に装着されたヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）に表示させる情報処理システムである。以下、特に断らない限り、実施例における「画像」は、動画像と静止画の両方を含み得る。

実施例の仮想現実空間は、ロビーとスクリーンルームを含む仮想的な映画館（以下「ＶＲ映画館」とも呼ぶ。）である。ロビーには、映像コンテンツの視聴権利（すなわちチケット）を購入するためのチケットカウンターや、物品や食品を購入可能な売店が設置される。スクリーンルームには、映像コンテンツが再生表示されるスクリーンや、ユーザを含む視聴者が着座する座席が設置される。

ロビーおよびスクリーンルームには、ユーザのアバター、ユーザのフレンドのアバター、ユーザのペット、ダミーのキャラクタ（すなわちＮＰＣ（Non Player Character））が表示される。フレンドは、ユーザに招待され、ユーザのセッション（「ゲームセッション」とも呼ばれる。）に参加する。ユーザは、スクリーンルームにおいて、フレンド、ペット、ダミーキャラクタとともに映像コンテンツを視聴する。また、ユーザは、自身のセッションに参加したフレンドとのボイスチャットが可能である。

図１は、実施例に係るエンタテインメントシステム１の構成を示す。エンタテインメントシステム１は、情報処理装置１０、ＨＭＤ１００、入力装置１６、撮像装置１４、出力装置１５を備える。入力装置１６は、ユーザが手指で操作する情報処理装置１０のコントローラである。出力装置１５は、画像を表示するテレビまたはモニターである。

情報処理装置１０は、ＶＲ映画館を示す仮想３次元空間の映像（以下「ＶＲ画像」とも呼ぶ。）をＨＭＤ１００に表示させるための各種データ処理を実行する。情報処理装置１０は、ＨＭＤ１００の姿勢情報に応じてユーザの視線方向を検出し、その視線方向に応じたＶＲ画像をＨＭＤ１００に表示させる。情報処理装置１０は、ＰＣであってもよく、ゲーム機であってもよい。

撮像装置１４は、ＨＭＤ１００を装着したユーザを含むユーザ周辺の空間を所定の周期で撮像するカメラ装置である。撮像装置１４はステレオカメラであって、撮像画像を情報処理装置１０に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、情報処理装置１０は、撮像画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動き（例えば位置、姿勢およびそれらの変化）を検出する。

なお、ＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、ＨＭＤ１００は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、ＨＭＤ１００の動きを情報処理装置１０が検出できるのであれば、どのようなトラッキング手法を採用してもよい。

ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤ１００を装着したユーザと、別のユーザ（フレンド等）とが一緒に映像コンテンツを視聴する場合、出力装置１５からは、別のユーザの視点からの映像コンテンツが表示されてもよい。

ＡＰ１７は、無線アクセスポイントおよびルータの機能を有する。情報処理装置１０は、ＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。情報処理装置１０は、ＡＰ１７を介して、外部ネットワーク上の配信サーバ３に接続される。配信サーバ３は、所定のストリーミングプロトコルにしたがって、種々の映像コンテンツのデータを情報処理装置１０に送信する。

実施例のエンタテインメントシステム１は、ペットロボット５とペット管理サーバ７をさらに備える。ペットロボット５は、犬や猫等の動物を模した形状の公知のエンタテインメントロボットである。ペットロボット５は、現実空間においてユーザと触れ合い、また、ユーザの行動に反応して行動（作動）する第１オブジェクトとして位置づけられる。

また、ペットロボット５は、視覚・聴覚・触覚として機能する各種センサを備える。また、ペットロボット５には、感情を再現するプログラムがインストールされる。ペットロボット５に内蔵されたＣＰＵがこのプログラムを実行することにより、ペットロボット５は、同じ操作や刺激に対して、そのときの機嫌や成長度合いに応じた反応を示す。ペットロボット５は、長く稼働する間に、それまでの扱い状況に応じて、次第に個性を有するようになる。

また、ペットロボット５は、ユーザと触れ合った実績や、行動の履歴、感情の推移等を含むデータ（以下「学習データ」とも呼ぶ。）を記憶する。ペットロボット５は、自機の学習データをペット管理サーバ７にも保存する。ペット管理サーバ７は、ペットロボット５の動作状態等を管理する情報処理装置であり、ペットロボット５の学習データを記憶する機能を備える。

図２は、図１のＨＭＤ１００の外観形状を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。

図３は、図１のＨＭＤ１００の機能ブロックを示すブロック図である。本明細書のブロック図で示す複数の機能ブロックは、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムをＣＰＵが実行すること等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者に理解されるところであり、いずれかに限定されるものではない。

制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

図４は、図１の情報処理装置１０の機能ブロックを示すブロック図である。情報処理装置１０は、コンテンツ記憶部２０、ペット記憶部２２、来訪頻度記憶部２４、操作検出部３０、コンテンツ取得部３２、感情送信部３４、フレンド通信部３６、属性取得部３８、他者検出部４０、動作決定部４２、行動実績送信部４４、姿勢検出部４６、感情取得部４８、画像生成部５０、画像出力部５２、コントローラ制御部５４を備える。

図４に示す複数の機能ブロックのうち少なくとも一部は、コンピュータプログラム（実施例では映像視聴アプリケーション）のモジュールとして実装されてもよい。映像視聴アプリケーションは、ＤＶＤ等の記録メディアに格納されてもよく、情報処理装置１０は、記録メディアから映像視聴アプリケーションを読み出してストレージに記憶してもよい。また、情報処理装置１０は、ネットワーク上のサーバから映像視聴アプリケーションをダウンロードしてストレージに記憶してもよい。情報処理装置１０のＣＰＵまたはＧＰＵは、映像視聴アプリケーションをメインメモリに読み出して実行することにより、各機能ブロックの機能を発揮してもよい。

コンテンツ記憶部２０は、配信サーバ３から提供された映像コンテンツのデータを一時的に記憶する。ペット記憶部２２は、仮想現実空間（実施例ではＶＲ映画館）に登場してユーザのペットとして振る舞う第２オブジェクト（以下「ＶＲペット」とも呼ぶ。）に関する属性情報を記憶する。ＶＲペットは、ＶＲ映画館においてユーザ（ユーザのアバター）と触れ合い、ユーザ（ユーザのアバター）の行動に反応して行動（作動）する第２オブジェクトである。ＶＲペットに関する属性情報は、ユーザの名前、ＶＲペットの名前、ＶＲペットの画像データ、ＶＲペットがユーザと触れ合った実績、ユーザおよびＶＲペットの行動の履歴、ＶＲペットの感情の推移等を含む。

来訪頻度記憶部２４は、ユーザが仮想現実空間（実施例ではＶＲ映画館）を訪れた頻度に関するデータを記憶する。実施例の来訪頻度記憶部２４は、ユーザがＶＲ映画館を前回訪れてから、今回訪れるまでの間隔（すなわち来訪しなかった期間）を示すデータを記憶する。このデータは、ユーザが映像視聴アプリケーションを前回起動してから、今回起動するまでの間隔とも言える。変形例として、来訪頻度記憶部２４は、所定の単位期間（例えば１週間）におけるユーザの来訪回数（直近の来訪回数でもよく、平均回数でもよい）を記憶してもよい。

操作検出部３０は、入力装置１６に入力され、入力装置１６から通知されたユーザの操作を検出する。操作検出部３０は、検出したユーザ操作を他の機能ブロックに通知する。映像視聴アプリケーションの実行時に入力されうるユーザ操作は、ユーザが抱く感情の種類を示す操作を含む。実施例では、ユーザが楽しいと感じていることを示すボタン操作（以下「ファンボタン操作」とも呼ぶ。）と、ユーザが悲しいと感じていることを示すボタン操作（以下「サッドボタン操作」とも呼ぶ。）を含む。

感情送信部３４は、入力されたユーザ操作が示すユーザの感情を示すデータ（以下「感情データ」とも呼ぶ。）を配信サーバ３へ送信する。例えば、感情送信部３４は、ファンボタン操作が入力された場合、ユーザが楽しいと感じていることを示す感情データを送信し、サッドボタン操作が入力された場合、ユーザが悲しいと感じていることを示す感情データを送信する。

コンテンツ取得部３２は、配信サーバ３が提供する複数種類の映像コンテンツのうちユーザ操作により指定された映像コンテンツのデータを配信サーバ３から取得し、コンテンツ記憶部２０に格納する。例えば、コンテンツ取得部３２は、ユーザにより指定された映画の提供を配信サーバ３に要求し、配信サーバ３からストリーミング送信された上記映画の映像データをコンテンツ記憶部２０に格納する。

フレンド通信部３６は、ユーザ操作に応じて、ユーザのフレンドの情報処理装置と通信する。例えば、フレンド通信部３６は、ユーザのセッションに招待する内容、言い換えれば、ユーザのセッションへの参加を促す内容のメッセージを、配信サーバ３を介してフレンドの情報処理装置へ送信する。

属性取得部３８は、ペットロボット５に関する属性情報を外部装置から取得する。実施例では、属性取得部３８は、映像視聴アプリケーションの起動時にペットロボット５の学習データを配信サーバ３に要求する。配信サーバ３は、ペットロボット５から送信されてペット管理サーバ７に登録されたペットロボット５の学習データをペット管理サーバ７から取得する。属性取得部３８は、ペットロボット５の学習データを配信サーバ３から取得し、動作決定部４２に渡す。

他者検出部４０は、撮像装置１４から出力された撮像画像を参照し、その撮像画像にＨＭＤ１００を頭部に装着したユーザとは異なる人物が出現した場合、そのことを検出する。例えば、他者検出部４０は、撮像画像にユーザと異なる人物が映らない状態から、撮像画像にユーザと異なる人物が映る状態に変化した場合、ユーザと異なる人物がユーザの近傍位置に出現したことを検出する。他者検出部４０は、公知の輪郭検出技術を用いて撮像画像に映る人物を検出してもよい。

動作決定部４２は、ＶＲ映画館でのＶＲペットの行動、言い換えれば動作を決定する。例えば、ユーザ（ユーザのアバター）がＶＲ映画館のロビーに入場した場合、動作決定部４２は、ＶＲペットの動作として、しっぽを振ってユーザを歓迎する動作を決定してもよい。また、操作検出部３０によりファンボタン操作が検出された場合、動作決定部４２は、楽しいことを表現する動作を決定してもよい。また、操作検出部３０によりサッドボタン操作が検出された場合、動作決定部４２は、悲しいことを表現する動作を決定する。

また、不図示の音声検出部によりユーザが「来い」と発声したことが検出される（もしくは所定のボタン操作が入力される）と、動作決定部４２は、ＶＲペットの動作として、ユーザに近づく動作を決定してもよい。また、音声検出部によりユーザが「お座り」と発声したことが検出される（もしくは所定のボタン操作が入力される）と、動作決定部４２は、ＶＲペットの動作として、お座りする動作を決定してもよい。

また、動作決定部４２は、属性取得部３８により取得されたペットロボット５の属性情報（例えば学習データ）に応じて、ＶＲペットの行動および動作を決定する。例えば、動作決定部４２は、ペットロボット５の最近の機嫌（良いまたは悪い）に対応する行動をＶＲペットの行動として決定してもよい。また、動作決定部４２は、学習データが示すペットの名前を取得し、不図示の音声検出部によりペットの名前が呼ばれたことが検出された場合、その呼びかけに反応する動作を決定してもよい。また、学習データは、ペットロボット５が学習した芸（お手、お座り、伏せ等）の情報を含んでもよい。動作決定部４２は、ユーザによる入力装置１６の操作や、ユーザの発声に応じた芸をするようＶＲペットの動作を決定してもよい。

また、動作決定部４２は、来訪頻度記憶部２４に記憶されたユーザの来訪頻度に関するデータをもとにＶＲペットの動作を変化させる。実施例では、来訪頻度が相対的に高い場合、具体的には、前回来訪から今回来訪までの間隔が所定の閾値未満（例えば１週間未満）である場合、動作決定部４２は、ＶＲペットの動作として、ユーザ（ユーザのアバター）に対して親近感を示す動作を決定する。親近感を示す動作は、（１）走ってユーザに近づき、跳ね回ること、（２）ユーザの指示にすぐに反応すること、（３）ファンボタン操作またはサッドボタン操作に対して特別な動作を行うこと、のいずれかまたは組合せであってもよい。

一方、ユーザの来訪頻度が相対的に低い場合、具体的には、前回来訪から今回来訪までの間隔が所定の閾値以上（例えば１週間以上）である場合、動作決定部４２は、ＶＲペットの動作として、ユーザ（ユーザのアバター）に対して疎遠であることを示す動作を決定する。疎遠であることを示す動作は、（１）１回の呼びかけでは反応しないこと、（２）ユーザの指示（コマンド）に応答しないこと（無視すること）、（３）ユーザに近寄らないこと、（４）ユーザから顔を背けること、のいずれかまたは組合せであってもよい。

また、動作決定部４２は、他者検出部４０によりユーザと異なる人物がユーザの近傍位置に出現したことが検出された場合、そのことをユーザに知らせるための特殊な注意喚起動作をＶＲペットの動作として決定する。注意喚起動作は、（１）ユーザの周囲や背後に向かって吠えること、（２）ユーザの服を噛んで引っ張ること、のいずれかまたは組合せであってもよい。

行動実績送信部４４は、動作決定部４２により決定されたＶＲペットの行動であって、ＶＲ画像に表示されたＶＲペットの行動に関するデータ（以下「ＶＲ行動履歴」とも呼ぶ。）を配信サーバ３へ送信する。配信サーバ３は、情報処理装置１０から送信されたＶＲ行動履歴を、ペット管理サーバ７を介してペットロボット５に記憶させる。ペット管理サーバ７は、ペットロボット５の学習データに、ＶＲ行動履歴を記録させてもよい。

姿勢検出部４６は、撮像装置１４から出力された撮像画像と、ＨＭＤ１００の姿勢センサ１２４から出力された姿勢情報とをもとに、公知のヘッドトラッキング技術を用いて、ＨＭＤ１００の位置および姿勢を検出する。言い換えれば、姿勢検出部４６は、ＨＭＤ１００を装着したユーザの頭部の位置および姿勢を検出する。

感情取得部４８は、ユーザと同一のセッションで同一の映像コンテンツを視聴する１人以上の他のユーザの感情（楽しさ、悲しさ等）を示す感情データを配信サーバ３から取得する。コントローラ制御部５４は、感情取得部４８により取得された感情データをもとに、ユーザおよび他のユーザの特定の感情の度合いが所定の閾値以上に達した場合、その特定の感情に対応付けられた態様で入力装置１６を振動させる。

例えば、ユーザおよび他のユーザが抱く楽しさの感情が所定の閾値以上に達した場合、コントローラ制御部５４は、楽しさに対応付けられた態様で入力装置１６を振動させてもよい。例えば、律動的に振動させてもよい。一方、ユーザおよび他のユーザが抱く悲しみの感情が所定の閾値以上に達した場合、コントローラ制御部５４は、悲しみに対応付けられた態様で入力装置１６を振動させてもよい。例えば、ゆっくりと長く振動させてもよい。

画像生成部５０は、操作検出部３０により検出されたユーザ操作に応じて、ＶＲ映画館のＶＲ画像を生成する。また、画像生成部５０は、姿勢検出部４６により検出されたＨＭＤ１００の位置および姿勢に整合する内容のＶＲ画像を生成する。画像出力部５２は、画像生成部５０により生成されたＶＲ画像のデータをＨＭＤ１００へ出力し、そのＶＲ画像をＨＭＤ１００に表示させる。

具体的には、画像生成部５０は、ＶＲペット画像を含むＶＲ画像であって、動作決定部４２により決定された態様でＶＲペット画像が動作するＶＲ画像を生成する。例えば、画像生成部５０は、ＶＲ空間へのユーザの来訪頻度に応じた態様でＶＲペット画像が動作するＶＲ画像を生成する。また、他者検出部４０によりユーザに対する他者の接近が検出された場合、画像生成部５０は、そのことをユーザに知らせる態様でＶＲペット画像が動作するＶＲ画像を生成する。

また、画像生成部５０は、コンテンツ記憶部２０に記憶された映像コンテンツの画像（言い換えれば再生結果）を含むＶＲ画像を生成する。また、画像生成部５０は、ユーザのセッションにフレンドが参加した場合、フレンドのアバター画像を含むＶＲ画像を生成する。また、画像生成部５０は、感情取得部４８により取得された感情データに応じてＶＲ画像を変化させる。

以上の構成によるエンタテインメントシステム１の動作を説明する。
ユーザは、情報処理装置１０において映像視聴アプリケーションを起動する。情報処理装置１０の画像生成部５０は、ＶＲ映画館のロビーの空間を示すＶＲ画像であって、ユーザのＶＲペット画像を含むＶＲ画像をＨＭＤ１００に表示させる。

情報処理装置１０の属性取得部３８は、ペット管理サーバ７に登録されたペットロボット５に関する属性情報を、配信サーバ３を介して取得する。情報処理装置１０の動作決定部４２は、ペットロボット５の属性情報に応じて、ＶＲペットの動作態様を決定する。画像生成部５０は、動作決定部４２により決定された態様にてＶＲペット画像が動作するＶＲ画像を表示させる。実施例のエンタテインメントシステム１によると、現実空間におけるペットロボット５の属性を引き継いだＶＲペットをユーザに提供でき、エンタテインメント性が高いＶＲ視聴体験をユーザに提供できる。

また、動作決定部４２は、ＶＲ映画館へのユーザの来訪頻度に応じて、ＶＲペットの動作態様を変化させることにより、ユーザに対するＶＲペットの親密度合いを変化させる。これにより、現実のペットに近い動作をＶＲペットに実現させ、また、ＶＲ映画館へのユーザの来訪を促進することができる。

ユーザは、ロビーでチケットを購入後、ＶＲペットともにスクリーンルームに入場可能となる。図５はＶＲ画像の例を示す。同図のＶＲ画像３００は、ＶＲ映画館のスクリーンルームを示している。スクリーンルームには、映像コンテンツが上映されるスクリーン３０２と、ダミーキャラクタ３０４、他のユーザを示す他ユーザアバター３０６が配置される。また、ユーザの隣の席にはユーザのＶＲペット３０８が着座する。なお、情報処理装置１０のコンテンツ取得部３２は、ユーザと同じ映像コンテンツを同時に視聴する他のユーザの情報をサーバから取得し、画像生成部５０は、取得された情報に応じて、他ユーザアバター３０６をＶＲ画像に含めてもよい。

図６もＶＲ画像の例を示す。同図のＶＲ画像３００では、スクリーン３０２に映像コンテンツが上映されている。腕３１０は、一人称視点から見えるユーザの腕に対応する画像である。情報処理装置１０の画像生成部５０は、ユーザからファンボタン操作が入力されると、腕３１０を上げ、または拍手する等、楽しさを表現する態様でユーザのアバター画像を動作させる。一方、ユーザからサッドボタン操作が入力されると、腕３１０で顔を覆い、または泣く等、悲しみを表現する態様でユーザのアバター画像を動作させる。

情報処理装置１０の動作決定部４２は、ファンボタン操作およびサッドボタン操作に応じて、ＶＲペットの動作を決定する。例えば、ファンボタン操作が入力された場合、動作決定部４２は、喜びを表現する動作（元気にしっぽを振る等）を決定してもよい。一方、サッドボタン操作が入力された場合、動作決定部４２は、悲しみを表現する動作（元気なく伏せる等）を決定してもよい。

また、情報処理装置１０の感情送信部３４は、ユーザの感情データを配信サーバ３へ送信し、配信サーバ３は、ユーザと同じ映像コンテンツを視聴している他のユーザ（フレンド等）の情報処理装置へその感情データを配信する。情報処理装置１０の感情取得部４８は、他のユーザの感情データを配信サーバ３から受け付ける。画像生成部５０は、感情データが示す感情を表現するように他ユーザアバター３０６を動作させる。これにより、他のユーザの感情をユーザに認識させ、また、他のユーザの感情に共感させることでＶＲ空間への没入感を一層高めることができる。

既述したように、情報処理装置１０の感情取得部４８は、ユーザと同じ映像コンテンツを視聴している他のユーザの感情データを取得する。画像生成部５０は、ユーザおよび他のユーザが抱きうる複数種類の感情に対応する複数のメーター画像をＶＲ画像に表示させてもよい。例えば、画像生成部５０は、楽しさに対応するメーター画像と、悲しみに対応するメーター画像をスクリーンルームのステージや天井等に表示させてもよい。画像生成部５０は、ユーザおよび他のユーザが抱く各感情の度合い（例えばファンボタン操作の回数や、サッドボタン操作の回数）に応じて、各感情のメーター画像の態様を変化させてもよい。このようなメーター画像により、同じ映像コンテンツを視聴する視聴者全体の感情の傾向（雰囲気）をユーザに分かり易く提示することができる。

また、画像生成部５０は、ユーザおよび他のユーザの特定の感情の度合いが所定の閾値以上に達した場合、その特定の感情に対応付けられた態様のＶＲ画像を表示させてもよい。例えば、画像生成部５０は、ユーザおよび他のユーザが抱く楽しさが所定の閾値以上に達した場合、スクリーンルームの一部（スクリーンの周辺や天井等）を暖色系の色彩（オレンジや黄色等）に変化させてもよい。上記閾値は、ファンボタン操作の回数が所定の閾値以上に達したことでもよく、同じ映像コンテンツを視聴する視聴者の過半数がファンボタン操作を入力したことでもよい。

一方、ユーザおよび他のユーザが抱く悲しみが所定の閾値以上に達した場合、画像生成部５０は、スクリーンルームの一部（スクリーンの周辺や天井等）を寒色系の色彩（青や紫等）に変化させてもよい。上記閾値は、サッドボタン操作の回数が所定の閾値以上に達したことでもよく、同じ映像コンテンツを視聴する視聴者の過半数がサッドボタン操作を入力したことでもよい。

また、動作決定部４２は、ユーザおよび他のユーザの特定の感情の度合いが所定の閾値以上に達した場合、その特定の感情に対応付けられた行動を、ＶＲペットの行動として決定してもよい。例えば、ユーザおよび他のユーザが抱く楽しさが所定の閾値以上に達した場合、動作決定部４２は、喜びを表現する動作（元気にしっぽを振る等）を決定してもよい。一方、動作決定部４２は、ユーザおよび他のユーザが抱く悲しみが所定の閾値以上に達した場合、悲しみを表現する動作（元気なく伏せる等）を決定してもよい。

なお、ロビーにおいて、ユーザは、フレンドを自身のセッションに招待するメニューを選択できる。情報処理装置１０のフレンド通信部３６は、上記メニューが選択された場合、ユーザのセッションにフレンドを招待する旨のメッセージをフレンドの情報処理装置（不図示）へ送信する。フレンド通信部３６は、フレンドの情報処理装置から送信された、フレンドがユーザのセッションに参加した旨の通知を受け付ける。画像生成部５０は、フレンドのアバター画像をロビーおよびスクリーンルームのＶＲ画像に表示させる。

この場合、配信サーバ３は、情報処理装置１０への映像コンテンツの配信と、フレンドの情報処理装置への同映像コンテンツの配信とを同期させる。ユーザとフレンドは、現実に同じ場所にいるかのように、同じ映像コンテンツを同時に視聴することができる。

情報処理装置１０の行動実績送信部４４は、仮想映画館におけるＶＲペットの行動内容を示すＶＲ行動履歴を、配信サーバ３を介してペットロボット５に反映する。これにより、仮想現実空間におけるＶＲペットの行動を、現実空間におけるペットロボット５の行動に反映させることができる。例えば、ＶＲ行動履歴が、ユーザとＶＲペットとの親密な行動を示す場合、現実空間におけるペットロボット５にもユーザに対して親密に振る舞わせることができる。

なお、ＶＲ行動履歴は、ＶＲペットの行動に代えて、または、ＶＲペットの行動とともに、ユーザの行動に関するデータを含んでもよい。これにより、仮想現実空間でのＶＲペットに対するユーザの行動（なでる、遊ぶ等）の実績を現実空間におけるペットロボット５の行動に反映させることができる。例えば、仮想現実空間でユーザがＶＲペットに触れ合うことにより、現実空間におけるユーザとペットロボット５との親密度を向上させることができる。

ＶＲ画像をＨＭＤ１００に表示中に、情報処理装置１０の他者検出部４０が、ユーザに対する他者の接近を検出すると、動作決定部４２は、そのことをユーザに知らせるための注意喚起動作をＶＲペットの動作として決定する。画像生成部５０は、ＶＲペットがユーザに注意喚起するＶＲ画像をＨＭＤ１００に表示させる。図１に示すように、ＨＭＤ１００を装着したユーザは、自身の周囲を確認することが困難になるが、ＶＲペットによる注意喚起動作により、ユーザは周囲に注意を向け、また、必要に応じて他者に声を掛けることができる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

第１変形例を説明する。エンタテインメントシステム１は、フリーマッチングにより、映像視聴アプリケーションを使用する複数のユーザを同一のゲームセッションに収容し、複数のユーザに同一の映像コンテンツを同時に視聴させてもよい。例えば、映像コンテンツが、ＰＶ（プロモーションビデオ）区間と、本体区間（映画の本編等）を含む場合、映像コンテンツの開始からＰＶ区間が終了するまでの間（本体区間の開始前）に、同一映像コンテンツのチケットを購入したユーザを同一のゲームセッションに収容してもよい。

この場合、情報処理装置１０のコンテンツ取得部３２は、同一のゲームセッションに収容された他のユーザに関する情報（アバターの種類や、席の情報、感情データ等）を配信サーバ３から取得してもよい。画像生成部５０は、他のユーザのアバター画像を含むＶＲ画像（スクリーンルーム画像）を生成してもよい。

第２変形例を説明する。上記実施例では、情報処理装置１０は、ペットロボット５に関する属性情報を、ペット管理サーバ７および配信サーバ３を経由して取得した。変形例として、情報処理装置１０は、ペットロボット５とＰ２Ｐ（ピアツーピア）通信し、属性情報をペットロボット５から直接取得してもよい。

第３変形例を説明する。上記実施例では、現実空間においてユーザの行動に反応して行動する第１オブジェクトとして、ペットロボットを例示した。実施例に記載の技術は、ペットロボットに限らず、現実空間においてユーザの行動に反応して行動する種々のオブジェクトに適用可能である。例えば、第１オブジェクトは、人型ロボットであってもよく、人間と対話可能な電子機器（スマートスピーカー等）であってもよい。また、第１オブジェクトは、現実の動物のペット（「リアルペット」と呼ぶ。）であってもよい。この場合、ユーザは、リアルペットに関する属性情報を情報処理装置１０に入力してもよく、または、所定の電子機器を使用して配信サーバ３に登録してもよい。

第４変形例を説明する。仮想現実空間においてユーザの行動に反応して行動する第２オブジェクトは、ユーザのペットに限らず、アニメ漫画やゲーム等に登場するキャラクタであってもよい。情報処理装置１０は、複数種類のペットやキャラクタの中からやり取りを行うペットまたはキャラクタをユーザに無料または有料にて選択させ、選択されたペットまたはキャラクタを仮想現実空間に登場させる切替部（および購入部）をさらに備えてもよい。情報処理装置１０の画像生成部５０は、ユーザがロビーに入場した際に、ユーザにより選択されたペットまたはキャラクタを含むＶＲ画像を表示させてもよい。

上記実施例で情報処理装置１０が備えた機能の少なくとも一部を、配信サーバ３が備えてもよく、ＨＭＤ１００が備えてもよい。また、上記実施例で情報処理装置１０が備えた機能は、複数のコンピュータが連携することにより実現されてもよい。

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１ エンタテインメントシステム、 ３ 配信サーバ、 ５ ペットロボット、 １０ 情報処理装置、 １４ 撮像装置、 ２４ 来訪頻度記憶部、 ３８ 属性取得部、 ４０ 他者検出部、 ４２ 動作決定部、 ４４ 行動実績送信部、 ５０ 画像生成部、 ５２ 画像出力部、 １００ ＨＭＤ。

この発明は、仮想現実空間の画像を生成するシステムに適用できる。

Claims (7)

1. 現実空間においてユーザの行動に反応して作動する第１オブジェクトに関する属性情報を外部装置から取得する取得部と、
   仮想現実空間においてユーザの行動に反応して作動する第２オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、前記取得部により取得された属性情報に応じて前記第２オブジェクトが動作する仮想現実画像を生成する生成部と、
   前記生成部により生成された仮想現実画像を表示装置に表示させる出力部と、
   を備えることを特徴とする情報処理システム。
2. 前記第１オブジェクトはロボットであり、
   前記取得部は、前記第１オブジェクトから送信された属性情報を取得することを特徴とする請求項１に記載の情報処理システム。
3. 仮想現実空間におけるユーザと前記第２オブジェクトの少なくとも一方の行動に関するデータを外部装置へ送信することにより、仮想現実空間での行動を前記第１オブジェクトに反映させる送信部をさらに備えることを特徴とする請求項２に記載の情報処理システム。
4. ユーザが仮想現実空間を訪れた頻度に関するデータを記憶する記憶部と、
   仮想現実空間における前記オブジェクト画像の動作を決定し、前記頻度に関するデータをもとに前記オブジェクト画像の動作を変化させる決定部と、をさらに備えることを特徴とする請求項１から３のいずれかに記載の情報処理システム。
5. ヘッドマウントディスプレイを装着したユーザを含む空間を撮像する撮像部をさらに備え、
   前記生成部は、前記ヘッドマウントディスプレイに表示させる仮想現実画像を生成し、前記撮像部により撮像された画像にユーザとは異なる人物が出現した場合、そのことをユーザに知らせる態様で前記オブジェクト画像が動作する仮想現実画像を生成することを特徴とする請求項１から４のいずれかに記載の情報処理システム。
6. 現実空間においてユーザの行動に反応して作動する第１オブジェクトに関する属性情報を外部装置から取得するステップと、
   仮想現実空間においてユーザの行動に反応して作動する第２オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、前記取得するステップで取得された属性情報に応じて前記第２オブジェクトが動作する仮想現実画像を生成するステップと、
   前記生成するステップで生成された仮想現実画像を表示装置に表示させるステップと、
   をコンピュータが実行することを特徴とする表示方法。
7. 現実空間においてユーザの行動に反応して作動する第１オブジェクトに関する属性情報を外部装置から取得する機能と、
   仮想現実空間においてユーザの行動に反応して作動する第２オブジェクトを示すオブジェクト画像を含む仮想現実画像であって、前記取得する機能により取得された属性情報に応じて前記第２オブジェクトが動作する仮想現実画像を生成する機能と、
   前記生成する機能により生成された仮想現実画像を表示装置に表示させる機能と、
   をコンピュータに実現させるためのコンピュータプログラム。

Images