JP7042644B2 - 情報処理装置、画像生成方法およびコンピュータプログラム - Google Patents

Description

本発明は、データ処理技術に関し、特にヘッドマウントディスプレイに表示する画像を処理する技術に関する。

ヘッドマウントディスプレイにパノラマ画像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、仮想空間への没入感を高めることができる。

国際公開第２０１７／１１０６３２号

ヘッドマウントディスプレイが普及しつつある中、ヘッドマウントディスプレイを装着して仮想空間の画像（以下「ＶＲ（Virtual Reality）画像」とも呼ぶ。）を視聴するユーザに斬新な視聴体験を提供することが求められている。

本発明はこうした課題に鑑みてなされたものであり、１つの目的は、ＶＲ画像を視聴するユーザに斬新な視聴体験を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、ヘッドマウントディスプレイに表示させる仮想空間の画像を取得する第１取得部と、仮想空間に関する複数種類の情報を取得する第２取得部と、複数種類の情報を表示する複数のコンポーネントと、ユーザが把持するコントローラに対応するコントローラオブジェクトとを仮想空間に配置した表示用画像を生成する画像生成部と、表示用画像をヘッドマウントディスプレイに表示させる出力部と、を備える。画像生成部は、複数のコンポーネントのうちコントローラオブジェクトにより選択されたコンポーネントを選択状態とした表示用画像を生成し、画像生成部は、或るコンポーネントが選択状態である場合にコントローラに入力された操作に基づいて、選択状態のコンポーネントにおける表示内容を更新した表示用画像を生成する。

本発明の別の態様は、画像生成方法である。この方法は、ヘッドマウントディスプレイに表示させる仮想空間の画像を取得するステップと、仮想空間に関する複数種類の情報を取得するステップと、複数種類の情報を表示する複数のコンポーネントと、ユーザが把持するコントローラに対応するコントローラオブジェクトとを仮想空間に配置した表示用画像を生成するステップと、表示用画像をヘッドマウントディスプレイに表示させるステップと、をコンピュータが実行し、生成するステップは、複数のコンポーネントのうち仮想空間においてコントローラオブジェクトにより選択されたコンポーネントを選択状態とした表示用画像を生成し、生成するステップは、或るコンポーネントが選択状態である場合にコントローラに入力された操作に基づいて、選択状態のコンポーネントにおける表示内容を更新した表示用画像を生成する。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ＶＲ画像を視聴するユーザに斬新な視聴体験を提供することができる。

実施例に係るヘッドマウントディスプレイの外観図である。 図１のヘッドマウントディスプレイの機能構成を示すブロック図である。 実施例に係るエンタテインメントシステムの構成図である。 図３の情報処理装置の内部回路構成を示す図である。 図３の情報処理装置の機能構成を示すブロック図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。 ＶＲ画像の例を示す図である。

図１は、実施例に係るヘッドマウントディスプレイの外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ１００の形状に制限はなく、例えば、帽子型でもよく、眼鏡型でもよい。

実施例では、ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報およびユーザの視線を計測する。変形例として、ユーザがモーションセンサを頭部に装着したり、注視点検出装置を用いて赤外線の反射を検出したりすることで視線を検出してもよい。あるいは、ヘッドマウントディスプレイまたはユーザの頭部にマーカーを装着させ、その姿を撮影した画像を解析することにより、ヘッドマウントディスプレイまたはユーザの姿勢と視線を推定してもよい。

図２は、図１のヘッドマウントディスプレイ１００の機能構成を示すブロック図である。本明細書のブロック図で示す複数の機能ブロックは、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムをＣＰＵが実行すること等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

モーションセンサ６４は、ヘッドマウントディスプレイ１００の本体部１１０の回転角や傾きなどの姿勢情報を検出する。モーションセンサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。外部入出力端子インタフェース７０は、周辺機器を接続するためのインタフェースであり、例えばＵＳＢ（Universal Serial Bus）コントローラである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させたりすることができる。

図３は、実施例に係るエンタテインメントシステムの構成図である。エンタテインメントシステム３００は、現在行われているコンサートやカンファレンスの映像を、ユーザが装着したヘッドマウントディスプレイ１００に表示させる情報処理システムである。

情報処理装置２００は、ヘッドマウントディスプレイ１００の表示内容を制御する据置型ゲーム機である。変形例として、情報処理装置２００は、ＰＣ、タブレット端末、スマートフォン、携帯型ゲーム機であってもよい。また、情報処理装置２００は、ヘッドマウントディスプレイ１００と一体化されてもよく、言い換えれば、情報処理装置２００の機能は、ヘッドマウントディスプレイ１００に組み込まれてもよい。

情報処理装置２００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェースを介してヘッドマウントディスプレイ１００およびコントローラ２０２に接続される。また、情報処理装置２００は、ＬＡＮ・ＷＡＮ・インターネット等を含む通信網３０８を介して、管理サーバ３０４、ＳＮＳサーバ３０６、ライブ配信システム３０２の配信サーバ３１２と接続される。

コントローラ２０２は、ヘッドマウントディスプレイ１００を装着したユーザが把持するものであり、情報処理装置２００に対するユーザの操作を受け付け、その操作内容を情報処理装置２００へ送信する。また、コントローラ２０２は、モーションセンサを備える。モーションセンサは、コントローラ２０２の回転角や傾きなどの姿勢情報を検出する。このモーションセンサは、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。

ライブ配信システム３０２は、現在行われている様々なイベント（例えばコンサートやカンファレンス等）の映像を、複数のユーザの複数の情報処理装置２００へ配信する情報処理システムである。ライブ配信システム３０２は、複数の全天球カメラ３１０（例えば全天球カメラ３１０ａ、全天球カメラ３１０ｂ、全天球カメラ３１０ｃ）と、配信サーバ３１２を含む。

全天球カメラ３１０は、イベントが実施されている会場（例えば屋内または野外のコンサート会場やカンファレンス会場）に配置され、上下左右全方位のパノラマ画像を撮像する。全天球カメラ３１０は、全方位カメラまたは３６０度カメラとも言える。配信サーバ３１２は、複数の全天球カメラ３１０により撮像された複数のパノラマ画像のデータを取得する。配信サーバ３１２は、複数の全天球カメラ３１０のうちユーザにより選択された全天球カメラ３１０により撮像されたパノラマ画像のデータを情報処理装置２００へ送信する。

管理サーバ３０４は、アカウント制のオンラインサービス（例えば複数のユーザのコミュニティサービス）を提供する情報処理装置である。管理サーバ３０４は、ユーザのフレンドに関する情報を情報処理装置２００へ提供し、また、複数のユーザ（情報処理装置２００）間で送受信されるデータを中継する。ＳＮＳサーバ３０６は、ソーシャル・ネットワーキング・サービスを提供する情報処理装置である。例えば、ＳＮＳサーバ３０６は、画像共有サービス、ミニブログサービス、チャットサービスを提供する。エンタテインメントシステム３００は、複数のＳＮＳ業者の複数のＳＮＳサーバ３０６を含んでよい。

図４は、図３の情報処理装置２００の内部回路構成を示す。情報処理装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００などの表示装置へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより情報処理装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図５は、図３の情報処理装置２００の機能構成を示すブロック図である。情報処理装置２００は、コンポーネント記憶部３２０、撮像画像記憶部３２２、画像取得部３３０、関連情報取得部３３２、フレンド情報取得部３３４、位置・姿勢取得部３３６、視野制御部３３８、操作検出部３４０、コンテンツ処理部３４２、画像生成部３４４、出力部３４６を備える。これらの機能のうち少なくとも一部は、ヘッドマウントディスプレイ１００（図２の制御部１０、記憶部５０等）に実装されてもよく、あるいは、ネットワークを介して接続されたサーバ（配信サーバ３１２等）に実装されてもよい。

図５の複数の機能ブロックのうち少なくとも一部は、各機能ブロックに対応するモジュールを含むコンピュータプログラム（例えばライブストリーミング視聴アプリケーション）として実装されてもよい。このコンピュータプログラムは、ＤＶＤ等の記録メディアに格納され、または、ネットワークからダウンロードされて、情報処理装置２００の記憶部２３４にインストールされてもよい。情報処理装置２００のＣＰＵ２２２およびＧＰＵ２２４は、このコンピュータプログラムをメインメモリ２２６に読み出して実行することにより、各機能ブロックの機能を発揮してもよい。

コンポーネント記憶部３２０は、ＶＲ画像内で表示される複数種類のコンポーネントのそれぞれについて、形状や表示内容等に関するデータを記憶する。コンポーネントは、仮想空間のコンテンツ（例えばイベントの内容や、演者、登壇者等）に関連した様々な情報を表示するＧＵＩ部品である。コンポーネントは、サブウィンドウ、パネル、またはダッシュボードとも言える。撮像画像記憶部３２２は、後述の撮像部３５２により生成された画像データを記憶する。

画像取得部３３０は、配信サーバ３１２から送信された、ヘッドマウントディスプレイ１００に表示させる仮想空間のデータを取得する。即ち、画像取得部３３０は、仮想空間の画像を取得する第１取得部を構成している。仮想空間のデータは、全天球カメラ３１０により撮像されたパノラマ画像のデータを含む。また、仮想空間のデータは、撮像されたイベントの内容やスケジュール、演者・登壇者に関する情報、撮像場所を示す情報等、撮像対象に関する様々な情報である撮像対象情報を含む。

関連情報取得部３３２は、ヘッドマウントディスプレイ１００で表示される仮想空間に関連する複数種類の情報（以下「関連情報」とも呼ぶ。）を配信サーバ３１２、ＳＮＳサーバ３０６から取得する。即ち、関連情報取得部３３２は、第２取得部を構成している。関連情報は、ライブ配信されたメインのコンテンツ（イベントの様子等）に関連する付加的・付随的な情報であり、即時性のある情報を含む。例えば、関連情報は、（１）第２画面用の画像データ、（２）ヒートマップのデータ、（３）演者や登壇者に関するデータ、（４）イベントのスケジュール、（５）イベントに関連づけられたミニブログの投稿データ、（６）ニュースサイトやブログサイト等のフィードデータであってもよい。実施例では、関連情報は、コンポーネント上に表示される。

フレンド情報取得部３３４は、ユーザが予め設定した１人以上のフレンドに関する情報（以下「フレンド情報」とも呼ぶ。）を管理サーバ３０４から取得する。フレンド情報は、１人以上のフレンドそれぞれについてのアバター情報、オンラインの有無、ヘッドマウントディスプレイ１００の起動有無、ヘッドマウントディスプレイ１００の姿勢（言い換えればフレンドの視線方向）の少なくとも１つを含んでもよい。

位置・姿勢取得部３３６は、ヘッドマウントディスプレイ１００の位置および／または姿勢を取得する。位置・姿勢取得部３３６は、ヘッドマウントディスプレイ１００のモーションセンサ６４の検出値に基づいて、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢を所定のレートで検出する。

位置は、現実世界の３次元空間においてヘッドマウントディスプレイ１００が存在する位置を示す座標であってもよい。姿勢は、縦方向、横方向、高さ方向の３軸におけるヘッドマウントディスプレイ１００の傾きであってもよい。位置・姿勢取得部３３６は、情報処理装置２００に接続した図示しない撮像装置による撮像画像に基づき、頭部の位置や姿勢を取得してもよく、その結果をモーションセンサによる情報と統合してもよい。

なお、位置・姿勢取得部３３６により取得されたヘッドマウントディスプレイ１００の位置および姿勢は、不図示の送信部により、管理サーバ３０４へ定期的にアップロードされてもよい。管理サーバ３０４は、或るユーザの情報処理装置２００からアップロードされたヘッドマウントディスプレイ１００の位置および姿勢の情報を当該ユーザのフレンドの情報処理装置２００へ提供してもよい。これにより、複数のユーザ間（フレンド間）で、ヘッドマウントディスプレイ１００の位置および姿勢を共有することができる。

また、位置・姿勢取得部３３６は、コントローラ２０２の位置および／または姿勢を取得する。位置・姿勢取得部３３６は、コントローラ２０２に内蔵されたモーションセンサの検出値に基づいて、コントローラ２０２の位置や姿勢を所定のレートで検出する。なお、位置・姿勢取得部３３６は、情報処理装置２００に接続した図示しない撮像装置による撮像画像に基づき、コントローラ２０２の位置や姿勢を取得してもよく、その結果をモーションセンサによる情報と統合してもよい。

視野制御部３３８は、ユーザの視線に基づき表示画像の視野を制御する。視野制御部３３８は、位置・姿勢取得部３３６により取得された頭部の位置および／または姿勢に基づいて、ユーザの視野の範囲を決定する。視野制御部３３８は、描画対象の３次元空間に対する視野面（スクリーン）を設定する。

例えば、パノラマ画像が示す仮想空間に、空中に浮かぶコンポーネントとユーザの頭部を包含するような大きさの全天球状の背景オブジェクトを、一般的なコンピュータグラフィックスと同様のグローバル座標系に定義してもよい。これにより空間に奥行き感が生じ、コンポーネントが空中に浮いている状態、もしくは、仮想空間の背景（例えば壁や天井等）に貼り付いた状態をより印象づけられる。視野制御部３３８は、当該グローバル座標系に対するスクリーン座標を、ヘッドマウントディスプレイ１００の姿勢に基づいて所定のレートで設定してもよい。

ヘッドマウントディスプレイ１００の姿勢、すなわちユーザ頭部のオイラー角によってユーザの顔面の向く方向が判明する。視野制御部３３８は少なくとも、当該顔面の向く方向に対応させてスクリーン座標を設定することにより、ユーザが向く方向に応じた視野で仮想空間がスクリーン平面に描画されるようにする。この場合、ユーザの顔面の法線ベクトルをおよそ視線の方向と推定していることになる。

なお赤外線の反射などにより注視点を検出する装置を用いればさらに詳細な視線情報を得ることができる。以後の説明では、導出手法によらず推定あるいは検出された、ユーザが見ている方向を総じて「視線」の方向と称する。視野制御部３３８は、ユーザ頭部の姿勢の変化が所定の値を超えるまでは検出された角度の変化を無視するようにして、意図せず画像がぶれるのを防いでもよい。また、表示画像のズーム操作を受け付けるような場合は、ズーム倍率に基づいて頭部の角度検出の感度を調整してもよい。

操作検出部３４０は、コントローラ２０２から受信した信号に基づいて、ユーザがコントローラ２０２に入力した操作を検出する。操作検出部３４０は、コントローラ２０２に入力された操作と、当該操作の対象（ＶＲ画像内のオブジェクト等）に応じて、ユーザにより指示された動作および／または処理をユーザ操作として識別する。ユーザ操作は、例えば、メニューアイコンの選択、コンポーネントの選択、コンポーネントの操作、カメラ操作、ＳＮＳ投稿操作を含む。また、操作検出部３４０は、位置・姿勢取得部３３６により検出されたコントローラ２０２の位置や姿勢もユーザ操作として検出する。

コンテンツ処理部３４２は、操作検出部３４０により検出されたユーザ操作に応じて、各種データ処理を実行する。コンテンツ処理部３４２は、要求部３５０、撮像部３５２、登録部３５４を含む。要求部３５０は、配信サーバ３１２に対してライブ配信に関する要求を送信する。また、要求部３５０は、管理サーバ３０４に対してユーザ情報の提供を要求する。

撮像部３５２は、後述のカメラオブジェクトにより指定された撮像対象領域の画像を撮像画像として生成し、撮像画像記憶部３２２に格納する。登録部３５４は、撮像画像記憶部３２２に格納された１つ以上の撮像画像のうちユーザにより指定された撮像画像をＳＮＳサーバ３０６へ登録する。これにより、登録部３５４は、ＳＮＳを利用する他のユーザによる撮像画像の閲覧を可能にする。

画像生成部３４４は、配信サーバ３１２により取得されたパノラマ画像が示す仮想空間を、視野制御部３３８が決定したユーザの視線方向に応じたスクリーンに投影することにより、ヘッドマウントディスプレイ１００に表示させる表示用画像（以下「ＶＲ画像」と呼ぶ。）を所定のレートで生成する。これにより、画像生成部３４４は、ライブ配信されたイベントの映像を、ユーザの姿勢に応じた態様で、ヘッドマウントディスプレイ１００に表示させる。

画像生成部３４４は、ヘッドマウントディスプレイ１００において立体視できるようにＶＲ画像を生成してもよい。すなわち、画像生成部３４４は、ＶＲ画像として、ヘッドマウントディスプレイ１００の画面を左右に分割してなる領域にそれぞれ表示するための、左眼用、右眼用の視差画像を生成してもよい。

出力部３４６は、画像生成部３４４により生成されたＶＲ画像のデータをヘッドマウントディスプレイ１００に所定のレートで送信し、ヘッドマウントディスプレイ１００のディスプレイにＶＲ画像を表示させる。

以上の構成による情報処理装置２００の動作を説明する。
ユーザが、情報処理装置２００においてライブストリーミング視聴アプリケーションを起動すると、情報処理装置２００は、配信サーバ３１２にアクセスする。配信サーバ３１２は、ライブストリーミングを提供中のチャンネルの一覧情報を情報処理装置２００に提供し、情報処理装置２００は、チャンネルの一覧情報をヘッドマウントディスプレイ１００に表示させる。ユーザが特定のチャンネルを選択すると、情報処理装置２００の要求部３５０は、選択されたチャンネル映像の配信を配信サーバ３１２に要求する。ここでは、ゲームカンファレンスの中継が選択されたこととする。

配信サーバ３１２は、ゲームカンファレンスの会場に配置された全天球カメラ３１０により撮像された全天球のパノラマ画像を含む仮想空間データを所定のレートで情報処理装置２００へ送信する。情報処理装置２００の画像取得部３３０は、配信サーバ３１２から送信されたパノラマ画像を取得する。視野制御部３３８は、ヘッドマウントディスプレイ１００の姿勢に基づいて、ユーザの視野の範囲を検出する。

画像生成部３４４は、パノラマ画像からユーザの視野の範囲を抽出したＶＲ画像を生成する。出力部３４６は、ＶＲ画像をヘッドマウントディスプレイ１００へ出力して表示させる。図６～図１６は、ＶＲ画像の例を示す。以下、図６～図１６を参照して、ヘッドマウントディスプレイ１００に表示されるＶＲ画像の遷移を説明する。

（１）コンポーネントの表示に関する動作：
図６のＶＲ画像４００は、ユーザが略正面を向いている場合にヘッドマウントディスプレイ１００に表示される。情報処理装置２００の位置・姿勢取得部３３６は、ユーザの視線方向の変化を検出し、視野制御部３３８および画像生成部３４４は、ユーザの視線方向の変化に応じて、配信サーバ３１２から送信されたパノラマ画像から抽出する領域を決定する。これにより、ユーザの視線方向の変化に追従したＶＲ画像４００をヘッドマウントディスプレイ１００に表示させる。

図７は、コンポーネントの表示を指示する所定の操作がコントローラ２０２を介して入力された場合のＶＲ画像４００の例を示す。コンポーネントの表示が指示された場合、情報処理装置２００の関連情報取得部３３２は、ライブ配信中のゲームカンファレンスに関する複数種類の関連情報を配信サーバ３１２またはＳＮＳサーバ３０６から取得する。情報処理装置２００の画像生成部３４４は、複数種類の関連情報を示す複数のコンポーネント４０２をパノラマ画像に重畳して配置したＶＲ画像４００を生成する。なお、図７は、複数のコンポーネント４０２が初期位置に配置された状態を示している。画像生成部３４４は、非選択状態のコンポーネントを、背景のオブジェクトが見えるように半透過属性に設定する。

複数のコンポーネント４０２は、コンポーネント４０２ａ、コンポーネント４０２ｂ、コンポーネント４０２ｃ、コンポーネント４０２ｄを含む。コンポーネント４０２ａは、第２画面を表示するコンポーネントである。第２画面は、ＶＲ画像４００のメインコンテンツ（コンポーネント領域の外に写るコンテンツ）とは別のコンテンツを表示可能なサブウィンドウである。関連情報取得部３３２は、第２画面用の画像データを配信サーバ３１２から取得する。画像生成部３４４は、コンポーネント記憶部３２０に記憶された第２画面用のサブウィンドウに第２画面用の画像データを設定したコンポーネント４０２ａをＶＲ画像４００上に配置する。

コンポーネント４０２ｂは、ヒートマップを表示するコンポーネントである。ヒートマップは、行列型の数字データの強弱を色で視覚化したグラフである。図７のコンポーネント４０２ｂでは地球儀が描かれ、当該ゲームカンファレンスの映像が配信されているユーザ数（言い換えれば配信サーバ３１２へのアクセス数）が多い地域が、特定の色彩やアニメーションにより強調して示される。関連情報取得部３３２は、ヒートマップの元データとしての行列データを配信サーバ３１２または管理サーバ３０４から取得する。画像生成部３４４は、コンポーネント記憶部３２０に記憶されたヒートマップ用のオブジェクトを、行列データに基づいて外観を設定した上で、コンポーネント４０２ｂとしてＶＲ画像４００上に配置する。

コンポーネント４０２ｃは、演者または登壇者に関する情報（以下「演者情報」とも呼ぶ。）を表示するコンポーネントである。演者情報は、演者または登壇者の写真や、経歴、プロフィールを含む。関連情報取得部３３２は、演者情報を配信サーバ３１２から取得する。画像生成部３４４は、演者情報を設定したサブウィンドウをコンポーネント４０２ｃとしてＶＲ画像４００上に配置する。

コンポーネント４０２ｄは、イベント（ここではゲームカンファレンス）のスケジュールを表示するコンポーネントである。関連情報取得部３３２は、イベントのスケジュール情報を配信サーバ３１２から取得する。画像生成部３４４は、イベントのスケジュール情報を設定したサブウィンドウをコンポーネント４０２ｄとしてＶＲ画像４００上に配置する。

図８は、コンポーネント４０２ａ（第２画面）が選択された場合のＶＲ画像４００を示している。位置・姿勢取得部３３６によりコントローラ２０２の姿勢変化が検出された場合、画像生成部３４４は、コントローラオブジェクト４０４と、そのコントローラオブジェクト４０４から伸びるビーム４０６をさらに描画したＶＲ画像４００を新たに生成して表示させる。

コントローラオブジェクト４０４は、ユーザが把持するコントローラ２０２に対応する仮想空間内のオブジェクト（ＶＲコンテンツ）である。画像生成部３４４は、コントローラ２０２の姿勢とコントローラオブジェクト４０４の姿勢を同期させ、言い換えれば、コントローラ２０２の姿勢変化に合わせてコントローラオブジェクト４０４の姿勢を変化させる。ビーム４０６は、コントローラオブジェクト４０４の奥側側面（ユーザから見て奥側側面）から垂直に照射される光ビームである。

ユーザは、所望のコンポーネント４０２に対してビーム４０６を当て、コントローラ２０２の所定ボタンを押下することで、そのコンポーネント４０２を操作対象として選択する。また、ユーザは、或るコンポーネント４０２を選択状態とした場合に、上記のボタンを押し続けることで、そのコンポーネント４０２の選択状態を維持する。

画像生成部３４４は、ＶＲ画像４００内の複数のコンポーネント４０２のうちコントローラオブジェクト４０４から伸びるビーム４０６により選択されたコンポーネント４０２を選択状態としたＶＲ画像４００を新たに生成して表示させる。図８では、コンポーネント４０２ａ（第２画面）がビーム４０６により選択された状態になっている。画像生成部３４４は、選択状態のコンポーネント４０２を、背景のオブジェクトが見えないように非透過属性に設定する。また、画像生成部３４４は、選択状態のコンポーネント４０２のサイズを非選択状態時より拡大する。

画像生成部３４４は、或るコンポーネント４０２が選択状態であるとき、コントローラ２０２に第１の操作が入力された場合、仮想空間における選択状態のコンポーネント４０２の位置を変更したＶＲ画像４００を新たに生成する。ここでの第１の操作は、現実世界でのコントローラ２０２の位置または姿勢を変える操作である。画像生成部３４４は、位置・姿勢取得部３３６により検出されたコントローラ２０２の位置または姿勢の変化に応じて、仮想空間における選択状態のコンポーネント４０２の位置または姿勢を変更する。姿勢は、ユーザの視線方向に対するコンポーネント４０２の角度であってもよく、鉛直方向に対するコンポーネント４０２の角度であってもよい。例えば、現実空間でコントローラ２０２が左方向に動かされた場合、仮想空間における選択状態のコンポーネント４０２を左方向に動かす。

ユーザは、或るコンポーネント４０２を選択した状態を続けつつ（所定のボタンの押下を続けつつ）コントローラ２０２を動かすことにより、仮想空間において当該コンポーネント４０２を動かすことができる。

画像生成部３４４は、或るコンポーネント４０２が選択状態であるとき、コントローラ２０２に第２の操作が入力された場合、当該コンポーネント４０２を非選択状態としたＶＲ画像４００であって、仮想空間の背景オブジェクト上に当該コンポーネント４０２を配置したＶＲ画像４００を新たに生成する。ここでの第２の操作は、当該コンポーネント４０２を選択状態とする場合と同じ操作である。既述したように、非選択状態のコンポーネント４０２は、選択状態時より小さいサイズで表示され、また、背景を透過する状態で表示される。

画像生成部３４４は、或るコンポーネント４０２が選択状態であるとき、コントローラ２０２に上記第２の操作が入力された場合、コントローラオブジェクト４０４の姿勢により特定される背景オブジェクト上の位置にそのコンポーネント４０２を配置する。図８で示したように、或るコンポーネント４０２が選択状態であるとき、ＶＲ画像４００ではビーム４０６が選択状態のコンポーネント４０２を指した状態となるが、画像生成部３４４は、ビーム４０６を伸ばした場合に背景オブジェクト（元のパノラマ画像上のオブジェクト）に達する位置にコンポーネント４０２を配置する。

図９では、コンポーネント４０２ａ（第２画面）とコンポーネント４０２ｃ（演者情報）の位置が変更された後、仮想空間の背景オブジェクト（カンファレンス会場の天井等）上に貼り付けられた状態を示している。画像生成部３４４は、コンポーネント４０２を背景オブジェクト上に貼り付けたように見せるため、背景オブジェクト上にコンポーネント４０２の画像をマッピングしてもよい。また、画像生成部３４４は、上記特許文献１に記載の技術を使用して、仮想空間におけるユーザの頭部を中心とする球形の背景オブジェクト上に当該コンポーネント４０２を配置したＶＲ画像４００を生成してもよい。

このように実施例のエンタテインメントシステム３００は、ライブ配信のメインコンテンツ（例えばゲームカンファレンス会場の様子）に関連する様々な情報をコンポーネント４０２を介してユーザに提供する。ヘッドマウントディスプレイ１００を装着したユーザはスマートフォン等を用いた即時の情報取得が困難であるところ、コンポーネント４０２が即時性のある情報を提示することによりユーザの利便性を高めることができる。

また、複数のコンポーネント４０２のそれぞれをユーザが任意の位置に移動可能であるため、コンポーネント４０２がライブ配信のメインコンテンツの視聴の妨げになってしまうことを回避できる。また、コンポーネント４０２を背景オブジェクト上に配置することで、ユーザに圧迫感や違和感を抱かせにくくなる。

画像生成部３４４は、或るコンポーネント４０２が選択状態であるとき、コントローラ２０２に第３の操作が入力された場合、選択状態のコンポーネント４０２を回動させたＶＲ画像４００を新たに生成する。実施例での第３の操作は、コントローラ２０２の左アナログスティックに対する操作である。

画像生成部３４４は、コントローラ２０２の左アナログスティックに対する複数の操作態様と、コンポーネント４０２の複数の回動態様との対応関係を記憶してもよい。画像生成部３４４は、コントローラ２０２の左アナログスティックに対する操作が検出された場合、選択状態のコンポーネント４０２を、操作態様に応じた態様で回動させたＶＲ画像４００を新たに生成して表示させる。コンポーネント４０２の複数の回動態様は、ピッチング、ローリング、ヨーイングのいずれか、または組み合わせであってもよい。

画像生成部３４４は、コンポーネント４０２を回動させた後に、当該コンポーネント４０２に対して上記第２の操作が入力された場合、回動後のコンポーネント４０２の画像を仮想空間の背景オブジェクトにテクスチャマッピングして貼り付ける。このように、ユーザによるコンポーネント４０２の回動を可能にすることで、コンポーネント４０２の配置態様の自由度を一層高めることができる。

なお、配信サーバ３１２から提供されるパノラマ画像には、コンポーネントの配置を禁止する位置または領域（以下「配置禁止位置」とも呼ぶ。）を示すデータが付加されてもよい。画像生成部３４４は、選択状態が解除されたコンポーネント４０２を背景オブジェクト上に配置する場合に、コントローラオブジェクト４０４（ビーム４０６）により指定された配置位置（本来配置するはずの位置）が、配置禁止位置に一致するか否か、言い換えれば、配置禁止位置が示す領域に含まれるか否かを判定してもよい。

画像生成部３４４は、配置禁止位置に不一致であれば、コントローラオブジェクト４０４（ビーム４０６）により指定された位置にコンポーネント４０２を配置する一方、配置禁止位置に一致する場合、上記指定された位置にコンポーネント４０２を配置することを抑制する。例えば、画像生成部３４４は、コンポーネント４０２の選択状態を維持しつつ、現在指定された領域にコンポーネント４０２を配置できないことを示すメッセージを含むＶＲ画像４００を表示させてもよい。

または、画像生成部３４４は、コントローラオブジェクト４０４（ビーム４０６）により指定された位置の近傍位置であり、かつ、配置禁止位置に該当しない位置にコンポーネント４０２を配置してもよい。例えば、図６に示すステージ中心領域が配置禁止位置であり、コントローラオブジェクト４０４（ビーム４０６）により指定された位置がステージ中心領域に該当する場合、画像生成部３４４は、ステージの周辺領域にコンポーネント４０２を配置してもよい。この態様によると、コンポーネントの表示により、ライブ配信のメインコンテンツの視認性が低下することを防止できる。

画像生成部３４４は、或るコンポーネント４０２が選択状態である場合に、コントローラ２０２に入力された操作（例えば右アナログスティックの操作）に基づいて、選択状態のコンポーネント４０２における表示内容を更新したＶＲ画像４００を新たに生成する。言い換えれば、画像生成部３４４は、或るコンポーネント４０２が選択状態であるとき、選択状態のコンポーネント４０２に対する操作として予め定められた所定の操作が入力された場合、当該コンポーネント４０２に対する操作結果を示すように当該コンポーネント４０２の表示内容を更新する。

図１０は、コンポーネント４０２ｃ（演者情報）が選択された状態を示している。画像生成部３４４は、コントローラ２０２の右アナログスティックが下方向（言い換えれば後ろ方向）に倒された場合、コンポーネント４０２ｃの文章およびスクロールバー４０８を下方向にスクロールさせる。また、画像生成部３４４は、コントローラ２０２の右アナログスティックが上方向（言い換えれば前方向）に倒された場合、コンポーネント４０２ｃの文章およびスクロールバー４０８を上方向にスクロールさせる。

なお、コンポーネント４０２に対する操作は、文書の操作に限られない。例えば、コンポーネント４０２ａ（第２画面）が選択状態の場合、画像生成部３４４は、ユーザの操作に基づいて、映像の再生開始、再生停止、別の映像への切り替え等の結果をコンポーネント４０２ａに表示させてもよい。また、ミニゲーム等のアプリケーションを表示するコンポーネント４０２が選択状態の場合、画像生成部３４４は、ユーザの操作に基づくアプリケーションの実行結果（例えばミニゲームの経過および結果）を当該コンポーネント４０２に表示させてもよい。

このようにエンタテインメントシステム３００では、ユーザは、ライブ配信中のコンテンツを視聴しつつ、様々な情報やアプリケーションに対する操作をコンポーネント４０２を介して実行できる。これにより、ユーザの利便性を一層高めることができ、また、ライブ配信中のコンテンツを単に視聴することを超えたエンタテインメント体験をユーザへ提供できる。

なお、図１０のコンポーネント４０２ｅは、ミニブログサイトに投稿されたコメント（ツイート等）のうち、ライブ配信対象のイベントに関連するコメントを表示する。例えば、関連情報取得部３３２は、ミニブログサービスを提供するＳＮＳサーバ３０６へ定期的にアクセスし、ライブ配信対象のイベントに関連づけられた（例えば当該イベントのハッシュタグが付与された）コメントをＳＮＳサーバ３０６から取得してもよい。画像生成部３４４は、関連情報取得部３３２により新たなコメントが取得される都度、コンポーネント４０２ｅの表示内容を更新してもよい。

画像生成部３４４は、コントローラ２０２に所定の操作（ここでは所定ボタンの押下）が入力された場合に、仮想空間に配置した１または複数のコンポーネント４０２を一括して非表示としたＶＲ画像４００を新たに生成して表示させる。例えば、図７～図１０に示すＶＲ画像４００が表示中に上記所定ボタンの押下操作が検出された場合、画像生成部３４４は、全てのコンポーネント４０２を消去したＶＲ画像４００（例えば図６のＶＲ画像４００）を表示させる。これにより、ライブ配信のメインコンテンツに集中したい場合、ユーザは、簡単な操作で１または複数のコンポーネント４０２を一括非表示に切り替えることができる。

また、画像生成部３４４は、１または複数のコンポーネント４０２を一括して非表示とした後、コントローラ２０２に所定の操作（ここでは一括非表示の操作と同じ操作）が入力された場合、１または複数のコンポーネント４０２を、一括非表示にした直前の位置に配置したＶＲ画像４００を新たに生成して表示させる。このように、１または複数のコンポーネント４０２の一括非表示および一括再表示の機能を提供することで、ライブ配信コンテンツを視聴するユーザの利便性を一層高めることができる。

（２）画像の共有に関する動作：
図１１および図１２は、仮想空間の撮像を指示する所定の操作がコントローラ２０２を介して入力された場合のＶＲ画像４００を示す。撮像を指示する所定の操作が入力された場合、図１１に示すように、情報処理装置２００の画像生成部３４４は、撮像装置を模した外観のオブジェクトであるカメラオブジェクト４１０をパノラマ画像に重畳して配置したＶＲ画像４００を生成して表示させる。カメラオブジェクト４１０は、仮想的なカメラとも言え、また、カメラアプリケーションを起動したスマートフォンの画面を模した外観であってもよい。カメラオブジェクト４１０は、仮想空間の中で撮像対象となる領域を示すファインダー画面４１２と、撮像対象のズームの度合いを調整するズームバー４１４を含む。

画像生成部３４４は、コントローラオブジェクト４０４の上方近傍位置にカメラオブジェクト４１０を配置する。画像生成部３４４は、ユーザが把持するコントローラ２０２の位置または姿勢の変化に応じて、仮想空間におけるコントローラオブジェクト４０４の位置または姿勢を変化させるとともに、カメラオブジェクト４１０の位置または姿勢を変化させたＶＲ画像４００を新たに生成する。すなわち、画像生成部３４４は、現実空間でのコントローラ２０２の位置と向きと角度に同期させて、仮想空間でのコントローラオブジェクト４０４およびカメラオブジェクト４１０の位置と向きと角度を設定する。

画像生成部３４４は、カメラオブジェクト４１０の仮想的な光軸方向（正面側）に合致する仮想空間の領域を撮像対象領域としてパノラマ画像（またはＶＲ画像４００）から抽出し、撮像対象領域の画像をファインダー画面４１２に設定する。図１１では、ステージ上の様子が切り取られてファインダー画面４１２に表示されている。画像生成部３４４は、カメラオブジェクト４１０の位置または姿勢（向きおよび角度）が変化した場合、ファインダー画面４１２に設定する撮像対象領域を変化させる。具体的には、画像生成部３４４は、変化後の位置または姿勢における光軸方向の仮想空間の領域を新たな撮像対象領域として、新たな撮像対象領域の画像をファインダー画面４１２に設定する。

ユーザは、ファインダー画面４１２が示す撮像対象領域を撮像する場合、撮像実行を指示する操作として、コントローラ２０２の所定ボタン（例えば○ボタン）を押下する。撮像実行操作の入力が検出されると、情報処理装置２００の撮像部３５２は、この操作時点でファインダー画面４１２に表示された撮像対象領域の画像を撮像画像として撮像画像記憶部３２２に保存する。

ズームバー４１４は、「Ｗ」（広角）と「Ｔ」（望遠）の度合いを調整するウィジェットである。画像生成部３４４は、コントローラ２０２に入力された操作（例えば右スティックの左右方向の操作）に応じて、ズームバー４１４をスライドさせるとともに、ファインダー画面４１２における撮像対象の表示態様を、広角の態様から望遠の態様まで切り替える。

例えば、コントローラ２０２の右スティックに対して右方向への操作が入力された場合、図１２に示すように、画像生成部３４４は、デジタルズーム処理により撮像対象を拡大表示した画像をファインダー画面４１２に設定する。例えば、画像生成部３４４は、拡大前の撮像対象画像の中心部分を切り出し、その中心部分を補間処理により拡大表示した画像をファインダー画面４１２に設定してもよい。撮像部３５２は、ファインダー画面４１２に拡大表示された撮像対象の画像（例えばデジタルズーム処理後の画像）を撮像画像として撮像画像記憶部３２２に保存する。

図１３は、画像共有を指示する所定の操作（所定ボタンの押下等）がコントローラ２０２を介して入力された場合のＶＲ画像４００を示す。画像生成部３４４は、カメラオブジェクト４１０の表示中に画像共有が指示された場合、カメラオブジェクト４１０の内容をアルバム画面４１６と操作パネル４１８に切り替えたＶＲ画像４００を新たに生成して表示させる。画像生成部３４４は、撮像画像記憶部３２２に保存された複数の撮像画像のサムネイルをアルバム画面４１６に表示させる。アルバム画面４１６において特定の撮像画像がユーザにより選択された場合、画像生成部３４４は、選択された撮像画像をアルバム画面４１６に表示させる。

画像生成部３４４は、操作パネル４１８に、撮像画像を登録可能な複数のＳＮＳ（図１３では「Ａ」「Ｂ」「Ｃ」の３つのＳＮＳ）のアイコンを設定する。登録対象の撮像画像を選択する操作がコントローラ２０２で入力され、さらに、特定のＳＮＳアイコンを選択する操作がコントローラ２０２で入力された場合、登録部３５４は、選択された撮像画像を、選択されたＳＮＳに対応するＳＮＳサーバ３０６に登録することにより、他のユーザによる上記撮像画像の閲覧を可能にする。例えば、登録部３５４は、ＳＮＳサーバ３０６が公開する画像登録用（言い換えれば記事登録用）のＡＰＩ（Application Programming Interface）を呼び出し、上記撮像画像をＳＮＳサーバ３０６へ送信してもよい。

登録部３５４は、配信サーバ３１２から提供され、画像取得部３３０により取得された撮像対象情報に基づいて、仮想空間のコンテンツ（すなわち撮像対象）を説明するデータ（ここでは「撮像画像説明情報」と呼ぶ。）を自動生成する。登録部３５４は、撮像画像説明情報を撮像画像とともにＳＮＳサーバ３０６に登録する。撮像画像説明情報（撮像対象情報）は、例えば、（１）ライブ配信対象のイベント（ゲームカンファレンス等）の名称、（２）イベントが開かれている都市名、会場名、（３）情報処理装置２００等を使用してオンラインでイベントにアクセスする場合のＵＲＬを含んでもよい。

このように実施例のエンタテインメントシステム３００によると、現実のイベント会場でスマートフォン等を使用してイベントを撮影しているようなＶＲ体験をユーザに提供できる。また、エンタテインメントシステム３００によると、ユーザが撮影したイベントの画像を他者（友人等）と共有することを支援できる。また、ヘッドマウントディスプレイを装着したユーザは文字等の入力が困難であるが、撮像画像説明情報を撮像画像に自動的に付加することにより、他者に撮像画像の内容を理解させやすくなる。また、ＳＮＳにおけるいわゆる「いいね」の獲得を支援できる。さらにまた、イベントの周知にも資することができる。

（３）フレンドの表示に関する動作：
図１４は、コントローラ２０２を介して、フレンド表示に関する所定の操作（例えばフレンドメニューの選択操作）が入力された場合に表示されるＶＲ画像４００を示す。ＶＲ画像４００の表示中にフレンドメニューが選択されると、フレンド情報取得部３３４は、ユーザのフレンド情報を管理サーバ３０４から取得する。画像生成部３４４は、フレンド情報が示すユーザのフレンドのアバター４２０を並べたＶＲ画像４００を新たに生成して表示させる。

特定のフレンドのアバター４２０を選択する操作が入力された場合、画像生成部３４４は、操作パネル４２２を含むＶＲ画像４００を新たに生成して表示させる。操作パネル４２２は、フレンド情報取得部３３４により取得されたフレンド情報が示す内容であり、選択されたアバター４２０が示すフレンドの現在の状態を表示する。フレンドの現在の状態は、例えば、インターネット接続中か否か、および／または、ヘッドマウントディスプレイを起動中か否かを含んでもよい。

また、操作パネル４２２は、フレンドの状態に応じて、ライブ配信中のイベントへフレンドを招待するためのオブジェクト（リンク、ボタン等）を含む。上記オブジェクトは、例えば、フレンドの状態がインターネット接続中、かつ、ヘッドマウントディスプレイ起動中の場合、三次元画像を配信するライブ配信チャンネルを案内する内容の招待メールを送信するものであってもよい。また、上記オブジェクトは、フレンドの状態がインターネット接続中、かつ、ヘッドマウントディスプレイ未起動の場合、二次元画像を配信するライブ配信チャンネルを案内する内容の招待メールを送信するものであってもよい。

招待メール送信用のオブジェクトを選択する操作がコントローラ２０２を介して入力された場合、要求部３５０は、招待メールの送信を指示するデータを管理サーバ３０４へ送信する。管理サーバ３０４へ送信するデータは、例えば、選択されたアバター４２０が示すフレンドを宛先として指定し、かつ、当該フレンドの状態に応じた内容（メールで案内するアクセス先等）を指定するものであってもよい。

図１５は、招待メールを送信したフレンドが、ユーザと同じライブ配信チャンネルに接続した場合に表示されるＶＲ画像４００を示す。画像生成部３４４は、ユーザの近傍位置（例えば隣の座席等）に、フレンド（ここでは「参加フレンド」と呼ぶ。）のアバター４２０を表示させる。

エンタテインメントシステム３００では、ユーザ間のボイスチャットが可能である。参加フレンドの情報処理装置２００に入力された参加フレンドの音声データは、管理サーバ３０４を介してユーザの情報処理装置２００に送信され、ユーザの情報処理装置２００は、参加フレンドの音声をスピーカーやイヤホン等から出力させる。画像生成部３４４は、参加フレンドの音声が出力される間、アバター４２０の明度を通常より高め、または、アバター４２０を点滅表示させる。言い換えれば、画像生成部３４４は、参加フレンドの音声が出力される間、音声未出力時とは異なる態様でアバター４２０を表示させる。

フレンド情報取得部３３４は、参加フレンドのヘッドマウントディスプレイ１００の姿勢（またはフレンドの視線方向）を示すフレンド情報を管理サーバ３０４から取得する。画像生成部３４４は、参加フレンドの視線方向を示す姿勢オブジェクト４２４をアバター４２０に付加する。画像生成部３４４は、参加フレンドのヘッドマウントディスプレイ１００の姿勢に一致するように姿勢オブジェクト４２４の向きおよび角度を設定する。これにより、イベント会場におけるフレンドの視線方向、言い換えれば、イベント会場でフレンドが見ているものをユーザに把握させやすくなり、ユーザ・フレンド間の円滑なコミュニケーションを支援することができる。

（４）カメラ切替に関する動作：
図１６は、コントローラ２０２を介してカメラ切替に関する所定の操作（例えばカメラ切替メニューの選択操作）が入力された場合に表示されるＶＲ画像４００を示している。画像生成部３４４は、全天球カメラ３１０が設置された複数のイベント会場（南ホール、西ホール等）に対応する複数の会場選択ボタン４３０を配置したＶＲ画像４００を表示させる。ここでは、会場が選択されるが、同じ会場に複数の全天球カメラ３１０が配置され、会場の変更を伴わずに、パノラマ画像を撮像する全天球カメラを変更する場合も同様の動作になる。

特定の会場選択ボタン４３０をフォーカスする操作（例えば左右への方向入力操作）が入力された場合、画像取得部３３０は、フォーカスされた会場選択ボタン４３０が示すイベント会場（「仮選択会場」とも呼ぶ。）に設置された全天球カメラ３１０により撮像されたパノラマ映像（もしくはその動画サムネイル）を配信サーバ３１２から取得する。画像生成部３４４は、中継画面４３２を表示させ、仮選択会場に設置された全天球カメラ３１０により撮像されたパノラマ映像（もしくはその動画サムネイル）を中継画面４３２に配置する。

また、画像取得部３３０は、仮選択会場に設置された全天球カメラ３１０により撮像されたパノラマ映像を配信中（言い換えれば視聴中）の１人以上のユーザの情報を配信サーバ３１２からさらに取得する。画像生成部３４４は、当該パノラマ画像を視聴中のユーザの中に自装置のユーザのフレンドが存在する場合、そのフレンドを示すアバター４２０を中継画面４３２とともに表示させる。この態様により、情報処理装置２００は、ライブ映像を視聴する会場またはカメラをユーザが選択することを支援できる。

特定の会場選択ボタン４３０をフォーカスした状態で所定の選択操作（例えば所定ボタンの押下）が入力された場合、情報処理装置２００の要求部３５０は、フォーカスされた会場選択ボタン４３０が示すイベント会場を本選択会場として認識し、本選択会場に設置された全天球カメラ３１０により撮像されたパノラマ画像のライブ配信を要求するデータを配信サーバ３１２へ送信する。これにより、ライブ配信のメインコンテンツが切り替わり、例えば、図１６の中継画面４３２に表示された南ホールのライブ映像がＶＲ画像４００全体に表示される。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記実施例では言及していないが、コンポーネント４０２の種類、および／または、コンポーネント４０２に表示される内容を、イベントの進行に伴って更新してもよく、言い換えれば、ライブ配信のメインコンテンツの変化に伴って更新してもよい。例えば、配信サーバ３１２は、ライブ配信対象のイベントの進行に応じて、例えば、予め定められたスケジュールに応じて、コンポーネント４０２の種類および／または表示内容を更新することを指示するデータ（「コンポーネント更新指示」と呼ぶ。）を情報処理装置２００へ送信してもよい。コンポーネント更新指示は、更新後のコンポーネント４０２の種類および／または表示内容の指定を含んでもよい。

情報処理装置２００の画像取得部３３０は、配信サーバ３１２から送信されたコンポーネント更新指示を受信してもよい。情報処理装置２００の画像生成部３４４は、コンポーネント更新指示にしたがって、ＶＲ画像に配置する少なくとも１つのコンポーネント４０２の種類または内容を、仮想空間に表示されるイベント（ゲームカンファレンス等）の進行に応じて更新してもよい。

情報処理装置２００の画像生成部３４４は、コンポーネント更新指示により指定された種類のコンポーネント４０２をＶＲ画像４００に表示させてもよい。また、関連情報取得部３３２は、コンポーネント更新指示により指定された関連情報を配信サーバ３１２、ＳＮＳサーバ３０６等から新たに取得してもよい。画像生成部３４４は、コンポーネント更新指示により指定された関連情報を、更新後のコンポーネント４０２に表示させてもよい。

この構成によると、例えば、ライブ中継会場において複数の商品が順次紹介される場合に、紹介される商品の情報をコンポーネント４０２に表示させ、紹介される商品が変わることにあわせてコンポーネント４０２の表示内容を切り替えることができる。また、ステージ上の話者のプロフィールをコンポーネント４０２に表示させ、話者が変わることにあわせてコンポーネント４０２の表示内容を切り替えることができる。

また、上記実施例では言及していないが、図１５のように参加フレンドのアバター４２０を表示させ、かつ、参加フレンドのフレンド（以下「ＦＯＡＦ」とも呼ぶ。）が同じライブ配信を視聴中の場合、画像生成部３４４は、参加フレンドのアバター４２０とは別にＦＯＡＦのアバターを表示させてもよい。これにより、ユーザは参加フレンドからＦＯＡＦを紹介してもらうこともでき、ユーザのフレンド拡大を支援できる。

具体的な構成として、情報処理装置２００のフレンド情報取得部３３４は、ＦＯＡＦが同じライブ配信を視聴中の場合、そのことを示す情報を管理サーバ３０４から取得してもよい。画像生成部３４４は、ＦＯＡＦが同じライブ配信を視聴中であることが管理サーバ３０４から通知されると、ユーザから見て参加フレンドのアバター４２０より奥の位置にＦＯＡＦのアバターを表示させてもよい。画像生成部３４４は、ＦＯＡＦのアバターを、存在は識別可能だが、個人を識別不可能な態様で表示させてもよい。例えば、画像生成部３４４は、ＦＯＡＦのアバターをぼかした態様で表示させてもよく、ＦＯＡＦのアバターとして中身のない円だけを示すオブジェクトを表示させてもよい。

また、上記実施例では、ヘッドマウントディスプレイ１００に、ライブ配信されたコンテンツに基づくＶＲ画像を表示したが、実施例に記載の技術は、様々なＶＲ画像を表示する場合に適用可能である。例えば、ヘッドマウントディスプレイ１００に表示されるＶＲ画像は、予め撮影された３６０度のパノラマ静止画またはパノラマ動画の他、ゲーム空間のような人工的なパノラマ画像に基づくものであってもよい。また、情報処理装置２００と接続されたサーバによるアプリケーション実行結果に基づくＶＲ画像、または、情報処理装置２００によるアプリケーション実行結果に基づくＶＲ画像をヘッドマウントディスプレイ１００に表示する場合にも実施例に記載の技術は有用である。すなわち、情報処理装置２００の画像取得部３３０は、情報処理装置２００またはサーバによるアプリケーション処理結果としての仮想空間の画像を取得してもよい。

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１００ ヘッドマウントディスプレイ、 ２００ 情報処理装置、 ２０２ コントローラ、 ２３６ 出力部、 ３００ エンタテインメントシステム、 ３３０ 画像取得部、 ３３２ 関連情報取得部、 ３４４ 画像生成部、 ３４６ 出力部、 ３５２ 撮像部、 ３５４ 登録部。

Claims (8)

1. ヘッドマウントディスプレイに表示させる仮想空間の画像を取得する第１取得部と、
   前記仮想空間に関する複数種類の情報を取得する第２取得部と、
   前記複数種類の情報を表示する複数のコンポーネントと、ユーザが把持するコントローラに対応するコントローラオブジェクトとを前記仮想空間に配置した表示用画像を生成する画像生成部と、
   前記表示用画像を前記ヘッドマウントディスプレイに表示させる出力部と、
   撮像部と、
   を備え、
   前記画像生成部は、前記複数のコンポーネントのうち前記コントローラオブジェクトにより選択されたコンポーネントを選択状態とした表示用画像を生成し、
   前記画像生成部は、或るコンポーネントが選択状態である場合に前記コントローラに入力された操作に基づいて、選択状態のコンポーネントにおける表示内容を更新した表示用画像を生成し、
   前記画像生成部は、前記仮想空間における撮像対象領域を示す撮像装置オブジェクトを前記仮想空間に配置した表示用画像をさらに生成し、前記コントローラの位置または姿勢の変化に応じて、前記仮想空間における前記撮像装置オブジェクトの位置または姿勢を変化させた表示用画像であり、かつ、前記撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像をさらに生成し、
   前記撮像部は、前記撮像装置オブジェクトが示す撮像対象領域の画像を保存することを特徴とする情報処理装置。
2. 前記画像生成部は、前記コントローラに入力された操作に応じて、前記撮像装置オブジェクトが示す前記仮想空間における撮像対象を拡大表示させ、
   前記撮像部は、前記撮像装置オブジェクトにおいて拡大表示された撮像対象の画像を保存することを特徴とする請求項１に記載の情報処理装置。
3. 前記撮像部により保存された画像を所定のサーバに登録することにより、他のユーザによる当該画像の閲覧を可能にする登録部をさらに備えることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記登録部は、前記仮想空間のコンテンツを説明するデータを自動生成し、そのデータを前記撮像部により保存された画像とともに前記サーバに登録することを特徴とする請求項３に記載の情報処理装置。
5. 前記画像生成部は、前記表示用画像に配置するコンポーネントの種類または内容を、前記仮想空間における所定のイベントの進行に応じて更新することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記画像生成部は、前記仮想空間に配置した複数のコンポーネントのうち非選択状態のコンポーネントに対して第１の透過率を設定し、選択状態のコンポーネントに対して前記第１の透過率より低い第２の透過率を設定することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. ヘッドマウントディスプレイに表示させる仮想空間の画像を取得するステップと、
   前記仮想空間に関する複数種類の情報を取得するステップと、
   前記複数種類の情報を表示する複数のコンポーネントと、ユーザが把持するコントローラに対応するコントローラオブジェクトとを前記仮想空間に配置した表示用画像を生成するステップと、
   前記表示用画像を前記ヘッドマウントディスプレイに表示させるステップと、
   をコンピュータが実行し、
   前記生成するステップは、前記複数のコンポーネントのうち前記仮想空間において前記コントローラオブジェクトにより選択されたコンポーネントを選択状態とした表示用画像を生成し、
   前記生成するステップは、或るコンポーネントが選択状態である場合に前記コントローラに入力された操作に基づいて、選択状態のコンポーネントにおける表示内容を更新した表示用画像を生成し、
   前記コンピュータは、
   前記仮想空間における撮像対象領域を示す撮像装置オブジェクトを前記仮想空間に配置した表示用画像を生成するステップであって、前記コントローラの位置または姿勢の変化に応じて、前記仮想空間における前記撮像装置オブジェクトの位置または姿勢を変化させた表示用画像であり、かつ、前記撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像を生成するステップと、
   前記撮像装置オブジェクトが示す撮像対象領域の画像を保存するステップと、をさらに実行することを特徴とする画像生成方法。
8. ヘッドマウントディスプレイに表示させる仮想空間の画像を取得する機能と、
   前記仮想空間に関する複数種類の情報を取得する機能と、
   前記複数種類の情報を表示する複数のコンポーネントと、ユーザが把持するコントローラに対応するコントローラオブジェクトとを前記仮想空間に配置した表示用画像を生成する機能と、
   前記表示用画像を前記ヘッドマウントディスプレイに表示させる機能と、
   をコンピュータに実現させ、
   前記生成する機能は、前記複数のコンポーネントのうち前記仮想空間において前記コントローラオブジェクトにより選択されたコンポーネントを選択状態とした表示用画像を生成し、
   前記生成する機能は、或るコンポーネントが選択状態である場合に前記コントローラに入力された操作に基づいて、選択状態のコンポーネントにおける表示内容を更新した表示用画像を生成し、
   前記コンピュータに、
   前記仮想空間における撮像対象領域を示す撮像装置オブジェクトを前記仮想空間に配置した表示用画像を生成する機能であって、前記コントローラの位置または姿勢の変化に応じて、前記仮想空間における前記撮像装置オブジェクトの位置または姿勢を変化させた表示用画像であり、かつ、前記撮像装置オブジェクトが示す撮像対象領域を変化させた表示用画像を生成する機能と、
   前記撮像装置オブジェクトが示す撮像対象領域の画像を保存する機能と、をさらに実現させるためのコンピュータプログラム。

Images