JP6518645B2

JP6518645B2 - 情報処理装置および画像生成方法

Info

Publication number: JP6518645B2
Application number: JP2016241561A
Authority: JP
Inventors: 貴一池田; 心渡部
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2016-12-13
Filing date: 2016-12-13
Publication date: 2019-05-22
Anticipated expiration: 2036-12-13
Also published as: US10369468B2; JP2018094086A; US20180161676A1

Description

本発明は、ヘッドマウントディスプレイに表示される画像を生成する技術に関する。

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて仮想現実（ＶＲ）の映像世界をユーザに提供する。最近ではＨＭＤをゲーム装置に接続して、ユーザがＨＭＤに表示されたゲーム画像を見ながら、ゲームコントローラを操作してゲームをプレイすることも行われている。ＨＭＤはユーザの視野全体にＶＲ画像を提供するために、映像世界へのユーザの没入感を高め、ゲームのエンタテインメント性を飛躍的に向上させる効果がある。ＨＭＤにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢と連動して仮想３次元空間のゲーム画像を生成することで、映像世界への没入感をさらに高めることができる。

ＨＭＤを装着したユーザはゲームプレイ中、ゲーム以外の操作を行うためにシステムメニュー画像（ホーム画像）を表示させたいことがある。たとえば一緒にゲームをプレイするためにフレンドをゲームに招待したり、フレンドからメッセージが届いたような場合には、ユーザはゲームを一時中断して、表示画像をシステムメニュー画像に切り替える。テレビとは異なり、ＨＭＤは３６０度全方位の映像空間を提供できるため、ユーザがゲーム画像からシステムメニュー画像に切り替えたとき、空いている映像空間が効率よく利用されることが好ましい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ＨＭＤに表示していたゲーム画像をシステムメニュー画像に切り替えたときに、ユーザに有用な情報を提供可能とする技術を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を取得する取得部と、ヘッドマウントディスプレイの姿勢情報に応じて、視線方向を定める視線方向決定部と、ヘッドマウントディスプレイに表示される仮想３次元空間のゲーム画像を生成する第１画像生成部と、ヘッドマウントディスプレイがゲーム画像を表示しているときに、ユーザから切替操作を受け付ける受付部と、受付部が切替操作を受け付けると、第１画像生成部が生成したゲーム画像に代えてヘッドマウントディスプレイに表示されるシステムメニュー画像を生成する第２画像生成部と、を備える。第２画像生成部は、仮想３次元空間における視点位置に対して、システムメニュー画像を配置した方向とは異なる方向に、所定の画像を配置する。

本発明の別の態様は、画像生成方法である。この方法は、ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を取得するステップと、ヘッドマウントディスプレイの姿勢情報に応じて視線方向を定めるステップと、ヘッドマウントディスプレイに表示される仮想３次元空間のゲーム画像を生成するステップと、ヘッドマウントディスプレイがゲーム画像を表示しているときに、ユーザから切替操作を受け付けるステップと、切替操作を受け付けた後、視点位置に対してそれぞれ異なる方向に配置したシステムメニュー画像および所定の画像を含む仮想３次元空間の画像を、定めた視線方向にもとづいて生成するステップと、を有する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ＨＭＤに表示していたゲーム画像をシステムメニュー画像に切り替えたときに、ユーザに有用な情報を提供可能とする技術を提供できる。

実施例における情報処理システムの構成例を示す図である。ＨＭＤの外観形状の例を示す図である。ＨＭＤの機能ブロックを示す図である。情報処理装置の機能ブロックを示す図である。ＨＭＤに表示されるゲーム画像の一例を示す図である。矩形状のシステムメニュー画像の一例を示す図である。ＨＭＤに表示されるシステムメニュー画像の一例を示す図である。仮想３次元空間における各画像の配置を説明するための図である。ＨＭＤに表示されるスクリーンショット画像の一例を示す図である。ＨＭＤに表示されるシステムメニュー画像の一例を示す図である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像を表示する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

ＨＭＤ１００はユーザの頭部に装着されて仮想現実（ＶＲ）の映像世界をユーザに提供する。ＨＭＤ１００にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、映像世界への没入感を高められる。

情報処理装置１０は、処理装置１１、出力制御装置１２および記憶装置１３を備える。処理装置１１は、ユーザにより入力装置１６に入力された操作情報を受け付けて、ゲームなどのアプリケーションを実行する端末装置である。処理装置１１と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例の処理装置１１は、ＨＭＤ１００の姿勢情報をゲームに対するユーザの操作情報として受け付けて、ゲームを進行させる機能をもつ。出力制御装置１２は、処理装置１１で生成された画像データをＨＭＤ１００に出力する処理ユニットであり、出力制御装置１２とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１１に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１１はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。出力制御装置１２または処理装置１１は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１１、出力制御装置１２のいずれが行ってもよい。

処理装置１１、記憶装置１３、出力装置１５、入力装置１６および撮像装置１４は、従来型のゲームシステムを構築してよい。この場合、処理装置１１はゲームを実行するゲーム装置であり、入力装置１６はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置１１にユーザによる操作情報を供給する機器である。記憶装置１３は、システムソフトウェアやゲームソフトウェアなどを記憶している。このゲームシステムの構成要素に、出力制御装置１２およびＨＭＤ１００を追加することで、仮想３次元空間のＶＲ画像をＨＭＤ１００に提供する情報処理システム１が構築される。

なお出力制御装置１２による機能は、処理装置１１に組み込まれてもよい。つまり情報処理装置１０の処理ユニットは、１台の処理装置１１から構成されても、また処理装置１１および出力制御装置１２から構成されてもよい。以下においては、ＶＲ画像をＨＭＤ１００に提供する機能を、まとめて情報処理装置１０の機能として説明する。

実施例のゲームは、入力装置１６から入力された操作情報にもとづいて仮想３次元空間内でユーザキャラクタを動かし、ユーザの頭部に装着されたＨＭＤ１００の姿勢情報にもとづいてユーザキャラクタの視線方向を定める。実施例ではゲームがＨＭＤ１００の姿勢情報を、ユーザキャラクタの視線方向を制御するための操作情報として利用するが、入力装置１６における入力情報を、視線方向を制御するための操作情報として利用してもよい。またユーザキャラクタを移動させるための操作情報は、入力装置１６の入力情報を用いずに、ＨＭＤ１００の位置情報を利用してもよい。実施例において、ユーザキャラクタの操作情報は、入力装置１６およびＨＭＤ１００のいずれから取得されてもよく、また他のユーザインタフェースから取得されてもよい。

情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。

情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。上記したように情報処理装置１０は、ＨＭＤ１００の位置情報をもとにユーザキャラクタの仮想３次元空間内の位置を算出し、ＨＭＤ１００の姿勢情報をもとにユーザキャラクタの視線方向を算出してもよいが、実施例では仮想３次元空間内におけるユーザキャラクタの位置は、入力装置１６の操作情報をもとに算出する。

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

図４は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、センサデータ受信部２０、撮影画像受信部２２、入力データ受信部２４および画像提供部５０を備える。情報処理装置１０は、さらにＨＭＤ情報取得部３０、視線方向決定部３２、受付部３４および画像生成部４０を備える。画像生成部４０は、ゲームを実行してゲーム画像を生成する第１画像生成部４２と、システムメニュー画像を生成する第２画像生成部４４とを有する。

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

以下、ファーストパーソンシューター（ＦＰＳ）ゲームの画像を生成するときの情報処理装置１０の動作について説明する。
図５は、ＨＭＤ１００に表示されるゲーム画像の一例を示す。
第１画像生成部４２は、左目用のゲーム画像と右目用のゲーム画像を生成して、画像提供部５０が、それぞれのゲーム画像をＨＭＤ１００に提供して、表示パネル１３０に表示させる。

センサデータ受信部２０は、ユーザが装着したＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサデータを受信して、ＨＭＤ情報取得部３０に供給する。撮影画像受信部２２は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、ＨＭＤ情報取得部３０に供給する。たとえば撮像装置１４は（１／６０）秒ごとに前方の空間を撮影し、撮影画像受信部２２は、（１／６０）秒ごとに撮影画像を受信する。実施例においてＨＭＤ情報取得部３０は、センサデータおよび撮影画像を、ユーザの頭部に装着されたＨＭＤ１００の姿勢を示す姿勢情報として取得する。ＨＭＤ情報取得部３０は、取得した姿勢情報を、視線方向決定部３２に供給する。

視線方向決定部３２は、ＨＭＤ１００の姿勢情報に応じてユーザの視線方向を定める。具体的にＨＭＤ情報取得部３０は、姿勢センサ１２４のセンサデータから、ＨＭＤ１００の姿勢の変化を検出する。このときＨＭＤ情報取得部３０は３軸ジャイロセンサのセンサデータから、ＨＭＤ１００の姿勢変化を特定してよい。なおＨＭＤ情報取得部３０は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、姿勢変化の検出精度を高めることが好ましい。視線方向決定部３２は、決定した視線方向を、第１画像生成部４２に提供する。

入力データ受信部２４は入力装置１６から、ユーザが入力したキーデータを受信して、受付部３４に供給する。受付部３４はキーデータを、ゲームに対する操作情報として第１画像生成部４２に提供する。

第１画像生成部４２は、視線方向決定部３２から提供される視線方向を、ユーザキャラクタの視線を定める操作情報として利用する。また第１画像生成部４２は、受付部３４から供給されるキーデータを、ユーザキャラクタの動作を定める操作情報として利用する。入力装置１６の操作により仮想３次元空間内のキャラクタを動作させる処理は、既知の技術を利用してよい。第１画像生成部４２は、仮想３次元空間においてユーザキャラクタを動かし、ユーザキャラクタの位置（仮想３次元空間座標値）および視線方向にもとづいて、仮想３次元空間のレンダリング処理を行う。具体的に第１画像生成部４２は、ユーザキャラクタの位置に、ユーザキャラクタの視線方向を光軸とする仮想カメラを配置して、仮想カメラの画像を取得することで、ＨＭＤ１００に表示される仮想３次元空間のゲーム画像を生成する。画像提供部５０は、生成された画像データをＨＭＤ１００に提供する。

実施例のＦＰＳゲームでは、ユーザが入力装置１６のキー入力によりキャラクタを動作させ、またＨＭＤ１００の向きを動かすことで、キャラクタの視線方向を変えられる。このゲームでユーザは３６０度全方位に移動し、また３６０度全方位を見ることができ、その意味においてＨＭＤ１００は、ゲーム仮想空間の全方位を表示可能な表示装置として利用される。

ゲームプレイ中、ユーザはゲームを一時中断して、システムメニュー画像をＨＭＤ１００に表示させたいことがある。このときユーザは、入力装置１６の所定のボタン（ホームボタン）を操作すると、表示パネル１３０に表示されているゲーム画像を、システムメニュー画像に切り替えることができる。つまり表示パネル１３０がゲーム画像を表示しているときに、ユーザが入力装置１６のホームボタンを操作すると、ホームボタンの操作は、表示画像の切替操作として情報処理装置１０に入力される。

入力データ受信部２４がホームボタンの操作データを受信すると、受付部３４は、ホームボタンの操作データを画像切替操作として受け付け、画像切替指示を画像生成部４０に供給する。画像生成部４０において、第１画像生成部４２は画像切替指示にもとづいて、ゲーム進行を一時停止させる。同時に第２画像生成部４４は画像切替指示にもとづいて、第１画像生成部４２が生成したゲーム画像に代えてＨＭＤ１００に表示されるシステムメニュー画像を生成する。

図６は、第２画像生成部４４が生成する矩形状のシステムメニュー画像の一例を示す。第２画像生成部４４は、上段のシステムエリアに、情報処理装置１０が提供する複数のシステム機能を示す複数のアイコンを配置する。また第２画像生成部４４は、中段のアイコンエリアに、記憶装置１３に記憶されたコンテンツのアイコンを並べる。システムメニュー画像は従来型のゲームシステムにおいて使用されているシステムメニュー画像と同じであってよい。第２画像生成部４４は、システムメニュー画像を生成し、画像提供部５０は、システムメニュー画像をＨＭＤ１００に提供する。

図７は、ＨＭＤ１００に表示されるシステムメニュー画像の一例を示す。
第２画像生成部４４は、システムメニュー画像を配置した仮想３次元空間を構築する。第２画像生成部４４は、仮想３次元空間におけるユーザの視点位置に対して、第１方向にシステムメニュー画像の横方向中央部分が位置するように、仮想３次元空間にシステムメニュー画像を配置する。ここで第１方向は、受付部３４が画像切替操作を受け付けたときのユーザの視線方向に設定される。このとき第２画像生成部４４は、第１方向が矩形状のシステムメニュー画像の中心に直交するように、仮想３次元空間にシステムメニュー画像を配置することが好ましい。これによりユーザがゲームプレイ中に入力装置１６のホームボタンを操作して、ゲーム画像がシステムメニュー画像に切り替わったとき、システムメニュー画像は、ユーザに正対して表示されることになる。つまりゲーム画像の表示中にユーザがホームボタンを操作したとき、システムメニュー画像は常にユーザの正面に表示される。これによりユーザは視線を動かすことなく、入力装置１６を用いて、所望のメニュー操作を行うことができる。

図７に示すように、仮想３次元空間において、システムメニュー画像は、１枚の２次元画像として表示される。２次元表現されるシステムメニュー画像を表示パネル１３０の全体に表示すると、ユーザがシステムメニュー画像を客観視できず、操作しにくくなることが分かっている。そのためシステムメニュー画像は、表示パネル１３０の全体に表示されるのではなく、表示パネル１３０よりも狭い画角で表示される。なお空いたスペースは単色で塗りつぶされ、ここではシステムメニュー画像の視認性を高めるために、システムメニュー画像の外側が黒色で塗りつぶされている。

第２画像生成部４４は、仮想３次元空間における視点位置に対して、システムメニュー画像を配置した第１方向とは異なる第２方向に、所定の画像を配置する。このとき第２画像生成部４４は、第２方向に所定の画像の横方向中央部分が位置するように、仮想３次元空間に所定の画像を配置する。第２方向に配置する画像は、ユーザがプレイしていたゲームに関する画像であってよく、画像切替前にユーザがプレイしていたゲームの状況を思い出させる画像であってよい。第２画像生成部４４は、第１画像生成部４２から、受付部３４が画像切替操作を受け付けたときのゲーム画像のスクリーンショットを提供されて、所定の画像として、画像切替直前のゲーム画像のスクリーンショットを配置してよい。

図８は、仮想３次元空間における各画像の配置を説明するための図である。第２画像生成部４４は、視点位置を中心とする仮想球体を形成し、図８は、上方から仮想球体を見た様子を示している。第２画像生成部４４は、視点位置からの第１方向ベクトルがシステムメニュー画像２００の中心に直交するように、システムメニュー画像２００を仮想球体内に配置する。また第２画像生成部４４は、視点位置からの第２方向ベクトルがスクリーンショット画像２０２の中心に直交するように、スクリーンショット画像２０２を仮想球体内に配置する。

図８に示す配置例において、スクリーンショット画像２０２は、システムメニュー画像２００に対して、反時計回りに９０度の位置に配置されている。そのためユーザは、システムメニュー画像２００を正対して見ている状態（図７参照）から首を左に９０度回転させると、スクリーンショット画像２０２が表示パネル１３０に正対して表示されるようになる。

図９は、ＨＭＤ１００に表示されるスクリーンショット画像の一例を示す。
ユーザは、システムメニュー画像をゲーム画像に切り替える際には、入力装置１６のホームボタンを再度操作すればよい。ただホームボタンを再操作すると、すぐにゲームが再開されるため、ユーザは一時中断前のゲームの状況をよく覚えていなければ、ただちにゲームに入り込めず、ゲームが不利に進行することが予想される。そこで第２画像生成部４４は、仮想３次元空間内にシステムメニュー画像２００とは異なる方向にスクリーンショット画像２０２を配置しておき、ユーザが首を回してＨＭＤ１００を左に向けると、表示パネル１３０にスクリーンショット画像２０２を表示させるようにする。これによりユーザは、一時中断前のゲームの状況を確認でき、支障なくゲームに復帰できるようになる。

このように実施例の情報処理システム１によると、ユーザのゲームプレイ中に、受付部３４が画像切替操作を受け付けた後、第２画像生成部４４は、視点位置に対してそれぞれ異なる方向に配置したシステムメニュー画像２００およびスクリーンショット画像２０２を含む仮想３次元空間の画像を、視線方向決定部３２が定めた視線方向にもとづいて生成する。仮想３次元空間にスクリーンショット画像２０２を配置することで、仮想３次元空間を有効活用できるとともに、ユーザに有用な情報を提供できるようになる。

図１０は、ＨＭＤ１００に表示されるシステムメニュー画像の一例を示す。
図１０においては、表示パネル１３０の左端に、スクリーンショット画像が一部表示されている。図７に示す表示例と比較して、スクリーンショット画像の一部が表示されるか否かは、仮想球体において、システムメニュー画像２００に対してスクリーンショット画像２０２をどの方向に配置するかに依存する。図８に示す配置例では、スクリーンショット画像２０２は、システムメニュー画像２００に対して、反時計回りに９０度の位置に配置されているが、反時計回りに４５度の位置に配置されると、システムメニュー画像が正対表示される際に、スクリーンショット画像の一部が表示されるようになる。

ユーザは、システムメニュー画像の全体とともにスクリーンショット画像の一部を見ることで、スクリーンショット画像がどこにあるか探す必要がないという利点を享受する。なお同様のことを実現するためには、図７に示す画面例において、第２画像生成部４４がスクリーンショット画像の位置を示すインジケータを画面に含めてもよい。インジケータは、たとえば矢印などの向きを示すものであってもよいし、テキストでスクリーンショット画像の表示位置を示すものであってもよい。

以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では、システムメニュー画像が表示された状態からユーザが左を向くことで、表示パネル１３０にスクリーンショット画像が表示されることを説明した。仮想球体における２つの画像の位置関係は、これに限るものではなく、ユーザが右を向いたとき、上を向いたとき、斜めを向いたときに、スクリーンショット画像が表示されるようにしてもよい。また第２画像生成部４４は、仮想球体内にシステムメニュー画像とスクリーンショット画像とを配置することを説明したが、他の画像をさらに配置してもよい。

また第２画像生成部４４は、スクリーンショット画像２０２ではなく、ユーザの視線方向に応じたゲーム画像を表示するようにしてもよい。この場合、画像のフレーム枠の位置は固定とし、視線方向に応じて第１画像生成部４２が生成するゲーム画像を、第２画像生成部４４がフレーム枠に表示してもよい。たとえばユーザがフレーム枠に表示されているゲーム画像に視線を向けた状態でホームボタンを操作すると、第１画像生成部４２が、その視線方向を用いてゲーム画像を生成する。これによりユーザは、フレーム枠に表示されていたゲーム画像からゲームに復帰できるようになる。

１・・・情報処理システム、１０・・・情報処理装置、２０・・・センサデータ受信部、２２・・・撮影画像受信部、２４・・・入力データ受信部、３０・・・ＨＭＤ情報取得部、３２・・・視線方向決定部、３４・・・受付部、４０・・・画像生成部、４２・・・第１画像生成部、４４・・・第２画像生成部、５０・・・画像提供部、１００・・・ＨＭＤ。

Claims

ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を取得する取得部と、
ヘッドマウントディスプレイの姿勢情報に応じて、視線方向を定める視線方向決定部と、
ヘッドマウントディスプレイに表示される仮想３次元空間のゲーム画像を生成する第１画像生成部と、
ヘッドマウントディスプレイがゲーム画像を表示しているときに、ユーザから切替操作を受け付ける受付部と、
前記受付部が切替操作を受け付けると、前記第１画像生成部が生成したゲーム画像に代えてヘッドマウントディスプレイに表示されるシステムメニュー画像を生成する第２画像生成部と、を備え、
前記第２画像生成部は、仮想３次元空間における視点位置に対して、システムメニュー画像を配置した方向とは異なる方向に、所定の画像を配置し、
システムメニュー画像および所定の画像のそれぞれは、ヘッドマウントディスプレイの表示パネルよりも小さく表示される、
ことを特徴とする情報処理装置。
前記第２画像生成部は、前記受付部が切替操作を受け付けたときの第１方向にシステムメニュー画像の横方向中央部分が位置するように、仮想３次元空間にシステムメニュー画像を配置し、第１方向とは異なる第２方向に所定の画像の横方向中央部分が位置するように、仮想３次元空間に所定の画像を配置する、
ことを特徴とする請求項１に記載の情報処理装置。
前記第２画像生成部は、所定の画像として、前記受付部が切替操作を受け付けたときのゲーム画像のスクリーンショットを配置する、
ことを特徴とする請求項１または２に記載の情報処理装置。
ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を取得するステップと、
ヘッドマウントディスプレイの姿勢情報に応じて、視線方向を定めるステップと、
ヘッドマウントディスプレイに表示される仮想３次元空間のゲーム画像を生成するステップと、
ヘッドマウントディスプレイがゲーム画像を表示しているときに、ユーザから切替操作を受け付けるステップと、
切替操作を受け付けた後、視点位置に対してそれぞれ異なる方向に配置したシステムメニュー画像および所定の画像を含む仮想３次元空間の画像を、定めた視線方向にもとづいて生成するステップとを有する画像生成方法であって、
システムメニュー画像および所定の画像のそれぞれは、ヘッドマウントディスプレイの表示パネルよりも小さく表示される、
ことを特徴とする画像生成方法。
コンピュータに、
ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を示す姿勢情報を取得する機能と、
ヘッドマウントディスプレイの姿勢情報に応じて、視線方向を定める機能と、
ヘッドマウントディスプレイに表示される仮想３次元空間のゲーム画像を生成する機能と、
ヘッドマウントディスプレイがゲーム画像を表示しているときに、ユーザから切替操作を受け付ける機能と、
切替操作を受け付けた後、視点位置に対してそれぞれ異なる方向に配置したシステムメニュー画像および所定の画像を含む仮想３次元空間の画像を、定めた視線方向にもとづいて生成する機能と、を実現させるためのプログラムであって、
システムメニュー画像および所定の画像のそれぞれは、ヘッドマウントディスプレイの表示パネルよりも小さく表示される、
ことを特徴とするプログラム。