JP6097377B1 - 画像表示方法及びプログラム - Google Patents

Abstract

【課題】ＨＭＤの動きに連動しない視覚的効果を受けることによる映像酔いを低減する【解決手段】ユーザに関連付けられた一人称視点とは異なる三人称視点を有する仮想空間内の仮想カメラにより撮影した仮想カメラ空間画像を生成するステップと、仮想カメラ空間画像を描画した表示オブジェクトを仮想空間内に配置した視界画像を生成するステップと、生成された視界画像をヘッドマウントディスプレイに出力するステップとを含む方法により、ヘッドマウントディスプレイに仮想空間画像を表示する。さらに、視界領域内に複数の表示オブジェクトが存在する場合には、表示オブジェクトごとに更新タイミングを設定し、設定された更新タイミングで各表示オブジェクトを更新する。【選択図】図７

Description

本発明は画像表示方法、及びプログラムに関する。より詳細には、本発明は、仮想空間の画像を、ヘッドマウントディスプレイ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）へ表示する方法、及びプログラムに関するものである。

特許文献１には、ＨＭＤにヘッドトラッキング機能を持たせて、ＨＭＤを装着したユーザの頭部の動きと連動した画像を、ＨＭＤに表示することが開示されている。

特開２０１５−９５０４５号公報

しかしながら、特許文献１に開示されたＨＭＤシステムでは、ＨＭＤトラッキングとＨＭＤに表示される表示画像の追随がよくない場合に、映像酔い（所謂ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）酔い）を生ずる可能性があった。

上述した課題を解決するために、本発明の一態様は、ユーザが装着するヘッドマウントディスプレイに仮想空間画像を表示する方法であって、
前記ユーザに関連付けられた一人称視点とは異なる三人称視点を有する仮想空間内の仮想カメラ（仮想カメラ２）により撮影した仮想カメラ空間画像を生成するステップと、
前記仮想カメラ空間画像を前記仮想空間内の表示オブジェクトへ描画するステップと、
前記表示オブジェクトを前記仮想空間内に配置した視界画像を生成するステップと、
前記視界画像をヘッドマウントディスプレイに出力するステップと、
を含む方法に関する。

本発明によれば、ＨＭＤの動きに連動しない視覚的効果を受けることによる映像酔いを低減することができる。

本発明の実施形態によるＨＭＤシステムを示す図である。 制御回路部のハードウェア的な構成を示す図である。 ＨＭＤを装着しているユーザの頭部を中心に規定される３次元空間上の直交座標系を示す。 仮想空間の一例を示すＸＹＺ空間図である。 ＨＭＤシステムの機能を実現するための、制御回路部の機能を示すブロック図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 仮想空間内に配置されている複数の表示オブジェクトと視界領域との関係を示す図である。 表示オブジェクト毎に設定される更新タイミングを例示する図である。 ＨＭＤを装着したユーザの視界領域に表示される画像の一例である。

最初に、本発明の一実施形態の内容を列記して説明する。本発明の一実施形態による画像表示方法、及びプログラムは、以下のような構成を備える。
（項目１）
ユーザが装着するヘッドマウントディスプレイに仮想空間画像を表示する方法であって、
前記ユーザに関連付けられた一人称視点とは異なる三人称視点を有する仮想空間内の仮想カメラにより撮影した仮想カメラ空間画像を生成するステップと、
前記仮想カメラ空間画像を前記仮想空間内の表示オブジェクトへ描画するステップと、
前記表示オブジェクトを前記仮想空間内に配置した視界画像を生成するステップと、
前記視界画像をヘッドマウントディスプレイに出力するステップと、
を含む方法。
（項目２）
前記仮想カメラ空間画像を描画する所定のタイミングを決定し、
前記所定のタイミングで前記仮想カメラ空間画像を表示オブジェクトに描画するステップと、
をさらに備える、項目１に記載の方法。
（項目３）
前記仮想カメラ空間画像が前記表示オブジェクトへ描画する所定の場面に対応すると判定した場合に、前記仮想カメラ空間画像を前記表示オブジェクトに描画する、項目１に記載の方法。
（項目４）
前記仮想カメラは複数存在し、それぞれ前記仮想空間内の異なる位置に配置され、前記表示オブジェクトは複数存在し、それぞれ前記仮想空間内の異なる位置に配置され、
複数の表示オブジェクトはそれぞれ、複数の仮想カメラのうち１つの仮想カメラに対応する、項目１に記載の方法。
（項目５）
前記ヘッドマウントディスプレイを装着しているユーザの基準視線を特定するステップと、
前記基準視線に基づいて、前記ユーザの視界領域を決定するステップを更に含み、
前記仮想カメラ空間画像は、前記複数の表示オブジェクトのうち前記視界領域内の表示オブジェクトに描画され、前記複数の表示オブジェクトのうち前記視界領域外の表示オブジェクトに描画されない、項目４に記載の方法。
（項目６）
前記視界領域内に複数の表示オブジェクトが存在する場合に、該視界領域内の複数の表示オブジェクトのそれぞれを更新するタイミングを異ならせるステップと
を更に備える、項目５に記載の方法。
（項目７）
前記ユーザの基準視線は、前記ヘッドマウントディスプレイの傾き、前記ヘッドマウントディスプレイに含まれる注視センサにより特定されたユーザの視線方向のいずれか又は両方に基づいて特定される、項目５に記載の方法。
（項目８）
項目１〜７のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
［本発明の一実施形態の詳細］
本発明の一実施形態に係るヘッドマウントディスプレイシステムを制御するプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
〔ＨＭＤシステム１００の概要〕
図１は、本実施形態にかかるＨＭＤ１１０を備えるＨＭＤシステム１００を示す。ＨＭＤシステム１００は、ユーザ１５０の頭部に装着されるＨＭＤ１１０と、制御回路部１２０と、トラッキングセンサ１３２とを備える。

ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２と、センサ部１１４と、注視センサ１１６を含む。制御回路部１２０は、ディスプレイ１１２に右目用画像と左目用画像を表示することにより、両目の視差を利用した３次元画像を仮想空間として提供する。ディスプレイ１１２がユーザ１５０の眼前に配置されることによって、ユーザ１５０は仮想空間に没入できる。仮想空間は、背景やユーザが操作可能な各種オブジェクト、メニュー画像等を含む。

ディスプレイ１１２は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、１つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。

制御回路部１２０は、ＨＭＤ１１０に接続されるコンピュータである。図２に示すように、制御回路部１２０は、処理回路２０２と、メモリ２０４と、入出力インターフェース２０６と、通信インターフェース２０８を含む。処理回路２０２と、メモリ２０４と、入出力インターフェース２０６と、通信インターフェース２０８は、データ伝送路として用いられるバスで互いに接続される。

処理回路２０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ−ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）といった各種処理回路等を含んで構成され、制御回路部１２０およびＨＭＤシステム１００全体を制御する機能を有する。

メモリ２０４はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含んで構成され、処理回路が使用するプログラムや演算パラメータなどの制御用データを一時的に記憶する。メモリは、また、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性記憶装置を含んで構成され、各種画像やオブジェクトに関するデータ、シミュレーションプログラムやユーザの認証プログラムが格納され、さらに、各種データを管理するためのテーブルを含むデータベースが構築されていてもよい。

入出力インターフェース２０６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子やＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子やＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等の各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、ＨＭＤ１１０や動きセンサ１３０を含む各種センサ、外部コントローラ等を接続する。

通信インターフェース２０８は、ネットワークＮＷを介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットを介して通信するための各種通信規格・プロトコルに適合するように構成されている。

制御回路部１２０は、メモリに格納された所定のアプリケーションを実行することにより、ディスプレイ１１２に仮想空間を提示する。また、メモリには、当該仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御したりするためのプログラムが格納される。制御回路部１２０はＨＭＤ１１０に搭載されていなくてもよく、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、制御回路部１２０は、一部の機能のみをＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。

動きセンサ１３０は、ＨＭＤ１１０の位置や傾きに関する情報を検出する。動きセンサ１３０は、センサ部１１４と、トラッキングセンサ１３２を含む。センサ部１１４は、複数の光源を含んでもよい。光源は、例えば赤外線を発するＬＥＤである。トラッキングセンサ１３２は例えば赤外線センサであり、光源からの赤外線をＨＭＤ１１０の検知点として検知することで、ユーザ１５０の動きに応じたＨＭＤ１１０の現実空間内における位置や角度に関する情報を経時的に検出する。そして、トラッキングセンサ１３２により検出された情報の経時的変化に基づいて、ＨＭＤ１１０の位置や角度の時間変化を決定し、ＨＭＤ１１０の動きに関する情報を検知することができる。

動きセンサ１３０によって取得される位置や傾きに関する情報を、図３を参照して説明する。ＨＭＤ１１０を装着したユーザ１５０の頭部を中心として、３次元座標系を規定する。ユーザが直立する垂直方向をヨー方向とし、ヨー方向と直交しディスプレイ１１２の中心とユーザを結ぶ前後方向をロール方向とし、ヨー方向およびロール方向と直交する横方向をピッチ方向とする。これにより、ユーザの３次元空間内における位置の経時変化が取得される。また、ピッチ方向周りのＨＭＤ１１０の傾き角度としてのピッチ角、ヨー方向周りのＨＭＤ１１０の傾き角度としてのヨー角、ロール方向周りのＨＭＤ１１０の傾き角度としてのロール角が取得される。

動きセンサ１３０は、ディスプレイ１１２の近くに固定されたセンサ部１１４と、トラッキングセンサ１３２の一方から構成されてもよい。センサ部１１４が、地磁気センサ、加速度センサ、ジャイロセンサであってもよく、これらの少なくとも１つを用いて、ユーザ１５０の頭部に装着されたＨＭＤ１１０（特に、ディスプレイ１１２）の位置および傾きを検出する。これにより、ＨＭＤ１１０の動きに関する情報を検出することができる。例えば、角速度センサは、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検出し、各軸回りの角度の時間変化を決定することができる。この場合には、トラッキングセンサ１３２はなくてもよい。また、トラッキングセンサ１３２は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてＨＭＤ１１０の動きに関する情報を検出することができ、センサ部１１４はなくてもよい。

注視センサ１１６は、ユーザ１５０の右目および左目の視線が向けられる方向を検出するアイトラッキング機能を有する。注視センサ１１６は、右目用センサと左目用センサを備えていることが好ましく、それぞれが右目と左目の視線が向けられる方向を検出することにより、ユーザ１５０が注視する視線方向を検知する。注視センサ１１６はアイトラッキング機能を有する公知のセンサを採用することができ、例えば、右目及び左目に赤外光を照射し、角膜や虹彩からの反射光を取得することにより、眼球の回転角を求めることとしても良い。

注視センサ１１６はユーザ１５０の右目および左目の視線方向を検知し、両者の交点である注視点を特定する。ユーザが近くを見ている場合に特定される注視点は、ユーザが遠くを見ている場合に特定される注視点よりもユーザに近い。注視点が特定されると、ユーザ１５０の視線方向が特定される。視線方向はユーザ１５０が両目により実際に視線が向けられている方向である。視線方向は、例えばユーザの右目および左目の中心と、注視点が通る直線の伸びる方向として定義される。
〔一実施形態の説明〕
図４は、本発明の一実施形態に係る仮想空間の一例を示すＸＹＺ空間図である。図４においてＸＺ平面は地表面を表し、Ｙ軸は高さ方向に延びている。図４に示すように仮想空間６は、中心３を中心として天球状に形成される。仮想空間６内には仮想カメラ１及び仮想カメラ２が配置されており、それぞれ仮想空間６内の画像を撮影する。仮想カメラ１の動きは、動きセンサ１３０の動きに対応付けられており、動きセンサ１３０が動くことによって、仮想カメラ１により撮影される画像が変化する。仮想カメラ１は、ユーザ１５０の一人称視点、またはユーザのアバターに関連付けられた視点を有する。一方、仮想カメラ２は仮想カメラ１とは異なる仮想空間内の任意の位置に配置され、ユーザに関連付けられた一人称視点とは異なる三人称視点を有する。

図４において、仮想カメラ１は基準視線４に基づく視界領域５内の視界画像８を撮影しており、仮想カメラ２は第２仮想カメラ空間画像７を撮影する。第２仮想カメラ空間画像７は、例えば仮想空間６内でサッカーゲームを行っているキャラクタ９とボールを含む画像である。視界画像８には、第２仮想カメラ空間画像７を描画した表示オブジェクト１０が配置される。視界画像８の具体的な生成方法については後述する。

次に、図４を参照して、動きセンサ１３０と、仮想空間６内に配置される仮想カメラ１との関係を説明する。仮想カメラ１と動きセンサ１３０の位置関係を説明するために、以下では動きセンサ１３０の位置は、トラッキングセンサ１３２を有する場合にはトラッキングセンサ１３２の位置とし、トラッキングセンサ１３２を有しない場合にはセンサ部１１４の位置とする。

本実施形態では、ＸＺ面において、天球の中心３が仮想カメラ１とセンサ１３０を結ぶ線上に常に配置されるように調整することが好ましい。例えば、仮想カメラ１が常に中心３に配置されてもよい。また、ＨＭＤ１１０を装着したユーザ１５０が移動して仮想カメラ１の位置がＸ方向に移動した場合に、中心３が仮想カメラ１と動きセンサ１３０の延長線上に位置するように、仮想空間６の領域が変更されてもよい。これらの場合には、仮想空間６における仮想カメラ１の位置は固定され、傾きのみが変化する。一方、動きセンサ１３０の任意の方向への移動に連動して仮想カメラ１の位置を移動させるようにすれば、仮想空間６における仮想カメラ１の位置は可変に設定される。

図５は、ＨＭＤシステム１００における仮想空間６の表示処理や、当該仮想空間６内に表示される表示オブジェクトの描画を行うための、制御回路部１２０の機能を示すブロック図である。制御回路部１２０は、主に動きセンサ１３０、注視センサ１１６からの入力に基づいて、ディスプレイ１１２への出力画像を制御する。

制御回路部１２０は、表示制御部２００と、オブジェクト制御部３００と、記憶部４００を備える。表示制御部２００はＨＭＤ動作検知部２１０と、視線検知部２２０と、基準視線特定部２３０と、視界領域決定部２４０と、視界画像生成部２５０とを含む。オブジェクト制御部３００は、第２仮想カメラ画像取得部３１０と、オブジェクト特定部３２０と、更新タイミング設定部３３０と、描画タイミング決定部３４０と、オブジェクト描画部３５０とを含む。記憶部４００は、空間情報格納部４１０と、画像格納部４２０とを含む。さらに、記憶部４００は、動きセンサ１３０や注視センサ１１６からの入力に対応した出力情報をディスプレイ１１２へ提供するための演算に必要な各種データを含む。なお、記憶部４００は図２に示すメモリ２０４に対応する。

まず、図４〜図６を参照して、仮想カメラ１に対応する視界領域５を決定するための処理フローを説明する。仮想空間６は、ＨＭＤ１１０、注視センサ１１６、動きセンサ１３０、および制御回路部１２０の相互作用によって提供され得る。

まず、ＨＭＤ動作検出部２１０は、動きセンサ１３０によって検知されたＨＭＤ１１０の位置情報や傾き情報を取得し、該ＨＭＤ１１０の位置情報や傾き情報に基づいて、ユーザ１５０の視界方向を決定する（ステップＳ１）。

次に、視線検知部２２０は、注視センサ１１６によって検出されたユーザ１５０の左右の眼球の動きに関する情報を取得し、該ユーザの眼球の動きに関する情報に基づいてユーザの視線方向を特定する（ステップＳ２）。

次に、基準視線特定部２３０は、ＨＭＤ１１０の傾きにより特定された視界方向、及び／又はユーザ１５０の視線方向に基づいて基準視線４を特定する（ステップＳ３）。例えば、ユーザ１５０の右目及び左目の中心と、視界方向に位置するディスプレイ１１２の中心とを結ぶ直線を基準視線４として特定する。また、例えば、注視センサ１４０により特定されたユーザの視線方向を基準視線４として特定する。

次に、視界領域決定部２４０は、基準視線４に基づいて、仮想空間６における仮想カメラ１の視界領域５を決定する（ステップＳ４）。視界領域５は、基準視線４と仮想空間６のＹＺ断面によって定義される第１領域と、基準視線４と仮想空間６のＸＺ断面によって定義される第２領域とを有する。第１領域は、基準視線４を中心として所定の極角を含む範囲として設定され、第２領域は、基準視線４を中心として所定の方位角を含む範囲として設定される。図４に示すように、仮想カメラ１の視界領域５は仮想空間６のうちユーザ１５０の視界を構成する部分であり、ＨＭＤ１１０の傾き、及び／またはユーザ１５０の視線方向などに対応付けられる。

次に、図４、図５、及び図７を参照して、仮想カメラ２により撮影された画像を用いて、視界領域５内の視界画像８を生成するための処理フローを説明する。
まず、第２仮想カメラ画像生成部３１０は、仮想カメラ２により撮影された第２仮想カメラ空間画像７を生成する。（ステップＳ５）。仮想カメラ２は、仮想空間で行われているアプリケーション（例えば、サッカーゲーム）の画像／映像を三人称視点で撮影する。

そして、画像格納部４２０は、生成された第２仮想カメラ空間画像７を格納する。画像格納部４２０は、メモリ負荷を低減するために、撮影された第２仮想カメラ空間画像を所定期間のみ記憶し、所定期間経過後に当該画像を順次削除してもよい。画像格納部４２０は、仮想カメラ２が複数の場合は、複数の仮想カメラ毎に撮影した画像をそれぞれ格納する。

画像格納部４２０は、また、所定の場面の第２仮想カメラ空間画像、例えば、サッカーゲームでキャラクタ９がゴールを決める直前から、キャラクタ９がポジションに戻っていくまでの期間に対応する場面のリプレイ画像のみを格納してもよい。後述するオブジェクト描画部３５０が格納したリプレイ画像を描画すべきと判定しなかった場合に、画像格納部４２０は該画像を順次メモリから削除してもよい。

次に、オブジェクト特定部３２０は、ステップＳ４にて決定された視界領域５に基づいて、視界領域５内の表示オブジェクト１０を特定する（ステップＳ６）。表示オブジェクト１０は、仮想カメラ２により撮影された画像を描画する仮想空間内のディスプレイ用オブジェクトであり、仮想空間６内の任意の位置に配置されている。

次に、オブジェクト特定部３２０は視界領域５内に表示オブジェクト１０が複数存在するかを判定する（ステップＳ７）。視界領域５内に表示オブジェクトが複数存在しない場合、ステップＳ９へ進む。一方、視界領域５内に表示オブジェクトが複数存在する場合、更新タイミング設定部３３０は表示オブジェクト毎に更新タイミングを設定する（ステップＳ８）。

図８は、仮想空間６内の異なる位置に配置されている複数の表示オブジェクト１０（１）〜（５）と視界領域５との関係を示す。複数の表示オブジェクトは、仮想空間内の異なる位置に配置されている複数の仮想カメラ２のうち１つの仮想カメラ２にそれぞれ対応づけられる。図８に示すように、表示オブジェクト１０（１）は全体が視界領域５内に配置され、表示オブジェクト１０（２）及び（３）はそれぞれ一部（ａ）のみが視界領域５内に配置される。表示オブジェクト１０（４）、（５）は視界領域外に存在する。なお、複数の表示オブジェクトに１つの仮想カメラ２を対応付けてもよいし、１つの表示オブジェクトに複数の仮想カメラ２を対応付けてもよい。

図９は、表示オブジェクト毎に設定される更新タイミングを例示する図である。更新タイミング設定部３３０は、表示オブジェクトの少なくとも一部が視界領域５内に入っていれば、該表示オブジェクトを更新対象として、更新タイミングを設定する。例えば、更新タイミング設定部３３０は、視界領域５内の表示オブジェクト１０（１）〜（３）を更新対象として、更新タイミングを設定する。そして、更新タイミング設定部３３０は、例えば、表示オブジェクト１０（１）の更新タイミングをフレーム１、４に、表示オブジェクト１０（２）の更新タイミングをフレーム２、５に、表示オブジェクト１０（３）の更新タイミングをフレーム３、６にそれぞれ設定する。視界領域５内の複数の表示オブジェクト１０（１）〜（３）は同時に更新されるのではなく、フレーム毎に例えば１つの表示オブジェクトを更新されるよう更新タイミングが設定される。視界領域５外に存在する表示オブジェクト１０（４）、（５）の更新タイミングは設定されない。

次に、描画タイミング決定部３４０は、第２仮想カメラ空間画像７を表示オブジェクト１０へ描画する所定のタイミングを決定する（ステップＳ９）。描画タイミング決定部３４０は、例えば、サッカーゲームが進行されている場合には、選手キャラクタがゴールを決めた後、当該選手キャラクタがポジションに戻っていくときを、第２仮想カメラ空間画像７を表示オブジェクト１０へ描画する所定のタイミングとして決定する。第２仮想カメラ空間画像７は、所定のタイミングから表示オブジェクト１０へ描画される。これにより、第２仮想カメラ空間画像７が表示オブジェクト１０へ描画される期間が短くなり、表示オブジェクト１０の描画処理に要する負荷を低減することができる。なお、描画タイミング決定部３４０は、第２仮想カメラ空間画像７を常に表示オブジェクト１０へ描画してもよい。

そして、描画タイミング決定部３４０が、第２仮想カメラ空間画像７を描画する所定のタイミングを決定すると、オブジェクト描画部３５０は、画像格納部４２０から第２仮想カメラ空間画像７を読み出し、該所定のタイミングで表示オブジェクト１０へ第２仮想カメラ空間画像７を描画する（ステップＳ１０）。このとき、オブジェクト描画部３５０は、ステップＳ６にて特定された視界領域５内の表示オブジェクト１０のみ描画し、視界領域５外の表示オブジェクトは描画しない。

また、オブジェクト描画部３５０は、表示オブジェクトへ描画する所定の場面を判定してもよい。オブジェクト描画部３５０は、画像格納部４２０から読み出しした第２カメラ仮想空間画像のうち、描画する所定の場面、例えば、ゴールシーンの所定時間前からゴールを決めた所定時間後までの場面に対応する画像を描画する。

視界領域５内に複数の表示オブジェクト１０が存在する場合には、オブジェクト描画部３５０は、仮想カメラ２により撮影された第２仮想カメラ空間画像をそれぞれ、対応する表示オブジェクト１０に描画する。このとき、図８に示すように、オブジェクト描画部３５０は、視界領域５内の表示オブジェクト１０（２）、（３）の一部（ａ）へ第２仮想カメラ空間画像を描画してもよい。これにより描画処理に要する負荷を低減することができる。さらに、オブジェクト描画部３５０は、ステップＳ８にて設定された更新タイミングで、視界領域５内に複数の表示オブジェクトをそれぞれ更新する。１フレームで更新する表示オブジェクトの数を減らし、複数の表示オブジェクトのそれぞれを更新するタイミングを異ならせることにより、１回の更新に要する描画処理負荷を低減することができる。

そして、視界画像生成部２５０は、空間情報格納部４１０を参照して、視界領域５に対応する視界画像８を生成する（ステップＳ１１）。空間情報格納部４１０は、仮想空間６の３次元空間画像を格納する。視界画像生成部２５０は、視界領域５内に存在する表示オブジェクトを仮想空間内に配置した視界画像８を生成する。

そして、ＨＭＤ１１０は、視界画像８に関する情報を制御回路部１２０から受信して、ディスプレイ１１２に視界画像８を出力し、表示させる（ステップＳ１２）。視界画像は左目用と右目用の２つの２次元画像を含み、これらがディスプレイ１１２に重畳されることにより、３次元画像としての仮想空間６がユーザ１５０に提供される。

図１０は、ＨＭＤを装着したユーザ１５０の視界領域に表示される画像の一例である。図１０においては、基準視線に基づいて設定される視界領域５内に、視界画像８が含まれている。視界画像８には１つの表示オブジェクト１０が配置されている。表示オブジェクト１０は、三人称視点の仮想カメラ２で撮影された第２仮想カメラ空間画像７を描画する。本実施形態においては、ＨＭＤを装着しているユーザ１５０が頭部又は視線を動かすと、ユーザの頭部の動き又は視線の動きに連動して、視界画像８が変更される。視界画像８は、第２仮想カメラ空間画像７で構成されず、第２仮想カメラ空間画像７を描画する表示オブジェクト１０を含んで構成される。本発明においては、仮想空間内に配置された表示オブジェクト１０に第２仮想カメラ２空間画像を描画する。従って、ＨＭＤを装着したユーザは、ＨＭＤの動きに連動しない三人称視点の第２仮想カメラ空間画像７で全体が構成される画像を視認しない。本発明によると、ＨＭＤの動きに連動しない仮想空間画像を視認することにより生じる映像酔いを低減することができる。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

１００…ヘッドマウントディスプレイ（ＨＭＤ）システム、１１０…ＨＭＤ、１１２…ディスプレイ、１１４…センサ部、１１６…注視センサ、１２０…制御回路部、１３０…動きセンサ、１３２…トラッキングセンサ、２００…表示制御部、３００…オブジェクト制御部、４００…記憶部、１…仮想カメラ１、２…仮想カメラ２、４…基準視線、５…視界領域、６…仮想空間、７…第２仮想カメラ空間画像、８…視界画像、９…キャラクタ、１０…表示オブジェクト

Claims (8)

1. ユーザが装着するヘッドマウントディスプレイに仮想空間画像を表示する方法であって、
   前記ユーザに関連付けられた一人称視点とは異なる三人称視点を有する仮想空間内の仮想カメラにより撮影した仮想カメラ空間画像を生成するステップと、
   前記仮想カメラ空間画像を前記ユーザに一人称視点として関連付けられた仮想空間内の表示オブジェクトへ描画するステップと、
   前記表示オブジェクトを前記仮想空間内に配置した視界画像を生成するステップと、
   前記視界画像をヘッドマウントディスプレイに出力するステップと、
   を含む方法。
2. 前記仮想カメラ空間画像を描画する所定のタイミングを決定し、
   前記所定のタイミングで前記仮想カメラ空間画像を表示オブジェクトに描画するステップと、
   をさらに備える、請求項１に記載の方法。
3. 前記仮想カメラ空間画像が前記表示オブジェクトへ描画する所定の場面に対応すると判定した場合に、前記仮想カメラ空間画像を前記表示オブジェクトに描画する、請求項１に記載の方法。
4. 前記仮想カメラは複数存在し、それぞれ前記仮想空間内の異なる位置に配置され、前記表示オブジェクトは複数存在し、それぞれ前記仮想空間内の異なる位置に配置され、
   複数の表示オブジェクトはそれぞれ、複数の仮想カメラのうち１つの仮想カメラに対応する、請求項１に記載の方法。
5. 前記ヘッドマウントディスプレイを装着しているユーザの基準視線を特定するステップと、
   前記基準視線に基づいて、前記ユーザの視界領域を決定するステップを更に含み、
   前記仮想カメラ空間画像は、前記複数の表示オブジェクトのうち前記視界領域内の表示オブジェクトに描画され、前記複数の表示オブジェクトのうち前記視界領域外の表示オブジェクトに描画されない
   請求項４に記載の方法。
6. 前記視界領域内に複数の表示オブジェクトが存在する場合に、該視界領域内の複数の表示オブジェクトのそれぞれを更新するタイミングを異ならせるステップと
   を更に備える、請求項５に記載の方法。
7. 前記ユーザの基準視線は、前記ヘッドマウントディスプレイの傾き、前記ヘッドマウントディスプレイに含まれる注視センサにより特定されたユーザの視線方向のいずれか又は両方に基づいて特定される、請求項５に記載の方法。
8. 請求項１〜７のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。