JP6159455B1 - 仮想空間を提供する方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】仮想空間における操作性をより高める。【解決手段】制御回路部（２００）は、仮想カメラ（１）の視界（３）に向けて移動させることが可能なオブジェクト（７）を、仮想カメラの死角（４）に配置し（ステップＳ２１）、死角において事象が生じた場合に、オブジェクトを、事象が生じた方向に対応する移動量だけ視界に向けて移動させる（ステップＳ２４）。【選択図】図１０

Description

本開示は、仮想空間を提供する方法、プログラム、および記録媒体に関する。

特許文献１には、仮想空間において再生されるコンテンツを、ヘッドマウントディスプレイを通じてユーザに視認させるための技術が開示されている。

特開２０１３−２５８６１４号公報（２０１３年１２月２６日公開）

上述した従来技術では、ユーザがＨＭＤを動かすと、仮想空間におけるユーザの視認箇所を変えることができるので、仮想空間に対するユーザの没入感を高めることができる。一方で、仮想空間における没入感を高めつつ、仮想空間におけるユーザの死角で事象が発生したとき、事象が発生した方向をユーザが直感的に認識できるように仮想空間における操作性をより高めるための工夫が、求められている。

本開示は前記の課題を解決するためになされたものである。そして、その目的は、仮想空間における操作性をより高めることにある。

前記の課題を解決するために、本開示に係る仮想空間を提供する方法は、頭部にヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、ユーザの仮想空間における基準視線を特定するステップと、仮想空間に配置され、基準視線に基づいてユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、仮想カメラの視界に向けて移動させることが可能なオブジェクトを、仮想カメラの死角に配置するステップと、死角において事象が生じた場合に、オブジェクトを、事象が生じた方向に対応する移動量だけ視界に向けて移動させるステップと、視界領域に基づいて視界画像を生成するステップと、視界画像をＨＭＤに表示させるステップとを有する。

本開示によれば、仮想空間における操作性がより高まる。

ＨＭＤシステムの構成を示す図である。 制御回路部のハード構成を示す図である。 ＨＭＤに設定される視野座標系を例示する図である。 ユーザに提供される仮想空間の概要を説明する図である。 視界領域の断面を示す図である。 ユーザの視線方向を決定する方法を例示する図である。 右コントローラの構成を表す図である。 制御回路部の機能的構成を示すブロック図である。 ＨＭＤシステムが仮想空間をユーザに提供する処理の流れを示すシーケンス図である。 ＨＭＤシステムが実行する制御方法の一例における処理の流れを示すフローチャートである。 死角においてユーザオブジェクトが攻撃を受けていないときの各仮想オブジェクトの配置の一例を示す図である。 当該配置に基づいて生成された視界画像の一例を示す図である。 死角におけるある方向からユーザオブジェクトが攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。 当該配置に基づいて生成された視界画像の一例を示す図である。 死角における他の方向からユーザオブジェクトが攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。 当該配置に基づいて生成された視界画像の一例を示す図である。 死角におけるさらに他の方向からユーザオブジェクトが攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。 当該配置に基づいて生成された視界画像の一例を示す図である。 ＵＩオブジェクトの他の例を示す図である。

［本発明の実施形態の詳細］
本発明の実施形態に係る仮想空間を提供する方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。

（ＨＭＤシステム１００の構成）
図１は、ＨＭＤシステム１００の構成を示す図である。この図に示すように、ＨＭＤシステム１００は、ＨＭＤ１１０、ＨＭＤセンサ１２０、コントローラセンサ１４０、制御回路部２００、およびコントローラ３００を備えている。

ＨＭＤ１１０は、ユーザの頭部に装着される。ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２、センサ１１４、および注視センサ１３０を備えている。ＨＭＤ１１０は、右目用画像および左目用画像をディスプレイ１１２にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される３次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ１１２がユーザの眼前に配置されているので、ユーザは、ディスプレイ１１２に表示される画像を通じて仮想空間に没入できる。これにより、ユーザは仮想現実（Virtual Reality：VR）を体験することができる。仮想空間は、背景、ならびにユーザが操作可能な各種のオブジェクトおよびメニュー画像等を含み得る。

ディスプレイ１１２は、右目用画像を表示する右目用サブディスプレイと、左目用画像を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ１１２は、右目用画像および左目用画像を共通の画面に表示する１つの表示装置であってもよい。このような表示装置として、たとえば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像および左目用画像を独立して交互に表示する表示装置が挙げられる。

また、本実施形態において、ＨＭＤ１１０には、透過型ディスプレイが適用されてもよい。つまり、ＨＭＤ１１０は、透過型ＨＭＤであってもよい。この場合、前記３次元画像を透過型ディスプレイに表示することによって、後述する仮想オブジェクトを現実空間に仮想的に配置することができる。これにより、ユーザは現実空間に仮想オブジェクトが配置された複合現実（Mixes Reality：MR）を体験することができる。本実施形態において、仮想現実や複合現実といった、ユーザが仮想オブジェクトと相互作用できる体験を仮想体験と称することがある。以下では、仮想現実を提供するための方法を一例として詳説する。

（制御回路部２００のハード構成）
図２は、制御回路部２００のハード構成を示す図である。制御回路部２００は、ＨＭＤ１１０に仮想空間を提供させるためのコンピュータである。図２に示すように、制御回路部２００は、プロセッサ、メモリ、ストレージ、入出力インターフェース、および通信インターフェースを備えている。これらは、データ伝送路としてのバスを通じて、制御回路部２００内において互いに接続されている。

プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-processing unit）、またはＧＰＵ（Graphics Processing Unit）等を含んで構成され、制御回路部２００およびＨＭＤシステム１００全体の動作を制御する。

メモリは、主記憶として機能する。メモリには、プロセッサによって処理されるプログラムおよび制御用データ（演算パラメータなど）が記憶される。メモリは、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）等を含んで構成され得る。

ストレージは、補助記憶として機能する。ストレージには、ＨＭＤシステム１００全体の動作を制御するためのプログラム、各種のシミュレーションプログラム、ユーザ認証プログラム、および、仮想空間を規定するための各種のデータ（画像およびオブジェクト等）が格納されている。さらには、各種のデータを管理するためのテーブルを含むデータベースがストレージに構築されていてもよい。ストレージは、フラッシュメモリまたはＨＤＤ（Hard Disc Drive）等を含んで構成され得る。

入出力インターフェースは、ＵＳＢ（Universal Serial Bus）端子、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等の各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成されている。入出力インターフェースは、ＨＭＤ１１０と、ＨＭＤセンサ１２０およびコントローラセンサ１４０を含む各種のセンサと、コントローラ３００とを互いに接続する。

通信インターフェースは、ネットワークＮＷを介して外部装置と通信するための各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成される。通信インターフェースは、ＬＡＮ（Local Area Network）またはインターネットを介して通信するための各種の通信規格およびプロトコルに適合するように、構成されている。

制御回路部２００は、ストレージに格納された所定のアプリケーションプログラムをメモリにロードして実行することによって、ユーザに仮想空間を提供する。プログラムの実行時に、メモリおよびストレージには、仮想空間内に配置される各種の仮想オブジェクトを操作したり、各種のメニュー画像等を表示および制御したりするための各種のプログラムが格納される。

制御回路部２００は、ＨＭＤ１１０に搭載されていてもよいし、されていなくてもよい。すなわち制御回路部２００は、ＨＭＤ１１０から独立した別のハードウェア（たとえば、パーソナルコンピュータ、またはネットワークを通じてＨＭＤ１１０と通信可能なサーバ装置）であってもよい。制御回路部２００は、複数のハードウェアの協働によって１または複数の機能が実装される形態の装置であってもよい。または、制御回路部２００が有する全機能のうち一部の機能のみがＨＭＤ１１０に実装され、残りの機能が別のハードウェアに実装されていてもよい。

ＨＭＤシステム１００を構成するＨＭＤ１１０等の各要素には、予め、グローバル座標系（基準座標系、ｘｙｚ座標系）が設定されている。このグローバル座標系は、現実空間における、鉛直方向、鉛直方向と直交する横方向、ならびに、鉛直方向および横方向の双方と直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施形態では、グローバル座標系は視点座標系の一種であるため、グローバル座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれｘ軸、ｙ軸、ｚ軸とする。具体的には、グローバル座標系のｘ軸は現実空間の横方向に平行であり、ｙ軸は現実空間の鉛直方向に平行であり、ｚ軸は現実空間の前後方向に平行である。

ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジション・トラッキング機能を有する。ＨＭＤセンサ１２０は、この機能によって、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。この検出を実現するために、ＨＭＤ１１０は、図示しない複数の光源を備えている。各光源は、たとえば赤外線を発するＬＥＤである。ＨＭＤセンサ１２０は、たとえば赤外線センサを含んで構成される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の光源から照射された赤外線を、赤外線センサによって検出することによって、ＨＭＤ１１０の検出点を検出する。さらに、ＨＭＤ１１０の検出点の検出値に基づき、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置および傾きを検出する。ＨＭＤセンサ１２０は、検出値の経時的変化に基づき、ＨＭＤ１１０の位置および傾きの時間変化を決定することができる。

ＨＭＤセンサ１２０は、光学カメラを含んで構成されてもよい。この場合、ＨＭＤセンサ１２０は、光学カメラによって得られたＨＭＤ１１０の画像情報に基づき、ＨＭＤ１１０の位置および傾きを検出する。

ＨＭＤセンサ１２０の代わりに、ＨＭＤ１１０が、センサ１１４を用いて自身の位置および傾きを検出してもよい。この場合、センサ１１４は、たとえば角速度センサ、地磁気センサ、加速度センサ、またはジャイロセンサであればよい。ＨＭＤ１１０は、これらのうち少なくとも１つを用いる。センサ１１４が角速度センサである場合、センサ１１４は、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の現実空間における３軸回りの角速度を経時的に検出する。ＨＭＤ１１０は、角速度の検出値に基づき、ＨＭＤ１１０の３軸回りの角度の時間的変化を決定し、さらに、角度の時間的変化に基づきＨＭＤ１１０の傾きを検出することができる。

ＨＭＤ１１０がセンサ１１４による検出値に基づきＨＭＤ１１０の位置および傾きを自ら検出する場合、ＨＭＤシステム１００にＨＭＤセンサ１２０は不要である。逆に、ＨＭＤ１１０から離れた位置に配置されるＨＭＤセンサ１２０がＨＭＤ１１０の位置および傾きを検出する場合、ＨＭＤ１１０にセンサ１１４は不要である。

上述したように、グローバル座標系は現実空間の座標系と平行である。そのため、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤセンサ１２０の傾きの検出値に基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザが物体を見る際の視点座標系に対応する。

（ｕｗｖ視野座標系）
図３は、ＨＭＤ１１０に設定されるｕｗｖ視野座標系を例示する図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。そして、傾きの検出値に基づく３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。具体的には、グローバル座標系を規定する横方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる新たな３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザが直立しかつ正面を視認している場合、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系の横方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）が、そのまま、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

ＨＭＤセンサ１２０は、ＨＭＤ１１０にｕｖｗ視野座標系を設定した後、ＨＭＤ１１０の動きに応じて、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出することができる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度である。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度である。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度である。

ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きの検出値に基づき、動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、新たにＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きによらず常に一定である。ＨＭＤ１１０の位置および傾きが変わると、それの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが同様に変化する。

ＨＭＤセンサ１２０は、赤外線センサによって取得される赤外線の光強度および複数の検出点間の相対位置関係（検出点間の距離等）に基づき、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、特定した相対位置に基づき、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。また、ＨＭＤセンサ１２０は、複数の検出点間の相対位置関係に基づきＨＭＤ１１０の現実空間内における傾きを検出し、さらに、その検出値に基づき現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の向きを決定してもよい。

（仮想空間２の概要）
図４は、ユーザに提供される仮想空間２の概要を説明する図である。この図に示すように、仮想空間２は、中心２１の３６０°方向全体を覆う全天球状の構造を有する。図４には、仮想空間２の全体のうち上半分の天球のみを例示する。仮想空間２には、略正方形または略長方形の複数のメッシュが関連付けられている。仮想空間２における各メッシュの位置は、仮想空間２に規定される空間座標系（ＸＹＺ座標系）における座標として、予め規定されている。制御回路部２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２における対応する各メッシュに対応付けることによって、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

仮想空間２には、中心２１を原点とするＸＹＺ空間座標系が規定されている。ＸＹＺ座標系は、たとえばグローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれＸ軸、Ｙ軸、Ｚ軸とする。すなわち、ＸＹＺ座標系のＸ軸（横方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（上下方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

ＨＭＤ１１０の起動時（初期状態）において、仮想空間２の中心２１に仮想カメラ１が配置されている。仮想カメラ１は、現実空間内におけるＨＭＤ１１０の動きに連動して、仮想空間２内において同様に動く。これにより、現実空間内におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２内において同様に再現される。

仮想カメラ１には、ＨＭＤ１１０と同様にｕｖｗ視野座標系が規定される。仮想空間２内における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）内におけるＨＭＤ１１０のｕｖｗ視野座標系に変動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに連動して仮想カメラ１の傾きも変化する。仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

仮想空間２における仮想カメラ１の位置および傾きに応じて、仮想空間２における仮想カメラ１の向きが決まる。これにより、仮想空間２に展開される仮想空間画像２２をユーザが視認する際の基準となる視線（基準視線５）が決まる。制御回路部２００は、基準視線５に基づき、仮想空間２における視界領域２３を決定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する領域である。

図５は、視界領域２３の断面を示す図である。図５の状態（Ａ）は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を示す。図５の状態（Ｂ）は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を示す。視界領域２３は、基準視線５と仮想空間２のＹＺ断面とによって定義される範囲である第１領域２４（図５の状態（Ａ）参照）と、基準視線５と仮想空間２のＸＺ断面とによって定義される範囲である第２領域２５（図５の状態（Ｂ）参照）とを有する。制御回路部２００は、仮想空間２における基準視線５を中心として極角αを含む範囲を、第１領域２４として設定する。また、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、第２領域２５として設定する。

ＨＭＤシステム１００は、仮想空間画像２２のうち視界領域２３に重畳する部分である視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることによって、ユーザに仮想空間２を提供する。ユーザがＨＭＤ１１０を動かせば、それに連動して仮想カメラ１も動き、その結果、仮想空間２における視界領域２３の位置が変化する。これによりディスプレイ１１２に表示される視界画像２６が、仮想空間画像２２のうち、仮想空間２においてユーザが向いた箇所（＝視界領域２３）に重畳する画像に更新される。したがってユーザは、仮想空間２における所望の箇所を視認することができる。

ユーザは、ＨＭＤ１１０を装着している間、現実世界を目にすることなく、仮想空間２に展開される仮想空間画像２２のみを視認する。そのためＨＭＤシステム１００は、仮想空間２への高い没入感をユーザに与えることができる。

制御回路部２００は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想カメラ１を仮想空間２内において移動させてもよい。この場合、制御回路部２００は、仮想カメラ１の仮想空間２内における位置および向きに基づき、仮想空間２のうちＨＭＤ１１０のディスプレイ１１２に投影されることによってユーザが視認する視界領域２３を特定する。

仮想カメラ１は、右眼用画像を提供する右眼用仮想カメラと、左眼用画像を提供する左眼用仮想カメラとを含むことが好ましい。さらに、２つの仮想カメラには、ユーザが３次元の仮想空間２を認識できるように適切な視差が設定されていることが好ましい。本実施形態では、このような２つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるような仮想カメラ１のみを、代表して図示および説明するものとする。

（視線方向の検出）
注視センサ１３０は、ユーザの右目および左目の視線が向けられる方向（視線方向）を検出するアイトラッキング機能を有する。注視センサ１３０として、アイトラッキング機能を有する公知のセンサを採用することができる。注視センサ１３０は、右目用センサおよび左目用センサを備えていることが好ましい。注視センサ１３０は、たとえば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。注視センサ１３０は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。

注視センサ１３０によって検出されるユーザの視線方向は、ユーザが物体を視認する際の視点座標系における方向である。上述したように、ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザがディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがってＨＭＤシステム１００では、注視センサ１３０によって検出されたユーザの視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向と見なすことができる。

図６は、ユーザの視線方向を決定する方法を例示する図である。この図に示すように、注視センサ１３０は、ユーザＵの右目および左目の視線を検出する。ユーザＵが近くを見ている場合、注視センサ１３０は、ユーザＵの視線Ｒ１およびＬ１を検出する。ユーザが遠くを見ている場合、注視センサ１３０は、ユーザの視線Ｒ１およびＬ１よりも、ＨＭＤ１１０のロール方向（ｗ）とのなす角が小さい視線Ｒ２およびＬ２を特定する。注視センサ１３０は、検出値を制御回路部２００に送信する。

制御回路部２００は、視線の検出値として視線Ｒ１およびＬ１を受信した場合、両者の交点である注視点Ｎ１を特定する。一方、視線Ｒ２およびＬ２を受信した場合も、両者の交点である注視点Ｎ１（不図示）を特定する。制御回路部２００は、特定した注視点Ｎ１に基づき、ユーザＵの視線方向Ｎ０を検出する。制御回路部２００は、たとえば、ユーザＵの右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の伸びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザＵが両目により実際に視線を向けている方向である。視線方向Ｎ０はまた、視界領域２３に対してユーザＵが実際に視線を向けている方向でもある。

ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかの要素に、マイクおよびスピーカを備えていてもよい。これにより、ユーザは仮想空間２内に対して、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいてもよい。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。

（コントローラ３００）
コントローラ３００は、ユーザの身体の一部の動きを検知することにより、仮想オブジェクトの動きを制御するために用いる装置の一例である。図１に示すように、コントローラ３００は、ユーザが右手に持って使用する右コントローラ３２０と、ユーザが左手に持って使用する左コントローラ３３０とからなる。右コントローラ３２０および左コントローラ３３０は、それぞれ別体の装置として構成される。ユーザは、右コントローラ３２０を持った右手と、左コントローラ３３０を持った左手とを動かすことにより、ユーザの手の動きに連動する仮想オブジェクト（以下、状況に応じて、仮想手、仮想右手、仮想左手、などと称することがある。）を、自由に動かすことができる。なお、ユーザの頭部以外である身体の一部の動きを検知するための方法は、当該身体の一部に装着されるセンサを含むコントローラを用いる例に限られず、画像認識、その他任意の物理的、光学的な手法等を適用できる。例えば、外部カメラを用いてユーザの身体の一部の初期位置を特定し、継続的にユーザの身体の一部の位置を特定することにより、ユーザの頭部以外である身体の一部の動きを検知できる。以下の説明においては、コントローラ３００を用いたユーザの頭部以外である身体の一部の動きの検知について詳述する。

図１に示すように、右コントローラ３２０および左コントローラ３３０は、それぞれ、操作ボタン３０２、赤外線ＬＥＤ（Light Emitting Diode）３０４、センサ３０６、およびトランシーバ３０８を備えている。右コントローラ３２０および左コントローラ３３０は、赤外線ＬＥＤ３０４およびセンサ３０６のうちいずれか一方のみを備えていてもよい。図７は、右コントローラ３２０の構成を表す図である。以下の説明において、右コントローラ３２０および左コントローラ３３０は共通の構成を有するため、右コントローラ３２０の構成のみを説明する。

コントローラセンサ１４０は、右コントローラ３２０の動きを検出するためのポジション・トラッキング機能を有する。コントローラセンサ１４０は、現実空間内における右コントローラ３２０の位置および傾きを検出する。コントローラセンサ１４０は、右コントローラ３２０の赤外線ＬＥＤ３０４から発せられた赤外光を、それぞれ検出する。コントローラセンサ１４０は、赤外波長領域において画像を撮像する赤外カメラを備えており、この赤外カメラによって撮像した画像のデータに基づき、右コントローラ３２０の位置および傾きを検出する。

コントローラセンサ１４０の代わりに、右コントローラ３２０が、センサ３０６を用いて自身の位置および傾きを検出してもよい。この場合、右コントローラ３２０の三軸角速度センサ（センサ３０６）が、右コントローラ３２０の３つの直交する各軸回りの回転を検出する。右コントローラ３２０は、各検出値に基づき、右コントローラ３２０がどちらの方向にどれだけ回転したかを検出し、逐次検出した回転方向と回転量とを累積することによって、右コントローラ３２０の傾きを算出する。右コントローラ３２０は、三軸角速度センサの検出値に加えて、三軸磁気センサおよび／または三軸加速度センサからの検出値を併用してもよい。

操作ボタン３０２は、コントローラ３００に対するユーザからの操作入力を受け取るように構成された複数のボタン群である。本実施形態では、操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン、およびアナログスティックを含む。

プッシュ式ボタンは、親指で下向きに押下する動作によって操作するように構成されたボタンである。右コントローラ３２０は、プッシュ式ボタンとして、天面３２２上に親指ボタン３０２ａおよび３０２ｂを備えている。親指ボタン３０２ａおよび３０２ｂは、いずれも右手の親指によって操作（押下）される。右手の親指によって親指ボタン３０２ａおよび３０２ｂが押下され、または、天面３２２上に親指が配置されることにより、仮想右手の親指が伸ばした状態から曲げられた状態に変化される。

トリガー式ボタンは、人差し指または中指で引き金を引くような動作によって操作するように構成されたボタンである。右コントローラ３２０は、トリガー式ボタンとして、グリップ３２４の前面部分に人差し指ボタン３０２ｅを備えている。人差し指ボタン３０２ｅを右手の人差し指によって操作することにより、仮想右手の人差し指が伸ばした状態から曲げられた状態に変化される。また、グリップ３２４の側面部分に中指ボタン３０２ｆを備えている。中指ボタン３０２ｆを右手の中指によって操作することにより、仮想右手の中指、薬指、小指が伸ばした状態から曲げられた状態に変化される。

右コントローラ３２０は、親指ボタン３０２ａおよび３０２ｂ、人差し指ボタン３０２ｅ、ならびに中指ボタン３０２ｆの押下状態をそれぞれ検出し、これらの検出値を制御回路部２００に出力する。

本実施形態では、右コントローラ３２０の各ボタンの押下状態の検出値は、０から１のいずれかの値を取り得る。たとえば、ユーザが親指ボタン３０２ａをまったく押下していない場合、親指ボタン３０２ａの押下状態として「０」が検出される。一方、ユーザが親指ボタン３０２ａを完全に（最も深く）押下している場合、親指ボタン３０２ａの押下状態として「１」が検出される。これにより、仮想手における各指の曲がり具合を調整してもよい。例えば、「０」の状態を指が伸びている状態として定義し、「１」の状態を指が曲げられている状態として定義することにより、ユーザは直感的な動作によって仮想手の指を制御することができる。

アナログスティックは、所定のニュートラル位置から３６０°任意の方向へ傾けて操作することが可能なスティック型のボタンである。右コントローラ３２０の天面３２２上にアナログスティック３０２ｉが設けられる。アナログスティック３０２ｉは、右手の親指によって操作される。

右コントローラ３２０は、グリップ３２４の両側面から天面３２２とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６を備えている。フレーム３２６の外表面には、複数の赤外線ＬＥＤ３０４が埋め込まれている。

赤外線ＬＥＤ３０４は、コンピュータゲームのプレイ中に赤外線を発光する。赤外線ＬＥＤ３０４から発せられた赤外光は、右コントローラ３２０の位置および傾きを検出するために利用される。

右コントローラ３２０は、赤外線ＬＥＤ３０４の代わりに、または赤外線ＬＥＤ３０４に加えて、さらにセンサ３０６を内蔵する。センサ３０６は、たとえば磁気センサ、角速度センサ、若しくは加速度センサのいずれか、またはこれらの組み合わせであってよい。センサ３０６によって、右コントローラ３２０の位置および傾きを検出することができる。

トランシーバ３０８は、右コントローラ３２０と、制御回路部２００との間でデータを送受信するように構成される。トランシーバ３０８は、ユーザが操作ボタン３０２を介して右コントローラ３２０に与えた操作入力に基づくデータを、制御回路部２００へ送信する。また、トランシーバ３０８は、赤外線ＬＥＤ３０４の発光を右コントローラ３２０に指示する命令を、制御回路部２００から受信する。さらに、トランシーバ３０８は、センサ３０６によって検出した各種の値に対応するデータを、制御回路部２００へ送信する。

右コントローラ３２０は、ユーザの手に振動による触覚フィードバックを伝えるためのバイブレータを備えていてもよい。この構成では、トランシーバ３０８は、上述した各データの送受信に加えて、バイブレータに触覚フィードバックを行わせるための命令を制御回路部２００から受信することができる。

（制御回路部２００の機能的構成）
図８は、制御回路部２００の機能的構成を示すブロック図である。制御回路部２００は、ＨＭＤセンサ１２０、コントローラセンサ１４０、注視センサ１３０、およびコントローラ３００から受信した各種のデータを用いることによって、ユーザに提供される仮想空間２を制御すると共に、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。図８に示すように、制御回路部２００は、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０を備えている。制御回路部２００は、図２に示す各ハードウェアの協働によって、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０として機能する。検出部２１０、表示制御部２２０、および仮想空間制御部２３０は、主としてプロセッサおよびメモリの協働によってその機能が実現され得る。記憶部２４０は、主としてメモリおよびストレージの協働によってその機能が実現され得る。通信部２５０は、主としてプロセッサおよび通信インターフェースの協働によってその機能が実現され得る。

検出部２１０は、制御回路部２００に接続される各種のセンサ（ＨＭＤセンサ１２０等）から検出値を受信する。また、必要に応じて、受信した検出値を用いた所定の処理を実行する。検出部２１０は、ＨＭＤ検出部２１１、視線検出部２１２、およびコントローラ検出部２１３を備えている。ＨＭＤ検出部２１１は、ＨＭＤ１１０およびＨＭＤセンサ１２０から検出値をそれぞれ受信する。視線検出部２１２は、注視センサ１３０から検出値を受信する。コントローラ検出部２１３は、コントローラセンサ１４０、右コントローラ３２０、および左コントローラ３３０から、それぞれの検出値を受信する。

表示制御部２２０は、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。表示制御部２２０は、仮想カメラ制御部２２１、視界領域決定部２２２、および視界画像生成部２２３を備えている。仮想カメラ制御部２２１は、仮想空間２内に仮想カメラ１を配置すると共に、仮想空間２内における仮想カメラ１の挙動を制御する。視界領域決定部２２２は、視界領域２３を決定する。視界画像生成部２２３は、決定された視界領域２３に基づき、ディスプレイ１１２に表示される視界画像２６を生成する。

仮想空間制御部２３０は、ユーザに提供される仮想空間２を制御する。仮想空間制御部２３０は、仮想空間規定部２３１、仮想手制御部２３２、オブジェクト制御部２３３、および、事象判定部２３４を備えている。

仮想空間規定部２３１は、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、ＨＭＤシステム１００における仮想空間２を規定する。仮想手制御部２３２は、ユーザによる右コントローラ３２０および左コントローラ３３０の操作に応じたユーザの各仮想手（仮想右手および仮想左手）を仮想空間２内に配置すると共に、仮想空間２内における各仮想手の挙動を制御する。

オブジェクト制御部２３３は、仮想オブジェクトを仮想空間２内に配置すると共に、仮想空間２における仮想オブジェクトの挙動を制御する。オブジェクト制御部２３３によって制御される仮想オブジェクトには、ユーザインターフェース（以下、ＵＩ）オブジェクトがある。ＵＩオブジェクトは、事象が生じた方向をユーザに対して提示するためのＵＩとして機能する仮想オブジェクトである。オブジェクト制御部２３３は、後述する移動量格納部２４３に格納されている移動量に基づいて、ＵＩオブジェクトを制御する。

事象判定部２３４は、仮想空間２内に配置された仮想オブジェクトの挙動に基づいて、仮想カメラ１の死角において事象が生じたか否かを判定する。事象判定部２３４は、死角において事象が生じた場合に当該事象が生じた方向を特定する。仮想カメラ１の死角とは、仮想空間２のうち、基準視線５を中心とした方位角β（図５の状態（Ｂ）参照）を含まない空間を指す。これに対し、方位角βを含む空間を仮想カメラ１の視界と称する。

記憶部２４０は、制御回路部２００が仮想空間２をユーザに提供するために用いる各種のデータを格納している。記憶部２４０は、雛形格納部２４１、コンテンツ格納部２４２、および移動量格納部２４３を備えている。雛形格納部２４１は、仮想空間２の雛形を表す各種の雛形データを格納している。コンテンツ格納部２４２は、仮想空間２において再生可能な各種のコンテンツを格納している。移動量格納部２４３には、ＵＩオブジェクトを移動させるときの移動量が、事象が生じた方向に対応付けて格納されている。

雛形データは、仮想空間２の空間構造を規定する空間構造データを有する。空間構造データは、たとえば、中心２１を中心とする３６０°の全天球の空間構造を規定するデータである。雛形データは、仮想空間２のＸＹＺ座標系を規定するデータをさらに有する。雛形データは、天球を構成する各メッシュのＸＹＺ座標系における位置を特定する座標データをさらに有する。また、雛形データは、仮想空間２内にオブジェクトを配置可能であるか否かを示すフラグをさらに有する。

コンテンツは、仮想空間２において再生可能なコンテンツである。本実施形態では、このコンテンツはゲームコンテンツである。コンテンツは、ゲームの背景画像、および、ゲームに登場するオブジェクト（キャラクタ、アイテム等）を規定するデータを少なくとも有する。各コンテンツには、ＨＭＤ１１０の初期状態（起動時）にユーザに見せる画像を向いた初期方向が、予め規定されている。

通信部２５０は、ネットワークＮＷを介して外部機器４００（たとえばゲームサーバ）との間でデータを送受信する。

（仮想空間２の提供処理）
図９は、ＨＭＤシステム１００が仮想空間２をユーザに提供する処理の流れを示すシーケンス図である。仮想空間２は、基本的に、ＨＭＤ１１０および制御回路部２００の協働によってユーザに提供される。まず、ステップＳ１において、仮想空間規定部２３１が、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１は、仮想空間２の雛形データを雛形格納部２４１から取得することによって、仮想空間２の原型を定義する。仮想空間規定部２３１は、さらに、仮想空間２において再生されるコンテンツを、コンテンツ格納部２４２から取得する。本実施形態では、このコンテンツはゲームコンテンツである。

仮想空間規定部２３１は、取得した雛形データに、取得したコンテンツを適合することによって、仮想空間２を規定する仮想空間データを生成する。仮想空間規定部２３１は、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、コンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。仮想空間規定部２３１は、コンテンツに規定される初期方向を仮想空間２のＸＹＺ座標系におけるＺ方向に合致させるように、各部分画像と各メッシュとを関連付けることが好ましい。

仮想空間規定部２３１は、さらに、必要に応じて、コンテンツに含まれる各オブジェクトの管理データを、仮想空間データに追加する。その際、各管理データに、対応するオブジェクトが仮想空間２において配置される位置を表す座標を、設定する。これにより各オブジェクトが、仮想空間２における当該座標の位置にそれぞれ配置される。

その後、ユーザによってＨＭＤ１１０が起動されると、ステップＳ２において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の初期状態における位置および傾きを検出して、ステップＳ３において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。この後、ステップＳ４において、仮想カメラ制御部２２１は、仮想空間２において仮想カメラ１を初期化する。

初期化の手順は次の通りである。まず仮想カメラ制御部２２１は、仮想空間２内における初期位置（図４における中心２１等）に、仮想カメラ１を配置する。次に、仮想空間２における仮想カメラ１の向きを設定する。その際、仮想カメラ制御部２２１は、ＨＭＤセンサ１２０からの検出値に基づき初期状態のＨＭＤ１１０のｕｖｗ視野座標系を特定すると共に、ＨＭＤ１１０のｕｖｗ視野座標系に一致するｕｖｗ視野座標系を仮想カメラ１に設定することによって、仮想カメラ１の向きを設定すればよい。仮想カメラ制御部２２１は、仮想カメラ１にｕｖｗ視野座標系を設定する際、仮想カメラ１のロール方向（ｗ軸）をＸＹＺ座標系のＺ方向（Ｚ軸）に適合させる。具体的には、仮想カメラ制御部２２１は、仮想カメラ１のロール方向をＸＺ平面に投影して得られる方向を、ＸＹＺ座標系のＺ方向に一致させると共に、ＸＺ平面に対する仮想カメラ１のロール方向の傾きを、水平面に対するＨＭＤ１１０のロール方向の傾きに一致させる。このような適合処理によって、初期状態の仮想カメラ１のロール方向がコンテンツの初期方向に適合されるので、コンテンツの再生開始後におけるユーザが最初に向く水平方向の向きを、コンテンツの初期方向に一致させることができる。

仮想カメラ１の初期化処理が終わると、視界領域決定部２２２は、仮想カメラ１のｕｖｗ視野座標系に基づき、仮想空間２における視界領域２３を決定する。具体的には、仮想カメラ１のｕｖｗ視野座標系のロール方向（ｗ軸）をユーザの基準視線５として特定し、この基準視線５に基づき視界領域２３を決定する。ステップＳ５において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影される部分に相当する視界画像２６を生成（レンダリング）する。ステップＳ６において、視界画像生成部２２３は、生成した視界画像２６を初期視界画像としてＨＭＤ１１０に出力する。ステップＳ７において、ＨＭＤ１１０は、受信した初期視界画像をディスプレイ１１２に表示する。これによりユーザは初期視界画像を視認する。

その後、ステップＳ８において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の現在の位置および傾きを検出して、ステップＳ９において、これらの検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、各検出値を受信する。仮想カメラ制御部２２１は、ＨＭＤ１１０の位置および傾きの検出値に基づき、ＨＭＤ１１０における現在のｕｖｗ視野座標系を特定する。さらに、ステップＳ１０において、仮想カメラ制御部２２１は、ＸＹＺ座標系におけるｕｖｗ視野座標系のロール方向（ｗ軸）を、ＨＭＤ１１０の視界方向として特定する。

本実施形態では、ステップＳ１１において、仮想カメラ制御部２２１が、特定したＨＭＤ１１０の視界方向を、仮想空間２におけるユーザの基準視線５として特定する。ステップＳ１２において、仮想カメラ制御部２２１は、特定した基準視線５に基づき、仮想カメラ１を制御する。仮想カメラ制御部２２１は、基準視線５の位置（起点）および方向が仮想カメラ１の初期状態と同一であれば、仮想カメラ１の位置および方向をそのまま維持する。一方、基準視線５の位置（起点）および／または方向が、仮想カメラ１の初期状態から変化していれば、仮想空間２内における仮想カメラ１の位置および／または傾きを、変化後の基準視線５に応じた位置および／または傾きに変更する。また、制御後の仮想カメラ１に対してｕｖｗ視野座標系を再設定する。

ステップＳ２０において、仮想空間制御部２３０は、各種仮想オブジェクトの挙動を制御する。仮想空間制御部２３０は、図１０に基づいて後述するＵＩオブジェクトの制御方法を実行して、ＵＩオブジェクトの挙動を制御する。

ステップＳ１３において、視界領域決定部２２２は、特定した基準視線５に基づき、仮想空間２における視界領域２３を決定する。その後、ステップＳ１４において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影（重畳）される部分である視界画像２６を生成（レンダリング）する。ステップＳ１５において、視界画像生成部２２３は、生成した視界画像２６を更新用の視界画像としてＨＭＤ１１０に出力する。ステップＳ１６において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、ユーザがＨＭＤ１１０を動かせば、それに連動して視界画像２６が更新される。

＜制御方法の概要＞
オブジェクト制御部２３３は、特定された仮想カメラ１の位置に基づいて、仮想カメラ１の視界に向けて移動させることが可能なＵＩオブジェクトを、仮想カメラ１の死角に配置する。事象判定部２３４は、当該死角において事象発生の有無を判定する。事象判定部２３４は、当該死角において事象が生じた場合には、事象が生じた方向を特定する。オブジェクト制御部２３３は、当該死角において事象が生じた場合に、ＵＩオブジェクトを、事象判定部２３４によって特定された方向に対応する移動量だけ視界に向けて移動させる。

＜制御方法の詳細＞
（制御方法の詳細の一例）
図１０は、ＨＭＤシステム１００が実行する制御方法の一例における処理の流れを示すフローチャートである。図１１は、死角４においてユーザオブジェクト６が攻撃を受けていないときの各仮想オブジェクトの配置の一例を示す図である。図１２は、図１１に示す配置に基づいて生成された視界画像２６の一例を示す図である。図１３は、死角４におけるある方向からユーザオブジェクト６が攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。図１４は、図１３に示す配置に基づいて生成された視界画像２６の一例を示す図である。

本例において、ＵＩオブジェクトは、仮想カメラ１を囲う形状を有するＵＩオブジェクト７である。ＵＩオブジェクト７は、視界３を遮らないように開口部が設けられた、ユーザオブジェクト６の頭部を覆う球体であってもよい。ＵＩオブジェクト７の移動は、ＵＩオブジェクト７の回転である。例えば、オブジェクト制御部２３３は、
ｕｖｗ座標系におけるｕ軸またはｖ軸に沿って、ＵＩオブジェクト７を視界３に向けて回転させる。

オブジェクト制御部２３３は、ＵＩオブジェクト７に加えて、ユーザオブジェクト６および敵オブジェクト８を制御する。ユーザオブジェクト６は、ユーザの操作に連動して仮想空間２において動作する仮想オブジェクトである。ユーザオブジェクト６は、例えば、仮想カメラ１に重畳して配置される。敵オブジェクト８は、仮想空間２において、ユーザオブジェクト６に対して攻撃する仮想オブジェクトである。例えば、敵オブジェクト８は、ユーザオブジェクト６に対して攻撃を行う敵キャラクタ本体である。敵オブジェクト８は、敵キャラクタ本体がユーザオブジェクト６に攻撃するために用いる、武器などの物体であってもよい。

死角４において事象が生じることは、ユーザオブジェクト６が死角４において敵オブジェクト８から攻撃を受けることである。事象が生じた方向は、死角４においてユーザオブジェクト６が攻撃を受けた方向である。移動量格納部２４３には、ＵＩオブジェクト７の移動量として、ＵＩオブジェクト７を回転させるときの回転量が、攻撃を受けた方向に対応付けて格納されている。移動量格納部２４３において、回転量に対応付けられる方向がユーザオブジェクト６の真後ろにより近いほど、より多い回転量が格納されている。

図９のステップＳ１２において仮想カメラ１が特定されると、ステップＳ２１において、オブジェクト制御部２３３は、ＵＩオブジェクト７を、仮想カメラ１の死角４に配置する（図１１参照）。この場合、ＵＩオブジェクト７は一部分も視界領域２３に投影されない。このためＵＩオブジェクト７を含まない視界画像２６がＨＭＤ１１０に表示される（図１２参照）。

ステップＳ２２において、オブジェクト制御部２３３は、ユーザオブジェクト６および敵オブジェクト８の挙動を制御する。

ステップＳ２３において、事象判定部２３４は、ユーザオブジェクト６が、死角４において敵オブジェクト８からの攻撃を受けたか否かを判定する。例えば、事象判定部２３４は、仮想空間２において、敵オブジェクト８がユーザオブジェクト６に接触したことに基づいて、ユーザオブジェクト６が攻撃を受けたと判定する。事象判定部２３４は、ユーザオブジェクト６が攻撃を受けたと判定した場合、ユーザオブジェクト６が攻撃を受けた方向を特定する。例えば、事象判定部２３４は、仮想カメラ１の位置から、ユーザオブジェクト６が敵オブジェクト８と接触した接触位置に向かう方向を、攻撃を受けた方向として特定する。図１３の例では、事象判定部２３４は、仮想カメラ１の位置Ｃ１から、接触位置Ｐ１に向かう方向を、攻撃を受けた方向Ｄ１として特定する。

ステップＳ２３でＹＥＳの場合、ステップＳ２４において、オブジェクト制御部２３３は、移動量格納部２４３を参照して、攻撃を受けた方向Ｄ１に対応する回転量θ１を特定する。オブジェクト制御部２３３は、特定した回転量θ１だけ、仮想カメラ１の視界３に向けてＵＩオブジェクト７を回転させる。

オブジェクト制御部２３３は、攻撃を受けた方向に対応する回転方向にＵＩオブジェクト７を回転させてもよい。移動量格納部２４３には、攻撃を受けた方向が、ユーザオブジェクト６の右側を向いているのか、または左側を向いているのかに対応付けて、回転方向が格納されている。例えば、右側に対応付けて、反時計回りの回転方向が格納されており、左側に対応付けて、時計回りの回転方向が格納されている。オブジェクト制御部２３３は、移動量格納部２４３を参照して、ＵＩオブジェクト７の回転方向を特定する。

方向Ｄ１は、ユーザオブジェクト６の右側を向いている。オブジェクト制御部２３３は、方向Ｄ１に対応する回転方向として、反時計回りを特定する。オブジェクト制御部２３３は、ＵＩオブジェクト７を回転量θ１だけ反時計回りにさせる。ＵＩオブジェクト７における回転量θ１に相当する部分が、視界３の右側の一部を覆うように、視界領域２３に投影される。ＵＩオブジェクト７における当該部分を右端に含む視界画像２６が、ＨＭＤ１１０に表示される（図１４参照）。ユーザは、視界画像２６に含まれるＵＩオブジェクト７を視認し、死角４におけるいずれの方向からユーザオブジェクト６が攻撃を受けたのかを直感的に認識する。

ステップＳ２３でＮＯの場合、ステップＳ２５において、オブジェクト制御部２３３は、仮想カメラ１の位置および向きに応じて、仮想カメラ１の死角４にＵＩオブジェクト７を追随させればよい。

（制御方法の詳細の他の例）
図１５は、死角４における他の方向からユーザオブジェクト６が攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。図１６は、図１５に示す配置に基づいて生成された視界画像２６の一例を示す図である。

事象判定部２３４は、ユーザオブジェクト６が敵オブジェクト８の攻撃を受けたと判定する。事象判定部２３４は、仮想カメラ１の位置Ｃ１から接触位置Ｐ２に向かう方向を、攻撃を受けた方向Ｄ２として特定する。接触位置Ｐ２は、接触位置Ｐ１よりも、ユーザオブジェクト６の真後ろから遠い。方向Ｄ２は、方向Ｄ１よりも、ユーザオブジェクト６の真後ろから遠い。方向Ｄ２は、方向Ｄ１とは反対に、ユーザオブジェクト６の左側を向いている。オブジェクト制御部２３３は、方向Ｄ２に対応する回転量として、回転量θ１よりも少ない回転量θ２を特定する。オブジェクト制御部２３３は、方向Ｄ２に対応する回転方向として、時計回りを特定する。オブジェクト制御部２３３は、ＵＩオブジェクト７を回転量θ２だけ時計回りに回転させる。ＵＩオブジェクト７における回転量θ２に相当する部分が、視界３における左側の一部を覆うように、視界領域２３に投影される。ＵＩオブジェクト７における当該部分を左端に含む視界画像２６が、ＨＭＤ１１０に表示される（図１６参照）。

（制御方法の詳細のさらに他の例）
図１７は、死角４におけるさらに他の方向からユーザオブジェクト６が攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。図１８は、図１７に示す配置に基づいて生成された視界画像２６の一例を示す図である。

事象判定部２３４は、ユーザオブジェクト６が敵オブジェクト８の攻撃を受けたと判定する。事象判定部２３４は、仮想カメラ１の位置Ｃ１から接触位置Ｐ３に向かう方向を、攻撃を受けた方向Ｄ３として特定する。接触位置Ｐ３は、ユーザオブジェクト６の真後ろにある。方向Ｄ３は、ユーザオブジェクト６の真後ろを向いている。オブジェクト制御部２３３は、移動量格納部２４３を参照して、方向Ｄ３に対応する回転量として、回転量θ１および回転量θ２よりも多い回転量θ３を特定する。

方向Ｄ３は、ユーザオブジェクト６の右側および左側のいずれも向いていない。オブジェクト制御部２３３は、ユーザオブジェクト６に攻撃を与えた敵オブジェクト８が、ユーザオブジェクト６の右側および左側のいずれに居るのかを特定する。例えば、オブジェクト制御部２３３は、敵オブジェクト８がユーザオブジェクト６の右側および左側に跨って配置されている場合には、敵オブジェクト８におけるより多くの部分が配置されている側に、敵オブジェクト８が居ると特定する。オブジェクト制御部２３３は、敵オブジェクト８が右側に居ると特定した場合、ユーザオブジェクト６が右側から攻撃を受けた場合と同様の手順で、回転方向を特定する。オブジェクト制御部２３３は、敵オブジェクト８が左側に居ると特定した場合、ユーザオブジェクト６が左側から攻撃を受けた場合と同様の手順で、回転方向を特定する。

図１７の例では、敵オブジェクト８におけるより多くの部分が、ユーザオブジェクト６の右側に配置されている。オブジェクト制御部２３３は、敵オブジェクト８が右側に居ると特定する。オブジェクト制御部２３３は、移動量格納部２４３を参照して、回転方向として、右側に対応する反時計回りを特定する。オブジェクト制御部２３３は、ＵＩオブジェクト７を回転量θ３だけ時計回りに回転させる。ＵＩオブジェクト７における回転量θ３に相当する部分が、視界３における右側の一部を覆うように、視界領域２３に投影される。ＵＩオブジェクト７の当該部分を右半分に含む視界画像２６が、ＨＭＤ１１０に表示される（図１８参照）。

オブジェクト制御部２３３は、方向Ｄ３が特定された場合、ＵＩオブジェクト７を一周回転させてもよい。これにより、一時的に、ＵＩオブジェクト７の開口部のすべてが死角４に含まれて、仮想カメラ１の視界３の全方向がＵＩオブジェクト７で遮られる。例えば、ＵＩオブジェクト７のうち、事象が発生していない間ユーザオブジェクト６の背面を囲っている部分が黒色である場合、当該部分は、ＵＩオブジェクト７が１８０度回転したときに視界３に含まれる。このとき、真っ暗な視界画像２６が生成される。したがって、ＨＭＤ１１０のディスプレイ１１２が一瞬ブラックアウトする。これにより、ユーザは、真後ろから攻撃されたことを直感的に認識することができる。

ＵＩオブジェクト７は、例えば、視界３に入るために必要な回転量がより少ない第１部分（例えば、図１３に示す部分７ａ）から、回転量がより多い第２部分（例えば、部分７ｂ）に向かって、第１色（例えば、薄い灰色）から第２色（例えば、濃い灰色）へのグラデーションが施されていてもよい。ＵＩオブジェクト７は、視界３に入るために必要な回転量がより少ない第１部分から、回転量がより多い第２部分に向かって、各部分に施された色の透過率が段階的に変化してもよい。例えば、第１部分から第２部分にかけて、色の透過率が徐々に減少してもよい。死角４において受ける攻撃の角度が深いほど、ＵＩオブジェクト７のうち、第２色により近い色の部分、または、色の透過率がより低い部分を含む視界画像２６が表示される。これにより、ユーザは、死角４において受けた攻撃の方向をより一層直感的に認識できる。

＜変形例＞
オブジェクト制御部２３３は、ユーザオブジェクト６のダメージ量に応じて、ＵＩオブジェクト７のサイズを拡縮してもよい。例えば、オブジェクト制御部２３３は、ユーザオブジェクト６が攻撃を受ける度に、球体であるＵＩオブジェクト７のサイズを小さくする。これにより、球体開口部が徐々に視界画像２６に写り込み、ユーザの視野が狭まる。したがって、ユーザは、ユーザオブジェクト６が受けているダメージ量を認識することができる。

ＵＩオブジェクト７の色は、ＨＭＤ１１０におけるディスプレイ１１２の外枠の色と同一または類似の色であることが好ましい。例えば、ディスプレイ１１２の外枠が黒色であれば、ＵＩオブジェクト７の色も黒色またはそれに近い色とする。ＵＩオブジェクト７が視界３に向けて移動したとき、外枠の黒色にＵＩオブジェクト７の黒色が調和し、視界画像２６とディスプレイ１１２の外枠との境界が目立たない。ユーザは、視認するＵＩオブジェクト７に対して違和感をあまり覚えずに済む。

図１９は、ＵＩオブジェクト７の他の例を示す図である。ＵＩオブジェクト７は、死角４における一部の方向にのみ配置されていてもよい。

制御回路部２００は、視界方向ではなく視線方向Ｎ０を、基準視線５として特定してもよい。この場合、ユーザが視線を変化させるとそれに連動して仮想カメラ１の向きが変わるので、視界領域２３の位置も視線変化に連動して変化する。その結果、視界画像２６の内容が視線変化に応じて変化することになる。

また、仮想オブジェクトとの接触による操作をＭＲ等に適用することによって仮想体験を提供する場合には、操作対象オブジェクトに換えてユーザの実際の頭部以外の身体の一部を物理的・光学的手法等によって検知し、当該身体の一部と仮想オブジェクトの位置関係に基づいて、当該身体の一部と仮想オブジェクトとの接触を判定してもよい。なお、透過型ＨＭＤを用いて仮想体験を提供する場合には、ユーザの基準視線は、非透過型ＨＭＤと同様に、ＨＭＤの動き、または、ユーザの視線を検知することによって特定してもよい。特定した基準視線に基づく判定領域の設定方法は上記実施形態で説明した通りである。

〔ソフトウェアによる実現例〕
制御回路部２００の制御ブロック（検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、制御ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラムおよび各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。各実施形態にそれぞれ開示された技術的手段を組み合わせることによって、新しい技術的特徴を形成することもできる。

〔付記事項〕
本発明の一側面にかかる内容を列記すると以下の通りである。

（項目１）頭部にヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、前記ユーザの前記仮想空間における基準視線を特定するステップと、前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、前記仮想カメラの視界に向けて移動させることが可能なオブジェクトを、前記仮想カメラの死角に配置するステップと、前記死角において事象が生じた場合に、前記オブジェクトを、前記事象が生じた方向に対応する移動量だけ前記視界に向けて移動させるステップと、前記視界領域に基づいて視界画像を生成するステップと、前記視界画像を前記ＨＭＤに表示させるステップとを有する、方法。これにより、仮想空間における操作性がより高まる。

（項目２）前記オブジェクトは、前記仮想カメラを囲う形状を有し、前記方向に対応する回転量だけ、前記オブジェクトを回転させる、項目１の方法。

（項目３）前記方向に基づく回転方向で、前記オブジェクトを回転させる、項目２の方法。

（項目４）前記オブジェクトにおける、前記視界に入るために必要な移動量がより少ない第１部分から、前記移動量がより多い第２部分に向かって、第１色から第２色へのグラデーションが施されている、項目２または３の方法。

（項目５）前記オブジェクトにおける、前記視界に入るために必要な移動量がより少ない第１部分から、前記移動量がより多い第２部分に向かって、各部分に施された色の透過率が段階的に変化する、項目２または３の方法。

（項目６）項目１〜５のいずれか１つの方法の各ステップを、コンピュータに実行させるプログラム。

（項目７）項目６のプログラムを記録したコンピュータ読み取り可能な記録媒体。

１ 仮想カメラ、２ 仮想空間、３ 視界、４ 死角、５ 基準視線、６ ユーザオブジェクト、７ ＵＩオブジェクト（オブジェクト）、７ａ 部分（第１部分）、７ｂ 部分（第２部分）、８ 敵オブジェクト、２１ 中心、２２ 仮想空間画像、２３ 視界領域、２４ 第１領域、２５ 第２領域、２６ 視界画像、１００ ＨＭＤシステム、１１０ ＨＭＤ、１１２ ディスプレイ、１１４ センサ、１２０ ＨＭＤセンサ、１３０ 注視センサ、１４０ コントローラセンサ、２００ 制御回路部、２１０ 検出部、２１１ ＨＭＤ検出部、２１２ 視線検出部、２１３ コントローラ検出部、２２０ 表示制御部、２２１ 仮想カメラ制御部、２２２ 視界領域決定部、２２３ 視界画像生成部、２３０ 仮想空間制御部、２３１ 仮想空間規定部、２３２ 仮想手制御部、２３３ オブジェクト制御部、２３４ 事象判定部、２４０ 記憶部、２４１ 雛形格納部、２４２ コンテンツ格納部、２４３ 移動量格納部、２５０ 通信部、３００ コントローラ、３０２ 操作ボタン、３０２ａ 親指ボタン、３０２ｅ 指ボタン、３０２ｆ 中指ボタン、３０２ｉ アナログスティック、３０６ センサ、３０４ 赤外線ＬＥＤ、３０８ トランシーバ、３２０ 右コントローラ、３２２ 天面、３２４ グリップ、３２６ フレーム、３３０ 左コントローラ、４００ 外部機器

Claims (8)

1. 頭部にヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、
   前記ユーザの前記仮想空間における基準視線を特定するステップと、
   前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、
   前記仮想カメラの視界に向けて移動させることが可能なオブジェクトを、前記仮想カメラの前記視界領域外における死角に配置するステップと、
   前記死角において事象が生じた場合に、前記オブジェクトを、前記事象が生じた方向に対応する移動量だけ前記視界に向けて移動させるステップと、
   前記視界領域に基づいて視界画像を生成するステップと、
   前記視界画像を前記ＨＭＤに表示させるステップとを有する、方法。
2. 前記オブジェクトは、前記仮想カメラを囲う形状を有し、
   前記方向に対応する回転量だけ、前記オブジェクトを回転させる、請求項１に記載の方法。
3. 頭部にヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、
   前記ユーザの前記仮想空間における基準視線を特定するステップと、
   前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、
   前記仮想カメラの視界に向けて移動させることが可能なオブジェクトを、前記仮想カメラの死角に配置するステップと、
   前記死角において事象が生じた場合に、前記オブジェクトを、前記事象が生じた方向に対応する移動量だけ前記視界に向けて移動させるステップと、
   前記視界領域に基づいて視界画像を生成するステップと、
   前記視界画像を前記ＨＭＤに表示させるステップとを有し、
   前記オブジェクトは、前記仮想カメラを囲う形状を有し、
   前記方向に対応する回転量だけ、前記オブジェクトを回転させる、方法。
4. 前記方向に基づく回転方向で、前記オブジェクトを回転させる、請求項２または３に記載の方法。
5. 前記オブジェクトにおける、前記視界に入るために必要な移動量がより少ない第１部分から、前記移動量がより多い第２部分に向かって、第１色から第２色へのグラデーションが施されている、請求項２から４のいずれか１項に記載の方法。
6. 前記オブジェクトにおける、前記視界に入るために必要な移動量がより少ない第１部分から、前記移動量がより多い第２部分に向かって、各部分に施された色の透過率が段階的に変化する、請求項２から４のいずれか１項に記載の方法。
7. 請求項１から６のいずれか１項に記載の方法の各ステップを、コンピュータに実行させるプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images