JP6549066B2 - 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム - Google Patents

Description

本発明は、没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システムに関するものである。より詳細には、ユーザの頭部に装着したヘッドマウント・ディスプレイ（ＨＭＤ）を用いたＨＭＤ頭部操作、およびユーザが保持するコントローラの操作を通じて、没入仮想空間内に配置されたオブジェクトを操作可能とするようコンピュータに制御させるコンピュータ・プログラムおよびコンピュータ・システムに関するものである。

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示可能なＨＭＤが知られる。特に、特許文献１に開示されるようなＨＭＤでは、３次元仮想空間に３６０度のパノラマ画像を表示可能である。このようなＨＭＤは通例、各種センサ（例えば、加速度センサや角速度センサ）を備え、ＨＭＤ本体の姿勢データを計測する。特に、頭部の回転角に関する情報に従ってパノラマ画像の視線方向変更を可能にする。即ち、ＨＭＤを装着したユーザが自身の頭部を回転させると、それに併せて３６０度のパノラマ画像の視線方向を変更することを通じて、ユーザに対し、映像世界への没入感を高め、エンタテインメント性を向上させるものである（特許文献１の段落〔０００３〕，〔００３３〕，〔００３４〕および〔要約〕参照）。

加えて、特許文献１には、頭部の動きによるユーザ・ジェスチャとＨＭＤでの画面上の操作（例えば、表示画面切り替え）を予め関連付けておき、頭部の傾きや加速度に基づいてユーザのジェスチャを特定した際に、該ジェスチャに関連する画面操作を実施することが開示される。これにより、ユーザがＨＭＤ装着時に手元が見えないことに起因したコントローラ操作の不便性を解消する（同文献の段落〔００８０〕〜〔００８３〕参照）。

特開２０１３−２５８６１４号公報 しかしながら、特許文献１の上記開示は、単に、パノラマ画像の視界特定のために、またはユーザ・ジェスチャの特定のために、センサにより取得される頭部動作の情報を用いるに過ぎない。今後、ＨＭＤを使用した没入型仮想空間に対応した各種アプリケーションが数多く開発されることで、ＨＭＤがより広範に普及することが見込まれる。

ＨＭＤを用いない従来のゲーム・アプリケーションでは、一般的にコントローラの複雑な操作を必要することが多い一方で、ユーザがＨＭＤを装着した状態では、自身の手元が見えず、コントローラの操作が困難となることが懸念される。この点、ＨＭＤに基づく没入型仮想空間において、頭部動作の情報は、上記に限られずアプリケーション起動中の様々な場面で適用されることが期待される。

その一例として、３次元仮想空間に配置されたオブジェクトを操作するようなアプリケーションを想定する。以下の発明の詳細な説明では、特に、図１１から図１３のような没入型３次元仮想空間に配置された積み木オブジェクトを操作可能とするような積み木ゲーム・アプリケーションを想定する。ＨＭＤ本体の頭部動作が積み木オブジェクトを特定方向に移動させる等の操作と関連付けられ、これにより、積み木オブジェクトへの操作をＨＭＤの動作で可能とするものである。

本発明は、ＨＭＤ本体の頭部動作を、没入型３次元仮想空間に配置されたオブジェクトの特定の操作と関連付けることにより、３次元仮想空間内のオブジェクト操作を容易に実施可能とすることを目的とする。

本発明による、没入型の仮想空間内でのオブジェクト操作をコンピュータに制御させるコンピュータ・プログラムは、コンピュータに接続されるヘッドマウント・ディスプレイが具備する傾きセンサで検知される傾き情報に基づいて、仮想空間内の視界情報を決定する視界決定部、ヘッドマウント・ディスプレイに表示するために、視界情報に基づいて仮想空間の視界画像を生成する画像生成部、仮想空間において基準視線上に配置されるオブジェクトを特定するオブジェクト特定部であって、基準視線が、視界画像の所定位置に対応付けて決定される、オブジェクト特定部、並びに、オブジェクトの特定に応じて、ヘッドマウント・ディスプレイの所定方向の傾け動作に従い、特定されたオブジェクトへの操作を実施するオブジェクト操作部として前記コンピュータに機能させる。

また、本発明によるコンピュータ・プログラムは、上記視界決定部において、視界情報が更に、コンピュータに接続され且つヘッドマウント・ディスプレイを検知可能な位置センサによって検知されるヘッドマウント・ディスプレイの位置情報に基づく。

更に、本発明によるコンピュータ・プログラムは、上記オブジェクト操作部において、特定されたオブジェクトへの操作が更に、コンピュータに接続可能な外部コントローラと連携して実施され、外部コントローラがタッチ・ディスプレイを具備し、特定されたオブジェクトへの操作が、タッチ・ディスプレイへのタップ、スワイプおよびホールドの何れを含むタッチ動作に従って実施される。

本発明による、没入型の仮想空間内のオブジェクト操作のためのコンピュータ・システムは、コンピュータと、該コンピュータに接続された、傾きセンサを具備するヘッドマウント・ディスプレイとを備え、上記コンピュータが、傾きセンサで検知される傾き情報に基づいて仮想空間内の視界情報を決定し、ヘッドマウント・ディスプレイに表示するために、視界情報に基づいて仮想空間の視界画像を生成し、仮想空間において基準視線上に配置されるオブジェクトを特定し、基準視線が前記視界画像の所定位置に対応付けて決定され、オブジェクトの特定に応じて、ヘッドマウント・ディスプレイの所定方向の傾け動作に従い特定されたオブジェクトへの操作を実施するように構成される。

本発明によれば、ＨＭＤを装着したユーザの頭部の簡易な動作により、従来技術のような複雑なコントローラ動作を必要とすることなく、没入型３次元仮想空間内のオブジェクト操作を容易に実施可能とする。また、ＨＭＤを用いた頭部動作をコントローラの動作と組み合せることにより、複雑なオブジェクト操作にも対応可能とする。これにより、本発明は、ＨＭＤを用いたゲーム・アプリケーションにおいて、新規のゲーム操作態様を提供可能とする。

この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかなものとなる。

図１は、本発明の実施の態様による、ＨＭＤシステムを示す模式図である。 図２は、図１に示したＨＭＤを装着しているユーザの頭部を中心に規定される実空間での直交座標系を示す。 図３は、ポジション・トラッキング・カメラによって検知される、ＨＭＤ上に仮想的に設けられた複数の検知点を示す概要図である。 図４は、本発明の実施の態様による、３次元仮想空間内でのオブジェクト操作を実装するための機能的構成を示すブロック図である。 図５は、本発明の実施の態様による、３次元仮想空間における仮想カメラとオブジェクトの配置例を模式的に示す立体概要図である。 図６は、本発明の実施の態様による、３次元仮想空間における仮想カメラとオブジェクトの配置例を模式的に示す立体概要図である。 図７Ａは、本発明の実施の態様による、３次元仮想空間における仮想カメラとオブジェクトの一操作例を模式的に示す立体概要図である。 図７Ｂは、本発明の実施の態様による、３次元仮想空間における仮想カメラとオブジェクトの他の操作例を模式的に示す立体概要図である。 図８は、本発明の実施の態様による、オブジェクト制御部における機能的構成を示すブロック図である。 図９は、本発明の実施の態様による、オブジェクト操作とユーザ動作の対応例を示す概要図である。 図１０は、本発明の実施の態様による、３次元仮想空間内でのオブジェクト操作のための処理フロー図である。 図１１は、本発明の実施の態様による、３次元仮想空間内でのオブジェクト操作に関する画面イメージ例である。 図１２は、本発明の実施の態様による、３次元仮想空間内でのオブジェクト操作に関する画面イメージ例である。 図１３は、本発明の実施の態様による、３次元仮想空間内でのオブジェクト操作に関する画面イメージ例である。

以下に、図面を参照して、本発明の実施の形態による、没入型仮想空間内でオブジェクト操作をコンピュータに制御させるコンピュータ・プログラム、および没入型仮想空間内のオブジェクト操作のためのコンピュータ・システムについて説明する。図中、同一の構成要素には同一の符号を付してある。

図１は、本発明の実施の態様による、ヘッドマウント・ディスプレイ（以下、「ＨＭＤ」と称する。）を使用したＨＭＤシステム１００の全体概略図である。図示のように、ＨＭＤシステム１００は、ＨＭＤ本体１１０、コンピュータ（制御回路部）１２０、ポジション・トラッキング・カメラ（位置センサ）１３０、並びに外部コントローラ１４０を備える。

ＨＭＤ１１０は、ディスプレイ１１２およびセンサ１１４を具備する。ディスプレイ１１２は、ユーザの視界を完全に覆うよう構成された非透過型の表示装置であり、ユーザはディスプレイ１１２に表示される画面のみを観察することができる。そして、非透過型のＨＭＤ１１０を装着したユーザは、外界の視界を全て失うため、制御回路部１２０において実行されるアプリケーションにより表示される仮想空間に完全に没入する表示態様となる。

ＨＭＤ１１０が具備するセンサ１１４は、ディスプレイ１１２近辺に固定される。センサ１１４は、地磁気センサ、加速度センサ、および／または傾き（角速度、ジャイロ）センサを含み、これらの１つ以上を通じて、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の各種動きを検知することができる。特に角速度センサの場合には、図２のように、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検知し、各軸回りの角度（傾き）の時間変化を決定することができる。

図２を参照して傾きセンサで検知可能な角度情報データについて説明する。図示のように、ＨＭＤを装着したユーザの頭部を中心として、ＸＹＺ座標が規定される。ユーザが直立する垂直方向をＹ軸、Ｙ軸と直交しディスプレイ１１２の中心とユーザを結ぶ方向をＺ軸、Ｙ軸およびＺ軸と直交する方向の軸をＸ軸とする。傾きセンサでは、各軸回りの角度（即ち、Ｙ軸を軸とした回転を示すヨー角、Ｘ軸を軸とした回転を示すピッチ角、Ｚ軸を軸とした回転を示すロール角で決定される傾き）を検知し、その経時的な変化により、動き検知部２２０が視界情報として角度（傾き）情報データを決定する。

図１に戻り、ＨＭＤシステム１００が備えるコンピュータ１２０は、ＨＭＤを装着したユーザを３次元仮想空間に没入させ、３次元仮想空間に基づく動作を実施させるための制御回路部１２０として機能する。図１のように、制御回路部１２０は、ＨＭＤ１１０とは別のハードウェアとして構成してもよい。当該ハードウェアは、パーソナルコンピュータやネットワークを通じたサーバ・コンピュータのようなコンピュータとすることができる。即ち、互いにバス接続されたＣＰＵ、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意のコンピュータとすることができる。

代替として、制御回路部１２０は、オブジェクト操作装置として、ＨＭＤ１１０内部に搭載されてもよい。ここでは、制御回路部１２０は、オブジェクト操作装置の全部または一部の機能のみを実装することができる。一部のみを実装した場合には、残りの機能をＨＭＤ１１０側、またはネットワークを通じたサーバ・コンピュータ（図示せず）側に実装してもよい。

ＨＭＤシステム１００が備えるポジション・トラッキング・カメラ（位置センサ）１３０は、制御回路部１２０に通信可能に接続され、ＨＭＤ１１０の位置追跡機能を有する。ポジション・トラッキング・カメラ１３０は、赤外線センサや複数の光学カメラを用いて実現される。ポジション・トラッキング・カメラ１３０を具備し、ユーザ頭部のＨＭＤの位置を検知することによって、ＨＭＤシステム１００は、３次元仮想空間における仮想カメラ／没入ユーザの仮想空間位置を正確に対応付け、特定することができる。

より具体的には、ポジション・トラッキング・カメラ１３０は、図３に例示的に示すように、ＨＭＤ１１０上に仮想的に設けられ、赤外線を検知する複数の検知点の実空間位置をユーザの動きに対応して経時的に検知する。そして、ポジション・トラッキング・カメラ１３０により検知された実空間位置の経時的変化に基づいて、ＨＭＤ１１０の動きに応じた各軸回りの角度の時間変化を決定することができる。

再度図１に戻り、ＨＭＤシステム１００は外部コントローラ１４０を備える。外部コントローラ１４０は、一般的なユーザ端末であり、図示のようなスマートフォンとすることができるが、これに限定されない。例えば、ＰＤＡ、タブレット型コンピュータ、ゲーム用コンソール、ノートＰＣのようなタッチ・ディスプレイを備える携帯型デバイス端末であれば如何なるデバイスにもすることができる。即ち、外部コントローラ１４０は、互いにバス接続されたＣＰＵ、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意の携帯型デバイス端末とすることができる。ユーザは、外部コントローラ１４０のタッチ・ディスプレイに対し、タップ、スワイプおよびホールドを含む各種タッチ動作を実施可能である。

図４のブロック図は、本発明の実施の形態による、３次元仮想空間内のオブジェクト操作を実装するために、制御回路装置１２０を中心にコンポーネントの主要機能の構成を示したものである。制御回路部１２０では、主に、センサ１１４／１３０および外部コントローラ１４０からの入力を受け、該入力を処理してディスプレイ１１２への出力を行う。制御回路部１２０は、主に、動き検知部２１０、視界決定部２２０および視界画像生成部２３０、並びにオブジェクト制御部２４０を含み、空間情報格納部２５０、オブジェクト情報格納部２６０、および仮想カメラ情報格納部２７０等の各種テーブルと相互作用して各種情報を処理する。

動き検知部２１０では、センサ１１４／１３０からの動き情報の入力に基づいて、ユーザの頭部に装着されたＨＭＤ１１０の動きデータを測定する。本発明の実施の形態では、特に、傾きセンサ１１４により経時的に検知される角度情報、およびポジション・トラッキング・カメラ１３０により経時的に検知される位置情報を決定する。

視界決定部２２０は、空間情報格納部２５０に格納された３次元仮想空間情報、並びに傾きセンサ１１４に検知される角度情報、および位置センサ１３０に検知される位置情報に基づく仮想カメラの視野方向の検知情報に基づいて、３次元仮想空間における仮想カメラからの視界情報を決定する。そして、決定された視界情報に基づいて、視界画像生成部２３０では、３６０度パノラマの一部の視界画像を生成することができる。図１１〜１３にそれぞれ図示するように、視界画像は２次元画像を左目用と右目用の２つを生成し、ＨＭＤにおいてこれら２つを重畳させて生成することで、ユーザには３次元画像の如くＨＭＤに表示される。

図４に戻り、オブジェクト制御部２４０では、オブジェクト情報格納部２６０に格納された３次元仮想空間内のオブジェクト情報、並びに各センサ１１４／１３０および外部コントローラ１４０からのユーザ指令に基づいて、操作対象オブジェクトを特定する。そして、当該特定した操作対象オブジェクトへの所定のユーザ操作指令を受けて、仮想カメラ情報格納部２７０に格納された仮想カメラ情報の調整と共に操作対象オブジェクトへの操作を実施し、ＨＭＤのディスプレイ１１２に出力する。オブジェクト操作の具体的な処理については、図５以降に関連して説明する。

なお図４において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解される（後記する図８についても同様である。）。

これより図５から図１０を参照して、図４に示した視界決定部２２０、視界画像生成部２３０、およびオブジェクト制御部２４０によって実施される操作対象オブジェクトを特定する処理および対象オブジェクトの操作処理について詳細に説明する。図５は、本発明の実施の態様による、没入型３次元仮想空間２内の仮想カメラ１、並びに、円柱オブジェクトＯ１，Ｏ２および直方体オブジェクトＯ３の配置例を模式的に示す立体図である。仮想カメラ１から撮像される視界が、視界画像として没入ユーザのディスプレイに表示される。図示のように、ＨＭＤを装着したユーザが下方向に頭を傾けることに応じて、仮想カメラ１も水平より下方向を向いている。そして、その視界の中心（矢印）の先には円柱オブジェクトＯ１が配置される。また、視界の右方向には円柱オブジェクトＯ２が、左方向には直方体オブジェクトＯ３が配置される。

図５の模式図における配置の詳細を次に図６に示す。図示のように、水平面をＸＺ座標面で規定し、垂直方向をＺ軸で規定した仮想空間内に、仮想カメラ１が（Ｘ_ｃａｍ，Ｙ_ｃａｍ，Ｚ_ｃａｍ）の位置に配置される。当該位置座標は、ポジション・トラッキング・カメラにより検知された位置情報に基づいて決定される。仮想カメラ１は所定の視野の範囲を有しており、視野範囲に基づいて視界が規定されて視界画像が生成される。視界の基準視線Ｌ_ｓｔｄおよび該基準視線に対する視界境界線をＬ_ｂｄ１，Ｌ_ｂｄ２が規定される。ここで、基準線Ｌ_ｓｔｄは、視界画像の所定位置（例えば、中心点）に対応するように規定される。

また、各オブジェクトＯ１〜Ｏ３は、一例として、ＸＺ平面上のＯ１（Ｘ_Ｏ１，０，Ｚ_Ｏ１），Ｏ２（Ｘ_Ｏ２，０，Ｚ_Ｏ２），Ｏ３（Ｘ_Ｏ３，０，Ｚ_Ｏ３）に配置される。勿論、オブジェクトは一定の大きさを有するため、座標位置は座標範囲として規定するとよい。図６の例のような仮想カメラの位置および向きと各オブジェクトの配置位置との関係では、基準視線Ｌ_ｓｔｄ上にオブジェクトＯ１が配置されており、その結果、操作対象オブジェクトとしてＯ１が特定される。

図６で特定されたオブジェクトＯ１に対する操作の概要について図７Ａおよび図７Ｂを示す。図７Ａは、本発明の実施の態様による、３次元仮想空間における仮想カメラとオブジェクトの一操作例を模式的に示す。図示のように、操作対象オブジェクトＯ１が特定されると、仮想カメラ１の位置が固定される。この状態でユーザが更に頭部を傾けるＨＭＤ動作を実施することにより、当該動作に予め関連付けられたオブジェクト操作をオブジェクトＯ１に対して実施する。ここでは、頭部を垂直方向に移動させるＨＭＤ傾け動作をユーザが実施することにより、その移動距離に応じて、３次元仮想空間でもオブジェクトＯ１をＹ軸方向に、（Ｘ_Ｏ１，Ｙ_Ｏ１，Ｚ_Ｏ１）の座標位置まで移動させる。その際、基準視線Ｌ_ＯＰ’が常に視界の基準位置となるように（例えば視界画像上、中心点を維持するように）、仮想カメラの向きをやはりＹ軸方向に角度調整する。

図７Ａでは、Ｙ軸方向に移動したオブジェクトＯ１’に対して更に回転処理が実施される。オブジェクト回転処理についてもオブジェクト移動処理と同様に、所定のＨＭＤ傾け動作（例えば、水平方向のＨＭＤ傾け動作）に関連付けることができる。これ以外にも、外部コントローラ１４０上での所定の動作（例えば、タッチ・ディスプレイ上でのスワイプ動作）とすることもできる。

図７Ｂは、本発明の実施の態様による、３次元仮想空間における仮想カメラとオブジェクトの他の操作例を模式的に示す。図７Ａの例では、操作対象オブジェクトＯ１の特定に伴い、仮想カメラ１の位置を固定して、その後カメラの向きを調整した。これに対し、図７Ｂの例では仮想カメラの位置を固定せずに、その向きを固定する。即ち、オブジェクトＯ１がＹ軸方向に（Ｘ_Ｏ１，Ｙ_Ｏ１，Ｚ_Ｏ１）の座標位置まで移動するのに伴い、仮想カメラ１の位置もＹ方向に（Ｘ_ｃａｍ，Ｙ_ｃａｍ＋Ｙ_Ｏ１，Ｚ_ｃａｍ）の座標位置まで移動させる。

仮想カメラの位置および向きの制御について、図７Ａや図７Ｂの処理例に限定されない。即ち、基準視線Ｌ_ＯＰ’が常に視界の基準位置となるように（例えば視界画像上、中心点を維持するように）、仮想カメラの位置および／または向きを調整するものであれば何れの処理態様とできることが当業者に理解されるべきである。

上記図６、図７Ａおよび図７Ｂで説明してきた３次元仮想空間内でのオブジェクト操作に関する処理の詳細について、これより図８〜図１０を参照してより詳細に説明する。図８は、図４で説明したオブジェクト制御部２４０を構成する詳細な機能ブロック図である。図示するように、オブジェクト制御部２４０は、操作対象オブジェクトを特定するためのオブジェクト特定部３００、および特定された操作対象オブジェクトに対して操作するためのオブジェクト操作部４００を備える。

オブジェクト特定部３００では、ユーザによるＨＭＤ傾け動作によって、３次元仮想空間において図６に示した基準視線上に配置されるオブジェクトを特定する。そのために、当該オブジェクト特定部３００は、視界画像の基準点に関連付けられる３次元仮想空間の基準視線を計算するための基準視線計算部３２０、基準視線上にオブジェクトが配置されているかを判定するオブジェクト判定部３４０、および基準視線上にオブジェクトが配置される場合に、そのオブジェクトを操作対象オブジェクトとして選択する操作対象オブジェクト選択部３６０を備える。

一方、オブジェクト操作部４００では、オブジェクト特定部３００での操作対象オブジェクトの特定に応じて、ユーザによるＨＭＤの所定方向への頭部傾け動作に従った上記操作対象オブジェクトへの操作を実施する。そのために、当該オブジェクト操作部４００は、外部コントローラでユーザによるタッチ動作を受けたかを判定する外部コントローラ動作判定部４２０、ユーザによるＨＭＤ傾け動作（特に、傾け方向）を判定する傾け動作判定部４４０、オブジェクト操作に際し仮想カメラの位置や方向を調整する仮想カメラ調整部４５０、操作対象オブジェクトに対するオブジェクト操作を、オブジェクト操作テーブル４７０に従って特定するオブジェクト操作特定部４６０、および、オブジェクト操作を実施して視界画像を生成するオブジェクト操作実施部４８０を含む。

ここで、図９を参照してオブジェクト操作テーブル４７０を用いたオブジェクト操作特定について説明する。図９はオブジェクト操作テーブル４７０の基礎となる、ユーザ動作とオブジェクト操作の対応例を示す概略図である。オブジェクト選択部３６０で操作対象オブジェクトを選択した際、引き続き外部コントローラへの「タップ」動作をユーザが行うと、３次元空間内で操作対象オブジェクトを「掴む」動作を行うことができる。「タップ」動作は例示に過ぎず、操作対象オブジェクトが選択された状態で一意に関連付け可能なユーザ動作であれば、他のＨＭＤ動作でもその他の入力動作によるものでもよい。

上記「掴む」動作をした後のオブジェクト操作は、オブジェクト操作テーブル４７０に従って決定することができる。図示のように、ユーザ動作には、ＨＭＤ傾け動作（列）に加えて、外部コントローラによるタッチ動作（行）が含まれ、これらユーザ動作の組合せにより、オブジェクト操作を特定することができる。例えば、ＨＭＤ動作が「上下方向の傾け」動作である場合、更にユーザが外部コントローラ動作と連携してタッチ・ディスプレイ上で「タップ」動作を実施する場合は「オブジェクトを放す」動作指令として解釈される。同様に、ＨＭＤ動作が「上下方向の傾け」動作である場合、更にユーザが外部コントローラと連携して「スワイプ」動作を実施する場合は「オブジェクトの回転移動」動作指令として、外部コントローラで「ホールド」動作を実施する場合は「オブジェクトの上下移動」動作指令として、外部コントローラ動作と連携せずに何もしない場合は「オブジェクトの前後移動」動作指令として、オブジェクト操作特定部４６０で解釈され、各動作指令がオブジェクト操作実施部４８０で実施されることになる。

なお、ＨＭＤ動作は「上下方向の傾け」に限らず、一意に特定可能な傾け動作であれば何れの動作でもよい。また、ユーザ動作を、ＨＭＤ傾け動作および外部コントローラ動作のどちらか一方のみとしてオブジェクト操作に対応付けてもよい。しかしながら、オブジェクト操作種別を多く設けたい場合には、これらの組合せとするのが好適である。ユーザによるＨＭＤ傾け動作は、ＨＭＤを装着したユーザが自身の頭部を動かすだけで実施可能なため、ユーザにとって容易なものである。また、外部コントローラでのタッチ動作についても、タッチ・ディスプレイの何れの位置での「タップ」、「スワイプ」、「ホールド」動作とするのみでよく、やはり、ユーザにとって容易なものと言える。

次に、図１０を参照して、本発明の実施の態様による、３次元仮想空間内でのオブジェクト操作のための処理フローについて詳細に説明する。当該オブジェクト操作処理は、外部コントローラ１４０、ポジション・トラッキング・カメラ（位置センサ）１３０、ＨＭＤ１００およびコンピュータ（制御回路部）１２０の相互作用によって実現されるものである。

当該オブジェクト操作処理に際し、動き検出部２１０において、ＨＭＤの各情報が検知されている。即ち、ステップＳ１３０−１では、コンピュータ１２０に接続され且つＨＭＤを検知可能な位置センサによってＨＭＤ１００の位置が検知される。また、ステップＳ１００−１では、コンピュータ１２０に接続されるＨＭＤが具備する傾きセンサによってＨＭＤ１００の傾きが検知される。そして、ステップＳ１２０−１では、動き検出部２１０により、それぞれ位置情報および傾き情報が決定され、更に視界決定部２２０により、上記ＨＭＤ１００の位置情報および／または傾き情報に基づいて、３次元仮想空間内での視界情報が決定される。

視界情報が決定されると、引き続き、ステップＳ１２０−２では、視界画像生成部２２０によって、ＨＭＤに表示するために、上記視界情報に基づいて視界画像を生成する。併せて、ステップＳ１２０−３では、空間内基準線計算部３２０によって、基準視線Ｌ_ｓｔｄを決定する。基準視線Ｌ_ｓｔｄは、視界画像の所定位置に対応付けて決定される。当該所定位置は視界画像の中心点とするのがよいが、これに限定されず、視界画像の如何なる設定可能な位置としてよい。また、基準点は何らかのマーク（例えば、手の平のアイコン）として上記視界画像に重畳表示するのがよい。

次いで、ステップＳ１００−２では、視界画像がＨＭＤに表示される。視界画像には、後に操作対象になり得る複数のオブジェクトが表示される。そして、視界画像がＨＭＤに表示された状態で、ＨＭＤを装着したユーザは、頭部傾け動作を実施し、３次元仮想空間内に配置された複数のオブジェクトの内少なくとも１つが視界画像の所定位置に対応するよう位置合わせを行う。

ステップＳ１２０−４では、オブジェクト判定部３４０によって、少なくとも１つのオブジェクトが視界画像の上記所定位置に位置合わせされたか、即ち、３次元空間において基準視線上にオブジェクトが配置されているかについて判定する。基準視線上にオブジェクトが配置されている場合は、ステップＳ１２０−５において、オブジェクト選択部３６０によって当該オブジェクトを操作対象オブジェクトとして選択する。仮に基準視線上に配置されるオブジェクトが複数存在するような場合には、３次元仮想空間において仮想カメラの位置、即ち視点から最も近い１つのオブジェクトをオブジェクト選択部３６０は選択するとよい。

ステップＳ１４０−１では、ステップＳ１２０−５のオブジェクトの選択に対し、外部コントローラ１４０によるユーザ・タッチ動作（特に、「タップ動作」）があるかを判断する。当該ユーザ・タッチ動作があった場合には、ステップＳ１２０−６でオブジェクト特定部３００がこれに応答して、操作対象オブジェクトの特定が完了する。この状態では、視界画像では、ユーザにより操作対象オブジェクトを「掴む」行為が実施された態様として、ＨＭＤに表示される。他方、ユーザ・タッチ動作がない場合には、初期のステップＳ１３０−１およびステップＳ１００−１に戻り、引き続きＨＭＤの位置情報および傾き情報を検知する。

ユーザが操作対象オブジェクトを掴んだ状態で、更に、ユーザにより外部コントローラ動作（ステップＳ１４０−２）やＨＭＤ傾け動作（ステップＳ１００−３）がなされる。これらに対し、外部コントローラ動作判定部４２０や傾け動作・方向判定部４４０がそれぞれ動作判定を行い、ステップＳ１２０−７では、オブジェクト操作特定部４６０により操作対象オブジェクトへの対応する操作が特定される。対応する操作については、先に図９を参照して説明したとおりであり、例えば垂直（上下）方向のＨＭＤ傾け動作と外部コントローラ動作との動作の組み合わせに基づいて一意のオブジェクト操作が決定される。

ステップＳ１２０−８以降では、操作対象オブジェクトへの実際の操作が実施され、その結果がＨＭＤ上に表示される。即ち、ステップＳ１２０−８では、仮想カメラ調整部４５０により、図７Ａや図７Ｂに示した仮想カメラの位置・方向の調整を行う。引き続き、ステップＳ１２０−９では、オブジェクト操作実施部４８０により、同じく図７Ａや図７Ｂに示したように特定の操作を操作対象オブジェクトに実施する。そして、ステップＳ１２０−１０では、操作に伴う一連の結果画像を生成し、ステップＳ１００−４で当該操作結果画像を経時的にＨＭＤに表示する。
画面表示例
上記を踏まえて、図１１〜図１３に、本発明の実施の態様に基づいて実装された、３次元仮想空間内でのオブジェクト操作に関連した、ＨＭＤに表示される画面例を示す。ここでは、没入型３次元仮想空間に配置された積み木オブジェクトを操作可能とするような積み木ゲーム・アプリケーションを想定する。より具体的には、積み木オブジェクトを特定方向に移動させる等の操作と関連付けることで、積み木オブジェクトへの操作をＨＭＤの頭部動作で実施可能とする積み木ゲーム・アプリケーションを想定する。先に説明したとおり、各図には左目用と右目用の２つの画像が表示されており、ＨＭＤに表示される際は、これらを重畳することによりユーザには３次元画像の如く生成される。

図１１では、３次元仮想空間の平面上に多くの積み木オブジェクトが配置されている。また、視界画像の中心には手のひらの形をしたマークが表示されている。そして、当該マークが積み木オブジェクトと重なるよう、ユーザはＨＭＤ傾け動作による位置合わせをすることでゲーム進行がなされる。ユーザは、当該位置合わせにより１つの積み木オブジェクトを選択した後に、ＨＭＤ傾け動作および外部コントローラ動作を組み合わせることにより、その積み木オブジェクトを図７に示したようなオブジェクト操作ルールに従って操作させる。図１２は、選択により掴んだ積み木オブジェクトを所定の位置まで移動する操作を行った状態である。また、図１３は１つの積み木オブジェクトをＨＭＤの垂直方向の傾け動作により上方向に持ち上げて、更に隣に配置された別の積み木オブジェクトに積み重ねようとしている状態である。

このように、本発明によれば、ＨＭＤを装着したユーザの頭部の簡易な動作により、没入型３次元仮想空間内のオブジェクト操作を実施可能とする。また、ＨＭＤを用いた頭部動作を外部コントローラの動作と組み合せることにより、より複雑なオブジェクト操作にも対応可能とする。これらを通じて、本発明は、ＨＭＤを用いたゲーム・アプリケーションにおいて、新規のゲーム操作態様を提供可能とするものである。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

１ 仮想カメラ
２ 没入型３次元仮想空間
１００ ＨＭＤシステム
１１０ ＨＭＤ
１１２ ディスプレイ
１１４ 傾きセンサ（ジャイロ・センサ）
１２０ コンピュータ（制御回路部）
１３０ 位置センサ（ポジション・トラッキング・カメラ）
１４０ 外部コントローラ
２１０ 動き検出部２２０ 視界決定部
２３０ 視界画像生成部
２４０ オブジェクト制御部
２５０ 空間情報格納部
２６０ オブジェクト情報格納部
２７０ 仮想カメラ情報格納部
３００ オブジェクト特定部
３２０ 基準視線計算部
３４０ オブジェクト判定部
３６０ 操作対象オブジェクト選択部
４００ オブジェクト操作部
４２０ 外部コントローラ動作判定部
４４０ 傾け動作判定部
４５０ 仮想カメラ調整部
４６０ オブジェクト操作特定部
４７０ オブジェクト操作テーブル
４８０ オブジェクト操作実施部

Claims (9)

1. 没入型仮想空間内でオブジェクト操作をコンピュータに制御させるコンピュータ・プログラムであって、
   前記コンピュータに接続されるヘッドマウント・ディスプレイが具備する傾きセンサで検知される傾き情報に基づいて、仮想空間内の視界情報を決定する視界決定部と、
   前記ヘッドマウント・ディスプレイに表示するために、前記視界情報に基づいて前記仮想空間の視界画像を生成する画像生成部と、
   前記仮想空間において基準視線上に配置されるオブジェクトを特定するオブジェクト特定部であって、前記基準視線が、前記視界画像の所定位置に対応付けて決定される、オブジェクト特定部と、
   前記コンピュータに接続可能な外部コントローラ上で行われた動作と前記ヘッドマウント・ディスプレイの所定方向の傾け動作との組み合わせに応じて定まる、オブジェクトの特定以外の１の操作を、前記特定されたオブジェクトに対して実行するオブジェクト操作部
   として前記コンピュータに機能させる、コンピュータ・プログラム。
2. 請求項１記載のコンピュータ・プログラムであって、
   前記視界決定部において、前記視界情報が更に、前記コンピュータに接続され且つ前記ヘッドマウント・ディスプレイを検知可能な位置センサによって検知される前記ヘッドマウント・ディスプレイの位置情報に基づく、コンピュータ・プログラム。
3. 請求項１または２記載のコンピュータ・プログラムであって、
   前記オブジェクト特定部において、更に、前記基準視線上に配置されるオブジェクトが複数ある場合に、前記仮想空間において視点から最も近い１つのオブジェクトを選択する、コンピュータ・プログラム。
4. 前記所定位置が前記視界画像の中心点に設定される、請求項１から３のいずれか一項記載のコンピュータ・プログラム。
5. 前記所定方向が垂直方向である、請求項１から４のいずれか一項記載のコンピュータ・プログラム。
6. 前記外部コントローラがタッチ・ディスプレイを具備し、前記外部コントローラ上で行われた前記動作が、前記タッチ・ディスプレイへのタップ、スワイプおよびホールドの何れかを含むタッチ動作である、請求項１から５のいずれか一項記載のコンピュータ・プログラム。
7. 没入型仮想空間内のオブジェクト操作のためのコンピュータ・システムであって、
   コンピュータと、該コンピュータに接続された、傾きセンサを具備するヘッドマウント・ディスプレイと、前記コンピュータに接続可能な外部コントローラとを備え、前記コンピュータが、
   前記傾きセンサで検知される傾き情報に基づいて仮想空間内の視界情報を決定し、
   前記ヘッドマウント・ディスプレイに表示するために、前記視界情報に基づいて前記仮想空間の視界画像を生成し、
   前記仮想空間において基準視線上に配置されるオブジェクトを特定し、前記基準視線が、前記視界画像の所定位置に対応付けて決定され、
   前記外部コントローラ上で行われた動作と前記ヘッドマウント・ディスプレイの所定方向の傾け動作との組み合わせに応じて定まる、オブジェクトの特定以外の１の操作を、前記特定されたオブジェクトに対して実行する
   ように構成される、コンピュータ・システム。
8. 請求項７記載のコンピュータ・システムであって、更に、前記コンピュータに接続され、且つ前記ヘッドマウント・ディスプレイを検知可能な位置センサを備え、
   前記決定される視界情報が更に、前記位置センサによって検知される前記ヘッドマウント・ディスプレイの位置情報に基づく、コンピュータ・システム。
9. 請求項７または８記載のコンピュータ・システムであって、
   前記外部コントローラ上で行われた前記動作は、前記外部コントローラが具備するタッチ・ディスプレイ上のタッチ動作である、コンピュータ・システム。