JP6728111B2

JP6728111B2 - 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体

Info

Publication number: JP6728111B2
Application number: JP2017148812A
Authority: JP
Inventors: 集平寺畑
Original assignee: Colopl Inc
Current assignee: Colopl Inc
Priority date: 2017-08-01
Filing date: 2017-08-01
Publication date: 2020-07-22
Anticipated expiration: 2036-07-20
Also published as: JP2018014109A

Description

本開示は、仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体に関する。

非特許文献１には、仮想空間に配置されたブロックを、仮想空間に配置されたユーザの仮想手で掴んだり、投げたりすることを可能にする技術が開示されている。

Toybox Demo for Oculus Touch - Inside Look［online］、平成２７年１０月１３日、［平成２８年６月１３日検索］、インターネット＜URL：https://www.youtube.com/watch?v=dbYP4bhKr2M＞

仮想空間において、ユーザが仮想オブジェクトと接触することによって操作しようとした場合、現実空間と距離感が異なるため、直感的に操作することができないことがあった。また、仮想オブジェクトを現実空間に重畳させるようにして配置することにより、ユーザに仮想体験を提供する場合にも、同様の問題が生じ得る。

本開示は前記の課題を解決するためになされたものである。そして、その目的は、ユーザが、直感的な操作によって、仮想オブジェクトと接触することを可能にすることにある。

前記の課題を解決するために、本開示に係る仮想空間を提供する方法は、頭部にヘッドマウントディスプレイを装着したユーザに仮想空間を提供する方法であって、仮想空間に配置された複数の仮想オブジェクトを特定するとともに、ユーザの頭部以外の身体の一部の動きに連動して動作する操作対象オブジェクトを仮想空間に配置するステップと、ユーザの仮想空間における基準視線を特定するステップと、仮想空間に配置され、基準視線に基づいてユーザに視認させる視界領域を規定する仮想カメラを特定するステップと、複数の仮想オブジェクトのうち少なくとも一つに、仮想空間における仮想カメラの位置または基準視線の方向に基づく延在方向に延在する部分を少なくとも含む、操作対象オブジェクトとの接触を判定するための領域を設定するステップと、領域と操作対象オブジェクトとの位置関係に基づいて、領域が設定される仮想オブジェクトと操作対象オブジェクトとの接触を判定するステップと、を含む。

本開示によれば、ユーザが、直感的な操作によって、所望の仮想オブジェクトと接触することを可能にすることができる。

ＨＭＤシステムの構成を示す図である。制御回路部のハード構成を示す図である。ＨＭＤに設定される視野座標系を例示する図である。ユーザに提供される仮想空間の概要を説明する図である。視界領域の断面を示す図である。ユーザの視線方向を決定する方法を例示する図である。コントローラの構成を表す図である。制御回路部の機能的構成を示すブロック図である。ＨＭＤシステムが仮想空間をユーザに提供する処理の流れを示すシーケンス図である。仮想空間におけるゲーム中の処理の流れを示すシーケンス図である。仮想空間におけるゲームにおいて、判定領域を設定した後の処理の流れを示すシーケンス図である。仮想カメラの位置に基づく基準ベクトルの調整方法を説明する図である。仮想カメラの向きに基づく基準ベクトルの調整方法を説明する図であり、仮想空間のＹ軸方向から見た仮想オブジェクトおよび仮想カメラを示す図である。仮想カメラの向きに基づく基準ベクトルの調整方法を説明する図であり、仮想空間のＸ軸方向から見た仮想オブジェクトおよび仮想カメラを示す図である。カード型の仮想オブジェクトのそれぞれに判定領域を設定した例を示す図である。カード型の仮想オブジェクトのそれぞれに判定領域を設定した他の例を示す図である。

［本発明の実施形態の詳細］
本発明の実施形態に係る仮想空間を提供する方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。

（ＨＭＤシステム１００の構成）
図１は、ＨＭＤシステム１００の構成を示す図である。この図に示すように、ＨＭＤシステム１００は、ＨＭＤ１１０、ＨＭＤセンサ１２０、コントローラセンサ１４０、制御回路部２００、およびコントローラ３００を備えている。

ＨＭＤ１１０は、ユーザの頭部に装着される。ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２、センサ１１４、および注視センサ１３０を備えている。ＨＭＤ１１０は、右目用画像および左目用画像をディスプレイ１１２にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される３次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ１１２がユーザの眼前に配置されているので、ユーザは、ディスプレイ１１２に表示される画像を通じて仮想空間に没入できる。これにより、ユーザは仮想現実（Virtual Reality：VR）を体験する
ことができる。仮想空間は、背景、ならびにユーザが操作可能な各種のオブジェクトおよびメニュー画像等を含み得る。

ディスプレイ１１２は、右目用画像を表示する右目用サブディスプレイと、左目用画像を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ１１２は、右目用画像および左目用画像を共通の画面に表示する１つの表示装置であってもよい。このような表示装置として、たとえば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像および左目用画像を独立して交互に表示する表示装置が挙げられる。

また、本実施形態において、ＨＭＤ１１０には、透過型ディスプレイが適用されてもよい。つまり、ＨＭＤ１１０は、透過型ＨＭＤであってもよい。この場合、前記３次元画像を透過型ディスプレイに表示することによって、後述する仮想オブジェクトを現実空間に仮想的に配置することができる。これにより、ユーザは現実空間に仮想オブジェクトが配置された複合現実（Mixes Reality：MR）を体験することができる。本実施形態において
、仮想現実や複合現実といった、ユーザが仮想オブジェクトと相互作用できる体験を仮想体験と称することがある。以下では、仮想現実を提供するための方法を一例として詳説する。

（制御回路部２００のハード構成）
図２は、制御回路部２００のハード構成を示す図である。制御回路部２００は、ＨＭＤ１１０に仮想空間を提供させるためのコンピュータである。図２に示すように、制御回路部２００は、プロセッサ、メモリ、ストレージ、入出力インターフェース、および通信インターフェースを備えている。これらは、データ伝送路としてのバスを通じて、制御回路部２００内において互いに接続されている。

プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-processing unit）、またはＧＰＵ（Graphics Processing Unit）等を含んで構成され、制御回路部２００およびＨＭＤシステム１００全体の動作を制御する。

メモリは、主記憶として機能する。メモリには、プロセッサによって処理されるプログラムおよび制御用データ（演算パラメータなど）が記憶される。メモリは、ＲＯＭ（Read
Only Memory）またはＲＡＭ（Random Access Memory）等を含んで構成され得る。

ストレージは、補助記憶として機能する。ストレージには、ＨＭＤシステム１００全体の動作を制御するためのプログラム、各種のシミュレーションプログラム、ユーザ認証プログラム、および、仮想空間を規定するための各種のデータ（画像およびオブジェクト等）が格納されている。さらには、各種のデータを管理するためのテーブルを含むデータベースがストレージに構築されていてもよい。ストレージは、フラッシュメモリまたはＨＤＤ（Hard Disc Drive）等を含んで構成され得る。

入出力インターフェースは、ＵＳＢ（Universal Serial Bus）端子、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等の各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成されている。入出力インターフェースは、ＨＭＤ１１０と、ＨＭＤセンサ１２０およびコントローラセンサ１４０を含む各種のセンサと、コントローラ３００とを互いに接続する。

通信インターフェースは、ネットワークＮＷを介して外部装置と通信するための各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成される。通信インターフェースは、ＬＡＮ（Local Area Network）またはインターネットを介して通信するための各種の通信規格およびプロトコルに適合するように、構成されている。

制御回路部２００は、ストレージに格納された所定のアプリケーションプログラムをメモリにロードして実行することによって、ユーザに仮想空間を提供する。プログラムの実行時に、メモリおよびストレージには、仮想空間内に配置される各種の仮想オブジェクトを操作したり、各種のメニュー画像等を表示および制御したりするための各種のプログラムが格納される。

制御回路部２００は、ＨＭＤ１１０に搭載されていてもよいし、されていなくてもよい
。すなわち制御回路部２００は、ＨＭＤ１１０から独立した別のハードウェア（たとえば、パーソナルコンピュータ、またはネットワークを通じてＨＭＤ１１０と通信可能なサーバ装置）であってもよい。制御回路部２００は、複数のハードウェアの協働によって１または複数の機能が実装される形態の装置であってもよい。または、制御回路部２００が有する全機能のうち一部の機能のみがＨＭＤ１１０に実装され、残りの機能が別のハードウェアに実装されていてもよい。

ＨＭＤシステム１００を構成するＨＭＤ１１０等の各要素には、予め、グローバル座標系（基準座標系、ｘｙｚ座標系）が設定されている。このグローバル座標系は、現実空間における、鉛直方向、鉛直方向と直交する横方向、ならびに、鉛直方向および横方向の双方と直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施形態では、グローバル座標系は視点座標系の一種であるため、グローバル座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれｘ軸、ｙ軸、ｚ軸とする。具体的には、グローバル座標系のｘ軸は現実空間の横方向に平行であり、ｙ軸は現実空間の鉛直方向に平行であり、ｚ軸は現実空間の前後方向に平行である。

ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジション・トラッキング機能を有する。ＨＭＤセンサ１２０は、この機能によって、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。この検出を実現するために、ＨＭＤ１１０は、図示しない複数の光源を備えている。各光源は、たとえば赤外線を発するＬＥＤである。ＨＭＤセンサ１２０は、たとえば赤外線センサを含んで構成される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の光源から照射された赤外線を、赤外線センサによって検出することによって、ＨＭＤ１１０の検出点を検出する。さらに、ＨＭＤ１１０の検出点の検出値に基づき、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置および傾きを検出する。ＨＭＤセンサ１２０は、検出値の経時的変化に基づき、ＨＭＤ１１０の位置および傾きの時間変化を決定することができる。

ＨＭＤセンサ１２０は、光学カメラを含んで構成されてもよい。この場合、ＨＭＤセンサ１２０は、光学カメラによって得られたＨＭＤ１１０の画像情報に基づき、ＨＭＤ１１０の位置および傾きを検出する。

ＨＭＤセンサ１２０の代わりに、ＨＭＤ１１０が、センサ１１４を用いて自身の位置および傾きを検出してもよい。この場合、センサ１１４は、たとえば角速度センサ、地磁気センサ、加速度センサ、またはジャイロセンサであればよい。ＨＭＤ１１０は、これらのうち少なくとも１つを用いる。センサ１１４が角速度センサである場合、センサ１１４は、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の現実空間における３軸周りの角速度を経時的に検出する。ＨＭＤ１１０は、角速度の検出値に基づき、ＨＭＤ１１０の３軸周りの角度の時間的変化を決定し、さらに、角度の時間的変化に基づきＨＭＤ１１０の傾きを検出することができる。

ＨＭＤ１１０がセンサ１１４による検出値に基づきＨＭＤ１１０の位置および傾きを自ら検出する場合、ＨＭＤシステム１００にＨＭＤセンサ１２０は不要である。逆に、ＨＭＤ１１０から離れた位置に配置されるＨＭＤセンサ１２０がＨＭＤ１１０の位置および傾きを検出する場合、ＨＭＤ１１０にセンサ１１４は不要である。

上述したように、グローバル座標系は現実空間の座標系と平行である。そのため、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤセンサ１２０の傾きの検出値に基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユ
ーザが物体を見る際の視点座標系に対応する。

（ｕｖｗ視野座標系）
図３は、ＨＭＤ１１０に設定されるｕｖｗ視野座標系を例示する図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。そして、傾きの検出値に基づく３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。具体的には、グローバル座標系を規定する横方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる新たな３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザが直立しかつ正面を視認している場合、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系の横方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）が、そのまま、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

ＨＭＤセンサ１２０は、ＨＭＤ１１０にｕｖｗ視野座標系を設定した後、ＨＭＤ１１０の動きに応じて、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出することができる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度である。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度である。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度である。

ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きの検出値に基づき、動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、新たにＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きによらず常に一定である。ＨＭＤ１１０の位置および傾きが変わると、それの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが同様に変化する。

ＨＭＤセンサ１２０は、赤外線センサによって取得される赤外線の光強度および複数の検出点間の相対位置関係（検出点間の距離等）に基づき、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、特定した相対位置に基づき、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。また、ＨＭＤセンサ１２０は、複数の検出点間の相対位置関係に基づきＨＭＤ１１０の現実空間内における傾きを検出し、さらに、その検出値に基づき現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の向きを決定してもよい。

（仮想空間２の概要）
図４は、ユーザに提供される仮想空間２の概要を説明する図である。この図に示すように、仮想空間２は、中心２１の３６０°方向全体を覆う全天球状の構造を有する。図４には、仮想空間２の全体のうち上半分の天球のみを例示する。仮想空間２には、略正方形または略長方形の複数のメッシュが関連付けられている。仮想空間２における各メッシュの位置は、仮想空間２に規定される空間座標系（ＸＹＺ座標系）における座標として、予め
規定されている。制御回路部２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２における対応する各メッシュに対応付けることによって、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

仮想空間２には、中心２１を原点とするＸＹＺ空間座標系が規定されている。ＸＹＺ座標系は、たとえばグローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれＸ軸、Ｙ軸、Ｚ軸とする。すなわち、ＸＹＺ座標系のＸ軸（横方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（上下方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

ＨＭＤ１１０の起動時（初期状態）において、仮想空間２の中心２１に仮想カメラ１が配置されている。仮想カメラ１は、現実空間内におけるＨＭＤ１１０の動きに連動して、仮想空間２内において同様に動く。これにより、現実空間内におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２内において同様に再現される。

仮想カメラ１には、ＨＭＤ１１０と同様にｕｖｗ視野座標系が規定される。仮想空間２内における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）内におけるＨＭＤ１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに連動して仮想カメラ１の傾きも変化する。仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

仮想空間２における仮想カメラ１の位置および傾きに応じて、仮想空間２における仮想カメラ１の向きが決まる。これにより、仮想空間２に展開される仮想空間画像２２をユーザが視認する際の基準となる視線（基準視線５）が決まる。制御回路部２００は、基準視線５に基づき、仮想空間２における視界領域２３を決定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する領域である。

図５は、視界領域２３の断面を示す図である。図５の（ａ）に、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を示す。図５の（ｂ）に、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を示す。視界領域２３は、基準視線５と仮想空間２のＹＺ断面とによって定義される範囲である第１領域２４（図５の（ａ）参照）と、基準視線５と仮想空間２のＸＺ断面とによって定義される範囲である第２領域２５（図５の（ｂ）参照）とを有する。制御回路部２００は、仮想空間２における基準視線５を中心として極角αを含む範囲を、第１領域２４として設定する。また、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、第２領域２５として設定する。

ＨＭＤシステム１００は、仮想空間画像２２のうち視界領域２３に重畳する部分である視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることによって、ユーザに仮想空間２を提供する。ユーザがＨＭＤ１１０を動かせば、それに連動して仮想カメラ１も動き、その結果、仮想空間２における視界領域２３の位置が変化する。これによりディスプレイ１１２に表示される視界画像２６が、仮想空間画像２２のうち、仮想空間２においてユーザが向いた箇所（＝視界領域２３）に重畳する画像に更新される。したがってユーザは、仮想空間２における所望の箇所を視認することができる。

ユーザは、ＨＭＤ１１０を装着している間、現実世界を目にすることなく、仮想空間２に展開される仮想空間画像２２のみを視認する。そのためＨＭＤシステム１００は、仮想空間２への高い没入感をユーザに与えることができる。

制御回路部２００は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想カメラ１を仮想空間２内において移動させてもよい。この場合、制御回路部２００は、仮想カメラ１の仮想空間２内における位置および向きに基づき、仮想空間２のうちＨＭＤ１１０のディスプレイ１１２に投影されることによってユーザが視認する視界領域２３を特定する。

仮想カメラ１は、右眼用画像を提供する右眼用仮想カメラと、左眼用画像を提供する左眼用仮想カメラとを含むことが好ましい。さらに、２つの仮想カメラには、ユーザが３次元の仮想空間２を認識できるように適切な視差が設定されていることが好ましい。本実施形態では、このような２つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるような仮想カメラ１のみを、代表して図示および説明するものとする。

（視線方向の検出）
注視センサ１３０は、ユーザの右目および左目の視線が向けられる方向（視線方向）を検出するアイトラッキング機能を有する。注視センサ１３０として、アイトラッキング機能を有する公知のセンサを採用することができる。注視センサ１３０は、右目用センサおよび左目用センサを備えていることが好ましい。注視センサ１３０は、たとえば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。注視センサ１３０は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。

注視センサ１３０によって検出されるユーザの視線方向は、ユーザが物体を視認する際の視点座標系における方向である。上述したように、ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザがディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがってＨＭＤシステム１００では、注視センサ１３０によって検出されたユーザの視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向と見なすことができる。

図６は、ユーザの視線方向を決定する方法を例示する図である。この図に示すように、注視センサ１３０は、ユーザＵの右目および左目の視線を検出する。ユーザＵが近くを見ている場合、注視センサ１３０は、ユーザＵの視線Ｒ１およびＬ１を検出する。ユーザが遠くを見ている場合、注視センサ１３０は、ユーザの視線Ｒ１およびＬ１よりも、ＨＭＤ１１０のロール方向（ｗ）とのなす角が小さい視線Ｒ２およびＬ２を特定する。注視センサ１３０は、検出値を制御回路部２００に送信する。

制御回路部２００は、視線の検出値として視線Ｒ１およびＬ１を受信した場合、両者の交点である注視点Ｎ１を特定する。一方、視線Ｒ２およびＬ２を受信した場合も、両者の交点である注視点Ｎ２（不図示）を特定する。制御回路部２００は、特定した注視点Ｎ１に基づき、ユーザＵの視線方向Ｎ０を検出する。制御回路部２００は、たとえば、ユーザＵの右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の伸びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザＵが両目により実際に視線を向けている方向である。視線方向Ｎ０はまた、視界領域２３に対してユーザＵが実際に視線を向けている方向でもある。

ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかの要素に、マイクおよびスピーカを備えていてもよい。これにより、ユーザは仮想空間２内に対して、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んで
いてもよい。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。

（コントローラ３００）
図７は、コントローラ３００の構成を表す図である。コントローラ３００は、ユーザの身体の一部の動きを検知することにより、仮想オブジェクトの動きを制御するために用いる装置の一例である。図１および図７に示すように、コントローラ３００は、ユーザが右手に持って使用する右コントローラ３２０と、ユーザが左手に持って使用する左コントローラ３３０とからなる。右コントローラ３２０および左コントローラ３３０は、それぞれ別体の装置として構成される。ユーザは、右コントローラ３２０を持った右手と、左コントローラ３３０を持った左手とを、相互に自由に動かすことができる。なお、ユーザの頭部以外である身体の一部の動きを検知するための方法は、当該身体の一部に装着されるセンサを含むコントローラを用いる例に限られず、画像認識、その他任意の物理的、光学的な手法等を適用できる。例えば、外部カメラを用いてユーザの身体の一部の初期位置を特定し、継続的にユーザの身体の一部の位置を特定することにより、ユーザの頭部以外である身体の一部の動きを検知できる。以下の説明においては、コントローラ３００を用いたユーザの頭部以外である身体の一部の動きの検知について詳述する。

図１および図７に示すように、右コントローラ３２０および左コントローラ３３０は、それぞれ、操作ボタン３０２、赤外線ＬＥＤ（Light Emitting Diode）３０４、センサ３０６、およびトランシーバ３０８を備えている。後述するように、右コントローラ３２０および左コントローラ３３０は、赤外線ＬＥＤ３０４およびセンサ３０６のうちいずれか一方のみを備えていてもよい。

操作ボタン３０２は、コントローラ３００に対するユーザからの操作入力を受け取るように構成された複数のボタン群である。本実施形態では、操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン、およびアナログスティックを含む。

プッシュ式ボタンは、親指で下向きに押下する動作によって操作するように構成されたボタンである。右コントローラ３２０は、プッシュ式ボタンとして、天面３２２上に親指ボタン３０２ａおよび３０２ｂを備えている。左コントローラ３３０は、プッシュ式ボタンとして、天面３３２上に２つの親指ボタン３０２ｃおよび３０２ｄを備えている。親指ボタン３０２ａおよび３０２ｂは、いずれも右手の親指によって操作（押下）される。親指ボタン３０２ｃおよび３０２ｄは、いずれも左手の親指によって操作（押下）される。

トリガー式ボタンは、人差し指または中指で引き金を引くような動作によって操作するように構成されたボタンである。右コントローラ３２０は、トリガー式ボタンとして、グリップ３２４の前面部分に人差し指ボタン３０２ｅを備えており、さらに、グリップ３２４の側面部分に中指ボタン３０２ｆを備えている。左コントローラ３３０は、トリガー式ボタンとして、グリップ３３４の前面部分に人差し指ボタン３０２ｇを備えており、さらに、グリップ３３４の側面部分に中指ボタン３０２ｈを備えている。人差し指ボタン３０２ｅ、中指ボタン３０２ｆ、人差し指ボタン３０２ｇ、および中指ボタン３０２ｈは、それぞれ右手の人差し指、右手の中指、左手の人差し指、および左手の中指によって操作（押下）される。

右コントローラ３２０は、親指ボタン３０２ａおよび３０２ｂ、人差し指ボタン３０２ｅ、ならびに中指ボタン３０２ｆの押下状態をそれぞれ検出し、これらの検出値を制御回路部２００に出力する。一方、左コントローラ３３０は、親指ボタン３０２ｃおよび３０２ｄ、人差し指ボタン３０２ｇ、ならびに中指ボタン３０２ｈの押下状態をそれぞれ検出し、これらの検出値を制御回路部２００に出力する。

本実施形態では、右コントローラ３２０および左コントローラ３３０の各ボタンの押下状態の検出値は、０から１のいずれかの値を取り得る。たとえば、ユーザが親指ボタン３０２ａをまったく押下していない場合、親指ボタン３０２ａの押下状態として「０」が検出される。一方、ユーザが親指ボタン３０２ａを完全に（最も深く）押下している場合、親指ボタン３０２ａの押下状態として「１」が検出される。

アナログスティックは、所定のニュートラル位置から３６０°任意の方向へ傾けて操作することが可能なスティック型のボタンである。右コントローラ３２０の天面３２２上にアナログスティック３０２ｉが設けられ、左コントローラ３３０の天面３３２上にアナログスティック３０２ｊが設けられる。アナログスティック３０２ｉおよび３０２ｊは、それぞれ右手および左手の親指によって操作される。

右コントローラ３２０および左コントローラ３３０は、それぞれ、グリップ（３２４および３３４）の両側面から天面（３２２および３３２）とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６および３３６を備えている。各フレーム３２６および３３６の外表面には、複数の赤外線ＬＥＤ３０４が埋め込まれている。複数（たとえば１０個程度）の赤外線ＬＥＤ３０４が、フレーム３２６、３３６の円周方向に沿って一列に並んで設けられる。フレーム３２６および３３６の円周方向に沿って、複数列（たとえば２列）の赤外線ＬＥＤ３０４が配置されていてもよい。

ユーザがコントローラ３００を握る際、ユーザの各指はグリップ（３２４または３３４）とフレーム（３２６または３３６）との間にある。したがって、各フレーム３２６および３３６の外表面に配置された赤外線ＬＥＤ３０４は、ユーザの手または指によって覆い隠されてしまうことはない。フレーム３２６および３３６の外表面に加えて、さらに、グリップ３２４および３３４の表面のうちユーザの指で隠されない部分にも、赤外線ＬＥＤ３０４が設けられていてもよい。赤外線ＬＥＤ３０４は、コンピュータゲームのプレイ中に赤外線を発光する。赤外線ＬＥＤ３０４から発せられた赤外光は、右コントローラ３２０および左コントローラ３３０のそれぞれの位置および傾きを検出するために利用される。

右コントローラ３２０および左コントローラ３３０は、赤外線ＬＥＤ３０４の代わりに、または赤外線ＬＥＤ３０４に加えて、さらにセンサ３０６を内蔵する。センサ３０６は、たとえば磁気センサ、角速度センサ、若しくは加速度センサのいずれか、またはこれらの組み合わせであってよい。センサ３０６によっても、右コントローラ３２０および左コントローラ３３０の位置および傾きを検出することができる。

センサ３０６は、ユーザが右コントローラ３２０および左コントローラ３３０をそれぞれ右手および左手で持って動かした際、右コントローラ３２０および左コントローラ３３０の向きおよび動きに応じた値（磁気、角速度、または加速度の値）を、出力する。制御回路部２００は、センサ３０６からの出力値を適宜の方法によって加工することによって、右コントローラ３２０および左コントローラ３３０のそれぞれの位置および傾きを検出することができる。

トランシーバ３０８は、右コントローラ３２０および左コントローラ３３０と、制御回路部２００との間でデータを送受信するように構成される。トランシーバ３０８は、ユーザが操作ボタン３０２を介して右コントローラ３２０または左コントローラ３３０に与えた操作入力に基づくデータを、制御回路部２００へ送信する。また、トランシーバ３０８は、赤外線ＬＥＤ３０４の発光を右コントローラ３２０または左コントローラ３３０に指示する命令を、制御回路部２００から受信する。さらに、トランシーバ３０８は、センサ
３０６によって検出した各種の値に対応するデータを、制御回路部２００へ送信する。

右コントローラ３２０および左コントローラ３３０は、ユーザの手に振動による触覚フィードバックを伝えるためのバイブレータを備えていてもよい。この構成では、トランシーバ３０８は、上述した各データの送受信に加えて、バイブレータに触覚フィードバックを行わせるための命令を制御回路部２００から受信することができる。トランシーバ３０８は、無線通信によってデータを送受信するように構成されるのが好適である。この構成では、右コントローラ３２０および左コントローラ３３０に有線通信用のケーブルが接続されないので、ユーザは、右コントローラ３２０を持った右手および左コントローラ３３０を持った左手を、より自由にそれぞれ動かせる。

コントローラセンサ１４０は、右コントローラ３２０および左コントローラ３３０の動きを検出するためのポジション・トラッキング機能を有する。コントローラセンサ１４０は、この機能によって、現実空間内における右コントローラ３２０および左コントローラ３３０の位置および傾きを検出する。この検出を実現するために、コントローラセンサ１４０は、右コントローラ３２０および左コントローラ３３０の赤外線ＬＥＤ３０４から発せられた赤外光を、それぞれ検出する。コントローラセンサ１４０は、たとえば、赤外波長領域において画像を撮像する赤外カメラを備えており、この赤外カメラによって撮像した画像のデータに基づき、右コントローラ３２０および左コントローラ３３０の位置および傾きを検出する。

赤外カメラによって撮像された画像は、右コントローラ３２０および左コントローラ３３０の表面に埋め込まれている多数の赤外線ＬＥＤ３０４の配置を反映した明暗画像である。ある１つの撮像画像には、互いに左右に離れた２つの明点の集団が含まれ得る。２つの集団のうち左側の集団は、ユーザが右手で持っている右コントローラ３２０の赤外線ＬＥＤ３０４に対応する。右側の集団は、ユーザが左手で持っている左コントローラ３３０の赤外線ＬＥＤ３０４に対応する。コントローラセンサ１４０は、左側の集団を構成している明点の並んでいる方向から、右コントローラ３２０の傾きを検出する。たとえば、明点が撮像画像内で横方向（即ち水平方向）に並んでいる場合、右コントローラ３２０の傾きを、フレーム３２６が水平に保持された傾きとして検出すればよい。また、撮像画像内で明点の並んでいる方向が横方向からある角度だけ斜めになっている場合、右コントローラ３２０の傾きを、フレーム３２６が水平から当該角度だけ傾いた傾きとして検出すればよい。同様に、コントローラセンサ１４０は、撮像画像内における右側の集団を構成している明点の並んでいる方向から、左コントローラ３３０の傾きを検出する。

コントローラセンサ１４０は、撮像画像内の明点（赤外線ＬＥＤ３０４）を識別することによって、右コントローラ３２０および左コントローラ３３０の位置をそれぞれ検出する。たとえば、撮像画像から検出したされた２つの明点の集団のうち、左側の集団を構成している複数の明点の重心位置を、右コントローラ３２０の位置として検出する。さらに、右側の集団を構成している複数の明点の重心位置を、左コントローラ３３０の位置として検出する。

コントローラセンサ１４０の代わりに、右コントローラ３２０および左コントローラ３３０が、センサ３０６を用いて自身の位置および傾きを検出してもよい。この場合、たとえば、右コントローラ３２０の三軸角速度センサ（センサ３０６）が、右コントローラ３２０の３つの直交する各軸周りの回転を検出する。右コントローラ３２０は、各検出値に基づき、右コントローラ３２０がどちらの方向にどれだけ回転したかを検出し、さらに、逐次検出した回転方向と回転量とを累積することによって、右コントローラ３２０の傾きを算出する。同様に、左コントローラ３３０は、左コントローラ３３０の三軸角速度センサ（センサ３０６）からの検出値を用いて、左コントローラ３３０の傾きを算出すればよ
い。右コントローラ３２０および左コントローラ３３０は、三軸角速度センサの検出値に加えて、たとえば三軸磁気センサおよび／または三軸加速度センサからの検出値を併用してもよい。

詳細な説明は省略するが、右コントローラ３２０は、三軸角速度センサ（センサ３０６）からの検出値を用いて、右コントローラ３２０の位置を検出することができる。また、左コントローラ３３０は、三軸角速度センサ（センサ３０６）からの検出値を用いて、左コントローラ３３０の位置を検出することができる。

（制御回路部２００の機能的構成）
図８は、制御回路部２００の機能的構成を示すブロック図である。制御回路部２００は、ＨＭＤセンサ１２０、コントローラセンサ１４０、注視センサ１３０、およびコントローラ３００から受信した各種のデータを用いることによって、ユーザに提供される仮想空間２を制御すると共に、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。図８に示すように、制御回路部２００は、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０を備えている。制御回路部２００は、図２に示す各ハードウェアの協働によって、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０として機能する。検出部２１０、表示制御部２２０、および仮想空間制御部２３０は、主としてプロセッサおよびメモリの協働によってその機能が実現され得る。記憶部２４０は、主としてメモリおよびストレージの協働によってその機能が実現され得る。通信部２５０は、主としてプロセッサおよび通信インターフェースの協働によってその機能が実現され得る。

検出部２１０は、制御回路部２００に接続される各種のセンサ（ＨＭＤセンサ１２０等）から検出値を受信する。また、必要に応じて、受信した検出値を用いた所定の処理を実行する。検出部２１０は、ＨＭＤ検出部２１１、視線検出部２１２、およびコントローラ検出部２１３を備えている。ＨＭＤ検出部２１１は、ＨＭＤ１１０およびＨＭＤセンサ１２０から検出値をそれぞれ受信する。視線検出部２１２は、注視センサ１３０から検出値を受信する。コントローラ検出部２１３は、コントローラセンサ１４０、右コントローラ３２０、および左コントローラ３３０から、それぞれの検出値を受信する。

表示制御部２２０は、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。表示制御部２２０は、仮想カメラ制御部２２１、視界領域決定部２２２、および視界画像生成部２２３を備えている。仮想カメラ制御部２２１は、仮想空間２内に仮想カメラ１を配置すると共に、仮想空間２内における仮想カメラ１の挙動を制御する。視界領域決定部２２２は、視界領域２３を決定する。視界画像生成部２２３は、決定された視界領域２３に基づき、ディスプレイ１１２に表示される視界画像２６を生成する。

仮想空間制御部２３０は、ユーザに提供される仮想空間２を制御する。仮想空間制御部２３０は、仮想空間規定部２３１、仮想手制御部２３２、領域特定部２３３、および接触判定部２３４を備えている。

仮想空間規定部２３１は、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、ＨＭＤシステム１００における仮想空間２を規定する。仮想手制御部２３２は、ユーザによる右コントローラ３２０および左コントローラ３３０の操作に応じたユーザの各仮想手（仮想右手および仮想左手）を仮想空間２内に配置すると共に、仮想空間２内における各仮想手の挙動を制御する。領域特定部２３３は、仮想空間２６におけるオブジェクト、すなわち仮想オブジェクトのうち少なくとも一つに、ユーザ操作の対象となる操作対象オブジェクト（たとえば仮想手）との接触を判定するための判定領域を設定する。接触判定部２３４は、前記判定領域と前記操作対象オブジェクトとの位置関係に
基づいて、前記判定領域が設定される前記仮想オブジェクトと前記操作対象オブジェクトとの接触を判定する。

記憶部２４０は、制御回路部２００が仮想空間２をユーザに提供するために用いる各種のデータを格納している。記憶部２４０は、雛形格納部２４１およびコンテンツ格納部２４２を備えている。雛形格納部２４１は、仮想空間２の雛形を表す各種の雛形データを格納している。コンテンツ格納部２４２は、仮想空間２において再生可能な各種のコンテンツを格納している。

雛形データは、仮想空間２の空間構造を規定する空間構造データを有する。空間構造データは、たとえば、中心２１を中心とする３６０°の全天球の空間構造を規定するデータである。雛形データは、仮想空間２のＸＹＺ座標系を規定するデータをさらに有する。雛形データは、天球を構成する各メッシュのＸＹＺ座標系における位置を特定する座標データをさらに有する。また、雛形データは、仮想空間２内に仮想オブジェクトを配置可能であるか否かを示すフラグをさらに有していてもよい。

コンテンツは、仮想空間２において再生可能なコンテンツである。本実施形態では、このコンテンツはゲームコンテンツである。コンテンツは、ゲームの背景画像、および、ゲームに登場する仮想オブジェクト（キャラクタ、アイテム等）を規定するデータを少なくとも有する。各コンテンツには、ＨＭＤ１１０の初期状態（起動時）にユーザに見せる画像を向いた初期方向が、予め規定されている。

通信部２５０は、ネットワークＮＷを介して外部機器４００（たとえばゲームサーバ）との間でデータを送受信する。

（仮想空間２の提供処理）
図９は、ＨＭＤシステム１００が仮想空間２をユーザに提供する処理の流れを示すシーケンス図である。仮想空間２は、基本的に、ＨＭＤ１１０および制御回路部２００の協働によってユーザに提供される。図８に示す処理が開始されると、まず、ステップＳ１において、仮想空間規定部２３１が、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１は、仮想空間２の雛形データを雛形格納部２４１から取得することによって、仮想空間２の原型を定義する。仮想空間規定部２３１は、さらに、仮想空間２において再生されるコンテンツを、コンテンツ格納部２４２から取得する。本実施形態では、このコンテンツはゲームコンテンツである。

仮想空間規定部２３１は、取得した雛形データに、取得したコンテンツを適合することによって、仮想空間２を規定する仮想空間データを生成する。仮想空間規定部２３１は、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、コンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。仮想空間規定部２３１は、コンテンツに規定される初期方向を仮想空間２のＸＹＺ座標系におけるＺ方向に合致させるように、各部分画像と各メッシュとを関連付けることが好ましい。

仮想空間規定部２３１は、さらに、必要に応じて、コンテンツに含まれる各仮想オブジェクトの管理データを、仮想空間データに追加する。その際、各管理データに、対応する仮想オブジェクトが仮想空間２において配置される位置を表す座標を設定する。これにより各仮想オブジェクトが、仮想空間２における当該座標の位置にそれぞれ配置される。

その後、ユーザによってＨＭＤ１１０が起動されると、ステップＳ２において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の初期状態における位置および傾きを検出して、ステップ
Ｓ３において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。この後、ステップＳ４において、仮想カメラ制御部２２１は、仮想空間２において仮想カメラ１を初期化する。

初期化の手順は次の通りである。まず仮想カメラ制御部２２１は、仮想空間２内における初期位置（図４における中心２１等）に、仮想カメラ１を配置する。次に、仮想空間２における仮想カメラ１の向きを設定する。その際、仮想カメラ制御部２２１は、ＨＭＤセンサ１２０からの検出値に基づき初期状態のＨＭＤ１１０のｕｖｗ視野座標系を特定すると共に、ＨＭＤ１１０のｕｖｗ視野座標系に一致するｕｖｗ視野座標系を仮想カメラ１に設定することによって、仮想カメラ１の向きを設定すればよい。仮想カメラ制御部２２１は、仮想カメラ１にｕｖｗ視野座標系を設定する際、仮想カメラ１のロール方向（ｗ軸）をＸＹＺ座標系のＺ方向（Ｚ軸）に適合させる。具体的には、仮想カメラ制御部２２１は、仮想カメラ１のロール方向をＸＺ平面に投影して得られる方向を、ＸＹＺ座標系のＺ方向に一致させると共に、ＸＺ平面に対する仮想カメラ１のロール方向の傾きを、水平面に対するＨＭＤ１１０のロール方向の傾きに一致させる。このような適合処理によって、初期状態の仮想カメラ２のロール方向がコンテンツの初期方向に適合されるので、コンテンツの再生開始後におけるユーザが最初に向く水平方向の向きを、コンテンツの初期方向に一致させることができる。

仮想カメラ１の初期化処理が終わると、視界領域決定部２２２は、仮想カメラ１のｕｖｗ視野座標系に基づき、仮想空間２における視界領域２３を決定する。具体的には、仮想カメラ１のｕｖｗ視野座標系のロール方向（ｗ軸）をユーザの基準視線５として特定し、この基準視線５に基づき視界領域２３を決定する。ステップＳ５において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影される部分に相当する視界画像２６を生成（レンダリング）する。ステップＳ６において、視界画像生成部２２３は、生成した視界画像２６を初期視界画像としてＨＭＤ１１０に出力する。ステップＳ７において、ＨＭＤ１１０は、受信した初期視界画像をディスプレイ１１２に表示する。これによりユーザは初期視界画像を視認する。

その後、ステップＳ８において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の現在の位置および傾きを検出して、ステップＳ９において、これらの検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、各検出値を受信する。仮想カメラ制御部２２１は、ＨＭＤ１１０の位置および傾きの検出値に基づき、ＨＭＤ１１０における現在のｕｖｗ視野座標系を特定する。さらに、ステップＳ１０において、仮想カメラ制御部２２１は、ＸＹＺ座標系におけるｕｖｗ視野座標系のロール方向（ｗ軸）を、ＨＭＤ１１０の視界方向として特定する。

本実施形態では、ステップＳ１１において、仮想カメラ制御部２２１が、特定したＨＭＤ１１０の視界方向を、仮想空間２におけるユーザの基準視線５として特定する。ステップＳ１２において、仮想カメラ制御部２２１は、特定した基準視線５に基づき、仮想カメラ１を制御する。仮想カメラ制御部２２１は、基準視線５の位置（起点）および方向が仮想カメラ１の初期状態と同一であれば、仮想カメラ１の位置および方向をそのまま維持する。一方、基準視線５の位置（起点）および／または方向が、仮想カメラ１の初期状態から変化していれば、仮想空間２内における仮想カメラ１の位置および／または傾きを、変化後の基準視線５に応じた位置および／または傾きに変更する。また、制御後の仮想カメラ１に対してｕｖｗ視野座標系を再設定する。

ステップＳ１３において、視界領域決定部２２２は、特定した基準視線５に基づき、仮想空間２における視界領域２３を決定する。その後、ステップＳ１４において、視界画像
生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影（重畳）される部分である視界画像２６を生成（レンダリング）する。ステップＳ１５において、視界画像生成部２２３は、生成した視界画像２６を更新用の視界画像としてＨＭＤ１１０に出力する。ステップＳ１６において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、ユーザがＨＭＤ１１０を動かせば、それに連動して視界画像２６が更新される。

（仮想空間ゲームの提供）
本実施形態では、ユーザは、右コントローラ３２０および左コントローラ３３０を操作することによって、仮想空間２内においてゲームをプレイする。このゲームでは、ユーザは、仮想空間２において、ユーザの頭部以外の身体の一部の動きに連動して動作する操作対象オブジェクトにより、他の仮想オブジェクトに触れることができる。詳細は後述するが、制御回路部２００は、操作対象オブジェクトによって触れることができる仮想オブジェクトには、仮想カメラ１の位置または基準視線５の方向に基づく延在方向に延在する部分を少なくとも含む、操作対象オブジェクトとの接触を判定するための判定領域を設定する。これにより、ユーザは、直感的な操作により、操作対象オブジェクトと、他の仮想オブジェクトとを接触させることができる。前記ゲームは、たとえばカードゲームであってもよい。この場合、前記操作対象オブジェクトは仮想手であってもよく、前記他の仮想オブジェクトはユーザが選択できるカードのオブジェクト（現実のカードを模した外観および形状の仮想オブジェクト）であってもよい。厚さが薄いカードの仮想オブジェクトであっても、前記判定領域を設定することにより、ユーザは、直感的な操作により、仮想手によってカードの仮想オブジェクトに触れることができる。

図１０は、仮想空間２におけるゲーム中の処理の流れを示すシーケンス図である。ステップＳ２０において、仮想空間規定部２３１は、選択画面を構成する各部分画像をコンテンツ格納部２４２から読み出し、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、前記各部分画像を関連付ける。また、仮想空間規定部２３１は、選択画面に含まれる各仮想オブジェクトの管理データを、仮想空間データに追加する。仮想オブジェクトの管理データには、仮想オブジェクトの形状、仮想空間２における位置（座標）および傾き（姿勢）を示すデータが含まれている。管理データを仮想空間データに追加する際、各管理データに、対応する仮想オブジェクトが仮想空間２において配置される位置を表す座標を設定する。前記仮想オブジェクトは、ユーザが選択する対象となる仮想オブジェクトであり、たとえばカードの仮想オブジェクトである。

ステップＳ２１において、コントローラセンサ１４０は、右コントローラ３２０の位置および傾き、ならびに、左コントローラ３３０の位置および傾きをそれぞれ検出する。ステップＳ２２において、コントローラセンサ１４０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。

ステップＳ２３において、コントローラ３００は、各ボタンの押下状態を検出する。具体的には、右コントローラ３２０は、親指ボタン３０２ａ、人差し指ボタン３０２ｅ、および中指ボタン３０２ｆの押下状態をそれぞれ検出する。一方、左コントローラ３３０は、親指ボタン３０２ｃ、人差し指ボタン３０２ｇ、および中指ボタン３０２ｈの押下状態をそれぞれ検出する。ステップＳ２４において、右コントローラ３２０および左コントローラ３３０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。

ステップＳ２５において、仮想手制御部２３２は、受信した各検出値を用いて、ユーザの各仮想手（仮想右手および仮想左手）を、仮想空間２に生成する。具体的には、仮想右
手の形状、仮想空間２における位置および傾きを規定するデータおよび仮想左手を規定するデータをそれぞれ生成し、仮想空間データに追加する。

仮想手制御部２３２は、右コントローラ３２０位置および傾きの検出値、ならびに右コントローラ３２０の各ボタンの押下状態の検出値を用いて、ユーザの仮想右手を規定する。その際、仮想空間２における仮想右手の位置として、グローバル座標系における右コントローラ３２０の位置を規定する。仮想手制御部２３２は、さらに、右コントローラ３２０の傾きの検出値に基づき、右コントローラ３２０に設定されたｕｖｗ視野座標系に連動するｕｖｗ視野座標系を仮想右手に設定することによって、仮想空間２内における仮想右手の傾きを規定する。

仮想手制御部２３２は、さらに、右コントローラ３２０の親指ボタン３０２ａ、人差し指ボタン３０２ｅ、および中指ボタン３０２ｆの各検出値に基づき、仮想右手を構成する右親指、右人差し指、および右中指の表示状態を規定する。なお、右薬指および右小指の表示状態は、右中指に合致させるように規定する。

仮想手制御部２３２は、あるボタンの押下状態の検出値が「０」の場合、そのボタンに対応する仮想手の指の表示状態として、指を完全に伸ばした状態を規定する。一方、あるボタンの押下状態が「１」の場合、そのボタンに対応する仮想手の指の表示状態として、指を完全に折り曲げた状態を規定する。また、あるボタンの押下状態が「中間（０と１との間の値）」の場合、そのボタンに対応する仮想手の指の表示状態として、押下状態に応じた程度に指を折り曲げた表示状態を規定する。

同様に、仮想手制御部２３２は、左コントローラ３３０の各検出値に基づき、仮想空間２における仮想左手の位置、傾き、および各指の状態を規定する。これらの処理によって、仮想手制御部２３２は、仮想右手および仮想左手を仮想空間２に配置する。

ステップＳ２６〜ステップＳ３４の処理は、図９のステップＳ８〜ステップＳ１６と同様である。ステップＳ２６〜ステップＳ３４の処理により、ステップＳ２０で生成した選択画面のうち、視界領域２３に投影（重畳）される部分である視界画像２６がディスプレイ１１２に表示される。

ステップＳ３５において、領域特定部２３３は、選択画面に含まれる各仮想オブジェクトの姿勢を特定する。ステップＳ３５の処理は、ユーザの選択の対象となる仮想オブジェクトのみについて行えばよく、仮想空間２に含まれる全ての仮想オブジェクトについて行う必要はない。ステップＳ３６〜ステップＳ３９の処理も同様である。仮想オブジェクトの姿勢は、その仮想オブジェクトの管理データを参照して特定することができる。

ステップＳ３６において、領域特定部２３３は、仮想オブジェクトと仮想手との接触を判定する際に使用する判定領域を設定するための基準ベクトルを特定する。基準ベクトルの始点は、判定領域の始点を示しており、ステップＳ３５で特定した姿勢に基づいて決定する。具体的には、領域特定部２３３は、ステップＳ３５で特定した姿勢に基づいて、仮想オブジェクトにおける視界画像２６として表示される領域を特定し、該領域内に基準ベクトルの始点を設定する。たとえば、仮想オブジェクトがカードである場合には、カード表面（仮想カメラ１に向いている面）の中央位置に前記始点を設定してもよい。基準ベクトルの大きさは、判定領域の奥行きを示しており、判定領域を仮想オブジェクトからどの程度まで離れた位置まで延在させるかに応じて決定すればよい。基準ベクトルの方向は、判定領域の延在方向を示している。たとえば、仮想オブジェクトがカードである場合には、カード表面の法線方向を基準ベクトルの方向としてもよい。

ステップＳ３７において、領域特定部２３３は、前記特定した基準ベクトルを基準として判定領域を設定する。領域特定部２３３は、基準ベクトルの始点から終点までの区間に、基準ベクトルの方向に延在するように、判定領域設定してもよい。たとえば、仮想オブジェクトを基準ベクトルに沿って、基準ベクトルの始点から終点までに沿って移動させたときに前記仮想オブジェクトが通過する領域を判定領域に設定してもよい。

ステップＳ３８において、領域特定部２３３は、仮想カメラ１の位置または基準視線５の方向（仮想カメラ１の向き）に基づいて、ステップＳ３６で特定した基準ベクトルを調整する。仮想カメラ１の位置に基づく基準ベクトルの調整については図１２に基づいて後述する。基準視線５の方向に基づく基準ベクトルの調整については図１３および図１４に基づいて後述する。

ステップＳ３９において、領域特定部２３３は、前記調整した基準ベクトルを基準として判定領域を再度設定し、これにより判定領域が仮想カメラ１の位置または基準視線５の方向に応じた適切な範囲に調整される。詳細は図１１に基づいて後述するが、前記調整後の判定領域に基づいて、仮想オブジェクトと仮想手との接触判定が行われる。

なお、仮想カメラ１の位置または基準視線５の方向が変化した場合、ステップＳ３８およびステップＳ３９の処理は再度行われる。つまり、ＨＭＤセンサ１２０から新たに受信した検出値に基づき、前述のステップＳ２８〜ステップＳ３２の処理が行われ、仮想カメラ１の位置および／または基準視線５の方向が変化した場合、変化後の仮想カメラ１の位置および／または基準視線５の方向に基づいてステップＳ３８およびステップＳ３９の処理が行われる。これにより、選択画面の表示中にＨＭＤ１１０を装着したユーザが、現実空間で移動したり、頭を傾けたりした場合にも、仮想手により仮想オブジェクトに容易に触れることができる状態を維持することができる。

（判定領域を設定した後の処理）
領域特定部２３３が判定領域を設定した後の処理を図１１に基づいて説明する。ステップＳ６０において、コントローラセンサ１４０は、右コントローラ３２０の位置および傾き、ならびに、左コントローラ３３０の位置および傾きをそれぞれ検出する。ステップＳ６１において、コントローラセンサ１４０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。

ステップＳ６２において、仮想手制御部２３２は、受信した各検出値を用いて、ユーザの各仮想手（仮想右手および仮想左手）の仮想空間２における位置および傾きを更新する。具体的には、仮想空間２における仮想右手の位置を、グローバル座標系における右コントローラ３２０の現在位置に更新する。また、仮想手制御部２３２は、右コントローラ３２０の傾きの検出値に基づき、仮想空間２内における仮想右手の傾きを更新する。同様に、仮想手制御部２３２は、左コントローラ３３０の各検出値に基づき、仮想空間２における仮想左手の位置および傾きを更新する。ステップＳ６３において、視界画像生成部２２３は、仮想手の位置および傾きが更新された視界画像２６を生成してＨＭＤ１１０に出力する。そして、ステップＳ６４において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示し、これによりユーザが視認する視界画像２６が更新される。

ステップＳ６５において、接触判定部２３４は、仮想手が仮想オブジェクトに接触したか判定する。具体的には、接触判定部２３４は、図１０のステップＳ３９で調整した判定領域と、仮想空間２において仮想手が占める領域とに重畳部分があるか否かを判定する。接触判定部２３４が、重畳部分がないと判定した場合（ステップＳ６５においてＮＯ）、処理は図示のフローの冒頭に戻る。一方、接触判定部２３４が、重畳部分があると判定した場合（ステップＳ６５においてＹＥＳ）、接触判定部２３４は、コントローラ３００が
検出して（ステップＳ６６）、制御回路部２００に送信した（ステップＳ６７）、各ボタンの押下状態を示す各検出値に基づき、掴む操作が検出されたか否かを判定する（ステップＳ６８）。どのような操作を掴む操作とするかは特に限定されないが、たとえば仮想手の親指と、人差し指および中指とが接触するまで各指に対応するボタンを押下する操作を掴む操作としてもよい。

接触判定部２３４は、掴む操作は行われていないと判定した場合（ステップＳ６８においてＮＯ）、処理は図示のフローの冒頭に戻る。一方、掴む操作が行われたと判定した場合（ステップＳ６８においてＹＥＳ）、接触判定部２３４は、仮想オブジェクトが掴まれたと判定する（ステップＳ６９）。接触判定部２３４は、が、仮想オブジェクトが掴まれたと判定した後の処理は、ゲーム内容に応じたものとすればよい。たとえば、接触判定部２３４は、掴まれた仮想オブジェクトと、掴んだ仮想手とを関連付けて、仮想手が移動したときには仮想オブジェクトも仮想手と連動して移動させてもよい。この関連付けは、たとえば、仮想手によって仮想オブジェクトを掴んでいる状態が解除された（掴んでいる指を伸ばす操作が行われた）ときに解除してもよい。

（仮想カメラ１の位置に基づく基準ベクトルの調整）
図１２には、仮想空間２のＹ軸方向から見た、仮想カメラ１とユーザの選択対象となる仮想オブジェクトＯＡ〜ＯＤと基準位置２７を図示している。同図の（ａ）において、各仮想オブジェクトＯＡ〜ＯＤの表面（仮想カメラ１側を向いている面）の中心付近を始点とする実線の矢印Ｖａ〜Ｖｄは、各仮想オブジェクトＯＡ〜ＯＤの基準ベクトルを示している。なお、基準ベクトルＶａ〜Ｖｄの始点は、仮想オブジェクトＯＡ〜ＯＤの表面であってもよいし、内部であってもよい。

図１０のステップＳ３８において、仮想カメラ１の位置に基づいて基準ベクトルを調整する場合、領域特定部２３３は、仮想空間２における任意の位置（例えば、仮想オブジェクトＯＡ〜ＯＤの近傍）に基準位置２７を設定する。基準位置２７は、基準視線５の方向の変位量や、仮想カメラ１の位置の変位量に応じた基準視線の方向の変位量を特定するために設定される。図１２の例では、Ｘ軸方向に一列に並んだ４つの仮想オブジェクトＯＡ〜ＯＤのうち仮想オブジェクトＯＢとＯＣの間で、仮想オブジェクトＯＡ〜ＯＤの仮想カメラ１側を向いた面よりも仮想カメラ１寄りの位置に基準位置２７を設定している。基準位置２７は、仮想オブジェクトＯＡ〜ＯＤの位置に基づいて特定された位置であればよく、仮想オブジェクトＯＡ〜ＯＤの内部領域に設定してもよいし、仮想オブジェクトＯＡ〜ＯＤの外部領域に設定してもよい。

この例のように、複数の仮想オブジェクトに対して１つの基準位置２７を設定することにより、複数の仮想オブジェクトの基準ベクトルを一括して調整することができ、演算処理の負荷を低く抑えることができる。なお、演算処理の負荷が大きくなることを許容できるのであれば、各仮想オブジェクトのそれぞれに基準位置２７を設定してもよい。

基準位置２７を設定した後、領域特定部２３３は、仮想カメラ１の位置Ｐ１から基準位置２７に向かう方向Ｄを特定する。なお、方向Ｄは、仮想オブジェクトＯＡ〜ＯＤを選択するときのユーザの視線方向と概ね一致する。そして、領域特定部２３３は、方向Ｄと平行となり、かつ方向Ｄと逆向きとなるように基準ベクトルＶａ〜Ｖｄを調整する。図１２の（ａ）のように、方向ＤがＺ軸と平行であり、かつＺ軸の正の方向を向いている場合、領域特定部２３３は、基準ベクトルＶａ〜ＶｄをＺ軸と平行に、かつＺ軸の負の方向を向くように調整する。一方、図１２の（ｂ）の例では、仮想カメラ１の位置がＰ２に移動しており、これにより、方向ＤがＹ軸回りにθ回転している。よって、領域特定部２３３は、基準ベクトルＶａ〜Ｖｄを回転させて調整する。この調整における回転角度はθ、回転方向はＹ軸回り反時計方向であり、回転において基準ベクトルＶａ〜Ｖｄの始点は変化さ
せない。

なお、前述の例では、説明を簡単にするため、方向ＤのＹ軸方向成分は考慮せずに基準ベクトルを調整する例を示したが、Ｙ軸方向成分も考慮して基準ベクトルを調整してもよい。この場合、領域特定部２３３は、Ｙ軸方向において、仮想カメラ１よりも高い位置の仮想オブジェクトの基準ベクトルを仮想カメラ１に向かうように（斜め下方に向くように）調整する。同様に、領域特定部２３３は、仮想カメラ１よりも低い位置の仮想オブジェクトの基準ベクトルを仮想カメラ１に向かうように（斜め上方に向くように）調整する。判定領域は、基準ベクトルを基準として特定されるから、前記調整により、ユーザは高い位置の仮想オブジェクトと低い位置の仮想オブジェクトのいずれも、仮想オブジェクトに向けて手を伸ばすという直感的な操作で容易に選択できるようになる。

（基準視線５の方向に基づく基準ベクトルの調整）
図１３には、図１２と同様に、仮想空間２のＹ軸方向から見た、仮想カメラ１、仮想オブジェクトＯＡ〜ＯＤ、および基準ベクトルＶａ〜Ｖｄを示している。また、仮想カメラ１のロール方向（図３のｗ軸方向であり、基準視線５の方向でもある）は、ｗで示している。

図１０のステップＳ３８において、基準視線５の方向に基づいて基準ベクトルを調整する場合、領域特定部２３３は、仮想カメラ１のロール方向ｗを特定する。そして、領域特定部２３３は、基準ベクトルＶａ〜Ｖｄを、前記特定したロール方向ｗと平行となり、かつロール方向ｗと逆向きとなるように回転させて調整する。

図１３の（ａ）の例のように、ロール方向ｗがＺ軸と平行であり、かつＺ軸の正の方向を向いている場合、基準ベクトルＶａ〜ＶｄはＺ軸と平行であり、かつＺ軸の負の方向を向くように調整する。一方、図１３の（ｂ）の例では、ロール方向ｗが図１３の（ａ）の例と比べて、Ｙ軸回り反時計方向に角度θだけ回転している。よって、領域特定部２３３は、基準ベクトルＶａ〜Ｖｄをロール方向ｗと平行かつ逆向きとなるように回転させて調整する。この調整における回転角度はθ、回転方向はＹ軸回り反時計方向であり、回転において基準ベクトルＶａ〜Ｖｄの始点は変化させない。

図１４の例では、Ｘ軸方向から見た、仮想カメラ１、仮想オブジェクトＯＥ、ＯＦ、および各仮想オブジェクトＯＥ、ＯＦの基準ベクトルＶｅ、Ｖｆを示している。前述の基準ベクトルＶａ〜Ｖｄと同様に、基準ベクトルＶｅ、Ｖｆも、ロール方向ｗと平行かつ逆向きとなるように調整される。

図１４の（ａ）の例では、ロール方向ｗがＺ軸と平行であり、かつＺ軸の正の向きであるから、領域特定部２３３は、Ｚ軸と平行であり、かつＺ軸の負の向きとなるように基準ベクトルＶｅ、Ｖｆを調整する。

一方、図１４の（ｂ）の例では、ロール方向ｗが図１４の（ａ）の例と比べて、Ｘ軸周り反時計方向に角度θ回転している（仮想カメラ１の仰角がθとなっている）。よって、領域特定部２３３は、基準ベクトルＶｅ、Ｖｆをロール方向ｗと平行かつ逆向きとなるように回転させて調整する。この調整における回転角度はθ、回転方向はＸ軸回り反時計方向であり、回転において基準ベクトルＶｅ、Ｖｆの始点は変化させない。

これにより、仮想カメラ１に対してロール方向ｗに位置する（仮想カメラ１の正面に位置する）仮想オブジェクトＯＥの基準ベクトルＶｅは、仮想オブジェクトＯＥから仮想カメラ１に向かうベクトルとなる。一方、仮想カメラ１に対してロール方向ｗからずれた位置にある仮想オブジェクトＯＦの基準ベクトルＶｆは、仮想オブジェクトＯＦから仮想カ
メラ１よりも下方に向かう（仮想カメラ１から遠ざかる向きの）ベクトルとなる。

なお、図１４（ｂ）の例とは逆に、ＸＺ平面において、ロール方向ｗがＸ軸周り時計方向に回転している場合（仮想カメラ１の正面が水平よりも下方を向いている場合）には、基準ベクトルＶｅは、仮想カメラ１よりも上方に向かう（仮想カメラ１から遠ざかる向きの）ベクトルとなる。一方、基準ベクトルＶｆは、仮想カメラ１に向かうベクトルとなる。

以上のように、領域特定部２３３は、仮想カメラ１の正面方向、すなわちＨＭＤ１１０を装着したユーザの頭部の正面方向に位置する仮想オブジェクトには、その仮想オブジェクトから仮想カメラ１に向けて判定領域を設定する。よって、ユーザは、仮想オブジェクトに向けて真っ直ぐ手を伸ばすという直感的な操作で、その仮想オブジェクトに触れることができる。一方、前記方向から外れている仮想オブジェクトの判定領域は、仮想カメラ１から遠ざかる向きに判定領域が設定されるから、ユーザは、このような仮想オブジェクトには触れにくくなる。よって、ユーザの触れたい仮想オブジェクトに触れやすくすることができると共に、ユーザが触れる意図のない仮想オブジェクトには触れにくくすることができる。

（判定領域の設定例）
図１５には、カード型の仮想オブジェクトＯＧ〜ＯＪのそれぞれに判定領域ＪＧ〜ＪＪを設定した例を示している。同図の（ａ）と（ｂ）は、設定されている判定領域ＪＧ〜ＪＪは同じであり、視点を変えて図示したものである。同図の（ｂ）に示すように、仮想オブジェクトＯＧ〜ＯＪは、曲線上に配置されている。より詳細には、仮想オブジェクトＯＧ〜ＯＪは、仮想カメラ１を中心とした円弧あるいは球面上にその重心位置が並ぶように、かつ各仮想オブジェクトＯＧ〜ＯＪの正面が仮想カメラ１を向くように配置されている。このような配置とすることにより、ユーザは各仮想オブジェクトＯＧ〜ＯＪに表示された情報を読み取りやすく、また各仮想オブジェクトＯＧ〜ＯＪを仮想手で選択する操作を行いやすい。仮想オブジェクトＯＧ〜ＯＪのうち、仮想オブジェクトＯＩについては、外縁に枠線ＦＲが付されている。枠線ＦＲは、たとえば仮想手が判定領域ＪＩに入ったときや、判定領域ＪＩに入った仮想手により仮想オブジェクトＯＩを掴む操作が行われたときに表示させてもよい。仮想オブジェクトＯＧ、ＯＨ、ＯＪについても同様である。

判定領域ＪＧ〜ＪＪは、基準視線５の方向に基づいた調整（図１３および図１４参照）後の基準ベクトルを基準として特定された領域である。なお、判定領域やその外縁は、画像として表示する必要はないが、本例では説明のため、判定領域ＪＧ〜ＪＪの外枠を図示している。また、同図では視界領域２３を破線で示している。

判定領域ＪＧ〜ＪＪは、いずれも六面体状の領域であり、仮想オブジェクトＯＧ〜ＯＪから仮想カメラ１に向かって延在している。領域特定部２３３は、仮想カメラ１のロール方向ｗと平行かつ逆向きとなるように仮想オブジェクトＯＧの基準ベクトルを調整する。次に、該調整後の基準ベクトルに沿って、仮想オブジェクトＯＧの仮想カメラ１に向いた面を、調整後の基準ベクトルの終点まで平行移動させて、判定領域ＪＧを規定する６面のうち、最も仮想カメラ１寄りの面を特定する。そして、前記特定した面と仮想オブジェクトＯＧの仮想カメラ１に向いた面とを対向する２面とした六面体の領域を判定領域ＪＧと特定する。仮想オブジェクトＯＨ〜ＯＪについても同様にして判定領域ＪＨ〜ＪＪを特定することができる。

仮想カメラ１のロール方向ｗは、ＨＭＤ１１０のロール方向、すなわちＨＭＤ１１０を装着しているユーザの顔の正面方向と等しい。よって、図示の例では、ユーザは、自身の正面に表示されている仮想オブジェクトＯＧ〜ＯＪのうち所望の仮想オブジェクトに向け
て、右コントローラ３２０または左コントローラ３３０を持った手を真直ぐに伸ばせば、その仮想オブジェクトに仮想手で触れる（正確には接触判定部２３４に仮想手と仮想オブジェクトが接触したと判定させる）ことができる。

なお、図示の例では、判定領域ＪＧ、ＪＪの一部は、視界領域２３外に出ているが、視界領域２３の内部のみを対象として判定領域を設定してもよい。また、判定領域は視界領域２３の内外を考慮せずに特定し、接触判定（図１１のステップＳ６５）の際に、視界領域２３外の部分については接触したと判定しないようにしてもよい。これにより、ユーザの視界に入っていない位置で仮想オブジェクトへの接触があったと判定されることを防ぐことができる。ただし、これらの例では、視界領域２３をモニタリングする等の処理が必要になり、処理負荷が大きくなるので、処理負荷を低く抑えるという観点からは、視界領域２３を考慮せずに判定領域の特定および接触判定を行うことが好ましい。

図１６の（ａ）には、仮想カメラ１のロール方向がＸＺ平面に対してＸ軸周り半時計方向に回転している場合、すなわち仮想カメラ１が仮想空間２中において斜め上方に向いている場合の判定領域ＪＨ〜ＪＪの例を示している。この場合、図１４の（ｂ）に示したように、仮想オブジェクトＯＧ〜ＯＪの基準ベクトルをＸ軸周り時計方向に回転させて調整する。これにより、調整後の基準ベクトルを基準として特定される判定領域ＪＨ〜ＪＪは、図１６の（ａ）に示すように、斜め下方に向けて延在する領域となる。

図１６の（ｂ）には、仮想カメラ１のロール方向がＸＺ平面に対してＸ軸周り時計方向に回転している場合、すなわち仮想カメラ１が仮想空間２中において斜め下方に向いている場合の判定領域ＪＨ〜ＪＪの例を示している。この場合、仮想オブジェクトＯＧ〜ＯＪの基準ベクトルをＸ軸周り反時計方向に回転させて調整するから、調整後の基準ベクトルを基準として特定される判定領域ＪＨ〜ＪＪは、図１６の（ｂ）に示すように、斜め上方に向けて延在する領域となる。

〔変形例〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。各実施形態にそれぞれ開示された技術的手段を組み合わせることによって、新しい技術的特徴を形成することもできる。

判定領域の形状および範囲は、ユーザが所望の仮想オブジェクトに容易に触れることができるようなものとすればよく、前述した各例に限定されない。たとえば、判定領域は、仮想オブジェクトの内部領域の全部または一部を含む領域としてもよい。また、前述の各例では、判定領域の全体の延在方向を調整している。しかし、判定領域の一部（例えばカードである仮想オブジェクトの上方に延在する領域）は調整の対象外とし、他の一部（例えばカードである仮想オブジェクトの正面から延在する領域）のみ延在方向を調整してもよい。

ユーザが操作する仮想オブジェクトは、ユーザの頭部以外の身体の一部の動きに連動して仮想空間２内を移動するものであればよく、仮想手に限られない。たとえば、仮想空間２内の敵キャラクタ（仮想オブジェクト）と、武器を使って戦うゲームであれば、武器がユーザの操作する仮想オブジェクトとなる。

どのような仮想オブジェクトの判定領域を設定するかも特に限定されず、仮想空間２中の全ての仮想オブジェクトの判定領域を設定してもよいし、一部の仮想オブジェクトの判定領域を設定してもよい。また、仮想オブジェクトの形状も特に限定されない。なお、仮想空間２に占める体積が大きい仮想オブジェクトは、判定領域を設定するまでもなくユー
ザが容易に選択できるので、体積が閾値以下の仮想オブジェクト、あるいは厚さが閾値以下の仮想オブジェクトについてのみ判定領域を設定してもよい。

また、仮想オブジェクトとの接触による操作をＭＲ等に適用することによって仮想体験を提供する場合には、操作対象オブジェクトに換えてユーザの実際の頭部以外の身体の一部を物理的・光学的手法等によって検知し、当該身体の一部と仮想オブジェクトの位置関係に基づいて、当該身体の一部と仮想オブジェクトとの接触を判定してもよい。なお、透過型ＨＭＤを用いて仮想体験を提供する場合には、ユーザの基準視線は、非透過型ＨＭＤと同様に、ＨＭＤの動き、または、ユーザの視線を検知することによって特定してもよい。特定した基準視線に基づく判定領域の設定方法は上記実施形態で説明した通りである。

〔ソフトウェアによる実現例〕
制御回路部２００の制御ブロック（検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。

後者の場合、制御ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラムおよび各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ等を備えている。そして、コンピュータ（又はＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔付記事項〕
本発明の一側面にかかる内容を列記すると以下の通りである。

（項目１）頭部にヘッドマウントディスプレイを装着したユーザに仮想空間を提供する方法であって、前記仮想空間に配置された複数の仮想オブジェクトを特定するとともに、前記ユーザの頭部以外の身体の一部の動きに連動して動作する操作対象オブジェクトを前記仮想空間に配置するステップと、前記ユーザの前記仮想空間における基準視線を特定するステップと、前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を規定する仮想カメラを特定するステップと、前記複数の仮想オブジェクトのうち少なくとも一つに、前記仮想空間における前記仮想カメラの位置または前記基準視線の方向に基づく延在方向に延在する部分を少なくとも含む、前記操作対象オブジェクトとの接触を判定するための領域を設定するステップと、前記領域と前記操作対象オブジェクトとの位置関係に基づいて、前記領域が設定される前記仮想オブジェクトと前記操作対象オブジェクトとの接触を判定するステップと、を含む方法。仮想カメラの位置または基準視線の方向に基づく延在方向に延在する部分を少なくとも含む領域を設定し、該領域と操作対象オブジェクトとの位置関係に基づいて接触を判定するので、ユーザが、直感的な操作によって、所望の仮想オブジェクトと接触することが可能になる。

（項目２）前記部分は、前記領域が設定される前記仮想オブジェクトから、前記基準視線の方向とは逆向きの前記延在方向に延在する、項目１に記載の方法。仮想カメラに対して基準視線の方向に位置する仮想オブジェクト（ユーザが注意を向けた仮想オブジェクト
）を選択し易くし、仮想カメラに対して基準視線の方向から外れた位置の仮想オブジェクト（ユーザの注意が向いていない仮想オブジェクト）を選択し難くすることができる。

（項目３）前記延在方向を規定する基準ベクトルを特定するステップをさらに含み、前記設定するステップにおいて、前記仮想カメラの位置または前記基準視線の方向に基づいて前記基準ベクトルを回転させ、回転後の基準ベクトルを基準として前記領域を設定する、項目１または２に記載の方法。基準ベクトルを用いた演算によって、仮想空間においてユーザが、操作対象オブジェクトを直感的に操作して、所望の仮想オブジェクトに接触させることを可能にすることができる。

（項目４）前記設定するステップにおいて、前記基準視線の方向と平行かつ逆向きとなるように前記基準ベクトルを回転させる、項目３に記載の方法。基準ベクトルを用いた演算によって、仮想カメラに対して基準視線の方向に位置する仮想オブジェクトを選択し易くし、仮想カメラに対して基準視線の方向から外れた位置の仮想オブジェクトを選択し難くすることができる。

（項目５）前記設定するステップにおいて、前記仮想カメラの位置から、前記領域が設定される前記仮想オブジェクトの位置、または該仮想オブジェクトの位置に基づいて特定した位置に向かう方向と平行かつ逆向きとなるように前記基準ベクトルを回転させる、項目３に記載の方法。ユーザが、仮想オブジェクトとの距離感を把握することができずに、仮想オブジェクトの手前側（仮想オブジェクトよりも仮想カメラ側）に操作対象オブジェクトを移動させた場合であっても、仮想オブジェクトに触れようとしたユーザの意図を汲んで、操作対象オブジェクトと仮想オブジェクトとが接触したと判定することができる。

（項目６）前記仮想カメラの位置または前記基準視線の方向が変化した場合に、変化後の前記仮想カメラの位置または変化後の前記基準視線の方向に基づく前記延在方向に、前記部分を延在させるステップをさらに含む、項目１〜５のいずれか１つの方法。仮想カメラの位置または基準視線の方向が変化した場合にも、ユーザが、直感的な操作によって、所望の仮想オブジェクトと接触することが可能な状態を維持することができる。

（項目７）頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、複数の仮想オブジェクトを特定するステップと、前記ユーザの頭部以外の身体の一部の位置を特定するステップと、前記ユーザの基準視線を特定するステップと、複数の前記仮想オブジェクトのうち少なくとも一つに、前記基準視線の方向に基づく延在方向に延在する部分を少なくとも含む領域を設定するステップと、前記領域と前記身体の一部の位置との位置関係に基づいて、前記領域が設定される前記仮想オブジェクトと前記身体の一部との接触を判定するステップと、を含む方法。基準視線の方向に基づく延在方向に延在する部分を少なくとも含む領域を設定し、該領域とユーザの身体の一部の位置との位置関係に基づいて接触を判定するので、ユーザは、所望の仮想オブジェクトに直感的に接触することが可能になる。

（項目８）前記部分は、前記領域が設定される前記仮想オブジェクトから、前記基準視線の方向とは逆向きの前記延在方向に延在する、項目７に記載の方法。基準視線の方向に位置する仮想オブジェクト（ユーザが注意を向けた仮想オブジェクト）を選択し易くし、基準視線の方向から外れた位置の仮想オブジェクト（ユーザの注意が向いていない仮想オブジェクト）を選択し難くすることができる。

（項目９）前記延在方向を規定する基準ベクトルを特定するステップをさらに含み、前記設定するステップにおいて、前記基準視線の方向に基づいて前記基準ベクトルを回転させ、回転後の基準ベクトルを基準として前記領域を設定する、項目７または８に記載の方
法。基準ベクトルを用いた演算によって、ユーザが所望の仮想オブジェクトに直感的に接触することを可能にすることができる。

（項目１０）前記設定するステップにおいて、前記基準視線の方向と平行かつ逆向きとなるように前記基準ベクトルを回転させる、項目９に記載の方法。基準ベクトルを用いた演算によって、基準視線の方向に位置する仮想オブジェクトを選択し易くし、基準視線の方向から外れた位置の仮想オブジェクトを選択し難くすることができる。

（項目１１）前記基準視線の方向が変化した場合に、変化後の前記基準視線の方向に基づく前記延在方向に、前記部分を延在させるステップをさらに含む、項目７〜１０のいずれか１項に記載の仮想体験を提供する方法。基準視線の方向が変化した場合にも、ユーザが、所望の仮想オブジェクトに接触することが可能な状態を維持することができる。

（項目１２）項目１〜１１のいずれか１つの方法の各ステップを、コンピュータに実行させるプログラム。

（項目１３）項目１２のプログラムを記録したコンピュータ読み取り可能な記録媒体。

１仮想カメラ、２仮想空間、５基準視線、２１中心、２２仮想空間画像、２３
視界領域、２６視界画像、２７基準位置、１００ＨＭＤシステム、１１０ＨＭＤ、１１２ディスプレイ、１１４、３０６センサ、１２０ＨＭＤセンサ、１３０注視センサ、１４０コントローラセンサ、２００制御回路部、２１０検出部、２１１ＨＭＤ検出部、２１２視線検出部、２１３コントローラ検出部、２２０表示制御部、２２１仮想カメラ制御部、２２２視界領域決定部、２２３視界画像生成部、２３０仮想空間制御部、２３１仮想空間規定部、２３２仮想手制御部、２３３領域特定部、２３４接触判定部、２４０記憶部、２４１雛形格納部、２４２コンテンツ格納部、２５０通信部、３００コントローラ、３０２操作ボタン、３０２ａ〜３０２ｄ親指ボタン、３０２ｅ、３０２ｇ人差し指ボタン、３０２ｆ、３０２ｈ中指ボタン、３０２ｉ、３０２ｊアナログスティック、３２０右コントローラ、３２２、３３２天面、３２４、３３４グリップ、３２６フレーム、３３０左コントローラ

Claims

画像表示装置を介してユーザに仮想空間を提供する方法であって、
前記仮想空間に配置された仮想オブジェクトを特定するとともに、前記ユーザの身体の一部の動きに連動して動作する操作対象オブジェクトを前記仮想空間に配置するステップと、
前記ユーザの前記仮想空間における基準視線を特定するステップと、
前記仮想空間に配置された仮想カメラの位置または向きに基づいて画像を生成するステップと、
前記仮想オブジェクトに、前記仮想空間における前記仮想カメラの位置または前記基準視線の方向に基づく延在方向に延在する部分を少なくとも含む、前記操作対象オブジェクトとの接触を判定するための領域を設定するステップと、
前記領域と前記操作対象オブジェクトとの位置関係に基づいて、前記領域が設定される前記仮想オブジェクトと前記操作対象オブジェクトとの接触を判定するステップと、を含む方法。
前記部分は、前記領域が設定される前記仮想オブジェクトから、前記基準視線の方向とは逆向きの前記延在方向に延在する、請求項１に記載の方法。
前記延在方向を規定する基準ベクトルを特定するステップをさらに含み、
前記設定するステップにおいて、前記仮想カメラの位置または前記基準視線の方向に基づいて前記基準ベクトルを回転させ、回転後の基準ベクトルを基準として前記領域を設定する、請求項１または２に記載の方法。
前記設定するステップにおいて、前記基準視線の方向と平行かつ逆向きとなるように前記基準ベクトルを回転させる、請求項３に記載の方法。
前記設定するステップにおいて、前記仮想カメラの位置から、前記領域が設定される前記仮想オブジェクトの位置、または該仮想オブジェクトの位置に基づいて特定した位置に向かう方向と平行かつ逆向きとなるように前記基準ベクトルを回転させる、請求項３に記載の方法。
前記仮想カメラの位置または前記基準視線の方向が変化した場合に、変化後の前記仮想カメラの位置または変化後の前記基準視線の方向に基づく前記延在方向に、前記部分を延在させるステップをさらに含む、請求項１〜５のいずれか１項に記載の方法。
画像表示装置を介してユーザに仮想体験を提供する方法であって、
仮想オブジェクトを特定するステップと、
前記ユーザの身体の一部の位置を特定するステップと、
前記ユーザの基準視線を特定するステップと、
前記仮想オブジェクトに、前記基準視線の方向に基づく延在方向に延在する部分を少なくとも含む領域を設定するステップと、
前記領域と前記身体の一部の位置との位置関係に基づいて、前記領域が設定される前記仮想オブジェクトと前記身体の一部との接触を判定するステップと、を含む方法。
前記部分は、前記領域が設定される前記仮想オブジェクトから、前記基準視線の方向とは逆向きの前記延在方向に延在する、請求項７に記載の方法。
前記延在方向を規定する基準ベクトルを特定するステップをさらに含み、
前記設定するステップにおいて、前記基準視線の方向に基づいて前記基準ベクトルを回転させ、回転後の基準ベクトルを基準として前記領域を設定する、請求項７または８に記載の方法。
前記設定するステップにおいて、前記基準視線の方向と平行かつ逆向きとなるように前記基準ベクトルを回転させる、請求項９に記載の方法。
前記基準視線の方向が変化した場合に、変化後の前記基準視線の方向に基づく前記延在方向に、前記部分を延在させるステップをさらに含む、請求項７〜１０のいずれか１項に記載の方法。
請求項１〜１１のいずれか１項に記載の方法の各ステップを、コンピュータに実行させるプログラム。
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。