JP6122459B2 - ポジショントラッキング領域表示システム、及び方法 - Google Patents

Description

本発明は、ポジショントラッキングの領域を表示するシステム及び方法に関し、特に、動く非透過型ヘッドマウントディスプレイに設けられた複数のノードより発せられる信号をノードセンサが受信して、ノードセンサに対するノードの位置を算出し、算出されたノード位置に基づいて、ノードセンサのトラッキング領域を、ヘッドマウントディスプレイの表示領域に表示される３次元仮想空間内に重ねて表示するシステムに関する。

ユーザの身体に複数のポイントを設け、該複数のポイントの位置の動きに基づいてユーザの身体の動きを検出するボディトラッキングシステムが知られている。例えば、特許文献１に記載のボディモーションキャプチャ装置は、ユーザの身体に装着された複数のポイントから取得された信号に基づいて、静止ノードに対する複数のポイントの位置を算出し、ユーザの動きを推定する。

また、ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示することが可能なヘッドマウントディスプレイ（ＨＭＤ）が知られている。

特開２００７−５２４１５８号

上記背景技術に係るポジショントラッキングシステムにおいては、ユーザの身体に装着された複数のポイントから送信された信号を感知するセンサを用いて、該センサに対するユーザの身体の動きを推定することができる。ユーザは外界への視野を保っているため、ユーザは実空間におけるセンサとの位置関係を視覚的に認識することができ、ユーザはセンサの感知可能な範囲から外れることなく動くことができる。

しかしながら、ユーザが非透過型のＨＭＤを装着している場合、ユーザはＨＭＤのディスプレイに表示された画像のみを観察することになるため、実空間におけるセンサとのユーザとの位置関係を視覚的に認識することができない。ＨＭＤを装着しているユーザが動作中にセンサのトラッキング領域から外れてしまうと、トラッキング領域から外れた途端にポジショントラッキングが不能となり、ユーザの動きに連動してＨＭＤの表示領域に表示される仮想空間画像が動かなくなるためユーザは不快な体験をする。

本発明は、上記に鑑みてなされたものであり、ＨＭＤに設けられたノードがノードセンサのトラッキング領域から外れる前に、ＨＭＤを装着しているユーザに対しトラッキング可能な領域を知らせるものである。また、本発明は、ＨＭＤに設けられたノードがノードセンサのトラッキング領域から外れた場合にはＨＭＤを装着しているユーザに対し、トラッキング領域から外れたことを警告するものである。
即ち、本発明は、
（１）表示領域と、複数のノードとを備えたヘッドマウントディスプレイ（ＨＭＤ）と、複数のノードからの信号をそれぞれ検出するノードセンサとを備え、仮想空間画像にノードセンサのトラッキング可能領域を重ねた表示領域へ出力される出力画像を生成するシステムで実行される方法であって、
ノードセンサがＨＭＤの複数のノードからの信号をそれぞれ検出するステップと、
検出された複数のノードからの信号に基づいて３次元実空間内における複数のノードの位置を算出するステップと、
算出された位置に基づいて仮想空間画像を生成するステップと、
複数のノード位置の全て／または一部がトラッキング可能領域の境界領域にある場合（例えば図５のｂおよびｄ）に、生成された仮想空間画像に、ノードセンサのトラッキング可能領域を重ねた出力画像を生成するステップと、
を備える方法に関する。
（２）さらに、本発明の他の実施形態によれば、（１）に記載の出力画像を生成するステップが、複数のノード位置の全て／または一部がトラッキング可能領域の境界領域にない場合（例えば図５のａ）に、生成された仮想空間画像に、トラッキング可能領域を重ねない出力画像を生成するステップであることを特徴とする。
（３）さらに、本発明の他の実施形態によれば、検出された複数のノードからの信号がＨＭＤに設けられた全てのノードからの信号であるかを判定するステップを、さらに含み、
全てのノードからの信号ではない場合に、出力画像を生成するステップは、複数のノード位置の全て／または一部がトラッキング可能領域の境界領域にない場合（例えば図５のｃ）に、生成された仮想空間画像に、警告メッセージを重ねた出力画像を生成するステップであることを特徴とする。
（４）さらに、本発明の他の実施形態によれば、（１）に記載のノードからの信号を検出するステップにおいて、ノードからの信号が全く検出されない場合（例えば図５のｅおよびｆ）に、出力画像を生成するステップは、トラッキング可能領域から外れたことを示す出力画像を生成するステップであることを特徴とする。
（５）さらに、本発明の他の実施形態によれば、（１）に記載の仮想空間画像を生成するステップは、前回のノードからの信号の検出タイミングで算出されたノードの位置がメモリに格納されていない場合に、最新の検出タイミングで算出されたノードの位置と、最後の検出タイミングで算出されたノード位置との間のオフセットを算出し、該オフセットと、最新の検出タイミングで算出されたノードの位置とに基づいて仮想空間画像を生成するステップであることを特徴とする。
（６）さらに、本発明の他の実施形態によれば、ノードセンサのトラッキング可能領域はノードセンサに応じてあらかじめ規定されていることを特徴とする。
（７）さらに、本発明の他の実施形態によれば、ノードセンサのトラッキング可能領域は境界領域を含み、該境界領域はトラッキング可能領域よりも狭く、ユーザがトラッキング可能領域外に出てトラッキング不能となる十分前にユーザに通知可能な程度の領域を有していることを特徴とする。
（８）また、本発明の他の実施形態によれば、
表示領域と、複数のノードとを備えたヘッドマウントディスプレイ（ＨＭＤ）と、複数のノードからの信号をそれぞれ検出するノードセンサとを備え、仮想空間画像にノードセンサのトラッキング可能領域を重ねた表示領域へ出力される出力画像を生成するシステムであって、
ノードセンサにより検出されたＨＭＤの複数のノードからの信号のそれぞれに基づいて３次元実空間内における複数のノードの位置を算出するノード位置検出部と、
算出された位置に基づいて仮想空間画像を生成する仮想空間画像生成部と、
複数のノード位置の全て／または一部がトラッキング可能領域の境界領域にある場合（例えば図５のｂおよびｄ）に、生成された仮想空間画像に、ノードセンサのトラッキング可能領域を重ねた出力画像を生成する警告画像生成部と、
を備えるシステムに関する。

この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。

本発明によれば、ＨＭＤを装着しているユーザに対して、トラッキング可能な領域を知らせることができる。

本発明の一実施例に従った、本発明の一実施例に従った、ＨＭＤシステム１００の概略図を示す。 本発明の一実施例に従った、ＨＭＤシステム１００の機能的構成図を示す。 本発明の一実施例に従った、ＨＭＤシステム１００のノードセンサ１３０に基づいて規定されるトラッキング可能領域、境界領域、中心領域を示す。 本発明の一実施例に従った、ＨＭＤシステム１００の処理の流れを示すフローチャートを示す。 本発明の一実施例に従った、図３に示す領域を線Ａで切断した場合のトラッキング可能領域、境界領域、中心領域と、ＨＭＤに設けられた各ノードとの関係を示す。 図６Ａ、Ｂは本発明の一実施例に従った、ＨＭＤの表示領域に示されるスクリーンショットを示す。 本発明の一実施例に従った、ＨＭＤの表示領域に示されるスクリーンショットを示す。 本発明の一実施例に従った、ＨＭＤの表示領域に示されるスクリーンショットを示す。 本発明の一実施例に従った、ＨＭＤの表示領域に示されるスクリーンショットを示す。

複数のノードを設けたＨＭＤと、該複数のノードからの信号を検出可能なポジショントラッキングセンサ（ノードセンサ）を用いることにより、ノードセンサを基準として複数のノードの３次元実空間内における位置を算出できる。これによりＨＭＤを装着しているユーザは様々な動作、例えば、ユーザはオブジェクトの下や、オブジェクトの上、オブジェクトの角から向こう側を覗きこむ動作を行うことができ、ユーザは３次元仮想空間内で様々な視点を持つことができる。一方、非透過型ＨＭＤを装着しているユーザは、外界への視界を完全に失い、ノードセンサと、自身（ＨＭＤ）との実空間内における位置関係を把握することができない。従って、このようなユーザが実空間内で移動してしまうと、意図せずにノードセンサが検知できる範囲外に出てしまい、トラッキング不能となることがある。

本発明によれば、３次元実空間内で移動するユーザに対して、ノードセンサのトラッキング領域から外れる前に、ＨＭＤを装着しているユーザに対し、トラッキング領域から外れそうであることを感覚的に知らせるものである。

図１は、本発明に従って構成されたＨＭＤシステム１００の外観図である。図１に示すようにＨＭＤシステム１００は、ＨＭＤ１１０と、制御部１２０と、ノードセンサ１３０とを含む。ＨＭＤ１１０は、ユーザの視界を完全に覆うよう構成された非透過型表示装置であり、表示領域１１２と、複数のノード１１４を備える。ＨＭＤ１１０に設けられた複数のノード１１４が発する信号を、基準点に固定されたノードセンサ１３０が捉えることで、ＨＭＤのポジショントラッキングを行うことができる。ＨＭＤ１１０はさらにスピーカ（図示せず）や、振動部（図示せず）、加速度センサ（図示せず）、角速度センサ（図示せず）を備えることができる。

表示領域１１２は、制御部１２０により生成された仮想空間画像を出力することができる。該ＨＭＤ１１０を装着したユーザは表示領域１１２に表示される画面のみを観察することができ、外界の視界を全て失うため、制御部１２０において実行されるアプリケーション・プログラムにより表示される仮想空間に完全に没入することができる。

ノード１１４は、ＨＭＤ１１０の前面等に複数設けられており、ノードセンサ１３０に対して信号、例えば赤外線信号を発信することができる。ノード１１４は、ＨＭＤ１１０の上面、下面、背面、横面にも設けることができる。例えばＨＭＤ１１０の背面にノード１１４が設けられている場合、ＨＭＤを装着したユーザがノードセンサ１３０に対して背を向けたとしてもノードセンサ１３０はノード１１４から発信される信号を取得することができる。

スピーカはユーザの耳付近に位置するようＨＭＤに設けられており、制御部１２０からの信号に基づいて音を出力する。振動部は、ＨＭＤに設けられており、制御部１２０からの信号に基づいて、ＨＭＤを振動させる。

加速度センサは表示領域１１２近辺に設けられており、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の動きに応じて、ＨＭＤ１１０のＸ、Ｙ、Ｚ軸方向の加速度を経時的に検出することができる。角速度センサは表示領域１１２近辺に設けられており、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の動きに応じて、ＨＭＤ１１０のＸ、Ｙ、Ｚ軸回りの角速度を経時的に検出することができる。ＨＭＤ１１０の３次元実空間における位置は、ノードセンサ１３０から得られた情報、または角速度センサ、加速度センサから得られた角速度、加速度情報、またはこれらの組み合わせにより算出することができる。これらの組み合わせにより、３次元実空間におけるＨＭＤの位置をより正確に把握することができる。また、ノードセンサ１３０と、ＨＭＤ１１０との間に障害物があり、ノードセンサ１３０が各ノード１１４からの信号を取得することのできない場合は、角速度センサ、加速度センサから得られた角速度、加速度情報を用いて３次元実空間における位置を取得することもできる。

ノードセンサ１３０は、例えば赤外線センサ、光学センサであり、３次元実空間内の固定位置にあり、ＨＭＤ１１０及び制御部１２０に通信可能に接続されている。ノードセンサ１３０は、ＨＭＤ１１０に設けられた複数のノード１１４がトラッキング可能領域（図３に示す領域３０２）にある場合に、各ノード１１４から発せられる信号、例えば赤外線信号を経時的に検出し、該検出した信号を制御部１２０へ送信する。ノードセンサ１３０がＨＭＤ１１０に設けられた各ノード１１４から発せられる信号を検出し、制御部１２０が該検出された信号に基づいて各ノードの位置、方向の解析を行うことにより、各ノードのノードセンサに対する位置を算出することができ、ＨＭＤのポジショントラッキングを実現することができる。ノードセンサ１３０の検知できるトラッキング可能領域はあらかじめ規定されている。

制御部１２０は、プロセッサ、メモリ、通信部を備えることができ、これらがバスにより相互にデータ通信可能に接続されている。制御部１２０のメモリには、本発明の一実施形態によるアプリケーション・プログラム及びデータが格納されており、これらアプリケーション・プログラムがプロセッサにより実行されて、ユーザは非透過型のＨＭＤを装着して、種々のアプリケーションを楽しむことができる。なお、メモリには、プロセッサがアプリケーション・プログラムに従って動作している間に生成したデータやプロセッサによって利用されるデータや、各ノードの位置、トラッキング可能領域、境界領域、中心領域の３次元実空間内での座標データと、それに対応する仮想空間内での座標データ等を格納することができる。通信部はプロセッサの制御により制御部１２０とノードセンサ１３０、ＨＭＤ１１０との接続を確立する。制御部１２０は、ＨＭＤに設けられた各ノード１１４から発信された赤外線信号をノードセンサ１３０より受信して、受信した信号に基づきノードセンサからの各ノード１１４までの３次元実空間内での位置を算出して、ＨＭＤ１１０の動きを求めることができる。そして、制御部１２０は、実空間におけるＨＭＤ１１０の動きに基づいて、ユーザが観察することのできるＨＭＤ１１０の表示領域１１２に表示される仮想空間画像をフレーム毎に生成し、ＨＭＤの表示領域１１２へ出力することができる。制御部１２０は、ユーザの頭部に装着されるＨＭＤ１１０に搭載することもできるし、ＨＭＤ１１０に搭載せずに別のハードウェア、例えば公知のパーソナルコンピュータ等により構成することができる。

図２は、本発明の一実施例に従った、ＨＭＤシステム１００の表示処理を実現するための機能的構成を示す。制御部１２０はノードセンサ１３０とＨＭＤ１１０に通信可能に接続されており、ノード位置検出部２１０、表示制御部２２０、警告信号生成部２３０を備えることができる。

ノード位置検出部２１０はノードセンサ１３０により取得されたノード１１４より発信された信号に基づいて、各ノードの位置、方向の解析を行うことにより、各ノード１１４のノードセンサ１３０に対する３次元実空間における位置を算出する。

表示制御部２２０は、判定部２２２、仮想空間画像生成部２２４、警告画像生成部２２６を備えることができ、仮想空間画像を生成し、生成した仮想空間画像を出力画像としてＨＭＤの表示領域１１２へ出力する。

より詳細には、判定部２２２は、３次元実空間における位置の算出されたノードが、ＨＭＤに設けられた全てのノードであるか、一部のノードであるかを判定する。また、位置の算出されたノードが、トラッキング可能領域（図３に例示する領域３０２）内にあるか、境界領域（図３に例示する３０４）内にあるか、中心領域内（図３に例示する領域３０６）にあるかを判定することができる。

仮想空間画像生成部２２４は、算出されたノード１１４のそれぞれの３次元実空間における位置に基づいて、３次元仮想空間画像を出力画像としてフレーム毎に生成する。
警告画像生成部２２６は、検出されたノード１１４の３次元実空間内の位置の一部又は全てが、境界領域３０４にある場合等に、ノード１１４の３次元実空間内の位置に基づいて、生成された３次元仮想空間画像に、ノードセンサのトラッキング可能領域（図３に示す領域３０２）、境界領域（図３に示す領域３０４）、中心領域（図３に示す領域３０６）のうち一部、又は複数を重ねた３次元仮想空間画像を出力画像として生成することができる。境界領域が表示領域に表示されると、ＨＭＤを装着したままの状態でユーザは自身が境界領域内にいることを認識することができる。また、中心領域が表示領域に表示されると、ＨＭＤを装着したままの状態でユーザはどの方向に移動すれば、中心領域に入ることができるかを認識することができる。従って、外界への視野を失った状態でもユーザはノードセンサに対しより良い位置を確保するために移動することができる。

さらに、警告画像生成部２２６は、全てのノード１１４の位置が検出できない場合に、仮想空間画像を例えば画面全体をフェードアウトした画像や暗転した画像等を出力画像として生成することができる。

さらに、警告画像生成部２２６は、検出されたノード１１４の３次元実空間内の位置の一部又は全てが、境界領域３０４にある場合や、位置が検出できないノード１１４がある場合に、トラッキング可能領域等を重ねた３次元仮想空間画像に警告メッセージを重ねた出力画像を生成することができる。例えば、ノードが境界領域にある場合に「トラッキング領域から外れます」等の警告メッセージを、また、ユーザとノードセンサとの間に障害物が置かれており、信号が検出できない該ノードが或る場合には「障害物があります」等の警告メッセージを３次元仮想空間画像に重ねた出力画像を生成することができる。

警告信号生成部２３０は、検出されたノード１１４の３次元実空間内の位置の一部又は全てが境界領域３０４にある場合や、位置が検出できないノード１１４がある場合に、ＨＭＤに設けられたスピーカ（図示せず）に出力させる警告音を生成することや、ＨＭＤに設けられた振動部（図示せず）を振動させる信号を生成することができる。

図３は、本発明の一実施例に従った、実空間におけるノードセンサ１００のトラッキング可能領域３０２、境界領域３０４、中心領域３０６を示す。トラッキング可能領域３０２はノードセンサ１３０によりトラッキング可能な領域であり、トラッキング可能領域３０２の形状、範囲はノードセンサの種類ごとにあらかじめ規定されている。トラッキング可能領域３０２の形状は、図３では円錐系であるが、他の形状、例えば円錘台形、楕円錐台系でもよい。トラッキング可能領域３０２は、網掛けで示される中心領域３０６（円錐形）と、該中心領域３０６の周りを囲む境界領域３０４を含むことができる。本実施例においては、境界領域３０４はトラッキング可能領域３０２を外縁とする中空の円錐形であり、中に中心領域３０６を含むが、外縁をトラッキング可能領域３０２の内側に規定することや、形状を他の形状、例えば円錐台形にしてもよい。中心領域３０６は、トラッキング可能領域３０２のうち、境界領域３０４の中に設けられた領域であり、ユーザの動きに対して安定的に位置をトラッキング可能な領域である。境界領域、中心領域の大きさや形状は図３に示す例に限定されない。

トラッキング可能領域３０２外に全てのノード１１４が移動すると、ノードセンサ１３０はノードの位置を検出することができなくなる。この場合、ユーザが実空間内で移動してもユーザの移動はトラッキング不能となり、ユーザの移動に応じてユーザの観察している仮想空間内の画像が変化しなくなるため、ユーザは不快を感じる。特に、ユーザが移動する際にトラッキングがなされなくなると、ユーザは仮想空間内で方向感覚を失い、不快な視野を観察することになり、結果として実行中のアプリケーションに対する没入感を損なうことになる。本実施例では、ユーザが意図せずにトラッキング領域から出て不快を感じることのないように、ユーザがトラッキング領域から出てトラッキング不能になる前に、すなわちユーザが境界領域３０４にいる間に、ユーザに対して種々のユーザインタフェース（表示領域、スピーカ等）を介して警告を通知することができる。トラッキング可能領域３０２に規定される境界領域３０４が狭いと、ユーザが境界領域３０４に到達した途端に警告がなされないままトラッキング可能領域３０２の外に出てしまう可能性がある。従って、境界領域３０４は、ユーザがトラッキング可能領域外に出てトラッキング不能となる十分前にユーザに対して警告できるよう、トラッキング可能領域３０２に対して十分に広い領域を確保するよう規定される。

なお、図１においてノード１１４はＨＭＤ１１０の前面（ユーザの向いている方向）及び横面に設けられているが、ＨＭＤの後面に設けることもできる。ＨＭＤの後面にノード１１４が設けられている場合、ユーザがノードセンサ１３０に対して頭だけ後ろを向けた場合や背を向けて移動する場合にも、ノードセンサ１３０はノード１１４の位置がトラッキング可能領域内にある限り、トラッキングすることができる。

図４は、本発明の一実施例に従った、ＨＭＤシステム１００の表示処理を実現するための処理フローを示す。なお、図４に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理の順序を入れ替えても良い。

まず、ステップＳ４０２において表示制御部２２０は、本体装置１２０においてアプリケーション・プログラムを起動し、各種パラメータの初期値を設定、例えばトラッキング可能領域の設定、中心領域の設定、境界領域の設定等をする。

次に、ステップＳ４０４においてノードセンサ１３０は、各ノード１１４からの信号を検出する。ノード位置検出部２１０は該検出された信号に基づいて、ノードセンサに対する各ノードの位置、方向を分析し、各ノード１１４の３次元実空間における位置を算出する。なお、ステップＳ４０４において、ノード位置検出部２１０は、ＨＭＤに設けられた加速度センサからの加速度の値、角速度センサからの角速度の値を取得することもできる。ノードセンサ１３０から得られた情報に加えて、加速度や角速度の値を用いてＨＭＤ１１０の３次元実空間における位置を算出することにより、ＨＭＤのより正確な位置を算出することができる。

次に、ステップＳ４０６において、判定部２２２は、ステップＳ４０４において信号が検出されたノードがＨＭＤ上に設けられた全てのノードであるか否かを判定する。全てのノードからの信号が検出された場合（例えば図５のａ、ｂ）には、ステップＳ４０８に進む。

ステップＳ４０８において、前回検出され、算出されたノード位置がメモリに記憶されているか否かを判定する。ノードセンサ１３０はノード１１４からの信号を逐次検出している。前回検出され算出されたノード位置とは、前回の検出タイミングで検出され算出されたノード位置のことである。

ステップＳ４０８において前回検出され算出されたノード位置がメモリに記憶されている場合、すなわち一部又は全てのノードからの信号が前回の検出タイミングで検出され、それらの位置が算出されていた場合はステップＳ４１０へ進む。

ステップＳ４１０において、仮想空間画像生成部２２４は、３次元実空間における各ノード１１４の最新の検出タイミングで検出された信号に基づいて算出された位置に基づいて、３次元仮想空間画像を生成する。ここで、各ノード１１４の最新の位置とは、直前のステップＳ４０４により算出されたノード位置である。なお、ステップＳ４１０において、オフセットがメモリに格納されている場合には、各ノード１１４から検出された信号に基づいて算出された最新の各ノード１１４の３次元実空間における位置から、メモリに格納された各軸のオフセットを減算した実空間における位置に基づいて、３次元仮想空間画像を生成する。オフセットとは、最新の（すなわち直前のステップＳ４０４で算出された）３次元実空間における各ノード１１４のＸ、Ｙ、Ｚ軸の位置と、後述する最後に算出された３次元実空間における各ノード１１４のＸ、Ｙ、Ｚ軸の位置との間の差分値である。

一方、ステップＳ４０８において前回の検出タイミングで検出され算出されたノード位置がメモリに格納されていない場合、すなわち全てのノードからの信号が前回の検出タイミングで検出できなかった場合はステップＳ４１２へ進む。前回の検出タイミングで検出され算出された全てのノード位置がメモリに記憶されていない場合とは、例えば障害物が存在したこと（図５のｆ）、トラッキング可能領域外に移動したこと（図５のｅ）などにより、前回の検出タイミングで全てのノード１１４からの信号が検出されなかった場合を指す。算出されたノードの位置は逐次メモリへ格納されており、メモリに格納されている最新のノード位置が、最後に算出された３次元実空間における各ノード１１４の位置、すなわちノード位置が検出されなかった期間の直前に検出されたノードの位置となる。なお、最後に算出されたノード位置は、初期設定においては、ノードの初期位置である。

そして、ステップＳ４１２において、仮想空間画像生成部２２４は、３次元実空間における各ノード１１４の最新の位置ではなく、最後に算出された３次元実空間における各ノード１１４の位置に基づいて、３次元仮想空間画像を生成する。ノードセンサ１３０は、トラッキング可能領域３０２内に各ノード１１４が存在する場合であっても、ノードセンサ１３０と各ノード１１４との間に障害物がある場合や、各ノードがトラッキング可能領域３０２外にある場合には、ノード１１４からの信号を検出することができない。このため、本実施例においては、全てのノード１１４からの信号を検出することができなかった場合でも、最後にノードからの信号が検出された３次元仮想空間内の位置にユーザが戻れるように、３次元仮想空間内の位置に対応づけて、実空間において算出されたノード位置を逐次メモリへ格納することができる。また、ステップＳ４１２において、最新の３次元実空間における各ノード位置１１４と、最後に算出された３次元実空間における各ノード１１４との間の差分値を算出し、オフセットとしてメモリへ格納することができる。

次に、ステップＳ４１４において、判定部２２２は、ステップＳ４０４において位置が算出されたノードの一部又は全ての位置が境界領域３０４内にあるか否かを判定する。ステップＳ４１４において、算出されたノードの一部又は全ての位置が境界領域３０４内にあると判定された場合（例えば図５のｂ）に、ステップＳ４１６へ進む。

次に、ステップＳ４１６において、警告画像生成部２２６は、算出されたノード１１４の３次元実空間内の位置に基づいて、ステップＳ４０８において生成された３次元仮想空間画像に、トラッキング可能領域３０２，境界領域３０４、中心領域３０６のうちいずれか又は複数を重ねた出力画像を生成する。表示制御部２２０は生成された出力画像を、表示領域１１２へ出力し、表示制御部２２０はステップＳ４０４にて算出された各ノード１１４の位置を仮想空間における座標と対応付けて各々メモリへ格納する。そして、ステップＳ４０４へ戻る。また、ステップ４１６において、警告信号生成部２３０は、警告音を生成し、スピーカに出力させたり、ＨＭＤを振動させたりすることにより、ユーザに対して警告を通知することができる。

本実施例では、ノードがトラッキング可能領域３０２から外れそうになった時に、すなわち、ノードの一部又は全てが境界領域３０４にある場合にトラッキング可能領域３０２等を重ねた画像を表示領域１１２へ出力して、ユーザにトラッキング可能領域３０２等から外れそうである旨の警告することができる（図８）。すなわち、トラッキング可能領域３０２を表示出力することで、ユーザに対してトラッキング不能になることを避けるためにどうすべきかをユーザに通知することができる。また、生成された３次元仮想空間画像に、中心領域３０６を重ねた画像を表示出力することで、ユーザに対してどの方向に中心領域があるかをユーザに通知することができ、ユーザに対してより良い位置を確保するためのフィードバックを提供することができる。

なお、本実施例においては、ノードの一部又は全てが境界領域３０４にある場合にトラッキング可能領域を重ねた画像を表示領域１１２へ出力しているが、図６Ａ、図７に示すようにノードが中心領域にある場合であってもこのような画像を表示領域１１２へ出力することができる。

一方、ステップＳ４１４において算出されたノードの一部又は全ての位置が境界領域３０４内にないと判定された場合（すなわち全てのノード位置が中心領域にある場合、例えば図５のａ）に、ステップＳ４１８へ進む。

ステップＳ４１８において、表示制御部２２０は、ステップＳ４１２、４１０にて生成された仮想空間画像（すなわちトラッキング可能領域が重なっていない仮想空間画像）を表示領域１１２へ出力し、ステップＳ４０４で算出された各ノード１１４の位置を仮想空間における座標と対応付けて各々メモリへ格納し、ステップＳ４０４へ戻る。トラッキング可能領域は、全てのノードが中心領域に或る場合も仮想空間画像に表示することが可能であるが、仮想空間画像にトラッキング可能領域が重ねて表示されると画面が見づらい可能性がある。従って、全てのノード１１４が中心領域にある場合にはトラッキング可能領域を表示せず、一部のノード１１４／又は全てのノードが境界領域内にある場合に、トラッキング可能領域を重ねて表示することができる。

また、ステップＳ４０６において、判定部２２２が、ステップＳ４０４において信号が検出されたノードがＨＭＤ上に設けられた全てのノードでないと判定した場合（例えば、図５のｃ、ｄ、ｅ、ｆ）に、ステップＳ４２０に進む。

ステップＳ４２０において、判定部２２２は、信号が検出されたノード１１４があるか否かを判定する。ステップＳ４２０において信号が取得されたノードがある場合（例えば、図５のｃ、ｄ）には、ステップＳ４２２に進む。

ステップＳ４２２において、前回検出され、算出されたノード位置がメモリに記憶されているか否かを判定する。ステップＳ４２２において前回の検出タイミングで検出され算出されたノード位置がメモリに記憶されている場合、すなわち一部又は全てのノードからの信号が前回の検出タイミングで検出され、それらの位置が算出されていた場合はステップＳ４２４へ進む。

ステップＳ４２４において、仮想空間画像生成部２２４は、３次元実空間における各ノード１１４の最新の位置に基づいて、３次元仮想空間画像を生成する。なお、ステップＳ４２４において、オフセットがメモリに格納されている場合には、各ノード１１４から検出された信号に基づいて算出された最新の各ノード１１４の３次元実空間における位置から、メモリに格納された各軸のオフセットを減算した実空間における位置に基づいて、３次元仮想空間画像を生成する。

一方、ステップＳ４２２において前回の検出タイミングで検出され算出されたノード位置がメモリに格納されていない場合、すなわち全てのノードからの信号が前回の検出タイミングで検出できなかった場合はステップＳ４２６へ進む。

そして、ステップＳ４２６において、仮想空間画像生成部２２４は、３次元実空間における各ノード１１４の最新の位置ではなく、最後に算出された３次元実空間における各ノード１１４の位置に基づいて、３次元仮想空間画像を生成する。また、ステップＳ４２６において、最新の３次元実空間における各ノード位置１１４と、最後に算出された３次元実空間における各ノード１１４との間の差分値を算出し、オフセットとしてメモリへ格納する。

次に、ステップＳ４２８において、判定部２２２は、ステップＳ４０４において位置が算出されたノードの一部又は全ての位置が境界領域３０４内にあるか否かを判定する。ステップＳ４２８において、算出されたノードの一部又は全ての位置が境界領域３０４内にあると判定された場合（例えば図５のｄ）に、ステップＳ４３０へ進む。

ステップＳ４３０において、警告画像生成部２２６は、算出されたノード１１４の３次元実空間内の位置に基づいて、ステップＳ４０８において生成された３次元仮想空間画像に、トラッキング可能領域３０２、境界領域３０４、中心領域３０６のうちいずれか又は複数を重ねた出力画像を生成する。表示制御部２２０は生成された出力画像を表示領域１１２へ出力し、表示制御部２２０はステップＳ４０４にて算出された各ノード１１４の位置を仮想空間における座標と対応付けて各々メモリへ格納する。そして、ステップＳ４０４へ戻る。また、ステップ４３０において、警告信号生成部２３０は、警告音を生成し、スピーカに出力させたり、ＨＭＤを振動させたりすることにより、ユーザに対して警告を通知することができる。

一方、ステップＳ４２８において、算出されたノードの一部又は全ての位置が境界領域３０４内にないと判定された場合、すなわち信号の検出された全てのノードの位置が中心領域に或る場合（例えば、図５のｃ）に、ステップＳ４３２へ進む。ステップＳ４３２は、信号の検出された全てのノードの位置は中心領域にあるが、ＨＭＤに設けられた全てのノードからの信号は検出されていない場合であり、例えばノードとノードセンサとの間に障害物がある場合を指す。

次に、ステップＳ４３２において、警告画像生成部２２６は、算出されたノード１１４の３次元実空間内の位置に基づいて、ステップＳ４２６又はステップS４２８において生成された３次元仮想空間画像（すなわちトラッキング可能領域が重なっていない仮想空間画像）に、警告メッセージ、例えば障害物があることを示す警告メッセージを表示した出力画像を生成し、表示領域１１２へ出力し、ステップＳ４０４へ戻る。このとき、ステップＳ４０４にて算出されたノード１１４の位置を仮想空間における座標と対応付けて各々メモリへ格納する。

一方、ステップＳ４２０において信号が検出されたノードが全くない場合、ステップＳ４３４に進む。ステップ４３４は、全てのノードがトラッキング可能領域３０２にある場合でも、障害物などによってノードからの信号を検出できない場合（図５のｆ）や、全てのノードがトラッキング可能領域内にない場合（図５のｅ）に対応する。ステップ４３４において、出力画像生成部２２４はトラッキング可能領域外にあることを示す画像、例えば暗転した画像、画像全体をフェードアウトした画像を生成し、表示領域１１２へ出力する。

なお、ステップＳ４３４において、信号が検出されたノード１１４が全くない場合に、全てのノードがトラッキング可能領域３０２内にあるか、トラッキング可能領域３０２外にあるか否か、さらにはトラッキング可能領域３０２からどのくらいの距離離れているかは、ノードからの信号のみでは検出することができない。この場合、加速度センサ、角速度センサから取得された加速度及び／又は角速度の値を用いることにより、ノード（ＨＭＤ）がトラッキング可能領域内にあるか否か、トラッキング可能領域３０２からどのくらいの距離離れているかを検出することができる。

例えば、直前の検出タイミングでは、各ノードがトラッキング可能領域３０２にあるが、直後の検出タイミングでは全てのノードの信号が検出できなかった場合に、加速度センサから取得された加速度の値を取得して、該加速度値を２回積分することにより、３次元実空間における現在のＨＭＤの位置を求めることができる。求められたＨＭＤの位置が、トラッキング可能領域内にある場合は、ノードセンサと各ノードとの間に例えば障害物が存在していることがわかる。この場合、例えば、画像全体をフェードアウトした画像等ではなく、障害物がある旨の警告メッセージを仮想空間画像に重ねた出力画像を生成して表示領域へ出力しても良い。また、求められたＨＭＤの位置が、トラッキング可能領域外にある場合は、ＨＭＤの位置とトラッキング可能領域との位置関係を算出し、図９に示すように、該位置関係に基づいて表示領域に警告メッセージ、例えば「右に移動してください」を表示するとともに、トラッキング可能領域までの距離と向きを示すアイコン、例えば矢印を表示領域に表示することができる。ＨＭＤの位置からトラッキング可能領域までの位置に応じて矢印の長さや向きを変更することができる。ユーザがトラッキング可能範囲外に移動してしまった場合でも、表示領域に表示される警告メッセージとアイコンにより示される情報に基づいて移動することで、ユーザはトラッキング可能範囲に再び戻ることができる。トラッキング可能範囲に再び戻ると、本実施例においては最後に観察していた仮想空間画像をユーザは観察することができる。なお、加速度センサ、角速度センサから取得された加速度及び／又は角速度の値を用いることにより、トラッキング可能領域を外れてもＨＭＤの正確な位置が検出される場合、トラッキング可能領域の内外に関わらず、３次元実空間におけるＨＭＤの位置に連動して常に仮想空間画像を表示することも可能である。

図５は、図３及び図４に関連しており、図３に示す円錐形を線Ａで切断したときに現れる断面におけるトラッキング可能領域３０２、境界領域３０４、中心領域３０６と、ＨＭＤとの関係を示す断面図である。図５のａからｆは、ＨＭＤ１１０とＨＭＤに設けられている複数のノード１１４（図５においては８つのノード）を概略的に示しており、図４に示すアルファベットａからｆにそれぞれ対応する。ノード１１４から発信された信号がノードセンサにより検出される場合は白又はグレーの丸で示し、検出されない場合は黒の丸で示す。例えばａは、ＨＭＤ１１０のノード１１４の全てが中心領域に存在し、かつ全てのノードからの信号が検出可能であることを示す。ｂはＨＭＤ１１０のノード１１４の一部が中心領域に、一部が境界領域に存在し、かつ全てのノードからの信号が検出可能であることを示す。ｃは、ノード１１４の全てが中心領域に存在するが、障害物などにより、一部のノードからの信号は検出できないことを示す。ｄは、ＨＭＤのノード１１４の一部が境界領域３０４内にあり、一部がトラッキング可能領域３０２外にあるために、トラッキング可能領域外にあるノードからの信号は検出できないことを示す。ｅは、ＨＭＤのノードの全てがトラッキング可能領域３０２外にあるために、信号が全く検出できないことを示す。ｆは、ＨＭＤのノード１１４の全てが中心領域３０６にあるものの、障害物などにより、全てのノード１１４からの信号が検出できないことを示す。

図６Ａ、Ｂは、本発明の一実施例に従った、ＨＭＤの表示領域に示されるスクリーンショットを示す。
図６Ａは、ノード１１４の位置が３次元実空間における中心領域３０６の中心にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。図６Ａにおいては、ノード１１４の位置が中心領域３０６にある場合であってもトラッキング可能領域３０２を複数の円で表示しているが、上述したように中心領域３０６にある場合はトラッキング可能領域３０２を仮想空間画像に重ねなくてもよい。図３に示すトラッキング可能領域３０２を示す円錐は、図６Ａにおいて複数の円６０２を用いて表されており遠近感を表すために、１つの円内の色を連続的に変化させて、グラデーション表示している。

図６Ｂは、ノード１１４の位置が３次元実空間におけるトラッキング領域３０２外にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。図３に示すトラッキング可能領域３０２を示す円錐は、画面右に表示されており、全てのノード位置がトラッキング領域３０２外にあることを示している。トラッキング領域外にある場合に、ＨＭＤ１１０を装着したユーザが実空間内で移動しても、ノードセンサ１３０はノード１１４からの信号を取得できないため、ユーザの移動に応じて仮想空間画像は変化しない。このためユーザは、仮想空間内で方向感覚を失い不快な視野を有することになる。図６Ｂにおいては、トラッキング可能領域３０２は画面右に表示されているが、ユーザの移動方向、移動距離によっては、仮想空間内に示されるトラッキング可能領域３０２の位置が実空間における位置に対応するとは限らず、場合によっては実空間ではユーザの左側にトラッキング可能領域３０２が存在することもあり得る。従って、このような場合に、トラッキング可能領域３０２を表示するとユーザに混乱を生じさせるため、仮想空間画像を完全に暗転（画面全体を真っ暗に）することもできる。

図７〜９は、本発明の一実施例に従った、ＨＭＤの表示領域に示されるスクリーンショットを示す。
図７は、ノード１１４の位置が３次元実空間における中心領域３０６の中心にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。図７においては、ノード１１４の位置が中心領域３０６にある場合であってもトラッキング可能領域３０２を表示しているが、上述したように中心領域３０６にある場合はトラッキング可能領域３０２を仮想空間画像に重ねなくてもよい。

図８は、ノード１１４の位置が３次元実空間における境界領域３０４にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。
図９は、ノード１１４の位置が３次元実空間におけるトラッキング領域３０２外にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。

以上、本発明の一実施形態につき説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施態様の変更がなされうることを当業者は理解するであろう。

Claims (12)

1. 表示領域と、複数のノードと、加速度センサ及び／又は角速度センサとを備えたヘッドマウントディスプレイ（ＨＭＤ）と、前記複数のノードからの信号をそれぞれ検出するノードセンサとを備え、仮想空間画像に前記ノードセンサのトラッキング可能領域を重ねた前記表示領域へ出力される出力画像を生成するシステムで実行される方法であって、
   前記ノードセンサがＨＭＤの前記複数のノードからの信号をそれぞれ検出するステップと、
   前記検出された前記複数のノードからの信号に基づいて３次元実空間内における前記複数のノードの位置を算出し、メモリに格納するステップと、
   前記算出された位置に基づいて仮想空間画像を生成するステップと、
   前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にある場合に、前記生成された前記仮想空間画像に、前記ノードセンサのトラッキング可能領域を重ねた出力画像を生成するステップと、
   を備え、前記トラッキング可能領域は、前記複数のノード位置の全てが前記トラッキング可能領域外にある場合に、前記ノードセンサが前記複数のノードからの信号を検出できない領域であり、
   前記ノードからの信号を検出するステップにおいて、ノードからの信号が全く検出されない場合に、前記出力画像を生成するステップは、前記加速度センサにより検出された加速度の値及び／又は前記角速度センサにより検出された角速度の値に基づく位置がトラッキング可能領域外であれば、トラッキング可能領域から外れたことを示すと共にトラッキング可能領域へ戻るように案内するための警告メッセージを含む出力画像を生成し、前記加速度の値及び／又は前記角速度の値に基づく位置がトラッキング可能領域内であれば、障害物があることを示す警告メッセージを含む出力画像を生成するステップである、方法。
2. 前記出力画像を生成するステップは、前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にない場合に、前記生成された仮想空間画像に、前記トラッキング可能領域を重ねない出力画像を生成するステップであることを特徴とする請求項１に記載の方法。
3. 前記検出された前記複数のノードからの信号がＨＭＤに設けられた全てのノードからの信号であるかを判定するステップを、さらに含み、
   全てのノードからの信号ではない場合に、前記出力画像を生成するステップは、前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にない場合に、前記生成された仮想空間画像に、警告メッセージを重ねた出力画像を生成するステップであることを特徴とする請求項１に記載の方法。
4. 前記仮想空間画像を生成するステップは、前回の検出タイミングで算出されたノードの位置がメモリに格納されていない場合に、最新の検出タイミングで算出されたノードの位置と、最新のノード位置の直前にメモリに格納されたノード位置との間のオフセットを算出し、該オフセットと、最新の検出タイミングで算出されたノードの位置とに基づいて仮想空間画像を生成するステップであることを特徴とする請求項１に記載の方法。
5. 前記ノードセンサのトラッキング可能領域は前記ノードセンサに応じてあらかじめ規定されていることを特徴とする請求項１に記載の方法。
6. 前記ノードセンサのトラッキング可能領域は境界領域を含み、該境界領域は前記トラッキング可能領域よりも狭く、ユーザがトラッキング可能領域外に出てトラッキング不能となる十分前にユーザに通知可能な程度の領域を有していることを特徴とする請求項１に記載の方法。
7. 表示領域と、複数のノードと、加速度センサ及び／又は角速度センサとを備えたヘッドマウントディスプレイ（ＨＭＤ）と、前記複数のノードからの信号をそれぞれ検出するノードセンサとを備え、仮想空間画像に前記ノードセンサのトラッキング可能領域を重ねた前記表示領域へ出力される出力画像を生成するシステムであって、
   前記ノードセンサにより検出されたＨＭＤの前記複数のノードからの信号のそれぞれに基づいて３次元実空間内における前記複数のノードの位置を算出し、メモリに格納するノード位置検出部と、
   前記算出された位置に基づいて仮想空間画像を生成する仮想空間画像生成部と、
   前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にある場合に、前記生成された前記仮想空間画像に、前記ノードセンサのトラッキング可能領域を重ねた出力画像を生成する警告画像生成部と、
   を備え、前記トラッキング可能領域は、前記複数のノード位置の全てが前記トラッキング可能領域外にある場合に、前記ノードセンサが前記複数のノードからの信号を検出できない領域であり、
   前記警告画像生成部は、前記複数のノードからの信号が全く検出されない場合に、前記加速度センサにより検出された加速度の値及び／又は前記角速度センサにより検出された角速度の値に基づく位置がトラッキング可能領域外であれば、トラッキング可能領域から外れたことを示すと共にトラッキング可能領域へ戻るように案内するための警告メッセージを含む出力画像を生成し、前記加速度の値及び／又は前記角速度の値に基づく位置がトラッキング可能領域内であれば、障害物があることを示す警告メッセージを含む出力画像を生成する、システム。
8. 前記出力画像を生成する警告画像生成部は、前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にない場合に、前記生成された仮想空間画像に、前記トラッキング可能領域を重ねない出力画像を生成することを特徴とする請求項７に記載のシステム。
9. 前記検出された前記複数のノードからの信号がＨＭＤに設けられた全てのノードからの信号であるかを判定する判定部を、さらに含み、
   全てのノードからの信号ではない場合に、前記出力画像を生成する警告画像生成部は、前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にない場合に、前記生成された仮想空間画像に、警告メッセージを重ねた出力画像を生成することを特徴とする請求項７に記載のシステム。
10. 前記仮想空間画像生成部は、前回の検出タイミングで算出されたノードの位置がメモリに格納されていない場合に、最新の検出タイミングで算出されたノードの位置と、最新のノード位置の直前にメモリに格納されたノード位置との間のオフセットを算出し、該オフセットと、最新の検出タイミングで算出されたノードの位置とに基づいて仮想空間画像を生成することを特徴とする請求項７に記載のシステム。
11. 前記ノードセンサのトラッキング可能領域は前記ノードセンサに応じてあらかじめ規定されていることを特徴とする請求項７に記載のシステム。
12. 前記ノードセンサのトラッキング可能領域は境界領域を含み、該境界領域は前記トラッキング可能領域よりも狭く、ユーザがトラッキング可能領域外に出てトラッキング不能となる十分前にユーザに通知可能な程度の領域を有していることを特徴とする請求項７に記載のシステム。