JP5237066B2 - 複合現実感提示システムおよび複合現実感提示方法、プログラム - Google Patents

Description

本発明は、複合現実感提示システムと仮想光源の輝度調整方法に関する。

近年、現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ：Mixed Reality）の技術を応用したシステムが盛んに提案されている。これらの複合現実感システムは、カメラなどの撮像装置によって撮影した現実世界の被写体に対し、コンピュータグラフィックス（以下ＣＧ（Computer Graphics）と言う）で描画した仮想世界の画像を合成する。そして複合現実感システムは、ヘッドマウントディスプレイ（以下ＨＭＤ（Head-Mounted Display）と言う）などの表示装置に表示することにより、複合現実感をシステムの体験者に提示している。

これらの複合現実感提示システムは、現実世界の画像の変化に追従させて仮想世界の画像を生成し、複合現実感を高め必要がある。そのために、複合現実感提示システムは、システムの体験者の視点位置・姿勢をリアルタイムで取得し、かつ、体験者に対してＨＭＤのような表示装置にリアルタイムに表示する必要がある。

尚、複合現実感提示システムは、センサ装置によって計測した体験者の視点位置・姿勢を、仮想世界での仮想の視点位置・姿勢として設定する。そして、複合現実感提示システムは、この設定に基づいて仮想世界の画像をＣＧにより描画して、現実世界の画像と合成する。

また、ＨＭＤは複合現実感を提示するため、複合現実感システムは、体験者の視野内に、ＨＭＤの表示装置による表示を行い、かつ、ＨＭＤの表示装置の表示内にはＣＧを描画する領域を含める。そのため、複合現実感システムにおける体験者は、あたかも現実世界の中に仮想の物体が存在しているかのような画像をＨＭＤの表示装置により観察することができる。さらに複合現実感の世界では、複合現実感システムは現実物体に仮想ＣＧを重畳表示することが可能である。この重畳表示によって、体験者は仮想ＣＧの見かけを持った現実物体を感じることが出来る。

しかし、これまでは複合現実世界の中で現実世界の物体が、仮想世界で設定した照明に対して影響を与えることはなかった。現実世界の中では現実物体が現実の照明を遮れば現実物体に影が生じる。しかし、仮想世界の照明に対して特別な処理をしなければ、仮想ＣＧにおいて現実物体に対する影は表示されないし、表示しようとするととても重い処理となる。

本発明は、仮想世界の照明に対して現実物体の仮想世界に対する影などの影響を反映する高速で簡易な処理を提供することを目的とする。

上記課題を解決するため、本発明における複合現実感提示システムは以下の構成を備える。すなわち、
現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測手段と、
仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
前記計測された、撮像手段の撮像方向と、前記仮想光源から前記撮像手段への方向とに基づいて、前記仮想画像生成手段における前記仮想光源の輝度を調整するか否かを判定する判定手段と、
前記判定手段により、前記仮想光源の輝度を調整すると判定された場合には、前記位置方向計測手段により計測された前記撮像手段の位置、前記仮想光源の位置および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
前記光効果算出手段で計算された輝度の調整値を用いて前記仮想画像生成手段における前記仮想光源の輝度を調整する調整手段と、
前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを、前記位置方向計測手段により計測された前記撮像手段の位置と撮像方向とに基づいて合成する画像合成手段と、を備える。

本発明により、複合現実感提示システムの体験者が複合現実世界において、現実世界における光の感覚を仮想光に対しても持つことが出来る。

＜実施形態１＞
実施形態１における構成において、複合現実感提示システムの中に一つの仮想照明と、二つの仮想物体と、一人の観察者とが存在する。ここで、観察者は仮想物体Ａと仮想物体Ｂを見ることが出来る。

まずシステム構成を説明する。

図１は、実施形態１のシステム構成例を示す図である。各構成部品の説明を簡単に述べていく。システム制御部１０１は、システム全体をコントロールするユニットである。システム制御部１０１は、画像入力部１０２、画像合成部１０３、画像出力部１０４、カメラ位置姿勢計測部１０５、仮想画像生成手段１０６、光効果算出手段１０７、ライト属性入力部１０８を備える。

また、ビデオシースルー型ヘッドマウンテッドディスプレイ（ＨＭＤ）１３２は、カメラ１３３と画像出力部１３４と画像入力部１３５と画像表示部１３６を備える。次に、図１の構成における各機能部の動作の流れについて説明する。

図２は、各機能部の動作を示すフローチャートである。

ステップＳ２０１：観察者が頭部に装着したＨＭＤ１３２のカメラ１３３は現実空間の被写体を撮像する。撮像された現実空間の画像は画像出力部１３４に送信される。画像出力部１３４は現実空間の被写体像をシステム制御部１０１の画像入力部１０２に送信する。システム制御部１０１では画像入力部１０２から取り込んだ現実空間の画像データを画像合成部１０３に送信する。

ステップＳ２０２：カメラ位置姿勢計測部１０５はカメラ１３３の位置と撮像方向（姿勢）を計測し、その位置と方向の情報を仮想画像生成手段１０６に送信する。カメラ１３３の位置姿勢に関する位置方向計測の方法は、例えばPOLHEMUS(ポヒマス)社の３次元位置姿勢計測システムFastrak等を用いることで計測できる。このシステムにおいてはどのような手段を使用しても構わない。

ステップＳ２０３：ライト属性入力部１０８はライト属性を光効果算出手段１０７へ入力する。

ステップＳ２０４：光効果算出手段１０７はライト属性入力とカメラ位置姿勢計測部１０５からの位置情報を元に必要があれば、仮想照明の属性を変更する。どのように属性を変更するかは、本発明の重要な部分であり、図７を用いて後述する。

ステップＳ２０５：仮想画像生成手段１０６は、光効果算出手段１０７において変更された仮想照明の属性とカメラ位置姿勢計測部１０５からの位置情報とに基づき仮想世界の像を描画し仮想画像を生成する。

ステップＳ２０６：画像合成部１０３は、画像入力部からの現実世界の画像と仮想画像生成手段１０６からの仮想世界の画像を合成し、合成画像を画像出力部１０４へ送る。

ステップＳ２０７：画像出力部１０４は、ＨＭＤ１３２の画像入力部１３５へ合成画像を送り、画像表示部１３６はその合成画像を表示する。

これにより、観察者は、仮想照明が存在したときの複合現実感世界における画像を観察できる。

図３は実施形態１の複合現実世界を説明する図である。この複合現実世界には、観察者３０１と仮想点光源３０２と仮想オブジェクトＡ３０３と仮想オブジェクトＢ３０４とが存在する。

それぞれの現実世界の座標は、次のとおりとする。

・観察者の視点（カメラの位置）３０１ （０，０，０）
・仮想点光源３０２ （−５００，５００，０）
・仮想オブジェクトＡ３０３ （５００，−５００，０）
・仮想オブジェクトＢ３０４ （−１０００，１０００，０）
また仮想点光源３０２の輝度は、０．８と仮定する。

図３からわかるように、観察者３０１は、仮想オブジェクトＡ３０３を観察している。また仮想点光源３０２は、仮想オブジェクトＡ３０３を照らしている。

また現実世界にいる観察者３０１自身は、仮想点光源３０２から仮想オブジェクトＡ３０３を照らしている光線を遮っている。そこでその状況を複合現実世界で再現するために仮想点光源３０２を調整する必要がある。

仮想点光源の調整方法として、実施形態１では点光源の輝度を調整する。その調整のためのパラメータを以下に示す。

仮想点光源の位置：Ｐ１１
観察者の視点の位置：Ｐ１２
仮想オブジェクトＡの位置：Ｐ１３
これらの位置からベクトルを算出する。

観察者の観察方向の方向ベクトル：Ｖ１２
仮想点光源から観察者への方向ベクトル：Ｖ１１
Ｖ１１＝Ｐ１２−Ｐ１１
Ｖ１２＝Ｐ１３−Ｐ１２
Ｖ１１の単位ベクトルをｅ１１、Ｖ１２の単位ベクトルをｅ１２とする。

いま係数をｋとし、仮想点光源の輝度に対する低減率をｔ１とすると、ｔ１は２つの単位ベクトルの内積とｋとを乗算することにより次のように表される。

ｔ１＝ｋ＊（ｅ１１・ｅ１２）
ｋ＝０．５として、これを上記の数字に当てはめると
ｅ１１＝（１、−１、０）
ｅ１２＝（１、−１、０）
よって、
ｔ１＝０．５＊１＝０．５となる。

したがって、仮想点光源３０２の輝度が０．８なので、仮想点光源が観察者により遮られたときの低減された輝度の調整値は、低減率ｔ１を用いて、０．８＊０．５＝０．４となる。

図４は、低減率の計算の流れを示すフローチャートである。

ステップＳ４０１：システム制御部１０１の光効果算出手段１０７は、ライト属性入力部１０８で入力されている仮想点光源が存在するか否かを確認する。仮想点光源が存在すればステップＳ４０２に進む。存在していなければ終了する。

ステップＳ４０２：光効果算出手段１０７は、観察者の観察方向を算出し、その単位ベクトルをｅ１２とする。

ステップＳ４０３：光効果算出手段１０７は、仮想点光源から観察者への方向を算出し、その単位ベクトルをｅ１１とする。

ステップＳ４０４：光効果算出手段１０７において、係数ｋ＝０．５とされ、仮想点光源の輝度の低減率ｔ１が算出される。

ｔ１＝ｋ＊（ｅ１１・ｅ１２）
ステップＳ４０５：光効果算出手段１０７において、仮想点光源の元の輝度をｉ１１、新しい低減された輝度をｉ１２とする。

ｉ１２＝ｉ１１＊ｔ１
以上で、計算は終了する。

このように、実施形態１では、仮想光源が観察者により遮られている。この場合、観察者に複合現実感を与えるために、元の仮想点光源の輝度を暗くして合成する方法を提供する。このケースでは、元の仮想点光源の輝度に対して、観察者により遮られるときの輝度が半分となることがわかる。
＜実施形態２＞
システム構成は実施形態１と同様である。

図５は、実施形態２における複合現実世界における存在する物体およびその配置を示す図である。各物体の位置は実施例１と同じである。

しかし観察者３０１の観察する方向が異なる。実施形態２では、観察者３０１は、仮想オブジェクトＢ３０４を観察している。

それぞれの複合現実世界における座標は以下のとおりとする。

・観察者３０１（０，０，０）
・仮想点光源３０２（−５００，５００，０）
・仮想オブジェクトＡ３０３（５００，−５００，０）
・仮想オブジェクトＢ３０４（−１０００，１０００，０）
また仮想点光源３０２の輝度は、０．８とする。

観察者３０１は仮想オブジェクトＢ３０４を観察している。また仮想点光源３０２は仮想オブジェクトＢ３０４を照らしている。

図５からわかるように、実施形態１と異なり、観察者３０１は仮想点光源３０２が仮想オブジェクトＢ３０４を照射するのを妨げてはいない。

しかし、実施形態１と実施形態２において、仮想点光源の位置と観察者の位置と仮想オブジェクトの位置とが同じである。しかしながら、観察者の観察の方向が異なる。この場合、やはり実施形態１で用いた次式により点光源の輝度の低減率を求める。
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
この式を実施形態２に当てはめてみよう。

ｋを実施形態１と同様に０．５とすると、
ｔ１＝０．５＊（−１）＝−０．５
となる。

算出されたｔ１の値がマイナスということは、数学的には単純に輝度を上げることを意味すると思われるが、それはこの実施形態２の状況から考えると正しくない。すなわち、この場合輝度を変更しないのが正しい。物理的な解釈として、内積（ｅ１１・ｅ１２）が正の値になる時だけ、仮想点光源の輝度の低減を行うようにする。この内積の値が０になるときは、観察者の観察方向のベクトルと点光源から観察者の方向へのベクトルが９０度になるときである。つまり、観察者の観察方向と点光源から観察者への方向が９０度以内のときにだけ、仮想点光源の輝度の低減を行うというルールを導入する。

図６は実施形態２の計算の流れをフローチャートにした図である。図４のフローチャートとの相違は、ステップＳ４０３とステップＳ４０４の処理の間にステップＳ６０１を挿入したものである。したがって、ステップＳ６０１以外のステップの説明は、省略する。

ステップＳ６０１：光効果算出手段１０７は、内積（ｅ１１・ｅ１２）を計算し、この内積が正のとき、ステップＳ４０４に進む。もし負のときステップＳ４０１に戻る。

以上のように、実施形態２では、観察者が仮想光源を遮らない場合、すなわち、観察者が仮想光源の方向を向いている場合、仮想現実世界において、仮想光源の輝度の低減は不要であることを示した。また、そのとき内積（ｅ１１・ｅ１２）が、負になることも示した。このように、内積の値に対して、所定の閾値（この場合は「正であること」）を設けその閾値内に入らないとき、仮想光源に対する低減をしないようにすることができる。

＜実施形態３＞
仮想平行光は、位置もなく全ての仮想物体を突き抜けるが、現実世界における平行光が必ずどこかから出ている。例えば、太陽が現実世界における平行光である。観察者が太陽と観察物体の間に入るときも当然、観察する物体は暗くなる。実施形態３では、仮想世界で太陽のような平行光線がある状態を複合現実世界で実現する。

システム構成は、実施形態１と同様である。

図７は、実施形態３における複合現実世界の物体の配置を示す図である。

実施形態３では、観察者３０１と仮想平行光７０１と仮想オブジェクトＡ３０３と仮想オブジェクトＢ３０４が存在する。

それぞれの復号現実世界の座標は、以下のとおりとする。

・観察者３０１（０，０，０）
・仮想オブジェクトＡ３０３（５００，−５００，０）
・仮想オブジェクトＢ３０４（−１０００，１０００，０）
仮想平行光のベクトルは次の通りとする。

・仮想平行光７０１（１，−１，０）
また仮想平行光７０１の輝度は、０．８とする。

観察者３０１は仮想オブジェクトＡ３０３を観察しているので観察方向をあらわすベクトルは（１，−１，０）である。仮想平行光７０１は、観察者３０１の背後から光線を出している。したがって、観察者３０１と仮想オブジェクトＡ３０３の位置関係にあるときは、仮想平行光は遮られる。したがって、現実世界と同様な感覚を得るために、仮想平行光７０１の調整が必要である。

仮想平行光の調整方法として、実施形態３では仮想平行光の明るさを調整する。その調整のためのパラメータを以下に示す。

仮想平行光の方向ベクトル：Ｖ３１
観察者の視点の位置：Ｐ３２
仮想オブジェクトＡの位置：Ｐ３３
これらの位置からベクトルを算出する。

観察者の観察方向の方向ベクトル：Ｖ３２
Ｖ３２＝Ｐ３３−Ｐ３２
Ｖ３１の単位ベクトルをｅ３１、Ｖ３２の単位ベクトルをｅ３２とする。

係数をｋとし、仮想平行光の輝度の低減率をｔ３とすると、ｔ３は以下の式で表される。

Ｔ３＝ｋ＊（ｅ３１・ｅ３２）
いまｋ＝０．５としこれを上記の数値を代入すると、
ｅ３１＝（１、−１、０）
ｅ３２＝（１、−１、０）
よって、
ｔ３＝０．５＊１＝０．５
となる。

仮想平行光７０１の輝度は０．８なので、観察物体に対する新しい仮想平行光の輝度は、０．８＊０．５＝０．４となる。

図８は、実施形態３の計算の流れを示すフローチャートである。

ステップＳ８０１：システム制御部１０１の光効果算出手段１０７は、ライト属性入力部１０８で入力されている仮想平行光が存在するか否かを確認する。仮想点光源が存在すればステップＳ８０２に進む。存在していなければ終了する。

ステップＳ８０２：光効果算出手段１０７は、観察者の観察方向を算出し、その単位ベクトルをｅ３２とする。

ステップＳ８０３：光効果算出手段１０７は、仮想点光源から観察者への方向を算出し、その単位ベクトルをｅ３１とする。

ステップＳ８０４：光効果算出手段１０７において、係数がｋ＝０．５とされ、仮想平行光の輝度の低減率ｔ３が次式により算出される。

ｔ３＝ｋ＊（ｅ３１・ｅ３２）
ステップＳ８０５：光効果算出手段１０７において、仮想平行光の元の輝度をｉ３１、新しい輝度をｉ３２とする。

ｉ３２＝ｉ３１＊ｔ１
ここで、計算は終了する。

以上により、実施形態３においては、実施形態１と同様、仮想平行光に対しても、複合現実世界において合成できる
このように、実施形態３においても実施形態１と同様、仮想平行光が観察者により遮られている場合、元の仮想平行光の輝度を暗くして合成する手法を提供する。このケースでは、元の仮想平行光の輝度に対して、観察者によりさえぎられたときの輝度が半分となることがわかる。
＜実施形態４＞
実施形態４のシステム構成は、実施形態１と同様である。

図９は、実施形態４における複合現実世界に存在する物体およびその位置を示す図である。観察者と仮想オブジェクトの位置は実施形態３と同じである。

しかし観察者３０１の観察する方向が異なる。実施形態４では、観察者３０１は、仮想オブジェクトＢ３０４を観察している。

それぞれの複合現実世界の座標は以下のとおりとする。

・観察者３０１（０，０，０）
・仮想点光源３０２（−５００，５００，０）
・仮想オブジェクトＡ３０３（５００，−５００，０）
・仮想オブジェクトＢ３０４（−１０００，１０００，０）

仮想平行光のベクトルは以下のとおりである。
・仮想平行光７０１（１，−１，０）
また仮想平行光７０１の輝度は。実施形態３と同様、０．８である。

観察者３０１は、仮想オブジェクトＢ３０４を観察しているので、観察方向をあらわすベクトルは（−１，１，０）である。仮想平行光７０１は、観察者３０１の正面から光線を出しているので、観察者３０１と仮想オブジェクトＢ３０４が図９のような位置関係にあるときは、現実世界と同様な感覚では仮想平行光７０１の調整は必要ないと言える。すなわち、仮想平行光は、観察者により遮られていない。すたがって、実施形態４は、実施形態２のケースと同様の結果がえられると考えられる。

実施形態２で提示した仮想平行光の輝度の低減率を求める式は以下のとおりである。

ｔ１＝ｋ＊（ｅ１１・ｅ１２）
この式を実施形態４に当てはめてみよう。

ｋを実施形態１と同様に０．５とすると、
ｔ１＝０．５＊（−１）＝−０．５
となる。

算出されたｔ１の値がマイナスということは、数学的には単純に輝度を上げることを意味すると思われるが、それはこの実施形態４の状況から考えると正しくない。すなわち、この場合輝度を変更しないのが正しい。物理的な解釈として、内積（ｅ１１・ｅ１２）が正の値になる時だけ、仮想点光源の輝度の低減を行うようにする。この内積の値が０になるときは、観察者の観察方向のベクトルと点光源から観察者の方向へのベクトルが９０度になるときである。つまり、実施形態１や実施形態３と同様に、観察者の観察方向と点光源から観察者への方向が９０度以内のときにだけ、仮想点光源の輝度の低減を行うというルールを導入する。

図１０は、実施形態４の計算のフローチャートである。

図８のフローチャートとの相違は、ステップＳ８０３とステップＳ８０４の処理の間にステップＳ１００１を挿入したものである。したがって、ステップＳ１００１以外のステップの説明は、省略する。

ステップＳ１００１：光効果算出手段１０７は、内積（ｅ３１・ｅ３２）を計算し、この内積が正のとき、ステップＳ８０４に進む。もし負のときステップＳ８０１に戻る。

以上のように、実施形態４では、観察者が仮想平行光を遮らない場合、すなわち、観察者が仮想平行光の方向を向いている場合、仮想現実世界において、仮想平行光の輝度の低減は不要であることを示した。また、そのとき内積（ｅ１１・ｅ１２）が、負になることも示した。
＜実施形態５＞
システム構成は実施形態１と同様である。

図１１は、実施形態５における物体の存在と、その配置を示す図である。

図１１からわかるように、実施形態１の構成に仮想照射光源１１０１を追加した以外は実施形態１と同じである。

仮想照射光源１１０１の属性、すなわち位置と方向は以下のようになっている。

・ 位置（−５００，５００，０）
・ 照射方向（１，−１、０）
仮想照射光源１１０１は、仮想点光源３０２の輝度を調整するためのものである。したがって、仮想点光源３０２と同位置に存在し、仮想点光源３０２の位置から観察者３０１の方向に向いて設定されている。

仮想照射光源１１０１を除いて考えると実施形態１と同じ構成となる。実施形態５では、仮想点光源３０２の属性を変更せずに、仮想照射光源１１０１を用いて仮想点光源の調整を行う。

仮想照射光源１１０１は、シーンの輝度を低減する働きをする。実施形態１の中で低減率が、ｔ１として算出されている。仮想点光源３０２の明るさをｉ１１とすると、仮想照射光源１１０１の低減された輝度の大きさは、ｉ４＝ｉ１１＊ｔ１で定義される。

この仮想照射光により観察者３０１が観察している仮想オブジェクトＡ３０３が暗くなり、複合現実世界でも現実世界のような光の感覚を味わうことが出来る。

図１２は、実施形態５における計算のフローチャートである。

図１２は、図６における実施形態１のフローチャートのステップＳ４０５をステップＳ１２０１に変更したものである。したがって、ステップＳ１２０１以外のステップの説明は、省略する。

ステップＳ１２０１：光効果算出手段１０７は、仮想点光源の輝度をｉ１１、仮想照射光による効果をｉ４としたとき、ｉ４＝ｉ１１＊ｔ１を計算し、輝度調整値を求める。

以上のように、実施形態５では、仮想点光源の位置に、仮想照射光を配置することで、複合現実空間において、輝度調整を行う手法を提供した。

本発明の複合現実感提示システムの構成例を示す図である。 実施形態１における動作のフローチャートである。 実施形態１における複合現実世界の仮想光源を含む構成を示した図である。 実施形態１における輝度の低減率計算のフローチャートである。 実施形態２における複合現実世界の仮想光源を含む構成を示した図である。 実施形態２における輝度の低減率計算のフローチャートである。 実施形態３における複合現実世界の仮想光源を含む構成を示した図である。 実施形態３における輝度の低減率計算のフローチャートである。 実施形態４における複合現実世界の仮想光源を含む構成を示した図である。 実施形態４における輝度の低減率計算のフローチャートである。 実施形態５における複合現実世界の仮想光源を含む構成を示した図である。 実施形態５における輝度の低減率計算のフローチャートである。

符号の説明

１０１．システム制御部
１０２．画像入力部
１０３．画像合成部
１０４．画像出力部
１０５．カメラ位置姿勢計測部
１０６．仮想世界生成部
１０７．ライト属性変更部
１０８．ライト属性入力部
１３２．ビデオシースルー型ＨＭＤ
１３３．カメラ
１３４．画像出力部
１３５．画像入力部
１３６．画像表示部
２０１．観察者
２０２．仮想点光源
２０３．仮想オブジェクトＡ
２０４．仮想オブジェクトＢ
４０１．仮想平行光
６０１．仮想照射光

Claims (10)

1. 現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測手段と、
   仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
   前記計測された、撮像手段の撮像方向と、前記仮想光源から前記撮像手段への方向とに基づいて、前記仮想画像生成手段における前記仮想光源の輝度を調整するか否かを判定する判定手段と、
   前記判定手段により、前記仮想光源の輝度を調整すると判定された場合には、前記位置方向計測手段により計測された前記撮像手段の位置、前記仮想光源の位置および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
   前記光効果算出手段で計算された輝度の調整値を用いて前記仮想画像生成手段における前記仮想光源の輝度を調整する調整手段と、
   前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを、前記位置方向計測手段により計測された前記撮像手段の位置と撮像方向とに基づいて合成する画像合成手段と、を備えることを特徴とする複合現実感提示システム。
2. 前記光効果算出手段は、
   前記仮想光源の位置から前記撮像手段の位置への方向ベクトルと前記撮像手段の位置から前記仮想物体の位置への方向ベクトルとの内積を導出し、該導出された内積値が所定の値以内の場合に、前記仮想光源の輝度の調整値を算出することを特徴とする請求項１に記載の複合現実感提示システム。
3. 現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測手段と、
   仮想光源からの平行光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
   前記計測された、撮像手段の撮像方向と、前記仮想光源から前記撮像手段への方向とに基づいて、前記仮想画像生成手段における前記仮想光源の輝度を調整するか否かを判定する判定手段と、
   前記判定手段により、前記仮想光源の輝度を調整すると判定された場合には、前記位置方向計測手段により計測された前記撮像手段の位置、前記平行光の照射方向、および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
   前記光効果算出手段で計算された輝度の調整値を用いて前記仮想画像生成手段における仮想光源の輝度を調整する調整手段と、
   前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを、前記位置方向計測手段により計測された前記撮像手段の位置と前記撮像方向とに基づいて合成する画像合成手段と、
   を備えることを特徴とする複合現実感提示システム。
4. 前記光効果算出手段は、
   前記平行光の方向ベクトルと前記撮像手段の位置から前記仮想物体の位置への方向ベクトルとの内積を導出し、該導出された内積値が所定の閾値以内の場合に、前記仮想光源の輝度の調整値を算出することを特徴とする請求項３に記載の複合現実感提示システム。
5. 前記光効果算出手段は、
   前記内積の値が所定の閾値内に入るときに、前記仮想光源の輝度の調整を行うことを特徴とする請求項２または４に記載の複合現実感提示システム。
6. 前記仮想画像生成手段は、前記仮想光源と同位置に、光の方向が前記仮想光源から前記撮像手段の位置への方向となるように配置された、シーンの輝度を低減させるように機能する仮想照射光源を設定し、
   前記調整手段は、前記光効果算出手段で計算された輝度の調整値を用いて前記仮想画像生成手段における前記仮想照射光源の輝度を調整することを特徴とする請求項１または２に記載の複合現実感提示システム。
7. 現実世界の被写体を撮像する撮像手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の複合現実感提示システム。
8. 複合現実感提示システムによる複合現実感提示方法であって、
   位置方向計測手段が、現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測ステップと、
   画像生成手段が、仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成ステップと、
   判定手段が、前記計測された、撮像手段の撮像方向と、前記仮想光源から前記撮像手段への方向とに基づいて、前記仮想画像生成ステップに用いられる前記仮想光源の輝度を調整するか否かを判定する判定工程と、
   光効果算出手段が、前記判定工程で前記仮想光源の輝度を調整すると判定された場合には、前記計測された前記撮像手段の位置、前記仮想光源の位置および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出ステップと、
   調整手段が、前記計算された輝度の調整値を用いて前記仮想光源の輝度を調整する調整ステップと、
   画像合成手段が、前記撮像された現実世界の被写体像と前記生成された仮想画像とを、前記計測された前記撮像手段の位置と撮像方向とに基づいて合成する画像合成ステップとを有することを特徴とする複合現実感提示方法。
9. 複合現実感提示システムによる複合現実感提示方法であって、
   位置方向計測手段が、現実世界の被写体を撮像する撮像手段の位置と撮像方向を計測する位置方向計測ステップと、
   画像生成手段が、仮想光源からの平行光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成ステップと、
   判定手段が、前記計測された、撮像手段の撮像方向と、前記仮想光源から前記撮像手段への方向とに基づいて、前記仮想画像生成ステップに用いられる前記仮想光源の輝度を調整するか否かを判定する判定工程と、
   光効果算出手段が、前記判定工程で前記仮想光源の輝度を調整すると判定された場合には、前記計測された前記撮像手段の位置、前記平行光の照射方向、および前記仮想物体の位置の関係に基づいて、前記仮想光源の輝度の調整値を計算する光効果算出ステップと、
   調整手段が、前記計算された輝度の調整値を用いて前記仮想光源の輝度を調整する調整ステップと、
   画像合成手段が、前記撮像された現実世界の被写体像と前記生成された仮想画像とを、前記計測された前記撮像手段の位置と撮像方向とに基づいて合成する画像合成ステップと、を有することを特徴とする複合現実感提示方法。
10. 請求項８または９に記載の複合現実感提示方法の各工程をコンピュータに実行させるためのプログラム。

Images