JP6679966B2 - 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム - Google Patents

Description

本発明は、三次元仮想空間を観察者に対して提示する三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラムに関する。

従来より、仮想空間の画像を表示し、観察者に対して鑑賞させる装置として、フラットパネルディスプレイあるいはプロジェクタなどの装置が用いられている。

上述した装置は、表示する画像における三次元物体の輝度や色の再現性等において（例えば、特許文献１を参照）、また解像度において（例えば、特許文献２を参照）画像上の物体があたかも目の前に実在する現実空間そのものであるかのような感覚(実在感)を観察者に対して与える。

また、表示する画像において、両眼視差や運動視差などを再現することにより、画像における物体に対して立体感を与える装置もある（例えば、特許文献３を参照）。
また、近年においては、三次元コンピュータグラフィックスの生成技術及びコンピュータの処理速度も向上しており、三次元仮想空間の写実的な画像をリアルタイムに生成する技術も確立してきている。

特開２０１１−０６８８６６号公報 特開２０１４−１９１３３８号公報 特開２００５−１７５９７３号公報

しかしながら、上記従来例においては、実物から観察者が感じるはずの視覚的効果の一部を再現しているに過ぎない。このため、従来例において、写真と見紛うまでの高品質な仮想空間の画像を表示したとしても、観察者に対して、表示されている画像が実物であると感じさせる、すなわち実在感を感じさせる臨場感がある情報を十分に与えている訳ではない。

本発明は、このような状況に鑑みてなされたものであり、仮想空間における光源を含む物体から現実空間に対する光学的影響を再現し、観察者への臨場感を与える情報として視覚的効果を補完することで、表示物の実在感を感じさせることが可能な三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラムの提供を目的とする。

上述した課題を解決するために、本発明の三次元仮想空間提示システムは、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成部と、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成部と、前記現実空間にプロジェクタから投写する光束画像を、前記光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成部とを備えることを特徴とする。

本発明の三次元仮想空間提示システムは、前記仮想空間と前記近似仮想空間とを、前記表示画面を境界面として複合し、前記仮想空間と前記近似仮想空間とが同一の三次元空間座標上に配置された複合仮想空間を生成する複合仮想空間生成部をさらに備え、前記光束画像生成部が、前記複合仮想空間において、前記仮想空間の前記三次元仮想物体から前記表示画面を介して前記部分領域に入射される前記光の光束を当該部分領域毎に抽出することを特徴とする。

本発明の三次元仮想空間提示システムは、前記対応関係が、所定のカメラパラメータ指定方法によって指定されたカメラパラメータを有する仮想的な撮像装置で撮像された撮像画像における各画素と、当該画素それぞれに撮像された前記部分空間との対応を示すことを特徴とする。

本発明の三次元仮想空間提示システムは、前記カメラパラメータ指定方法が前記プロジェクタのプロジェクタパラメータを用いて前記カメラパラメータを指定することを特徴とする。

本発明の三次元仮想空間提示システムは、前記プロジェクタが、観察者の前方から、当該観察者の後方に前記光束画像を投射する位置に配置されていることを特徴とする。

本発明の三次元仮想空間提示システムは、前記観察者の視点位置を抽出する視点位置推定部をさらに備えることを特徴とする。

本発明の三次元仮想空間提示方法は、仮想空間画像生成部が、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成過程と、近似仮想空間生成部が、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成過程と、光束画像生成部が、前記現実空間にプロジェクタから投写する光束画像を、当該光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成過程とを含むことを特徴とする。

本発明の三次元仮想空間提示方法は、コンピュータを、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成手段、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成手段、前記現実空間にプロジェクタから投写する光束画像を、当該光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成手段として動作させるためのプログラムである。

以上説明したように、本発明によれば、仮想空間における光源を含む物体から現実空間に対する光学的影響を再現し、観察者への臨場感を与える情報として視覚的効果を補完することで、表示物の実在感を感じさせることが可能な三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラムを提供することができる。

本発明の実施形態による三次元仮想空間提示システムのシステム構成例を示す概念図である。 本発明の実施形態による三次元仮想空間提示システムにおける三次元仮想空間提示装置の構成例を示すブロック図である。 近似仮想空間生成部１０３の生成した近似仮想空間ＶＲＳの一例を示す図である。 画像表示装置１３の表示画面１２１に表示される仮想空間画像ＶＳ２に対応する仮想空間ＶＳの構成例を示す模式図である。 仮想空間ＶＳと近似仮想空間ＶＲＳとを複合した複合仮想空間ＣＶＲＳの構成例を示す模式図である。 仮想カメラ４２１が複合仮想空間ＣＶＲＳを撮像した撮像画像から仮想空間画像ＶＳ２を生成する処理を説明する図である。 本発明の実施形態の三次元仮想空間提示システにおける三次元仮想空間提示の処理の動作例を示すフローチャートである。 図７のステップＳ１０５Ｂにおける輝度値算出方法を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。図１は、本発明の実施形態による三次元仮想空間提示システムを適用したシステム構成例を示す概念図である。図１において、三次元仮想空間提示システムは、三次元仮想空間提示装置１０、入力装置１１、視点位置計測装置１２、画像表示装置１３及びプロジェクタ１４の各々を備えている。

三次元仮想空間提示装置１０は、仮想空間ＶＳ（後述）から画像表示装置１３に表示する２次元の仮想空間画像ＶＳ２を生成し、生成した仮想空間画像ＶＳ２を画像表示装置１３に対して出力する。また、三次元仮想空間提示装置１０は、プロジェクタ１４が現実空間ＲＳに投射する光束画像ＬＦを生成し、生成した光束画像ＬＦをプロジェクタ１４に対して出力する。これにより、プロジェクタ１４は、供給された光束画像ＬＦを現実空間ＲＳに対して投射する。三次元仮想空間提示装置１０は、画像表示装置１３及びプロジェクタ１４に光束画像ＬＦなどのデータを出力するための出力インターフェースを含む。また、三次元仮想空間提示装置１０は、入力装置１１及び視点位置計測装置１２からデータを入力するための入力インターフェースを含む。

入力装置１１は、キーボードあるいはマウスなどであり、観察者２０１が三次元仮想空間提示システム１を操作するための命令などを入力する。
視点位置計測装置１２は、観察者２０１の視点位置を抽出するために用いる視点位置計測情報を取得し、取得した視点位置計測情報を三次元仮想空間提示装置１０に対して出力する。視点位置計測装置１２は、例えば深度カメラなどであり、観察者２０１の視点位置を抽出するための深度画像を視点位置計測情報として出力する。本実施形態において、現実空間ＲＳにおける三次元物体の位置及び角度は、現実空間ＲＳにおいて定義される三次元直交座標系（Ｘ軸、Ｙ軸及びＸ軸からなる座標系）における座標位置及び角度により表現される。
画像表示装置１３は、三次元仮想空間提示装置１０から供給される仮想空間画像ＶＳ２を、表示画面１３１に対して表示する。表示画面１３１は、例えば、平面ないし曲面で構成されている。

プロジェクタ１４は、現実空間ＲＳにおける三次元物体、例えば、部屋の壁、床、天井、観察者２０１に対して、三次元仮想空間提示装置１０から供給される光束画像ＬＦを投射する。本実施形態において、例えば、プロジェクタ１４は、画像表示装置１３が配置される壁側の部屋空間の上部隅に設定されている。上記光束画像ＬＦは、画像表示装置１３から漏れ出てくる光を擬似的に実現するため、現実空間ＲＳにおける三次元物体に対して投射される画像である。すなわち、光束画像ＬＦは、現実空間ＲＳに投射されることにより、画像表示装置１３に表示されている仮想空間ＶＳにおける三次元物体から直接あるいは間接的に、表示画面１２１を介して現実空間ＲＳに照射されると推定される照度に対応した画像である。これにより、現実空間ＲＳは、あたかも表示画面１２１の奥（内部）に仮想空間ＶＳが存在し、この仮想空間ＶＳから得られると推定される照明効果を、プロジェクタ１４から投射される光束画像ＬＦから擬似的に得られる。この光束画像ＬＦの生成処理については後述する。

図２は、本発明の実施形態による三次元仮想空間提示システムにおける三次元仮想空間提示装置の構成例を示すブロック図である。図２において、三次元仮想空間提示システム１は、図１を用いて説明したように、三次元仮想空間提示装置１０、入力装置１１、視点位置計測装置１２、画像表示装置１３及びプロジェクタ１４の各々を備えている。また、三次元仮想空間提示装置１０は、画像生成制御部１０１、視点位置推定部１０２、近似仮想空間生成部１０３、複合仮想空間生成部１０４、仮想空間画像生成部１０５、光束画像生成部１０６及び記憶部１０７の各々を備えている。

画像生成制御部１０１は、三次元仮想空間提示システム１において処理する、外部装置（不図示）から入力される三次元仮想空間である仮想空間を入力し、記憶部１０７に対して書き込んで記憶させる。また、画像生成制御部１０１は、入力装置１１から入力される操作するための命令により、三次元仮想空間提示システム１の制御を行う。

視点位置推定部１０２は、視点位置計測装置１２から視点位置計測情報と、現実空間ＲＳの三次元直交座標系における視点位置計測装置１２の予め測定された位置とにより、現実空間ＲＳの三次元直交座標系における観察者２０１の視点位置の座標を推定する。ここで、視点位置の推定は、視点位置計測情報が観察者２０１の体が写った震度画像を含むのであれば、観察者２０１の頭部の位置を上記深度画像から推定し、この観察者２０１の頭部の位置に対して所定のオフセットを加えることで視点位置とする方法（例えば、特開２００７−３０９６６０号公報）を用いることができる。

近似仮想空間生成部１０３は、図示しない撮像装置により撮像された現実空間ＲＳの撮像画像から、現実空間ＲＳを等スケールでモデル化して、三次元仮想空間としての近似仮想空間ＶＲＳを生成する。

図３は、近似仮想空間生成部１０３の生成した近似仮想空間ＶＲＳの一例を示す図である。図３において、近似仮想空間ＶＲＳは、現実空間ＲＳの近似形状情報３０１を含んでいる。この近似形状情報３０１は、例えば、ポリゴンの集合体からなる形状情報である。また、近似形状情報３０１は、深度カメラにより測定した情報から、近似仮想空間生成部１０３が生成し、記憶部１０７に対して予め書き込んで記憶させておいても良い。また、近似形状情報３０１は、深度カメラにより測定した情報から、近似仮想空間生成部１０３がリアルタイムに生成し、記憶部１０７に対して書き込んで順次更新させる構成としても良い。

また、図３において、三次元仮想物体１３Ｖは、近似仮想空間ＶＲＳにおいて、現実空間ＲＳの画像表示装置１３に対応した三次元仮想物体である。また、近似仮想空間ＶＲＳの三次元直交座標系は、現実空間ＲＳの三次元直交座標系に対応している。画面形状情報３０２は、三次元仮想物体１３Ｖの表示画面１３１Ｖとしての領域の情報と対応している。この画面形状情報３０２の各々は、現実空間ＲＳにおける画像表示装置１３の矩形状の表示画面１３１の各頂点に対応している。
さらに、近似仮想空間ＶＲＳは、画面マッピング情報ＰＭを含んでいる。この画面マッピング情報ＰＭは、画像表示装置１３に入力される入力画像が表示画面１３１に対して、どのように表示されるかを示す情報である。例えば、画面マッピング情報ＰＭは、画面形状情報３０２（画像表示装置１３の表示画面１３１の形状を示している）がポリゴンの集合であれば、各ポリゴンの頂点と対応する、表示画面１３１の画面平面上の２次元座標の集合である。

図４は、画像表示装置１３の表示画面１２１に表示される仮想空間画像ＶＳ２に対応する仮想空間ＶＳの構成例を示す模式図である。図４において、仮想空間ＶＳの仮想空間情報４０１は、光源４１２の光源情報とともに、三次元仮想物体である窓４１１０、人物４１１１、本棚４１１２、机４１１３、窓４１１４及び椅子４１１５の各々の形状を示すモデル情報４１１を有している。また、モデル情報４１１には、例えば、それぞれの三次元仮想物体の質感情報として、色情報ＲＧＢ（RED、GREEN、BLUE）の各々の拡散反射率及び鏡面反射率が含まれている。上記光源情報は、例えば、仮想空間ＶＳにおける光源４１２の位置、光源４１２からの光の照射方向、光源４１２からの配光情報を含んでいる。頂点情報４０２は、窓４１１０の矩形状の頂点の位置を示す情報である。

本実施形態において、配光情報とは、照射方向と照射方向に対して照射される光の光度とを対応付ける関数であり、仮想空間ＶＳにおいて光源４１２を起点とした光の照射方向を引数とし、当該方向に対して光源４１２から照射される光の強度である光度を求める（入力に対して返す）関数である。また、配光情報は、光源４１２の照射方向と、照射方向に対して照射される光の光度とを対応付けた対応テーブルとして構成しても良い。この仮想空間ＶＳは、予め記憶部１０７に書き込まれ記憶されていても、画像生成制御部１０１を介して外部装置から供給されても良い。

図２に戻り、近似仮想空間生成部１０３は、図示しない深度カメラにより現実空間ＲＳを撮像し、撮像した画像から抽出される各三次元物体の深度情報から、形状トラッキングの技術により、三次元物体の形状を抽出することで近似仮想空間ＶＲＳを生成し、生成した近似仮想空間ＶＲＳを記憶部１０７に対して書き込んで記憶させる。

複合仮想空間生成部１０４は、仮想空間ＶＳと、現実空間ＲＳを等スケール（同一の尺度の寸法値）で三次元仮想空間にモデル化した近似仮想空間ＶＲＳとを融合（複合）し、複合仮想空間ＣＶＲＳを生成する。

図５は、仮想空間ＶＳと近似仮想空間ＶＲＳとを複合した複合仮想空間ＣＶＲＳの構成例を示す模式図である。複合仮想空間ＣＶＲＳは、近似仮想空間ＶＲＳ上の三次元仮想物体１３Ｖ（画像表示装置１３の三次元仮想物体）の表示画面１３１Ｖと、仮想空間ＶＳの窓４１１０とを境界面として、仮想空間ＶＳと近似仮想空間ＶＲＳとが複合仮想空間生成部１０４により複合されている。すなわち、近似仮想空間ＶＲＳに対して、表示画面１３１Ｖと窓４１１０とが重なり合う部分の境界面の奥に、仮想空間ＶＳを重畳して複合したものである。この複合を行う際、仮想空間ＶＳの一部を構成する平面ないし曲面が、近似仮想空間ＶＲＳとなす境界面の境界線の一部に近接していることが好ましい。

図５においては、表示画面１３１Ｖにおける画面形状情報３０２の頂点の情報と、仮想空間ＶＳにおける窓４１１０の頂点情報４０２とをマッチングさせることで、複合仮想空間生成部１０４が仮想空間ＶＳと近似仮想空間ＶＲＳとを複合して、複合仮想空間ＣＶＲＳを生成している。これにより、複合仮想空間４００は現実空間ＲＳを等スケールで再現した近似仮想空間ＶＲＳを含むため、複合仮想空間４００内の物体の位置及び角度は、現実空間ＲＳにおける三次元直交座標系により、現実空間ＲＳと同様に表現できる。すなわち、仮想空間ＶＳを観察しようとする領域（一例として窓４１１０）を、画像表示装置１３の表示画面１３１の領域とが境界面で一致するように、仮想空間ＶＳと近似仮想空間ＶＲＳとを複合することで、複合仮想空間ＣＶＲＳを生成することができる。

図５において、複合仮想空間ＣＶＲＳには、仮想カメラ４２０及び仮想カメラ４２１の各々が配置されている。仮想カメラ４２０の透視投影行列は、プロジェクタ１４の透視投影行列の推定値と一致している。ここで、透視投影行列とは、現実空間ＲＳ（複合仮想空間４００）の三次元直交座標系上の座標から、仮想カメラ４２０の撮影画像平面上、またはプロジェクタ１４へ入力される光束画像ＬＦの画像平面上の二次元座標系上の座標に変換する行列である。プロジェクタの透視投影行列は、例えば、「田中文武，出口光一郎，岡谷貴之 汎用プロジェクタを用いる高精度レンジファインダのためのキャリブレーション 計測自動制御学会東北支部 第226回研究集会 (2005.12.9)」に記載の方法を用いて予め計測しておく。

仮想カメラ４２１は、複合仮想空間ＣＶＲＳにおいて、現実空間ＲＳにおける観察者２０１の視点の位置に配置されている。また、仮想カメラ４２１は、撮像方向が現実空間ＲＳにおける観察者２０１の視線の方向と同一である。観察者２０１の視点は、現実空間ＲＳの三次元直交座標系において視点位置推定部１０２により推定された座標を用いる。

図１に戻り、仮想空間画像生成部１０５は、画像表示装置１３の表示画面１３１に表示する仮想空間画像ＶＳ２を、仮想空間ＶＳから生成する。この際、仮想空間画像生成部１０５は、複合仮想空間ＣＲＶＳにおいて、近似仮想空間ＶＲＳにおける仮想カメラ４２１により、窓４１１０を介して観察される仮想空間ＶＳの画像を撮像する。この撮像された画像が、現実空間ＲＳの観察者２０１が画像表示装置１３の表示画面１３１で鑑賞する仮想空間画像ＶＳ２となる。この仮想空間画像ＶＳ２は、仮想カメラ４２１の撮像方向にある窓４１１０を含む複合仮想空間ＣＶＲＳの三次元仮想物体が、２次元平面である仮想カメラ４２１の撮像面に投影された２次元画像として得られる。また、仮想空間画像ＶＳ２は、平面あるいは曲面の表示画面１３１に表示される形態として求められる。

このとき、仮想カメラ４２１の撮像位置は、三次元直交座標系において、視点位置推定部１０２が推定した観察者２０１の視点位置と同一とする。そして、視点以外のカメラパラメータは、仮想カメラ４２１の撮像面に窓４１１０（仮想空間ＶＳと近似仮想空間ＶＲＳとの境界面）が最も大きく撮像されるように調整される。この仮想カメラ４２１のカメラパラメータの調整は、撮像画像が境界面である窓４１１０を包含して、かつ仮想カメラ４２１の視錘台が最小の体積となるようにクリッピング平面を設定することにより行うことができる。これは、なるべく窓４１１０から仮想カメラ４２１が撮像する、窓４１１０をと押して観察される仮想空間ＶＳにおける三次元仮想物体の撮像画像における解像度を上げるためである。

図６は、仮想カメラ４２１が複合仮想空間ＣＶＲＳを撮像した撮像画像から仮想空間画像ＶＳ２を生成する処理を説明する図である。図６（ａ）は、仮想カメラ４２１が撮像した撮像画像Ｍを示している。本実施形態においては、撮像画像Ｍにおいて、画面形状情報３０３は、２次元座標系における四角形のポリゴン５００の集合である。また、画面マッピング情報ＰＭは、上記２次元座標系における各ポリゴン５００の頂点ＰＭ＿１の集合である。ここで、画面形状情報３０３は、近似仮想空間ＶＲＳにおける表示画面１２１Ｖの画面形状情報３０２と対応している。

図６（ｂ）は、撮像画像Ｍから生成した仮想空間画像ＶＳ２を示している。仮想空間画像ＶＳ２の画面形状情報３０２は、２次元座標系における四角形のポリゴン５５０び集合である。また、画面マッピング情報ＰＭは、上記２次元座標系における各ポリゴン５５０の頂点ＰＭ＿２の集合である。撮像画像Ｍのポリゴン５００の各々は、仮想空間画像ＶＳ２のポリゴン５５０それぞれと対応している。また、撮像画像Ｍにおけるポリゴン５００の頂点ＰＭ＿１の各々は、仮想空間画像ＶＳ２におけるポリゴン５５０の頂点ＰＭ＿２それぞれと対応している。

図６（ｃ）は、仮想空間画像生成部１０５が撮像画像Ｍから生成した仮想空間画像ＶＳ２を、画像表示装置１３の表示画面１３１に表示し、観察者２０１の視点から鑑賞した場合の見えを示している。

図２に戻り、仮想空間画像生成部１０５は、仮想カメラ４２１により複合仮想空間ＣＶＲＳの撮像画像Ｍを、すでに説明したカメラパラメータを用いて撮像する。このとき、仮想空間画像生成部１０５は、三次元仮想物体１３Ｖの画像表面のポリゴン５５０を、仮想カメラ４２１の透視投影行列により変換し、図６（ｃ）の画像平面上のポリゴン５００とし、このポリゴン５００の頂点ＰＭ＿１の頂点座標群を生成する。そして、仮想空間画像生成部１０５は、上記頂点座標群と、画面形状情報３０２を構成するポリゴン５５０の頂点座標群である２次元座標群との対応を用い、撮像画像Ｍをホモグラフィ変換し、仮想空間画像ＶＳ２を生成する。頂点座標群及び二次元座標群は、それぞれ画面形状情報３０３と画面形状情報３０２との頂点群と一対一で対応している。このため、頂点座標群と二次元座標群との対応関係は一意に決まる。なお、仮想カメラ４２１による複合仮想空間ＣＶＲＳの撮影の際には、この複合仮想空間ＣＶＲＳにおける現実空間ＲＳの情報に基づく、三次元物体のモデルは描画対象から除外することが好ましい。

仮想空間画像生成部１０５は、以下に示す（１）式から（７）式の各々を用いることにより、仮想空間画像ＶＳ２の各画素の輝度値を算出する。

上記（１）式において、Ｌ_ｕ（ｐ）は、プロジェクタ１４が投射する光束画像上の二次元座標ｐの画素の輝度値を示している。ここで、（２）式におけるｐは仮想空間画像ＶＳ２の画像平面上の２次元座標を示している。ここで、例えば、ｕはｘ座標、ｖはｙ座標である。Ｌ_ｍ（ｐ_ｈ）は、撮像画像Ｍ上の二次元座標ｐ_ｈの輝度値である。（３）式は、ホモグラフィ行列である。ホモグラフィ行列Ｈの各要素は、（４）式により求められる。
（４）式において、（ｘ_ｉ，ｙ_ｉ）は、（５）式で示され、撮像画像Ｍ上に対し、画面形状情報３０２が投影された画面形状情報３０３のポリゴン５００の各々の頂点座標群（ＰＭ＿１）である。また（４）式において、（ｕ_ｉ，ｖ_ｉ）は、（６）式で示され、三次元仮想物体１３１Ｖの表示画面１３１Ｖの画面形状情報３０２におけるポリゴン５５０の各々の頂点の２次元座標群（ＰＭ＿２）である。また、Ｉ_ｊは、（７）式で示される注目画素が属するポリゴン（四角形のポリゴン）の頂点番号である。
仮想空間画像生成部１０５は、上述した（１）式から（７）式の各々により、仮想空間画像ＶＳ２の各画素の輝度値を算出する。上述した処理により、仮想空間画像ＶＳ２を生成することにより、仮想空間画像ＶＳ２画像表示装置１３の表示画面１３１に表示される。

光束画像生成部１０６は、複合仮想空間ＣＲＶＳにおける仮想空間ＶＳの三次元仮想物体からの直接光あるいは間接光が近似仮想空間ＶＲＳに照射された画像を光束画像ＬＦとして撮像する。すなわち、光束画像生成部１０６は、仮想カメラ４２０により複合仮想空間ＣＲＶＳを撮像する。このとき、光束画像生成部１０６は、仮想カメラ４２０による複合仮想空間ＣＲＶＳの撮像時に、所定の輝度値計算方法により、撮像した画像の各画素の色成分ＲＧＢの各々の輝度値を算出することにより、プロジェクタ１４に与える光束画像ＬＦを生成する。

以下に、光束画像生成部１０６による上記所定の輝度値計算方法を説明する。
光束画像生成部１０６は、仮想カメラ４２０が撮像する光束画像ＬＦにおける画素を順次注目画素として輝度値を抽出する。そして、光束画像生成部１０６は、仮想カメラ４２０が撮像した光束画像ＬＦにおいて輝度値を求める対象の画素である注目画素が、仮想空間ＶＳに含まれている場合、色成分ＲＧＢの各々の輝度値は０に設定される。一方、光束画像生成部１０６は、光束画像ＬＦにおける注目画素に対応する複合仮想空間ＣＲＶＳ上の領域に対して、複合仮想空間ＣＲＶＳの光源４１２の光源情報に基づき、光源４１２から直接的あるいは間接的に入射する光束を算出する。ここで、間接的な光束とは、例えば仮想空間ＶＳにおける他の三次元仮想物体における光源４１２の反射光などの光束を示している。

光束画像生成部１０６は、上記光束を求める際、例えば、レンダリング処理にレイトレーシング法などを用い、上記領域の代表点の照度に対し、この領域の面積を乗算して近似的に光束を求める。これにより、光束画像生成部１０６は、複合仮想空間ＣＲＶＳにおいて、仮想空間ＶＳから近似仮想空間ＶＲＳに対して漏れ出る光束、すなわち光源４１２及び他の三次元仮想物体から近似仮想空間ＶＲＳに対して与える光束を求める。
また、光束画像生成部１０６は、求めた光束に対応した注目画素の輝度値を、変換テーブルから求める。上述したように、光束画像生成部１０６は、上述したように、仮想カメラ４２０が撮像する光束画像ＬＦの各画素を順次注目画素として輝度値を求める。そして、光束画像生成部１０６は、生成した光束画像ＬＦをプロジェクタ１４に対して出力する。

上記変換テーブルは、例えば、プロジェクタ１４から近似仮想空間ＶＲＳの画素毎に投影される色成分ＲＧＢの３色毎の光束を検索キーとして、プロジェクタ１４に供給される光束画像ＬＦの各画素の色成分ＲＧＢそれぞれの輝度値を参照するための三次元ルックアップテーブルである。この変換テーブルから求められる輝度値は、仮想空間ＶＳから近似仮想空間ＶＲＳに対して漏れ出る光束を、プロジェクタ１４から擬似的に出力するために必要な光束画像ＬＦ上の各画素の色成分ＲＧＢ毎の輝度値である。

また、この変換テーブルは、例えば、プロジェクタ１４で所定のテスト画像を光束画像ＬＦとしてスクリーンに投影し、スクリーン上の輝度値とテスト画像の輝度値との第１関係と、スクリーン上の輝度値とスクリーン上の光束との第２関係とをそれぞれ求め、これら第１関係及び第２関係の各々を連立することで、光束と光束画像ＬＦの輝度値との関係を求める。上記第１関係は、「山本昇志, 鶴瀬麻依子, 植田久美子, 津村徳道, 中口俊哉, 三宅洋一. "DLP プロジェクタ照明下における物体の質感制御." 日本写真学会誌 68.6 (2005): 510-517」による方法で求めることができる。また、第２関係は、スクリーンの位置と、プロジェクタ１４の投射方向及びスクリーン面の成す角度と、スクリーン面の反射特性との各々を用いて求めることができる。なおプロジェクタ１４が投影する画素毎の光束のばらつきは、無視できる程度に低く抑えられているものとする。

また、複合仮想空間ＣＲＶＳにおける光源４１２及び三次元仮想物体のモデルが静的である場合、仮想カメラ４２０が撮像した画像の画素毎に光束を格納したライトマップテクスチャーを予め作成して用意しておいても良い。この構成により、仮想カメラ４２０が撮像した画像の各画素の光束は、予め準備されたライトマップテクスチャーの参照によって得ることが可能となる。この構成の場合、仮想空間ＶＳから近似仮想空間ＶＲＳに対して漏れる光束の計算に対して、十分な時間を取れるため、複雑な三次元仮想物体からの反射現象を考慮し、高い精度により求めた光束の有するライトマップテクスチャーを用意することができる。これにより、プロジェクタ１４に対して高い精度の光束画像ＬＦを出力することができ、プロジェクタ１４から投射される光束画像ＬＦをより高品質なものとし、観察者２０１に対して現実感を与えることが可能となる。

記憶部１０７は、上述した変換テーブル、近似仮想空間ＶＲＳに関する情報である近似形状情報３０１、仮想空間ＶＳに関する情報である仮想空間情報４０１の各々を記憶している。

次に、図７は、本発明の実施形態の三次元仮想空間提示システムにおける三次元仮想空間提示の処理の動作例を示すフローチャートである。以下の図７のフローチャートにおいて、ステップＳ１０５ＡからステップＳ１０７Ａの処理は仮想空間画像生成部１０５が処理を行う。一方、ステップＳ１０５ＡからステップＳ１０７Ａの処理は光束画像生成部１０６が処理を行う。これら仮想空間画像生成部１０５及び光束画像生成部１０６の処理は並列に行われる。

ステップＳ１０１：
近似仮想空間生成部１０３は、現実空間ＲＳの撮像画像から、現実空間ＲＳを等スケールでモデル化して、三次元仮想空間としての近似仮想空間ＶＲＳ及び近似仮想空間ＶＲＳの近似形状情報３０１を生成する。そして、近似仮想空間生成部１０３は、作成した近似仮想空間ＶＲＳ及び近似形状情報３０１を記憶部１０７に対して書き込んで記憶させる。
また、入力装置１１は、外部装置から仮想空間ＶＳ及び仮想空間ＶＳの仮想空間情報４０１の各々を入力し、記憶部１０７に対して書き込んで記憶させる。上述した前処理が行われる。

ステップＳ１０２：
視点位置推定部１０２は、視点位置計測装置１２から視点位置計測情報を入力し、この視点位置計測情報と現実空間ＲＳにおける視点位置計測装置１２の位置とにより、観察者２０１の現実空間ＲＳの三次元直交座標系における観察者２０１の視点位置を求める。

ステップＳ１０３：
視点位置推定部１０２は、求めた現実空間ＲＳにおける観察者２０１の視点位置を、仮想空間画像生成部１０５に対して出力する。
そして、仮想空間画像生成部１０５は、現実空間ＲＳにおける観察者２０１の視点位置を入力する。

ステップＳ１０４：
複合仮想空間生成部１０４は、仮想空間ＶＳと近似仮想空間ＶＲＳとの各々を、仮想空間ＶＳにおける窓４１１０と、近似仮想空間ＶＲＳにおける三次元仮想物体１３Ｖの表示画面１３１Ｖとを境界面として融合させ、複合仮想空間ＣＶＲＳを生成する。この複合仮想空間ＣＶＲＳは、近似仮想空間ＶＲＳにおける三次元直交座標系に対応しており、現実空間と同一スケールで形成される。
そして、複合仮想空間生成部１０４は、生成した複合仮想空間ＣＶＲＳを、記憶部１０７に対して書き込んで記憶させる。

ステップＳ１０５Ａ：
仮想空間画像生成部１０５は、複合仮想空間ＣＶＲＳ内に設けられた仮想カメラ４２１により、現実空間ＲＳにおける観察者２０１の視点から観察されると推定される撮像画像Ｍを撮像する。
そして、仮想空間画像生成部１０５は、撮像した撮像画像Ｍから画像表示装置１３の表示画面１３１に表示する仮想空間画像ＶＳ２を生成する。ここで、本フローチャートのループ毎に、観察者２０１の視点位置が視点位置推定部１０２から供給されるため、観察者２０１の視点位置に応じて、生成される仮想空間画像ＶＳ２が異なる。このため、観察者２０１は、自身の視点位置に応じて、運動視差を伴って仮想空間ＶＳを観察することができる。

ステップＳ１０６Ａ：
仮想空間画像生成部１０５は、生成した仮想空間画像ＶＳ２を画像表示装置１３に対して出力する。
これにより、画像表示装置１３は、観察者２０１の視点位置に応じた仮想空間画像ＶＳ２を入力する。

ステップＳ１０７Ａ：
画像表示装置１３は、観察者２０１の視点位置に応じた仮想空間画像ＶＳ２を、自身の表示画面１３１に表示する。

ステップＳ１０５Ｂ：
光束画像生成部１０６は、仮想カメラ４２０により複合仮想空間ＣＶを撮像する。ここで、仮想カメラ４２０のカメラパラメータは、プロジェクタ１４のプロジェクタパラメータを用いて指定されている。このプロジェクタパラメータとは、例えば、複合仮想空間ＣＶにおけるプロジェクタの位置、光軸方向、画角及び縦横比などである。
そして、光束画像生成部１０６は、複合仮想空間ＣＶを撮像する際、後述の輝度値算出方法で各画素の輝度値を算出することにより、複合仮想空間ＣＶの撮像画像として光束画像ＬＦを生成する。

ステップＳ１０６Ｂ：
光束画像生成部１０６は、ステップ１０５Ｂで光束画像ＬＦを、プロジェクタ１４に対して出力する。

ステップＳ１０７Ｂ：
プロジェクタ１４は、光束画像生成部１０６から供給される光束画像ＬＦを現実空間ＲＳに対して投射する。この際、光束画像ＬＦの各画素の輝度値それぞれが光束に逆変換されて、現実空間ＲＳに対して投射されるため、現実空間ＲＳ上に仮想空間ＶＳによる照明効果の照度が再現される。

ステップＳ１０８：
画像生成制御部１０１は、入力装置１１から処理の終了を示す終了情報が入力された場合、三次元仮想空間提示の処理を終了する。一方、画像生成制御部１０１は、入力装置１１から処理の終了を示す終了情報が入力されない場合、処理をステップＳ１０２へ戻す。

次に、図８は、図７のステップＳ１０５Ｂにおける輝度値算出方法を示すフローチャートである。このフローチャートは、光束画像の画素毎の輝度値を計算する処理を示しており、この処理を、仮想カメラ４２０による画像の撮像に際して、全ての画素に対して行い、得られた輝度値を光束画像ＬＦの画素毎の輝度値とする。
ステップＳ２０１：
光束画像生成部１０６は、仮想カメラ４２０が複合仮想空間ＣＶＲＳを撮像した光束画像ＬＦの各々の画素を順次注目画素として、この注目画素が仮想空間ＶＳに属しているか否かの判定を行う。
そして、光束画像生成部１０６は、注目画素が仮想空間ＶＳに属している場合、処理をステップＳ２０２へ進める。
一方、光束画像生成部１０６は、注目画素が仮想空間ＶＳに属していない場合、処理をステップＳ２０３へ進める。

ステップＳ２０２：
光束画像生成部１０６は、光束画像ＬＦにおいて、仮想空間ＶＳに属している注目画素の輝度値を０として、この注目画素に対する処理を終了する。すなわち、光束画像生成部１０６は、光束画像ＬＦにおけるこの注目画素に対応する画素の輝度値を０とする。

ステップＳ２０３：
光束画像生成部１０６は、すでに述べたレンダリング処理により、仮想カメラ４２０が複合仮想空間ＣＶＲＳを撮像した光束画像ＬＦの注目画素に仮想空間ＶＳから入射される光束を求める。

ステップＳ２０４：
光束画像生成部１０６は、記憶部１０７の変換テーブルを参照し、注目画素に入射される光束に対応する輝度値を読み出す。そして、光束画像生成部１０６は、読み出した輝度値を光束画像ＬＦにおける注目画素に対応する画素の輝度値とする。

本実施形態の三次元仮想空間提示システムは、複合仮想空間ＣＶＲＳにおいて、仮想空間ＶＳから近似仮想空間ＶＲＳに対して漏れ出る光を、仮想カメラ４２０で撮像する際に、撮像される画像の画素の光束を求め、この光束を得るために必要な光束画像ＬＦの各画素の輝度値を求める。そして、光束画像生成部１０６は、求めた光束画像ＬＦをプロジェクタ１４から現実空間に投射させる。これにより、本実施形態の三次元仮想空間提示システムによれば、仮想空間ＶＳにおける光源を含む物体から現実空間ＲＳに対する光学的影響を再現し、観察者２０１への臨場感を与える情報として視覚的効果を補完することが可能となり、画像表示装置１３の表示画面１３１に表示される画像の実在感を感じさせることが可能となる。

また、本実施形態の三次元仮想空間提示システムにおいて、運動視差を考慮して観察者２０１の視点位置を推定して、仮想空間画像ＶＳ２などの生成を行っていたが、観察者２０１が椅子などに座って視点位置が固定されている場合、図７のフローチャートにおいて、ループ毎に視点位置を検出する必要はない。したがって、この場合、視点位置の検出及び仮想空間画像ＶＳ２の生成も、最初に一度行うのみで良い。

なお、本発明における図１の三次元仮想空間提示システムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより三次元仮想空間を提示する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

本発明の三次元仮想空間提示システムは、例えば、住宅の内部及び外部を高実在感の仮想空間として 観察者に提示することで、実物の住宅を用意しなくても、実物を見学した場合と同様のユーザ体験を観察者に与えることが可能である。

１…三次元仮想空間提示システム
１０…三次元仮想空間提示装置
１１…入力装置
１２…視点位置計測装置
１３…画像表示装置
１４…プロジェクタ
１０１…画像生成制御部
１０２…視点位置推定部
１０３…近似空間生成部
１０４…複合仮想空間生成部
１０５…仮想空間画像生成部
１０６…光束画像生成部
１０７…記憶部１０７

Claims (8)

1. 三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される画像表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成部と、
   前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成部と、
   現実空間にプロジェクタから投写する光束画像を、前記光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成部と
   を備える
   ことを特徴とする三次元仮想空間提示システム。
2. 前記仮想空間と前記近似仮想空間とを、前記表示画面を境界面として複合し、前記仮想空間と前記近似仮想空間とが同一の三次元空間座標上に配置された複合仮想空間を生成する複合仮想空間生成部
   をさらに備え、
   前記光束画像生成部が、
   前記複合仮想空間において、前記仮想空間の前記三次元仮想物体から前記表示画面を介して前記部分領域に入射される前記光の光束を当該部分領域毎に抽出する
   ことを特徴とする請求項１に記載の三次元仮想空間提示システム。
3. 前記対応関係が、所定のカメラパラメータ指定方法によって指定されたカメラパラメータを有する仮想的な撮像装置で撮像された撮像画像における各画素と、当該画素それぞれに撮像された前記部分領域との対応を示す
   ことを特徴とする請求項１または請求項２に記載の三次元仮想空間提示システム。
4. 前記カメラパラメータ指定方法が前記プロジェクタのプロジェクタパラメータを用いて前記カメラパラメータを指定する
   ことを特徴とする請求項３に記載の三次元仮想空間提示システム。
5. 前記プロジェクタが、
   観察者の前方から、当該観察者の後方に前記光束画像を投射する位置に配置されている
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の三次元仮想空間提示システム。
6. 前記観察者の視点位置を抽出する視点位置推定部
   をさらに備える
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の三次元仮想空間提示システム。
7. 仮想空間画像生成部が、三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される画像表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成過程と、
   近似仮想空間生成部が、前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成過程と、
   光束画像生成部が、現実空間にプロジェクタから投写する光束画像を、当該光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成過程と
   を含む
   ことを特徴とする三次元仮想空間提示方法。
8. コンピュータを、
   三次元仮想空間である仮想空間における三次元仮想物体を所定の位置から、観察者に鑑賞される画像表示装置の表示画面に表示する仮想空間画像を生成する仮想空間画像生成手段、
   前記画像表示装置の配置された現実空間を三次元仮想空間とした近似仮想空間を生成する近似仮想空間生成手段、
   現実空間にプロジェクタから投写する光束画像を、当該光束画像の各画素の輝度値が、当該画素と前記近似仮想空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記三次元仮想物体からの光が与える光束の値として生成する光束画像生成手段
   として動作させるためのプログラム。