JP5873672B2 - 仮想環境のポイントにおいて受光された光の量の推定方法 - Google Patents

Description

本発明は、合成画像の分野に関し、特に、仮想環境内の光の反射を考慮に入れた仮想環境の大域的照明の推定及びシミュレーションの分野に関する。また、本発明は、ライブ構成に対する特殊効果の内容において理解される。

先行技術によれば、仮想環境の大域的照明をシミュレートする異なる方法が存在しており、これらの方法は３つのメイングループに分類することができる。当該方法の第１のグループは、（シーンとも称される）仮想環境を非常に小なる要素へ分解すること及び一組の要素に関して２つの要素間のエネルギーの移動を推定することに基づいている。ラジオシティ方法として知られているように、これらの方法は、大きなメモリ要求を一般に必要とし、要素に対して多数の鮮明度テストを実行しなければならず、要求される計算パワーに関して非常にコスト的である。上記方法の第２のグループは、光子マッピング技術若しくはレイトレーシング又はそれら双方を用いて、光線があとに続く電流路に追従するレイトレーシングに基づいている。上記方法の第３のグループは、シーンを見る観覧者の視点に応じてシーンから見えるオブジェクトの距離に関する情報だけを考慮したスクリーンスペースにおける近似に基づいている。これら後者の方法は、隣接する可視ポイント間のエネルギーの移動を処理するのにフィルタリング技術を使用する。これら後者の方法は、比較的高速であるという利点を有するものの、得られる品質は良くない。

特に３Ｄの対話型シミュレーションゲーム及びアプリケーションの存在にともない、高い品質及び現実的であり高速な大域的照明の推定を提供するライブシミュレーション法に対する必要性が抱かれている。

本発明の目的は、先行技術のこれらの不利点のうち少なくとも１つを克服することである。

特に、本発明の目的は、仮想環境を構成するオブジェクトに対する光の反射を考慮に入れて、仮想環境における光の拡散に関してライブの現実的な表示を構成するために必要な計算時間及び／又は計算パワーを特に適正化することである。

本発明は、仮想環境のポイントＰで受光された光の量の推定方法に関し、仮想環境は光源によって照明された複数の第１のポイントを含み、第１のポイントは複数のグループを形成する。当該複数のグループの各々が少なくとも１つの第１のポイントを含む。

方法は、
‐各グループに対して、受光された入射光の量を推定するステップと、
‐視点から見える仮想環境における少なくとも共有ポイントをグループ化し且つポイントＰを含む表面を推定するステップと、
‐表面に関連付けられたオクルージョン情報に関する少なくとも１つの項目に応じて、光源１０から受光された入射光の反射によるポイントＰの照明に寄与する複数のグループのうち少なくとも第１のグループを推定するステップと、
‐前記少なくとも１つの第１のグループに関連付けられた反射率情報に関する前記少なくとも１つの項目に応じて、前記少なくとも１つの第１のグループによって受光された前記入射光の量から、前記ポイントＰによって受光された光の量を推定するステップとを含む。

特定の特性によれば、方法は、各第１のポイントに対して、各第１のポイントをその隣接領域の複数の第１のポイントから離間する距離の平均を表す値を推定のステップをさらに含む。前記第１のポイントは、前記第１のポイントの前記位置及び方位を表すそれら推定された値及び情報に応じて、前記グループにグループ化される。前記グループの前記方位を表す方位情報の項目及び前記グループの前記位置を表す位置情報の項目は、各グループに関連付けられる。

有利なことに、当該方法は、
‐各第１のポイントに対して、各第１のポイントをその隣接領域の複数の第１のポイントから離間する距離の平均を表す値を推定するステップと、
‐推定された値と、第１のポイントの前記位置及び方位を表す情報とに応じて、第１のポイントを複数の第２のグループにグループ化するステップと、
‐第２のグループに関する前記方位及び位置情報に応じて、前記第２のグループをグループ化することによって、グループを生成するステップと、を含み、前記第２のグループの前記方位を表す方位情報の項目及び前記第２のグループの前記位置を表す位置情報の項目は、各第２のグループに関連付けられている。

特定の特性によれば、第１のポイントの位置を表す前記情報は、入射方向に応じて、前記光源を第１のポイントから離間する第１の距離の推定によって取得される。推定された前記第１の距離は、前記仮想環境及び前記光源に関連付けられたシャドウマップにおいて記憶される。

有利にも、方法は、前記視点と、前記視点から見える前記環境のポイントとを離間する第２の距離の推定のステップを含む。推定された前記第２の距離は、前記仮想環境及び前記視点に関連付けられた深度マップにおいて記憶される。オクルージョン情報の前記少なくとも１つの項目は、推定された第２の距離から取得される。

添付図面を参照して以下の説明を読むことによって、本発明は、よく理解されるであろうし、他の特異的特徴及び利点が明らかになるであろう。

本発明の特定の実施形態に係る光源によって照明された仮想環境を図式的に示す図である。 本発明の特定の実施形態に係る図１Ａの仮想環境と光源に関連付けられたシャドウマップを示す図である。 本発明の特定の実施形態に係る図１の仮想環境における間接光放射源ポイントのグループ化を図式的に示す図である。 、本発明の特定の実施形態に係る図１の仮想環境における間接光放射源ポイントのグループ化を図式的に示す図である。 本発明の特定の実施形態に係る図１の仮想環境内のポイントで受光された光の量の推定方法を示す図である。 本発明の特定の実施形態に係る図１及び４Ａの仮想環境に関連付けられ且つ図４Ａの視点におけるシャドウマップを示す図である。 本発明の特定の実施形態に係る図１の仮想環境内のポイントで受光された光の量の推定方法を示す図である。 本発明の特定の実装に係る図１の仮想環境内のポイントで受光された光の量の推定方法を実装するデバイスを示す図である。 本発明の特定の実装に係る図１の仮想環境内のポイントで受光された光の量の推定方法を示す図である。

図１は、光源１０によって照明された仮想環境又は仮想シーン１を示している。光源１０によって与えられた光は、光錐１０１を形成する。仮想環境１は、例えば、各々が頂点と自身を構成する端部によって画定された多角形の集合と同化される多角形モデリング、モデルがコントロールバーテックスを介して作成された一連の曲線によって定義されたＮＵＲＢＳ（非一様有理Ｂスプライン、NURBS:Non uniform rational basic spline）タイプの曲線モデリング、表面の細分化によるモデリングによって、当業者に周知のあらゆる方法に応じてモデル化された１つの仮想オブジェクト又はいくつかの仮想オブジェクト１２，１３，１４及び１５を含む。（本当の又な架空の）オブジェクトの（モデル化によって得られた）あらゆる仮想の表示は、現実の環境（例えば、土地、家若しくは家の正面、車、木、すなわち、家、ストリート、町、田舎などの一部等の環境を構成する要素）又は架空を構成する仮想のオブジェクトによって理解される。仮想環境の各オブジェクト１２，１３，１４，及び１５は、それらを包囲する表面によって特徴付けられる。各オブジェクトの表面は、（１つ方向又はいくつかの方向における表面によって反射された入射光の比率に対応する）自身に特有の反射特性を有する。有利なことに、オブジェクトの表面の反射率は、光を反射するオブジェクトのゾーン（表面の１つのポイント又はいくつかのポイントを含む表面のゾーン）に応じて異なる。すなわち、オブジェクトの表面の反射率は一定でない。変形例によれば、オブジェクトの表面の反射率は、オブジェクトの表面の任意の点において一定である。したがって、オブジェクト１２は入射光の量を光源１０から受光し、この入射光は、光源によって照明されたポイント１２１乃至１２ｉによって反射される。ポイント１２１乃至１２ｉは特異点に対応し、又は、変形例によれば、表面の要素に対応する。各表面の要素は、いくつかのポイント（例えば、５、１０、又は２０個のポイント）を含む。図１の説明の残りの部分において、表面のポイントは単一のポイント及び表面の要素の双方を指定する。同様に、オブジェクト１３は、入射光の量を光源１０から受光し、この入射光は、光源によって照明されたポイント１３１乃至１３ｉによって反射される。各ポイントは、単一のポイント又は表面の要素に対応する。オブジェクト１５も、ポイント１５１乃至１５ｉによって反射された入射光の量を受光する。ポイント１５１乃至１５ｉの各々が、単一のポイント又は表面の要素に対応する。各ポイント１２１乃至１２ｉ、１３１乃至１３ｉ、及び１５１乃至１５ｉに関連付けられた表面の要素における法線が黒い矢印によって表されている。光を反射する各表面の要素の法線に対する情報は、所定の方向に応じて反射された光の量を推定するのに有益である。

変形例によれば、仮想環境１は、複数の光源、例えば、１００個、１０００個、１０００００個又は１００００００個の光源によって照明される。

第１の実施形態によれば、光源１０によって照明された第１のポイントと称されるポイントの位置付けは、「境界となるスペース（world space）」と称される仮想環境のスペースにおいてなされ、境界となるスペースにおいて幾何学的座標により表される。この情報は、第１のポイントに関連付けられた反射率情報及び第１のポイントに関連付けられた表面の要素の法線に対する情報に加えて、ＧＰＵｓに関連付けられたメモリに記録されたテーブルから構成されたデータ構造に記録される。これらの記録は、反射記録、法線記録及び位置記録とそれぞれ称される。これらの記録によって、仮想環境１の第１のポイントの設定が参照され得る。当該第１のポイントは、光源１０から仮想環境の他のポイントまで光を反射することができる。これらの他のポイントは光源によって照明され、又は照明されない。表面Ｓは、第１のポイントをリンク付けることによって、画定される。

第２の実施形態によれば、光源１０から見られるような仮想環境１が表示される。光源１０から見られるような仮想環境１を表す情報はシャドウマップ１１において記憶される。有利なことに、シャドウマップは、仮想環境１の第１のポイントの各々に対して、考慮された第１のポイントから光源を離間（separating）する距離を表す情報の項目を含む。図１Ｂは、本発明の特定の実施形態に係るシャドウマップ１１を示している。距離を表す情報は、ベクトル１１００乃至１１０ｉによって表されており、その各々のノルムは、光源と考慮された照明されたポイントとの間の距離に等しい。このように、シャドウマップは、光錐１０によって形成された表面に投影され且つ光源１０の主な照明方向に対して垂直である仮想環境１の第１のポイントに関連付けられた複数のポイントから構成されている。距離光源／第１のポイントを表す情報の項目は、シャドウマップに対応する各ポイントに関連付けられている。距離を表すベクトルによって形成されたシャドウマップの各ポイントをリンクすることによって、光源１０から見られるような表面Ｓ’が取得される。当該表面Ｓ’は、環境の一連の第１のポイントを表している。この表面Ｓ’は、表面Ｓと同様に、環境の一連の第１のポイント、すなわち光源１０によって照明された仮想環境のポイントを表している。仮想環境の一連のポイントをも表しているこの表面Ｓ’は、表面Ｓと同様に、光源１０から仮想環境の他のポイントまで光を反射することができる。これらの他のポイントは光源によって照明され、又は照明されない。有利なことに、距離を表す情報に加えて、第１のポイントの各々に関連付けられた表面の要素の反射率をそれぞれ表す情報、すなわち、シャドウマップのスペースにおける第１のポイントの位置の情報と、第１のポイントの各々に関連付けられた表面の要素における法線情報とは、シャドウマップ１１において記憶される。よって、表面Ｓ’は、シャドウマップのスペースにおける表面Ｓの表示に対応する。シャドウマップの使用は、仮想環境によって受光された光の量の推定に必要とされる計算を低減するという利点を有して、そして、仮想環境のポイントによって受光された光の量を推定するのに必要とされる計算を低減するという利点を有する。シャドウマップに起因して、仮想環境のポイントが光源１０によって照明されるか否かを知るために、このポイントを光源から離間する距離及びそれが属する入射方向を知ることは十分である。一方ではポイント及び光源によって形成され、他方では仮想環境のオブジェクトによって形成されたラインの間の交点の計算は、必要でない。よって、必要とされる計算量が低減される。

図２は、図１で表された仮想環境１を示している。当該仮想環境１に対して、第１のポイントが、光源１０によって照明されたいくつかのポイントを含むポイントのグループにともにグループ化され且つ受光された入射光を反射することができる。第１のポイントのかかるグループ化は、大域的照明の推定に必要とされる計算量を低減するという利点を有する。実際、仮想環境１の大域照明の推定のために、仮想環境１の各第１のポイントが、間接光源であるものとして考慮されている。当該間接光源は、仮想環境の一つ又はいくつかの他のポイントを間接的に照明することができる。かかる反射の計算は、入射光ソースの数が増加するので、計算パワー及び／又は計算時間に関して、よりコスト的である。間接照明が表面上でわずかに変動すること及び照明が表面上で変化することを考慮することは、隣接する表面に関する距離に直接的に関連しており、仮想環境１の照明の品質を保持しつつ、それらをコヒーレントにグループ化することによって入射光を反射する光源の数を減少させることは可能である。各間接光源に対して、すなわち受光された入射光を反射する各光源に対して、すなわち（シャドウマップのスペース内の場合、表面Ｓ’の）表面Ｓの各第１のポイントに対して、考慮された光源を包囲する表面Ｓ（それぞれＳ’）の第１のポイントへの平均距離が評価される。これを実行し且つ計算を加速せしめるために、表面Ｓ（それぞれＳ’）に属する間接光源の付近の第１のポイントは、境界となるスペースにおいて（それぞれシャドウマップのスペースにおいて）抽出される。そして、それらの相対的位置に基づいて、考慮された間接光源と、隣接する第１のポイントとの間の平均距離が計算される。間接光源の近傍によって、閾値未満の間接光源からの距離において、例えば、２５ｃｍ未満、５０ｃｍ未満又は１ｍ未満の距離において位置づけられた表面Ｓ（それぞれＳ’）に属する一連の第１のポイントが理解される。別の実施例によれば、間接光源の近傍は、原点として間接光源を有し且つ間接光源上（すなわち、間接光源に関連付けられた表面の要素上）において位置付けられた半球を形成する一連の方向によって定義される。したがって、表面Ｓ（それぞれＳ’）の第１のポイントが、半球を形成する一つの方向と直面するとき、間接光源とこの第１のポイントとの間の距離が計算される。有利なことに、計算され且つ閾値（例えば、２５ｃｍ、５０ｃｍ又は１ｍ）より大なる距離は、考慮された間接光源と、隣接する第１のポイントとの間の平均距離の推定に考慮されない。平均距離が一旦考慮されると、表面Ｓ（又はＳ’）に属する間接光源の光源ポイントを包囲する第１のポイントは、ともにグループ化される。考慮された間接光源のポイントによりグループ化された第１のポイントは、閾値未満（例えば、０を除いた平均距離の０乃至１倍の距離未満）の間接光源からの距離において位置づけられたものである。仮想環境１の第１のポイントをグループ化するポイントのグループは、間接光源ポイントを中心として有し且つ考慮された間接光から光源の隣接する第１のポイントの平均距離に比例する値の半径を半径として有するディスク２２１乃至２２ｉ、２３１乃至２３ｉ、又は２５１乃至２５２によって有利に表される。
これらの操作は、間接光の光源ディスクを形成する一連のポイントのグループが形成されるまで、各第１のポイント、すなわち仮想環境１の間接光の各光源ポイントに対して有利にも繰り返される。ディスクの数は第１のポイントの数に等しい。変形例によれば、これらの操作は、第１のポイント、すなわち仮想環境１の間接光の光源ポイントの数だけ繰り返される。この変形例によれば、ディスクの数は第１のポイントの数より少ない。この変形例によれば、例えば、１０のうちの１つの第１のポイントがとられる。この変形例に対して選択された第１のポイントは例えば、表面Ｓ（又はＳ’）上において均一に分布されている。光源１０の円錐によって形成され且つ光源１０の主な照明方向に対して垂直である間接光のこれらの光源ディスクを表面上に映し出すことによって、間接光２１を放つディスクのマップが取得される。各ディスクに関連付けられた反射特性は、ディスクに属する第１のポイントの反射率の平均に有利にも対応している。

変形例によれば、ポイントのグループの形態は、ディスクとは異なり、例えば、正方形の表面、長方形の表面、卵形の表面又はあらゆる幾何学的形態を有する他のあらゆる表面である。

図３は、図２で表された仮想環境１を示している。当該仮想環境１に対して、ポイント（又はディスク）のグループが、第１のポイントのいくつかのグループを含む第２のグループのポイントにグループ化される。ポイントのかかるグループ化は、大域的照明の推定に必要とされる計算量をはるかに低減するという利点を有する。

第１の実施形態によれば、第２のグループのポイントの形成が、以下の通り、実行される。放射ディスクのマップの第１のディスクが選択される。選択されたディスクを包囲するディスクは、それらが第１のディスクとグループ化されなければならないかどうかを定義するために、一つずつテストされる。ディスク（又はポイントのグループ）は、それが以下の条件に適合する場合、第１のディスク（又はポイントのグループ）に追加される。

‐追加さえるべきディスクの位置が、例えば、第１のディスクの２倍又は３倍といった閾値未満の第１のディスクの中心からの距離に存在する。

‐追加されるべきディスクの方位が、第１のディスクの方位とはあまり異なっていない。

追加されるべきディスクがこれらの条件に適合しない場合、ディスクは第１のディスクに追加されない。追加されるべきディスクがこれらの条件に適合しない場合、ニットが第１のディスクに追加され、ともにグループ化された２つのディスクが第２のグループを形成する。当該第２のグループの中心は、それを構成する２つのディスクの重心に対応する。そして、別のディスクは、それが形成された第２のグループに追加されるべきであるかどうかを知るためにテストされる。第１のディスクに近接し且つ上記規定された条件適合するすべてのディスクが第２のグループに追加されると、第２のグループに属さない放射源の頂点から別のディスクが選択され、周囲のディスクは、別の第２のグループを形成することに関して、順番にテストされて、追加される。したがって、段階的に、放射源ディスクのマップのすべてのディスクがテストされて、第２のグループにグループ化される。新たに形成された第２のグループは、以下の事項により定義される。

‐第２のグループの中心及び方位は、第２のグループのポイント３２１を形成するポイント（又はディスク）２３１乃至２３５のグループの中心及び方位の平均に対応する。

‐第２のグループのポイントの半径は、第２のグループに追加されたすべてのディスク（又はポイントのグループ）を取り囲むように選択される。

‐第２のグループのポイントの反射率は、それを構成するディスク（ポイントのグループ）の各々の反射率の加重平均に有利にも対応している。重み付けは、例えば、ポイントのグループのサイズにリンクされている（例えばポイントのグループがディスクである場合には半径に応じて）。

このように、第２のグループのポイントＤ１ ３２１は、ディスク２３１乃至２３５をグループ化する。この第２のグループのポイント３２１の重心はポイント３２によって表される。第２のグループのポイントＤ２ ３３１はディスク２３６乃至２３ｉをグループ化する。この第２のグループのポイント３３１の重心はポイント３３によって表される。第２のグループのポイントＤ３ ３４１はディスク２５１乃至２５３をグループ化する。この第２のグループのポイント３４１の重心はポイント３４によって表される。第２のグループのポイントＤ４ ３５１はディスク２２３乃至２２ｉをグループ化する。この第２のグループのポイント３５１の重心はポイント３５によって表される。第２のグループのポイントＤ５ ３６１はディスク２２１と２２２をグループ化する。この第２のグループのポイント３６１の重心はポイント３６によって表される。

第２の実施形態によれば、かかるグループ化を形成するために、間接光放射ディスクのマップは複数のゾーンに細分化され、各ゾーンは、第１のポイントのいくつかのグループを含む。目的は、各ゾーンに対して、考慮されたゾーンの第１のポイントの１つ又はいくつかのディスクをグループ化するポイント３２１，３３１，３４１，３５１，３６１の固有の第２のグループを取得することである。各ゾーンにおいて、このゾーンに属する放射ディスクのマップの第１のディスク（例えば、ディスク２３１）が選択される。そして、ゾーンのディスク（２３２乃至２３５）がこの第１のディスク（２３１）に追加されなければならないかどうか判定するために、グループ化の命令が定義される。考慮されたゾーンのポイントの第２のグループを形成するために、当該命令は、以下の場合に第１のポイント（又はディスク）が第１のディスクに追加され得るということを要求する。

‐追加されるべきポイント（又はディスク）のグループの位置が、例えば、第１のディスクの半径の２倍又は３倍といた閾値未満の第２のディスクの中心からの距離に存在する場合。

‐追加されるべきポイントのグループの方位が第１のディスクの方位とはさほど異なっていない場合。

追加されるべきディスク（又は第１のポイントのグループ）がこの命令を満たさない場合、考慮された第１のポイントのグループはゾーンから削除される。追加されるべきポイント（例えば、２３２）のグループがこの命令を満たす場合、ポイント（例えば、３２１）の第２のグループは、ゾーンの第１のディスク２３１のものに加えて追加されるべきディスク（又はポイントのグループ）２３２の寄与を含むように修正される。考慮されたゾーンの一連のディスク２３１乃至２３５に対して上記規定された命令のテストの終わりにおいて、以下の事項が、形成された第２のグループのポイントに対して取得される。

−第２のグループの中心及び方位が、第２のグループのポイント３２１を形成するポイント２３１乃至２３５のグループの中心及び方位の平均に対応する。

‐第２のグループのポイントの半径は、第２のグループに追加されたすべてポイントのグループを取り囲むように拡張される。

‐追加されるべきポイント２３１のグループの反射率が第２のグループの反射率の推定のために、考慮される。第１のポイントのグループのグループ化の終わりにおいて、第２のグループのポイントを形成するために、第２のグループのポイントの反射率は、それを構成するポイントのグループの各々の反射率の加重平均に有利にも対応している。重み付けは、例えば、グループのサイズに（例えばポイントのグループがディスクである場合には半径の関数として）リンクされている。

放射ディスクのマップのいくつかのゾーンへの細分化には、開始から第２のグループのポイントの数を定義するという利点及びどのディスク（又はポイントのグループ）が所定の第２のグループのポイントを形成しそうであるのかを定義することに関して利点を有する。これにより、グループ化の可能性を制限しつつ、ディスクを第２のグループのポイントにグループ化するのに必要とされる計算が顕著に単純化されることが可能となる。放射ディスクのマップの細分化ゾーンの数は、例えば、ユーザによって調整されて、予め決定され得るパラメータである。

したがって、第２のグループのポイントＤ１ ３２１は、ディスク２３１乃至２３５をグループ化する。この第２のグループのポイント３２１の重心はポイント３２によって表される。第２のグループのポイントＤ２ ３３１はディスク２３６乃至２３ｉをグループ化する。この第２のグループのポイント３３１の重心はポイント３３によって表される。第２のグループのポイントＤ３ ３４１はディスク２５１乃至２５３をグループ化する。この第２のグループのポイント３４１の重心はポイント３４によって表される。第２のグループのポイントＤ４ ３５１はディスク２２３乃至２２ｉをグループ化する。この第２のグループのポイント３５１の重心はポイント３５によって表される。第２のグループのポイントＤ５ ３６１はディスク２２１と２２２をグループ化する。この第２のグループのポイント３６１の重心はポイント３６によって表される。

図４Ａ及び５は、本発明の特定の実施形態に係る仮想環境１のポイントに４３よって受光された光の量の推定方法を示している。当該方法においては、光源１０によって照明された仮想環境１のオブジェクト１２，１３，及び１５によって受光された入射光の反射を考慮に入れている。

図４Ａは、視点４０、例えば、仮想環境１の観覧者から見られるような図１の仮想環境１を示している。図４Ａの実施例によれば、観覧者４０は、観測方向４２に応じて、仮想環境１のポイントＰ４３を見る。ポイントＰ４３は、観測方向４２と、原点として視点４０を有するこの観測方向と直面する仮想環境１の第１のオブジェクト、すなわちオブジェクト１４と、の間の交点に対応する。視点４０から仮想環境１を表示するために、光源１０から受光された光の量及び仮想環境１の第１のポイントによって反射された光の量を含むポイントＰ４３によって受光された光の量は、光源１０から受光された光の反射によってポイントＰの間接照明に貢献する。これを実行するために、視点４０から見える仮想環境１のすべてのポイントをグループ化する表面Ｓ１が定義される。そして、これらの第１のポイントによって受光された間接光の反射によってポイントＰ４３の間接照明に貢献する仮想環境１の第１のポイントは、表面Ｓ１に関連付けられたオクルージョン(occlusion)情報の項目から定義される。これを実行するために、仮想環境１の各第１のポイントに対して、考慮された第１のポイントを原点として有するポイントＰ４３に考慮された第１のポイントをリンクする線によって定義された方向が表面Ｓ１との交点を有するかどうか推定される。先に定義された方向が、表面Ｓ１との交点を有する場合、オクルージョンが存在し、考慮された第１のポイントは、ポイントＰ４３の間接的な照明に寄与する第１のポイントの一部でない。反対の場合においては、すなわち、先に定義された方向が、表面Ｓ１との交点を有しない場合、オクルージョンが存在せず、考慮された第１のポイントは、ポイントＰ４３の間接的な照明に寄与する第１のポイントの一部である。これが、図５に示されている。

図５は、一方では（すなわち光源１０から受光された入射光を仮想環境の他のポイントへ反射することが可能である）第１のポイント間の方向を示しており、他方では第１のポイントを原点として有するポイントＰ４３を示している。したがって、方向５１は、第２のグループのポイントＤ１ ３２１のポイントＰ４３への反射の主方向を表している。方向５２は、第２のグループのポイントＤ４ ３５１のポイントＰ４３への反射の主方向を表している。方向５３は、第２のグループのポイントＤ３ ３４１のポイントＰ４３への反射の主方向を表している。図５において明確に明示されているように、方向５３は、Ｓ２との交点を有するものの、方向５１及び５２は、（視点４０から見える一連のポイントによって定義された）表面Ｓ１との交点を有さない。これは、第２のグループのＤ３ ３４１がポイントＰ４３の間接的な照明に寄与しないものの、第２のグループのポイントＤ１ ３２１及びＤ４ ３５１が光源１０から受光された光源の反射によるポイントＰ４３の間接的な照明に寄与することを意味している。図５は、あるグループへグループ化されて第２のグループへグループ化された仮想環境１の第１のポイントを示している。（図１に示されるような）間接的な照明に寄与する第１のポイント又は（図２に示されるような）ポイントのグループの判定は、同様に、実行される。

第１の実施形態によれば、ポイントＰ４３の間接的な照明に寄与する第１のポイント（又はポイントのグループ若しくはポイントの第２のグループ）の判定は、境界となるスペースにおいて、すなわち、考慮されたポイント（及び／又はポイントのグループを表すポイント、例えば、ポイントグループの重心又は中心）の幾何学的座標からの仮想環境のスペースにおいて実行される。矢印４４は、ポイントＰ４３に対してディスク（又はポイントのグループ）２３１乃至２３５によって受光された入射光の反射を表している。

第２の実施形態によれば、ポイントＰ４３の間接的な照明に寄与する第１のポイント（又はポイントのグループ若しくはポイントの第２のグループ）の判定は、深度マップ４１のスペースにおいて実行される。この第２の実施形態によれば、視点４０から見られるように、仮想環境１が表示される。視点４０から見られるような仮想環境１を表す情報は、深度マップ４１において保存される。深度マップは、視点からの可視的仮想環境１の各可視ポイントに対して、考慮された可視ポイントの視点４０を離間する距離を表す情報の項目を含む。図４Ｂは、本発明の特定の実施形態に係るかかる深度マップ４１を示している。距離を表す情報は、ベクトル４１０乃至４１ｉによって表されている。ベクトル４１０乃至４１ｉのノルムは、視点４０と考慮された可視ポイントとの間の距離と等しい。このように、深度マップは、例えば、視点４０の視界の領域を表す円錐によって形成された表面に投影され且つ視点４０の観測方向に垂直である仮想環境１の可視ポイントに関連付けられた複数のポイントから構成されている。深度を表す情報の項目、すなわち距離視点／可視ポイントの情報の項目は、深度マップの各対応点に関連付けられている。深さを表すベクトルの端部によって形成される深度マップの各ポイントをリンクすることによって、視点４０から見られるような環境の一連の可視ポイントを表す表面Ｓ１´が取得される。この表面Ｓ１´は、表面Ｓ１と同様に、視点からの環境の一連の可視ポイントを表しており、ポイントＰ４３を含む。ポイントＰの間接照明に寄与する第１のポイントがどれであるのかを判定するために、方法は、図４Ａの第１の実施形態に関して説明されたものと同じである。オクルージョン情報の項目は、表面Ｓ１´に関連付けられており、第１のポイントがポイントＰ４３の間接照明に寄与するかどうかを判定するためには、第１のポイント（又はポイントのグループ若しくはポイントの第２のグループ）を第１の先端として有し且つポイントＰ４３を第２の先端として有する線に対応する方向が表面Ｓ１との交点を有するかどうかを判定することは十分である。交点の場合において、考慮された第１のポイント（又はポイントのグループ若しくはポイントの第２のグループ）は、ポイントＰの間接的な照明に寄与しないものの、一方、ポイントＰの間接照明に寄与する。

ポイントＰによって受光された光の量を求めるために、ポイントＰの間接的な照明に寄与する第１のポイント（又はポイントのグループ若しくはポイントの第２のグループ）の各々によって反射された光の量を追加することが残る。第１のポイント（又はポイントのグループ若しくはポイントの第２のグループ）によって反射された光の量は、当業者に知られたあらゆる方法に応じて、第１のポイントによって受光された入射光の量と、考慮された第１のポイントに関連付けられた反射率情報とから求められる。ポイントＰによって受光された全光の量を得るために、ポイントＰが照明環境の第１のポイント、すなわち光源によって直接照明されたポイントである場合、光源１０から受光された入射光の量も、追加されなければならない。

観測方向４２に応じて仮想環境１を見る観覧者によって受光された光の量を取得するためには、ポイントＰによって受光された全体的な光の量によってポイントＰ４３に関連付けられた反射情報を増やすことは十分である。最終的に、観覧者４０によって受光された総光の量を判定するためには、観察方向の各々に応じて受光された光の量が推定され、合計されなければならない。

図６は、仮想環境のポイントにおいて受光された光の量の推定方法に適応されたデバイス６及び１つ又はいくつかのイメージに関する表示信号の生成ハードウェアの実施形態を図式的に示している。デバイス６は、例えば、パーソナルコンピュータＰＣ、ラップトップ又はゲームコンソールに対応する。デバイス６は、クロック信号をも送信するアドレス及びデータのバス６５によって互いに接続された以下の要素を含む。

‐マイクロプロセッサ６１（又はＣＰＵ）、
‐以下を含むグラフィックカード６２、
・いくつかのグラフィックプロセッサユニット（又は、ＧＰＵｓ）６２０
・グラフィッカルランダムアクセスメモリ（ＧＲＡＭ）６２１
‐ＲＯＭ（ＲＯＭ）タイプの不揮発性メモリ６６、
‐ランダムアクセスメモリ又はＲＡＭ６７、
‐例えば、キーボード、マウス、ウェブカメラ等の１つの又はいくつかのI/O（入力／出力）デバイス６４、及び
‐電源６８。

デバイス６は、グラフィックカード６２に直接接続されて、グラフィックカードにおいて計算され且つ構成された合成イメージの表示を、例えば、ライブで表示する表示スクリーンタイプのディスプレイデバイス６３をも含む。ディスプレイデバイス６３をグラフィックカード６２に接続するための専用バスの使用は、より大なるデータ伝送ビットレートを有して、グラフィックカードによって再構成されたイメージの表示に要する待ち時間を低減せしめるという利点を示す。変形例によれば、ディスプレイデバイスは、デバイス６に対して外部にあり、表示信号を送信するケーブルによってデバイス６に接続されている。デバイス６（例えば、グラフィックカード６２）は、例えば、液晶ディスプレイ、プラズマスクリーン又はビデオ光学投影系等の外部表示手段に表示信号を送信するよう適合せしめられた発信手段又は接続手段（図４において図示せず）を含む。

尚、メモリ６２，６６，及び６７の説明で使用される「レジスタ」という用語は、上記メモリの各々において、低容量（いくつかのバイナリデータ）のメモリ領域及び大なる容量を有するメモリ領域の双方を指定する（全てのプログラムが記憶され又は計算されたデータを表すデータの全て若しくは一部が表示され得る）。

スイッチオンされると、マイクロプロセッサ６１が、ＲＡＭ６７に含まれたプログラムの命令ロードし且つ実行する。

ランダムアクセスメモリ６７は、特に、以下を含む。

‐レジスタ６３０においてデバイス６のスイッチを入れる役割を有するマイクロプロセッサ６１のオペレーティングプログラム
‐仮想環境１を表すパラメータ６７１（例えば、仮想環境１のモデル化パラメータ、仮想環境１の照明パラメータ）。

本発明に特有の方法であり後述の方法のステップを実装するアルゴリズムは、これらのステップを実行するデバイス６に関連づけられたグラフィックカード６２のメモリグラム６７において記憶される。スイッチを入れられた時と、環境を表すパラメータ６７０がＲＡＭ６７に一旦ロードされると、グラフィックカード６２のグラフィックプロセッサ６２０は、これらのパラメータをＧＲＡＭ６２１にロードし、例えばＨＬＳＬ（高レベルシェーダ言語（High Level Shader Language））言語又はＧＬＳＬ（ＯｐｅｎＧＬシェーディング言語（OpenGL Shading Language））を用いて、「シェーダ（shader）」タイプのマイクロプログラムの形態におけるこれらのアルゴリズムに関する命令を実行する。

ランダムアクセスメモリグラム６２１は以下を特に含む。

‐レジスタ６２１０における仮想環境１を表すパラメータ
‐光源と仮想環境１の照明されたポイントの間の第１の距離を表す値６２１１
‐視点と、この視点から見える仮想環境１のポイントとの間の第２の距離を表す値６２１２
‐入射光が１つの入射方向又はいくつかの入射方向に応じて仮想環境１によって受光された場合において、量を表す値６２１３
‐仮想環境１の一つのポイント又はいくつかのポイントで受光された光の量を表す値６２１４
‐仮想環境１の一つのポイント又はいくつかのポイントのグループを表すパラメータ６２１５（例えば、構成する（複数の）第１のポイント又はポイントのグループ、（複数の）ポイントのグループの各々によって包囲される表面における法線、（複数の）ポイントのグループの各々に関連付けられた反射率情報の項目、（複数の）ポイントのグループの各々の中心又は重心の位置）。

変形例によれば、ＧＲＡＭ６２１において利用可能なメモリ記憶領域が不十分である場合、ＲＡＭ６７の一部は、値６２１１乃至６２１４及びパラメータ６２１５の記憶のためにＣＰＵ６１によって割り当てられる。しかしながら、この変形例は、ＧＰＵｓに含まれたマイクロプログラムから構成された環境１の表示を含むイメージの構成の際に、より長時間の待ち時間を生じせしめる。これは、データが、バス６５を通過して、グラフィックカードからランダムアクセスメモリ６７へと送信されなければならないからである。当該バス６５においては、送信容量はデータをＧＰＵｓからＧＲＡＭへ転送し且つデータをＧＲＡＭからＧＰＵｓへ転送するグラフィックスカードにおいて利用可能なものよりも一般に劣る。

別の変形例によれば、電力供給６８はデバイス４に対して外部にある。

図７は、本発明の特に有利な非限定的実施形態に係るデバイス６において実装された仮想環境のポイントＰにおいて受光された光の量の推定方法を示している。

初期化ステップ７０の間、デバイス６に関する異なるパラメータは更新される。特に、仮想環境１を表すパラメータは、あらゆる手法によって初期化される。

そして、ステップ７１の間、光源から受光された入射光の量は光源によって照明された仮想環境の（複数の）ポイントのグループの各々に対して推定される。仮想環境は、光源によって照明された１連のポイントを含み、照明されたポイントは、第１のポイントと称される。第１の実施形態において、各グループの（複数の）ポイントは、固有の第１のポイントを含み、受光された入射光の量の推定は、各第１のポイントに対して実行される。第１の変形例によれば、少なくともいくつかのグループのポイントは、いくつかの第１のポイントを含む。同一グループのポイントに属する第１のポイントは、この第１のポイントをそのポイントを包囲するポイントの他の第１のポイントから離間する距離の仮想環境の各々の第１のポイントの推定の後に、再グループ化される。これらの距離が一旦推定されると、考慮された第１のポイントを隣接する領域の他の第１のポイントから離間する距離の平均を表す値は、仮想環境１の第１のポイントの各々に対して推定される。そして、推定された距離の平均を表す値から及び第１のポイントの位置とそれらの方位を表している情報から（すなわち、第１のポイントの各々に関連付けられた表面要素において垂直から）、第１のポイントは、１又はいくつかのグループのポイントに再グループ化される。第１のポイントが、ポイントのグループに一旦再グループ化されると、（すなわち、ポイントのグループによってカバーされた表面において垂直の）ポイントのグループの方位を表す情報の項目は、ポイントの各々のグループの位置及びポイント（例えば、ポイントのグループが円盤を形成する場合にはポイントのグループの中心位置に対応し又はポイントのグループが円盤以外の形態である場合にはポイントのグループの重心位置に対応する）のグループの位置を表す情報の項目に関連付けられる。第２の変形例によれば、いくつかのポイントを含むポイントのグループのうち少なくともいくつかは、第１の変形例において判定されたいくつのグループのポイントを包含する一つの第２のグループ又はいくつかの第２のグループのポイントを形成するよう再グループ化される。第２のグループを形成するのに再グループ化されるのに選択されるポイントのグループ又はポイントのグループが、これらのグループのポイントの各々に関連付けられた方位情報及び位置情報に応じて選択される。第２のグループのポイントが一旦形成されると、ポイントのグループによって受光された光の量の推定は、ポイントのグループの再グループ化から形成されたポイントの第２のグループによって受光された光の量の推定に対応する。

そして、ステップ７２の間、所定の視点から見える可視環境の一連のポイントを再グループ化する表面が判定される。受光された光の量が判定されるポイントＰはこの表面に属する。

そして、ステップ７３の間、ポイントの一つの第１のグループ又はいくつかの第１のグループは、ポイントの複数のグループ（及び／又はポイントの複数の第２のグループ）の間において判定される。判定された第１のグループは、受光された入射光の反射によってポイントＰの照明に貢献するものである。この判定は、ステップ７２において定義された仮想環境の見えるポイントに応じて、実行される。ポイントのグループをポイントＰに接続する線が、可視ポイントの表面と交点を全く有しない場合、ポイントのグループはポイントＰの照明に寄与するものと考慮される。この線が可視ポイントの表面との交点を有する場合において、ポイントのグループは、ポイントＰの照明に寄与しないものと考慮される。可視ポイントの線と表面の間において、交点が存在するかどうかを判定するために、計算は、境界となる空間において考慮されたポイントの座標を使用して実行される。変形例によれば、計算を低減するために、交点の存在の判定に要求される計算は、仮想環境１及び考慮された視点に関連付けられた深度マップのスペースにおいて実行される。

最終的に、ステップ７４の間、ポイントＰによって受光された光の量は、ポイントＰの照明に寄与する（複数の）ポイントのグループの各々によって受光された入射光の量から推定され、ポイントＰの照明に寄与する（複数の）ポイント群の各々に関連付けられた反射率情報の項目から推定される。

当然ながら、本発明は、先に説明された実施形態に限定されない。

特に、本発明は、仮想環境のポイントＰで受光された光の量の推定方法に限定されないし、この方法を実装するあらゆるデバイスにも拡張し、少なくとも１つのＧＰＵを含むあらゆるデバイスにも及ぶ。

ポイントＰによって受光された光の量の推定に必要な計算の実装は、シェーダタイプのマイクロプログラムの実装に限定されず、あらゆるタイプのプログラム、例えばＣＰＵタイプのマイクロプロセッサによって実行され得るプログラムにおける実装にも及ぶ。

本発明の利用は、ライブの利用に限定されないが、しかし、例えば、合成画像を表示するためのレコーディングスタジオにおいて処理するポストプロダクションとして知られる処理等のあらゆる他の利用にも及ぶ。ポストプロダクションにおける発明の実装は、特に必要とされる計算時間を低減しつつ、リアリズムに関して優れた視覚的表示を提供するという利点を示す。

また、本発明は、二次元又は三次元ビデオ画像を構成する方法に関する。当該二次元又は三次元ビデオ画像に対して、いくつかの観測方向に応じて視点から見えるあらゆるポイントＰによって受光された光の量が計算され、生ずる光を表す情報が画像のピクセルを表示するのに用いられ得る。各々のピクセルが観測方向に対応する。画像のピクセルの各々によって表示するために計算された光の値は、観覧者の異なる視点に適応するよう再計算される。

本発明は、ＰＣ若しくは形態型コンピュータにおいて又は画像をライブで生成し且つ表示する特殊ゲーム機において実行され得るプログラムを介するか否かに関わらず、例えば、テレビゲームアプリケーションに使用され得る。図４に関して説明したデバイス４は、キーボード及び／又はジョイスティック等のインタラクション手段を有利にも備えられている。例えば、音声認識等のコマンドを導入する他のモードも可能である。
［付記１］
仮想環境（１）のポイントＰ（４３）において受光された光の量を推定する方法であって、
前記仮想環境（１）は、光源（１０）によって照明された複数の第１のポイント（１２１乃至１２ｉ、１３１乃至１３ｉ、１５１乃至１５３）を含み、前記第１のポイントは、複数のグループを形成し、前記複数のグループの各々は、少なくとも１つの第１のポイントを含み、前記方法は、
‐各グループに対して、受光された入射光の量を推定するステップ（７１）と、
‐視点（４０）から見える前記仮想環境の前記ポイントのうち少なくともいくつかをグループ化し且つ前記ポイントＰ（４３）を含む表面（４１）を推定するステップと、
‐前記表面（４１）に関連付けられたオクルージョン情報に関する少なくとも１つの項目に応じて、前記光源から受光された前記入射光の反射によって前記ポイントＰ（４３）の前記照明に寄与する前記複数のグループのうち少なくとも第１のグループ（３２１，３５１）を推定するステップと、
‐前記少なくとも１つの第１のグループに関連付けられた反射率情報に関する前記少なくとも１つの項目に応じて、前記ポイントＰ（４３）によって受光された光の量を、前記少なくとも１つの第１のグループ（３２１，３５１）によって受光された前記入射光の前記光の量から推定するステップと
を含むことを特徴とする方法。
［付記２］
前記表面（４１）は、前記視点（４０）から見える前記仮想環境の各ポイントと、前記視点（４０）とを離間する距離を表す深度マップから推定されることを特徴とする付記１に記載の方法。
［付記３］
各々の第１のポイントに対して、当該各第１のポイントをその隣接領域の複数の第１のポイントから離間する距離の平均を表す値を推定するステップをさらに含み、
前記第１のポイントは、前記推定された値と、第１のポイントの前記位置及び方位を表す情報とに応じて、前記グループにグループ化され、
前記グループの前記方位を表す方位情報の項目及び前記グループの前記位置を表す位置情報の項目が、各グループに関連付けられていることを特徴とする付記１又は２に記載の方法。
［付記４］
‐各第１のポイントに対して、各第１のポイントをその隣接領域の複数の第１のポイントから離間する距離の平均を表す値を推定するステップと、
‐前記第１のポイントを、前記推定された値と、第１のポイントの前記位置及び方位を表す情報とに応じて、複数の第２のグループにグループ化するステップと、
‐第２のグループに関する前記方位及び位置情報に応じて、前記第２のグループを再グループ化することにより、前記グループを生成するステップと、を含み、
前記グループ化するステップにおいて、前記第２のグループの前記方位を表す方位情報の項目及び前記第２のグループの前記位置を表す位置情報の項目は各第２のグループに関連付けられていることを特徴とする付記１又は２に記載の方法。
［付記５］
前記第１のポイントの前記位置を表す前記情報は、入射方向に応じて前記光源を前記第１のポイントから離間する第１の距離の推定によって取得され、
前記第１の推定された距離は、前記仮想環境（１）及び前記光源（１０）に関連付けられたシャドウマップ（１１）において記憶されることを特徴とする付記３に記載の方法。
［付記６］
前記視点と、前記視点から見える前記環境の前記ポイントとを離間する第２の距離の推定のステップをさらに含み、前記第２の推定された距離は、前記仮想環境（１）及び前記視点（４０）に関連付けられた深度マップ（４１）において記憶され、オクルージョン情報の前記少なくとも１つの項目は、前記第２の推定された距離から取得されることを特徴とする付記１乃至５のいずれかに記載の方法。

Claims (6)

1. 仮想環境のポイントＰにおいて受光された光の量を計算する方法であって、
   前記仮想環境は、光源によって照明された複数の第１のポイントを含み、前記第１のポイントは、複数のグループを形成し、前記複数のグループの各々は、少なくとも１つの第１のポイントを含み、前記方法は、
   ‐各グループに対して、受光された入射光の量を計算するステップと、
   ‐視点から見える前記仮想環境の前記ポイントのうち少なくともいくつかをグループ化する表面を決定するステップであって、前記表面は前記ポイントＰを含み、前記表面は前記視点から見える前記仮想環境の各ポイントと前記視点とを離間する距離を表す深度マップから決定される、ステップと、
   ‐前記表面に関連付けられたオクルージョン情報の少なくとも１つの項目に従って、前記光源から受光された前記入射光の反射によって前記ポイントＰの前記照明に寄与する前記複数のグループのうち少なくとも１つの第１のグループを決定するステップと、
   ‐前記少なくとも１つの第１のグループに関連付けられた反射率情報の少なくとも１つの項目に従って、前記ポイントＰによって受光された光の量を、前記少なくとも１つの第１のグループによって受光された前記入射光の量から計算するステップと、
   を含む、前記方法。
2. 各第１のポイントに対して、当該各第１のポイントをその隣接領域の複数の第１のポイントから離間する距離の平均を表す値を計算するステップをさらに含み、
   前記第１のポイントは、前記計算された値と、前記第１のポイントの位置及び方位を表す情報とに従って前記グループにグループ化され、
   前記グループの前記方位を表す方位情報の項目及び前記グループの前記位置を表す位置情報の項目が、各グループに関連付けられている、請求項１に記載の方法。
3. ‐各第１のポイントに対して、各第１のポイントをその隣接領域の複数の第１のポイントから離間する距離の平均を表す値を計算するステップと、
   ‐前記第１のポイントを、前記計算された値と、前記第１のポイントの位置及び方位を表す情報とに従って、複数の第２のグループにグループ化するステップであって、前記第２のグループの前記方位を表す方位情報の項目及び前記第２のグループの前記位置を表す位置情報の項目は各第２のグループに関連付けられている、ステップと、
   ‐第２のグループの前記方位及び位置情報に従って、前記第２のグループを再グループ化することにより、前記グループを生成するステップと、
   を含む、請求項１に記載の方法。
4. 前記第１のポイントの前記位置を表す前記情報は、入射方向に従って前記光源を前記第１のポイントから離間する第１の距離の計算によって取得され、
   前記第１の距離は、前記仮想環境及び前記光源に関連付けられたシャドウマップにおいて記憶される、請求項２に記載の方法。
5. 前記視点と、前記視点から見える前記環境の前記ポイントとを離間する第２の距離を計算するステップをさらに含み、前記第２の距離は、前記仮想環境及び前記視点に関連付けられた深度マップにおいて記憶され、オクルージョン情報の前記少なくとも１つの項目は、前記第２の距離から取得される、請求項１乃至４のいずれかに記載の方法。
6. 仮想環境のポイントＰにおいて受光された光の量を計算するように構成されたデバイスであって、前記仮想環境は、光源によって照明された複数の第１のポイントを含み、前記第１のポイントは、複数のグループを形成し、前記複数のグループの各々は、少なくとも１つの第１のポイントを含み、前記デバイスは、
   ‐各グループに対して、受光された入射光の量を計算し、
   ‐視点から見える前記仮想環境の前記ポイントのうち少なくともいくつかをグループ化する表面を決定し、前記表面は前記ポイントＰを含み、前記表面は前記視点から見える前記仮想環境の各ポイントと前記視点とを離間する距離を表す深度マップから決定され、
   ‐前記表面に関連付けられたオクルージョン情報の少なくとも１つの項目に従って、前記光源から受光された前記入射光の反射によって前記ポイントＰの前記照明に寄与する前記複数のグループのうち少なくとも１つの第１のグループを決定し、
   ‐前記少なくとも１つの第１のグループに関連付けられた反射率情報の少なくとも１つの項目に従って、前記ポイントＰによって受光された光の量を、前記少なくとも１つの第１のグループによって受光された前記入射光の量から計算する、
   ように構成された少なくとも１つのプロセッサを備えた、前記デバイス。

Images