JP6482193B2

JP6482193B2 - 映像処理装置及び方法

Info

Publication number: JP6482193B2
Application number: JP2014132858A
Authority: JP
Inventors: 民修安; 仁友河; 炯旭李
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-07-16
Filing date: 2014-06-27
Publication date: 2019-03-13
Anticipated expiration: 2034-06-27
Also published as: EP2827302A3; JP2015022761A; EP2827302A2; KR20150009906A; KR102211142B1; EP2827302B1

Description

３次元（３Ｄ）モデルに対する全域照明基盤のレンダリング（Ｇｌｏｂａｌｉｌｌｕｍｉｎａｔｉｏｎ−ｂａｓｅｄｒｅｎｄｅｒｉｎｇ）に関し、より詳細には、ラジオシティ（Ｒａｄｉｏｓｉｔｙ）方式のような間接照明を反映して３Ｄモデルをレンダリングするために３Ｄモデル上にＶＰＬ（ＶｉｒｔｕａｌＰｏｉｎｔＬｉｇｈｔ）をサンプリングする方法に関する。

３Ｄゲーム、仮想現実アニメーション、映画などの様々な分野において３Ｄモデルに対するリアルタイムレンダリングに対する関心が高まっている。このような３Ｄレンダリング方式のうち、全域照明を考慮したラジオシティ方式は、３Ｄモデル内に存在する直接光源による直接照明だけではなく、直接照明がオブジェクトによって反射した反射光や乱反射現象などによる間接照明まで考慮してレンダリング品質を向上させるレンダリング方法である。この場合、３Ｄモデル内の任意の位置に間接照明の効果を代表するＶＰＬを適切に位置付けるＶＰＬサンプリングが求められる。

本発明の目的は、ＣＰＵとＧＰＵを同時に活用する並列演算を用いてレンダリング演算を効率かつ高速に行うことにある。

一実施形態によると、直接光源の視点から少なくとも１つの第１ＶＰＬ（ＶｉｒｔｕａｌＰｏｉｎｔＬｉｇｈｔ）をサンプリングし、前記直接光源の視点と独立的に３Ｄ空間上に第２ＶＰＬをサンプリングするサンプリング部と、前記少なくとも１つの第１ＶＰＬのうち、前記第２ＶＰＬに隣接するものを用いて前記第２ＶＰＬの明度を算出する算出部とを備える映像処理装置が提供される。

一実施形態によると、前記３Ｄ空間をクラスタリングして複数のセルを生成する分割部をさらに含んでもよい。この場合、前記サンプリング部は、前記複数のセルのうち第１セルに前記第２ＶＰＬをサンプリングしてもよい。

一実施形態によると、前記サンプリング部は、前記第１セルに含まれる少なくとも１つの頂点の位置を加重平均して前記第２ＶＰＬの位置を決定したり、または前記第１セルに含まれる複数の頂点により定められる平面の法線を加重平均して前記第２ＶＰＬの法線を決定してもよい。

この場合、前記算出部は、前記第１セルに含まれる少なくとも１つの頂点のカラーを加重平均して前記第２ＶＰＬのカラーを決定してもよい。

一方、一実施形態によると、前記算出部は、前記複数のセルの階層構造を参考して前記少なくとも１つの第１ＶＰＬのうち前記第２ＶＰＬと閾値距離以下に位置する少なくとも１つの隣接ＶＰＬを探索し、前記少なくとも１つの隣接ＶＰＬの明度を加重平均して前記第２ＶＰＬの明度を算出する。

一実施形態によると、前記分割部は、前記３Ｄ空間を回帰的に分割して前記複数のセルを生成し、前記回帰的な分割は、以前ステップで分割して生成された個別セルが予め決定された分割終了条件を満足するまで繰り返し分割してもよい。

一実施形態によると、前記分割部は、前記個別セルの体積が閾値体積以上である場合に前記個別セルを追加的に分割する。

一実施形態によると、前記分割部は、前記個別セルに含まれる頂点数が閾値以上である場合、前記個別セルを追加的に分割してもよい。

また、一実施形態によると、前記分割部は、前記個別セルに含まれる頂点の特性値の最大値と最小値が閾値差以上である場合のうち少なくとも１つの場合に前記個別セルを追加的に分割してもよい。

この場合、前記特性値は、位置座標、法線及びカラーのうち少なくとも１つを含んでもよい。

一方、一実施形態によると、前記分割終了条件は、前記個別セルに含まれる頂点の全てが前記直接光源の位置から可視領域にあると判断されるものであるか、または前記個別セルに閾値密度以上のＶＰＬが予めサンプリングされているものであってもよい。

一実施形態によると、前記分割終了条件は、前記映像処理装置の演算リソース性能及び要求されるレンダリング品質のうち少なくとも１つによって適応的に設定されてもよい。例えば、映像処理装置の演算リソースに余裕のある場合及び／または要求されるレンダリングの品質が高いレベルである場合には、前記分割終了条件を厳しく設定して、より多いＶＰＬがサンプリングされるようにする。

一方、一実施形態によると、前記サンプリング部及び前記算出部は、前記映像処理装置に含まれるＣＰＵに含まれてもよい。また、前記映像処理装置は、前記直接光源、前記少なくとも１つの第１ＶＰＬ及び前記第２ＶＰＬを用いて前記３Ｄ空間をレンダリング視点でレンダリングするＧＰＵ（ＧｒａｐｈｉｃＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）をさらに含んでもよい。このようなＣＰＵ及びＧＰＵの並列プロセシングによってＶＰＬサンプリング及び映像レンダリングが高速化され得る。

他の一実施形態によると、レンダリングする３Ｄ空間をクラスタリングして複数のセルを生成する分割部と、直接光源の視点から前記３Ｄ空間内に少なくとも１つの第１ＶＰＬをサンプリングし、前記直接光源の視点と独立的に前記複数のセルに少なくとも１つの第２ＶＰＬをサンプリングするサンプリング部とを含む映像処理装置が提供される。

一実施形態によると、前記分割部は、前記３Ｄ空間を回帰的に分割して前記複数のセルを生成し、前記回帰的な分割は、以前ステップで分割して生成された個別セルが予め決定された分割終了条件を満足するまで繰り返し分割されてもよい。

一実施形態によると、映像処理装置は、前記少なくとも１つの第１ＶＰＬのうち、前記第２ＶＰＬに隣接する少なくとも１つの隣接ＶＰＬの明度を加重平均して前記第２ＶＰＬの明度を算出する算出部をさらに含んでもよい。

他の一実施形態によると、映像処理装置のサンプリング部が、直接光源の視点から少なくとも１つの第１ＶＰＬをサンプリングし、前記直接光源の視点と独立的に３Ｄ空間上に第２ＶＰＬをサンプリングするステップと、前記映像処理装置の算出部が、前記少なくとも１つの第１ＶＰＬのうち、前記第２ＶＰＬに隣接するものを用いて前記第２ＶＰＬの明度を算出するステップとを含む映像処理方法が提供される。

一実施形態によると、映像処理方法は、前記映像処理装置の分割部が、前記３Ｄ空間をクラスタリングして複数のセルを生成するステップをさらに含んでもよい。この場合、前記サンプリングするステップは、前記複数のセルのうち第１セルに前記第２ＶＰＬをサンプリングしてもよい。

一方、前記算出するステップは、前記複数のセルの階層構造を参考して前記少なくとも１つの第１ＶＰＬのうち前記第２ＶＰＬと閾値距離以下に位置する少なくとも１つの隣接ＶＰＬを探索し、前記少なくとも１つの隣接ＶＰＬの明度を加重平均して前記第２ＶＰＬの明度を算出してもよい。

一実施形態によると、直接光源の視点と独立的に、３Ｄ空間の特性を反映して複数のＶＰＬをサンプリングするステップと、前記ＶＰＬを前記３Ｄ空間上に配置するステップと、前記ＶＰＬを用いて前記３Ｄ空間をレンダリングするステップとを含む映像処理方法が提供される。

この場合、前記３Ｄ空間をクラスタリングして複数のセルに分割するステップをさらに含み、前記複数のＶＰＬは、前記３Ｄ空間上の特性に応じて前記複数のセルのうち少なくとも一部にサンプリングされてもよい。

一実施形態によると、前記分割するステップは、前記３Ｄ空間を回帰的に分割して前記複数のセルを生成し、前記回帰的な分割は以前ステップで分割して生成された個別セルが予め決定された分割終了条件を満足するまで繰り返し分割されてもよい。

一実施形態によると、前記予め決定された分割終了条件は、前記個別セルに含まれる頂点の全てが前記直接光源の位置から可視領域にあると判断されること、及び前記個別セルに閾値密度以上のＶＰＬが予めサンプリングされていると判断されること、のうち少なくとも１つを満足してもよい。

一実施形態によると、ＣＰＵとＧＰＵを同時に活用する並列演算を用いてレンダリング演算を効率かつ高速に行うことができる。

一実施形態によると、場面に適応的な間接光効果によって様々なレンダリング環境でもスケーラブルレンダリングを行うことができる。

一実施形態に係る映像処理装置を示すブロック図である。一実施形態に係る映像処理装置がＶＰＬをサンプリングする例示的な３Ｄモデルの斜視図である。図２で示された３Ｄモデルの平面図及び直接光源を示す。一実施形態に係る映像処理装置がＶＰＬをサンプリングする過程を説明するための概念図である。他の一実施形態に係る映像処理装置を示す。一実施形態に係る分割部が３Ｄ空間を分割する過程を説明するための図である。一実施形態に係る個別セルの分割有無判断を説明するための図である。一実施形態に係る映像処理装置でセル内に第２ＶＰＬをサンプリングし、第２ＶＰＬの明度を算出する過程を説明するための図である。一実施形態に係るレンダリング過程で直接光を反映したレンダリング結果を示す。一実施形態によりＶＰＬを用いて間接光を反映したレンダリング結果を示す。図９に示すレンダリング結果と図１０に示すレンダリング結果を全て反映したレンダリング結果を示す。一実施形態に係る映像処理方法を示す。

以下、一部の実施形態を添付する図面を参照しながら詳細に説明する。しかし、このような実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係る映像処理装置を示すブロック図である。映像処理装置１００は、例示的に限定されないように、ラジオシティ方式による全域照明効果をレンダリングに反映するために、光の反射、回折などの自然現象を代表する仮想の点光源（ＶｉｒｔｕａｌＰｏｉｎｔＬｉｇｈｔ：ＶＰＬ）を３Ｄモデル上または３Ｄ空間に配置（明細書の全般的にＶＰＬの配置を「サンプリング」と称する）してもよい。サンプリングは、配置、設置、設定とも表される。このようなＶＰＬによって３Ｄモデル上のオブジェクトのカラー値及び／または明度変化がレンダリングに反映される。

一般的にＶＰＬの個数を多く設定するほどレンダリングの品質は向上するが、演算量が大きく増加してレンダリングの速度は低下することがある。このようなレンダリングの速度を高めてリアルタイムレンダリングを可能にする試みで直接光源の位置及び／または直接光の照射方向を考慮してＶＰＬをサンプリングするラジオシティ高速化方式を考慮した。しかし、直接光が届かない３Ｄオブジェクト領域ではＶＰＬ処理に必要な演算量に比べてレンダリング品質が高くないか、レンダリングの品質向上のためにレンダリング演算量が大きかった。

一実施形態に係る映像処理装置１００は、サンプリング部１１０及び算出部１２０を備える。サンプリング部１１０は、直接光源の位置及び／または照射方向を考慮して少なくとも１つまたは複数の第１ＶＰＬをサンプリングするだけではなく、直接光源の位置及び／または照射方向とは独立的に３Ｄモデル（または３Ｄ場面とも称する）の特性を考慮して少なくとも１つまたは複数の第２ＶＰＬをサンプリングする。

第１ＶＰＬは、従来の方式のように直接光源の位置及び／または照射方向を考慮して３Ｄ場面上にＶＰＬをサンプリングした結果として理解されてもよい。例えば、サンプリング部１１０は、直接光源の位置から直接光の照射方向に３Ｄ空間を眺めた場合の深さ情報、法線情報、位置情報のうち少なくとも１つを用いて２次元（２Ｄ）映像を生成する。そして、サンプリング部１１０は、２Ｄ映像の上に従来の方式によって第１ＶＰＬをサンプリングしてもよい。このようにサンプリングされた第１ＶＰＬは、深さ情報、法線情報、及び位置を用いて３次元として定義される。

サンプリング部１１０は、３Ｄ空間上の特性を考慮して３Ｄ空間内に第２ＶＰＬをサンプリングしてもよい。この第２ＶＰＬは、直接光源の位置や直接光照射方向による可視性とは関係なく、３Ｄ場面の複雑度を考慮して後述する実施形態によりサンプリングされてもよい。したがって、サンプリング部１１０は、直接光源の位置及び／または照射方向を考慮してサンプリングすることに加え、直接光源とは独立して別途の第２ＶＰＬをサンプリングすることによってより事実上映像をリアルタイムレンダリングできるようにする。一方、第２ＶＰＬは、直接光からサンプリングされたものではないため、第２ＶＰＬの明度情報は直接光を用いて直接算出されない場合もある。

算出部１２０は、第２ＶＰＬ周辺の第１ＶＰＬを探索し、探索されたＶＰＬの明度を加重平均することによって第２ＶＰＬの明度を算出する。例示的に、算出部１２０は、直接光を考慮してサンプリングされた第１ＶＰＬのうち、第２ＶＰＬと閾値距離以下に位置する隣接ＶＰＬを探索し、隣接ＶＰＬの明度を加重平均して第２ＶＰＬの明度を算出する。例えば、次の数式（１）を用いて第２ＶＰＬの明度値を算出してもよい。

数式（１）で、Ｉ_{ＶＰＬ＿Ｓｃｅｎｅ}は直接光とは独立的に３Ｄ場面を考慮してサンプリングされた特定の１つの第２ＶＰＬの明度値である。そして、Ｉ_{ＶＰＬ＿ＤＬ（ｉ）}は第２ＶＰＬ周辺のＩ番目に隣接する第１ＶＰＬの明度値であり、ｗ（ｉ）は第１ＶＰＬの明度が第２ＶＰＬの明度に寄与する程度を示す加重値である。このような加重値は、第１ＶＰＬと近いほど、第１ＶＰＬの法線方向が第１ＶＰＬと第２ＶＰＬの位置差ベクトルに一致して影響を多く与えるほど増大する。第２ＶＰＬの明度は第２ＶＰＬ周辺のｎ個の隣接する第１ＶＰＬの明度値を数式（１）のように加重平均して算出してもよい。第２ＶＰＬの生成過程及び明度算出過程については図２〜図４を参照して詳細に後述する。

このようにサンプリング部１１０が直接光を考慮して第１ＶＰＬをサンプリングし、３Ｄ場面を考慮して第２ＶＰＬをサンプリングした後、算出部１２０が第２ＶＰＬの明度情報を提供すると、第１ＶＰＬ及び第２ＶＰＬは全て間接照明の効果を奏するためのＶＰＬとしてレンダリングに用られてもよい。まず、第１ＶＰＬ及び第２ＶＰＬが全てサンプリングされた後には、これをＶＰＬとして取り扱ってラジオシティ方式などでレンダリングする過程は従来のレンダリング過程と同一である。

サンプリング部１１０及び算出部１２０は映像処理装置１００に含まれるＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）に含まれる物理的及び／または論理的な演算リソースによって実現される。第１ＶＰＬ及び第２ＶＰＬを全てサンプリングした後、このようなＶＰＬを用いてレンダリング視点で３Ｄモデルを眺めた映像をレンダリングする過程は、ＣＰＵと区分されるＧＰＵ（ＧｒａｐｈｉｃＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によって並列処理されてもよい。したがって、ＣＰＵとＧＰＵの並列処理によってＶＰＬサンプリング及び映像レンダリングを高速化することができる。このような並列処理によると、ＧＰＵ基盤だけがＶＰＬを生成する従来技術に対比して演算速度が大きく向上し、リアルタイムレンダリングに有利である。また、３Ｄ場面（ｓｃｅｎｅ）に適応的に間接光、例えば、ＶＰＬを生成するため、様々な種類のコンテンツ（３Ｄモデル）に効率よく対応可能であり、ハードウェア性能によるスケール可能なレンダリングを行うことができる。

図２は、一実施形態に係る映像処理装置がＶＰＬをサンプリングする例示的な３Ｄモデルの斜視図である。３Ｄモデル２００には、オブジェクト２１０、オブジェクト２２０及びオブジェクト２３０が六面体の部屋の中に位置し、六面体の部屋は一つの側の壁に隙間２５０が存在する。この六面体の部屋の外部に直接光源が存在して部屋の中を照らし、部屋の内部には直接光源は存在しないものと仮定して説明する。

図３は、図２に示された３Ｄモデルの平面図及び直接光源を示す。直接光源３０１は、六面体の部屋の外部に存在して部屋の中に向かって光を照射する。このような直接光源３０１による効果だけを考慮する場合、光がオブジェクト２１０や部屋の中の床、壁面などから反射したり回折して他の部分、例えば、オブジェクト２２０及び２３０などを照らす間接照明の効果は表現することができない。したがって、このような間接照明の効果、例えば、ソフトシャドウのような効果を表現するためにＶＰＬをサンプリングする。

実施形態に係るＶＰＬサンプリング過程を図４を参照して説明する。

図４は、一実施形態に係る映像処理装置がＶＰＬをサンプリングする過程を説明するための概念図である。映像処理装置のサンプリング部１１０は、図３に示す直接光源３０１の位置及び光照射方向を考慮して第１ＶＰＬ４１１、４１２、４１３をサンプリングする。理解のために図４で第１ＶＰＬは黒点で表示した。第１ＶＰＬ４１１、４１２、４１３などは従来の方式のように直接光源の位置及び／または照射方向を考慮して３Ｄ場面上にＶＰＬをサンプリングした結果として理解されてもよい。

そして、サンプリング部１１０は３Ｄ空間上の特性、例えば、３Ｄ空間上の各位置の幾何学的な複雑度、カラーのようなテクスチャの複雑度などを考慮して３Ｄ空間内に第２ＶＰＬ４２１、４２２などをサンプリングする。理解のために第２ＶＰＬは白点で表示した。このような第２ＶＰＬ４２１、４２２などは前述のように、直接光源３０１の位置や照射方向による可視性と関係なく、３Ｄ場面の複雑度を考慮してサンプリングされる。

例えば、幾何学的な複雑度、例えば、単位体積当たり存在する頂点の数、複数の頂点により定められる平面の法線方向の不一致程度等が大きい部分ほどより多くの第２ＶＰＬがサンプリングされてもよい。幾何学的な複雑度が高い部分は、レンダリング結果の感性的な品質に影響を与える確率が高い部分であるため、このような方法は合理的である。また、カラー情報のようなテクスチャが複雑な部分により複数の第２ＶＰＬがサンプリングされてもよい。幾何学的な複雑度と同様に、カラー複雑度が高い部分を精密に表現することはレンダリングの品質を向上させるために有利である。

一方、このようにサンプリングされた第２ＶＰＬ（例えば、４２２）は直接光に基づきサンプリングされたものではないため、明度情報が直接与えられないことがある。参考として、第２ＶＰＬ４２２の位置はサンプリング点周辺の頂点の位置の加重平均によって求められてもよく、第２ＶＰＬ４２２の法線方向も複数の周辺頂点により定められる平面の法線を加重平均して合理的に算出することができる。さらに、第２ＶＰＬ４２２のカラーも周辺頂点のカラー情報を加重平均して算出することができる。しかし、周辺頂点には明度値は存在しないことがあるため、第２ＶＰＬ４２２の明度値は後述する実施形態に係る他の方式で求めてもよい。

例えば、算出部１２０は第２ＶＰＬ４２２の明度値を算出するため、第２ＶＰＬ４２２のの周辺の一定の距離以下に存在する第１ＶＰＬ４１１及び４１２の明度値及び数式（１）を用いてもよい。ただし、第２ＶＰＬ４２２の明度値を算出するために考慮する第１ＶＰＬは、第２ＶＰＬ４２２から一定の距離以下の第１ＶＰＬであってもよいが、これは一例に過ぎない。例えば、全ての第１ＶＰＬのうち第２ＶＰＬ４２２から近い順に予め指定したｎ個を選択して第２ＶＰＬ４２２のカラー値明度に反映することも可能である。

同様に、第２ＶＰＬ４２２のカラー値を算出するために、算出部１２０は全ての第１ＶＰＬのうち第２ＶＰＬ４２２と一定の距離以下の近い第１ＶＰＬ４１１及び４１２を探索したり、全ての第１ＶＰＬのうち第２ＶＰＬ４２２から近い順に予め指定したｎ個を選択して明度値がカラー値に代替された数式（１）を用いて第２ＶＰＬ４２２のカラー値を算出してもよい。

図１〜図４を参照して説明したように、３Ｄ場面の複雑度を考慮して第２ＶＰＬをサンプリングする過程は３Ｄ空間に対する空間分割によってより体系的に行うことができる。このような実施形態を図５〜図８を参照して説明する。

図５は、他の一実施形態に係る映像処理装置を示す。図１を参照して説明した実施形態における映像処理装置１００の構成に加えて、映像処理装置５００は分割部５１０をさらに含む。分割部５１０は、第２ＶＰＬをサンプリングする過程で３Ｄ場面の複雑度をより体系的に考慮するために３Ｄ空間をクラスタリングして複数のセルに分割する。

分割部５１０は、３Ｄ空間を回帰的に分割して複数のセルを生成していく。このような空間分割及び新しいセルの生成は、繰り返されているセル分割のうち以前ステップの分割を介して予め生成されている個別セルの全てが予め決定された分割終了の条件を満足するまで繰り返し行ってもよい。分割部５１０はまず３Ｄモデルを含む全体空間を分割し、分割されたサブセルを再び分割する形でセルを作る。このような過程で親セルを子セルに分割していく過程は、例示的に２分割、４分割、８分割などの様々な方式で行われる。また、１つの親セルを複数の子セルに分割する過程は子セルの体積が同一になるよう分割してもよく、新しく生成される各子セルに含まれる頂点数が同一になるよう分割してもよい。したがって、セル分割に関して、例示的に説明する一部の実施形態で限定されて解釈されることはない。

理解のために、セルの分割条件と分割終了条件とを区分して説明する。

全体空間を分割する一例として、分割部５１０は、１つの親セルの体積が予め設定された閾値体積以上である場合、親セルを複数の子セルに分割する。この例の分割条件は親セルの体積が異なる例として、閾値体積以上のものである。

分割部５１０は、１つの親セルに含まれる頂点数が閾値以上である場合、親セルを複数の子セルに分割する。この例の分割条件は親セルに閾値以上の個数の頂点が含まれているものである。

他の例として、分割部５１０は、１つの親セルに含まれる頂点の特性値の最大値及び最小値が予め指定される閾値差以上である場合に親セルを分割してもよい。この場合、特性値は、例示的に位置座標、法線及びカラーのうち少なくとも１つを含んでもよい。より具体的に説明すると、１つの親セルに含まれた頂点の座標の最大値及び最小値の差が閾値差以上であれば、当該親セルには頂点の空間的な分布が大きくてセル分割が必要なものと見なす。座標はＸ、Ｙ、またはＺ軸のいずれか１軸の値であってもよく、頂点と座標原点との距離であってもよい。また、１つの親セルに含まれた複数の頂点により定められる平面の法線の差が閾値差以上であるか及び／またはカラー差が閾値差以上である場合、セル分割が行われてもよい。参考として、座標値、法線の差、及びカラー差に対して閾値差は互いに異なる次元を有する他の値にそれぞれ設定されてもよい。

このような方式で分割条件が満足されるセルを繰り返して回帰的に分割し、全体セルが分割終了条件を満足すれば、分割部５１０はセル分割を止める。

一例として、分割終了条件は、分割して生成された複数のセル全てに対して、各個別セルに含まれる頂点の全てが直接光源の位置から可視領域内にあると判断されてもよい。１つのセルに含まれた頂点全てが直接光源の位置で可視領域内にあれば、直接光源を考慮した第１ＶＰＬのサンプリングが当該セル内に予め実行されている場合もあるため、当該セルに対して追加的なセル分割を行わなくてもよい。

他の例として、分割終了条件は、分割し生成された個別セルに対して予め指定された閾値密度以上のＶＰＬが予めサンプリングされるものであってもよい。このような閾値密度設定にも様々な実施形態があり得る。例えば、１つのセルに１つの第１ＶＰＬまたは第２ＶＰＬが予めサンプリングされている場合、閾値密度以上がサンプリングされたものと理解してもよい。これとは異なって、１つのセル内における単位体積当たりサンプリングされたＶＰＬ数を考慮することも可能である。

更なる例として、前記分割終了条件は、前記映像処理装置の演算リソースのハードウェア及び／またはソフトウェア性能に応じて別に設定されてもよい。演算リソースに余裕がある場合、分割終了条件をより厳しく管理し、できるだけセル分割が多く発生するように設定する。これによって、より数多い第２ＶＰＬがサンプリングされてレンダリング結果が向上される。もちろん、このような分割終了条件の弾力的な設定はリアルタイムレンダリングが可能な限度内で行われる。

更なる例として、ユーザによって設定され、ハードウェア特性に応じて決定され、及び／またはレンダリングが行われるアプリケーションによって設定されるレンダリング品質（これをＬＯＤ：ＬｅｖｅｌＯｆＤｅｔａｉｌとも称する）によって分割終了条件が適応的に設定されてもよい。例えば、要求されるレンダリング品質が高いほど多くの第２ＶＰＬがサンプリングされるようにセル分割終了条件をより厳しく設定する。

このように分割部５１０によって空間分割が実行されれば、サンプリング部５２０は各セルに予め指定された数、例えば１つの第２ＶＰＬをサンプリングする。第２ＶＰＬは、例えば、各セルに含まれる頂点に配置されてもよい。一方、特定頂点の上に配置されるのではなく、３Ｄ空間上に配置されることも可能である。例えば、サンプリング部５２０は、第２ＶＰＬをサンプリングしようとする特定セルの第１セルに含まれる頂点の位置を加重平均して第２ＶＰＬの位置を決定してもよい。そして、サンプリング部５２０は、第１セルに含まれる複数の頂点により定められる平面の法線を加重平均して第２ＶＰＬの法線を決定してもよい。

このように空間分割によって生成されたセル内に第２ＶＰＬがサンプリングされれば、算出部５３０はそれぞれの第２ＶＰＬのカラーと明度を算出する。算出部は５３０は、第１セルに含まれる頂点のカラーを加重平均して第２ＶＰＬのカラーを決定してもよい。また、算出部５３０は、サンプリングされた第２ＶＰＬの明度値を周辺にある第１ＶＰＬの明度値の加重平均によって算出し、これは図１〜図４及び数式（１）を参照して上述した通りである。

一方、明度値を算出する第２ＶＰＬ周辺の第１ＶＰＬを早く探索するために、空間分割過程でセルの分割情報を参考してもよい。このようなセルの分割情報は、セルの空間的な分割過程で格納されて管理されるセルの階層的構造情報であってもよい。階層的構造によると、１つのセルと隣接するセルの早い探索が可能であるため、隣接するセルに含まれた第１ＶＰＬがあるかを確認すれば、周辺にある第１ＶＰＬを早く探すことができる。

以上では図５を参照して分割部５１０、サンプリング部５２０及び算出部５３０の動作について説明した。サンプリング部５２０及び算出部５３０の具体的な動作は図５に示す分割部５１０に関する内容と衝突しない限り、図１〜図４を参照して説明した図１に示すサンプリング部５２０及び算出部５３０に対する説明がそのまま参照されてもよい。分割部５１０、サンプリング部５２０及び算出部５３０は、映像処理装置５００内に含まれるＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）に含まれる物理的及び／または論理的演算エレメントによって実現されてもよい。生成されたＶＰＬを用いてレンダリング映像を生成する過程、例えば、直接照明の効果及び間接照明の効果を考慮した結果映像を生成する過程はＣＰＵと別に備えられるＧＰＵによって行われてもよい。したがって、前述のように、ＣＰＵ及びＧＰＵの並列プロセシングによってＶＰＬサンプリング及び映像レンダリングを高速化できる。

図６は、一実施形態に係る分割部が３Ｄ空間を分割する過程を説明するための図である。図５を参照して説明したように、分割部５１０は、３Ｄ空間を回帰的に分割して複数のセルを生成する。図６ではこのような空間的な分割によるセルの生成過程が概念的に示されている。個別セルに対して追加的な分割を行うかの可否を判断する過程は図７を参照して詳細に説明する。

図７は、一実施形態に係る個別セルの分割有無の判断を説明するための図である。分割部５１０は、１つの個別セル７１０に対して追加的な分割を行うか、そうでなければセル７１０をこれ以上分割せず分割を終了するかを決定する。空間が分割される過程で、個別セル７１０に対してセル７１０に含まれる頂点Ｖ_１、Ｖ_２、Ｖ_３などの位置、法線及びカラーなどが格納された情報７２０が参考になってもよい。また、セル７１０内に予めサンプリングされたＶＰＬの情報７３０も用いてもよい。

分割部５１０は、セル７１０に対して分割条件が満足されるかの有無を決定する。一例として、分割部５１０は、セル７１０の体積が予め設定された閾値体積以上である場合にセル７１０をさらに分割し、複数の子セルを生成してもよい。他の例として、分割部５１０はセル７１０に含まれた頂点Ｖ_１、Ｖ_２、Ｖ_３などの数が閾値以上である場合、前記セル７１０を追加に分割して複数の子セルを生成してもよい。

更なる例として、分割部５１０は、１つの親セルに含まれる頂点の特性値の最大値と最小値が予め指定される閾値差以上である場合、前記個別セルを追加的に分割してもよい。例えば、頂点の位置座標（ｘ_１、ｙ_１、ｚ_１）、（ｘ_２、ｙ_２、ｚ_２）、（ｘ_３、ｙ_３、ｚ_３）などを比較し、座標の最大値と最小値が閾値差以上であればセル７１０を追加に分割し、複数の子セルを生成してもよい。座標の最大値と最小値とを比較するときにはＸ軸、Ｙ軸、及びＺ軸のいずれか１軸の座標値の最大値と最小値を比較してもよく、全体値を比較してもよい。また、複数の頂点により定められる平面の法線ベクトル［ｘ_ｎ１、ｙ_ｎ１、ｚ_ｎ１］、［ｘ_ｎ２、ｙ_ｎ２、ｚ_ｎ２］、［ｘ_ｎ３、ｙ_ｎ３、ｚ_ｎ３］などを比較し、法線ベクトルが一定以上に差があれば、セル７１０を追加に分割し、複数の子セルを生成してもよい。例示的に、法線ベクトルの差は、法線ベクトルの内積を比較してもよい。一方、頂点のカラー値（ｒ、ｇ_１、ｂ_１）、（ｒ_２、ｇ_２、ｂ_２）、（ｒ_３、ｇ_３、ｂ_３）などを比較し、カラー差が閾値以上であれば、セル７１０を追加に分割し、複数の子セルを生成してもよい。参考として、前述のように座標値、法線差、及びカラー差に対して前記閾値差は互いに異なる次元を有する他の値にそれぞれ設定されてもよい。

一方、セル７１０に対して分割終了条件が満足する場合、分割部５１０はセル７１０をこれ以上分割しない。分割終了条件の一例として、セル７１０に含まれる頂点Ｖ_１、Ｖ_２、Ｖ_３などの全てが直接光源の位置から可視領域内にあると判断される場合、セル７１０に対しては分割終了条件が満足されたと見なしてもよい。他の例として、セル７１０に対して予め指定された閾値密度以上及び／または閾値数以上のＶＰＬ（ＶＰＬ_１、ＶＰＬ_２、ＶＰＬ_３など）が予めサンプリングされている場合、セル７１０に対しては分割終了条件が満足されたと見なしてもよい。

セル分割及び分割終了に関するさらに詳しい内容は図５を参照して上述した通りである。

図８は、一実施形態に係る映像処理装置でセル内に第２ＶＰＬをサンプリングし、第２ＶＰＬの明度を算出する過程を説明するための図である。理解のために、例示的に分割されたセル９個に対する断面図が図示されている。サンプリング部５２０はセル８０１に予め指定された数、例えば、１つの第２ＶＰＬ８１０をサンプリングする。第２ＶＰＬは、例えば、各セルに含まれる頂点の上に配置されてもよい。特定頂点の上に配置されるのではなく、３Ｄ空間上に配置されることも可能である。例えば、サンプリング部５２０は、第２ＶＰＬ８１０をセル８０１に含まれる頂点８１１、８１２、８１３などの位置を加重平均して第２ＶＰＬ８１０の位置を決定してもよい。そして、サンプリング部５２０は、セル８０１に含まれる頂点８１１、８１２、８１３などの複数の頂点により定められる平面の法線を加重平均した値を第２ＶＰＬ８１０の法線として決定してもよい。

このようにセル８０１内に第２ＶＰＬ８１０がサンプリングされれば、算出部５３０は第２ＶＰＬ８１０のカラー及び明度を算出する。例えば、算出部は５３０は、セル８０１に含まれる頂点８１１、８１２、８１３などのカラーを加重平均して第２ＶＰＬ８１０のカラーを決定してもよい。一方、算出部５３０は、空間分割されたセルの階層的構造を参照し、隣接するセル、例えば、セル８０２及び８０３などを探索し、探索されたセル内に存在する第１ＶＰＬ８２０及び８３０などの明度値を加重平均して第２ＶＰＬ８１０の明度を算出してもよい。このような算出は図１〜図４及び数式（１）を参照して上述した通りである。

図９は、一実施形態に係るレンダリング過程で直接光を反映したレンダリング結果を示す。図５などを参照して上述したように、結果映像のレンダリングは映像処理装置１００または５００に含まれてもよく、ＧＰＵ（図示せず）によって行われてもよい。ＣＰＵリソースに含まれる分割部５１０、サンプリング部５２０及び算出部５３０によって第１ＶＰＬ及び第２ＶＰＬがサンプリングされると並列的に、ＧＰＵは直接照明（図３の３０１）のみを考慮してシェーディングを行うことで直接照明の効果のみを反映した映像９００を生成することができる。

図１０は、一実施形態によりＶＰＬを用いて間接光を反映したレンダリング結果を示す。ＣＰＵリソースに含まれる分割部５１０、サンプリング部５２０及び算出部５３０によって第１ＶＰＬ及び第２ＶＰＬがサンプリングされれば、ＧＰＵは間接照明の効果を考慮した結果映像１０００を生成してもよい。

映像１０００ではＶＰＬを用いてラジオシティ方式によって間接照明の効果が表現される。したがって、光の反射、回折などの物理的な現象を視覚的に類似にレンダリングした結果、例えば、ソフトシャドウなどが提供される。

上述したように、結果映像９００及び結果映像１０００がレンダリングされる過程のうち、少なくとも一部はＣＰＵが空間を分割してＶＰＬをサンプリングする過程と並列的に進行されることで、ＶＰＬサンプリング及び映像レンダリングが高速化され得る。

図１１は、図９のレンダリング結果と図１０のレンダリング結果を全て反映したレンダリング結果を示す。直接照明の効果のみを反映した結果映像９００と間接照明の効果を考慮した結果映像１０００とを合成して最終レンダリング結果映像１１００が生成されてもよい。前述の実施形態によって演算リソースによる結果映像１１００のレンダリング品質は従来に比べて大きく向上した。

図１２は、一実施形態に係る映像処理方法を示す。ステップＳ１２１０では、図９を参照して説明したように、直接光効果のみを考慮した映像、例示的には映像９００がレンダリングされる。このようなレンダリングは、例えば、ＧＰＵによって行われてもよい。一方、ステップＳ１２１０と並列的に、ステップＳ１２２２では３Ｄ空間を、図５を参照して説明したように回帰的かつ繰り返して分割する。このような空間分割するステップは、例えば、ＣＰＵによって並列的に行われてもよい。空間分割に対する詳細な内容は、例えば、セル分割条件及びセル分割終了条件などについて図５〜図７を参照して上述した通りである。

ステップＳ１２２１では、直接光源の視点から第１ＶＰＬがサンプリングされる。このような第１ＶＰＬは直接光によって明度値が算出されるＶＰＬであってもよい。それで、ステップＳ１２２３では分割されたセルに対して第２ＶＰＬがサンプリングされる。このような第２ＶＰＬサンプリングは、例示的には、しかし限定的ではなく、分割されたセルごとに１つずつの第２ＶＰＬをサンプリングする過程であってもよい。この場合、第２ＶＰＬがサンプリングされる第１セルに含まれた頂点の位置を加重平均して第２ＶＰＬの位置を決定してもよい。第１セルに含まれる複数の頂点により定められる平面の法線を加重平均して第２ＶＰＬの法線を決定してもよい。

ステップＳ１２２４では、第１セル内にサンプリングされた第２ＶＰＬのカラー及び明度を算出する。例えば、第１セルに含まれる頂点のカラーを加重平均した値が第２ＶＰＬのカラーに決定されてもよい。また、第２ＶＰＬの明度値は、例えば、第２ＶＰＬの周辺にある第１ＶＰＬの明度値の加重平均によって算出されてもよい。このような過程は、図１〜図４、図８及び数式（１）を参照して上述した通りである。

以上のステップＳ１２２１〜Ｓ１２２４はＣＰＵによって行われてもよい。ＣＰＵは条件分岐による演算処理の高速化に適切であり、レンダリングを行うＧＰＵと並列的に動作して全体レンダリング過程を高速化することができる。

ステップＳ１２３０では、サンプリングされた第１ＶＰＬ及び第２ＶＰＬを反映する映像レンダリングを実行し、このような過程は図５及び図９を参照して説明した通りである。ステップＳ１２４０では、ステップＳ１２１０の直接光効果のみを反映したレンダリング結果と、ステップＳ１２３０の間接光効果を反映したレンダリング結果とを併合して最終レンダリングの結果映像を提供する。

このような処理過程によってＶＰＬが効率よくサンプリングされ、必要な演算リソースに比べて全域照明レンダリングの品質を大きく向上することができる。また、前述のように、ＣＰＵとＧＰＵの並列プロセシングによってＶＰＬサンプリング及び映像レンダリングが高速化され、リアルタイムレンダリングの可能性が極めて高くなる。

以上で説明した装置は、ハードウェア構成要素、ソフトウェア構成要素、及び／またはハードウェア構成要素及びソフトウェア構成要素の組合で実現されてもよい。例えば、実施形態で説明されたソースノード、リレーノード及び宛先ノードは、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサー、または、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明された場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素及び／または複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合を含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／またはデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１００：映像処理装置
１１０：サンプリング部
１２０：算出部

Claims

直接光源の視点から少なくとも１つの第１ＶＰＬ（ＶｉｒｔｕａｌＰｏｉｎｔＬｉｇｈｔ）をサンプリングし、前記直接光源の視点と独立的に３Ｄ空間上に第２ＶＰＬをサンプリングするサンプリング部と、
前記少なくとも１つの第１ＶＰＬのうち、前記第２ＶＰＬに隣接するものを用いて前記第２ＶＰＬの明度を算出する算出部と、
を備えることを特徴とする映像処理装置。
前記３Ｄ空間をクラスタリングして複数のセルを生成する分割部をさらに含み、
前記サンプリング部は、前記複数のセルのうち第１セルに前記第２ＶＰＬをサンプリングすることを特徴とする請求項１に記載の映像処理装置。
前記サンプリング部は、前記第１セルに含まれる少なくとも１つの頂点の位置を加重平均して前記第２ＶＰＬの位置を決定し、または前記第１セルに含まれる前記頂点の法線を加重平均して前記第２ＶＰＬの法線を決定することを特徴とする請求項２に記載の映像処理装置。
前記算出部は、前記第１セルに含まれる少なくとも１つの頂点のカラーを加重平均して前記第２ＶＰＬのカラーを決定することを特徴とする請求項２または３に記載の映像処理装置。
前記算出部は、前記複数のセルの階層構造を参考して前記少なくとも１つの第１ＶＰＬのうち前記第２ＶＰＬと閾値距離以下に位置する少なくとも１つの隣接ＶＰＬを探索し、前記少なくとも１つの隣接ＶＰＬの明度を加重平均して前記第２ＶＰＬの明度を算出することを特徴とする請求項２〜請求項４のいずれか１項に記載の映像処理装置。
前記分割部は、
前記３Ｄ空間を回帰的に分割して前記複数のセルを生成し、
前記回帰的な分割は、以前ステップで分割して生成された個別セルが予め決定された分割終了条件を満足するまで繰り返し分割することを特徴とする請求項２〜請求項５のいずれか１項に記載の映像処理装置。
前記分割部は、前記個別セルの体積が閾値体積以上である場合、前記個別セルに含まれる頂点数が閾値以上である場合、及び前記個別セルに含まれる頂点の特性値の最大値と最小値が閾値差以上である場合のうち少なくとも１つの場合に前記個別セルを追加的に分割し、
前記特性値は、位置座標、法線及びカラーのうち少なくとも１つを含むことを特徴とする請求項６に記載の映像処理装置。
前記分割終了条件は、前記個別セルに含まれる頂点の全てが前記直接光源の位置から可視領域にあると判断されるものであるか、または前記個別セルに閾値密度以上のＶＰＬが予めサンプリングされているものであることを特徴とする請求項６または７に記載の映像処理装置。
前記分割終了条件は、前記映像処理装置の演算リソース性能及び要求されるレンダリング品質のうち少なくとも１つによって適応的に設定されることを特徴とする請求項６〜請求項８のいずれか１項に記載の映像処理装置。
前記サンプリング部及び前記算出部は、前記映像処理装置に含まれるＣＰＵに含まれ、
前記映像処理装置は、前記直接光源、前記少なくとも１つの第１ＶＰＬ及び前記第２ＶＰＬを用いて前記３Ｄ空間をレンダリング視点でレンダリングするＧＰＵ（ＧｒａｐｈｉｃＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）をさらに含むことを特徴とする請求項１〜請求項９のいずれか１項に記載の映像処理装置。
レンダリングする３Ｄ空間をクラスタリングして複数のセルを生成する分割部と、
直接光源の視点から前記３Ｄ空間内に少なくとも１つの第１ＶＰＬをサンプリングし、前記直接光源の視点と独立的に前記複数のセルに少なくとも１つの第２ＶＰＬをサンプリングするサンプリング部と、
を含むことを特徴とする映像処理装置。
前記分割部は、
前記３Ｄ空間を回帰的に分割して前記複数のセルを生成し、
前記回帰的な分割は、以前ステップで分割して生成された個別セルが予め決定された分割終了条件を満足するまで繰り返し分割されることを特徴とする請求項１１に記載の映像処理装置。
前記少なくとも１つの第１ＶＰＬのうち、前記第２ＶＰＬに隣接する少なくとも１つの隣接ＶＰＬの明度を加重平均して前記第２ＶＰＬの明度を算出する算出部をさらに含むことを特徴とする請求項１１または１２に記載の映像処理装置。
映像処理装置のサンプリング部が、直接光源の視点から少なくとも１つの第１ＶＰＬをサンプリングし、前記直接光源の視点と独立的に３Ｄ空間上に第２ＶＰＬをサンプリングするステップと、
前記映像処理装置の算出部が、前記少なくとも１つの第１ＶＰＬのうち、前記第２ＶＰＬに隣接するものを用いて前記第２ＶＰＬの明度を算出するステップと、
を含むことを特徴とする映像処理方法。
前記映像処理装置の分割部が、前記３Ｄ空間をクラスタリングして複数のセルを生成するステップをさらに含み、
前記サンプリングするステップは、前記複数のセルのうち第１セルに前記第２ＶＰＬをサンプリングすることを特徴とする請求項１４に記載の映像処理方法。
前記算出するステップは、前記複数のセルの階層構造を参照して前記少なくとも１つの第１ＶＰＬのうち前記第２ＶＰＬと閾値距離以下に位置する少なくとも１つの隣接ＶＰＬを探索し、前記少なくとも１つの隣接ＶＰＬの明度を加重平均して前記第２ＶＰＬの明度を算出することを特徴とする請求項１５に記載の映像処理方法。
映像処理装置の作動方法であって、
直接光源の視点と独立的に、３Ｄ空間の特性を反映して複数のＶＰＬをサンプリングするステップと、
前記ＶＰＬを前記３Ｄ空間上に配置するステップと、
前記ＶＰＬを用いて前記３Ｄ空間をレンダリングするステップと、
を含むことを特徴とする映像処理装置の作動方法。
前記３Ｄ空間をクラスタリングして複数のセルに分割するステップをさらに含み、
前記複数のＶＰＬは、前記３Ｄ空間上の特性に応じて前記複数のセルのうち少なくとも一部にサンプリングされることを特徴とする請求項１７に記載の映像処理装置の作動方法。
前記分割するステップは、前記３Ｄ空間を回帰的に分割して前記複数のセルを生成し、前記回帰的な分割は以前ステップで分割して生成された個別セルが予め決定された分割終了条件を満足するまで繰り返し分割されることを特徴とする請求項１８に記載の映像処理装置の作動方法。
前記予め決定された分割終了条件は、前記個別セルに含まれる頂点の全てが前記直接光源の位置から可視領域にあると判断されること、及び前記個別セルに閾値密度以上のＶＰＬが予めサンプリングされていると判断されること、のうち少なくとも１つを満足することを特徴とする請求項１９に記載の映像処理装置の作動方法。