JP5586594B2 - イメージングシステム及び方法 - Google Patents

Description

本発明は、３Ｄ画像の生成のために、データを収集して表示するために使用することができるイメージングシステムの分野に関係している。本発明はまた、複雑な物体の２Ｄ及び３Ｄ動画（animation）を生成するために使用されることもできる。

３Ｄ画像生成の分野は、３Ｄ映画を作成するためのデータを取るのに割く時間によって主に阻害されている。以前は、３Ｄ映画は、本格的な（serious）記録フォーマットと対照的に、新規なものと理解されていた。現在では、３Ｄ画像生成は、ＣＧ画像の生成における重要なツールであると考えられている。

照度差ステレオは、確立した３Ｄ再構成技術である。３Ｄシーンの一連の（典型的には３つ以上の）画像は、異なる方向からの照明のもとで同じ視点から取得される。各画素での強度変化から、その画素に投影する物体の表面の局所的な方向を推定することができる。

全てのこれらの表面方向を積分することにより、表面形状の非常に詳細な推定を得ることができる。何らかの他の再構成法のように、照度差ステレオは、実際の画像に直面したときに、いくつかの困難に直面する。これらの困難のうちの最も重要なものは、画像における陰影（shadow）の常習的な存在である。どんなに慎重に光源を配置したとしても、陰影は、特に複雑な形状の物体では、ほとんど不可避な現象である。

これまでは、陰影は、異なる４つの照明方向からの４以上の画像を使用して処理されてきた。これは、３自由度を要求するだけである局所的な表面方向及びアルベド（albedo）を過剰決定する（over-determine）。これは、陰影（shadowing）が発生するかどうかを判定するために、最小二乗解の剰余（residual）を使用することができることを暗示する。しかしながら、２Ｄ画像が３つだけである場合、余分の拘束はない。それにより、陰影を検出する問題がより難しくなる。さらに、３つの画像の１つにおいて画素が陰になっている（in shadow）場合、大抵の方法は、それを単に破棄する。

本発明は、上記課題を解決するためのものであり、第１の態様では、物体の表面法線の勾配を決定する方法であって、各画像が異なる方向からの照明のもとで取得された、前記物体の３つの２Ｄ画像のデータを受信し、画素からの２つの画像から得られるデータのみがあるように、前記画像のどの画素が陰になっているかを定め、前記２つの画像に関して利用可能な前記データを使用して、陰影画素の表面法線の勾配に関する可能な解の範囲を決定し、前記物体の領域上の勾配場の積分可能性を拘束として使用して、コスト関数を最小化することにより、前記勾配に関する解を選定することを具備する方法を提供する。

上記は、勾配場の積分可能性を強制することにより、物体の陰影部分の表面形状を推定する。

好ましい実施形態では、前記勾配に関する解を選定する方法は、前記物体の表面が連続区分的多項式であるという拘束を使用することを備える。

コスト関数は、最小二乗問題として最小化されてもよい。コスト関数は、勾配ごとの実際の値と領域上での勾配に関する可能な解との間の差を表すことができる。コスト関数は、ノイズを考慮するように構成されてもよい。

解が算出される物体の領域は、一般に、陰影画素及び非陰影画素の両方を含む。さらなる好ましい実施形態では、陰影画素及び非陰影画素の両方に関するデータにノイズがあると想定する。

ノイズは、生成された３次元画像において望まれていないアーチファクトをもたらす。従って、好ましい実施形態では、正則化拘束は、取得されたデータにおけるノイズを補うために適用される。

一実施形態では、ノイズを補うために、コスト関数は、ノイズを補うために使用される正則化パラメータで表される。そして、コストは、正則化パラメータに課され、その結果、画素は、隣接するものの中間点に近い値を持たざるを得なくなる。コストは、正則化パラメータについての１次の微分又はより高次の微分に関して課される。正則化パラメータは、可能な解の直線に沿った長さであって、その線上の固定点からの長さに関連していてもよい。

問題は、２Ｄ勾配空間で表面法線をそれらの勾配で表すことによって定式化されることができ、その結果、可能な解の範囲は、２Ｄ勾配空間での直線に沿って位置する。最小二乗解析に関する拘束は、正則化パラメータで表されてもよく、画素間での正則化パラメータの変化が所定値未満であり、正則化パラメータは、可能な解の直線に沿った長さであって、線上の固定点からの長さである。

例えば、可能な解の範囲は、法線を下記のアルベドスケール化表面法線ｂとして表し、

ここで、ｃは［ｃ_１ ｃ_２ ｃ_３］であり、ｃ_１、ｃ_２及びｃ_３は、前記３つの２Ｄ画像の各々で測定される前記画素のそれぞれの強度を表し、Ｌ＝［Ｉ_１ Ｉ_２ Ｉ_３］^Ｔであり、Ｉ_１、Ｉ_２及びＩ_３は、前記３つの２Ｄ画像の各々に関する前記物体を照らす前記光源の方向を表すベクトルであり、ｉ番目の２Ｄ画像内の画素が陰になっている場合、ｂは、

と表され、ここで、ｅ_ｉは、３×３の単位行列のｉ番目の列であり、Ｄｉは、対角のｉ番目の位置がゼロである単位行列であり、μは、それが陰になっていない場合に有すると考えられるｃ_ｉの値を表し、陰になっている点に関して、該点（ｐ，ｑ）がＰ［Ｌ^−１Ｄ_ｉｃ］とＰ［Ｌ^−１ｅ_ｉ］を結ぶ線として定義される画素のシャドウラインに沿って位置するように、オペレータＰ［ｘ_１ ｘ_２ ｘ_３］＝（ｘ_１／ｘ_３，ｘ_２／ｘ_３）＝（ｐ，ｑ）を使用して、ｂを２Ｄ勾配空間に投影することによって決定されてもよい。

前記方法は、コスト関数を最小化することをさらに備え、コスト関数を最小化することは、パラメータｗを使用して実行され、ここで、ｗは、点（ｐ，ｑ）のシャドウラインに沿ったシャドウライン上の固定点からの距離であり、方法は、∇ｗに関するコストを課すことをさらに備える。

３つの画像のうちのｉ番目の画像において画素が陰になっているかどうかを決定するステップは、全ての画素に関して、強度ベクトルｃの大きさで割られたｉ番目の画像での強度の値が所定値未満であるかどうかを判断することによって実現されてもよい。

前記方法は、画素が陰になっているかどうかを定めることをさらに備えてもよく、画素が陰になっているかどうかを定めることは、画素が陰になっていると判断され、隣接する画素が陰になっていないと判断される可能性を低減するさらなる拘束を導入することによるものである。

前記方法は、画像が３つの方向だけから画像化される場合に使用されることができる。ちょうど３つの画像に関する照度差ステレオを使用することは、不合理に強い制約のように思えるかもしれない。しかしながら、３つの画像のみが利用可能である特別な状況がある。この手法は、カラー照度差ステレオとして知られており、それは、異なる光の周波数帯を有する３つの光源を使用する。シーンがカラーカメラ（colour camera）で撮影されるときには、３つのカラーチャネルは、３つの異なる照度差ステレオ画像を取得する。

形状の取得は、フレームごとに独立に実行されるので、前記方法は、フレーム間で照明を変更することなしに、ビデオシーケンスに使用されることができる。この場合、布や人の顔等の物体を変形させた（deforming）３Ｄ形状を取得することが可能である。

前記方法は、画像化すべき物体から画像データを取得することをさらに備えてもよく、或いは、それは、予め記録された若しくは遠隔で記録されたデータに関して動作してもよい。

第２の態様では、本発明は物体の表面法線の勾配を決定する装置であって、前記方法は、各画像が異なる方向からの照明のもとで取得された、前記物体の３つの２Ｄ画像のデータを受信する手段と、画素からの２つの画像から得られるデータのみがあるように、前記画像のどの画素が陰になっているかを定める手段と、前記２つの画像に関して利用可能な前記データを使用して、陰になっている画素の表面法線の勾配に関する可能な解の範囲を決定する手段と、前記物体の領域上の勾配場の積分可能性を拘束として使用して、コスト関数を最小化することにより、前記勾配に関する解を選定する手段と、を具備する装置を提供する。

前記手段は、上記の機能を実行するように構成されたプロセッサであってもよい。前記手段は３つの画像からデータを受信するが、４以上の画像からデータを受信するように構成されてもよい。しかしながら、前記方法及び装置は、データが２つの画像からの画素に関してのみ利用可能であるように、画素が陰になっている場合にその画素の表面法線の勾配を決定することを主に対象とする。

前記装置は、３つの２Ｄ画像のデータを取得する方法をさらに備えてもよい。

かかる装置は、３つの異なる角度から前記物体を照らす少なくとも３つの光源と、前記物体で反射された前記３つの放射源からの放射を収集するために設けられたカメラと、前記３次元物体のデプスマップを生成するように構成された画像処理器と、を備え、前記各放射源は、異なる周波数で放射を発し、前記画像処理器は、前記３つの異なる放射源からの反射信号を識別するように構成されるカラー照度差ステレオ装置であってもよい。

しかしながら、本発明は、同じ周波数の光を使用して複数の画像が取得されて、異なる照明方向からの画像が順次に取得される標準的な照度差ステレオ技術にも適用することができる。

前記装置は、スタンドアロンとすることができるが、デプスマップから３次元動画像を表示する手段をさらに備えた３Ｄ画像生成装置の一部に組み入れられてもよい。

前述したように、物体は、動くことができ、カメラは、ビデオカメラであってもよい。

システムは、決定された勾配から生成されるデプスマップを動かす（moving）手段を備え、２Ｄ又は３Ｄ動画に使用されてもよい。

システムは、デプスマップにパターンを適用する手段をさらに備えてもよく、この手段は、デプスマップのフレームから物体の３Ｄテンプレートを形成し、フレームの物体上にパターンの位置を決め、後続のフレームにマッチするように、パターンを有するテンプレートを変形させるように構成される。

テンプレートは、テンプレートの変形が初めの取得データのオプティカルフローを構成するフレームに適合しなければならないという拘束を使用して、変形させられてもよい。好ましくは、テンプレートは、データと同じくらい柔軟性のない変形が許す拘束をさらに使用して、変形させられる。

要約すれば、本発明は、３Ｄ再構成、医用画像又は布モデリング（cloth modelling）に使用することができる。

本発明は、以下の好ましい限定されない実施形態を参照して以下に説明される。

図１は、照度差ステレオを実行するように構成された装置の概略図である。 図２は、照度差ステレオを実行するように構成された本発明の一実施形態に従うシステムの概略図である。 図３は、本発明の一実施形態に従う方法を示す流れ図である。 図４は、本発明の一実施形態に従う方法を説明するために使用される２Ｄ勾配空間を示すプロットである。 図５は、合成データに実際に適用される勾配を導出する方法を示す。図５ａは、陰影領域を有する画像化すべき球面の概略図であり、図５ｂは、本発明の実施形態に従う手法を使用して画像化した場合の図５ａの球面を示し、図５ｃは、正則化拘束を使用する本発明のさらなる実施形態に従う手法を使用して画像化した図５ａの球面を示す。 図６は、顔の２Ｄ画像、及び本発明の一実施形態に従って生成される顔のシャドウマスクである。図６ａが顔の２Ｄ画像であり、図６ｂが図６ａの顔のシャドウマスクである。 図７は、本発明の一実施形態に従う方法で使用される方法で使用されるキャリブレーションボードの概略図である。 図８は、実際の物体の画像を示し、この事例では、物体はカエルである。図８ａは、異なる照明方向から得られるカエルの３つの２Ｄ画像を示し、図８ｂは、強度を正規化した図８ａの３つの画像を示し、図８ｃは、本発明の一実施形態に従う陰影の位置を決定する手法を適用した結果を示し、図８ｄは、図８ｃのデータから決定されたシャドウマスクを示し、図８ｅは、本発明の一実施形態に従って実行される、図８ａのカエルの３Ｄ再構成を示す。 図９は、３つの有色の光源によって照らされる白塗りの顔のビデオデータを示す。図９ａは、陰影を無視して生成された３つの３Ｄ画像を示し、図９ｂは、本発明の一実施形態に従って生成された画像の対応する結果を示す。

図１は、物体１を画像化する（image）ために使用される本発明の一実施形態に従うシステムの概略図である。この物体は、相違する３つの光源３、５及び７により照らされる。

本実施形態では、システムは、データに影響を及ぼすバックグラウンド放射を最小にするために、暗い屋内又は屋外に設けられる。３つの光源（light）３、５及び７は、物体１の周囲に横方向に配置され、床面から物体１の高さまでの間のレベルに垂直方向の位置を決められている。光源は、物体１へ向けられている。

３つの光源３、５及び７の間の角距離（angular separation）は、物体１の回転面において約３０度である。光線間の角度が大きくなるほど、向きに依存する色の変化が、よりはっきりと観測される。しかしながら、光源が遠く離れすぎている場合、物体１の凹形状は、そのような形状によって落とされる陰影が物体のより広い部分に及んでデータ解析をより困難にさせることから、識別するのがより困難になる。好ましい配置では、物体１の各部分が３つ全ての光源３、５及び７によって照らされる。

第２の光源５の直下に設置されているカメラ９は、３つの光源３、５及び７によって照らされながら動く物体を録画するために使用される。

図２は、システム全体の概観を示す。動いていることができる物体は、図１を参照して説明した３つの光源３、５及び７によって照らされており、画像がカメラ９によって取得される。

そして、カメラ９の出力は、図２のディスプレイ１３に画像を表示するために、図３のステップＳ１０３、Ｓ１０５、Ｓ１０７及びＳ１０９に従って、受け取ったデータを処理するプロセッサ１１へ供給される。

図３は、本発明の一実施形態に従う方法を示すフローチャートである。ステップＳ１０１では、照度差ステレオ技術を使用してデータが取得される。このデータは、リアルタイムに取得されて直ちに処理されてもよく、或いは、予め記録されたデータからシステムによって取得されてもよい。

図１を参照して説明したように、最低限の３つの光源は、特別な想定なしに、照度差ステレオを実行するために必要とされる。２つの画像のみが利用可能である場合、有意義なデータを得るためには、一定のアルベドを仮定しなければならないと以前は考えられていた。本実施形態では、滑らかに変化するアルベドがあると想定する。より多くの光源が利用可能である場合には、光可視問題（light visibility problem）は、表面をうまく再構成するために、表面の各点が光源の正しい組に割り当てられなければならないラベリング問題（labelling problem）になる。

より現実的な投影の場合への拡張は容易であるが、簡単にするために、データを取得するために使用されるカメラは、（無限遠焦点距離を有していて）正射であると想定する。

正射投影の場合には、ｘｙ平面が画像平面に一致し、さらに、ｚ軸が観察方向に対応するように、世界座標系を調整することができる。そして、カメラの前の表面は、高さ関数Ｚ（ｘ，ｙ）としてパラメータ化されることができる。Ｚ_ｘ及びＺ_ｙをＺの偏導関数とすると、法線は、次のように定義することができる。

これは、（ｘ，ｙ）における表面の局所的な法線である。ｉ＝１．．．３に関して、ｃ_ｉ（ｘ，ｙ）がｉ番目の画像における画素（ｘ，ｙ）の画素強度を示すとする。ｉ番目の画像において、方向がベクトルＩ_ｉで示され且つ分光分布がＥ_ｉ（λ）である遠くの光源によって、表面点（ｘ ｙ Ｚ（ｘ，ｙ））^Ｔが照らされていると想定する。さらに、表面点が反射率関数Ｒ（ｘ，ｙ，λ）に従って種々の波長の入射光を吸収すると想定する。最後に、各波長でのカメラセンサの応答がＳ（λ）で与えられると想定する。そうすると、画素強度ｃ_ｉ（ｘ，ｙ）は、

により与えられる。

この積分の値は、点（ｘ ｙ Ｚ（ｘ，ｙ））^Ｔの表面アルベドとして知られている。これにより、アルベドスケール化法線ベクトル（albedo scaled normal vector）を次のように定義することができる。

照度差ステレオ法は、最小二乗センスでｂについて解くために、（２）の線形拘束を使用する。これから、高さ関数の偏導関数は、関数自体を生成するために積分される。３光源照度差ステレオでは、３つ全ての光源において点が陰になっていない場合、３つの正の強度ｃ_ｉが測定され、これらの各々がｂに関する拘束を与える。Ｌ＝［Ｉ_１ Ｉ_２ Ｉ_３］^Ｔ、且つ、ｃ＝［ｃ_１ ｃ_２ ｃ_３］^Ｔの場合、システムは、
Ｌ^−１ｃ （３）
によって与えられる厳密に１つの解を持つ。

しかしながら、点が陰になっている（in shadow）場合、この点をｉ番目の画像のものとすると、ｃ_ｉの測定値を拘束として使用することができない。各式（２）は３Ｄの面を記述するので、２つの残りの拘束の共通部分（intersection）は、３Ｄの線である。

ｅ_ｉを３×３の単位行列のｉ番目の列とし、Ｄ_ｉを対角におけるｉ番目の位置がゼロである単位行列とすると、ｂの可能な解は、

であり、ここで、μは、スカラーのパラメータである。このパラメータは、点がｉ番目の画像において陰になっていないとした場合にｃ_ｉが持つと考えられる値を表す。

オペレータＰ［ｘ_１ ｘ_２ ｘ_３］＝（ｘ_１／ｘ_３，ｘ_２／ｘ_３）＝（ｐ，ｑ）を使用して、ｂを２Ｄ勾配空間に投影すると、陰になっている点に関しては、その点（ｐ，ｑ）は、Ｐ［Ｌ^−１Ｄ_ｉｃ］とＰ［Ｌ^−１ｅ_ｉ］を結ぶ線として規定される画素のシャドウライン（shadow line）に沿って位置する。

解を与えるために、スケール化法線ｂ_ｊを座標ｐ及びｑを持つ２Ｄ空間にする。オペレータＰ［ｘ_１ ｘ_２ ｘ_３］＝（ｘ_１／ｘ_３，ｘ_２／ｘ_３）は、この投影を達成するために使用され、表面点（ｘ，ｙ，Ｚ（ｘ，ｙ））のスケール化法線ｂは、点Ｐ［ｂ］＝（ｐ，ｑ）に投影する。従って、座標ｐ及びｑは、２つの偏導関数Ｚ_ｘ及びＺ_ｙにそれぞれ等しい。

画像拘束では、データにノイズがないと想定すると、次の３つのケースのうちの１つが起こりうる。

ケース１。２以上の画像において表面点が陰になっている。この場合、画像からのＰ［ｂ］の拘束はない。

ケース２。３つの画像のいずれにおいても表面点が陰になっていない。この場合、（ｐ，ｑ）は、Ｐ［Ｌ^−１ｃ］＝（Ｐ，Ｑ）に一致する。

ケース３。１つの画像のみにおいて表面点が陰になっている。この画像をｉ番目の画像とする。

上述の３つのケースは、画素に関するシャドウラベル（shadow label）と考えることができる。どのシャドウラベルが各画素に適用されるかは、ステップＳ１０３において決定される。シャドウラベルを割り当てる方法については後述する。

説明は、これからケース３に関係している。

図４は、６つの画素の配置を示し、画素１は、ｉ番目の画像において陰になっており、画素２は、どの画像においても陰になっていない。点（ｐ_ｊ,ｑ_ｊ）（黒っぽい点）は、画素ｊの高さ関数の偏導関数を示す。各点（ｐ_ｊ,ｑ_ｊ）に関して、対応するデータ点（白い点）がある。画素２は、隠されておらず、従って、（ｐ_２，ｑ_２）は、そのデータ点（Ｐ_２，Ｑ_２）に可能な限り近くなければならない。しかしながら、画素１は、隠されており、従って、（ｐ_１，ｑ_１）は、そのシャドウライン５７に可能な限り近くなければならない。

取り得る解（potential solution）の範囲がＳ１０５で一線に決定されると、方法は、拘束を使用して解が選定されるステップＳ１０７に進む。拘束は、積分可能性条件の形態をしている。

（ｐ，ｑ）座標は、スカラー場の偏導関数を表すので、（ｐ，ｑ）座標は、各画素に関して独立ではなく、結果として、それらが積分可能性条件を満たさなければならない。高さ関数が連続区分的多項式（continuous piecewise polynomial）であると仮定することにより、積分可能性条件は、ｐとｑとの間の畳み込みの形になる。例えばＺ（ｘ，ｙ）が画素中心Ｚ（ｉ，ｊ）における高さ値の間の線形補間である場合、積分可能性は、次のように表現されることができる。

解を得るために、積分可能性条件を満たしながらノイズのあるデータ（noisy data）とモデルとの間の不一致を最小化する各画素に関する値（ｐ，ｑ）が取得される。

上述したように、画像データｃにおけるノイズのもとで、２Ｄの点（Ｐ，Ｑ）及び（ｐ，ｑ）は、モデルと完全には一致しない。非陰影画素（non-shadowed pixel）に関しては、モデルとデータとの間の相違は、２点間の（point-to-point）二乗差項

によって評価されることができる。

ここで、ｍ_ｉは、Ｌ^−１のｉ番目のベクトルである。上記の式は、ｐ及びｑに関して線形でなく、従って、最小二乗推定値に関する制約のように適していない（mot suitable）。

従って、全ての画素がステップＳ１０３に従って陰影条件（shadow condition）でラベル付けされると、全ての問題を解決するために最小化されるべきコスト関数は、

であり、ここで、Ｓは、非陰影画素（non-shaded pixel）の全てを含み、Ｓ_ｉは、ｉ番目の画像において陰になっている（shaded）画素を含む。

上記のコスト関数は、ｐ及びｑについての二次項であり、従って、積分可能性条件を前提としてこの量の最小値を見つけることは、種々の方法で解くことができる拘束付き線形最小二乗問題である。

ステップＳ１０９では、３Ｄ画像は、決定された勾配から生成される。勾配を知ることにより、物体のデプスマップ（depth map）を決定することが可能になる。デプスマップは、３Ｄ画像を直接に生成するために使用されることができ、或いは、動画（animation）のデータを生成するために使用されることができる。

例えば、上記の方法は、布や髪等のような複雑な動く物体のデータを取得して移動メッシュ（moving mesh）に関するデータを生成するために使用される。移動メッシュは、交連骨格（articulated skeleton）に取り付けられることができる。

スキニングアルゴリズム（skinning algorithm）は、コンピュータアニメーションの技術においてよく知られている。例えば、各頂点ｖ_ｋが多くの骨格関節のうちの１つに付けられて、各関節ｊへのリンクがｗ_ｉ，ｋによって重み付けされるスムーススキニングアルゴリズム（smooth skinning algorithm）が使用されることができる。重みは、次のように、各関節の動きがどれくらい頂点の変換に影響を与えるかを制御する。

メッシュは、まず、固定の衣服又は衣類の他の部分等の奥行きパターンを固定の骨格と合わせ、そして、メッシュ頂点ごとに最近傍の組を骨格に合わせることによって、骨格に取り付けられた。重みは、これらの距離に反比例して設定される。骨格は、公に利用可能なモーキャップ（mocap）データ（カーネギーメロン（Carnegie-mellon）のモーキャップデータベース http://mocap.cs.cmu.edu）を使用して動画にされる（animated）。メッシュは、布の動きについて予め取得されている布シーケンス（cloth sequence）を再生することにより動画にされる。

図５は、合成データに実際に適用される勾配を導出する上述の方法を示す。図５ａは、合成球面を示し、この球面は３方向から照らされており、明るい領域は、画素が３つの画像のうちの１つにおいて陰になっている（shadowed）領域を示す。

図５ｂは、上述の方法を使用して生成された球面の３Ｄ画像を示す。陰影領域（shaded area）の概略の形状は、この領域が非陰影領域（unshaded region）で囲まれるように定められて、うまく生成されている。非陰影領域は、陰影領域（shadowed region）に関する境界条件として働き、問題に唯一の解を与える。スクラッチアーチファクト（scratch artefact）の存在は、図５ｂの陰影領域に見られる。これらは、コスト関数に十分な拘束を導入しない点と線との距離（point-to-line distance）によって生じる。点（ｐ，ｑ）は、全体的なコストのわずかな減少を得るだけのために、対応するシャドウラインに沿った方向にかなり移動することができる。これは、結果として生じる高さ関数における極端な摂動（violent perturbation）に帰着し、摂動は、シャドウラインに垂直に動くディープスクラッチ（deep scratch）として表す。

図５ｃは、正則化（regularisation）スキームが使用される本発明の一実施形態に従って、図５ａのデータから生成された画像を示す。

正則化基準は、上述した線形最小二乗フレームワークと一致し、その結果、非線形拘束が強制されることがなく、それは可能な限り多くのデータを保ちながらノイズを抑制する。

正則化基準の１つの可能な選定は、高さ場（height field）のラプラシアン∇^２ｚを最小化することである。これは、良好なノイズ低減特性を持ち、低い曲率を持つ滑らかでよいふるまいの表面（smooth well behaved surface）を生成することが知られている。しかしながら、ラプラシアンは、等方性があり、なし得る全ての方向に沿って区別なく滑らかにする傾向がある。

例えば、画像処理において知られている非等方性フィルタリング（anisotropic filtering）等のラプラシアンに代わる他の非等方性のものがある。

特定の場合に正則化を達成する改良された方法は、陰影画素ごとに（ｐ，ｑ）空間でシャドウラインの方向に沿って正則化を実行することである。

これは、点と線との間の距離の項を次のように修正することによって達成される。

これは、陰影画素ごとに、その画素のシャドウラインに沿った位置を特定する新たな変数ｗを導入する。この項は、ｐ、ｑ及びｗに関してなおも二次であるが、これは、ノイズが補われることができる方法で解の正則化を可能にする。変数ｗは、次のように、（４）のパラメータμに関連する。

前述したように、μは、画素がその画像において陰になっていないとしたときに評価されるｃ_ｉの値を示す。この方法は、陰影領域内での∇ｗの長さに関するコストを加え、このコストは、２次又はより高次の項に適用されることができる。ｗがμの代用となるので、これは、Ｉ_ｉ ^Ｔｂに滑らかさを導入することに対応する。これは、Ｉ_ｉに垂直な方向への変動性を持たせるが、スクラッチアーチファクトの除去を可能にさせ、正則化手続きを形成する結果は、図５ｃに示される。

図３のステップＳ１０３は、どの画素が陰になっているかの決定を可能にするシャドウマスクを決定することに関係している。

４つ以上の画像を用いる照度差ステレオでは、最小二乗センスでの拘束を満たすスケール化法線を算出することによって陰影を検出することができる。この最小二乗演算の剰余（residual）が高い場合、これは、その画素が陰になっている若しくは最も明るい部分にあることを暗示する。しかしながら、３つの画像を用いる場合、３つの拘束が常に厳密に充足されることができて剰余がなくなるので、これは起こり得ないものになる。

近年、「Chandraker, M et al ”Shadowcuts: Photometric stereo with shadows” Proceedings of Computer Vision and Pattern Recognition, 17-22 June 2007 p 1-8」は、４つ以上の画像を用いる照度差ステレオにおいて陰影にラベル付けするグラフカットに基づくスキーム（graph-cut based scheme）を提案した。拘束剰余に基づいて、特定のシャドウラベルを各画素に割り当てるためのコストが計算された。そして、このコストは、近傍の画素が同様のシャドウラベルを持つことが推奨されるＭＲＦフレームワークにおいて正則化された。

陰影領域（shadow region）の基本特性は、画素強度が暗い（dark）ことである。しかしながら、これは、暗い表面アルベドのために生じることもある。アルベドファクターを取り除くために、画素強度は、強度ベクトルｃの大きさで割られる。画素がｉ番目の画像で隠されるかを決定するためのコストは、ｃ_ｉ／||ｃ||である。これは、その方線がｉ番目の光源方向Ｉｉに略垂直であると画素が誤って識別される可能性をさらに残す。しかしながら、その場合には、画素は、同種の陰影（self shadow）の中にあるものに近接し、従って、分類を誤るリスクは小さい。画素を陰にならない集合に割り当てるコストは

によって与えられる。

コストは、ポッツモデルペアワイズコスト（Potts model pairwise cost）のもとでＭＲＦフレームワークにおいて正則化される。これは、異なるシャドウラベルを与えられた２つの近接する画素に一定のペナルティを割り当てる。ＭＲＦは、ツリーリウェイテッドメッセージパッシングアルゴリズム（Kolmogorov et al. “Convergent Tree-reweighted message passing for energy minimisation” IEEE Trans. Pattern Anal. Mach. Intell. 28 (2006) 1568-1583）を使用して最適化される。

図６ａは、撮像すべき顔を示し、図６ｂは、上述した技術を使用して決定されたシャドウマスクを示す。

上述の説明は、３Ｄ画像を生成するために３つの画像を使用している。これらの３つの画像を得る特に有用な方法は、カラー照度差ステレオを使用することである。ここでは、画像になる物体は、３つの異なる方向から異なる波長で照らされ、３つの波長を識別することができるカメラが使用され、その結果、３つの画像は、同時に得られることができる。典型的には、赤、緑及び青の３色が使用され、これらの色は、物体で反射され、１つのＲＧＢ画像から最小の混合で検出される。

カラー照度差ステレオは、１つの画像に適用されるので、人は、フレーム間で照明を変更する必要なしに、ビデオシーケンスにそれを使用することができる。

カラー照度差ステレオでは、３つのカメラセンサ（Ｒ，Ｇ，Ｂ）の各々は、代表的な照度差ステレオの３つの画像のうちの１つと見なされることができる。ｉ番目のセンサに関する画素（ｘ，ｙ）の画素強度は、

によって与えられる。

センサ感度Ｓ_ｉがセンサごとに異なり、さらに、分光分布Ｅ_ｊが光源ごとに異なることに留意されたい。ＲＧＢ値間の一意的なマッピング及び法線方向を決定することができるように、単色の表面が想定される。従って、Ｒ（ｘ,ｙ,λ）＝α（ｘ，ｙ）ρ（λ）であり、ここで、α（ｘ，ｙ）は、表面点の単色アルベドであり、ρ（λ）は、物質の特有の色度である。

本質的には、各ベクトルｖ_ｊは、源ｊからの光線がカメラにより受光される場合に３つのセンサによって測定される応答を与える。

システムは、複数の方法で調整されてもよい。図７に示されるタイプのキャリブレーションボード（calibration board）が使用されてもよい。このキャリブレーションボード２１は、四角い布２３及び円２５のパターンを備える。ボード２１の移動により、カメラ９と光源３、５及び７との間のホモグラフィ（homography）を算出することが可能となる。ホモグラフィを算出することは、カメラに対する光源方向を算出することを意味する。これがなされると、ズーム及びフォーカスは、色又は光源方向に影響を与えないので、撮影中に変わることができる。布２３は、色と方向との間の関連性を測定することを可能にする。

物質の各方向に対応するＲＧＢ応答を測定することにより、下記の行列が推定されることができる。

最初の較正ルーチンの結果、ボードの種々の既知の方向に関して画像が取得され、最近傍補間が全ての方向に適したデータを決定するために使用されることができるので、考え得る全てのボード方向に関して実行される必要があるわけではない。３×４行列の較正データを提供するために、ちょうど４方向からデータを取得することができる。良好な較正データは、約５０の方向から達成される。しかしながら、較正データは容易に収集されるので、数千もの方向からデータを得ることもある。

他の較正方法では、鏡球面（mirror sphere）が光源方向Ｉ_１、Ｉ_２及びＩ_３を推定するために使用される。次に、カメラの前で動く物体の３つのシーケンスが取得される。各シーケンスでは、一度に３つの光源のうちの１つのみがスイッチを入れられる。ノイズがない場合には、単色の仮定が満たされれば、光源ｊがスイッチを入れられているときは、取得されるＲＧＢトリプレットは、ｖ_ｊの倍数である。

そして、最小二乗フィット（fit）は、方向ｖ_１、ｖ_２及びｖ_３を得るために実行されることができる。３つのベクトルの相対的な長さを得るために、ＲＧＢベクトルの長さの比が使用されることができる。光源ｊがスイッチを入れられる場合、ｖ_ｊの長さは、トリプレットのうちの、ＲＧＢ空間での最大の長さに設定される。

図８は、実際の物体の画像を示し、この事例では物体はカエルである。図８ａは、３つの異なる照明方向から取られた３つの画像を示す。実験では、カエルは、５つの異なる方向から撮影されたが、３つの画像のデータだけが最終的な３次元画像を生成するために使用された。

図８ｄは、図８ｂ及び８ｃに示されるデータを使用して計算されたシャドウマスクである。シャドウマスクの明るい領域は、画像のうちの１つが遮蔽されている領域を示す。これらの陰影領域は、上述した技術を使用して調節される。

図８ｅは、物体の生成された３次元画像である。

図９は、３つの有色の光源によって照らされている白塗りの顔のビデオデータを示す。陰影が考慮されていないビデオシーケンスからの３つの再構成されたフレームが列９ａに示されている。列９ｂは、上述したように陰影が考慮されている対応する３つのフレームを示している。２つの光源のみが陰影領域において可視であるとしても、陰影を正しく処理すると、鼻の再構成が劇的に向上しているのがわかる。

Claims (19)

1. 物体の表面法線の勾配を決定する装置であって、
   各画像が異なる方向からの照明のもとで取得された、前記物体の３つの２Ｄ画像のデータを受信する手段と、
   前記画像のどの画素が陰になっているかを定める手段と、ここで、該画素に関しては２つの画像のデータのみが利用可能である、
   前記２つの画像の利用可能な前記データを使用して、陰影画素の表面法線の勾配に関する可能な解の範囲を決定する手段と、
   前記物体の領域上の勾配場の積分可能性を拘束として使用して、前記可能な解の範囲に基づいて決定されるコスト関数を最小化することにより、前記勾配に関する解を選定する手段と、を具備し、
   前記可能な解の範囲は、前記法線を下記のアルベドスケール化表面法線ｂとして表し、
   
   ここで、ｃは強度ベクトルを表し、ｃ＝［ｃ _１ ｃ _２ ｃ _３ ］であり、ｃ _１ 、ｃ _２ 及びｃ _３ は、前記３つの２Ｄ画像の各々で測定される前記画素のそれぞれの強度を表し、Ｌ＝［Ｉ _１ Ｉ _２ Ｉ _３ ］ ^Ｔ であり、Ｉ _１ 、Ｉ _２ 及びＩ _３ は、前記３つの２Ｄ画像の各々に関する前記物体を照らす前記光源の方向を表すベクトルであり、ｉ番目の２Ｄ画像内の画素が陰になっている場合、ｂは、
   
   と表され、ここで、ｅ _ｉ は、３×３の単位行列のｉ番目の列であり、Ｄｉは、対角のｉ番目の位置がゼロである単位行列であり、μは、それが陰になっていない場合に有すると考えられるｃ _ｉ の値を表し、
   陰になっている点に関して、該点（ｐ，ｑ）がＰ［Ｌ ^−１ Ｄ _ｉ ｃ］とＰ［Ｌ ^−１ ｅ _ｉ ］を結ぶ線として定義される前記画素のシャドウラインに沿って位置するように、オペレータＰ［ｘ _１ ｘ _２ ｘ _３ ］＝（ｘ _１ ／ｘ _３ ，ｘ _２ ／ｘ _３ ）＝（ｐ，ｑ）を使用して、ｂを２Ｄ勾配空間に投影することによって決定される、装置。
2. ３つの異なる角度から前記物体を照らす少なくとも３つの光源と、
   前記物体で反射された前記３つの放射源からの放射を収集するために設けられたカメラと、
   前記３次元物体のデプスマップを生成するように構成され、前記データを受信する手段、前記画像のどの画素が陰になっているかを定める手段、前記陰影画素の表面放線の勾配に関する可能な解の範囲を決定する手段、及び前記勾配に関する解を選定する手段として機能する画像処理器と、をさらに具備し、
   前記各放射源は、異なる周波数で放射を発し、前記画像処理器は、前記３つの異なる放射源からの反射信号を識別するように構成される、請求項１に記載の装置。
3. 前記物体は動いており、前記カメラはビデオカメラである、請求項２に記載の装置。
4. 前記決定された表面法線から画像を生成する手段をさらに備える、請求項１乃至３のいずれか１項に記載の装置。
5. 物体の表面法線の勾配を決定する方法であって、
   各画像が異なる方向からの照明のもとで取得された、前記物体の３つの２Ｄ画像のデータを受信し、
   前記画像のどの画素が陰になっているかを定め、ここで、該画素に関しては２つの画像のデータのみが利用可能である、
   前記２つの画像の利用可能な前記データを使用して、陰影画素の表面法線の勾配に関する可能な解の範囲を決定し、
   前記物体の領域上の勾配場の積分可能性を拘束として使用して、前記可能な解の範囲に基づいて決定されるコスト関数を最小化することにより、前記勾配に関する解を選定することを具備し、
   前記可能な解の範囲は、前記法線を下記のアルベドスケール化表面法線ｂとして表し、
   
   ここで、ｃは強度ベクトルを表し、ｃ＝［ｃ _１ ｃ _２ ｃ _３ ］であり、ｃ _１ 、ｃ _２ 及びｃ _３ は、前記３つの２Ｄ画像の各々で測定される前記画素のそれぞれの強度を表し、Ｌ＝［Ｉ _１ Ｉ _２ Ｉ _３ ］ ^Ｔ であり、Ｉ _１ 、Ｉ _２ 及びＩ _３ は、前記３つの２Ｄ画像の各々に関する前記物体を照らす前記光源の方向を表すベクトルであり、ｉ番目の２Ｄ画像内の画素が陰になっている場合、ｂは、
   
   と表され、ここで、ｅ _ｉ は、３×３の単位行列のｉ番目の列であり、Ｄｉは、対角のｉ番目の位置がゼロである単位行列であり、μは、それが陰になっていない場合に有すると考えられるｃ _ｉ の値を表し、
   陰になっている点に関して、該点（ｐ，ｑ）がＰ［Ｌ ^−１ Ｄ _ｉ ｃ］とＰ［Ｌ ^−１ ｅ _ｉ ］を結ぶ線として定義される前記画素のシャドウラインに沿って位置するように、オペレータＰ［ｘ _１ ｘ _２ ｘ _３ ］＝（ｘ _１ ／ｘ _３ ，ｘ _２ ／ｘ _３ ）＝（ｐ，ｑ）を使用して、ｂを２Ｄ勾配空間に投影することによって決定される、方法。
6. 前記勾配に関する解を選定する方法は、前記物体の表面が連続区分的多項式であるという拘束を使用することを備える、請求項５に記載の方法。
7. 前記解を選定する方法は、最小二乗解析として実行される、請求項５又は６に記載の方法。
8. 前記コスト関数は、ノイズを補うために使用される正則化パラメータで表される、請求項５乃至７のいずれか一項に記載の方法。
9. コストが、前記正則化パラメータに課せられる、請求項８に記載の方法。
10. 前記可能な解の範囲が前記２Ｄ勾配空間での直線に沿って位置するように、前記可能な解の範囲は、前記２Ｄ勾配空間で前記表面法線をそれらの勾配で表すことによって決定される、請求項５乃至９に記載の方法。
11. 前記正則化パラメータは、前記線上の固定点からの可能な解の前記直線に沿った長さである、請求項１０に記載の方法。
12. 前記コスト関数を最小化することは、前記シャドウライン上の固定点からの、点（ｐ，ｑ）の前記シャドウラインに沿った距離であるパラメータｗを使用して実行される、請求項５に記載の方法。
13. 前記３つの画像のｉ番目の画像において画素が陰になっているかどうかを定めることは、前記３つの画像の全てに関して、前記強度ベクトルｃの大きさで割られた前記ｉ番目の画像における強度の値が所定の値未満であるかどうかを判断することによって実現される、請求項５乃至１２のいずれか一項に記載の方法。
14. 画素が陰になっているかどうかを定めることは、陰になっていると判断された画素に隣接する画素が陰になっていないと判断される可能性を低減するさらなる拘束に基づいている、請求項１３に記載の方法。
15. 前記３つの２Ｄ画像に関する前記データは、３つの異なる角度から前記物体を照らす３つの放射源を使用して取得され、前記３つの放射源からの前記データが同時に取得されることが可能になるように、前記各放射源は、異なる周波数で放射を発する、請求項５乃至１４のいずれか一項に記載の方法。
16. 画像を生成する方法であって、
    請求項５乃至１５のいずれか一項に従って表面法線の勾配を決定し、前記表面法線のデータから画像を生成することを具備する方法。
17. 前記生成された画像は、３次元画像である、請求項１６に記載の方法。
18. 布を動画にする方法であって、
    請求項５乃至１７のいずれか一項の方法に従って布を画像化し、前記決定された勾配から生成されたデプスマップを動画にすることを具備する方法。
19. 請求項５乃至１８のいずれか一項の方法を実行するように構成されたコンピュータプログラムを具備するコンピュータ。