JP6375619B2 - オクルージョンを意識した明視野像からの３次元シーンの再構成 - Google Patents

Description

本発明は、一般的には、３次元シーンの再構成技術に関係し、より具体的には、プレノプティック撮像システムによってキャプチャされた画像からそのようなシーンを再構成する技術に関係する。

光照射野（Light Field）は、３次元の撮像シーンを複数の異なる視座から撮影することによる複数のビューを介して、当該３次元の撮像シーンを表現するために、コンピュータ・グラフィックスの世界において最初に導入された概念である。一般的には、撮像シーンの光照射野は、当該撮像シーンの２次元の画像（すなわち、明視野像（Light Field Image））を含む７次元の関数であり、当該２次元の画像は、任意の波長かつ任意の時点において３次元空間内の任意の視座から撮影された画像である。コンピュータ・グラフィックス分野の特定用途においては、当該撮像シーンは、当該撮像シーンの３次元的な形状とテクスチャを含む明示的な３次元シーン・モデルを有している。従って、コンピュータは、任意の視座から当該撮像シーンをレンダリング処理（描画処理）することが可能である。すなわち、当該コンピュータは、当該複数の明視野像の中のどれでもレンダリング処理することが可能であり、従って、当該撮像シーンの全体的な光照射野を算出することがさらに可能である。

近年、３次元撮像シーンの４次元的な光照射野をキャプチャするためのシステムが開発されてきている。これらのシステムは、カメラの配列（Camera Array）とプレノプティック撮像システム（Plenoptic Imaging System）を含んでいる。これらのシステムは、典型的には、４次元的な光照射野をキャプチャする。すなわち、これらのシステムは、特定の波長（または波長帯域）かつ特定の時点において（３次元空間内の任意の視座から撮影可能とするのではなく）一つの２次元面上に位置する任意の視座から撮影された複数の２次元画像をキャプチャする。これらのシステムにおいては、撮像シーンに関する３次元的な情報は明示的にはキャプチャされない。むしろ、そのような３次元的な情報は、上述のとおりキャプチャされた４次元的な光照射野を構成する複数の画素の中に暗黙的に包含されている。当該４次元的な光照射野から上述した３次元的な情報を抽出する技法は、（例えば、上述した４次元的な光照射野の合成とは逆方向の処理を行うために解決すべき）逆変換問題であり、オクルージョンが存在する場合には、より困難な条件設定の下で解決すべき問題である。

さらに、オクルージョンによって加えられる曖昧さを解消し、光照射野（またはその基礎となる３次元シーン）をそれぞれ異なる深さを持つ複数のレイヤ上の構成部分にセグメント化する処理は、光照射野に対して後続の処理を行う方法にとってしばしば必要な処理ステップとされ、そのような方法は、撮像シーンの複数の部分に対するディジタル・フィルタリング処理や、多重ビューの画像積層構造から仮想的なビューを合成する処理を含んでいる。撮像シーンの複数のレイヤが適切にセグメント化されていない場合に古典的な画像処理技法を適用すると、被写体の輪郭の周辺にアーチファクトが生じる場合がある。

以上より、光照射野のデータから３次元の撮像シーンを再構成する際に、オクルージョンの問題に対処するための新規なアプローチが必要とされている。

本発明は、３次元撮像シーンの複数のレイヤを当該撮像シーンの明視野像から再構成する手法を提供することによって先行技術が克服不可能であった限界を克服するものである。当該３次元の撮像シーンは、当該撮像シーンについて複数の異なる深さを表現する複数のレイヤーから構成される集合としてモデル化され、さらには、あるレイヤの一部が他のレイヤによって背後に隠されるオクルージョンを表現するマスクとしてモデル化される。当該複数のレイヤは、過剰に網羅的な辞書から選択された複数の関数（以下の説明においては、この関数を指して「アトム」と呼ぶ）の線形結合として表現される。当該複数のレイヤを代わる代わる評価し、当該複数のマスクを評価するために、本発明においては、反復実行的なアプローチが使用される。本発明に係る一つのアプローチにおいては、深さと角度との間には対応関係があるとした上で、上述した辞書内における当該複数のアトムは、互いに異なる角度を向くように方向付けられた複数の「リッジレット（ridgelet：尾根状の部分要素）」とされている。

本発明のその他の実施態様は、装置またはシステムとしての実施、および上述したアプローチに対応する方法としての実施を含んでいる。本発明は上述した以外の他の技術的優位性や技術的特性を有し、当業者が本明細書に添付した図面を参照しながら本発明を理解するならば、以下に記載される本発明の詳細な説明および本明細書に添付した特許請求の範囲の記載から、本発明に関するそのような他の技術的優位性や技術的特性は当業者にとっては直ちに自明なものとなる。なお、本明細書に添付した図面の簡単な説明は以下のとおりである。

３次元の撮像シーン内におけるオクルージョンの様子を図示する概念図 ３つの異なる視座から観察した２つの被写体を図示する概念図 ３つの異なる視座から観察した２つの被写体を図示する概念図 ３つの異なる視座から観察した２つの被写体を図示する概念図 対応する光照射野の（ｕ，ｘ）スライスを図示する概念図 光照射野から３次元撮像シーンの複数のレイヤを再構成するための反復実行的な方法を説明するフロー図 ３次元撮像シーン内における２つの明視野像を示す図 ３次元撮像シーン内における２つの明視野像を示す図 図４に示した撮像シーンについて再構成された前面レイヤと背面レイヤの画像を示す図 図４に示した撮像シーンについて再構成された前面レイヤと背面レイヤの画像を示す図 ３次元撮像シーン内におけるさらに別の２つの明視野像を示す図 ３次元撮像シーン内におけるさらに別の２つの明視野像を示す図 図６に示した撮像シーンについて再構成された前面レイヤと背面レイヤの画像を示す図 図６に示した撮像シーンについて再構成された前面レイヤと背面レイヤの画像を示す図 プレノプティック撮像システムの構成を示す図

本明細書に添付した図面は、単に具体例を例示することだけを目的として、本発明の複数の実施形態を図示している。当該技術分野における当業者であれば、以下において検討されている実施例の説明を読むことにより、本明細書において説明される発明の基本原理から逸脱することなく、本発明の実施に際して、本明細書中で例示されている構造や方法を代替する別の実施例を採用することが可能であることを直ちに理解するであろう。

本明細書に添付した図面および以下に記載する発明の詳細な説明は、単に具体例の例示のみを目的として、複数の好適な実施形態と関係している。以下の発明の詳細な説明から、本明細書に添付した特許請求の範囲において特許請求されている発明の基本原理から逸脱することなく、本明細書が開示する構造や方法を代替する別の実施形態を、本発明の代替的な実施例として実施可能であることが当然に理解されることに留意されたい。

オクルージョンの効果に起因して、光照射野から上述した３次元的な情報を復元するために、３次元撮像シーンに関する特定の先験的な知見を考慮に入れる。本実施例は、上述した先験的な知見として「疎らなである」という性質に基づく先験的知見を使用する。このような先験的知見は、一つの明視野像が少数の基本的な関数（これを「アトム」と呼ぶ）を線形結合したものであり、当該アトムは、当該アトムを含む大規模かつ過剰に網羅的な辞書から選択されるという事を前提としている。しかしながら、オクルージョンが発生している部分の周辺では、光線の合成態様は線形とはならない。従って、本実施例においては、光照射野に関して非線形で疎らな表現モデルを定義することとした。これらのモデルは、複数のレイヤと複数のマスクとに基づいている。当該複数のレイヤは、撮像シーンの中の複数の異なる深さに対応し、当該複数のマスクは、各レイヤ内における被写体の空間的な広がりに対応する。

以下の具体例においては、空間内の任意の点位置における与えられた任意の方向からの光照射を光照射野として定義する。オクルージョンが存在しない場合においては、光線が伝搬する経路に沿った光照射輝度は変化しないと仮定することが可能である。さらに、図１に示すとおり、光照射野は、位置座標（ｘ，ｙ）に位置する点光源から到来し、与えられた基準面の上の位置座標（ｕ，ｖ）において観測される光線の光照射を表現する４次元の関数としてパラメータ化されることが可能である。そこで、当該光照射野を以下の数式により
と表し、この時、
である。

図１は、３つの被写体１１０Ａ〜１１０Ｃを図示している。さらに図１は、座標（ｘ，ｙ）で表される基準座標平面および座標（ｕ，ｖ）で表される基準座標平面を示しており、後者の座標平面内には２つの座標点（ｕ_１，ｖ_１）および（ｕ_２，ｖ_２）がさらに図示されている。（ｕ，ｖ）座標平面は、観察者がその上に位置する座標平面であると捉えることが可能である。以下の数式
により表される明視野像は、座標位置（ｕ_１，ｖ_１）に位置する観察者によって観察される画像である。この画像は、座標（ｕ_１，ｖ_１）で表される位置に針の穴が設けられているピン・ホール（Pin Hole）カメラによって撮像された画像であると捉えることが可能である。同様に、以下の数式
により表される明視野像は、座標位置（ｕ_２，ｖ_２）に位置する観察者によって観察される画像である。図１において、座標（ｘ，ｙ）で表される基準座標平面は、その上に被写体が位置する座標平面として描かれてはいるが、それよりも画像空間内において定義されるユニバーサル座標系として捉えた方がより適切である。この座標系は、複数の明視野像の全てが共通の基底座標系である（ｘ，ｙ）座標系から相対的に見た座標により定義されるという意味において、ユニバーサルな性質を有する。

オクルージョンが存在しない場合には、総体的な光照射野は、被写体の各々からの寄与成分を合計したものになるであろう。しかしながら、オクルージョンにより互いに部分的に前後に重なり合って見える複数の被写体が撮像シーン内に存在する場合には、複数の異なる被写体の上の複数の点から到来する光線の合成態様は線形にはならない。図１においては、被写体１１０Ｃは、被写体１１０Ｂの前方に位置しており、その被写体Ｂは被写体１１０Ａの前方に位置している。もしも、これらの被写体が不透明な材質であれば、特定の視座から観察した場合に、一つの被写体がオクルージョンにより他の被写体の一部を背後に隠す可能性がある。

このような状況に対処するために、３次元撮像シーンは、複数の異なる深さに位置する複数のレイヤO_ｉへと量子化される。オクルージョンが存在しない場合にレイヤO_ｉによって生成される光照射野をＬ_ｉ（ｒ）と表記する。便宜上、Ｌ_ｉ（ｒ）とＬ（ｒ）とを区別するために、Ｌ_ｉ（ｒ）を指して「レイヤ単位の光照射野」と呼び、Ｌ（ｒ）を指して「シーン全体の光照射野」と呼ぶことが可能である。「シーン全体の光照射野Ｌ（ｒ）」は、全てのレイヤを考慮に入れた概念であり、以下の数式
で表される非線形の関数である。以下、当該撮像シーンの離散化されたモデルとして、複数のレイヤ及びこれらのレイヤ内の複数の被写体がｚ＝｛ｚ_１，ｚ_２，…，ｚ_ｋ｝で表される離散的な深さにおいてそれぞれ存在し、ｉ≦ｊならばｚ_ｉ≦ｚ_ｊであり、ｋがレイヤの総数を表すようなモデルを考える。今、レイヤO_ｉがレイヤO_ｊの前方に位置していると仮定する。すなわち、ｚ_ｉ≦ｚ_ｊであると仮定する。以下の説明において、相対的な意味の用語「前面レイヤ」は、他のレイヤの前方に位置するレイヤを指して言うために用いられ、用語「背面レイヤ」は、他のレイヤのは後方に位置するレイヤを指して言うために用いられる。図１においては、被写体１１０Ｂは、被写体１１０Ａの前方にあり、被写体１１０Ｃの後方にある。背面レイヤO_ｊからの光線は、オクルージョンにより前面レイヤO_ｉに遮られる可能性があり、当該背面レイヤから発した一部の光線だけが基準面に到達する可能性がある。本実施例は、レイヤO_ｉに関するマスクＭ_ｉを定義することによって、このような状況をモデル化している。マスクＭ_ｉは、背面レイヤO_ｊから到来する光線に対してレイヤO_ｉによって加えられるオクルージョン効果を表現するものである。本実施例は、これらのマスクを使用することにより、多重レイヤから成る光照射野のモデルを以下の数式で表されるとおりに定義している。
このモデルでは、ｋ個のレイヤとｋ−１個のマスクが存在する。この具体例においては、複数のマスクはバイナリ（２進）表現形式で定義されている。しかしながら、本実施例においては、マスクの値を数値範囲（０，１）内の連続値として定義する（すなわち、グレー・スケール値として定義する）こともまた可能であり、それにより、被写体が半透明な材質である場合にも適用可能となるようにこのモデルを拡張することができる。

続いて、本実施例においては、以下の数式
で表される過剰に網羅的な辞書から選択された複数の関数（アトム）φ_ｍを線形結合したものとして、上述したレイヤ単位の光照射野Ｌ_ｉ（ｒ）を定義する。すなわち、レイヤ単位の光照射野Ｌ_ｉ（ｒ）を以下の数式のとおりに定義する。
上述した辞書が過剰に網羅的である場合、複数のアトム係数C_ｍ（例えば、複数のアトムをそれぞれ重み付けして線形結合式により合成することによりレイヤ単位の光照射野を形成する際に使用されるアトム毎の重み付け係数C_ｍ）から成る集合について無限に数多くの解が存在することとなる。しかしながら、辞書内のアトムが信号の構造（例えば、光学系に固有の光学的信号構造）に対して良好に適合されるならば、わずか数個のアトム係数だけがゼロ以外の値をとることとなり、この場合、本実施例においては、疎らに存在する解のみを探索するだけで済ませることが可能となる。解が疎らにのみ存在するという上述した仮定は、本実施例の実施のために以下の問題を解決する際において、本実施例にとっての大前提となる。

＜問題＞例えば、プレノプティック撮像システムやカメラの配列から取得する等して、シーン全体の光照射野Ｌ（ｒ）が与えられた場合、本実施例は、全てのレイヤｉ＝１，…，ｋに関するレイヤ単位の光照射野Ｌ_ｉ（ｒ）およびレイヤｉ＝１，…，（ｋ−１）に関する対応するマスクＭ_ｉ（ｒ）を推定できなくてはならない。何故ならば、

であるから、Ｌ_ｉ（ｒ）とＭ_ｉ（ｒ）を推定することにより、Ｌ_ｉ（ｒ）を推定する処理動作は、
を推定する処理動作に簡約化されることとなるからである。

上述した問題を解決するために、本実施例は、当該光照射野の構造を良好に表現する辞書Ｄを好適な辞書として選択する。図２Ａ〜図２Ｄに示すような光照射野に関する２次元の（ｕ，ｘ）スライスの幾つかの具体例を見てみると、光の直線的な伝搬特性に固有の直線構造が見てとれる。説明を明確にするために、図２Ａ〜図２Ｄは、完全な４次元の座標系表現（ｕ，ｖ，ｘ，ｙ）ではなく、座標系表現（ｕ，ｘ）を使用した２次元形式の具体例としている。図２Ａは、互いに異なる深さに位置する２つの被写体２１０と２２０を図示している。被写体２２０は被写体２１０の前方に位置しているので、視座が位置する座標ｕに応じて、被写体２１０の一部をオクルージョンにより背後に隠す場合もあれば、そうでない場合もある。

図２Ａは、座標ｕ_１に位置する視座から撮影される場合を図示している。この視座から見ると、被写体２１０は、ｘ座標軸上の区間２１１を占有しており、被写体２２０は、ｘ座標軸上の区間２２１を占有している。当該２つの区間２１１と２２１とは互いに重なり合っていないので、オクルージョンは発生していない。図２Ｄは、これら２つの被写体を含む撮像シーンに関するシーン全体の光照射野の２次元の（ｕ，ｘ）スライスを図示している。図２Ａに示したｘ−スライスは、縦軸であるｕ座標軸の上にｕ_１として表記されている。上述した２つの区間２１１と区間２２１は、図２Ｄにおいて縦軸上の座標ｕ＝ｕ_１に位置する２つの直線状セグメントとして再現されている。図２Ｂは、上記と同じ２つの被写体を座標ｕ_２に位置する異なる視座から見た場合を図示している。この視座から見ると、被写体２１０は、ｘ座標軸上の区間２１２を占有しており、被写体２２０は、ｘ座標軸上の区間２２２を占有している。この状態はさらに、図２Ｄにおいて縦軸上の座標ｕ＝ｕ_２に位置する２つの直線状セグメントによって図示されている。これら２つの直線状セグメントは、座標ｕ＝ｕ_１に位置する２つの直線状セグメントから相対的に見て位置がずれていることに注目されたい。視座の位置変化に起因するこのような相対的な位置のずれは「視差」と呼ばれている。図２Ｂにおいては、ｘ座標軸上の２つの区間２１２と区間２２２とは互いにちょうど触れ合っているように見える。図２Ｃは、座標ｕ_３に位置する視座から見た場合の当該２つの被写体を図示している。この時、被写体２１０は、ｘ座標軸上の区間２１３を占有しており、被写体２２０は、ｘ座標軸上の区間２２３を占有しており、この状態はさらに、図２Ｄにおいて縦軸上の座標ｕ＝ｕ_３に位置する２つの直線状セグメントによって図示されている。ｘ座標軸上の当該２つの区間２１３と区間２２３とは互いに重なり合っている状態にあり、これは、被写体２２０が被写体２１０の一部分をオクルージョンにより覆い隠していることを意味している。当該オクルージョンにより覆い隠された領域は、すなわち、被写体同士が互いに重なり合う領域である。以上において述べた処理過程を上記以外の他の座標ｕに位置する他の複数の視座についても反復実行することにより、図２Ｄに図示する２つの帯状領域２１９と２２９が結果として得られる。被写体同士が重なり合うこととなる領域２３９は、被写体２１０により被写体２２０の一部分が覆い隠されるオクルージョン状態を表している。

図２Ｄから固有の直線構造を見てとることが可能である。すなわち、被写体の上の各点は、（ｕ，ｘ）座標平面上を伸びる一つの直線を生成する。さらには、当該直線の各々は、ｘ座標軸の法線方向を基準としてθで表される相対的な角度を形成する。これらの角度は、図２Ｄにおいて参照符号によりθ_１およびθ_２と表記されている。一般化された４次元の場合においては、これらの角度は、（ｘ，ｙ）座標平面の法線方向を基準とした相対的な角度となるだろう。便宜上、角度θを指して視差角度と呼ぶことにする。視差角度θは、被写体の深さ位置に依存している。視差に起因して、複数の被写体同士の間において、ｘ基準面の深さ位置が互いにより近接するに従って、より垂直に近い方向を向いた直線、すなわち、より小さな視差角度θが生成されることとなる。帯状領域２１９は、ｘ軸からより近い位置にあって区間２１３により表される被写体に対応するものであるが、帯状領域２１９は、より垂直に近い方向を向いており、より小さな視差角度θを有している。帯状領域２２９は、ｘ軸からより遠い位置にあって区間２２３により表される被写体に対応するものであるが、帯状領域２１９は、より水平方向に傾いており、より大きな視差角度θを有している。

この種の信号構造は、互いに異なる方向を向いた複数の「リッジレット」によって良好に表現することが可能である。リッジレットは、一つの次元においてはウェーブレット関数となり、他の次元においては一定値関数となるようなフィルターである。光照射野内における光線の角度は、当該光線が発する源である被写体が位置する深さと直接的に関係しているので、複数の異なるレイヤ内の複数の被写体は、互いに異なる角度θの方向を向いているリッジレットによって表現されることとなる。特定の一つの辞書に関してリッジレットを選択することは、本実施例における必須の要件ではないことに留意されたい。当業者であれば、本実施例に関して提案されるモデルと共に使用すべき異なる辞書を本実施例の実施のために適宜選択したり、設計したり、学習したりすることが可能である。しかしながら、一つの辞書内に含まれる複数の異なるアトムは、好適には、互いに異なる角度（さもなければ深さに依存して決まるその他の特徴量）を有しているべきであり、そのようにすることで、本実施例は当該複数の異なるアトムに対して互いに異なる深さのレイヤをそれぞれ割り当てることが可能となる。同様に、当業者であれば、映像獲得のために使用される光学系にさらに基づいた辞書を設計することが可能である。例えば、プレノマティック型のカメラ・システムにおいて、視差角度θが互いに異なる（すなわち、互いに異なる深さに位置する複数の被写体にそれぞれ対応する）複数の直線同士の間では、焦点のずれに起因して加えられるブラー効果の発生の仕方が互いに異なったものとなる。複数の異なる視差角度θの各々に沿った（すなわち、複数の異なる深さ位置に対応する）それぞれの光線についてのブラー生成カーネルが既知であれば、当該ブラー生成カーネルに関する知識を辞書の設計内容に反映させることが可能である。

上述した問題を解決するための一つのアプローチは、線形緩和に基づくアプローチである。本実施例を説明するための具体例においては、離散化された複数の光照射野について検討しているので、本実施例においては、以下のとおりに数学的表記法を修正することを考える。

ここで、ｌ_ｉは、レイヤｉにおける光照射野の複数のサンプリング値から成るベクトルであり、Ｍ_ｉはＭ_ｉ（ｒ）の複数のサンプリング値を行列内の対角要素として含む対角行列を表す。説明を簡単にするために、複数の被写体が２つのレイヤ内に位置している撮像シーンについて以下のとおり検討するが、ここで検討するアルゴリズムは、複数の被写体が任意の個数（例えば、３個以上）のレイヤ内に存在する場合に一般化することが可能である。本実施例は、３次元立体のボリューム全体をＮ個の可能なレイヤに離散化するけれども、観察される撮像シーンは、ｋ≪Ｎとした場合に、ｋ個のレイヤだけを占有すると仮定している。ここで設定する例示的な撮像シーン内において、被写体の存在位置に対応する２つのレイヤのインデックスをレイヤｐおよびレイヤｑと表記することにする。つまり、第１の被写体は、インデックスがｐであるレイヤ内に存在し、第２の被写体は、インデックスがｑであるレイヤ内に存在する。以前の説明において式（１）で表したモデルは、以下のように修正される。

ここで、Ｒは辞書を表す行列であり、ｃ_ｐおよびｃ_ｑは、要素としてのアトム係数を疎らに含む係数ベクトル（例えば、上述した「アトム毎の重み付け係数」を要素として含む重み付け係数ベクトルであって、非ゼロ値をとる要素が疎らにしか存在しない重み付け係数ベクトル）である。上記の数式においてはさらに、オクルージョン効果を表現するための項として
が導入されている。オクルージョンは、典型的には画素領域内において疎らに存在しているので、本実施例においては、疎らに存在するアトム係数と疎らに存在するオクルージョンの両者をともに発見することができる（すなわち、光照射野内でのオクルージョン状態を推定することができる）アルゴリズムを設計することが可能である。

続いて、同じ方向を向いているアトム同士、すなわち、同じ視差角度θを有するアトム同士が、行列Ｒ内において同一の列ブロックに属することとなるように、行列Ｒを構成する列ベクトルを並べ替える、つまり、
となるようにする。その結果、
で表される各列ブロック内においては、共に方位角度θ_ｉを有するが縮尺と位置が互いに異なる複数のアトムが存在することとなる。各レイヤは互いに異なる視差角度θを有しているので、複数のレイヤのそれぞれに関する係数ベクトルをｃ_１，ｃ_２，…，ｃ_Ｎと表記することが可能であり、この場合、ｃ_ｉと表記される各係数ベクトルは、角度θ_ｉの方向を向いているアトムにそれぞれ対応した複数の非ゼロ値のベクトル要素、および、ゼロ値をとるそれ以外の全てのベクトル要素を有している。続いて、ｃ＝ｃ_１＋ｃ２＋…＋ｃ_Ｎを計算することにより、これら複数の係数ベクトルを一つに集積することができる。この実施例は、単一の被写体がわずか数個のレイヤだけに跨って存在し得るとの仮定を置いているので、この事は、上述のとおり合計された中でわずか数個の係数ベクトルｃ_ｉだけがゼロ以外の値となることを意味している。すなわち、この事は、係数ベクトルｃがグループ化された疎らさを有していることを意味している。上述した具体例においては、レイヤｐ（第１の被写体に対応する）およびレイヤｑ（第２の被写体に対応する）にそれぞれ対応するグループだけが非ゼロ値を有することとなる。これらのグループは、撮像シーン内において、視差角度θが複数の被写体の深さ位置にそれぞれ対応している複数のアトムから構成されている。

上述した「グループ化された疎らさ」は、以下のように定義される。係数ベクトル内の非ゼロ値を有する要素の個数が当該ベクトルの次元よりもずっと少ない場合には、当該ベクトルは疎らであると見做される。ここで、一つの係数ベクトル内に含まれる複数の要素をＮ個のグループにグループ分けし、各グループについてユークリッド・ノルムを評価したとする。この時、ユークリッド・ノルムが非ゼロ値となるグループの個数が当該ベクトル内のグループの総数と比べてずっと少ないならば、当該ベクトルは、「グループ化された疎らさ」を有するとされる。また、「グループ化されたノルム」とは、上述した全てのグループに跨ってユークリッド・ノルムを合計した結果である。

図３は、明視野像内における複数のレイヤとそれらに対応する複数のマスクとを復元するための反復実行アルゴリズムのフロー図である。図３においては、複数の異なる視座から撮影された数多くの明視野像３８０を含んでいる光照射野が、例えばプレノプティック撮像システムやカメラの配列などの何らかの装置によってキャプチャされる。さらに、例えば上述した方法に従って、辞書３９０が決定される。これに続いて実行される処理として、図３に示す処理フローは２つの基本的な処理ステップを具備している。処理ステップ３１０においては、複数のマスクは一定値に維持され、レイヤ単位の光照射野ｌ_ｉが推定される。処理ステップ３２０においては、複数のマスクが推定される。上述した２つの処理ステップは、何らかの停止時点３３０に到達するまで反復実行され、そのような停止時点３３０の具体例は、例えば、誤差の大きさが受容可能なレベルを下回った時点や反復実行の回数が実行可能な最大回数に到達した時点などである。上述した反復実行が停止したならば、続いて、上述した式（１）を使用して３次元の撮像シーンが推定される。

処理ステップ３１０の一つの具体例においては、以前の説明における検討結果から、オクルージョン効果を表すベクトルｅには「疎らさ」があり、リッジレット毎の重み係数ｃもまた「グループ化された疎らさ」のある挙動を持つ。その結果、上述した問題を線形の定式化へと緩和した後には、以下の２つの正規化項を使用して、本実施例の実施のために上述した問題を解くための目的関数を定義することが可能となる。これらの正規化項は、（１）リッジレット毎の重み係数に対して「グループ化された疎らさ」の性質を持たせるための
および（２）オクルージョンにより生じる誤差に対して「グループ化された疎らさ」の性質を持たせるための
である。その結果、本実施例の実施のために解くべき最適化問題は、
上記の式（４）において、λ_１とλ_２は正規化パラメータである。ｃとｅの値に関してこの目的関数を解くことにより（例えば、上記の式（４）において、ｃとｅの値を変化させたときに、上記の式（４）のカッコ内に記述されている目的関数を最小化するような解を求解し、それによって、上記の式（１）〜（３）に基づいて光照射野Ｌ（ｒ）を再構成するために使用すべきｃとｅの値として最も尤度の高い推定値を最適解として求めることにより）、上述した逆変換問題の解が与えられ、この解には、グループ化されたノルム
の最小値とオクルージョンによる誤差
に関するｌ_ｉのノルムが含まれている。上述した最適化計算処理を本実施例においてはＬＳＲＡと呼ぶこととし、これは「レイヤ化された疎らな再構成処理（Layered Sparse Reconstruction Algorithm）」の略称である。

前段処理である処理ステップ３１０から出力結果を得た後に、複数のアトムが複数のレイヤのどれにそれぞれ対応するかを推定するための処理ステップ３１５を実行することが可能である。最初のレイヤについては、グループ化されたノルム
に着目することにより推定することが可能である。視差に起因して、光線の角度が大きいほど、被写体までの距離がより短いことが一般に知られている。一般性を失うことなしに、複数のアトム係数ｃ_ｉは、それらのアトム係数にそれぞれ対応する角度θ_ｉに応じて順序付けすることが可能であり、この場合、ｉ≧ｊならば｜θ_ｉ｜≧｜θ_ｊ｜である。

本実施例に係る撮像シーン内に何個のレイヤが存在しているかを定義するために、ガウス混合モデル（ＧＭＭ：Gaussian Mixture Model）を使用して「グループ化されたノルム」
に対して適合させ、正規化項としてレイヤの個数を選択する。本実施例においては、モデルの簡単さからＧＭＭを使用したけれども、本実施例の実施のために、その他のクラスタ化アルゴリズムもまた同様に使用することが可能である。当該ＧＭＭのパラメータ値を抽出した後に、本実施例においては、平均値
および
を使用して最初のレイヤに関する着目すべき領域を以下のように定義する。

この着目すべき領域は、レイヤ離散化の粒度に依存して、Ｎ個のレイヤから成る格子状空間内において、一つ以上のレイヤに跨って広がっている。一般的には、当該着目すべき領域は、ＧＭＭによるクラスタ化処理の結果から取得された区間
の中に含まれる複数のレイヤに跨って広がっている。続いて、当該最初のレイヤの光照射野の推定結果は以下のように定義することが可能である。
この時、
である。上述した２つのレイヤｐとｑを想定する撮像シーンの具体例に関しては、この区間は、レイヤｐに加えて、データ内のノイズに起因していくつかの近接するレイヤをさらに含んでいる。

処理ステップ３２０において、本実施例は、複数のレイヤ内における被写体の輪郭を復元し、マスクを定義するために、再構成されたビューの中で画像のセグメント化を使用する。この具体例においては、レイヤO_１内の被写体について、Ｓ（O_１）と表記される複数のセグメントを取得するために、領域に基づくセグメント化手法（例えば、アクティブな輪郭線）が適用される。本実施例は、複数のセグメントＳ（O_１）の評価結果に基づいてマスクＭ_１を定義する。すなわち、当該マスクは、複数のセグメントＳ（O_１）内において非ゼロ値を有する複数の点に関して非ゼロ値をとる。

続いて、本実施例においては、上述したマスク情報を使用して式（４）が定義するレイヤ化された疎らな再構成処理（ＬＳＲＡ）を修正することが可能である。光照射野をマスクすることは、対応するリッジレットをマスクすることと等価であるので、以下の数式
が得られ、この時、
であり、かつ、
である。

以上から本実施例が解こうとする最適化問題の第２段階は以下の数式によって表される。

上記の数式において、ＬＳＲＡ−ｍｏｄは修正された（modified）ＬＳＲＡの略称である。従って、本実施例が解こうとする最適化問題の第２段階は当該最初のレイヤによって生じるオクルージョン効果を考慮に入れたうえで、２番目のレイヤを当該オクルージョン効果に従って是正するものである。これらの処理ステップは、２つ以上の複数レイヤを想定する撮像シーンの例に拡張することが可能である。

本実施例は、反復実行の停止判定条件が成立するまでは、これらの処理ステップを反復的に実行する。この具体例においては、反復可能な最大回数に到達した時点かオクルージョンによる誤差が以下に表すように閾値よりも小さくなった時点のいずれかである。

図４〜図５は、光照射野のデータから３次元シーンを多重レイヤにセグメント化するための本実施例に係る方法の応用例を実証実験した様子である。本実施例においては、「スタンフォード光照射野アーカイブ（Stanford Light Field Archive）」から提供されたデータを使用して実証実験を行った。この光照射野のデータは、１６×１６の格子上に全体で２５６箇所の撮影視座を有するコンピュータ制御されたガントリ上に据置された単一カメラによって獲得されたものである。３次元シーンの再構成処理のために、この撮像シーン内において１６箇所の撮影視座が使用されており、上記格子上で同じ垂直位置を保ったまま水平座標軸上を位置シフトして行きながら複数の明視野像をキャプチャした。上述した「スタンフォード光照射野アーカイブ」のデータ・ライブラリから取得した２つの例示的な明視野像が図４Ａと図４Ｂに図示されている。図４Ａと図４Ｂを見ると「ハンビー（高機動多目的装輪車）」は兵士よりも視差（画像間のシフト量）が大きいので、当該「ハンビー」は兵士よりも前方に位置している。

上述したとおり、典型的には、被写体が近くにあるほど、その被写体についての視差がより大きくなるので、被写体が近くにあるほど、その被写体のリッジレットは遠く離れた（ｘ，ｙ）基準座標面に対してより大きな角度を持つことになる。続いて、当該リッジレットに関する重み係数のグループ化されたノルム
に着目し、これをガウス混合モデル（ＧＭＭ：Gaussian Mixture Model）と適合させる。その結果、レイヤの個数を正規化項として選択することにより、上述した光照射野を以下の数式で表されるように２つの構成部分に分解することができる。

上記数式において、２つの係数ベクトルｃ_ｐとｃ_ωは、それぞれ|θ|＞θ_ｃおよび|θ|≦θ_ｃとなる方位角度を有するアトムに対応する非ゼロ値のベクトル要素である。

当該光照射野を上述したように２つの構成部分に分解した後に、複数の異なるレイヤ内に位置する被写体の像を復元することができる。図５Ａは前面レイヤを図示し、図５Ｂは背面レイヤを図示している。これは焦点を再度合わせなおす動作とは異なることに留意されたい。焦点を再度合わせなおす動作を実行した場合には、図５Ａにおいて、「ハンビー」がちゃんと見えている一方で、その背後にいる兵士の存在も確認はできるがブラー効果により兵士はボケて見える。レイヤの深さに基づくセグメント化処理を行った場合においては、図５Ａはカメラに近い方の深さに位置する構成要素だけを写し出し、その背後に存在するはずの兵士はブラー効果によりボケて見えるのではなく視界から完全に消えている。

図６〜図７はさらに別の実証実験の例を示している。この実証実験は、プレノプティック型カメラによってキャプチャされた明視野像を使用して実施され、６個の画像がキャプチャされた。図６Ａおよび図６Ｂは当該キャプチャされた画像の中の２枚を図示している。図６Ａおよび図６Ｂにおいて、細長い物体が「Ｒｉｃｏｈ」の文字よりも前面に存在しているが、これは図６Ａと図６Ｂとの間での視差に起因する相対位置のシフトから明らかに見てとれる。図７Ａは３次元シーン再構成処理の後の前面レイヤを示し、図７Ｂは３次元シーン再構成処理の後の背面レイヤを示している。

レイヤの深さに基づくセグメント化処理とは別に、本実施例に係る上述したアプローチは、光照射野に対してレイヤ単位で個別に実行される処理を必要とする数多くの応用用途のために使用することもさらに可能であり、そのような応用用途には、ディジタル式の再焦点合わせ（再フォーカス動作）、（例えば、低解像度ビューの解像度を高める等を目的とした）ビューの補間処理および３次元立体のボリューム描画（レンダリング）処理などがある。

図８は、本実施例に係る上述したアプローチを取り入れたプレノプティック撮像システムの構成を示すブロック図である。このシステムは、撮像シーン１１０のプレノプティック画像をキャプチャする。当該プレノプティック撮像システムは、光学的な結像機能モジュール８０５を含んでいる。この結像機能モジュール８０５は、図８において単一のレンズ部材として表現されているけれども、当業者であれば、この結像機能モジュール８０５が、複数のレンズ部材や（例えば、ミラー等の）レンズ以外の部材を含むことも可能であることが理解できよう。光学的な結像機能モジュール８０５は、撮像シーン１１０について従来的な光学イメージ８６０を結像する。光学的な結像機能モジュール８０５は、主要撮像モジュール、主要撮像サブシステムまたは主要撮像システムと呼ばれることもまた可能である。光学イメージ８６０は、光学的な結像機能モジュール８０５に関する結像平面の上に結像される。光学的な結像機能モジュール８０５は、その特性が瞳孔部分８１７と瞳孔平面８１５によって決定され、光学的な結像機能モジュール８０５は、図８において、開口部を有する物理的な絞り機構が上述した単一のレンズと一体化されたものとして表現されている。より複雑な構造を持つ光学的な結像機能モジュール８０５においては、瞳孔部分８１７と瞳孔平面８１５とは、結像機能モジュール８０５内のいずれの光学部材とも一体化される必要はない。

従来型の撮像システムにおいては、光学イメージ８６０をキャプチャするために、感光素子の配列構造が結像平面８２５の上に設けられている。しかしながら、プレノプティック撮像システムの場合はそうではない。撮像システムに関してここで述べる特定の具体例においては、微小な撮像素子８２１を並べた配列構造８２０が結像平面８２５の上に設けられている。図８においては、微小な撮像素子８２１はマイクロ・レンズ（微小なレンズ）として示されている。これ以外にも、微小な撮像素子８２１の配列構造として、例えばピン・ホールが並んだ配列構造のような他の素子配列構造を使用することも可能である。感光素子の配列構造８３０は、微小な撮像素子の配列構造８２０の背後に（つまり、光学的に見て、さらに下流の位置に）設けられている。さらに具体的に説明するならば、感光素子の配列構造８３０は、瞳孔平面８１５の複素共役平面に相当する面８３５の中に配置されている。つまり、微小な撮像素子８２１の各々は瞳孔平面８１５を通って来た像を上述した複素共役平面８３５の上に結像し、面８３５に結像された像は感光素子の配列構造８３０によって撮像される。

微小な撮像素子としてマイクロ・レンズを使用する場合、マイクロ・レンズ８２１の各々は、瞳孔平面８１５を通って来た像８７０を感光素子が並んでいる複素共役平面８３５の上に結像する。瞳孔平面８１５を通って来た像は、感光素子の配列構造８３０に含まれる感光素子の部分集合によって撮像される。マイクロ・レンズ８２１の各々は、自身の像８７０を個別に結像する。このようにして、感光素子が並んでいる面８３５の上に結像されたプレノプティック画像の全体像は、複数の像８７０が並んだ配列を含むこととなり、当該配列内の複数の像８７０の各々は、対応する各マイクロ・レンズによってそれぞれ結像された像である。このように配列構造化された結像態様は、感光素子の配列構造８３０を複数のスーパー・ピクセル（拡張画素）８３３へと効果的に分割することとなり、この場合、スーパー・ピクセル８３３の各々は、複数の感光素子８３１を含んでいる。マイクロ・レンズ８２１の各々は、自身と対応するスーパー・ピクセルの上に、瞳孔平面８１５からの像を結像し、続いて、各スーパー・ピクセル上に結像された各像は、対応する各スーパー・ピクセルの中に含まれる感光素子によって撮像される。

感光素子８３１の各々は、瞳孔部分８１７の一部を通って伝搬して来る光線を収集する。マイクロ・レンズ８２１の各々は、撮像シーン１１０内の一部分から発した光線を収集する。従って、感光素子８３１の各々は、撮像シーン１１０の一部分から特定の方向に沿って伝搬して来た光線を収集する。つまり、感光素子８３１の各々は、特定の視座から見たときに、当該撮像シーンの全体映像の中に含まれる小さな一部分からの光を収集する。同一の視座から見える光に関してそれぞれ作動している複数の感光素子８３１が収集したデータを一つに集約することによって、当該撮像シーンをその視座から見た場合の完全な画像を構成することが可能である。互いに異なる複数の視座から見える複数の画像の全てを一つに集約することによって、当該撮像シーンに関する完全な光照射野を構成することが可能である。図８において、プロセッサ８８０は、感光素子の配列８３０からデータを収集し、当該収集したデータを上述した方法に従って処理する。プロセッサ８８０は、上記の実施例において述べた方法に従って、撮像シーンのセグメント化処理をさらに実行することが可能である。

図８は、プレノマティック撮像システムによって光照射野のキャプチャ処理を行う場合を図示している。以前の説明において上述したとおり、光照射野をキャプチャするために、例えば、カメラの配列（Camera Array）等のような他の種類の撮像システムを使用することもまた可能である。

本発明に係る実施例に関して上述した詳細な説明は、数多くの具体的な構成を含んでいるけれども、これらの具体的な構成は、本発明の技術的範囲を限定するような意味に解釈すべきではなく、本発明に係る複数の異なる具体例と複数の異なる実施態様を単に例示しているだけであると解釈すべきである。本発明の技術的範囲には、上述した実施例においては検討されていないその他の実施例も含まれ得ることを当業者ならば理解できよう。例えば、上述した辞書は、必ずしもリッジレットに基づいて構成されたものである必要性はなく、互いに異なるアトムが互いに異なる方向を有するような性質を持っている辞書であればどのような辞書であってもよい。そのような辞書は、辞書学習の仕組みを使用して光照射野のデータベースから学習により生成することも可能である。最後に、そのような辞書は、光照射野をキャプチャするための撮像システムが持つ固有の光学的特性に適合するような形で構成されることもまた可能である。上述した複数のマスクを取得するための画像のセグメント化処理は、上記の実施例において述べたものとは異なる他のアルゴリズムに基づいて実施するこもとまた可能であり、「アクティブな輪郭線」などはそのようなアルゴリズムのほんの一例である。当該技術分野における当業者にとって自明ではあるが上記の実施例においては説明されていなかったその他の構成変更や実施態様の修正は、本発明に関して本明細書中で既に述べた方法や装置の構成、処理動作および詳細内容に対して適用することが可能であり、そのような構成変更や実施態様の修正は、本明細書に添付した特許請求の範囲において規定されている本発明の基本原理と技術的範囲から逸脱することなく適用することが可能である。従って、本発明の技術的範囲は、本明細書に添付した特許請求の範囲に記載された発明、および当該発明の均等物であると特許法上認められる全ての発明概念を包含している。

本発明に係る代替的な実施例においては、本発明は、コンピュータのハードウェア、ファームウェア、ソフトウェアおよび／またはこれらを組み合わせたものとして実装される。本発明に係る装置は、プログラミング可能なプロセッサによる実行のために、機械読み出し可能な記憶装置の中に有形的に具現化されたコンピュータ・プログラム製品の形で実装されることが可能であり、本発明に係る方法を構成する処理ステップの各々は、当該プログラミング可能なプロセッサによって実行され、当該プロセッサは、入力データを使用して動作しながら出力を生成することによって、本発明に関して必要な機能を実行する命令コードから成るプログラムを実行する。本発明は、少なくとも一つの以下のようなプログラミング可能プロセッサを含むプログラミング可能システムの上で実行可能な一つ以上のコンピュータ・プログラムの中に実装することが好適であり、そのようなプログラミング可能プロセッサは、データ記憶システム、少なくとも一つの入力デバイスおよび少なくとも一つの出力デバイスと接続され、これらとの間でデータと命令コードとを送受信するプロセッサである。上述したコンピュータ・プログラムの各々は、高水準の手続型言語またはオブジェクト指向型プログラミング言語を使用して、さもなければ必要に応じてアセンブラ言語や機械語を使用して実装されることが可能であり、いずれの場合であっても、そのようなプログラミング言語は、コンパイラ型の言語またはインタープリタ実行型の言語とすることが可能である。単に例示目的のために具体例を挙げるならば、適切なプロセッサとしては、汎用のマイクロ・プロセッサおよび特定用途向けマイクロ・プロセッサの両者が含まれる。一般的には、プロセッサは、読み出し専用メモリ（ＲＯＭ）および／またはランダム・アクセス・メモリ（ＲＡＭ）から命令コードとデータを受け取る。一般的には、コンピュータは、データ・ファイルを記憶させるための一つ以上の大容量記憶装置を含んでおり、そのような記憶装置は、（内蔵型のハードディスクや着脱可能なディスク装置などの）磁気ディスク装置、光磁気ディスク装置および光学ディスク装置などを含んでいる。コンピュータ・プログラムの命令コードとデータを有形的に具現化するのに適した記憶装置には、不揮発性メモリのあらゆる実現形態が含まれ、そのような不揮発性メモリの具体例を挙げるならば、（ＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュ・メモリ・デバイス等の）半導体記憶装置、（内蔵型のハードディスクや着脱可能なディスク装置などの）磁気ディスク装置、光磁気ディスク装置、およびＣＤ−ＲＯＭディスク装置などが挙げられる。上述したハードウェア部品のいずれに関しても、ＡＳＩＣ（特定用途向け集積回路）またはその他の形態のハードウェアによってその機能が補完され、またはその機能がＡＳＩＣまたはその他の形態のハードウェアの中に組み込まれることが可能である。

Claims (20)

1. ３次元撮像シーンの光照射野から前記３次元撮像シーンのレイヤ化された形態を再構成する方法であって、当該方法は、コンピュータ・システムにより：
   一つ以上のマスクの暫定的な推定結果を仮定した上で、シーン全体の光照射野に基づいて、前記３次元撮像シーンの異なる深さを表現する２つ以上のレイヤに関して、レイヤ単位の光照射野に対応するアトム係数を推定するステップであって、前記レイヤ単位の光照射野は、複数のアトムの辞書の中から選択された複数のアトムを線形結合した結果として表現され、前記辞書は前記レイヤ単位の光照射野を、前記辞書に含まれるアトムの異なる複数の線形結合として表すのに十分な複数のアトムを含み、前記線形結合は前記アトム係数で重み付けされ、前記複数のマスクは、後方のレイヤに対する前方のレイヤによるオクルージョン効果を表現する、ステップ；
   前記推定したアトム係数を使用して前記線形結合した結果として、前記レイヤ単位の光照射野の暫定的な推定結果を仮定した上で、前記複数のマスクを推定するステップ；
   前記レイヤ単位の光照射野についてのアトム係数を前記推定するステップと前記複数のマスクを推定するステップとを反復的に実行することによって、前記レイヤ単位の光照射野の推定結果を最適な推定結果に漸近的に収束させるステップ；および、
   前記レイヤ単位の光照射野および前記複数のマスクから前記３次元撮像シーンの複数のレイヤを推定するステップ；
   を実行すること特徴とする方法。
2. ｋ個のレイヤとｋ−１個のマスクとが存在することを特徴とする、
   請求項１記載の方法。
3. 前記３次元撮像シーンは、
   と表現され、Ｌ（ｒ）は前記３次元撮像シーンの光照射野であり、Ｌ_ｉ（ｒ）は、レイヤｉに関するレイヤ単位の光照射野であり、Ｍ_ｉ（ｒ）はレイヤｉのマスクであることを特徴とする、請求項２記載の方法。
4. 前記シーン全体の光照射野は、複数の異なる視座から撮影された複数の明視野像を具備し、前記アトムは、前記明視野像の座標系に対する法線方向を基準として相対的に視差角度θの方向を向いているリッジレットであることを特徴とする、
   請求項１記載の方法。
5. 複数の異なる深さにそれぞれ位置する複数のレイヤについてのレイヤ単位の光照射野は、複数の異なる視差角度θの方向をそれぞれ向いている複数のリッジレットに対応することを特徴とする、請求項４記載の方法。
6. 前記３次元撮像シーンの光照射野は、光照射野の撮像システムによってキャプチャされ、前記辞書は、前記光照射野の撮像システムが持つ光学的な特性を考慮して構成されていることを特徴とする、請求項１記載の方法。
7. 前記線形結合により前記レイヤ単位の光照射野を推定する処理動作が、線形緩和に基づいていることを特徴とする、請求項１記載の方法。
8. 各レイヤｉに関するレイヤ単位の光照射野Ｌ_ｉ（ｒ）は、以下の式により
   と表現され、φ_ｍは，以下の式で表される前記辞書
   に含まれるアトムであり、
   は、前記アトム係数を表すことを特徴とする、請求項１記載の方法。
9. 前記線形結合により前記レイヤ単位の光照射野の推定する際に、レイヤ間のオクルージョン効果を推定して得られる寄与成分による寄与を含めて推定することを特徴とする、
   請求項１記載の方法。
10. 前記レイヤ単位の光照射野を推定するために、以下の式
    で表される最小化問題を解くことに基づく推定処理ステップをさらに具備しており、ｌはシーン全体の光照射野であり、Ｒは前記辞書を表す行列であり、ｃは、前記アトム係数であって、前記辞書から抽出されたアトムを前記重み付けされた前記線形結合により合成するために使用される係数であり、ｅはレイヤ間のオクルージョン効果を推定して得られる寄与成分であり、λ_１とλ_２は正規化パラメータであることを特徴とする、
    請求項１記載の方法。
11. 前記複数のマスクの値は、２進数値であることを特徴とする、請求項１記載の方法。
12. 前記複数のマスクを前記推定するステップは、前記マスクを推定するための画像セグメント化処理を使用することを特徴とする、請求項１記載の方法。
13. 前記３次元撮像シーンの前記光照射野は、プレノプティック撮像システムによってキャプチャされることを特徴とする、請求項１記載の方法。
14. 前記３次元撮像シーンの前記光照射野は、カメラの配列によってキャプチャされることを特徴とする、請求項１記載の方法。
15. ３次元撮像シーンの光照射野から前記３次元撮像シーンを再構成するコンピュータプログラムであって、
    一つ以上のマスクの暫定的な推定結果を仮定した上で、シーン全体の光照射野に基づいて、前記３次元撮像シーンの異なる深さを表現する２つ以上のレイヤに関して、レイヤ単位の光照射野に対応するアトム係数を推定するステップであって、前記レイヤ単位の光照射野は、複数のアトムの辞書の中から選択された複数のアトムを線形結合した結果として表現され、前記辞書は前記レイヤ単位の光照射野を、前記辞書に含まれるアトムの異なる複数の線形結合として表すのに十分な複数のアトムを含み、前記線形結合は前記アトム係数で重み付けされ、前記複数のマスクは、後方のレイヤに対する前方のレイヤによるオクルージョン効果を表現する、ステップ；
    前記推定したアトム係数を使用して前記線形結合した結果として、前記レイヤ単位の光照射野の暫定的な推定結果を仮定した上で、前記複数のマスクを推定するステップ；
    前記レイヤ単位の光照射野についてのアトム係数を前記推定するステップと前記複数のマスクを推定するステップとを反復的に実行することによって、前記レイヤ単位の光照射野の推定結果を最適な推定結果に漸近的に収束させるステップ；および、
    前記レイヤ単位の光照射野および前記複数のマスクから前記３次元撮像シーンの複数のレイヤを推定するステップ；
    をコンピュータ・システムに実行させること特徴とするコンピュータプログラム。
16. ｋ個のレイヤとｋ−１個のマスクとが存在し、前記３次元撮像シーンは、以下の式により
    と表現され、Ｌ（ｒ）は前記３次元撮像シーンの光照射野であり、Ｌ_ｉ（ｒ）は、レイヤｉに関するレイヤ単位の光照射野であり、Ｍ_ｉ（ｒ）はレイヤｉのマスクであることを特徴とする、請求項１５記載のコンピュータプログラム。
17. 前記シーン全体の光照射野は、複数の異なる視座から撮影された複数の明視野像を具備し、前記アトムは、前記明視野像の座標系に対する法線方向を基準として相対的に視差角度θの方向を向いているリッジレットであることを特徴とする、
    請求項１５記載のコンピュータプログラム。
18. 各レイヤｉに関するレイヤ単位の光照射野Ｌ_ｉ（ｒ）は、以下の式により
    と表現され、φ_ｍは，以下の式で表される辞書
    に含まれるアトムであり、
    は、前記アトム係数を表すことを特徴とする、請求項１５記載のコンピュータプログラム。
19. 前記線形結合により前記レイヤ単位の光照射野を推定する処理動作は、レイヤ間のオクルージョン効果を推定して得られる寄与成分による寄与を含めて推定する処理動作を含むことを特徴とする、請求項１５記載のコンピュータプログラム。
20. ３次元撮像シーンの光照射野から前記３次元撮像シーンを再構成するためのシステムであって：
    前記３次元撮像シーンの光照射野をキャプチャする光照射野の撮像装置；および、
    シーン全体の光照射野にアクセスする手段を具備したコンピュータ・システムであって：
    一つ以上のマスクの暫定的な推定結果を仮定した上で、シーン全体の光照射野に基づいて、前記３次元撮像シーンの異なる深さを表現する２つ以上のレイヤに関して、レイヤ単位の光照射野に対応するアトム係数を推定するステップであって、前記レイヤ単位の光照射野は、複数のアトムの辞書の中から選択された複数のアトムを線形結合した結果として表現され、前記辞書は前記レイヤ単位の光照射野を、前記辞書に含まれるアトムの異なる複数の線形結合として表すのに十分な複数のアトムを含み、前記線形結合は前記アトム係数で重み付けされ、前記複数のマスクは、後方のレイヤに対する前方のレイヤによるオクルージョン効果を表現する、ステップ；
    前記推定したアトム係数を使用して前記線形結合した結果として、前記レイヤ単位の光照射野の暫定的な推定結果を仮定した上で、前記複数のマスクを推定するステップ；
    前記レイヤ単位の光照射野についてのアトム係数を前記推定するステップと前記複数のマスクを推定するステップとを反復的に実行することによって、前記レイヤ単位の光照射野の推定結果を最適な推定結果に漸近的に収束させるステップ；および、
    前記レイヤ単位の光照射野および前記複数のマスクから前記３次元撮像シーンの複数のレイヤを推定するステップ；
    を実行するように構成されたコンピュータ・システム；
    を具備するシステム。