JP6446997B2 - スケール及び深度空間に変換することによるライトフィールドの処理 - Google Patents

Description

本発明は、一般に３次元シーンのライトフィールド（マルチビューイメージを含む）の処理に関し、例えば、プレノプティックイメージングシステム（ｐｌｅｎｏｐｔｉｃ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ）によりキャプチャされた３次元シーンのライトフィールドの処理などに関する。

ライトフィールドは、異なる視点から撮影された３次元シーンの複数のビューを介して当該シーンを表現するため、コンピュータグラフィックコミュニティにおいてまず導入された。一般に、シーンのライトフィールドは、任意の波長及び任意の時点における３次元空間の任意の視点から撮影されたシーンの２次元イメージ（すなわち、ライトフィールドイメージ）を含む７次元関数である。コンピュータグラフィックアプリケーションでは、コンピュータは、それの３次元形状及びテクスチャを含む明示的な３次元シーンモデルを有するため、任意の視点からシーンをレンダリング可能である。すなわち、コンピュータは、ライトフィールドイメージの何れかをレンダリングし、シーンのライトフィールド全体をまた計算することが可能である。

最近、３次元シーンの４次元ライトフィールドをキャプチャするためのシステムが開発されてきた。これらのシステムは、カメラアレイ及びプレノプティックイメージングシステムを含む。これらのシステムは、典型的には、ある波長（又は波長帯域）及び時点において４次元ライトフィールド、すなわち、２次元面上の各種視点から撮影されたシーンの２次元イメージ（３次元空間における任意の視点を許容するのでなく）をキャプチャする。これらのシステムでは、３次元シーン情報は明示的にキャプチャされない。むしろ、それは、キャプチャされた４次元ライトフィールドのピクセル内に非明示的に含まれる。

４次元ライトフィールドから３次元情報を抽出することは、逆の問題である。ライトフィールドの高次元のため、それは困難な問題である。高密度深度推定（シーン内の各ピクセルの深度の推定など））はこれら困難な問題の１つであり、これは、グローバルにスムースでコンシスタントな深度マップの取得は、典型的にはグローバルな最適化を要求し、高次元データ処理のための非常に大きな複雑さを通常有するためである。

従って、ライトフィールドから深度及び他の情報を効率的かつロウバストに抽出するライトフィールド処理アプローチが必要とされる。

本発明は、３次元シーン（マルチビューイメージなど）のライトフィールドイメージを（イメージ，ビュー）ドメインから（イメージ，スケール，深度）ドメインに変換することによって、従来技術の制約を解消する。その後、処理が（イメージ，スケール，深度）ドメインにおいて実行される。上述されたライトフィールドが、（イメージ，ビュー）ドメインにおいてキャプチャされる。それらは、プレノプティックイメージングシステム、カメラアレイ又は他のタイプのマルチビューイメージングシステムによってキャプチャ可能である。それは、複数の視点から観察される２次元イメージとしての３次元シーンの表現である。（イメージ，スケール，深度）ドメインでは、スケールが３次元シーンにおけるオブジェクトの異なるサイズを表し、深度が３次元シーンにおけるオブジェクトの深度を表す。

便宜上、（イメージ，ビュー）ドメインから（イメージ，スケール，深度）ドメインに変換する処理は、スケール・深度変換として参照され、結果として得られる表現は、オリジナルのライトフィールドのスケール・深度変換として参照されてもよい。異なる変換が可能であり、“スケール・深度変換”という用語は、（イメージ，ビュー）ドメインから（イメージ、スケール，深度）ドメインへの全ての変換を含むことが意図される汎用的な用語である。

１つのアプローチでは、スケール・深度変換は、Ｒａｙ−Ｇａｕｓｓｉａｎカーネル又はそれの導関数（正規化された導関数を含む）に基づく。Ｒａｙ−Ｇａｕｓｓｉａｎにおける“Ｒａｙ”とは、フラットな平面上に一定に離間した視点について、３次元シーンにおけるポイントが（イメージ，ビュー）空間において直線として現れるという事実を表す。この直線の角度が当該ポイントの深度に相当し、角度から深度へのマッピングはカメラパラメータに依存する。同一の深度の隣接するポイントは、そのとき、（イメージ，ビュー）空間における有限の断面エリアによる“レイ（ｒａｙ）”を生成する。当該レイの角度は、（イメージ，スケール，深度）ドメインの（深度）部分に相当する。Ｒａｙ−Ｇａｕｓｓｉａｎにおける“Ｇａｕｓｓｉａｎ”とは、ガウスカーネルを利用して、（イメージ，スケール，深度）ドメインの（スケール）部分を実現することを表す。ライトフィールドの２次元スライスのＲａｙ−Ｇａｕｓｓｉａｎカーネルの一例は、
であり、ここで、ｘは（イメージ）ドメインからの座標であり、ｕは（ビュー）座標であり、σは（スケール）座標であり、φは（深度）座標である。この特定の定式化は、高速変換を可能にするいくつかの効果を有する。本例のＲａｙ−Ｇａｕｓｓｉａｎカーネルは、ライトフィールドの２次元スライスについて定義されるが、当該変換は、３次元スライスやライトフィールド全体についてカーネルを定義するため拡張可能であるとき、このケースに限定されるものでない。

（イメージ，スケール，深度）ドメインにおいて実行可能な処理の具体例は、深度推定及び３Ｄ特徴抽出である。１つのアプローチでは、スケール・深度変換は、Ｒａｙ−Ｇａｕｓｓｉａｎカーネルの２次導関数に基づき、深度推定は、ライトフィールドのスケール・深度変換において極値を検出することに基づく。他のアプローチでは、スケール・深度変換は、Ｒａｙ−Ｇａｕｓｓｉａｎカーネルの１次導関数に基づき、変換されたライトフィールドの極値の検出は、エッジ検出などの３Ｄ特徴検出に利用可能である。

本発明の他の態様は、上述したコンセプトに関連する方法、デバイス、システム、コンポーネント及びアプリケーションを含む。

本発明によると、ライトフィールドから深度及び他の情報を効率的かつロウバストに抽出するライトフィールド処理アプローチを提供することができる。

本発明は、添付した図面と共に参照されるとき、本発明の以下の詳細な説明及び添付した請求項からより容易に明らかになる他の効果及び特徴を有する。

図１は、３次元シーンを示す図である。 図２は、本発明によるライトフィールドイメージを処理する方法のフロー図である。 図３Ａ〜３Ｃは、３つの異なる視点から見た２つのオブジェクトを示す図であり、図３Ｄは、対応するライトフィールドの（ｘ，ｕ）スライスを示す図である。 図４は、グレイスケールシーンのライトフィールドからの（ｘ，ｕ）スライス上に重畳されたレイを示す。 図５Ａは、２次元イメージのガウススケール空間を示し、図５Ｂは、ガウスピラミッドを示す図である。 図６は、φ＝π／４及びσ＝６のＲａｙ−Ｇａｕｓｓｉａｎカーネルの一例を示す。 図７Ａ〜７Ｃは、Ｒａｙ−Ｇａｕｓｓｉａｎ変換を計算するための異なる方法を示すフロー図である。 図８は、深度推定を示すフロー図である。 図９Ａ〜９Ｂは、可能性のあるオクルージョンを示す図である。 図１０Ａはライトフィールドイメージセットからの１つのイメージであり、図１０Ｂはライトフィールドイメージセットの深度推定を示し、図１０Ｃはライトフィールドイメージセットの特徴抽出を示す。 図１１は、プレノプティックイメージングシステムの図である。

図面は、説明のみのため本発明の実施例を示す。以下の説明から、当業者は、ここに説明される構成及び方法の代替的な実施例がここに説明される本発明の原理から逸脱することなく利用可能であることを容易に認識するであろう。

図面及び以下の説明は、単なる説明のための好適な実施例に関する。以下の説明から、ここに開示される構成及び方法の代替的な実施例が、特許請求の範囲の原理から逸脱することなく利用可能な実行可能な代替として容易に認識されることに留意すべきである。
［ライトフィールド］
以下の具体例では、ライトフィールドを何れか所与の方向の空間内の任意のポイントにおける放射輝度として表現する。ライトフィールドは、所与のリファレンス面上の位置（ｕ，ｖ）において観察され、図１に示されるように、位置（ｘ，ｙ）のポイントソースから到来するライトレイの放射輝度を表す４次元関数としてパラメータ化可能である。ライトフィールドをＩ（ｘ，ｙ，ｕ，ｖ）として記す。

図１は、３つのオブジェクト１１０Ａ〜Ｃによる簡単化された３次元シーンを示す。図１はまた、リファレンス（ｘ，ｙ）プレーンとリファレンス（ｕ，ｖ）プレーンとを示す。２つのポイント（ｕ_１，ｖ_１），（ｕ_２，ｖ_２）がまた示される。（ｕ，ｖ）プレーンは、視点プレーンとしてみなすことができ、座標（ｕ，ｖ）は、（ビュー）ドメインとして参照される空間を定義する。ライトフィールドイメージＩ（ｘ，ｙ，ｕ_１，ｖ_１）は、視点（ｕ_１，ｖ_１）から観察者により見えるであろうイメージである。それは、ピンホールがポジション（ｕ_１，ｖ_１）に配置されたピンホールカメラによりキャプチャされるイメージとしてみなすことができる。同様に、ライトフィールドイメージＩ（ｘ，ｙ，ｕ_２，ｖ_２）は、視点（ｕ_２，ｖ_２）にいる観察者により見えるであろうイメージである。図１において、（ｘ，ｙ）プレーンは、オブジェクト空間において描画されるが、イメージ空間に定義されるユニバーサル座標系としてより適切にみなすことができる。それは、全てのライトフィールドイメージが共通する（ｘ，ｙ）座標系に対して定義されるという意味でユニバーサルである。座標（ｘ，ｙ）は、（イメージ）ドメインとして参照される空間を定義する。

従って、ライトフィールドＩ（ｘ，ｙ，ｕ，ｖ）は、（イメージ）及び（ビュー）ドメインからの３次元シーンの表現であるため、３次元シーンの（イメージ，ビュー）ドメイン表現として参照されることもある。デバイスは、当該空間においてイメージをキャプチャするのに利用されてもよい。例えば、プレノプティックカメラ、カメラアレイ又は他のタイプのマルチビューイメージングデバイスが、異なる視点から３次元シーンのイメージをキャプチャするのに利用されてもよい。数学的には、これらのデバイスは、（ｕ，ｖ）の異なる値においてライトフィールドＩ（ｘ，ｙ，ｕ，ｖ）をサンプリングする。イメージセットはまた、３次元シーンのマルチビューイメージとしても参照されてもよい。しかしながら、上述されたように、これらマルチビューイメージを直接処理し、それらの内部において本来的にキャプチャされる３次元情報を抽出することは困難となりうる。

図２は、本発明によるライトフィールドイメージを処理する方法のフロー図である。（イメージ，ビュー）ドメインにおいてライトフィールドイメージを直接処理する代わりに、提供２７０されるライトフィールドイメージは、（イメージ，ビュー）ドメインから（イメージ，スケール，深度）ドメインに変換２８０され、当該ドメインにおいて代わりに処理２９０される。変換２８０は、スケール・深度変換として参照される。（イメージ，スケール，深度）ドメインへの変換を含む（スケール）及び（深度）ドメインのそれぞれが、以下においてより詳細に説明される。簡単化のため、以下の説明は、１次元“イメージ”を用いるが、２次元への拡張は容易である。（イメージ）、（ビュー）、（スケール）及び（深度）の次元はそれぞれ、座標ｘ，ｕ，σ及びφにより表される。
［（深度）ドメイン］
図３Ａ〜３Ｄに示されるようなライトフィールドの２次元スライスＩ（ｘ，ｕ）のいくつかの具体例を見る場合、一様に離間した視点によるライトフィールドの特性に固有のライン構成を観察することが可能であり、ここで、（ｘ，ｕ）ドメインのラインの角度はシーン内の異なる深度に対応する。図３Ａは、異なる深度にある２つのオブジェクト２１０，２２０を示す。オブジェクト２２０はオブジェクト２１０の前方である。それは、視点ｕに応じてオブジェクト２１０を塞ぐかもしれないし、又はそうでないかもしれない。

図３Ａは、視点ｕ_１から撮影される。当該視点から、オブジェクト２１０はｘインターバル２１１を占有し、オブジェクト２２０はｘインターバル２２１を占有する。２つのインターバル２１１，２２１は重複せず、オクルージョン又は閉塞（ｏｃｃｌｕｓｉｏｎ）はない。図３Ｄは、これら２つのオブジェクトのライトフィールドの２次元（ｘ，ｕ）スライスを示す。図３Ａのｘスライスは、垂直方向のｕ軸上のｕ_１によりマーク付けされる。２つのインターバル２１１，２２１は、図３Ｄの座標ｕ＝ｕ_１の２つのラインセグメントとして再生される。図３Ｂは、異なる視点ｕ_２からの同一の２つのオブジェクトを示す。当該視点から、オブジェクト２１０はｘインターバル２１２を占有し、オブジェクト２２０はｘインターバル２２２を占有する。これはまた、図３Ｄの座標ｕ＝ｕ_２の２つのラインセグメントにより示される。座標ｕ＝ｕ_１におけるセグメントに関するこれらのセグメントのシフトが存在することに留意すべきである。視点の変更による当該相対的なシフトは、視差と呼ばれる。図３Ｂにおいて、２つのｘインターバル２１２，２２２は単に接触している。図３Ｃは、視点ｕ_３からの２つのオブジェクトを示す。ここで、図３Ｄのｕ＝ｕ_３における２つのラインセグメントにより示されるように、オブジェクト２１０はｘインターバル２１３を占有し、オブジェクト２２０はｘインターバル２２３を占有する。２つのｘインターバル２１３，２２３はオーバラップしており、それは、オブジェクト２２０がオブジェクト２１０の一部を塞ぐことを意味する。閉塞された領域は、オーバラップエリアである。他の視点ｕについて当該処理を繰り返すことは、図３Ｄに示される２つの台形２１９，２２９をもたらし、それはレイ（ｒａｙ）として参照される。オーバラップエリア２３９は、オブジェクト２２０によるオブジェクト２１０のオクルージョンを表す。オブジェクト２２０はオブジェクト２１０の前方にあるため、レイ２２９は、オーバラップ領域２３９による影響を受けない。すなわち、レイ２２９のエッジは、パラレルでありつづける。他方、レイ２１９は、マイナスの三角形のオーバラップ領域２３９となる。

図３Ｄから、固有のライン構成が見える。すなわち、オブジェクトの各ポイントは、ｘ軸との法線に関する角度φの（ｘ，ｕ）プレーンにおいてラインを生成する。同じ深度の隣接するポイントセットは、垂直軸と角度φを形成する幅のレイを生成する。これらの角度は、図３Ｄにおいてφ_１及びφ_２とラベル付けされる。一般的な４次元のケースでは、これらの角度は、（ｘ，ｙ）プレーンとの法線に関するものとなる。便宜上、角度φは視差角度として参照される。視差角度φは、オブジェクトの深度位置に依存する。視差のため、視点となるｕプレーンから深さに関してより遠いオブジェクトは、より小さな視差角度φによるラインを生成する。ｕ軸からより遠いオブジェクト２１３に対応するレイ２１９は、より小さな視差角度φを有する。ｕ軸により近いオブジェクト２２３に対応するレイ２２９は、より大きな視差角度φを有する。カメラアレイ又はプレノプティックカメラのいくつかの構成では、角度φはまた負となりうる。これらのレイは、垂直方向のレイ（すなわち、φ＝０のレイ）を生成するオブジェクトより、視点に対する方向に沿って更に遠くにあるオブジェクトに対応する。一般に、角度φは、インターバル（−π／２，π／２）内の値をとりうる。

図４は、グレイスケールシーンのライトフィールドからの（ｘ，ｕ）スライスを示す。図４はまた、可変的な角度（深度）及び幅の３つのレイ４１９，４２９，４３９を示す。

３次元シーンにおいて視差角度φと深度との間には直接的な対応関係がある。この結果、３次元シーンの（ｘ，ｕ）表現は、（ｘ，φ）ドメインに変換可能である。当該ドメインの（φ）部分は、視差角度φと深度との間の直接的な対応関係による（深度）ドメインの一例である。
［（スケール）ドメイン］
図３Ｄに戻って、各レイ２１９，２２９の幅は、３次元シーンの対応するオブジェクト２１０，２２０の空間的な範囲（すなわち、サイズ）に対応する。異なるサイズのオブジェクトは、シーンのスケール空間表現を用いることによって処理することができる。

１つのアプローチでは、イメージのスケール空間表現は、スケールが小さなスケール（狭くシャープなカーネルを与える）から大きなスケール（広くスムースなカーネルを与える）に変化するカーネルによりそれを畳み込むことによって取得される。異なるレベルのスケール空間において、異なるサイズのイメージ特徴は異なってスムース化され、すなわち、小さな特徴はより大きなスケールでは消失する。従って、スケール空間フレームワークは、スケールに不変なイメージ処理を可能にし、それは、オブジェクトのポーズやカメラの向き及び距離などのため、イメージにおけるオブジェクトサイズの変化を処理するのに有用である。

スケール空間を構成するのに通常利用されるカーネルはガウスカーネルである。１次元のケースにおけるガウススケール空間（今のところ視点ｕを無視する）は、
として定義される。ただし、
であり、σは（スケール）座標であり、＊は畳み込み演算子を示す。

ガウスカーネルの導関数に基づくスケール空間がまた構成可能である。例えば、ガウススケール空間の正規化された１次導関数
はエッジ検出に利用可能であり、ここで、“正規化”とはσとの乗算を表す。すなわち、所与の信号がＩ（ｘ）＝ｔ（ｘ−ｘ_０）であるとき（ただし、ｔ（ｘ）はステップ関数である）、
となる。

ガウススケール空間の正規化された２次導関数
は、ブロブ検出（ｂｌｏｂ ｄｅｔｅｃｔｉｏｎ）に利用可能であり、ここで、“正規化”とはσ^２との乗算を表す。これは、Ｉ（ｘ）＝ｔ（ｘ−ｘ_０）−ｔ（ｘ−ｘ_１）であるとき、
が、
に対して最小値を有するためである。ガウススケール空間の更なる既知の性質はＡｐｐｅｎｄｉｘに説明される。

ガウススケール空間の１つの効果は、図５Ａ〜５Ｂに示されるように、ガウスピラミッドを介した再帰的なスケールドメインの実現を可能にすることである。図５Ａにおいて、要素５１０はガウススケール空間を表す。（ｘ，ｙ）座標はイメージ座標であり、σはスケール座標である。簡単化のため、１次元のみのスケーリングを仮定する。要素５１０は、垂直軸に沿ってｌｏｇ（σ）による式（１）を表す。要素５１０を構成する１つの方法は、要素５１０の異なる“スライス”により表されるようなσの異なる値について式（１）を直接計算することである。

他のアプローチは、図５Ｂに示されるように、ガウスピラミッドを構成することである。この場合、要素５２０Ａは、式（１）を直接計算することによって構成される。要素５２０Ｂは、２のファクタ（１オクターブ）など乗数ファクタにより要素５２０Ａのダウンサンプリングによって取得される。すなわち、要素５２０Ｂのスライスは、２の乗数などの要素５２０Ａに利用されるものの乗数であるσの値において評価される。要素５２０Ｂのスライスは、式（１）の直接的な適用により計算する代わりに、要素５２０Ａのスライスをフィルタリング及びダウンサンプリングすることによって構成可能である。同様に、要素５２０Ｃのスライスは、要素５２０Ｂのスライスをフィルタリング及びダウンサンプリングすることによって構成可能である。
［（イメージ，スケール，深度）ドメインへの変換］
ここで、上述した具体例に基づき（イメージ，ビュー）ドメインから（イメージ，スケール，深度）ドメインへの変換の具体例を検討する。本例では、キャプチャされたマルチビューイメージは、Ｉ（ｘ，ｕ）によって（イメージ，ビュー）ドメインにおいて表現される。（イメージ，ビュー）ドメイン表現Ｉ（ｘ，ｕ）を（イメージ，スケール，深度）ドメイン表現Ｌ（ｘ；σ，φ）に変換することを所望する。便宜上、Ｌ（ｘ；σ，φ）はまた、Ｉ（ｘ，ｕ）のスケール・深度変換（又はスケール・深度空間）として参照されてもよい。

まず当該変換において用いるカーネルを定義する。Ｒａｙ−Ｇａｕｓｓｉａｎカーネルを
として定義する。ここで、ｘ及びｕは図２Ｄに定義されるものであり、φはｕ軸によりＲａｙ−Ｇａｕｓｓｉａｎカーネルが構成する角度であり（すなわち、ｘ軸との法線との角度）、σはカーネルの幅パラメータである。Ｒａｙ−Ｇａｕｓｓｉａｎの“Ｒａｙ”とは、（ｘ，ｕ）空間にあるレイを表す。

図６は、φ＝π／４及びσ＝６によるＲａｙ−Ｇａｕｓｓｉａｎ関数の一例を示す。このグレイスケールピクチャでは、より明るいピクセルはより大きな値であり、より暗いピクセルはより小さな値である。Ｒａｙ−Ｇａｕｓｓｉａｎは、ｘ方向についてガウス状であり、ｕ方向についてリッジ状である。リッジの傾きは、ｔａｎ φに等しく、指数におけるｘのシフトにおいてｕを乗算する。このリニアシフトｘ_０＝ｕ ｔａｎ φは、フラットプレーン上の視点の一様な離間により取得されるライトフィールドのための（イメージ，ビュー）ドメインにおけるレイ構成を最も良く表すため選択される。

しかしながら、曲線状のレイなどの異なる構成を表すためシフトｘ_０＝ｆ（ｕ）の異なる（及び非線形であり得る）パラメータ化を選択することが可能であることに留意されたい。ｆ（ｕ）の適切な選択は、ライトフィールドイメージ取得のジオメトリに依存する。図２の具体例では、３次元シーンの各ポイントは、（イメージ，ビュー）スライスにおいてラインを生成し、異なる深度のポイントは、異なる角度のラインに対応する。しかしながら、マルチビューイメージが非一様マイクロレンズアレイ密度による非フラットプレーン又はプレノプティックカメラ上の非一様なカメラアレイによりキャプチャされる場合、３次元シーンの異なる深度のポイントは、（イメージ，ビュー）スライスの異なる曲線に対応してもよい。関数ｆ（ｕ）はこれに対応して選択される。

Ｒａｙ−Ｇａｕｓｓｉａｎカーネルを用いて、
に従ってＩ（ｘ，ｕ）のＲａｙ−Ｇａｕｓｓｉａｎ変換Ｌ（ｘ；σ，φ）を構成する。ただし、ｘ（イメージドメイン）上でのみ畳み込みを評価しているため、ｕ＝０が選択される。すなわち、
である。畳み込みはｘ上のみであるため、Ｌ（ｘ；σ，φ）はｕに依存せず、Ｌ（ｘ；σ，φ）はパラメータとしてスケールσと角度φとの双方を有することに留意されたい。

同様に、Ｒａｙ−Ｇａｕｓｓｉａｎ変換のｎ次導関数を
として定義する。

以下において、Ｒａｙ−Ｇａｕｓｓｉａｎ変換を構成するのに有用なＲａｙ−Ｇａｕｓｓｉａｎ関数の特定の性質を示す。次の２つの補題はＲａｙ−Ｇａｕｓｓｉａｎとそれのダウンサンプリング又はアップサンプリングファクタとのスケール変更に関する等式を証明する。

補題１：以下の式が成り立つ。
ただし、ｓ＞０はスケールファクタである。

証明：
補題１は、スケールσ及び角度φによるＲａｙ Ｇａｕｓｓｉａｎが、ダウンサンプリングファクタｓについてｓにより乗算される値によるスケールｓσ及び角度φによるそれのダウンサンプリングされたバージョンに等しいことを示す。ライトフィールドでは、ｕのダウンサンプリングは、その個数が通常は小さいシーンのいくつかのビューをドロップしていることを意味するため、通常は望ましくない。従って、ｘのみにおけるダウンサンプリングを扱う以下の補題を示す。

補題２：以下の式が成り立つ。
ただし、φ’＝ａｒｃｔａｎ（ｓ ｔａｎ φ）であり、φ∈（−π／２，π／２）であり、ｓ＞０である。

証明：ｔａｎ（φ’）＝ｓ ｔａｎ φであるため、
となる。

第２の補題は、スケールσ及び角度φによるＲａｙ Ｇａｕｓｓｉａｎが、ファクタｓによるｘのみにおけるダウンサンプリングについて、ｓにより乗算された値によるスケールｓσ及び角度φ’＝ａｒｃｔａｎ（ｓ ｔａｎ φ）におけるそれのダウンサンプリングされたバージョンに等しいことを示す。

これら２つの補題が提供されると、Ｒａｙ−Ｇａｕｓｓｉａｎ変換Ｉ＊Ｒ_σ，φの以下の性質を示すことができる。次の６つの命題は、ライトフィールドＩのダウンサンプリングによるＲａｙ−Ｇａｕｓｓｉａｎ変換の動作に関する。完全性のため、これらの命題の証明は、Ａｐｐｅｎｄｉｘに与えられる。

命題１：Ｊ（ｘ，ｕ）＝Ｉ（ｓｘ，ｓｕ）となるような（すなわち、ＩはＪのダウンサンプリング又はアップサンプリングバージョンである）ライトフィールドスライスＪ（ｘ，ｕ）を有する場合、
である。

命題２：Ｊ（ｘ，ｕ）＝Ｉ（ｓｘ，ｕ）となるような（すなわち、ＩはｘのみにおけるＪのダウンサンプリング又はアップサンプリングバージョンである）ライトフィールドスライスＪ（ｘ，ｕ）を有する場合、
である。ただし、φ’＝ａｒｃｔａｎ（ｓ ｔａｎ φ）であり、φ∈（−π／２，π／２）であり、ｓ＞０である。

Ｒａｙ−Ｇａｕｓｓｉａｎ変換のこれら２つの性質は、複数の方法によりライトフィールドＩの変換Ｌ（ｘ；σ，φ）を構成可能であることを示す。図７Ａは直接的なアプローチを示す。このアプローチでは、Ｉは、σ∈｛σ₁, …,σ_n, 2σ₁, …,2σ_n,…, 2^kσ₁, …,2^kσ_n,｝及びφ∈｛φ₁,
…, φ_m｝について、Ｒ_σ，φにより畳み込まれる７１０。この式では、ｎはスケールのオクターブ毎のサンプルの個数であり、（ｋ＋１）はオクターブの個数であり、ｍは深度ドメインにおけるサンプルの個数である。他のファクタｐもまた利用可能であるが、ダウンサンプリングファクタは２として選択される。図７Ａにおいて、これは２つのループ７２２，７２４により実現される。

図７Ｂは、上記命題を用いて図５のものと同様のピラミッドをダウンサンプリング及び構成することによって計算量を低減する。これは、大きなライトフィールドにとって特に有用となりうる。このアプローチでは、Ｉは、図７Ｂのループ７２２，７２６により示されるように、σ∈｛σ₁, …,σ_n｝及びφ∈｛φ₁, …, φ_m｝についてＲ_σ，φにより畳み込みされる。σの値は図７Ａと比較してはるかに少ないオクターブ未満にしか及ばないことに留意されたい。その後、Ｉは２によりダウンサンプリング７３０され、ダウンサンプリングされたＩは、２により乗算され（式（１４）に従って）、σ∈｛σ₁, …,σ_n｝及びφ∈｛φ₁, …, φ_m｝についてＲ_σ，φにより畳み込みされる。この畳み込みは、Ｉがダウンサンプリングされているため、より少ない計算量しか必要としない。これがループ７３２において（ｋ−１）回繰り返される。

図７Ｃは、ダウンサンプリング７３７がｕでなくｘにおいてのみ実行されることを除き、図７Ｂと類似する。この場合、各ダウンサンプリングについて、深度値φがまた変更７３７される。すなわち、ダウンサンプリング後、ダウンサンプリングされたＩが、σ∈｛σ₁, …,σ_n｝及びφ∈｛φ₁’, …, φ_m’｝についてＲ_σ，φにより畳み込みされる。

また、同様の性質が、Ｒａｙ−Ｇａｕｓｓｉａｎの１次及び２次導関数に対して構成された変換について成り立つことを証明できる。

命題３：Ｊ（ｘ，ｕ）＝Ｉ（ｓｘ，ｓｕ）となるようなライトフィールドスライスＪ（ｘ，ｕ）を有する場合（すなわち、ＩがＪのダウンサンプリング又はアップサンプリングされたバージョンである）、
となる。

命題４：Ｊ（ｘ，ｕ）＝Ｉ（ｓｘ，ｕ）となるようなライトフィールドスライスＪ（ｘ，ｕ）を有する場合（すなわち、Ｉがｘ上でのみＪのダウンサンプリング又はアップサンプリングされたバージョンである）、
となる。ただし、φ’＝ａｒｃｔａｎ（ｓ ｔａｎ φ）であり、φ∈（−π／２，π／２）であり、ｓ＞０である。

命題３，４から、１次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換Ｌ’（ｘ；σ，φ）の構成のため、“正規化”されたＲａｙ−Ｇａｕｓｓｉａｎ導関数
を用いて、図７Ａ〜７Ｃに示されるものと同様のアプローチを実現することができる。

命題５：Ｊ（ｘ，ｕ）＝Ｉ（ｓｘ，ｓｕ）となるようなライトフィールドスライスＪ（ｘ，ｕ）を有する場合（すなわち、ＩがＪのダウンサンプリング又はアップサンプリングされたバージョンである）、
となる。

命題６：Ｊ（ｘ，ｕ）＝Ｉ（ｓｘ，ｕ）となるようなライトフィールドスライスＪ（ｘ，ｕ）を有する場合（すなわち、Ｉがｘ上でのみＪのダウンサンプリング又はアップサンプリングされたバージョンである）、
となる。ただし、φ’＝ａｒｃｔａｎ（ｓ ｔａｎ φ）であり、φ∈（−π／２，π／２）であり、ｓ＞０である。

同様に、命題５，６から、２次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換Ｌ”（ｘ；σ，φ）の構成のため、“正規化”されたＲａｙ−Ｇａｕｓｓｉａｎ２次導関数
を用いて、図７Ａ〜７Ｃに示されるものと同様のアプローチを実現することが可能である。

角度の変化の下でのライトフィールドとの内積の保存に関するＲａｙ−Ｇａｕｓｓｉａｎカーネルの１以上の性質を証明することが有用である。

命題７：Ｉ（ｘ，ｕ）＝ｆ（ｘ−ａｕ）を満たすライトフィールド（ただし、ａは定数
を有する場合（オクルージョンがない場合）、
となる。

同様の命題が、導関数Ｒ’_σ，φ及びＲ”_σ，φについて成り立つ。これは、深度推定のための重要な性質である。なぜなら、レイの角度に関するバイアスがなく、深度値に関するバイアスがないことを保証するためである。
［正規化された２次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換からの深度推定］
図２に戻って、スケール・深度変換が、異なる目的を実現するため異なる方法により処理２９０されることが可能である。１つの適用では、３次元シーンの（イメージ，スケール，深度）ドメイン表現は、３次元シーンにおける深度を推定するため処理される。以下の具体例は、スライスにおける位置、幅（σに基づく）及び角度（φに基づく）と共に（ｘ，ｕ）空間においてレイを検出することに基づく。

図８は、Ｒａｙ−Ｇａｕｓｓｉａｎに基づきこれを実現するためのフロー図を示す。図８は、図２に示される処理の一例である。ここで、変換ステップ８８０は、正規化された２次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換
に基づく。処理ステップ８９０は、Ｌ”（ｘ；σ，φ）の極値（局所的最小値及び最大値）を求めることに基づく。極値ポイントのパラメータ｛（ｘ_ｐ，σ_ｐ，φ_ｐ）｝は、各レイｐについて以下の情報を与える。
・レイの中心の位置ｘ_ｐ
・レイの幅２σ_ｐ
・レイの角度φ_ｐ
角度φ_ｐから、カメラキャリブレーションパラメータをｄ_ｐ＝ｆｂ／ｔａｎ（φ_ｐ）として利用することによって（ただし、ｆはカメラ焦点長さであり、ｂはカメラ間距離である）、当該レイの深度ｄ_ｐ（すなわち、３次元シーンにおける対応するポイントの深度）を取得できる。プレノプティックカメラについて、レイトレーシング又は波伝搬を用いてプレノプティックイメージ形成をシミュレートすることによって、より正確な角度・深度値の割り当てを評価できる。この第２アプローチは、深度推定において光パラメータのより正確な利用を含む。

レイを検出し、それのパラメータを検出した後、更なる技術を適用することによって結果を更に精緻化できる。１つの技術は、重複するレイ間のオクルージョンコンフリクト８９２を決定する。各レイの位置及び幅を有するため、図３Ｄに示されるものなど、オーバラップするレイセットを求めることができる。オーバラップしているレイを検出すると、フォアグラウンドからバックグラウンドへのレイのオーダリングを決定することができる。より大きな角度のレイはより小さな深度を示すため（より近いオブジェクトとより大きな視差）、より大きな角度のレイは、図９Ａに示されるようにフォアグラウンドにあるべきである。図９Ａにおいて、レイ９１０は（ｘ，ｕ）空間においてレイ９２０を塞ぐ。これは、レイ９１０がより急峻な角度であるため可能であり、それがカメラにより近く、より近くのオブジェクトがより遠くのオブジェクトを塞ぐことを意味する。

イメージにおけるノイズのため、検出されたレイは図９Ｂに提供される状況に従う。本例では、レイ９２０はレイ９１０を塞ぐが、レイ９２０はより遠くのオブジェクトを表す。重複するレイによるこのようなケースを処理するための１つのアプローチは、全てのレイのセットから“塞がれた”レイ９１０を取り除くことである。図９Ａに従う状況について、レイを維持し、更にオクルージョンに関する情報を記録することが可能である。

オクルージョン検出８９２の後に残った検出されたレイからの情報を組み合わせることによって、深度８９４をピクセルに割り当てることが可能である。また、（ｘ，ｕ）スライスからのスケール・深度空間と、ライトフィールドの（ｙ，ｖ）スライスからのスケール・深度空間とを処理することによって検出されるレイからの情報を合成可能である。（ｘ，ｕ）は水平方向の視差によるビューに対応し、スライス（ｙ，ｖ）は垂直方向の視差によるビューに対応する。割り当てのための複数のオプション（複数のレイ）によるピクセルについて、より高い信頼値を有する割り当てを選択してもよい。他の全てのファクタが等しい場合、当該ピクセルのスケール・深度空間の最も大きな絶対値を有するレイを抽出する。

図８における破線は、３次元シーンにおけるエッジ及びそれらの角度を検出するための更なる処理パスを示す。これは、以下においてより詳細に説明される。当該情報はまた、深度割り当てを向上させるため利用可能である。例えば、レイ検出及びエッジ検出からの信頼値を組み合わせ、より良好な深度割り当てを取得することができる。また、誤りがあるかもしれないとき、両サイドにおけるシャープなエッジを有しない弱いレイを排除することができる。
［１次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換からの３Ｄ特徴検出］
３次元シーンにおいてエッジを検出し、正規化された１次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換
において極値を検出することによって、これらのエッジの深度値を推定することが可能である。極値ポイントのパラメータ｛（ｘ_ｑ，σ_ｑ，φ_ｑ）｝は、各エッジｑに関する以下の情報を提供する。
・エッジの位置ｘ_ｑ
・エッジのスケールσ_ｑ
・エッジの角度φ_ｑ
エッジは、通常は有用なイメージ特徴である。各エッジ特徴に割り当てられた深度値を取得するため、本方法は３Ｄ特徴検出を効果的に実行する。図８の破線のボックスにおいて、エッジ特徴検出方法のフローチャートが示される。これは、図２に示される処理の他の例である。ここで、変換ステップ９８０は、正規化された１次Ｒａｙ−Ｇａｕｓｓｉａｎ変換
に基づく。処理ステップ９９０は、Ｌ’（ｘ；σ，φ）の極値（局所的最小値及び最大値）を検出することに基づく。オクルージョン検出９９２はまた、エッジ検出に適用可能である。

図８の破線のボックスにおいて示されるアプローチは、他のタイプの特徴検出に一般化できる。処理ステップ９９０は、所望される特徴検出に応じて異なる処理と置換されうる。例えば、第２イメージ次元ｙに沿って連結されたスケール・深度変換の４Ｄボリュームにおいて極値を検出することによって、イメージ特徴としてコーナーを検索できる。
［実験結果］
スタンフォードデータベースからの“トラック”ライトフィールド上の深度推定及び３Ｄ特徴検出方法を評価した。これは、カメラガントリにより取得された（ｘ，ｙ，ｕ，ｖ）ライトフィールドであり、水平方向と垂直方向との双方のカメラのずれによるイメージを含む。トータルで１６×１６のイメージがある。図１０Ａにおいて、１つのイメージのグレイスケールバージョンが示される。以下の結果は、ライトフィールドのグレイスケールバージョンについて示されるが、ここで説明されるアプローチはまた、マルチカラーチャネルからの結果を集約するのに利用可能である。

（ｘ，ｕ）及び（ｙ，ｖ）スライスについて個別にＲａｙ−Ｇａｕｓｓｉａｎ変換、レイ検出及びエッジ検出を適用し、その後、深度割り当て前にそれらを合成した。深度マップ推定のため、レイ検出とエッジ検出との双方からの情報を利用した。ある後処理後（メディアンフィルタリング及びモーフォロジカルクロージング）に取得した深度マップが図１０Ｂに示される。図１０Ｂでは、より明るいグレイスケールはより近い深度を表し、より暗いグレイスケールはより遠くの深度を表す。最終的に、図１０Ｃは、オリジナルカラーイメージにオーバレイされた検出された３Ｄ特徴の位置を示す。各特徴の深度は、特徴マーカの擬似カラーにより示される。より暖色（赤色）のカラーはより近い特徴を示し、より寒色（青色）のカラーはより遠くの特徴を示す。
［プレノプティックイメージングシステム］
図１１は、上述したアプローチにより用いるのに適したライトフィールドイメージをキャプチャすることが可能なプレノプティックイメージングシステムの図である。システムは、シーン１１０のプレノプティックイメージをキャプチャする。プレノプティックイメージは、本来的にシーン１１０のマルチビューイメージである。プレノプティックイメージングシステムは、光学モジュール１１０５が複数の要素及び／又は非レンズ要素（ミラーなど）を含みことが可能であることが理解されるが、図１１において単一のレンズ要素により表される画像形成光学モジュール１１０５を含む。光学モジュール１１０５は、シーン１１０の従来の光学イメージ１１６０を形成する。光学モジュール１１０５はまた、プライマリイメージングモジュール、サブシステム又はシステムとして参照されてもよい。光学イメージ１１６０は、光学モジュール１１０５のイメージプレーン１１２５において形成される。光学モジュール１１０５は、瞳１１１７及び瞳面１１１５により特徴付けされ、図１１において、単一のレンズ要素と共置される物理的な開口絞りにより表される。より複雑な光学モジュール１１０５では、瞳１１１７及び瞳面１１１５は、光学モジュール内の何れの光要素とも共置される必要はない。

従来のイメージングシステムでは、検出アレイは、光学イメージ１１６０をキャプチャするため、イメージプレーン１１２５に配置される。しかしながら、このことは、図１１のプレノプティックイメージングシステムの場合には異なる。本例では、マイクロイメージング要素１１２１のアレイ１１２０は、イメージプレーン１１２５に配置される。図１１において、マイクロイメージング要素１１２１はマイクロレンズとして示される。ピンホールのアレイなどの他の要素がまた利用可能である。検出アレイ１１３０は、マイクロイメージングアレイ１１２０の後方（すなわち、光学的に下流）に配置される。より詳細には、検出アレイ１１３０は、瞳プレーン１１１５に対する共役面に配置される。すなわち、各マイクロイメージング要素１１２１は、共役面１１３５において瞳プレーン１１１５のイメージを生成し、当該イメージが検出アレイ１１３０によりキャプチャされる。

マイクロレンズの場合、各マイクロレンズ１１２１は、検出プレーン１１３５において瞳のイメージ１１７０を形成する。瞳のイメージは、検出アレイ１１３０において検出手段１１３１のサブセットによりキャプチャされる。各マイクロレンズ１１２１は、それ自体のイメージ１１７０を形成する。従って、検出プレーン１１３５において形成されるプレノプティックイメージ全体は、各マイクロレンズ１１２１に１つのイメージとなるイメージ１１７０のアレイを含むことになる。このアレイ化されたイメージングは、検出アレイをスーパーピクセル１１３３に効果的に細分化し、各スーパーピクセルは複数の検出手段１１３１を含む。各マイクロレンズ１１２１は、瞳を対応するスーパーピクセル１１３３にイメージングし、各瞳イメージは、その後に対応するスーパーピクセルの検出手段によりキャプチャされる。

各検出手段１１３１は、瞳１１１７の一部を介し移動するレイを収集する。各マイクロレンズ１１２１は、シーン１１０の一部から生じるレイを収集する。従って、各検出手段１１３１は、シーン１１０の一部から特定方向に移動するレイを収集する。すなわち、各検出手段１１３１は、特定の視点から撮影されるとき、シーンのイメージ全体の小さな部分を収集する。同じ視点から生じる検出手段１１３１により収集されたデータを集約することによって、当該視点からのシーンの完全なイメージが構成可能である。異なる視点から全てのイメージを集約することによって、シーンの完全なライトフィールドが構成可能である。図１１において、プロセッサ１１８０は、検出アレイ１１３０からデータを収集し、それを処理する。プロセッサ１１８０はまた、ＬＦ変換と上述された他の処理とを実行してもよい。

図１１は、プレノプティックイメージングシステムによるライトフィールドのキャプチャを示す。上述されるように、カメラアレイなどの他のタイプのライトフィールドイメージングシステムがまた利用可能である。

多くのプレノプティックカメラは、これらのカメラから取得したライトフィールドの具体的な構成を生じさせる特定の光学的性質を有する。当該構成は、ライトフィールドの（イメージ，ビュー）ドメインのレイの角度とスケールとの間の確定的な関係に反映される。例えば、遠く離れてフォーカスされたメインレンズ（レンズの“過焦点距離”などにある）を備えたプレノプティックカメラは、小さな視差角度により特徴付けされるレイが小さなブラー（又はブラーのない）を有し、より大きな視差角度により特徴付けされるレイがより大きなブラーを有するライトフィールドを生成する。ブラー（スームスネス）は、レイがスケール深度処理により検出されるスケールのレベルに影響を与えるため、深度とスケールとの間には確定的な関係がある。これらのタイプの関係は、（イメージ，スケール，深度）空間におけるサーチの複雑さを低減するため、効果的に利用可能である。例えば、関数ｆにより与えられるスケールと深度との間の一対一の関係が存在する場合、（イメージ，スケール，深度）空間内の３次元サーチは、（イメージ，ｆ（スケール，深度））内の２次元サーチに減縮可能である。これは、スケール・深度処理の他の適用と共に、深度推定及び３Ｄ特徴検出への双方の適用例において利用可能である。

メインレンズが過焦点距離より近いオブジェクトにフォーカスされている場合、焦点距離より近いオブジェクトを含むライトフィールドは、より大きな視差角度及びより大きなブラーによるレイによって特徴付けされる。焦点距離より遠くのオブジェクトは、より大きな負の視差角度及びより大きなブラーにより特徴付けされる。

詳細な説明は多くの詳細を含むが、これらは本発明の範囲を限定するものとして解釈されるべきでなく、本発明の異なる具体例及び態様を示すためのものとして単に解釈されるべきである。本発明の範囲は詳細に上述されていない他の実施例を含むことが理解されるべきである。例えば、ライトフィールドは、カメラの非正規的な配置によるカメラアレイやマルチ開口光学系（複数のレンズと１つのセンサアレイとを有するシステム）などのプレノプティックイメージングシステム以外のシステムによりキャプチャ可能である。他のレイとして、スケール・深度ライトフィールド変換は、上述された具体例以外の目的のため、すなわち、セグメント化、圧縮、オブジェクト検出及び認識、オブジェクトトラッキング及び３Ｄシーン可視化などのために処理可能である。最後の例として、スケール空間は、上述されたガウスカーネル以外のカーネルを用いて構成可能である。当業者に明らかな他の各種修正、変更及び変形が、添付した請求項に規定されるような本発明の趣旨及び範囲から逸脱することなく、ここに開示された本発明の方法及び装置の構成、処理及び詳細において可能である。従って、本発明の範囲は、添付した請求項及びそれらの法的な均等によって決定されるべきである。

他の実施例では、本発明は、コンピュータハードウェア、ファームウェア、ソフトウェア及び／又はこれらの組み合わせにより実現される。本発明の装置は、プログラマブルプロセッサによる実行のため、非一時的なマシーン可読記憶媒体において有形に具現化されるコンピュータプログラムプロダクトにより実現可能であり、本発明の方法ステップは、入力データに対して操作し、出力を生成することによって本発明の機能を実行するための命令のプログラムを実行するプログラマブルプロセッサにより実行可能である。本発明は、データストレージシステム、少なくとも１つの入力装置及び少なくとも１つの出力装置との間でデータ及び命令を送受信するため接続される少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能な１以上のコンピュータプログラムにより効果的に実現可能である。各コンピュータプログラムは、ハイレベル手続き型又はオブジェクト指向プログラミング言語により、又は所望される場合にはアセンブリ又は機械語により実現可能であり、何れの場合も、言語はコンパイル又はインタープリットされた言語とすることが可能である。適切なプロセッサは、例えば、汎用及び特定用途マイクロプロセッサとの双方を含む。一般に、プロセッサは、ＲＯＭ及び／又はＲＡＭから命令及びデータを受信する。一般に、コンピュータは、データファイルを格納するための１以上のマスストレージデバイスを含み、当該デバイスは、内部のハードディスク及び着脱可能なディスクなどの磁気ディスク、光磁気ディスク及び光ディスクを含む。コンピュータプログラム命令及びデータを有形に具現化するのに適した記憶装置は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリデバイスなどの半導体メモリデバイス、内部のハードディスク及び着脱可能なディスクなどの磁気ディスク、光磁気ディスク及びＣＤ−ＲＯＭディスクなどを含む全ての形態の不揮発性メモリを含む。上述した何れかは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）及び他の形態のハードウェアにより補完又は搭載可能である。
［Ａｐｐｅｎｄｉｘ：１次元ガウスカーネルの性質（従来技術）］
以下の性質は、１次元ガウスカーネルについて示される。２次元以上への拡張は容易である。１次元ガウスカーネルについて、
となる。Ｊ（ｘ）＝Ｉ（ｓｘ）を定義する。このとき、
が成り立つ。１次導関数について、
が成り立つ。２次導関数について、
が成り立つ。

さらに、以下は、命題１〜６（上述した式（１４）〜（１９））の証明である。

命題１の証明：
命題２の証明：
命題３の証明：
命題４の証明：
命題５の証明：
命題６の証明：
命題７の証明：
任意のａ∈（−１，１）について、
となる。

１１０５ 光学モジュール
１１２０ マイクロイメージングアレイ
１１３０ 検出アレイ
１１８０ プロセッサ

Claims (20)

1. ３次元シーンのライトフィールドイメージを処理する方法であって、当該方法は、コンピュータシステム上で実行され、
   前記３次元シーンのライトフィールドイメージの（イメージ，ビュー）ドメイン表現にアクセスするステップと、
   前記（イメージ，ビュー）ドメイン表現を（イメージ，スケール，深度）ドメイン表現に変換するため、スケール・深度変換を適用するステップと、
   前記３次元シーンの（イメージ，スケール，深度）ドメイン表現を処理するステップと、
   を有する方法。
2. 前記スケール・深度変換の（スケール）部分は、ガウスカーネル又はそれの導関数の１つに基づく、請求項１記載の方法。
3. 前記スケール・深度変換の（深度）部分は、前記（イメージ，ビュー）ドメインにおいて異なる曲線を生成する前記３次元シーンにおける異なる深度のポイントに基づく、請求項１記載の方法。
4. 前記スケール・深度変換の（深度）部分は、前記（イメージ，ビュー）ドメインにおいて異なる角度によりレイを生成する前記３次元シーンにおける異なる深度のポイントに基づく、請求項３記載の方法。
5. 前記スケール・深度変換は、Ｒａｙ−Ｇａｕｓｓｉａｎカーネル
   又はそれの導関数の１つに基づき、ｘは（イメージ）座標であり、ｕは（ビュー）座標であり、σは（スケール）座標であり、φは（深度）座標である、請求項１記載の方法。
6. 前記スケール・深度変換を適用するステップは、
   σ∈｛σ₁, …,σ_n｝及びφ∈｛φ₁, …, φ_m｝について、前記Ｒａｙ−Ｇａｕｓｓｉａｎカーネル又はそれの導関数により前記（イメージ，ビュー）ドメイン表現を畳み込むステップと、
   ｐにより前記（イメージ，ビュー）ドメイン表現をダウンサンプリングし、σ∈｛σ₁, …,σ_n｝及びφ∈｛φ₁, …, φ_m｝について、前記Ｒａｙ−Ｇａｕｓｓｉａｎカーネル又はそれの導関数により畳み込むステップを（ｋ−１）回繰り返すステップと、
   を有し、
   ｎはスケールのダウンサンプリング範囲毎のサンプル数であり、ｍは深度ドメインにおけるサンプル数であり、ｐはダウンサンプリングファクタである、請求項５記載の方法。
7. 前記スケール・深度変換を適用するステップは、
   σ∈｛σ₁, …,σ_n｝及びφ∈｛φ₁, …, φ_m｝について、前記Ｒａｙ−Ｇａｕｓｓｉａｎカーネル又はそれの導関数により前記（イメージ，ビュー）ドメイン表現を畳み込むステップと、
   ｐにより前記（イメージ，ビュー）ドメイン表現のイメージ部分をダウンサンプリングし、σ∈｛σ₁, …,σ_n｝及びφ∈｛φ₁’, …, φ_m’｝について、前記Ｒａｙ−Ｇａｕｓｓｉａｎカーネル又はそれの導関数により畳み込むステップを（ｋ−１）回繰り返すステップと、
   を有し、
   ｎはスケールのダウンサンプリング範囲毎のサンプル数であり、ｍは深度ドメインにおけるサンプル数であり、ｐはダウンサンプリングファクタである、請求項５記載の方法。
8. 前記３次元シーンの（イメージ，スケール，深度）ドメイン表現を処理するステップは、前記（イメージ，スケール，深度）ドメイン表現に基づき前記３次元シーンにおける深度を推定するステップを含む、請求項１記載の方法。
9. 前記スケール・深度変換は、正規化された２次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換であり、
   前記３次元シーンにおける深度を推定するステップは、前記正規化された２次Ｒａｙ−Ｇａｕｓｓｉａｎ変換の極値を検出し、前記極値に基づき深度を推定するステップを含む、請求項８記載の方法。
10. 前記３次元シーンにおいて深度を推定するステップは更に、前記極値に基づきオクルージョンを検出するステップを含む、請求項９記載の方法。
11. 正規化された１次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換を前記（イメージ，ビュー）ドメイン表現に更に適用するステップと、
    前記正規化された１次Ｒａｙ−Ｇａｕｓｓｉａｎ変換の極値を検出するステップと、
    前記正規化された１次Ｒａｙ−Ｇａｕｓｓｉａｎ変換の極値に基づき前記３次元シーンにおけるエッジを推定するステップと、
    前記推定されたエッジに基づき前記深度の推定を改善するステップと、
    を更に有する、請求項９記載の方法。
12. 前記３次元シーンの（イメージ，スケール，深度）ドメイン表現を処理するステップは、前記（イメージ，スケール，深度）ドメイン表現の処理に基づき前記３次元シーンにおいて３次元特徴を抽出するステップを含む、請求項１記載の方法。
13. 前記スケール・深度変換は、正規化された１次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換であり、
    前記３次元シーンにおいて３次元特徴を抽出するステップは、前記正規化された１次導関数Ｒａｙ−Ｇａｕｓｓｉａｎ変換の極値を検出し、前記極値に基づき３次元特徴を抽出するステップを含む、請求項１２記載の方法。
14. 前記３次元シーンのライトフィールドイメージは、一定に離間した視点から撮影される、請求項１記載の方法。
15. 前記３次元シーンのライトフィールドイメージは、プレノプティックイメージングシステムによりキャプチャされる、請求項１記載の方法。
16. 前記（スケール）ドメイン及び前記（深度）ドメインはそれぞれ、１次元である、請求項１記載の方法。
17. 前記ライトフィールドイメージは、前記（スケール）ドメインと前記（深度）ドメインとの間の確定的関係を有し、
    前記（イメージ，スケール，深度）ドメイン表現を処理するステップは、前記確定的関係を利用する、請求項１記載の方法。
18. 前記３次元シーンのライトフィールドイメージは、プレノプティックイメージングシステムによりキャプチャされ、
    前記（スケール）ドメインと前記（深度）ドメインとの間の確定的関係は、前記プレノプティックイメージングシステムにより決定される、請求項１７記載の方法。
19. 前記（イメージ，スケール，深度）ドメイン表現を処理するステップは、前記（イメージ，スケール，深度）ドメイン上でサーチするステップを含み、
    前記（スケール）ドメインと前記（深度）ドメインとの間の確定的関係は、前記サーチの計算複雑さを低減する、請求項１７記載の方法。
20. ３次元シーンのライトフィールドイメージを処理する方法を実現するようコンピュータシステムに指示するためのコンピュータプログラムコードを含む非一時的な有形なコンピュータ可読媒体であって、
    前記方法は、
    前記３次元シーンのライトフィールドイメージの（イメージ，ビュー）ドメイン表現にアクセスするステップと、
    前記（イメージ，ビュー）ドメイン表現を（イメージ，スケール，深度）ドメイン表現に変換するため、スケール・深度変換を適用するステップと、
    前記３次元シーンの（イメージ，スケール，深度）ドメイン表現を処理するステップと、
    を有する媒体。