JP6214562B2 - 適応型多次元データ分解 - Google Patents

Description

本発明は、適応型の、多次元データのマルチスケール分解の方法及び装置に関連する。より具体的には、本発明は、マルチスケール分解を用いて、画像（又は一連の画像）から複数の成分を抽出することに関する。別の態様において、本発明は、経験的モード分解（Empirical Mode Decomposition）に関する。この適応型のマルチスケール分解は、前述のように各画像から成分を抽出するために使用できるが、より一般的には、データ解析にも使用できる。

三次元（３Ｄ）画像及び映像は、放送やビデオ撮像においてますます重要となってきている。三次元ピクチャを生成する既存の技術には、製造コストを激増させるいくつかの（少なくとも二つの）カメラを使用すること、あるいは、構造光又は飛行時間（ＴＯＦ：Time of Flight）などの特定の照度及び検知技術を使用することのいずれかが含まれる。後者の測距技術は、審美的事由により自然照度が通常必要とされるため、放送やビデオ撮像での使用に適していない。

陰影からの形状復元法（ＳＦＳ：Shape-From-Shading）技術は、静止画像から奥行き情報を抽出するために、文献上において提案されてきた。そのような技術のいくつかの実例が、非特許文献１において記載されている。
本発明者らは、単一ビューの二次元ピクチャから三次元ピクチャを生成できることが望ましいことを認識している。現存する陰影からの形状復元技術は、そのような必要性に完全には対処していない。それゆえ、本発明者らは、二次元画像から三次元構造情報を導き出す改善された方法の必要性を確認した。この構造情報には、シーン内の各対象物の形状、及び相対的な位置又はポーズが含まれる。

"Numerical methods for shape-from-shading: A new survey with benchmarks"、 Jean-Denis Durou、Mauricio Falcone、＆ Manuela Sagona、Computer Vision and Image Understanding、２００８年、１０９巻、２２頁−４３頁

本発明の一態様によれば、画像又は映像を複数の成分に分解する方法であって、前記方法は、
前記画像又は映像の強度信号を取得することと、
前記強度信号を、シーンにおける一つ以上の対象物の三次元構造を表す成分と、少なくとも一つの他の成分とに分解することと
を備え、
前記強度信号は、強度変化の空間スケールによって分解され、
前記他の成分は、
前記対象物の表面反射率を表す成分と、
前記画像内のノイズを表す成分と、
前記シーンの照度を表す成分と
のうちの少なくとも一つを含み、
前記ノイズ成分及び前記反射率成分は、小スケールの変動があり、前記構造成分は、中スケールの変動があり、前記照度成分は、大スケール或いは均一な値の変動がある方法を提供する。

強度信号は、ノイズ及び／又は表面反射率（本明細書において「テクスチャ」成分とも呼ぶ）を表す成分と、形状（及び他の三次元構造）を表す成分と、照度を表す成分との少なくとも三つの成分に分解されるのが好ましい。

自然画像では、強度信号は、シーン内の対象物の形状によって生じる特徴と、対象物の表面反射率の変動（表面テクスチャ）によって生じる特徴と、照度又は照度の変動によって生じる特徴とを含む。本発明者らは、多くの一般的な自然画像に対しては、異なるタイプの特徴が生じる空間スケールを考慮することによって、これらの特徴は、実質的に異なる成分の画像に分離できることを理解している。特に、本発明者らは、所定の画像内において、テクスチャ特徴は、一般に、より小さい（より微細な）スケールの強度変動を呈し、照度特徴は、より大きいスケールの変動を呈し、また、三次元構造から生じる特徴は、より大きいスケールとより小さいスケールの間の中間スケールを呈することを理解している。さらに、発明者らは、各成分がマルチスケール（又は多重解像度）解析によって効果的に分離できることを認識している。

強度信号のいかなるノイズも大概は最も微細スケールで収集される傾向があり、それによってテクスチャ成分もノイズ成分を含むようになる。照度成分は、強度信号の非定常成分（すなわち、その統計的特性が画像の異なる領域間で変化する成分）を備えていてもよい。

強度信号は、画像から導かれる一価関数である。例えば、画像又は映像がＲＧＢなどのカラーフォーマットで入力された場合、強度信号は、ＲＢＧ値から抽出された輝度信号であってもよい。しかしながら、「強度」の範囲は輝度に限定されない。

前記分解は、前記強度信号を非線形フィルタリングすることを備えていてもよい。

非線形フィルタは、出力が入力の線形関数ではない信号処理動作である。

前記分解の基底関数は、前記強度信号から適応的に決定されてもよい。

つまり、分解は、ウェーブレット又はフーリエ基底などの一定の基底関数を使用しないということである。代わりに、基底関数は、強度データから抽出或いは強度データに適合される。これにより、特に、異なる成分のそれぞれのスケールの非管理型及び（絶対的というよりはむしろ）相対的な定義を容易にするので、該方法が、非常に異なる種類の画像に対して一貫した結果をもたらすよう促す。

前記分解は、二次元経験的モード分解（ＥＭＤ：Empirical Mode Decomposition）を備えていることが好ましい。

ＥＭＤは、強度信号を複数の固有モード関数（Intrinsic Mode Functions）に分解することを備える。固有モード関数（ＩＭＦ）は、好ましくは、（１）全体のデータセットにおいて、極値の数とゼロ交差の数は、１に等しい或いは最大で１だけ異なる、のいずれかでなければならない、（２）どの時点においても、局所極大値によって定義されるエンベロープと局所極小値によって定義されるエンベロープの平均値はゼロである、の二つの条件を満たす関数である。

ＥＭＤ処理は、一般に、（ｉ）画像内の各点における入力信号の局所空間平均を決定すること、（ｉｉ）入力信号とその局所平均との間の差分信号を算出すること、（ｉｉｉ）好ましくは、次の反復に対する入力信号として前の反復において算出された差分信号を使用して、ステップ（ｉ）とステップ（ｉｉ）を所定の回数或いは収束まで繰り返すこと、（ｉｖ）固有モード関数として、ステップ（ｉｉ）（の最後の反復）で算出された差分信号を特定すること、（ｖ）固有モード関数と入力信号との間の差として、剰余信号を算出すること、（ｖｉ）好ましくは、次の反復に対する入力信号として前の反復からの剰余信号を使用して、ステップ（ｉ）からステップ（ｖ）を所定の回数或いは収束まで繰り返すこと、及び（ｖｉｉ）分解の残余関数として（最後の反復から）剰余信号を特定すること、を備えている。

好ましくは、少なくとも二つの固有モード関数が（残余に加えて）生成されることである。画像の各成分は、以下のようにＥＭＤから派生するのが好ましい。第一の固有モード関数（最も微細／最小スケール）は、テクスチャ及び／又はノイズ成分として特定される。最終的な残余関数は、照度成分として特定され、これは、最も粗い／最大スケールの分解となりうる。構造成分は、他の固有モード関数（すなわち、中間スケールの関数）を組み合わせることによって得られる。

前記ＥＭＤは、前記画像の各点における前記強度信号の局所平均を求めることと、前記強度信号の局所極大値間で補間する関数を備える最大エンベロープと、前記強度信号の局所極小値間で補間する関数を備える最小エンベロープとを有利に備え、前記画像の各点における前記局所平均は、その地点での二つのエンベロープ関数の平均として定義され、前記方法は、局所極大値における前記強度信号の値を有する疎らな最大強度信号を前記強度信号から抽出することと、平滑化フィルタを用いて、前記疎らな最大強度信号の正規化畳み込みを実行することとによって、前記最大エンベロープを生成することと、局所極小値における前記強度信号の値を有する疎らな最小強度信号を前記強度信号から抽出することと、平滑化フィルタを用いて、前記疎らな最小強度信号の正規化畳み込みを実行することとによって、前記最小エンベロープを生成することとをさらに備える。

正規化畳み込みを各エンベロープ（及びそれによる局所平均）の生成に使用することは、結果として特に有利な特性を有する分解をもたらす。その利点については、後で以下に一般論として述べる。上記に概説したように、ＥＭＤが構造、テクスチャ及び照度成分の抽出に使用されているとき、全般的な利点は、異なる種類の画像にわたって、安定した、着実かつ予想可能な結果につながる。特に、一つの任意の画像の各成分の特性は、別の任意の画像の対応するそれぞれの成分の特性と一致するであろう。これにより、所望の成分を抽出するための信頼できる非管理型方法を提供することができる。

前記方法は、前記構造成分からデプスマップ（depth map）を生成することをさらに備えていてもよい。特に、デプスマップは、本明細書に続けて説明される数式（３）に従って生成されてもよい。

デプスマップを生成することのほかに、上記に概説した各方法は、他の画像及び映像処理タスク用に活用されてもよい。これらには、例えば、編集、特殊効果、画像強調などが含まれる。これらの方法は、分離又は任意の結合において、上述のいかなる成分を利用してもよい。

前記分解によって生じる前記少なくとも一つの他の成分は、照度成分を含むことが好ましく、前記生成されたデプスマップは、前記照度成分によって構成されることが好ましい。

デプスマップが照度成分に依存することは、照度に反比例してデプスマップを変調することを備えていてもよい。特に、デプスマップは、続いて本明細書に説明される数式（５）に従って生成されてもよい。

前記方法は、三次元表示に適した画像データを合成するために、前記生成されたデプスマップを使用することをさらに備えていてもよい。

画像データは、三次元ディスプレイを用いた三次元画像の作成に適している。例えば、三次元画像データは、二次元画像と組み合わせたデプスマップを備えていてもよい。代わりに、三次元画像データは、左右一組のステレオ画像を備えていてもよい。いずれの場合にも、三次元画像データは、デプスマップを元の二次元画像データと（或いは、元の二次元画像データの処理済みバージョンと）組み合わせることによって生成されるのが好ましい。三次元画像データは、圧縮形式又は非圧縮形式で提供されてもよい。三次元画像データは、例えばロバスト伝送又は保存用に符号化することができ、或いは、代わりに符号化せずに提供されてもよい。

本発明の一態様によると、上記に概説した方法を利用して合成された三次元画像データを表す信号も提供される。該信号は、機械可読記憶媒体に保存されることが好ましい。

前記画像は、高ダイナミックレンジ画像であることが好ましい。

ここで、ダイナミックレンジは、所定の画像フォーマットの最高強度値と最低強度値との間で表すことができる離散段階の数として定義される。「低」ダイナミックレンジは、通常、２５６段階以下の画像を指定するために使用される。これは、多くのデジタルカメラによって従来から取り込まれた８ビット値に対応している。カラー画像の場合、低ダイナミックレンジ（ＬＤＲ：Low dynamic Range）は、１チャンネルあたり８ビット、つまり、２４ビット色の画像を含む。高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）は、２５６段階を超える、好ましくは、５１２段階以上を有する強度画像を意味する。より多くの離散段階数により、量子化ノイズ（センサに入射する実際の光の量とその光を表す量子化されたディジタルレベルとの間のエラー）は軽減される。ＨＤＲ画像は、本発明と共に使用される場合に、特に有益であることが分かっている。シーンのより正確な表現は、従来の陰影からの形状復元法の推定の幾つかを緩和させると考えられる。

本発明のさらなる態様によると、二次元以上の次元で画像又は映像データに経験的モード分解を実行する方法であって、前記画像又は映像データは、少なくとも一つの値をそれぞれ有する要素の配列を備え、前記方法は、
各要素の局所空間平均値を求めることと、
前記各要素の値の局所極大値間で補間する関数を備える最大エンベロープと、
前記各要素の値の局所極小値間で補間する関数を備える最小エンベロープと
を備え、
前記各要素における前記局所平均は、その要素での二つのエンベロープ関数の平均として定義され、
前記方法は、
各局所極大値における前記要素の値を有する疎らな最大信号を前記要素の値から抽出することと、
平滑化フィルタを用いて、前記疎らな最大信号の正規化畳み込みを実行することと
によって、前記最大エンベロープを生成することと、
各局所極小値における前記要素の値を有する疎らな最小信号を前記要素の値から抽出すること と、
平滑化フィルタを用いて、前記疎らな最小信号の正規化畳み込みを実行することと
によって、前記最小エンベロープを生成することとをさらに備える方法を提供する。

正規化畳み込みを各エンベロープ（及びそれによる局所平均）の生成に使用することは、結果として特に有利な特性を有する分解をもたらす。したがって、これに関連して、正規化畳み込みは、他の可能な補間法より特別な利益を有している。正規化畳み込みは、平滑なエンベロープを生成することができる。また、正規化畳み込みは、疑似特徴或いは人工特性を分解に導入する可能性がある基底関数を使用しないようにする。また、正規化畳み込みは、データの局所極値がエンベロープにおける局所極値であるだけであるという意味では、データに従うことができる。境界条件（画像の境界における）は、データ外挿或いは周期性のいかなる想定も行わずに正確に扱われる。さらに、恐らく最も重要なこととして、実際の実装に対しては、計算複雑性は、局所極値の数に伴って線形にのみ増加する。この最後の利点は、リアルタイム環境下で拡張可能な実装を容易にする。

さらに詳細には、ＥＭＤ処理は、（ｉ）入力値の局所空間平均を各要素において決定すること、（ｉｉ）入力要素値と対応する局所平均値との間の差分信号を算出すること、（ｉｉｉ）好ましくは、前の反復で算出された差分信号を次の反復に対する入力として利用して、ステップ（ｉ）とステップ（ｉｉ）を所定の回数或いは収束まで繰り返すこと、（ｉｖ）固有モード関数としてステップ（ｉｉ）（の最後の反復）で算出された差分信号を特定することと、（ｖ）固有モード関数と入力の間の差として剰余信号を算出すること、（ｖｉ）好ましくは、前の反復からの剰余信号を次の反復に対する入力として使用して、ステップ（ｉ）からステップ（ｖ）を所定の回数或いは収束まで繰り返すこと、及び（ｖｉｉ）分解の残余関数として（最後の反復から）剰余信号を特定すること、を備えることが好ましい。

ステップ（ｉｉｉ）の収束は、連続する反復で生成された差分信号を比較することによって検出されてもよい。各反復間の変化が規定の閾値未満であるとき、収束が宣言される。それぞれの反復の差分信号間の標準偏差によって、変化を定量化できる。

ステップ（ｖｉ）の収束は、剰余信号にこれ以上局所極小値又は局所極大値がないことによって検出されてもよい。
画像を考慮する上で、或いは個々の画像のストリームとして映像を考慮する上で、配列の「画像要素」は画素である。該方法が映像に適用される場合、フレームは、別々の画像としてみなされ、別個に処理することができる。代わりに、多数のフレームを合わせて処理することができる。幾つかの実施形態において、各画像要素は、ボクセル（voxels）であってもよい。

前記正規化畳み込みは、二つの畳み込み演算の結果を組み合わせることによって、特に、二つの畳み込み演算のそれぞれの結果の比率として計算されてもよい。

第一の畳み込みは、平滑化フィルタ関数と各画素値の局所極値（極大値又は極小値それぞれ）からなる疎らな信号（スパース信号）との間である。第二の畳み込みは、フィルタ関数と確実性マップ（certainty map）との間である。確実性マップは、疎らな信号が非ゼロである場合は１に等しく、それ以外の場合は（明確に或いは暗に）０に等しい。すなわち、確実性マップは、疎らな信号における各極値の位置を示すバイナリマップ（binary map）である。従って、第二の畳み込みは、確実性マップにおいて、非ゼロ入力に対応するフィルタ関数の値の合計として実装され得ることが好ましい。

正規化畳み込みのための平滑化フィルタ関数は、ガウス放射基底関数（ＲＢＦ：Radial Basis Function）であってもよい。

前記平滑化フィルタの空間スケールパラメータは、極大値の組、極小値の組、又は、その両方の組の結合における各近傍点間の代表的な距離によって選択されてもよい。

代表的な距離は、近傍極値間の平均距離でもよい。「近傍する」点は、例えば、デカルト平面におけるポイントセットのドロネー三角形分割での頂点間の連結によって決定されてもよい。フィルタがガウス放射基底関数である場合、スケールパラメータは、関数の標準偏差（「シグマ」）である。シグマは、近傍極値間の平均距離に等しく設定されることが好ましい。

尚、ＥＭＤ技術が強度画像／強度信号に（上記に概説したように）適用される場合、画素ごとの「画素値」は、単に、その画素における強度信号の値である。

局所極大値は、一つの画素を中心とする３×３の正方形近傍において、前記画素を取り囲む他の８つの画素の値よりも大きい値である画素として定義でき、局所極小値は、前記他の８つの画素の値よりも小さい値である画素として定義できる。

この定義は、ＥＭＤにとって特に有益であることが分かっている。この定義は、局所極大値（極小値についても同様）として平坦域（flat plateaus）が検出されないようにする。これらの平坦域が、より大きなスケールで固有モード関数にふるい分けされるべき特徴を備えているため、該定義は望ましいことが分かっている。これは、モード混在の回避に役立つ。また、近傍の制限的な定義は、分解の各レベルで考慮されうる重要な特徴のスケールに関連した如何なる偏りも導入しないようにする。

フィジカル・コンピューティング・デバイスを制御するようになされたコンピュータプログラムコード手段を備えるコンピュータプログラムも提供され、当該プログラムがフィジカル・コンピューティング・デバイスで実行されるときに、上記に概説したいずれの方法の全てのステップを実行する。また、コンピュータ可読媒体上で具現化されたそのようなコンピュータプログラムも提供される。

本発明の別の態様によると、数値データに経験的モード分解を実行するようになされた信号処理装置であって、前記データは、二次元以上の次元の要素の配列を備え、各要素は値を備え、前記装置は、
前記配列内の各要素に対する局所平均値を求めるようになされた平均化部と、
前記要素の値の局所極大値間で補間する関数を備える最大エンベロープと、
前記要素の値の局所極小値間で補間する関数を備える最小エンベロープと
を備え、
各要素における前記局所平均は、その要素での二つのエンベロープ関数の平均として定義され、
前記平均化部は、
各局所極大値に前記要素の値を有する疎らな最大信号と、各局所極小値に前記要素の値を有する疎らな最小信号とを、前記各要素の値から抽出するようになされた局所極値抽出部と、
平滑化フィルタを用いて、前記疎らな最大信号の正規化畳み込みを実行することにより、前記最大エンベロープを生成するようになされた最大エンベロープ生成部と、
平滑化フィルタを用いて、前記疎らな最小信号の正規化畳み込みを実行することにより、前記最小エンベロープを生成するようになされた最小エンベロープ生成部と
をさらに備える、装置を提供する。

この装置は、上記に概説したように方法を実行するようになされていてもよく、その場合、データは画像又は映像データであり、要素の配列は画素の配列を備えている。

各エンベロープ生成部は、前記配列内の複数の要素の前記正規化畳み込みに対する、一つの局所極値の寄与度を計算するようにそれぞれなされた複数のワーカー部と、前記複数の各要素に対する、前記ワーカー部の前記寄与度を合計する加算部とを備えることが好ましい。

ワーカー部は、配列の全ての要素に対する一つの局所極値の寄与度を計算することができる。しかしながら、局所極値から離れた配列要素に対する寄与度の幾つかは、（選択したフィルタによっては）ゼロである場合もあるため、これらの計算を実行する必要がない。

各ワーカー部は、複数の要素のそれぞれに対して、要素の平滑化フィルタ関数の値、及び平滑化フィルタ関数の値と局所極値の値の積を計算して出力するように構成されるのが好ましい。

これら二つの項目は、各要素に対する、分母及び分子の畳み込み演算への局所極値の寄与度をそれぞれ作り出す。

また、請求項８による方法を実行するようになされた画像又は映像処理回路であって、請求項１４又は請求項１５の装置を備えて使用する処理回路が提供される。

さらに、このような映像又は処理回路を備える、カメラ又は表示装置（テレビなど）も提供される。各オペレーションが、例えば、パイプライン実装又は並列実装でリアルタイムに効率的に実装されるように設計されるので、前述の装置は、カメラ（デジタルビデオカメラなど）又は表示装置での使用に特に適している。これにより、一つの二次元撮像素子を有するビデオカメラが、ライブ三次元映像信号を合成して出力できるようになる。同様に、テレビ又は他の表示手段は、複数の二次元ピクチャから成る映像ストリームを受信でき、リアルタイムでこれらのピクチャを拡張して三次元ピクチャを生成及び表示できる。

本発明のさらに別の態様によると、画像又は映像を複数の成分に分解する装置であって、前記装置は、
前記画像又は映像の強度信号を取得する輝度抽出部と、
前記強度信号を、シーンにおける一つ以上の対象物の三次元構造を表す成分と、少なくとも一つの他の成分とに分解する信号分解部と
を備え、
前記強度信号は、強度変化の空間スケールによって分解され、
前記他の成分は、
前記対象物の表面反射率を表す成分と、
前記画像内のノイズを表す成分と、
前記シーンの照度を表す成分と
のうちの少なくとも一つを含み、
前記ノイズ成分及び前記反射率成分は、小スケールの変動があり、前記構造成分は、中スケールの変動があり、前記照度成分は、大スケール或いは均一な値の変動がある装置を提供する。

前記装置は、前記構造成分からデプスマップを生成する奥行き復元部をさらに備えていてもよい。

次に、添付図面を参照して、本発明を実施例によって説明する。

本発明の一実施形態による、二次元から三次元変換するシステムアーキテクチャを示している。 図１の分解パイプラインのブロック図である。 図１のレンダリングパイプラインのブロック図である。 本発明の一実施形態による経験的モード分解の一段階を実装するための例示的なハードウェアパイプラインを示すブロック図である。 図４におけるそれぞれのふるい分け段階の設計を示すブロック図である。 図５のエンベロープ生成ブロックをより詳細に示している。 図６の畳み込みブロックをより詳細に示している。

本発明の一実施形態による奥行き復元法を利用して、二次元から三次元への変換処理の実施例をこれから説明する。

システムアーキテクチャの概要を図１に示す。入力は、高ダイナミックレンジ（ＨＤＲ：High Dynamic-Range）画像データを受信する。画像データの前処理は、前処理ブロック５によって実行される。この出力は、輝度抽出ブロック１０及びトーンマッピングブロック２０に接続される。輝度抽出ブロック１０の出力は、信号分解パイプライン３０に入力される。この要素は、輝度信号から構造データを抽出するために、信号分解ステップを実行する。トーンマッピングブロック２０は、標準表示のために、ＨＤＲ画像データを従来の低ダイナミックレンジ（ＬＤＲ：Low Dynamic Range）データに変換する。このブロックは、奥行きが計算される間に元のデータを保存できるバッファとしても機能する。トーンマッピングブロック２０の出力及び信号分解ブロック３０の出力は、レンダリングブロック４０の入力に接続される。レンダリングパイプライン４０は、信号分解ブロックによって提供された構造データから奥行き計算を行い、その結果を元の（トーンマッピングされた）データと組み合わせて画像を生成する。同期回路（不図示）は、別のブロックのアクティビティを調整するために設けられる。これには同期メカニズムだけでなくバッファ及びメモリ管理機能も含まれ、高フレームレートの高解像度でリアルタイム処理を可能にする。当業者は、共通の一般知識に基づいて、適切な同期メカニズムを実装できるであろう。

システムに対する入力は、ＨＤＲ画像データストリームである。入力画像データは、関連する露光パラメータを用いて多重露光ＬＤＲ画像の形式で表すことが可能である。代わりに、特定の非線形センサ応答を使用して、データを符号化することもできる。多重露光の場合、複数の画像は、露光情報を使用して一緒に合成され、単一のＨＤＲ強度画像を生成する。非線形センサの場合、特定のセンサ応答関数は、ＨＤＲデータの構築に使用される。全ての場合において、前処理段階５の出力は、線形ダイナミック及び高ダイナミックレンジを用いた画像データストリームであることが好ましい。

次に信号は、強度抽出段階１０に送信され、ＨＤＲカラー画像信号は、シーンの放射輝度に対応するグレースケール輝度信号に変換される。同時に、ＨＤＲカラーデータは、トーンマッピングパイプライン２０に送信される。抽出された輝度信号は、次に信号分解段階３０に転送される。

この実施例において、奥行きは、輝度信号から抽出されることとなる。しかしながら、複数の色信号から単一の強度信号への他の変換も可能であることが理解されるべきである。本発明は、以下の実施例に定義されるように、輝度信号に限定されるわけではない。他のいかなる適切な変換を代わりに適用してもよい。

輝度は、センサによってどのくらいの光が感知されるかを説明する知覚的な量である。デジタル撮像の世界では、輝度は、各画素（ｘ，ｙ）の色成分の加重和として計算される正規化値である。

この変換は、強度抽出段階１０によって実行される。

信号分解３０は、当該システムの中核をなすものである。図２に示すように、一方でテクスチャ／色度から構造的な手がかり（structural cues）を分離させ、他方では照度を分離させるために、この段階は、輝度信号の多重解像度解析３２を実行する。分解３２は、処理を単一のパイプラインにおいて実行できるように、局所演算子に基づいている。分解の結果は、一連のグレースケール画像である。選択関数３４は、奥行き再構成に使用される分解の成分を選択する。選択された成分は、組み合わされて、レンダリングブロック４０に出力されるが、他の成分は、無視することができる。映像ストリームを処理する際、成分選択は、全てのストリームに対して一度設定することができる。選択ブロック３４の出力は、元の画像において探索された空間的構造情報を含む単一のグレースケール画像である。該出力は、レンダリングパイプラインで奥行き計算に使用される。

トーンマッピングパイプラインブロック２０は、ＨＤＲデータストリームを従来のＬＤＲデータストリームに変換し、奥行き計算が実行される間に画像データを保存できるように、バッファリング機能をさらに提供する。ＨＤＲ画像データからＬＤＲ画像データに変換する方法は、当分野において既知である。選択的に、破線矢印で示されるように、二次元のＬＤＲ画像データを直接出力することもでき、それによって従来の映像処理ステップもデータに適用させることができる。

図３に示されるレンダリングパイプライン４０は、処理の最終段階である。信号分解中に抽出される構造情報は、奥行き復元ブロック４２によって画素レベルのデプスマップに変換される。該情報はレンダリングモジュール４４に渡され、それをＬＤＲデータストリームと組み合わせることによって三次元画像ストリームを生成する。三次元画像データは、デプスマップ強調二次元画像でも左右ステレオペアでもよい。

輝度画像から奥行きを復元させる（ブロック４２の）例示的な方法をこれから説明する。輝度は、観測者の視点に関連しているため、被照射面の曲率と感知された輝度との間に直接関連性がある。光の強度は、表面がセンサと対向すると増加し、遠ざかるように湾曲すると減少する。このような手法は、従来の陰影からの形状復元法（ＳＦＳ：Shape from Shading）として同様の原理に基づいているが、ＨＤＲ画像がシーンのよりよい放射輝度の推定値を取り込むので、従来のＳＦＳにおいて必要とされた付加的想定の多くは、緩和されうる。これらには、完全拡散面（ランベルト（Lambertian）面）及び無限遠の点光源の想定が含まれる。次に、画素の輝度とその奥行きとの間の直接関連性を（未知のスケール因子に応じて）設定することができる。このセクションは、輝度から奥行きの値にマッピングできる方法を説明する。

各画素の輝度は、表面を通過する或いはカメラに対向する表面によってカメラの方向に放出される光の強度に関連した量を表す。次に輝度はレンダリング方程式に従う。

この場合、Ｌ_eは物体から発せられた輝度であり（非発光物体の場合はゼロ）、ｆ_rは反射率関数である。反射率関数は、物体の材料が入射光と相互作用する方法を説明する。Ｌ_iは、シーンにおいて各物体に到達する光の強度であり、一方でｃｏｓΘ_i は、物体の可視表面上の光の入射角である。幾つかの弱い仮定によって、当該数式を簡素化することができる。

１．物体が発光していない場合、或いは画像内で直射光源が見えない場合、Ｌ_e＝０である。

２．各物体が乱反射する場合、反射率分布図は、入射光と物体の表面（より具体的には、表面の法線）との間の角度だけに依存する。

３．光源が一つで、シーンから十分に離れて設置されている場合、ｃｏｓΘ_i＝ｃｓｔ∀ｘ，ｙである。

これらの仮説の下において、輝度と、カメラに対向する各表面の曲率との関係は明白であり、奥行きは、輝度に直接関連し得る。

輝度と奥行きとの厳密な関係は、陰影からの形状復元法の文献において研究されてきている。表面形状の認識は、以下の条件で線形に輝度に関連している。

１．照明と視野方向は異なっている。

２．表面は、自己陰影付けしない。

画像全体に確実に露光補正を行うＨＤＲセンサを使用することによって、第二の条件を直接除くことができる。第一の条件は、一般に、特に屋外などの現実の（自然な）シーンで満たされる。これらの事実に基づいて、輝度と形状との関係は実際に線形であり、変換関数に対して多くの異なる選択が可能である。ヒトの光受容体の反応を模倣する、輝度の知覚的なコヒーレント変換は、（ｎ＝０．７３として）次式によって求められる。

次に奥行きは、以下の式のように簡約された輝度と直接同等に扱うことができる。

上述の方法は、各画素値から輝度に、次に輝度から奥行きにと、直接マッピングを構築できるようにする。

この直接的な方法は、既に物体の全面を再構築することが可能であるが、いくつかのアーチファクト（artefacts）は、未だに結果を悪化させる可能性がある。これらのアーチファクトには次のようなものがある。

１．全面は、裏返すことができる。浅浮き彫りの錯覚として知られるこのアーチファクトは、シーンや照度について付加的な参照情報がない場合に不可避である。浅浮き彫りの錯覚は、追加の制約がない場合、レンダリング方程式（数式２）は多くの解を有するという事実によるものである。浅浮き彫り効果は、画像全体或いは画像の一部に対して効果をもたらすことができる。

２．鏡面反射は、シーンにおいて局所的に存在し、デプスマップ（depth map）を局所的に歪曲させる。これは、完全拡散面仮定が局所的に無効になる場合、すなわち、シーンの反射率分布図が乱反射しない場合に発生する。

３．全体的なデプスマップは、シーンの照度が均一でないときに全体的に歪曲される。この種のアーチファクトは、陰影からの形状復元又は輝度から奥行きの技術の一般的使用に対する主な制限である。

後半二つのアーチファクトは、シーンが陰影からの形状復元法の仮説に十分に適合しない場合に現れる。本発明の一実施形態によると、追加ステップが奥行き復元前に導入され、該ステップは、元の輝度信号をテクスチャ／色度／表面反射率、構造（形状を含む）、及び照度成分に分解する。

構造的な成分を信号から抽出する信号分解３２は、管理されることなく、かつハードウェアに容易に実装可能であることが望ましい。本実施形態の方法は、画像ドメインに働き、シーンに関する追加的な知識を全く必要としない。該方法は、強度変化が起こる空間スケール（すなわち、距離／大きさ）に従って画像の特徴を分離する。

分解アルゴリズムは、照度変動が、画像全体に渡って広がるはずである輝度の「ゆっくりとした（“slow”）」（大スケールの）全体変動として現れる傾向があり、奥行き変化による局所変動の基礎となるという事実を活用する。したがって、照度フィールドは、統計的に信号の非定常成分として考えることができる。一方で、テクスチャ及び色度変化は、画像の局所領域に限定される。こうしたことは、通常、分解の第一の成分に現れ、最小スケールな輝度変化に対応する。構造情報は、最大スケールと最小スケールの間の介在スケールにある。

本発明の一実施形態によると、デプスマップ計算４２は、輝度信号の分解３２に基づいており、構造的な成分は、３４で選択されて組み合わされる。任意に、照度に対応する最大スケール成分は、空間的に照度を変更することによって生じる歪曲をさらに適応的に補償するために使用される。テクスチャを表す最も微細なスケール成分は、破棄される。

特に有利な分解の詳細については、後で以下に説明する。

ＨＤＲ画像がこのようにして分解されると、第一の（最小スケール）成分は、信号の最高周波数を明確に示し、残り（最大スケール成分）は非定常成分（すなわち、照度フィールド）を含む。中間成分は、奥行きの再構成に使用可能である。

例えばビデオカメラなどにおけるリアルタイム処理に対しては、人間が管理することなく動作する方法が望ましい。特に、各モードは、３４で自動的に選択及び結合されるべきである。

幾つかの代替案をシーンの内容によって考慮することができる。
・直接加算：これは、本実施形態で使用される手法である。
・モード選択：シーンの構造は、各モードの適応型加重和を利用して抽出されてもよい。
・ローカルモード選択：和の重みは、局所的に適合されてもよい。

モード選択／結合３４の結果は、その後、奥行き復元プロセス４２に与えられ、任意で適応型照度補正用の照度成分と一緒に与えられる。

奥行き復元アルゴリズム（数式３）の単純実装においては、ログ−シグモイド圧縮が画像全体に均一に適用される。しかしながら、ヒトの網膜において、簡約されたレベルは、周囲の網膜細胞の光強度に従って局所的に適応されることが確認されている。この確認に基づき、数式３において数値問題（ゼロ除算又は負の値による除算のような）を回避するために一度再正規化されると、照度成分Ｒ（ｘ，ｙ）を直接与えることにより、分解からの照度成分は、デプスマップを照度フィールドに局所的に適応させるために使用することができる。

これは、基本数式（３）に対する任意の強化である。

上述のように、該方法は、範囲［０、１］内の値を用いてデプスマップを生成する。しかしながら、実際の奥行き値を取得することは、シーン内の一つ以上の基準点の実際の三次元位置の知識に基づいて、デプスマップのスケール変更が必要となる。オートフォーカスレンズ付きのカメラを使用することによって、集束距離やピント位置などのような情報を提供する。システムも与えられた画像のフィールドの奥行きについて認識するように、絞り、焦点距離及び画素サイズについての情報も利用可能である。一つ又は幾つかの初期の制御点及びフィールドの奥行きの知識を使用すると、デプスマップは、所定の集束距離（及び位置）や所望のフィールドの奥行きと一致するように、スケール変更できる。一般的に言えば、シーンの運動ステレオ、焦点、立体視或いは既知の制御点から得るデータなどの、シーンの三次元構造についてのいかる追加的知識も、そのようなスケール変更目的に使用可能である。

一連のさまざまな実世界の画像上で実行されるテストは、上述の方法が非常に万能で、多くの場合で知覚的に正確な再構成を実行できることを示している。従って、再構成は「完璧」ではないかもしれないが、処理によって導入されたアーチファクトは、追加的知識なしで、観視者を視覚的に妨害しないタイプになる傾向があり、ヒトの視覚システムが同様の解釈を与えることとなる。該方法は、ＨＤＲ撮像素子と連動して使用される時に、特に有利である。さらに以下の利点が含まれる。
・該方法は、単純である：チューニングのキャリブレーションを必要としない。
・信号分解（実施例は以下に記載）は管理されることなく行われ、構造モードの検索は、システマティックに行うことができる。
・方法全体は簡素化でき、マイクロチップ上に実装される。
・獲得パラメータ（焦点、露光など）についての知識は必要されないが、可能な場合は、デプスマップのスケール変更は、この情報を活用することができる。
・当該方法を実装するハードウェアは、三次元強調映像又は画像を直接生成するために、画像取得装置（カメラ）と一体化可能である。
・当該方法を実装するハードウェアは、映像素材後処理の一部として、例えば、放送スタジオに組み込むことができる。
・当該方法を実装するハードウェアは、既存の映像コンテンツを二次元から三次元に変換を行うために、三次元ディスプレイと一体化可能である。
・該方法は、信号のダイナミックレンジが十分に大きいならば、いかなる特定の取得ハードウェア又は取得プロトコルも必要としない（特に、カメラキャリブレーションは必要でない）。
付記−経験的モード分解
背景技術
線形重ね合わせの原則に従う定常信号に対して、フーリエ変換は、信号解析のために非常に効果的なツールを提供する。しかしながら、多くの物理的システムや実世界の信号は、このような仮説と一致しない。ウェーブレットは非線形データ解析にとても適しているが、基底（ウェーブレット）関数の選択によって制限される。これらの制限を回避するために、経験的モード分解（ＥＭＤ：Empirical Mode Decomposition）は、信号分解のデータ駆動型（つまり、データ適応型）手法として提案されてきた。ＥＭＤは、元々、非定常（一次元）時系列の解析用にＨｕａｎｇらによって提案された。（N. E. Huang、Z. Shen、S. R. Long、M. C. Wu、H. H. Shih、Q. Zheng、N.-C. Yen、C. C. Tung、及びH. H. Liuによる「非線形及び非定常時系列分析のための経験的モード分解及びヒルベルトスペクトル（"The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis"）」、 Proceedings of the Royal Society of London、Series A: Mathematical, Physical and Engineering Sciences、４５４（１９７１）、９０３−９９５頁、１９９８年３月。）その後、該方法は、二次元と多変量データとの使用にも広がってきた。

ＥＭＤアルゴリズムは、「固有モード関数」（ＩＭＦ：Intrinsic Mode Functions）と呼ばれる一連の直交基底関数を構築しようとするものである。各固有モード関数は、任意の定義済基底関数から構成されるのではなく、むしろ適応性のあるデータのフィルタリングによって構成されるため、ＥＭＤは、物理的意味を持つ成分の抽出や、従って物理的現象の研究に適している。文献における各実施例には、降雨解析、脳波計（ＥＥＧ：electroencephalographs）及び他の多くの実例が含まれる。当該方法は、照度補正、画像圧縮及び画像融合を含む画像解析においてさまざまな応用に使用できる。

しかしながら、ＥＭＤを用いると、その結果は分解アルゴリズムの設計に敏感である。抽出される各固有モード関数は、実装に大きく依存し、異なるアルゴリズムを比較したり評価したりすることを困難にする。さらに、ＥＭＤアルゴリズムの多次元拡張は、次のようなさらなる問題に悩まされる。まず、固有モード関数の特性は、二次元以上の次元に拡張することが困難である。次に、ＥＭＤアルゴリズムを根拠にする主な概念は、多変量データに拡張されなければならない。最後に、既存の二次元のＥＭＤ法は、大量のデータセットを処理する場合に、極端な計算複雑性に悩まされることが多い。
二次元以上において提案されたＥＭＤ
以下では、本発明の一態様の一実施形態に係る、多次元データから各固有モード関数を抽出する反復スキーム（iterative scheme）について説明する。説明のために、二次元自然画像の実例を記載するが、その原理は、より高次元にも適用可能である。説明される二次元の実例は、自然画像をテクスチャ、三次元（形状）構造及び照度に関連する各成分に分離するために、前述の方法における特定の利点と併せて使用され得る。

まず、一次元ＥＭＤ技術を見直すことが有益である。これは、時間信号Ｓ₀（ｔ）をｎ個の経験的モード（Ｃ_i（ｔ））と残余関数（ｒ_n（ｔ））との和に分解しようとするものであり、信号の平均傾向或いは均一な値（信号の全範囲にわたる一定値）のいずれかである。

各経験的モードは、各モードを確実に固有モード関数（ＩＭＦ）にさせる「ふるい分け（sifting）」と呼ばれる手順によって抽出可能である。一次元信号（すなわち、時系列）に対しては、各固有モード関数は、以下の特性を満たしている。

１．極値とゼロ交差の数は、異なるとしても最大で１でなければならない。

２．二つの連続するゼロ交差の間に振動のモードが一つだけある（すなわち、一つだけ最大値又は最小値がある）。

３．どの時点であっても、信号の局所平均はゼロでなければならない。

４．各固有モード関数は、互いに直交する。

正弦と余弦（フーリエ変換における）又はウェーブレットなどの他の基底関数と比較した固有モード関数の主な利点は、各固有モード関数は、狭帯域信号に制限されないが、周波数と振幅の両方において変調される可能性があることである。この特性によって非定常モードを信号から抽出し、ＥＭＤを、信号を物理的に関連性のある成分に分解する非常に効果的な方法にさせることが可能である。

信号を各固有モード関数に分解することは、信号全体にわたって局所極値（local extrema）（極大値及び極小値）を抽出することから始める。局所極値はその後補間されて、二つのエンベロープＥ_min及びＥ_maxを作成する。これらの二つのエンベロープの平均が計算され、該平均は、元の信号から減算されて第一の成分を構築する。

この処理は確実にｈ₁の局所平均をゼロにするが、エンベロープの作成に使用された技術によっては、オーバーシュートとアンダーシュートを引き起こし、更には新しい極値を作成又は既存の極値を変更するかもしれない。これらの問題を回避するため、ふるい分けアルゴリズムは、最後の成分が実際に固有モード関数になるまで、処理を数回繰り返す。それぞれの反復において、以前の成分はデータとして扱われ、次のようになる。
ｈ₁＝Ｓ₀−ｍ₁
ｈ₁₁＝ｈ₁−ｍ₁₁
・・・
ｈ_1k＝ｈ_1k-1−ｍ_1k
最終的に、ｈ_1kが固有モード関数になると、分解の第一成分として設定される。

一次元信号に対しては、二つの連続するふるい分けされた成分間の標準偏差が十分に低くなると、ふるい分け処理は停止する。

次の固有モード関数は、ふるい分け処理のための新しいデータとして残りの信号を考慮することによって、同じように抽出される。
Ｓ₁＝Ｓ₀−Ｃ₁
・・・
ｒ_n＝Ｓ_n-1−ｃ_n
最終的に、剰余信号から抽出する極値がこれ以上なくなると、分解は停止する。

一次元信号に対してはＥＭＤが十分に定義されているが、その二次元（及びより高次元）信号への拡張は、多次元における局所極値の検索、各エンベロープの作成、ふるい分け処理のための停止基準の定義、及び多次元における固有モード関数の特性の定義を含む、ある特定の問題を引き起こす。それぞれの問題に採用される解決策は、最終的な結果に影響を及ぼし、また、文献における理論的裏付けがないため、特定の実施の成果を評価するのは非常に困難である。以下においては、本発明の一実施形態による二次元のＥＭＤを説明しながら、上に列挙した問題に対処していく。

一次元における局所極値の定義は直接的であるが、これを２次元に拡張することはより不明瞭である。本実施形態において、離散二次元画像ドメインにおける局所極値は、次のように定義される。Ｘ∈Ｚ²を画像ドメインにおいて一組の離散二次元点にさせる。Ｉ（ｘ）：Ｚ²→Ｒは、画素ｘの画像強度を提供する強度関数であり、Ｎ_d（ｘ），ｘ∈Ｘは、画素周囲の大きさｄの近傍である。点ｘ^*∈Ｘは、局所極大値（極小値についても同様）として定義され、∀ｘ≠ｘ^*∈Ｎ_d（ｘ^*）である場合かつその場合にのみ、I（ｘ^*）＞I（ｘ）（同様にI（ｘ^*）＜I（ｘ））である。つまり、近傍の中心点は、極値として検出される近傍内の他の全ての点よりも大きく（又は同様に小さく）なければならず、それによって同じ値の複数の画素がある平坦域を除外する。極値検出の微調整は、近傍の大きさｄ又はその形状を変更することによって達成可能である。本実施形態において、限定的な定義は、Ｎ₃をそれぞれの画素を囲む３×３の窓として定義することによって選択される。これにより、分解の特定のレベルで考慮される重要な特徴のスケールに関連した如何なる偏り（ｂｉａｓ）も導入しないようにし、極値画素は、すぐ隣の８近傍を超える／よりも少ない値を有するだけでよい。

局所極小値及び局所極大値の両方が検出されると、関連するエンベロープが生成されなければならない。文献における一般的な選択は、薄板スプライン補間式（thin plate spline interpolants）を使用することである。しかしながら、この場合、ｎ×ｎ（ｎは極値の数）のサイズの線形システムを反転させる必要があり、大きな画像に適用されると過剰な計算負荷を招くこととなる。

本実施形態では、エンベロープを作成する好適な方法は、以下の原則に従うべきであると考えられている。

１．該方法は、平滑面を生成すべきである。

２．該方法は、疑似特性を該分解に導入しうる基底関数を使用しないようにすべきである。

３．データの局所極値は表面の唯一の局所極値にすべきであるという意味で、各表面はデータに従うべきである。

４．境界条件（例えば、画像境界における）は、いかなるデータ外挿なしに、また、データの周期的な挙動を想定する境界条件を使用せずに処理されるべきである。

５．計算複雑性は、制御点（極大値／極小値）の数に伴って穏やかに増加すべきである。

前述の補間法は、これらの要件のすべてを同時に満たすことはできない。補間は、一連の定義済基底関数にわたってデータを投影することを含み、この投影のパラメータの検出方法が問題となる。この目標を達成する別の方法は、畳み込みフィルタを使用することである。畳み込みマスクを適用することは、フィルタのインパルス応答によって定義された基底にデータを局所的に投影することと同じである。そのようなフィルタは、効果的に実装することができ、また、ローパスフィルタを使用する場合、局所極値が入力データ内に既に存在している平滑面をもたらすはずである。しかしながら、フィルタリングは、周波数が破棄されるので、信号のエネルギー損失を犠牲にして成り立っている。その直接の影響は、フィルタリング動作が各極値を保存しないことである。つまり、各極値の位置は保存されるが、各極値の強度（振幅）は変更される。さらに、エンベロープを作成する場合、方法は、局所極大値（同様に極小値）にのみ依存しなければならず、したがって、フィルタリングアルゴリズムを疎らなデータに合わせなければならない。疎らなデータを処理する一つの方法は、利用可能なデータだけを考慮してフィルタリングを行い、その後に足らないデータを補填することである。これが、Knutssoらが導入した正規化畳み込みの狙いである（H. Knutsson and C-F. Westin、 "Normalized and differential convolution: Methods for interpolation and filtering of incomplete and uncertain data"、 Computer Vision and Pattern Recognition （CVPR）、５１５−５２３頁、１９９３年６月）。

正規化畳み込み（ＮＣ：Normalized convolution）は、欠落した或いは不確定なサンプルを有するデータに畳み込み演算を実行するツールとして提案されている。正規化畳み込みの枠組みは、確実性マップ（certainty map）ｃ（ｘ，ｙ）をデータＳに、さらに、適用可能関数ａ（ｘ，ｙ）をフィルタ基底関数Ｂに同時に付加することによって機能する。確実性マップは、入力画像と同じサイズのマップであり、入力画像内の対応画素の値がどの程度「信頼」できるものかを０と１の間の値で表している。本実施形態において、それは二値であり、制御点がある場所の１とそれ以外の場所の０とを含んでいる。適用可能関数は、Ｂによって定義された基底関数において、フィルタのインパルス応答に実質的に対応するはずである。当該手法は、加重最小二乗法（ＷＬＳ：weighted least square）問題の解決法として見ることができ、重みは、信号確実性ｃ（ｘ，ｙ）とフィルタ適用性ａ（ｘ，ｙ）の両方によって定義される。正規化畳み込みは、一組の固定畳み込み演算子を使用して効率的に計算可能なＷＬＳシステムの解決法を提供する。

一般に、Ｂは、信号ｓの局所的表現を形成するために使用される基底関数の行列である。各関数は、以下のように行列の列を占めている。

基底Ｂが与えられ、||ｓ'−ｓ||を最小化する最適重量は、以下を最小化することによって求められる。

ここで、Ｗ_a及びＷ_cは、それぞれｄｉａｇ（ａ）及びｄｉａｇ（ｃ）である。Ｗ＝Ｗ_aＷ_cと書くことによって、ＷＬＳ問題の解答は次によって求められる。

ここで、Ｂ^*は、Ｂの複素共役である。最終的に、フィルタリングされたデータは、元の空間に投影することによって得られる。

正規化畳み込みにおいて基底分解の最も一般的な選択は、多項式基底Ｂ＝｛１，ｘ，ｙ，ｘ²，ｙ²，ｘｙ，...｝であり、ここで、１＝［１，...，１］^T、ｘ＝［ｘ₁，...，ｘ_N］^T、ｘ²＝［ｘ₁ ²，...ｘ_N ²］^T は、サンプルのローカル座標上に構成された長さＮのベクトルである。次に、基底の順序は、再構成されるべき特徴の順序に従って選択される。

ＥＭＤ用のエンベロープを作成する場合、各制御点によって提供された情報に追従するためだけにフィルタの出力を必要とする（要件３）。次に、高次基底の必要はなく、代わりに、基底は、１の列、Ｂ＝１（要件２）である単一の基底ベクトルに限定されうる。次に、一組の通常の畳み込みとしてフィルタリングを実装できる。

これらの畳み込み演算は、効率的に実装することができ、それらの計算複雑性は、特に、極値の数（要件５）といった画像内容とは関係がない。しかしこの方法は、データが、十分な数の点に対して余りに疎らでフィルタマスク内に適合できない場合はうまく機能しない。この問題は、正規化畳み込みの内容をエンベロープ推定の特定の目的に適応させることによって対処される。

これまで説明した正規化畳み込み法は、前述に挙げた所望の５つの目的のうち３つを既に満たしている。残りの制限に対処するために、本発明者らは、計算を実行する効率的なアルゴリズムだけでなく、適用可能関数の別の定義も考案した。

平滑面を生成するフィルタとしては、フィルタは、ローパスフィルタとして機能することを確実にしなければならない。適用可能関数は、その値が、原点（中心）からの距離に伴って減少する等方性関数であることが多い。ローパスフィルタとしての適用可能関数の適切な選択は、ガウス放射基底関数（ＲＢＦ：Radial Basis Function）である。

ｒは、点（ｘ，ｙ）から
までのユークリッド距離（Euclidean distance）を表す。実際には、適用可能関数は、サイズｖ×ｗのマトリックスａが作成されるように、その適用ドメインの中心から生じるべきである。

この適用可能関数は、適切なドメインサイズ及びカットオフ周波数（σ）を選択することによってさらに調整させることができる。適用可能関数が定義されなければならないドメインのサイズは、まず表面の平滑性（要件１）に直接影響を及ぼすことになる。つまり、使用可能な制御点（極値）がほどんと無い場合、フィルタマスクが画像を横切って移動すると（また、古い点がフィルタマスクから落ちてくると）、限定されたドメインは、新しい制御点が考慮されるときの計算値に急激な変化を招くこととなる。次に、ドメインサイズは、画像の境界（要件４）に近接する際、フィルタの挙動に影響を及ぼす。つまり、信号ドメイン境界におけるエンベロープ推定は、フィルタマスクの大部分が画像の範囲外になり、利用可能な制御点がほどんどない（或いは全くない）場合に、その不正確さに悩まされることとなる。

現方法のこうした問題を克服するために、信号ドメインの任意の点の計算を実行するときにすべての制御点を考慮するが、信号境界の外側の信号外挿を回避することになる。従って、適用可能関数ドメインは、画像の画素のいずれかを中心にするときに関数が画像に完全に及ぶように定義される。これにより、各画像の寸法においてデータサイズを倍にするドメインをもたらす。従来の線形畳み込み（数式Ａ１０）を用いる単純実装は、その後、実質的に挑戦的なものになる。従って、各制御点の寄与度を計算するだけの代替アルゴリズムが提案される。このアルゴリズムは、畳み込み演算子の可換性を利用し、フィルタリングオペレーションを（より小さい）信号と共に、（大きい）適用可能関数の畳み込みとして扱う。

サイズｖ×ｗの窓上で定義された、二次元信号Ｓとフィルタインパルス応答Ｆの線形離散畳み込みは、該窓の寸法上の二重総和として書くことができる。

ここで、ａ＝（ｖ-１）／２及びｂ＝（ｗ−１）／２である。しかし、各エンベロープを作成する際、対応するフィルタサイズは、適用可能関数ａの定義域である。したがって、ｖ＝２ｍ及びｗ＝２ｎについては、ｍ及びｎはそれぞれ画像の行と列の数である。一方、総和の多くの項がゼロになるように、データは、局所極値（極大値又は極小値）が検出された非ゼロ値だけを含む。さらに、フィルタマスクは画像より大きいので、その大部分が画像ドメインに入らず、総和の限界をそれに応じて調整することができる。これらを考慮すると、適用可能関数を有する信号の畳み込みは以下に書き換えられる。

ここで、ｘ_i，ｙ_i，ｉ∈１．．ｋは、各制御点の座標である。同様に、確実性マップは局所極値が検出された場所の１とその他の場所の０しか含まないので、確実性マップを用いる適用可能関数の畳み込みは、以下に示すことができる。

最終的に、局所極値エンベロープは数式Ａ１０に従って、数式Ａ１４と数式Ａ１５を再正規化することによって計算される。

この公式化により、制御点（極値）の数に伴って線形に増加する計算コストを用いてエンベロープの計算を可能にする。つまり、完全なエンベロープはＯ（ｎｍｋ）演算で見積もられ、その場合、ｎ及びｍは画像の寸法であり、ｋは制御点の数（要件５）である。生成されたエンベロープは、その平滑性（要件１）及びデータの忠実な追従（要件３）の両方を保証する、各制御点の一般的なローパスフィルタリングに基づいている。最終的に、該方法は、所定の基底投影（要件２）の使用も回避し、アーチファクトを画像ドメインの境界で制限する（要件４）。

ここで、ふるい分け処理に関するエンベロープ推定法の挙動について考察する。フィルタ帯域幅の異なる選択によって、非常に異なる結果に繋がることが分かっている。これらの結果は、σが小さい場合は、最近傍補間（nearest neighbor interpolation）と同様になり、大きい値のσに対しては平面補間と同様になり、中間値のσは平滑面をもたらすということに及ぶ。したがって、σの適正値の選択は、確実に分解が所望の特性を呈するために重要である。また、ふるい分け処理がその推定法の継続的な反復に対応する方法を検討し、所望の結果が得られた場合にその方法を停止させる適切な試験を選択することも必要である。

フィルタサイズの選択は、分解の結果を査定する客観的な定量試験がないので、困難である。したがって、定性評価が採用される。直感的には、十分な数の点が十分に密度の高い時に、フィルタがそれらの点に特に重点を置くことが望ましいと考えられる。また、フィルタは、エンベロープが各制御点によって示唆される変動を厳密に追従できるように十分に選択的でなければならない。これらの要件は、フィルタ帯域幅が各制御点の中の各自然近傍間距離に応じて選択される場合に満たすことができる。自然近傍は、デカルト平面（Cartesian plane）において極値のドロネー三角形分割（Delaunay triangulation）が計算されるとき、連結されたそれらの頂点として定義される。経験により、自然近傍間の平均距離がフィルタ帯域幅σに適した選択であることが明らかになった。フィルタ帯域幅のパラメータは、少なくとも二つの選択可能な方法で決定することができる。幾つかの実施形態では、局所極大値の組と局所極小値の組を別々に考慮することが出来る。すなわち、最大エンベロープを作成するためのフィルタ帯域幅は、極大値の組のみに基づいて選択され、最小エンベロープのためのフィルタ帯域幅は、極小値の組のみに基づいて決定される。他の実施形態では、近傍極値間の平均距離は、極大値の組における自然近傍と極小値の組における自然近傍の両方に基づいて計算される。これにより、両方のエンベロープが確実に同じフィルタに基づくようにする、単独の共通帯域幅の値が出る。計算は以下により行われる。

ここで、ｉとｊは三角形分割における連結したノードの指数である。σのこの選択は、一貫して物理現象に帰することができる固有モード関数を生成しつつ、幅広い実像及び合成画像上において、安定した結果と固有モード関数の減少につながることが分かった。

二次元領域においては、一次元固有モード関数に対して上記に挙げられたすべての特性を満たす固有モード関数を作ることは、不可能であると考えられる。特に、二次元信号に対しては、一次元信号用に定義されたモードの数と極値を規定するルールに従う固有モード関数を作成することは、困難であるかもしれない。この困難性は、二次元あるいはそれ以上の次元におけるふるい分け処理の停止基準を設計する際に考慮に入れるべきである。現在の二次元の場合、標準偏差パラメータの再公式を使用することで、二つの条件が緩和される。

この公式は、分母の局所的変動に対して、数式Ａ５の直接的拡張よりも影響されにくいと考えられる。また、この基準を使用して抽出されたモードは、（少なくともほぼ）所望の直交性を満たす傾向があると考えられる。

本実施形態において、ふるい分け処理は、残余の反復処理（数式Ａ４）により、主に、ローパスフィルタリングによって受けたエネルギー損失の補償に使用される。該ふるい分けは、さらなる処理が局所平均推定に何ら著しい変化をもたらさない場合に停止する。より具体的には、反復処理は、数式（Ａ１９）の記述通りに計算されたＤがＤ＞０．１である間のみ継続する。

上述の二次元のＥＭＤ法は、さまざまな異なる種類の画像に好結果をもたらすことが分かっている。当然のことながら、他の分解を用いてもよく、或いは、本分解のパラメータを特定用途に合うように調整してもよい。好ましくは、ＥＭＤアルゴリズムに基づいた方法が使用されることである。ＥＭＤアルゴリズムは、固有モード関数に分解するアルゴリズムとして特徴付けることができる。二次元の分解を行うために、二次元の固有モード関数を次のように定義する。以下のような場合、画像は固有モード関数である。
１．ゼロ平均を有している。
２．固有モード関数の各局所極大値は正であり、各局所極小値は負である。
３．正の局所極大値の数と負の局所極小値の数が同じである。

ここで、上記のようにＥＭＤ法を実装するハードウェア・アーキテクチャについて図４から図７を参照して説明する。このアーキテクチャは、図２のマルチスケール分解ブロック３２を実装するために使用できる。

図４は、分解の一段階を示している。強度画像が入力され、固有モード関数及び残余画像が出力される。一実施形態によると、図４に示す各段階のうちの６つは、連結されて完全な分解を実行する。直前の段階の残余は、次の段階に入力画像を形成する。前述のＥＭＤ法の説明においては、固有モード関数は、収束するまで（すなわち、残余の中でこれ以上局所極大値又は局所極小値を検出できなくなるまで）反復して抽出されるべきであるということに留意した。しかしながら、実際上は、特にほとんどの自然画像では、各発明者らは、一定数の固有モード関数を抽出すれば十分であることを発見した。最大の固有モード関数の数は、幾つかの画像特性によって決まる。模範的な本実施例おいて、元の入力画像は、最大でも７つの成分、すなわち、最大でも６つの固有モード関数と最後の残余信号に分離される。第一の固有モード関数は、シーンにおける各対象物の画像ノイズ、テクスチャ、及び反射率の他の局所変動によるものであると考えられる。最後の残余は、照度によるものであると考えられる。他の固有モード関数は、形状を含む三次元構造によるものである。最も典型的な画像に対しては、実際には、二つから四つの固有モード関数を取得することとなる。

ＥＭＤの各段階において、入力画像は、一連のふるい分け段階５０ａ−５０ｄに供給される。これらの段階の詳細について図５を参照して説明する。四つのふるい分けブロック５０ａ−５０ｄは、複数のフレームのストリームからなる映像の分解に適したパイプライン化実装を容易にし、パイプラインにおける直前の段階が次のフレームを処理しながら、各段階はそれぞれ一つのフレームを処理できる。一般に、パイプライン化実装の設計は、リアルタイム映像処理の当業者に周知であろう。

ＥＭＤ法の前述の記載において、ふるい分けは、収束まで、すなわち、連続する反復からの出力が同様となるまで継続することが示されている。実際には、発明者らは、一定数の反復は、ほとんどの自然画像にとって許容可能であることが分かっている。本実施形態では、ふるい分けは、逐次接続されたふるい分け段階５０ａ−５０ｄによって四回行われる。

ふるい分けがパイプライン５０ａ−５０ｄにおいて実行される間、入力画像は、（パイプライン型）遅延バッファ６０で遅延される。次に、ふるい分け処理５０ａ−５０ｄによって抽出された固有モード関数は、減算ブロック７０を使用して、対応する入力画像から減算される。この減算処理の結果が残余である。

図５に示すように、各ふるい分け段階５０は、入力画像から局所平均画像を減算することを含んでいる。ふるい分けブロック５０に対する入力は、局所極値抽出部５２と遅延バッファ５４とに供給される。遅延バッファ５４は、局所平均が計算されている間、画像を保存し、それにより局所平均が、パイプライン実装において正確に対応する入力画像から減算される。

各局所極値は、前述のように５２で抽出される。これにより、局所極大値の組と局所極小値の組との二組の点をもたらす。各エンベロープ生成部５６ａ及び５６ｂは、それぞれの組の極値からエンベロープ関数を構成するために設けられる。エンベロープ生成部が実行する補間演算について、図６を参照して説明を行う。二つのエンベロープの平均をブロック５８で計算する。これは、次に減算ブロック５９で、バッファメモリ５４によって遅延された入力画像から減算される。その結果は部分的固有モード関数であり、次のふるい分け段階５０に送られる。最後のふるい分け段階５０ｄの出力は、固有モード関数として見なされる。

図６は、エンベロープ生成部５６をより詳細に示している。入力は、一組の極値点（極大値又は極小値）である。これらは、（ｘ，ｙ，Ｓ（ｘ，ｙ））の三つを一組として示すことができ、ｘ及びｙは極値の画像座標であり、Ｓ（ｘ，ｙ）は、極値の値である。この「ポイントクラウド（point cloud）」は、近傍決定処理５６０及び遅延バッファ５６２の両方に入力される。

近傍決定５６０は、ポイントセット内の最近傍を特定するために、ポイントセットのドロネー三角形分割を計算する。特定された近傍に基づいて、ブロック５６４は、これらの近傍間の平均距離を計算する。平均距離は、帯域幅パラメータとして使用するために、畳み込みブロック１００に入力される。遅延バッファ５６２は、ポイントクラウドを畳み込みブロック１００に供給する。ポイントクラウドは、バッファ５６２によって適宜に遅延され、それによりそのポイントクラウドの平均距離値と同期して畳み込みブロックに到達する。畳み込みブロックは、分子値の配列と分母値の配列の二つの画像を作成する。除算演算子５６６は、分子値の配列を分母値の配列で割って、正規化畳み込みの結果を出す。これが、エンベロープ生成部５６から出力されるエンベロープ関数である。

図７は、畳み込みブロック１００をより詳細に示している。一組の極値（極大値又は極小値）及び帯域幅パラメータ（近傍極値間の平均距離）が入力される。これらは、ワーカー部（worker units）１１０の配列に対する入力である。ワーカー部は、それぞれ局所極値の一つに関係している計算を実行する。すなわち、ワーカー部は、画像の全画素に対して割り当てられた極値の寄与度を計算する。この寄与度は、数式（Ａ１６）の分子に対する寄与度と分母に対する寄与度の二つの要素から成る。したがって、数式（Ａ１６）の表記法を利用すると、可変数Ｋ個のワーカーが完全な並列実装に必要となる。実際には、より少量の固定数のワーカー部は、所定のハードウェア実装で利用可能となる。ワーカーは、データが（パイプライン化ストリームに）到達すると、局所極値を処理するように設定できる。一度全ての利用可能なワーカーが作業中になると、続いて到達する極値は、各ワーカーが再び利用可能になるまでバッファリングされる。これにより、映像ストリーム内の連続する画像間だけでなく、所定の画像の画素の間でもパイプライン化された処理を容易にする。各画素は、ワーカーによって部分的に並列に、また部分的に直列に処理される。なお、各画素間の関係を考慮する必要があるので、画像から極値を抽出することは、直列動作として実装されることが好ましい。したがって、極値を直列ストリームで生成するのに便利である。これが、畳み込みブロック１００の、特にワーカー配列１１０における直列・並列処理体制と適合する。

分子寄与度は、局所極値の値とガウス放射基底関数の値の積である。分母寄与度は、ガウス放射基底関数の値である。各寄与度は、加算部１２０ａ及び１２０ｂで合算され、図６に示す除算演算子５６６に出力される。

なお、ガウス関数は、局所極値から離れた画素位置に対しては非常に小さい値を有する（なぜならば、ガウスの末端（tail）は、指数的にゼロに向かって落ちていくので）。演算負荷を削減するためには、無視できるほどの値をゼロに量子化することができる。これにより、実行されうる乗算数を低減し（なぜなら、ゼロを含む数の積はいずれもゼロになるため）、加算部１２０ａ及び１２０ｂに含まれる値の数も低減する。

図４から図７に示されたアーキテクチャは、本発明の一実施形態によるＥＭＤを実装する有効な手段を提供する。これは、そのパイプライン化設計から、特に画像及び映像処理に好適である。

開示された実施形態に対する変更は、各図面、開示、及び添付の請求項の検討から、特許請求された発明を実施する際に、当業者によって理解及び達成され得る。請求項において、「備える」という用語は他の要素又はステップを排除するものではなく、また、単数は複数を排除するものでもない。単一のプロセッサ又は他の装置は、請求項に引用された幾つかの項目の機能を実現することができる。ある特定の手段が互いに異なる従属項に引用されているという事実は、単にこれらの手段の組み合わせを効果の為に使用できないということを示しているのではない。コンピュータプログラムは、例えば、他のハードウェアと共に或いはその一部として供給される光記憶媒体や固体媒体などの適切な媒体に保存／配布されてもよいが、インターネットや、他の有線、又は無線通信システムなどを経由して別の形態で配布されてもよい。同様に、三次元画像データを表す信号は、適切な記憶媒体、好ましくは不揮発性機械可読媒体に保存／配布されてもよい。適切な記憶媒体には、ブルーレイ・ディスク（ＢＤ）やＤＶＤなどの光媒体や、ハードディスク・ドライブなどの磁気媒体、及びフラッシュメモリなどの固体媒体が含まれるが、それらに限定されるものではない。請求項のいかなる参照記号も本発明の範囲を制限するものとして解釈されてはならない。

Claims (10)

1. 画像又は映像を複数の成分に分解してデプスマップを生成する方法であって、前記方法は、
   前記画像又は映像の強度信号を取得すること（１０）と、
   前記強度信号を、シーンにおける一つ以上の対象物の三次元構造を表す構造成分と、少なくとも一つの他の成分とに分解すること（３０）と
   を備え、
   前記強度信号は、強度変化の空間スケールによって分解され、
   前記他の成分は、
   前記対象物の表面反射率を表す反射率成分と、
   前記画像内のノイズを表すノイズ成分と、
   前記シーンの照度を表す照度成分と
   のうちの少なくとも一つを含み、
   前記ノイズ成分及び前記反射率成分は、小スケールの変動があり、前記構造成分は、中スケールの変動があり、前記照度成分は、大スケール或いは均一な値の変動があり、
   前記方法は、前記構造成分からデプスマップを生成すること（４２）を備え、
   前記分解は、二次元経験的モード分解（ＥＭＤ）を備える、方法。
2. 前記ＥＭＤは、
   前記画像の各点における前記強度信号の局所平均を求めること（５８）と、
   前記強度信号の局所極大値間で補間する関数を備える最大エンベロープと、
   前記強度信号の局所極小値間で補間する関数を備える最小エンベロープと
   を備え、
   前記画像の各点における前記局所平均は、その点での二つのエンベロープ関数の平均として定義され、
   前記方法は、
   局所極大値における前記強度信号の値を有する疎らな最大強度信号を前記強度信号から抽出すること（５２）と、
   平滑化フィルタを用いて、前記疎らな最大強度信号の正規化畳み込み（１００）を実行することと
   によって、前記最大エンベロープを生成すること（５６ａ）と、
   局所極小値における前記強度信号の値を有する疎らな最小強度信号を前記強度信号から抽出すること（５２）と、
   平滑化フィルタを用いて、前記疎らな最小強度信号の正規化畳み込み（１００）を実行することと
   によって、前記最小エンベロープを生成すること（５６ｂ）と
   をさらに備える、請求項１に記載の方法。
3. 前記分解によって生じる前記少なくとも一つの他の成分は、照度成分を含み、前記生成されたデプスマップは、前記照度成分によって決まる、請求項１または２に記載の方法。
4. 三次元表示に適した画像データを合成する（４４）ために、前記生成されたデプスマップを使用することをさらに備える、請求項１ないし３のいずれか１項に記載の方法。
5. 前記画像は、高ダイナミックレンジ画像である、請求項１ないし４のいずれか１項に記載の方法。
6. 前記正規化畳み込みは、二つの畳み込み演算の結果を組み合わせること（５６６）によって計算される、請求項２に記載の方法。
7. 前記平滑化フィルタの空間スケールパラメータは、極大値の組、極小値の組、又は、その両方の組の結合における各近傍点間の代表的な距離によって選択される、請求項２又は６に記載の方法。
8. 局所極大値は、一つの画素を中心とする３×３の正方形近傍において、前記画素を取り囲む他の８つの画素の値よりも大きい値である画素として定義され、
   局所極小値は、前記他の８つの画素の値よりも小さい値である画素として定義される、請求項２、６又は７に記載の方法。
9. 画像又は映像を複数の成分に分解する装置であって、前記装置は、
   前記画像又は映像の強度信号を取得する輝度抽出部（１０）と、
   前記強度信号を、シーンにおける一つ以上の対象物の三次元構造を表す構造成分と、少なくとも一つの他の成分とに分解する信号分解部（３０）と
   を備え、
   前記強度信号は、強度変化の空間スケールによって分解され、
   前記他の成分は、
   前記対象物の表面反射率を表す反射率成分と、
   前記画像内のノイズを表すノイズ成分と、
   前記シーンの照度を表す照度成分と
   のうちの少なくとも一つを含み、
   前記ノイズ成分及び前記反射率成分は、小スケールの変動があり、前記構造成分は、中スケールの変動があり、前記照度成分は、大スケール或いは均一な値の変動があり、
   前記分解は、二次元経験的モード分解（ＥＭＤ）を備え、
   前記装置は、前記構造成分からデプスマップを生成する奥行き復元部（４２）をさらに備える、装置。
10. フィジカル・コンピューティング・デバイスを制御するようになされたコンピュータプログラムコード手段を備えるコンピュータプログラムであって、前記プログラムが前記フィジカル・コンピューティング・デバイス上で実行されるときに、請求項１から８のいずれか一項に記載の方法の全てのステップを実行する、コンピュータプログラム。