JP6049098B2 - 画像処理目的のためのフィルタによるコンボルーションの高速数値近似の適用 - Google Patents

Description

発明の詳細な説明

背景
１．技術分野
本発明は画像処理に関し、より詳しくは、画像処理においてフィルタによりコンボルーションの高速数値近似を適用することに関する。
２．関連技術に関する考察
コンピュータ・グラフィックにおける多くのタスクと、画像処理とは、画像に大型線形並進不変（ＬＴＩ）フィルタを適用することに関する。一般的な例は、画像の低域通過及び高域通過フィルタリング及び様々なフィルタ・バンクに対する画像応答の測定を含む。他に大型ＬＴＩフィルタを用いて達成することができる或るあまり知られていないタスクは、図１に示される。略図１０は、画像１０Ｂのそれらの勾配場１０Ａを集積することによる再構成を示し、略図２０は滑らかな膜２０Ｂを境界値２０Ａのセットを補間するように適合させることを示し、及び略図３０は、散乱したデータ補間を示し、そこで３０Ａが入力、３０Ｂが出力である。

コンボルーションはＬＴＩフィルタを画像に適用する最も直接的な方法であるが、それは高い計算コストをもたらす。同程度の大きさのカーネルでｎ-ピクセル画像を畳み込むのにＯ（ｎ２）演算が要求される。高速フーリエ変換（ＦＦＴ）は、より効率的なＯ（ｎｌｏｇｎ）選択肢を周期的領域に対して提供する。他の高速アプローチは、特定の特殊な場合のために提案されている。例えば、一つのそのようなアドホック・アルゴリズムは多重スケール・アプローチを記述し、これは、階層的にサブサンプリングされた場所におけるＯ（ｎ）時間において大きなガウシアン・カーネルを有するコンボルーションに近似できる。

コンボルーションの直接的なＯ（ｎ２）実施の他に、それをより効率的に計算することができる特定の計画がある。周期的領域上で、あらゆるコンボルーション演算子は巡回テプリッツ（Ｔｏｐｅｌｉｔｚ）行列として表すことができ、これはフーリエ基礎により対角化される。従って、周期的領域上の大きなカーネルを有するコンボルーションは、高速フーリエ変換を用いてＯ（ｎｌｏｇｎ）時間で実行し得る。

分離可能な２Ｄカーネル（これは二つのＩＤカーネルの外積として表し得る）を有するコンボルーションは、先ずＩＤ水平コンボルーションを実行し、続いて垂直方向に一つが続く（又は逆もまた同じ）ことで速度を上げることができ。従って、コストはＯ（ｋｎ）であり、ここでｋは１Ｄカーネルの長さである。非分離可能カーネルは、様々な程度のカーネルＢ−スプライン・フィルタのＳＶＤ分解を用いて分離可能カーネルにより近似することができ、スケールは繰り返し統合又は全体的統合画像を用いてピクセル毎の一定時間において評価し得る。

多くの方法が、それらの重要な役割のために、特に、ガウシアン・カーネルによりコンボルーションを近似するために開発されている。特にこの作業に関連するのは、提案された階層的個別相関関係計画である。この多重スケール計画は、Ｏ（ｎ）時間におけるガウシアン・ピラミッドに近似する。ガウシアン・バンドを有するコンボルビングは信号を制限するので、粗いレベルをより細かいレベルへ補間して戻すことは、Ｏ（ｎ）における大きなガウシアン・カーネルを有するコンボルーションへの近似を提供する。しかしながら、この近似は、特定の幅のガウシアンについてのみ正確である。

上述の概念はラプラシアン・ピラミッドにおいて完結し、後にウェーブレッドと接続する。より詳しくは、ラプラシアン・ピラミッドは、高密度ウェーブレット変換として見做されるであろう。これらの概念は多重スケール両面性フィルタ・ピラミッドがＯ（ｎｌｏｇｎ）時間に構成される場合にも同調される。ラプラシアン・ピラミッド並びに様々な他のウェーブレット変換は、信号をその低及び高周波数に分解し、これは様々な解析及び合成タスクに役立つことが示された。特に、大きなカーネルを有するコンボルーションの効果に近似することが可能である。しかしながら、これらの計画が繰り返しコンボルーション（一般的に小さなカーネルを有する）に頼るものの、これらは並進不変ではなく、即ち、入力が解釈されるならば、結果的な解析及び合成は変換のみによって異ならない。これは、それらの高速Ｏ（ｎ）能力を達成するために、これらの計画が使用されるサブサンプリング演算に起因する。

一つの計画（これは過去１０年に相当な重要性を得た）は、その畳み込み形式、例えば、その勾配場からの画像からの信号の回復である。これは、一次方程式、例えばポアソン方程式の並進不変系を引き起こす。対応する行列はまたしてもテプリッツ行列あり、これは周期的領域上のＦＦＴを用いてＯ（ｎｌｏｇｎ）において逆転することができる。しかしながら、周期的及び非周期的領域の両方に亘るこのような方程式の特定形式の取り扱いのためには、より速いＯ（ｎ）解法がある。多重グリッド方式及び階層基礎条件付けは、多重スケールにおける演算により線形性能を達成する。大きな勾配領域問題のための最先端技術の多重グリッド解法が記述され、かつ、より小さな問題のためのＧＰＵ実施が記述される。これらの線形系の行列が巡回（又は、領域に依存して殆ど巡回）であるので、それらの逆もまた巡回コンボルーション行列である。それ故に、原則として、カーネル、例えば、無限ポアソン方程式の場合にはグリーン関数により右辺を畳み込むことによって、解を得る（又は近似される）ことができる。我々のアプローチは、このようなカーネルによりコンボルーションを正確に近似することを可能にして、それ故に、この種の方程式を解くために、より効率的で容易に実施する代替例を提供する。

勾配領域技術は、シームレスなクローニング及びステッチングのために拡張して用いられ、不規則形状領域に亘って典型的に解かれる、（異なる（ディリクレ）境界条件を有するが）類似した線形系を与える。この計画においては、この解法はしばしばそのような系のための専用４倍ツリー基礎解法を記述する一組の所定の境界値を補間する滑らかな膜を計算する一方、平均値補間を用いることにより線形系全体を解くことを回避することに要約し。

このアプローチは、補間されるべき多くのデータ点があるとき、或いは、補間関数の濃密な評価が要求されるときに、より一般的な散乱データ補間計画にも有益である。従って、情報を全領域へ伝搬させる大型コンボルーション・フィルタの使用が重要である散乱データ補間についての効率的な近似を与えることは有益であろう。

簡単な概要
本発明は、その実施例においては、画像処理目的のための大きな支持のフィルタにより、コンボルーションの高速数値近似のための方法を与える。本明細書に示されたアプローチは、線形時間において近似を計算するウェーブレット変換の後の多重スケール計画形式からなる。近似させる特定の大型目標フィルタがあれば、数値最適化は先ず一組の小さなカーネルを設計するのに用いられ、次いで、提案された多重スケール変換のステップの解析及び合成を実行するために用いられる。一旦最適化がされるならば、合成変換は線形時間における任意の信号に適用することができる。本明細書では、提案された方法が勾配場積分、シームレス画像クローニング及び散乱データ補間のようなタスクによく適していて、既存の最先端の方法より性能がすぐれていることが示される。

本発明の実施形態は、低減された複雑さでコンボルーションを近似するアルゴリズムを一般化することを目指す。本明細書には多重スケール・フレームワークが提案されて、これは特定のカーネルを近似することに限定されないが、幾つかの有益な大型ＬＴＩフィルタの効果を再生させるために調整することができ、その一方で、Ｏ（ｎ）時間において作動する。具体的には、提案されたフレームワークの、ポアソン方程式、逆距離重み付けカーネル並びに散乱データ補間のための広支持ガウシアン・カーネルの解に亘るグリーン関数によりコンボルーションへの適用性は以下に示される。

本発明は、その実施形態において、ラプラシアン・ピラミッドに似ている多重スケール計画のみならず、特定のウェーブレット変換を提供する。しかしながら、これらのより一般的目的の変換とは異なり、この提案されたアプローチは、所定のＬＴＩ演算子の影響を直接に近似するために変換を特別にあつらえる。換言すれば、最先端の多重スケール構造は、問題をよりよく解くことができる空間へ変換するために代表的に用いられるが、提案されたアプローチにおいては、変換そのものが望ましい解を直接にもたらす。

例えば、本発明の非限定的な実施形態は三つの小さな固定幅カーネルでコンボルーションを繰り返し実行し、その一方で、画像をダウンサンプリング及びアップサンプリングして、そのスケールの全てを演算するようにする。これらカーネルの各々の重みは数値的に最適化されて、変換の全体的な働きが、或る目標フィルタによるコンボルーション演算を最良に近似する。最適化は目標フィルタごとに一度のみなされる必要があり、次いで合成多重スケール変換はＯ（ｎ）時間における任意の入力信号に適用し得る。この設計の背後の動機は、一方、小さな有限フィルタの非理想性から生じる分析的難問を取り扱うことを避け、その一方で、他方における線形計算割り当てを最大限に活用しようと試みる。

自由空間グリーン関数によるコンボルーションを密接に近似する本発明の実施形態の能力は、ポアソン方程式の特定の変形を逆にすることを可能にするのに充分に高い。本明細書では、この方程式については、提案されたアプローチが最先端のソルバー、例えば同程度の数の演算についての改善された精度を提供する多重グリッド方法よりも速く、実施が容易であることが示される。

本発明の実施形態のより良い理解のために、及びそれが如何にして効果をもたらさすかについて示すため、単なる例示として添付図面の参照がなされ、その図中では同様な数字は対応する要素又は区画を示す。添付図面において、
図１は本発明の幾つかの態様を例示する幾つかの画像処理アプリケーションを示す。 図２は本発明の或る実施形態による態様を例示する高水準ブロック図である。 図３Ａ-３Ｇは本発明の態様を示す幾つかの画像を示す。 図４Ａ−図４Ｆは本発明の態様を示す幾つかの画像を示す。 図５Ａ−図５Ｅは本発明の態様を示す幾つかの画像を示す。 図６Ａ−図６Ｆは本発明の態様を示す幾つかの画像及びグラフを示す。 図７Ａ−図７Ｉは本発明の態様を示す幾つかの画像及びグラフを示す。

これらの図面は以下の詳細な説明と共に、本発明が実際には如何にして実施し得るかについて当業者に明らかにする。

詳細な説明

ここで図面を詳細に具体的に参照すると、本発明の好ましい実施形態が例示として、かつ例示的な説明の目的のみで特に強調して示されており、本発明の本質的及び概念的態様の最も有益で容易に理解される説明と考えられるものを与えるために示されている。これに関して、本発明の基礎的理解のために必要であるよりも更に詳細に発明の構造的詳細を示すための試みはなされず、図面を参照する説明は、本発明の幾つかの形態が実際には如何にして実施されるかを当業者に明らかにするであろう。

本発明の少なくとも一つの実施形態を説明する前に、本発明はその応用において以下の説明に記載されて図面に示された構成要素の構造及び配置には限定されないことを理解されたい。本発明は他の実施形態に適用可能であるか、様々な方式で実施若しくは実現できる。また、本明細書に採用された表現及び用語は説明の目的であって、限定として見做すべきではないことを理解されたい。

以下は、発明者によってされた例示的設計決定の幾つかの提案されたフレームワーク並びにそれに対する動機付けの一般的な説明である。コンピュータ・グラフィックにおける幾つかの重要な特定の問題へのフレームワークの適合は、本明細書において以下に論じられる。

線形変換不変フィルタリングは、スケール分離のためにコンピュータ・グラフィック及び画像処理において広範囲に用いられている。実際、多くの画像解析及び演算アルゴリズムは、適切に構築された多重スケール（サブバンド）分解を伴わなければ成功しない。多くのアプリケーションにおいては、特定のバンドを抽出するときに必要とされるスペクトル精度はバンド・レベルに比例し、高周波成分は、代表的には、周波数領域における低局地化を達成する小型コンパクト・フィルタにより抽出され、一方、低周波は、代表的には、高いスペクトル精度において必要とされるので、大型低域通過フィルタが用いられる。

サブバンド・アーキテクチャ、例えばウェーブレット変換及びラプラシアン・ピラミッドは、スペクトル「分割統治」計画に頼り、あらゆるスケールにおいて、スペクトルはフィルタリングを介して分割され、次いでスペクトルの下端（これはデータの大きな損失を伴うことなくサブサンプリングされ得る）が更に再帰的に分割される。サブサンプリング・ステップは、小さな固定長のフィルタを用いて、漸進的に低くなる周波数を抽出することを可能にし、というのは、サブサンプリングの使用に起因して、領域自体が収縮して遠隔地点が近接するためである。このアプローチは信号の高効率線形時間処理を導き、最大空間スケールまで低周波モード（画像のＤＣ成分）を分離させることができる。

それが幾つかのアプリケーションについての大きな障害にならない場合がある一方、これらの分解は二つの主要な欠点から損なわれる。先ず合成変換座標ひいてはこれらの座標を用いて実行される演算は、変換に対して不変ではない。

従って、コンボルーションとは異なり、入力画像をシフトさせることは、単なる空間的オフセットよりも多く、結果を変化させるであろう。
第二に、Ｏ（ｎ）実行時間を達成するためには、有限インパルス反応フィルタを使用することが必要である。これらのフィルタは或る空間的及びスペクトル局地化を達成することができるが、スペクトルの理想的分割は提供しない。本明細書に示されるように、これらの特性は、或るアプリケーション（例えばポアソン方程式を解く）について、及び、特に形状付けられたカーネルの設計のについて重要である。実際、これら二つの欠点は、以下に述べる新たな計画の設計に影響し、その狙いは、Ｏ（ｎ）の計算コスト割り当て量以下に、特定の変換不変演算子の最適近似を達成することである。

図２は、非限定的な例示的システム（１００）を例示し、これは本明細書に開示された多重スケール・フィルタリング計画を実施し得る。システム（１００）は、デジタル信号処理（ＤＳＰ）プロセッサ又は汎用コンピュータ、又は、特定用途向け集積回路（ＡＳＩＣ）で作動しているソフトウェアを用いることにより実施し得ることに留意されたい。提案された多重スケール・フィルタリング計画においては、前方変換が解析フィルタｈ_１（１０４）で信号ａ^０をコンボリングするにより実行され、サブサンプラー（１０６）を用いて結果を２倍でサブサンプリングする。次いで、この工程はサブサンプリングされたデータ（１１２）において繰り返される。更に、信号のフィルタリングされていなくてサンプリングされていないコピーは、各々のレベルにおいて保持される。正式には、階層の各々のレベルで、以下の計算が実行される。

ここで上付き文字ｌは階層におけるレベルを示し、ａ^ｌ _０は各々のレベルにおいて保持されるフィルタリングされてないデータであり、及び↓はサブサンプリング演算子を示す。変換は、ａ^０＝０に設定することにより開始され、ここでａはフィルタリングされる入力信号である。

後方変換（合成）は、アップサンプラー（１１６）を用いて各二つのサンプル間に零を挿入することによりアップサンプリングすること、続いて他のフィルタｈ_２（１１８）によるコンボルーションを含み。補間された信号は、第３のフィルタｇ（１０８）により信号がコンボルーションされた後、そのレベルで保存された信号でコンバイナー（１２０）により結合され、即ち、

であり、ここで↑は零アップサンプリング演算子を示す。多くのサブバンド・アーキテクチャにおけるものとは異なり、提案された合成は解析を逆にして、入力信号ａを再生させることは意図していないが、むしろ前方及び後方変換

（１２２）の合成作用は、入力ａ（１０２）へ適用される或る特定の線形変換不変フィルタリング演算の結果を近似することを意味することに留意されたい。

この計画は、ラプラシアン・ピラミッドの場合、分解された信号はサブサンプリングされない（これらの変換における高周波バンド及び本明細書に示した場合における全てのバンドａ^ｌ _０）という差まで分散高速ウェーブレット変換に似ておる。高密度ウェーブレット変換と同様に、この選択は、サブサンプリング効果を最小にして、変換不変性を増大する目的でなされる。

理想的なフィルタリングが計算的に可能であるならば、ｈ_１及びｈ_２は完全に分離して初期データの低周波数帯を斬新的に再構成するように選択することができ、その場合には、gの役割は望ましいフィルタリング演算を近似させることである。

しかしながら、演算の数Ｏ（ｎ）を保つことが望ましいので、フィルタｈ_１，ｈ_２，及びｇは有限で小さくなければならない。これは、これらのフィルタの設計がこの理想性の欠如及び異なる周波数帯の間の結果的な複雑な相互作用を考慮せねばならないことを意味する。従って、陽な解析フィルタ設計方法論からフィルタｈ_１，ｈ_２，及びｇを導くことよりもむしろ、これらのフィルタは、数値的に最適化されて、それらの共同行動は、望ましいフィルタリング演算を最良に達成する。

要約すると、本明細書に提示されるアプローチは、サブサンプリングの減少した量による特定量の計算を特定して割り当てることを含み、その一方で、Ｏ（ｎ）計算の形態に残り、次いで、この割り当てられた計算を大型フィルタによるコンボルーションにより最良の近似に最適化する。
最適化
与えられた目標カーネルfで、コンボルーションを近似する目的で、我々は以下の関数を最小化する一組のカーネルF＝｛ｈ_１，ｈ_２，ｇ｝を捜す。

ここで、

は或る入力ａにおけるカーネルＦによる提案された多重スケール変換の結果である。この最適化を実行するために、カーネルの形式と、それらの未知のパラメータの数とを決定しないままである。トレーニング・データａの選択はアプリケーションに依存し、以下に論じられる。この最適化が完了して、最適なカーネルが見つかったならば、ここに示される計画は任意の所定の信号ａにおいてｆ＊ａを近似するために用いる準備ができている。我々の結果を生じるのに用いられる最適カーネルは補足資料に示され、それ故に、更なる最適化は実際にはそれらを利用するために要求されない。

全ての算術演算の回数を最小にするために、Ｆのカーネルは、小さく、かつ、分離可能でなければならない。発明者によってなされた実験では、以下に報告された特定の選択は、演算カウントと近似精度との間の良好なトレードオフに相当する。より大きな及び／又は非分離可能フィルタを使用することは正確さを増大するので、特定の選択はアプリケーション条件に依存する。注目すべきことに、かなり正確な結果は、非分離可能目標フィルタｆについてでも、Ｆにおける分離可能なカーネルを用いて達成し得る。これは、提案された変換がこれらのカーネルの結果を合計し、分離可能なカーネルの合計はそれ自体が分離可能な必要はないという事実によって説明することができる。
更に、近似された目標フィルタｆは、回転及び鏡対称を有する。従って、我々のカーネルにおける非対称は明確に実施されており、これは最適化における自由度の数と局所的最低限の数を低減する。例えば、分離可能な３×３カーネルは、二つのパラメータ（［ａ，ｂ，ａ］・［ａ，ｂ，ａ］^Ｔ）のみによって定義され、分離可能な５×５カーネルは三つのパラメータのみによって定義される。非分離可能なカーネルに関しては、それらの対称性を有する５×５のカーネルは、六つのパラメータによって定義される。アプリケーション、目標フィルタｆの特性、及び望ましい近似精度に応じて、Ｆにおけるカーネルの異なる組合せが選択される。

最適化を実行するために、ここではＢＦＧＳ準ニュートン法が使われている。初期推測を提供するために、カーネルはガウシアンに設定される。各々のレベルは、フィルタリングされる前に、各々のレベルにおけるＦにおいて最大のカーネルのサイズによって、ゼロ詰め（ｚｅｒｏ−ｐａｄｄｅｄ）される。代表的には、最適化工程は、低解像度格子（３２×３２）において始められる。これは速いが、その結果は使用される境界及び特定のパディング計画によって影響され得る。従って、その結果は次いで高解像度グリッド上の最適化のための初期推測として使われて、境界の影響は無視できるものとなる。
アプリケーション及び結果
以下の節では、上述した方法が３種類の異なるコンボルーションを近似する特別な画像処理タスクに適用されている。これらのアプリケーションの各々のために最適化されたカーネルＦの特定のセットは、試行錯誤実験を用いて決定し得る。実行時間は、これらのカーネルのサイズのみに依存する。例示目的のために、幾つかの実際に記録された実行時間性能を以下の表１に与える。

グリッド・サイズ（ミリオン） 時間（秒、単独コア）
０．２６ ０．０００１９
１．２４ ０．０１０
４．１９ ０．０４７
１６．７７ ０．１９
６７．１ ０．９９
表１
上記の表１に示される実際の実行時間結果は、ｈ_１及びｈ_２のための分離可能な５×５カーネル及びgのための分離可能な３×３カーネルを有するコンボルーション・ピラミッドのために達成された。表１に記録された時間は、ディスクＩ／Ｏを除外しており、２．３ＧｈｚのインテルＣｏｒｅｉ７（商標名）（２８２０ｑｍ）ＭａｃＢｏｏｋ Ｐｒｏ（商標名）において測定された。

多くのコンピュータ・グラフィックス・アプリケーションは、画像の勾配場を操作する。これらのアプリケーションは、以下のポアソン方程式を解くことによって、修正された勾配場νに対するＬ２ノルムにおいて最も近接した画像ｕを回復する。

ここでΔは分散ラプラシアン演算子である。代表的には、フォン・ノイマン境界条件∂ｕ／∂ｎ＝０（ここでｎは単位境界法線ベクトル）が実行される。

グリーン関数G（ｘ，ｘ’）は、ポアソン方程式に対する基本的な解を定めて、以下によって定義される。

ここでδは分散デルタ関数である。(５)が境界条件を有さない無限領域に亘って定められるとき、ラプラシアン演算子は空間的に不変となり、その逆も不変となる。この場合、グリーン関数は、ｘとｘ’との間の（スカラー）距離のみに依存する変換不変量となる。二次元において、この自由空間グリーン関数は以下のように与えられる。

従って、簡潔にまとめられた右辺について、(５)の解は、以下のコンボルーションによって与えられる。

この解は、ｄｉｖνのニュートン・ポテンシャルとしても知られている。これは、例えば右辺をゼロ・パディングすることにより、我々のコンボルーション・ピラミッドを用いて効率的に近似することができる。この方程式とフォン・ノイマン境界条件を課すことと間の差異は、後者が０勾配を境界に実施し、一方、境界における自由空間方程式ゼロ勾配が右辺に符号化することができ、柔軟な制約としてのみ貢献することである。境界勾配をゼロまで課すことは或る程度任意の決定であり、それらが領域内の関数で決定されるのを可能とすることとが好ましい場合があると主張できよう。
（４）における最適化を自然なグレイスケールに実行するために、画像Ｉが選択されて、トレーニング信号ａをその勾配場の発散に設定する。

トレーニング・データａは空間において過度に局所的であるべきではない（例えばデルタ関数）ので、自然な画像Ｉが選択されている。提案された計画は、全く変換不変でなく、局所的ａは、トレーニング信号ａがゼロになる他の領域で同様に実行されない過度に適した最適条件を導く可能性がある。自然な画像は、絶対的空間依存性の無い静的信号であることが知られており、更に、これは我々が最善に実行したい信号のクラスである。実際、結果として生じるカーネル・セットと我々の計画の性能は、使用される特定の画像への依存性を示さなかった。

二つのカーネル・セットは計算されて、一方はより高い正確さへ、他方は最速の計算に向けて調整された。第１のセットＦ_Ａはｈ_１及びｈ_２についての同一の７×７分離可能カーネルからなり、他方はgについての７×７分離可能カーネルからなる。よりコンパクトなセットＦ_Ｂはｈ_１及びｈ_２についての５×５分離可能カーネル及びｇについての３×３分離可能カーネルからなる。Ｆ_Ｂのカーネル・サイズは上述の表１で報告されるタイミングに対応する。

図３（ａ）は、我々の方法へ入力として中心デルタ関数を供給することによって得られた自由空間グリーン関数の再構築を表す。基底真理（（６）の解）に対する比較は、平均絶対エラー（ＭＡＥ）がＦ_Ｂカーネル・セットについてさえかなり小さいことを明らかにする。

格子サイズ Ｆ_ＡＭＡＥ Ｆ_ＢＭＡＥ
１０２４２ ０．００１９ ０．００３１
２０４８２ ０．００１５ ０．００２７
ｘ軸に沿ってデルタ関数のスパイクの位置を変えて、各々の合成再構築（図３（ｂ））の中心を通る水平なスライスをプロットすると、提案された再構築は極く僅かな空間的差異しか示さないことを明らかにする。

図３（ｃ）は、自然な画像（最適化処理のために選択された画像とは無関係である）を示し、その勾配場発散は本明細書に提供された方法への入力として与えられている。

Ｆ_Ａ及びＦ_Ｂによる二つの再構築及びそれらに対応するエラーは、画像（ｄ）−（ｇ）に示される。我々の再構築の平均絶対のエラーは、Ｆ_Ａによる０．００２７及びＦ_Ｂによる０．００５２である。視覚的に、何れの再構築及び／又はオリジナル画像の間の違いを見分けることは難しい。

図４において、勾配領域画像圧縮を用いて導入されたＨＤＲ圧縮結果は示されている。左側における結果はフォン・ノイマン境界条件によりポアソン・ソルバーを用いて得られ、一方、右側のものは我々の近似を用いている。両方の場合において、同一の後処理が用いられ、これはピクセルの０．５％が暗く省略されるように、結果を伸張させることからなる。

結果の何らかの差異が分かるかもしれないが、他方を越える一方を選ぶのは難しい。更なる結果は、補足資料に含まれている。画像再構築のこの状況では、我々の方法は線形ソルバーより速い代替例を提示し、実施することもより容易である。

比較は、この種の再構築のために最速の利用可能なＣＰＵベースの多重グリッド・コードの一つがソルバーのコア内（ｉｎ−ｃｏｒｅ）バージョンであることを示す。従って、４．２メガピクセル画像のために、このソルバーの実行時間は２．２秒であり、これは同一の解像度のカラー画像の３チャンネルにおいて我々の方法を実行するのに必要な０．１５秒より一桁よりも大きく遅い（両方の時間は同じ機器で測定された）。

多重グリッド・ソルバーのＧＰＵベースの実装例は当技術分野で知られており、これは、その時点で、１メガピクセル画像を毎秒約２０回統合して、相互作用勾配領域描画を支持することを可能にする。一つの実装例においては、単独のコアＣＰＵ基礎が上述の計画を実行するために使用し得る。提案された計画は、このような画像を毎秒３３回統合することを既に可能にすることが示された。ＧＰＵ実装が重要な更なるスピードアップ要因をもたらすと予想される。

正確な実行時間は望ましい精度及び実装特性に依存するので、操作カウントの条件におけるスピードアップのより良い理解を得ることは重要である。多重ソルバーは、規制及び延長操作を実行して、グリッド解像度を変化させ、各々の解像度において、幾つかの緩和反復及び一つの残りの計算をなす。規制／延長カーネルは異なる計画の間で変化し得るが、それらのサイズ（ひいてはコスト）は代表的に我々のｈ_１及びｈ_２カーネルのそれらに匹敵する。単独のガウシアンサイデル緩和反復のコストは６ｎである。これは、残りの計算と共に、各々の規制の前後に単独のＶ-サイクルが一つの緩和反復だけで実行されるとき（Ｖ（１，１）計画として知られる）、微細な解像度グリッド上に１８ｎ演算を与える。

比較として、我々の方法における３×３gのカーネルを適用することは、最も微細な解像度グリッドにおいて１２n演算（重複と追加）を要する。

従って、提案された方法の演算カウントは、Ｖ（１，１）のそれよりも小さく、一方、達成した正確さは良好である。提案された方法の多重グリッド実装例において、Ｖ（１，１）は０．０５の最大絶対のエラーを達成し、これは３×３gカーネルによる提案された方法を用いて達成された、０．００５エラーより約一桁以上高い。より高い正確さを達成するために、多重グリッド・ソルバーは、演算の回数における対応する増大を有する、より多くのＶ−サイクルを実行して、より緩和された反復を使用し得る。提案されたアプローチにおいて、先に示したように、近似精度はより大きなカーネルを使用することによっても改善し得る。
境界補間
シームレス画像クローニング及び画像ステッチングのようなアプリケーションは、境界値問題として定式化することができ、対象の或る領域に亘る二つの画像の間の継ぎ目に沿った差異に補間される滑らかな膜を構築することによって、効果的に解くことができる。

そのような膜は、ラプラス方程式を解くことにより当初に構築された。しかしながら、他の円滑な補間計画、例えば平均値補間を同様に用いて、計算利点を提供し得ることが既に示された。従って、コンボルーション・ピラミッドを用いて、シェパード（Ｓｈｅｐａｒｄ）散乱データ補間方法を近似することにより、適宜な膜を如何にして更に速く構築するかは、ここに示される。

Ωは対象の領域（分散標準グリッド上）を示し、その境界値はｂ（ｘ）により与えられる。到達点は、これらの値をΩの内側の全てのグリッド点へ円滑に補間することである。シェパードの方法は、ｘにおける補間式ｒを既知の境界値の加重平均として定義する。

ここでｘ_ｋは、境界点である。発明者によって実行された実験においては、満足できる膜補間が以下の加重関数を用いて得られることが解った。

これは境界点ｘ_ｋにおいて強いスパイクを有し、それから離れると迅速に減衰する。(９)の単純な評価は、高価であり、境界値の数がＫであり、Ωにおける点の数がｎであるならば、計算コストはＯ（Ｋ_ｎ）である。提案された多重スケール変換はＯ（ｎ）時間で計算を近似することを可能にする。第一段階は、コンボルーションに関してシェパードの方法を書き直すことである。

は全領域に対するｂの拡張として規定される。

境界上のｘ_ｉ＝ｘ_ｋについて
さもなければ
また、（９）はコンボルーションの比として書き換えられる。

ここで

は、

に対応する特性関数である。（

は１であり、ここで

は非ゼロ、さもなければ０である）直観的に、分母における特性関数Ｘを含めることは、

におけるゼロの重みが蓄積しないことを保証する。

また、提案されたコンボルーション・ピラミッドは、(１２)を評価するために適用することができる一組のカーネルＦを見つけるのに最適化を用いられる。トレーニング・データを定めるために、bは、境界グリッド点にて割り当てられたランダムな値を有する単純な長方形領域の境界に設定されて、(１２)を用いて正確な膜ｒ（ｘ）を計算する。次いで我々の最適化は、二つのコンボルーションの比であるｒを、各々のコンボルーションに個別に整合させるのではなく、直接に整合させるように試みる。これは、フィルタの減衰ｗが、全領域に亘って我々の変換により、正確に複製されることを確実にするために重要である。

先のアプリケーションにおけるように、我々は、領域の大きさと形状には関係無く、ｈ１，ｈ２について５×５分離可能なフィルタ及びｇについて単独の３×３分離可能なフィルタからなるカーネル組Ｆを用いて満足できる補間膜を生成することができた。これらのカーネルは、補足資料に示されている。

図５において、我々は、シームレス画像クローニングを、我々の方法を用いて、ラプラシアン膜により生成されたものと比較する。

二つの膜の間の僅かな差異にも拘わらず、両方の方法の最終的なシームレス合成結果が視覚的に識別するのが困難であることに注意されたい。おおよそのコンボルーションの二つの評価に対するこの方法総計の実行時間は、一方が

を有し、一方が

を有し、ここで単独のコンボルーションについての時間は表１に報告されている。提案されたアプローチが最高水準の線形ソルバーを上回ることは上述の節で既に確認された。しかしながら、提案された方法を、領域の適応可能な三角形分割の頂点における平均値座標を計算する高速平均値クローニング（Ｍｅａｎ Ｖａｌｕｅ Ｃｌｏｎｉｎｇ：ＭＶＣ）方法と比較することが残る。その方法とは対照的に、提案されたアプローチは、領域を三角形分割して、各々のピクセルの重心座標を事前計算してＣＰＵで対話型性能を達成することを必要としない。更に、我々の方法は境界の大きさから完全に独立していて、ＭＶＣが階層的なサンプリングのために採用するいささか高度な計画を避ける。実験は、３．６秒の前処理時間の後、継ぎ目なく４．２メガピクセルの領域（２．５ＭＨｚのＡｔｈｌｏｎ ＣＰＵ上）のクローンを作るために、０．３７秒を要することを示した。比較として、提案された方法は前処理を含まず、０．１５秒でピクセルの同じ数のクローンを作る。
ガウシアン・カーネル
この節においては、ガウシアン・カーネル

によりコンボルーションを近似するのにコンボルーション・ピラミッドを如何にして用いるかを示す。これは既にＯ（ｎｌｏｇｎ）多重スケール計画を用いて如何にしてなすことができるかが示され、粗いグリッドにおいてのみで結果を計算するＯ（ｎ）変数を記述し、その間隔はガウシアン幅に逆比例する。合成値を初期グリッドに補間することができて全体的なＯ（ｎ）方法を与える一方、両方の変数における有効カーネルは切り捨てられて、それらの支持はスケールΩに依存する。提案された計画を用いて、我々はフィルタ支持を切り捨てることなく、Ｏ（ｎ）演算における初期微細グリッドにおける解を近似することができる。

（４）における最適化を実行するために、トレーニング信号ａは無作為に変換されて目盛り付けられたデルタ関数であり、ｆ^＊ａは目標ガウシアン・フィルタによる完全なコンボルーションによって得られる。これは、最適カーネルに全領域に亘る充分な近似の達成を強いることを目的として、有効に変換不変な変換をもたらす。良好な近似を与えるセットＦ＝｛ｈ１，ｈ２，ｇ｝を見つけようとする初期の試みは、失敗した。その理由は、ガウシアンがかなり効率的な低域フィルタであり、それらのスケールσに依存し、それらは、ピラミッドのより微細なレベルから到来する高周波成分を包含してはならない。これらの成分は（３）におけるgカーネルによるコンボルーションによって導入され、我々は、スカラー加重ｗ^ｌにより各レベルｌにおけるgの寄与を調整することによって相当に良い結果を得ることができた。

これらの加重は更に最適化する付加的な自由度として加えられ、実際、最適化は目標ガウシアン・スケールに最も近接するレベルにおける相当に高いw^ｌにより生じた。

カーネルＦの異なるセットは異なるスケールのガウシアン・フィルタを得ることに適合せねばならないことに留意されたい。

図６は、σの１０異なる値のガウシアンを近似するために最適化されて、目標ガウシアンの正確なインパルス応答に重ね合わせられた１０のコンボルーション・ピラミッドのインパルス応答を示す。これらのピラミッドにおいては、我々はｈ１，ｈ２，及びgのために５×５分離可能なカーネルを使用する。近似はσの特定の値についてはより正確ではないことが気付かれる。正確さを改善するために、我々は割り当てられた計算予算を増大し、代わりに７×７分離可能カーネルを使用する。図６（ｅ−ｆ）は、正確さの結果として生じる改善を示す。

統合画像が生成される効果的フィルタは空間において切り捨てられ、即ち、それらはガウシアン・スケールσに依存する有限支持を有する。これは、ぼやけた画像のようなアプリケーションのためにフィルタリングが使われるときは、大きな問題ではないが、この切り捨ては、散乱したデータ補間、例えば前節で概説したシェパードの方法のためにフィルタが使用されるときに重要な影響を有する。このアプリケーションにおいては、我々は、全ての領域に亘って単調に次第に減少する方式で伝播するデータが必要である。切り捨てられたカーネルは(１２)におけるゼロにより分割へ導かれるか、又は補間値における突然の移行へ導入され得る。

図７は、それらの幅が異なる二つの異なるガウシアン・フィルタの我々の近似を表す。これらの近似は、より小さな５×５カーネルを使用して計算された。
（ａ）におけるより広いガウシアンの近似は、全ての領域に亘って良好な適合をもたらす。（ｂ）におけるより狭いガウシアンについては、ガウシアンが非常に低い値に達するにつれて、近似はその相対的な正確さを失う。これは、（ｄ）におけるログ・プロットに見られるであろう。しかしながら、近似は依然として滑らかで単調に減衰していることに留意されたい。このより遅い減衰は、（ｈ）及び（ｉ）に示されるように、正確な散乱補間データに比較して補間関数における不明瞭な移行へ導かれる。

要約すると、広いガウシアン加重関数を使用するか、より濃密な入力データセットで演算するとき、我々の方法は、散乱データ補間に対して効率的で正確な近似を与える。よりまばらなデータセット及びより狭いガウシアンは、我々の近似の制約を明らかにする。

当業者にとって明らかなように、本発明の態様は、システム、方法又はコンピュータ・プログラム製品として実施され得る。従って、本発明の態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）又はソフトウェア及びハードウェア態様の組み合わせ実施形態の形態を採り、これらは全て本明細書においては一般に「回路」、「モジュール」又は「システム」と称する場合がある。更に、本発明の態様は、それに実施されたコンピュータ可読プログラム・コードを有する一つ以上のコンピュータ可読媒体に実施されたコンピュータ・プログラム製品の形態を採り得る。

本発明の態様は、フローチャート図及び／又は本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品のブロック図を参照して上述した。フローチャート図及び／又はブロック図の各々のブロック、及びフローチャート図及び／又はブロック図内のブロックの組合せは、コンピュータ・プログラム指令によって実施できることが理解されよう。これらのコンピュータ・プログラム指令は、汎用コンピュータ、特別な目的のコンピュータ、又は機器を製造する他のプログラム可能データ処理装置のプロセッサに設けることができ、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行される指令は、フローチャート及び／又はブロック図の一つ又は複数のブロックにおいて指定された機能／行為を実行する手段を形成する。

これらのコンピュータ・プログラム指令は、コンピュータ可読媒体に保存されることもあり、これは、コンピュータ、他のプログラム可能データ処理装置、又は特定の方式で機能する他のデバイスに命令することができるので、コンピュータ可読媒体に保存された指令は、フローチャート及び／又はブロック図の一つ又は複数のブロックにおいて指定された機能／行為を実行する指令を含む製品を生成する。

コンピュータ・プログラム指令は、コンピュータ、他のプログラム可能データ処理装置に、或いは、コンピュータ、他のプログラム可能装置又はコンピュータ実装処理を生成する他のデバイスで実行される一連の操作ステップを生じる他のデバイスにロードされることもあるので、コンピュータ又は他のプログラム可能装置で実行される指令は、フローチャート及び／又はブロック図の一つ又は複数のブロックにおいて指定された機能／行為を実行するための処理を与える。

上述のフローチャート及び図は、本発明の様々な実施形態によるシステム、方法及びコンピュータ・プログラム製品の可能な実施のアーキテクチャー、機能及び操作を例示する。これに関連して、フローチャート又はブロック図における各々のブロックは、コードのモジュール、区画、又は部分を表すことがあり、そのコードは、指定された一つ又は複数の論理的機能を実施するために一つ以上の実行可能な指令からなる。幾つかの代替的実施例では、ブロック内に記載された機能が図内に記載された順序から外れて起こる場合があることにも注意すべきである。例えば、連続して示される二つのブロックは、関連した機能に応じて、実際に、実質的に並行して実行されることもあり、又は、ブロックは時には逆の順序で実行されることもあり得る。更に、ブロック図及び／又はフローチャート図の各々のブロック、及びブロック図及び／又はフローチャート図におけるブロックの組み合わせは、指定された機能又は行為を実行する特殊目的ハードウェア・ベースのシステム又は特殊目的ハードウェアとコンピュータ指令との組合せによって実施できる点にも留意されたい。

上述の説明においては、実施形態は本発明の一例又は実施である。「一つの実施形態」、「一実施形態」又は「幾つかの実施形態の」の様々な状況は、全て同一の実施形態を指すというわけではない。

本発明の様々な特徴が単独の実施形態の状況で説明され得るが、その特徴は個別に又は任意の適宜な組み合わせでも提供し得る。反対に、本発明は明快さのために個別の実施形態の状況で本明細書に説明され得るが、本発明は単独の実施形態においても実施し得る。

本明細書において「幾つかの実施形態」「一実施形態」又は「他の実施形態」は、特定の特徴、構造、又は実施形態に関連して説明された特性は、少なくとも幾つかの実施形態に含められることを意味するが、必ずしも、本発明の全ての実施形態である必要はない。

本明細書に採用された表現及び用語は、限定として解釈されるべきではなく、説明目的のみであることを理解されたい。

本発明の教示の原理及び使用は、添付の説明、図面、及び例を参照してよりよく理解されよう。

本明細書に記載された詳細は本発明の応用への限定として解釈されないことを理解されたい。

更にまた、本発明は様々な方式において実行又は実践することができ、また本発明は上述の説明に概説した以外の実施形態で実施できることを理解されたい。

用語「含む」「なる」「からなる」及びそれらの文法的変形は、一つ以上の構成要素、特徴、ステップ又はその整数若しくはグループの追加を排除するものではなく、それらの用語は、構成要素、特徴、ステップ又は整数を指定するものとして解釈されるべきであることを理解されたい。

明細書又は特許請求の範囲が「更なる」要素に言及するならば、それは一つより多くの更なる要素であることを排除するものではない。

特許請求の範囲又は明細書が「一つ」の要素を参照するところでは、そのような参照は、その要素の一つのみ存在するように解釈されるものではないことを理解されたい。

明細書が構成要素、特徴、構造又は特性を述べるところでは、「し得る」「し得た」「できる」又は「できた」が含まれ、その特定の構成要素、特徴、構造、又は特性を含めることは要求されないことを理解されたい。

該当する場合、状態図、フロー図又は両方とも実施形態を記述するのに使用し得るが、本発明はそれらの図又は対応する説明に限定されるものではない。例えば、フローは各々図示されたボックス若しくは状態又は図示及び説明された正確に同一の順序を通じて移動する必要性はない。

本発明の方法は、選択されたステップ又はタスクを、手動で、自動的に、又はそれらの組み合わせで実行又は完了することにより実施し得る。

特許請求の範囲及び明細書に提示された説明、例、方法及び材料は、限定として解釈されるべきではなく、むしろ例示のみである。

本明細書に用いられた技術的及び科学的用語の意味は、特に定義されない限り、本発明が属する技術分野の当業者に一般的に理解される。

本発明は本明細書に説明したものと均等又は類似する方法及び材料による試験又は実践において実施し得る。

本明細書において参照又は言及された特許、特許出願及び論文を含めて任意の出版物は、個々の出版物の各々が特に及び個別に本明細書に取り込まれていることが示されているのと同程度に、その全体が本明細書に組み込まれている。更に、本発明の幾つかの実施形態の説明における任意の参照の引用例又は特定は、そのような参照が本発明に対する先行技術として利用可能であるという承認として解釈されるものではない。

本発明は限られた数の実施形態に関して説明されたが、これらは本発明の範囲に対する限定として解釈されるものではなく、むしろ好ましい実施形態の幾つかの実例である。他の可能な変更例、修正例及び応用例も本発明の範囲内にある。

Claims (12)

1. フィルタｆを有するレベルｌの階層的な信号ａ^ｌによって提示された画像Ｉのコンボルーションの数値近似を適用するためのコンピュータ実装方法であって、この方法は、
   階層ｌのレベルごとにａ^ｌとカーネルｈ_１との間でコンボルーションを適用して、コンボール−ションされたａ^ｌ及び前記カーネルｈ_１の結果をダウンサンプリングすることにより、前方変換を生成し、
   階層ｌのレベルごとにカーネルｈ_２と上方サンプリングされた前方変換との間のコンボルーションを適用して、前記階層ｌのレベルごとのカーネルｈ _２ と前記上方サンプリングされた前方変換との間のコンボリューションの結果をａ ^ｌ とカーネルｇとのコンボリューションと結合することにより、後方変換を生成し、
   前記前方変換を前記後方変換に組み合わせ、ａとフィルタｆとの間のコンボルーションの近似である
   

   

   を生じさせ、
   ここでカーネルｈ_１，ｈ _２ ，及びｇは前記フィルタｆの数値最適化カーネルである方法。
2. 請求項１の方法において、特定の画像処理アプリケーション条件による前記フィルタｆを決定することを更に含む方法。
3. 請求項１又は２の何れかの方法において、前記フィルタｆは線形変換不変（ＬＴＩ）フィルタである方法。
4. 請求項１乃至３の何れか一項の方法において、前記最適化されたカーネルは、
   

   

   を最小化するカーネル・セットＦ＝｛ｈ_１，ｈ_２，ｇ｝を選択することにより獲得され、
   

   

   は、入力ａ ^ｌ に対するカーネルセットＦの多重スケール変換の結果である方法。
5. 請求項１乃至４の何れか一項の方法において、下降サンプリングは２の率による方法。
6. 請求項１乃至５の何れか一項の方法において、上昇サンプリングは２の率においてゼロをパディングする方法。
7. 請求項１乃至６の何れか一項の方法において、前記数値最適化カーネルは、異なるスケールのガウシアン・フィルタを得ることに適合する方法。
8. 請求項１乃至６の何れか一項の方法において、前記画像Iと前記フィルタｆとの間の前記コンボルーションの結果は勾配フィールド統合をもたらす方法。
9. 請求項１乃至６の何れか一項の方法において、前記画像Iと前記フィルタｆとの間の前記コンボルーションの結果はシームレス画像クローニングをもたらす方法。
10. 請求項１乃至６の何れか一項の方法において、前記画像Iと前記フィルタｆとの間の前記コンボルーションの結果は散乱データ補間をもたらす方法。
11. 請求項１乃至１０の何れか一項の方法を実行するように構成されたシステム。
12. コンピュータ・プログラム・コードを含むコンピュータ・プログラムであり、前記プログラムがコンピュータで実行されるとき請求項１乃至１０の何れか一項の方法を実行するコンピュータ・プログラム。

Images