JP4892558B2 - 画像の融合 - Google Patents

Description

本発明は、一般的には、画像の編集に関し、より詳細には、画像を融合することに関する。

マイクロソフト社のDigital Image Suite（登録商標）、Adobe Photoshop（登録商標）、Illustrator（登録商標）などの画像処理ツールは、知られており、そのようなツールの需要は、国内市場および専門的な市場の双方で増加している。そのようなツールを用いて実行される１つの共通のタスクは、ある画像の一部分を、別の画像に、または同じ画像の他の場所にペーストすることである。このタイプのオペレーションは、デジタル写真などのデジタル画像を補正し、修復し、修正するのに有用であり、同様に写真の合成（photo-montage）を作成するのに有用である。しかしながら、編集された範囲と元の画像の残りとの間に、典型的にシーム（seam）が生じるという事実を含む、いくつかの問題が起こる。画像融合（image blending）は、それゆえ、そのようなシームの出現を最小限にするために必要である。さらに、画像処理ツールを操作するためにユーザが必要とするアクションを簡単にすることが、すばやく効果的に操作するツールを提供することと同様に、要求される。

以下の提示は、読み手に基本的な理解を提供するための本開示の簡単な概要である。この概要は、本開示についての広範な概観ではなく、本発明の主要で／重大な要素を識別するものでもなく、本発明の範囲を線引きするものでもない。その唯一の目的は、後に提示する詳細な説明に対する前置きとして、本明細書に開示されるいくつかの概念を提示することである。

これまでは、ポワソン融合（Poisson blending）が、オブジェクトをターゲットの背景に複製し、ソース画像のペアとともに融合することを含む、画像融合に用いられてきた。このようなポワソン融合は、多くの状況において、よく機能する。しかしながら、この方法は、常に実行可能であるが、しばしば変色が発生することがわかった。我々は、オブジェクトおよび背景の色の維持を犠牲にして、ソース画像の勾配（gradient）がしつこく維持されすぎると、これらの変色が生じることに気づいた。場合によっては、オブジェクトの輪郭は、不鮮明になるか、またはぼやけたものになる。

我々は、これらの問題を対処するため、色調維持条件（color preservation term）および脆弱性の対応（fragility measure）を発展させる。これにより、なめらかな合成物を取得し、作成物（artifact）の変色を減少させるように、ユーザがさらに制御できるようになる。

付随する特徴の多くが添付する図面と関連して考慮される以下の詳細な説明を参照することによってより理解されるようになるように、付随する特徴の多くも容易に認識されるであろう。

本説明は、添付の図面を踏まえて、以下の詳細な説明を読むことにより、より理解されるであろう。

同じ参照番号は、添付の図面の同じ部分を指すのに用いられる。

添付の図面に関連して提供される以下の詳細な説明は、本例の説明として意図するものであり、本例を構成し、利用する形式のみを表すことを意図するものではない。説明は、例示の機能、および、例示を構成し操作するための段階の手順を示す。しかしながら、同一または同等の機能および手順は、別の例示によっても達成することができる。

マイクロソフト社の先願の２００３年４月１６日の米国特許出願第１０／４１７，９３７号の米国特許出願公開第２００４／０１６５７８８Ａ１号明細書においては、本明細書でポワソン融合と呼ぶ（および、ポワソン編集（Poisson editing）とも呼ぶ）画像融合の方法を説明する。このようなポワソン融合は、多くの状況において、よく機能する。この方法は、常に実行可能であるが、変色の可能性があることがわかった。我々は、オブジェクトおよび背景の色を維持することを犠牲にして、ソース画像の勾配がしつこく維持されすぎると、これらの変色が生じることに気づいた。別の問題は、多くの状況においてオブジェクトの輪郭が、不鮮明になるか、またはぼやけたものになることである。本発明は、ポワソン融合技術を拡張し、構築することによって、これらの問題の対処を追求する。さらに、合成画像内の画像の部分間をつなぐ境界に沿う生成物のシームを除去、または最小にすることを追求する。

ポワソン編集は、上述した先願の米国特許出願の明細書、およびPerez他による著作の2003年のACM Trans.のvolume22、issue3の313〜318ページの「Poisson image editing」の双方で説明されている。これについては、ここでも説明する。

ポワソン編集は、境界Ｓのターゲット画像I_T(r)をマッチさせる１を前提に、ソースの勾配∇I_Sに最も近くなるように構成画像の勾配∇uをマッチさせる、構成画像u(r), r∈ Sにわたる最適化として簡単に表現される。これは、

という最小化関数として書かれ、uは連続的であるという条件、および
u(r) = I_T(r) for r on ∂S
という境界条件を前提とする。

再構成画像uが、膜（membrane）をソース画像I_S上に伸ばすことによって生成されるが境界∂S上のターゲット画像と一致するようにもされるように、条件とマッチする勾配は、物理的な「膜」と近似する。最小化は、「ポワソン」融合の条件を発生させるディリクレ(Dirichlet)条件を前提とし、ポワソン方程式（Poisson equation）∇²u = ∇²I_Sを与える様々な計算法によって正確に解決することができる。

ポワソン融合は、しばしば効果的であるが、失敗する事情があることに気づいた。例えば、ターゲット画像上に複製されるべきオブジェクトを備える図３ａのソース画像を考えていただきたい。ソース画像は、暗い背景３１を背景にして立っている人物３０の肖像を備える。複製されるべきソース画像の領域を示すため、ライン３２は、人物を概略的に囲むように描かれている。「複製する」という用語は、オブジェクトまたはオブジェクトの一部をソース画像から目的画像にペーストすることが求められる状況を指すのに用いられる。例えば、画像処理アプリケーション内の描画ツール（drawing tool）または投げ縄ツール（lassoing tool）を用いるユーザによって、ライン３２は、挿入される。あるソース画像の暗い背景が複製されるべき領域に含まれるように、ラインは、描かれる。ユーザまたは自動分割アルゴリズムを用いることによる骨の折れる作業なしに、この背景を含むのを避けることは、非常に困難なことである。しかしながら、そのような分割アルゴリズムは複雑であり、時間の浪費であり、未熟なユーザが使用するには難しいことである。

図３ｂは、上述した先願で教示した先行技術のポワソン編集方法を用いて、ソース画像（図３ａ）内の選択領域を、ターゲット画像に複製する結果を示す。ターゲット画像は、ソース画像内（図３ａ）の背景よりもかなり明るくなっており、複製したソースの要素（material）が、変色しているか、または不適切に明るくなっているのが見受けられる。さらに、構成画像内におけるオブジェクトの輪郭または端（edge）が不鮮明であるという問題がある。

図１は、画像融合用の装置の高レベルなダイアグラム図である。装置は、１つまたは複数の入力画像を受け取るための入力１０、および、融合した画像を出力するための出力１５を備える。装置は、入力画像（または、少なくとも入力画像の一部）を結合して合成画像を作成するようにアレンジされた画像コンバイナ１１を備える。プロセッサ１２は、自動的に、合成画像内の境界を判定するか、または受け取ったユーザ入力１４をこの境界を識別するのを助けるために用いる。境界とは、あるソース画像から形成される合成画像内の領域と、別のソース画像から形成される合成画像内の領域の間である。画像プロセッサ１３はまた、本明細書で説明した修正されたポワソン編集方法にしたがって、合成画像を修正するようにアレンジされ、提供される。プロセッサ１２、画像コンバイナ１１、および画像プロセッサ１３を、単一のコンピューティング環境において、別々のエンティティとすることができるか、または結合することができる。

図２は、図１の装置を用いて構成画像を形成するために、第一の画像と第二の画像を融合する方法の高レベルなフローダイアグラム図である。方法は、以下のステップを備える。
・構成画像を形成するために、第一の画像の少なくとも一部と、第二の画像の少なくとも一部を結合するステップ（図２のボックス２０を参照されたい）
・第一の画像から形成された構成画像内の領域と、第二の画像から形成された構成画像内の領域との間である、構成画像内の境界を識別するステップ（図２のボックス２１を参照されたい）
・第一および第二の画像のいずれかの少なくとも一部の勾配に基づいて、構成画像を修正するステップであって（図２のボックス２２を参照されたい）、その修正は、色調維持条件と、第一および第二の画像の少なくとも１つにおけるコントラストの程度の表示（indication）１つまたは複数に基づいても実行されるステップ。

変色の問題を対処するため、ここでより詳細に説明するように、色調維持条件を発展させた。さらに、オブジェクトの輪郭の不鮮明さを減少させるため、第一および第二の画像の少なくとも１つにおけるコントラストの程度の表示の用途を発展させた。

それゆえ、色調維持条件を含むように、上述した純粋なポワソン編集に用いた関数E(u)を修正した。関数E(u)は、以下となる。

この関数は、上述の境界条件を前提として、連続のu(r), r∈ Sに関して最小化される。色調維持条件の効果は、複製した要素がソースの色調を保持する傾向を取り入れることであり、この傾向は、ソースの勾配と一致することとの優先性と競合する。

重みづけパラメータは、上述の方程式にλとして取り入れられる。これは、ソースの色調を維持する傾向とソースの勾配と一致する傾向とのトレードオフを制御する。実際には、この重みづけのパラメータの有用な数値は、典型的には、約５ピクセルと２００ピクセルの間に及ぶ。

図３ｃは、図３ａおよび図３ｂと同じソース画像および同じターゲット画像に対するポワソン編集方法を修正するために、色調維持条件を用いる結果を示す。現在維持されるべき傾向にあるオブジェクトの色調において、著しい改善がある。この方法は、十分に実行可能であり、多くの状況において有利であるが、いくつかの状況においては、背景の変色が残りうることがわかった。例えば、図３ｃを参照されたい。新しいターゲット背景にはコントラストの変化が必要なのにも関わらず、関数E(u)の勾配条件（gradient term）は、ソース画像と同程度のコントラストを維持するようにオブジェクトの輪郭の周りに作用するので、背景の変色が生じることを特定した。本発明の別の実施態様においては、この問題を、ソース画像におけるコントラストの度合の程度を用いることによって対処する。

コストEに「脆弱性（fragility）」の条件を取り入れ、オブジェクトの輪郭に対する勾配の制約（gradient constraint）を無効にする。この条件は、ソース画像内にハイコントラストがある場合、膜の張力を減少させるものとしてみなすことができる。これは、暗黙的なまたは「ソフトな」端の検出としての役割を果たす。関数E(u)は、ここで、修正された勾配条件を有する。

脆弱性w_Sは、

であり、

である。

境界条件は、上記通りの前提とするここで、〈...〉は、定義域Sにわたる平均値を意味し、ここで、εは、小さな定数であり、その値は、決定的ではないが、典型的にはε= 0.02の場合、しばしば端を過度にはっきりさせすぎることを防ぐ。この方法は、どこに非常に高レベルな勾配‖∇I_S‖があっても、w_S（...）が１から低値（low value）まで減少するという効果を有する。これは、ポワソン編集の傾向を無効にし、オブジェクトの輪郭に対してさえも画像の勾配を維持する傾向がある。この方法においては、オブジェクトの境界での画像のコントラストは、新しいターゲットに適切に順応するように促される。

ポワソン編集と比較すると、前景と背景の双方の色調は、図３ｄに表すように、より正確に再現される傾向があり、図３ｄは、図３ｂおよび図３ｃと同じソース画像とターゲット画像に対し、すぐ上で言及した関数を用いる画像融合の結果を示す。別の有利な点は、パラメータλを用いることによって、ターゲットの背景を、複製したエリアに拡散することを可能にする程度を制御することができることである。ユーザが、パラメータの正確な値を特定することができるか、または、使用されたパラメータの現在の値を増加または減少させるために例えばスライディング入力制御を用いることができるように、このパラメータをユーザ入力にリンクさせることができる。この方法において、ユーザは、試行錯誤し、色の滑らかさと正確さの間における好適な主観的バランスを見つけることができる。以下でより詳細に説明するように、λのユーザ適応は、リアルタイムでなされうる。

図３に関して上述した例においては、人物の画像は、ターゲット画像の背景に複製される。本発明はまた、合成画像を形成するのに２つ以上の画像が用いられる画像融合を包含する。例えば、図６は、本発明の実施態様を用いて、６つのソース画像から形成される合成画像を示す。

画像をつなぐことは、ほとんどのシームレスにできる方法ではあらかじめ類似しているソース画像のペアを融合することを目標とする。例えば、写真の合成、画像のタペストリ、または合成画像の任意の適したタイプの形成のためである。これは、Kwatra他による著作の2003年のACM Trans.のvolume22、issue3の227〜286ページの「Graph cut textures; image and video synthesis using graph cuts」で説明されているように、つなぎの境界に沿った不適当な関数を最小にすることによって、的確に達成することができる。しかしながら、多くの状況においては、一般的に全く異なる２つの画像であって、境界にぴったり沿うものを利用できない２つの画像を、融合することがまだ要求される。Kwatra（上述の）によって提示されたようなグラフカットの方法は、このタイプの状況を取り扱わない。このようなケースにおいて、知られているアプローチは、見る者にとってあまり見えないハイコントラストの境界の近くにシームを配置することである。つまり、このケースにおいて、境界を識別するステップ（図２のボックス２１を参照されたい）は、境界を、できればハイコントラストの境界の近くに配置するステップを備える。これは、ユーザ入力を通じて、または計算によって、達成することができる。例えば、この問題に関して修正された関数は、上述のKwatraによる文書の中で教示されている。この問題に関して修正された関数は、シームをハイコントラストの境界の近くに導く傾向のある、勾配の大きさの依存性（gradient-magnitude dependency）を取り入れる。しかしながら、このアプローチの短所は、一般に、シームが完全にはハイコントラストのラインに従うことができず、残った長さの一部が目立って見えることである。我々は、この問題に気づき、これを対処するための方法を特定した。ソース画像内のコントラストの程度の表示に基づいて構成画像を修正するために関数E(u)に取り入れる条件は、ハイコントラストのラインに沿う融合を抑制することを可能にする。つまり、我々の融合プロセスは、特定のプロパティに適用するように融合することを可能にし、目立つシーム部分を生じ、ハイコントラストのラインに沿うことを抑制する。しかしながら、色調維持条件の使用は、この方法にとって必須ではない、つまり、色調維持条件は、シームまたは境界に沿った他の位置で融合が生じることを可能にするが、ハイコントラストのラインに沿った融合を抑制するために必要ではない。

図４は、合成画像を形成するために一緒に融合されるべき２つの部分的に重なり合うソース画像の領域S₀およびS₁を示す。問題は、ソース画像の定義域において対称であるので、上述した融合方法は、ここでは、「双方で（bilaterally）」適用される。つまり、画像を複製するケースにおいては、（必要な場合には、画像の他の部分を修正することも可能であるが）合成画像の複製された部分のみが、融合プロセスの最中に修正される必要がある。しかしながら、図４などの画像融合のケースにおいては、各ソース画像からの合成画像の部分が修正される。「双方で」という用語は、ここでは、この特徴を示すために用いられる。境界またはシーム４０は、図４の重なり合う領域に示され、ソース領域のサブドメインは、示されているようにS^' ₀およびS^' ₁である。境界またはシームは、ユーザ入力または自動計算などによる任意の適した手法で識別される。自動計算が用いられるケースでは、ソース画像内のオブジェクトの端または輪郭を識別し、できるだけオブジェクトの端または輪郭と近くなるように境界を配置するために、任意の適したアルゴリズムを用いることができる。

一実施態様においては、プリセグメンテーションの境界は、可能な限り、１つまたは他のソース画像内のオブジェクトの輪郭に従って、判定される。定義域S₀およびS₁において部分的に重なり合った画像がI₀(r)およびI₁(r)とすると、融合した画像のペアに対するターゲットの定義域はT= S₀∪S₁である。相互に排他的（S'₀ ∩ S₁=φ）で包括的（T= S'₀ ∪ S'₁）である、その方法を適用する第一のソース領域S'₀ ⊂ S₀およびS'₁⊂ S₁が、定義される。S'₀およびS'₁の通常の境界は、例えば、任意の適したコントラスト依存の関数を最小にすることによって、構成される。これは、例えば、上述のグラフカット方法を用いて算出することができる。例えば、図５ｃは、典型的な結果を示す。図５ａは、第一のソース画像を示し、図５ｂは第二のソース画像を示す。図５ｃは、これらの２つのソース画像を、上述したようにグラフカット方法によって融合する結果を示す。顕著な不一致のシームが合成画像に現れているため、結果は乏しいものである。「双方の（bilateral）」ポワソン融合が、２つのソース画像間で重なり合う領域に適用されると、図５ｄで表すように、変色およびオブジェクトの輪郭の不鮮明化が生じる。

以下に示す関数E(u)の「双方の」形式を用いることによって、これらの問題を対処する。

重みw_S0およびw_S1は、前述の通りであるが、ここでは、これらの個々の画像の定義域において定義される。方法は、uに関して最小化E(u)を備え、これは、u(r), r∈ Tの連続および以下の境界条件を前提とする。

u(r) = I₀(r) , r∈ T＼S₁ および u(r) = I₁(r) , r∈ T＼S₀
図５ｅに表すように、前景および背景の色調が、正確に維持される結果となる。

関数E(u)の詳細は、上記の連続定義域内で与えられたが、明確にするために、この関数の最小化は、任意の適した公知の方法を用いて、別々のピクセル配列にわたって数値的に実行することができることに留意されたい。例えば、勾配の有限差分近似は、以下に示すように、一方向および双方向の方法の別々の形式となる。

ここで、p∈Ωは、Eに対する定義域内のピクセルのインデックスであり、Nは、Ω内のピクセルの隣接したペアのセットである。一方向のケースにおいては、ν_pは、単にI_S およびν_pq= ν_p-ν_qのピクセルである。双方向のケースにおいては、ν_pが、I₀またはI₁のピクセルに対応するものとなるように、定義域は、S₀∪S₁として分割され、ピクセルは、定義域S₀またはS₁内に位置する。同様に、勾配は、I₀またはI₁で算出され、唯一の問題は、どのようにν_pqおよびw_pqを定義し、どこでpqがセグメンテーションの境界にまたがるかということである。これらのケースにおいては、両方の画像にわたるコントラスト| I_p-I_q |を評価し、ν_pqおよびw_pqを定義するため、よりハイコントラストの画像を用いる。最終的に、各u_pに関してすぐ上の方程式を解くことによって、疎行列（sparse）である最適条件のための連立一次方程式のシステムが得られる。

典型的に数秒間に約30,000を超えるピクセル群を実行するスパースガウシアン消去法（MATLABのmldivide）によって、解を得る。さらに効果的なマルチグリッドのため、当技術分野で公知であるように、ＳＯＲ（successive over-relaxation）を用いることができる。留意すべきことは、ＳＯＲでは、勾配パラメータの値λ = λ₀用の方法を算出すると同様の（実際はわずかに少ない）計算コストの間に、0 ≦ λ ≦ λ₀の範囲全体について解を得ることができることである。これは、ＳＯＲプロセスのように、λを徐々にインクリメントすることによって、達成される。これは、ユーザがリアルタイムに、λに対してグラフィカルユーザインターフェーススライダを操作できるようにするので、重要なことである。

本明細書においては、「コンピュータ」という用語は、構造を稼動させることができる処理能力を有する任意のデバイスを指すのに用いる。そのような処理能力は、多くの異なるデバイスに組み込まれ、それゆえ「コンピュータ」という用語は、ＰＣ、サーバ、携帯電話、ＰＤＡ（personal digital assistants）、および多くの他のデバイスを含むことを、当業者は理解されたい。

本例は、本明細書で画像融合システムを実装するように説明され、表されているが、説明したシステムは、例示として提供するものであり、限定ではない。本例は、様々な異なるタイプの画像処理システムにおけるアプリケーションに適することを、当業者は認識されたい。

プログラム構造を格納するために利用される記憶デバイスは、ネットワークを越えて分散できることを、当業者は理解されたい。例えば、リモートコンピュータは、ソフトウェアとして説明した例示のプロセスを格納することができる。ローカルコンピュータまたはターミナルコンピュータは、リモートコンピュータにアクセスすることができ、プログラムを実行するソフトウェアの一部または全部をダウンロードすることができる。代わりに、ローカルコンピュータは、必要とされるソフトウェアのピースをダウンロードすることができるか、または、いくつかのソフトウェア構造をローカル・ターミナルコンピュータで実行し、いくつかのソフトウェア構造をリモートコンピュータ（または、コンピュータネットワーク）で実行することができる。当業者に周知な従来技術を全て利用することによって、またはＤＳＰ、プログラマブル論理アレイなどの専用サーキットによってソフトウェア構造の一部を実行することができることも、当業者は理解されたい。

本明細書で説明した方法は、記憶媒体において機械読取可能な形式のソフトウェアによって行うことができる。これにより、ソフトウェアを価値の高いものとすることができ、別々に取引可能な商品とすることができることが認識される。「ダンプ」または標準のハードウェアを実行または制御するソフトウェアを包含し、所望の機能を実行する（および、標準のハードウェアと結合する前であっても、ソフトウェアが本質的に画像ブレンダの機能を定義し、それゆえ画像ブレンダと称することができる）傾向がある。同様の理由で、ハードウェアの構成は、所望の機能を実行するために、シリコンチップを設計するか汎用プログラマブルチップを構成するのに用いられるので、ＨＤＬ（hardware description language）ソフトウェアなどのハードウェアの構成を「説明」または定義するソフトウェアを包含する傾向もある。

本明細書で与えられた任意の範囲またはデバイスの値は、当業者が認識しているように、求めている効果を失うことなく拡張または変更することができる。

上述の好適な実施態様の説明は、単なる例示として与えたものであり、当業者は様々に変更することができることを理解されたい。上の詳術、例、およびデータは、構造の完全な説明、および本発明の例示的実施態様の用途を提供する。特定の観点、または１つまたは複数の個々の実施態様に関連して、本発明の様々な実施態様を上で説明したが、当業者は、開示した実施態様を本発明の精神および範囲から逸脱することなく、様々に変更することができるであろう。

画像融合システムの高レベルなダイアグラム図である。 画像融合する場合の方法の高レベルなフローダイアグラム図である。 複製するためのオブジェクトのソース画像を示す図である。 図３ａのオブジェクトを、先行技術の融合方法を用いて、ターゲットの背景に複製する結果を示す図である。 図３ａのオブジェクトを、色調維持条件を取り入れた融合方法を用いて、図３ｂと同じターゲットの背景に複製する結果を示す図である。 図３ａのオブジェクトを、図３ｃの色調維持条件、およびソース画像のコントラストの程度の対応の両方を取り入れた融合方法を用いて、図３ｂと同じターゲットの背景に複製する結果を示す図である。 ともに融合されるべき２つのソース画像の領域を示す図である。 第一のソース画像を示す図である。 第二のソース画像を示す図である。 図５ａおよび図５ｂの第一および第二のソース画像から形成された構成画像であって、プリセグメンテーションアルゴリズムを用いて処理された構成画像を示す図である。 図５ｃの画像に対する双方の勾配融合プロセスの結果を示す図である。 図５ｃの画像に対する改良した画像融合プロセスの結果を示す図である。 本発明の方法を用いて、６つのソース画像を融合することによって形成される合成画像を示す図である。

Claims (15)

1. 構成画像を形成するために、第一の画像と第二の画像を融合する方法であって、前記方法は、
   （i）前記構成画像を形成するために、前記第一の画像の少なくとも一部と、前記第二の画像の少なくとも一部を結合するステップと、
   （ii）前記第一の画像から形成された前記構成画像内の領域と、前記第二の画像から形成された前記構成画像内の領域の間である、前記構成画像内の境界を識別するステップと、
   （iii）前記第一および前記第二の画像のいずれかの少なくとも一部の勾配に基づいて前記構成画像を修正するステップとを有し、
   前記修正は、実質的にuが前記構成画像を表し、ISがソース画像を表し、λが重みづけパラメータである境界条件を前提とする汎関数
   の最小化に相当することを特徴とする方法。
2. 前記第一の画像の少なくとも一部は、前記構成画像を形成するために前記第二の画像に複製され、前記構成画像を修正するステップは、前記第一の画像から複製された前記構成画像の一部のみを修正することを特徴とする請求項１に記載の方法。
3. 前記第一の画像はソース画像であり、前記第二の画像はソース画像であり、これらのソース画像は合成画像を形成するためにともに融合されるべきものであることを特徴とする請求項１に記載の方法。
4. 前記重みづけパラメータに関する値を特定するユーザ入力を受け取るステップをさらに有することを特徴とする請求項１に記載の方法。
5. 前記重みづけパラメータに関する値の順序付きシーケンスを特定するユーザ入力を受け取るステップをさらに有することを特徴とする請求項４に記載の方法。
6. 前記ユーザ入力は、スライディンググラフィカル入力ツールを備えるグラフィカルユーザインターフェースを介して受け取られることを特徴とする請求項５に記載の方法。
7. 前記ソース画像内のコントラストの程度の表示は、使用時に端の欠落を検出する役目を果たし、前記修正が、前記構成画像内の端の欠落を維持するように構成されることを特徴とする請求項１〜６の何れか１項に記載の方法。
8. 前記境界は、ユーザ入力の結果として識別されることを特徴とする請求項１〜７の何れか１項に記載の方法。
9. 前記境界は、自動分割計算の結果として識別されることを特徴とする請求項１〜７の何れか１項に記載の方法。
10. 前記自動分割計算は、グラフカット方法を含むことを特徴とする請求項９に記載の方法。
11. 前記ソース画像は、部分的に重なり合うように構成され、前記境界は、これらの画像の間で前記重なり合う領域内にあることを特徴とする請求項３に記載の方法。
12. 前記最小化は、勾配の有限差分近似に基づいて数値的方法を用いて実行されることを特徴とする請求項１に記載の方法。
13. コンピュータに、請求項１〜１２の何れか１項に記載のステップを実行させるためのプログラム。
14. 第一の画像と第二の画像を融合して構成画像を形成するための装置であって、前記装置は、
    （i）前記第一の画像の少なくとも一部と、前記第二の画像の少なくとも一部を結合して前記構成画像を形成するように構成された画像コンバイナと、
    （ii）前記第一の画像から形成された前記構成画像内の領域と、前記第二の画像から形成された前記構成画像内の領域との間である、前記構成画像内の境界を識別するように構成されたプロセッサと、
    （iii）前記第一および前記第二の画像のいずれかの少なくとも一部の勾配に基づいて前記構成画像を修正するように構成された画像プロセッサとを備え、
    前記画像プロセッサは、実質的にuが前記構成画像を表し、ISがソース画像を表し、λが重みづけパラメータである境界条件を前提とする汎関数
    の最小化と同等の手法で前記構成画像を修正するよう構成されたことを特徴とする装置。
15. 前記プロセッサは、前記境界を識別するユーザ入力を受け取るように構成されたことを特徴とする請求項１４に記載の装置。