JP6159298B2

JP6159298B2 - 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法

Info

Publication number: JP6159298B2
Application number: JP2014131420A
Authority: JP
Inventors: ジュリアンヴィダル−ナケマイケル
Original assignee: コニカミノルタラボラトリーユー．エス．エー．，インコーポレイテッド
Priority date: 2013-06-30
Filing date: 2014-06-26
Publication date: 2017-07-05
Anticipated expiration: 2034-06-26
Also published as: JP2015011717A; US20150002704A1; US8957984B2

Description

本願発明は、ハイダイナミックレンジ（ＨＤＲ）イメージングに関し、特にＨＤＲ画像の作成におけるゴーストアーティファクトの除去に関連する。

ハイダイナミックレンジ（ＨＤＲ）イメージングは、極めて幅広い明るさ（光度）の範囲を有している元画像を取り扱う画像処理およびデジタル写真に使用される技術である。例えば、昼間の屋外風景においては、青空や日の光に照らされた物体から影に隠れた物体、夜中の風景においては、ネオンライトや強く照らされた物体から、弱く照らされているにすぎない物体、室内の風景においては、明るい窓から、暗所にあるもの等を含みうる。これらの風景をデジタルカメラといった写真機器で撮影するには、一筋縄ではいかない。このように広範囲の光度を有している風景を十分に画像化するには、しばしば、現在入手可能なデジタルカメラのイメージセンサーのダイナミックレンジでは追いつかないことがある。風景の暗部をキャプチャーするのに十分な露出度としてしまうと、しばしば明るい部分は過度に露出されてしまい、白飛びしてしまう。逆に、明るい部分をキャプチャーするのに十分な露出度としてしまうと、しばしば暗部は黒く潰れてしまう。

ＨＤＲイメージング技術は、この問題を、複数の写真を様々な露出度で撮影して合成することで解決する。そして、ＨＤＲ画像を作成するためにデジタルに併合された写真は、それぞれ元の複数の画像の情報を保持しているため、暗部と明部の両方を十分に表現することが可能である。複数の画像からＨＤＲ画像を作成するという方法は一般的に知られている。

ブラケティングは、異なる露出度、または、フォーカス、フィールドの深さ等の他の異なるセッティング値を用いた同じ風景の複数画像を撮影する技術である。ある種のカメラは、自動的にブラケティングを行える。すなわち、自動的に撮影回数および撮影する枚数の設定を変化させる。複数の画像のそれぞれは、しばしばブラケットとよばれる。露出度を調整したブラケティングにより生成された複数枚の画像はＨＤＲ画像の生成に用いられる。

ＨＤＲ画像の生成時において、異なる画像（ブラケット）を次々と撮影しているときに、対象物が動いたり、現れたり、消えたりするとゴーストアーティファクトが現れることがある。例えば、三枚のブラケットを撮影している間、三枚目のブラケットを撮影している時のみに、風景に人が歩行して入ってくると、その三枚目のブラケットのせいで、ＨＤＲ画像は風景に半透明な人の姿を写しだしてしまう（これを、ゴーストと呼ぶ）。

ＨＤＲ画像に対するゴーストの効果をなるべく減らす、もしくは完全に除去した上で画像処理するために、複数の画像の中からゴーストを引き起こす対象を識別する方法が提案されてきた。例えば、ゴーストを除去する技術として、ウィンドウを使用してブラケットを局所的に比較するというものがある。これらの技術に関して、しばしば調査報告がなされている。Ａ．ＳｒｉｋａｎｔｈａａｎｄＤ．ＳｉｄｉｄｅのＧｈｏｓｔＤｅｔｅｃｔｉｏｎａｎｄＲｅｍｏｖａｌｆｏｒＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅＩｍａｇｅｓ：ＲｅｃｅｎｔＡｄｖａｎｃｅｓ，ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ：ｉｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２７（６），ｐｐ６５０−６６２，２０１２。米国特許出願公開第２０１１／０１８８７４４号において、規格化された相互相関技術（ＮＣＣ）を用いてゴーストアーティファクトを除去する方法が記載されている。これらの既知の方法においては、異なる画像において、局所的な領域を比較することで、その局所領域が非類似であると思われる場合には、その領域に動く物体が存在するとみなすという方法を用いている。調整された異なるブラケットが異なる露出度（光度）を有している結果、同じピクセル領域において異なるピクセル値をとってしまうので、この比較方法は、あらゆる光度に対して感度が低くなくてはならない。

前述したそれぞれのゴースト検出技術は、画像を比較するための一つの固定されたサイズの小さなウィンドウを用いる。それらは、典型的には小さく、７×７、１１×１１ピクセルなどのサイズである。小さなウィンドウを使うことの一つの欠点は、それらがノイズに敏感であるということである。もう一つの欠点は、ブラケット間におけるある種の相違に対しては敏感ではないということである。例えば、一つのブラケットにおいて比較的特徴の少ない領域が、他のブラケットにおいても特徴の少ない領域に置き換わってしまうといったことがこれにあたる。また、芝生の上に転がる白いボールといったものがこれにあたる。もし小さなウィンドウがボールと比較して小さく、ボールの全体像の中に完全に埋め込まれてしまうようなものであったら、この違いを探知することはできないかもしれない。なぜならば、比較アルゴリズムは、全体の光度の変化に敏感でないからである。逆に、もし大きなウィンドウが使えたのならば、ゴーストを引き起こす小さな領域を特定できる。

本願発明は、ＨＤＲ合成画像の生成において、複数枚の画像の中で、潜在的にゴーストを引き起こす領域を削除、またはゴーストによる効果を減らすか取り除くために上記の方法を改善したもの、および、これらに関連する機器に関する発明である。この方法は、特に、３枚のブラケットが得られた時に、ゴーストアーティファクトの検出および削除に適している。

本願発明の追加的な特徴および優位性は後述する詳細な説明により明らかとなり、実施形態によっても把握される。本願の目的および他の利点は、添付図面と共に、明細書において示された構造および請求の範囲により、万全に理解されるであろう。

これらの、および他の、具体化され、幅広く描写されている目的を達成するために、本願は、ハイダイナミックレンジ（ＨＤＲ）の画像を、異なる露出度で撮影された複数の要素からなる画像セットから生成する方法を提供する。当該方法は、画像セット中のそれぞれの画像の組に対する、以下のステップを含む。異なる露出度を有する複数の画像セットからハイダイナミックレンジ（ＨＤＲ）画像を生成する方法であって、画像セットの各画像の組に対して、（ａ）各画像の組に対する複数の個別の整合マップを生成するステップと、ここで、個々の整合マップは、ウィンドウサイズを有し画像の組中にそれぞれ位置する動くウィンドウの組間の整合関数を計算することによって生成され、複数の個別の整合マップは、複数の異なるウィンドウサイズを用いて生成され、（ｂ）前記画像の組のために、結合された整合マップを生成するために、複数の個別の整合マップを結合するステップと、（ｃ）前記結合された整合マップを二値化して、前記画像の組のために、最終的な整合マップを生成するステップと、ここで、前記最終的な整合マップ内の各ピクセルは、対応する位置において前記画像の組が整合するか否かを示すピクセル値を有し、（ｄ）前記画像組の各画像について、複数の前記最終的な整合マップに基づき、ゴースト重みマップを生成するステップと、ここで、前記ゴースト重みマップ中の各ピクセルは、ゴーストを引き起こす画像に対応する位置における画像ピクセルである見込みを示すピクセル値を有し、（ｅ）前記画像セットおよび対応するゴースト重みマップを用いて、ＨＤＲ画像を生成する。

選択的に、前記ステップ（ａ）において、個々の整合マップは、カラー画像の組及び白黒画像の組を生成するための個々の整合マップを含んでもよい。また、選択的にステップ（ａ）について、整合相似関数は、規格化された相互整合関数（ＮＣＣ）を用いてもよい。

本願発明の他の側面によれば、上記の方法を達成するためのコンピュータプログラムおよびコンピュータプログラムが内蔵されているデータ処理装置を制御するために具備された装置や、コンピュータプログラムが内蔵されたデータ処理装置メモリーやストレージ装置といった、非一時的な媒体からなる計算装置からなるコンピュータプログラム製品を提供する。

他の方法において、本願は、デジタルカメラであって、当該デジタルカメラは前記コンピュータプログラム、画像を得るためのイメージングセクション、異なる露出度で撮影された画像セットを得るためのイメージングセクションを制御するための制御セクションをさらに有するコンピュータ上で使用可能な非一時的な可読媒体を含むものを提供する。

前述した内容および後述する発明の内容はともに例示的、説明的なものであって、特許請求の範囲に記載されている発明の更なる説明をより促進させるためのものであるということを理解しなければならない。

図１は、本願発明の実施形態による、ゴーストアーティファクトを検知し、除去しながら、複数のブラケットによりＨＤＲ画像を生成する方法を示す図である。図２は、図１に示す方法の実行に従って、個々の整合マップのスケールを変更する方法を概略的に示す図である。図３は、図１に示す方法の実行に従って、異なるスケールおよび異なる画像種の複数の結合している個々の整合マップを生成する方法を概略的に示す図である。図４は、図１に示す方法の実行に従って、画像についてゴースト重みマップを計算する方法を概略的に示す図である。図５は、図１および図３の方法で使用されている、二値化閾値を生成する方法を概略的に示す図である。図６は、ゴーストアーティファクトを示した代表的な２枚の画像である。図７は整合ピクセルおよび、不整合ピクセルの整合値の分布を代表的に表す図である。図８Ａおよび図８Ｂは、本願発明が実行された場合の実施形態におけるデータ処理装置およびカメラをそれぞれ概略的に表す図である。

本発明の実施形態は、ＨＤＲ画像生成のために、複数の画像中にあるゴーストアーティファクトを検出する方法を提供する。複数の画像（ブラケッツ）は、同じ風景を異なる露出度で撮影して得られる。撮影中にカメラが実質的には動いていなかったとしても、処理中に風景の中に物体が出現したり、あるいは消失したりするという事態が想定される。本願発明においては、そのような物体をまとめて動く物体と呼称する。もしも未処置のままでいると、動く物体はＨＤＲ画像中にゴーストアーティファクトを引き起こすであろう。ゴーストアーティファクト検出方法は、そのようなゴーストアーティファクトを引き起こす、動く物体を含む画像中の領域を特定する方法である。この方法が、ゴーストアーティファクト検出方法と呼称されるにしても、この方法は、ＨＤＲ画像が生成されたあとにゴーストアーティファクトを検出するものではないことに留意する。むしろ、この方法は、元の複数画像中において、放置しておくとゴーストアーティファクトをＨＤＲ画像中に引き起こす領域を検出する方法というべきである。

前述した周知の技術と同様に、本願発明の実施態様におけるゴーストアーティファクト検出方法は、動くウィンドウを使用して画像の組における局所的な領域を比較する。対応するウィンドウの組の間の類似性を評価するために、規格化された相互整合関数（ＮＣＣ）といった、比較関数もしくは他の適当な関数が用いられる。周知の技術とは異なり、ここで説明される方法は、複数の異なる大きさの動くウィンドウを用いる。複数の異なるサイズのウィンドウを組み合わせた結果を比較することによって、ゴーストアーティファクトを引き起こす、大きな領域から小さな領域までを検出できる。

ＮＣＣは、コントラストや平均光度が変化しても大きさが変わらない標準の基準である。ＮＣＣは、画像を比較するために、コンピュータヴィジョンの分野において用いられてきた。ゴーストアーティファクト検出のためにＮＣＣを用いた時に予想されるのが、２つの異なるブラケットの同じ領域に対して関数値を算出した場合、その内容に変化が全くない場合には、２つのブラケットが異なる露出度を有していたとしても、ＮＣＣの値は大きくなるということである。そして、連続する２つの画像の間に、画像の内容に変化があれば、ＮＣＣの値は比較的小さくなる。したがって、ＮＣＣの関数値が小さければ、ゴーストアーティファクトを引き起こす物体が存在する証拠となるのである。

例として、図６は（ａ）低い露出度の画像、（ｂ）高い露出度の画像をそれぞれ示している。（ｂ）の画像中において、風景中右から人が歩いてきている。ウィンドウＡ１およびＡ２の組において、ＮＣＣの値は比較的小さくなるであろうことが予想される。そして、ウィンドウＢ１およびＢ２においては、ＮＣＣの値は比較的高くなるであろうことが予想される。

ＨＤＲ画像生成のために複数の画像中からゴーストアーティファクトを検出するための方法に関する本願発明の具体的態様については、図１を参照しつつ説明する。この図においては、ＮＣＣは画像の類似性または整合性（これら２つの単語は本願において交互に使用されることがある。）を示す関数として使用されている。しかし、他の適当な関数が用いられる場合もある。より一般的には、ＮＣＣといった関数は、整合関数と呼称されることもあり、ＮＣＣマップといった下記に示すマップは、整合図と呼称されることもある。

異なる露出度で撮影された、風景の原画像のセット中のすべての画像は同じ大きさであると予想される。原画像が異なるサイズであるときに、スケーリングが予め行われ得る。まず選択的かつ事前的ステップとして、それぞれの画像は、アスペクト比を維持しつつ、小さな大きさのサイズへ変更され得る。例えば、画像は短手方向において、７５０ピクセルにまでサイズ変更されることがある。これによって、重要な情報は喪失されることなく、より速い計算が実現される。

図１におけるステップＳ１１からステップＳ１５は、結合ＮＣＣマップを一組について計算するために画像セットの中の、画像Ｉ_ｉおよび画像Ｉ_ｊについて計算が実行されているところを示した図である。ｉおよびｊは、画像の番号を示したものであり、その範囲は１からＭである。ここで、Ｍは画像セットの総枚数である。まず、ウィンドウサイズｓおよび画像種ｔについて個々の

が計算される（ステップＳ１１）。個々のＮＣＣマップは、画像と同じ大きさを有している。ここで、ｘは、ウィンドウの中心の画像中における２次元ピクセル座標を示したものであって、ｓはウィンドウの大きさ（スケールとも呼称される）。そして、ｔは、画像種に対応している（様式とも呼称される）ものであって、白黒画像またはカラー画像のいずれかを表したものである。もし元の画像がカラーであった場合、白黒写真が元のカラー画像から得られる。これを達成するために、適当な方法が用いられる。もし、画像がもともと白黒であった場合、個々のＮＣＣマップは白又は黒に対応するものでしか計算されない。一つの実行例として、ウィンドウサイズとして、６または７が使用される。ウィンドウの最も大きいサイズは、画像の四分の一程度で、最も小さいもので７×７ピクセルである。

数学的に、同じ大きさの２つの画像パッチＸおよびＹの間のＮＣＣは、以下の公式で与えられる。

白黒画像のときは、Ｎは画像内のウィンドウのピクセル数と同じで、総和は、Ｎピクセルにわたり実行される。カラー画像では、Ｒ，Ｂ，Ｇ要素それぞれについて実行される。すなわち、Ｎはウィンドウのピクセル数の３倍の値となる。
式１より、ＮＣＣの値域は、−１から１である。値が大きければ、２つのウィンドウ間で、より強い類似性（整合性）があることを示す。

ＮＣＣは、ＮＣＣ（Ｘ，ａＹ＋ｂ）＝ＮＣＣ（Ｘ，Ｙ）という性質がある。ここで、ａ，ｂは定数である。したがって、先述したように、ＮＣＣは露出度およびコントラストの変化に対して不変となる。

ステップＳ１１において、ＮＣＣマップＲ^ｘ _{ｉｊ，ｓ，ｔ}を画像内の２次元のピクセルの座標ｘのそれぞれについて計算するには、ＮＣＣの値が式１より算出される。ここで、ウィンドウＸおよびＹは大きさｓのものであって、中心座標ｘに位置している時の画像Ｉ_ｉおよびＩ_ｊに対応しているものである。よって、ＮＣＣの値は、２次元マップをなす位置ｘの関数として表記される。

（Ｌ−１＋１）×（Ｃ−ｃ＋１）ピクセルの画像の中心領域内にある各ピクセル位置ｘについて、ＮＣＣの値は式１を直接用いて計算される。ここで、Ｌ，Ｃは画像の線形次元（例えば、幅および高さ）であって、ｌおよびｃはウィンドウの大きさであり、ｘを中心座標とするｌ×ｃのフルサイズのウィンドウが存在する。しかしながら、四辺がそれぞれより広い（ｌ−１）／２および（ｃ−１）／２の幅をもった境界領域内のピクセル位置において、中心をピクセル位置ｘとする、大きさｌ×ｃのフルサイズのウィンドウが存在しないことになる。図６において、この状況はウィンドウＣ１、Ｃ２で表されている。したがって、境界外の位置ｘのＮＣＣ値は、改良された手法（改良方法）を用いて計算する必要がある。以下その代替方法を述べる。

境界領域のための第１の改良方法は、不完全な（より小さな）ウィンドウを用いて座標ｘにおけるＮＣＣの値を計算する。不完全なウィンドウは、ｘを中心座標とするウィンドウと画像とが重なりあう領域である。ちょうど画像の縁に位置するピクセルにおいては、不完全なウィンドウは通常のウィンドウの大きさのおよそ半分の大きさである。ちょうど画像の角にあるピクセルにおいては、不完全なウィンドウは通常のウィンドウの大きさのおよそ四分の一の大きさである。そして、式１が小さなウィンドウ内部の全ピクセルに関して足しあわされることによって適用される。

境界領域のための第２の改良方法は、図２に示すように、補間法という方法が、境界領域におけるＮＣＣの値を計算するために使用される。まず、ＮＣＣマップの境界領域においては、全体にゼロ値を詰める（代入する）（ステップＳ２１）。一方で、（Ｌ−ｌ＋１）×（Ｃ−ｃ＋１）の中心領域においては、数２を用いてＮＣＣの値が計算される。そして、ゼロ値が代入されたマップ（Ｌ×Ｃの大きさ、代入マップとも呼ぶ）にブラーカーネルでフィルターをかける（ステップＳ２２）。ここで注意しておかねばならないのが、Ｌ×Ｃの大きさの、フィルターのかかった代入マップが得られるように、不完全なブラーカーネルでフィルターを代入マップの縁の領域にかけるということである。ウィンドウの大きさが異なれば、異なるブラーカーネルが用いられる。ここで、ブラーカーネルの大きさおよび標準偏差は、ウィンドウの大きさに比例する。フィルターのかかったＮＣＣマップは、代入ＮＣＣマップ（および元画像）と同じ大きさを持つ。そして、フィルターのかかったＮＣＣマップは規格化される。

特に、規格化されたマップが計算され、中心領域において１、境界領域において０の値を有しているＬ×Ｃの大きさ（すなわち、原画像と同じ大きさの）のテンプレートマップが生成され、（ステップＳ２３）、そして、ステップＳ２２のフィルターステップのように、同じブラーカーネルを用いてテンプレートマップをフィルタリングする（ステップＳ２４）。ステップＳ２３およびＳ２４は、オフライン、すなわち、ゴーストアーティファクト検出が行われないときに実行され得る。規格化されたマップは、原画像と同じ大きさを有している。最終的に規格化され、フィルタリングされたＮＣＣマップは、ピクセル幅の分割を用いる正規化されたマップによりフィルタリングされたＮＣＣマップを分割して計算される。この規格化されフィルタリングされたＮＣＣマップは、原画像と同じ大きさを持ち、ウィンドウの大きさｓおよびタイプｔのＮＣＣマップに対して用いられる。

選択的に、正規化され、フィルタリングされたＮＣＣマップの中心部分は、式１を用いて計算されたＮＣＣの値に代替されてもよい（ステップＳ２６）．この代替ステップが行われた場合、フィルタリングステップＳ２２およびＳ２４における計算および、分割ステップＳ２５は、境界領域のピクセルに対してのみ実行すればよい。この場合においては、代替ステップＳ２６は、（代替ステップというより）ＮＣＣマップの中心領域および境界領域を結合するステップとみなすこともできる。

ステップ１１において個々のＮＣＣマップを計算する際、おしなべて均一なウィンドウを取り扱うときには、事前に注意すべきことがある。例えば、青空やテクスチャのない表面といったものである。数式１におけるＮＣＣ関数は、ウィンドウの標準偏差がゼロ近傍のときは定義されない。したがって、ウィンドウＸがおしなべて均一なものであるか否かを決定するために、分散係数（ＣｏＶ）を計算する。

ここで、ｓｔｄ（Ｘ）は、ピクセル値の標準偏差（カラー画像におけるＲ，Ｇ，Ｂ要素を含む）、ｍｅａｎ（Ｘ）はウィンドウのピクセル値の平均である。カラー画像においては、均一な画像というのは、グレーであるという意味であることに留意する。グレーでないが他の色で均一な領域は、一般的に低いＣｏＶを持たない。

もし、ＣｏＶが閾値以下（例えば、一つの実施態様として０．００１）であれば、そのウィンドウは均一であるとみなされる。式１はどの２つの画像も不均一である場合のみＮＣＣの値を計算するために用いられる。一つの実施態様として、２つの均一な画像については、ＮＣＣの値は１、すなわち合同であると定義され、均一なものと不均一なウィンドウとの間のＮＣＣの値を計算すれば、０または−１と計算される。

ステップＳ１１で計算されるように、すべてのウィンドウサイズおよびすべての画像種についての、ＮＣＣマップＲ^ｘ _{ｉｊ，ｓ，ｔ}は原画像と同じ大きさを持つ。

ステップＳ１１はすべてのウィンドウサイズおよび画像種について繰り返される（ステップＳ１２においてＹの経路）。そして、

を計算するために、すべてのウィンドウサイズｓおよび画像種ｔについて、複数の個々のＮＣＣマップが結合される（ステップＳ１３）。この計算は図面３に詳しく説明されている。まず、個々のＮＣＣマップＲ^ｘ _{ｉｊ，ｓ，ｔ}は、閾値θ_ｓ，ｔに対応するものを用いて二値化される。そして個々のＮＣＣマップＲ^ｘ _{ｉｊ，ｓ，ｔ}について二値化されたＮＣＣマップが計算される（ステップＳ３１）。換言すれば、もしＮＣＣの値がθ_ｓ，ｔ以上であれば、あるピクセル位置において中心座標を同じくする一組のウィンドウは自己相似ということを示唆し、二値化されたＮＣＣマップのピクセル値は１である。もし、ＮＣＣの値がθ_ｓ，ｔよりも小さい場合、あるピクセル位置において中心座標を同じくする一組のウィンドウが非類似であることを示し、二値化されたＮＣＣマップのピクセル値は０である。二値化されたＮＣＣマップのピクセル値１または０は逆にされてもよいことに留意する（すなわち、０が非整合的なウィンドウであることを示唆し、１が整合的なウィンドウであることを示唆してもよい）。これは定義の問題である。

大きさｓおよび種類ｔを持つそれぞれのＮＣＣマップの閾値θ_ｓ，ｔは予め決定され、メモリーに保存される（詳細は、図５およびその説明を参照）。選択的に事前に風景（浜辺、屋内等）に適したウィンドウサイズや画像種が事前に提供されることがある。そして、被写風景の種類に応じて、ステップＳ３１の方法により、閾値の一つが選択される。被写風景の種類はカメラのセッティングによって決定することもできるし（例えば、ユーザーが写真を取る前に、風景のタイプをセットできる）、風景のタイプを検出するアルゴリズムを使って、自動的に決定できる。

そして、すべてのウィンドウサイズおよびすべての画像種について二値化された個々のＮＣＣマップは、結合されたＮＣＣマップを計算するために平均化される（ステップＳ３２）。ピクセル幅の平均方法が使われる。換言すれば、結合されたＮＣＣマップにおけるそれぞれのピクセルにおけるピクセル値は、個々の二値化されたＮＣＣマップにおける対応するピクセルのピクセル値の平均であるということである。このピクセル値は、ＮＣＣマップの平均値を示しており、対応するピクセル位置における閾値を超える。

数学的には、ＮＣＣマップＲ^ｘ _ｉｊは、以下の数式により表現される。

ここで、和はすべてのウィンドウサイズｓおよび画像種ｔに亘ってとられ、Ｐはウィンドウサイズと画像種との組み合わせの総数である（すなわち、ウィンドウサイズの数と画像種の数の積である）。Ｉ（）は指示関数を表している。

代わりに、シグモイド関数といった種類のものを適用するなどしてソフトな二値化が使用されることがある。図３で示されている他の方法として（好しさは低くなるが）、最初の二値化をせずに、単に個々のＮＣＣマップを平均化して結合されたＮＣＣマップを作るという方法が用いてもよい。

結合されたＮＣＣマップＲ^ｘ _ｉｊは、異なる大きさ（ウィンドウサイズ）および画像種を考慮に入れた、２つのブラケットＩ_ｉおよびＩ_ｊ間の視覚的な類似性を表したものである。

図１に戻って言及すると、画像の組Ｉ_ｉおよびＩ_ｊについての

を生成するために、閾値を用いて、結合されたＮＣＣマップＲ^ｘ _ｉｊが二値化される（ステップＳ１４）。この閾値は経験的に決定される。一つの実施態様としては、この閾値は０．６と設定される。最終的なＮＣＣマップは二値化されたマップであって、ある一つのピクセル値（この例においては１）は、整合性のあるピクセルであることを示し、他の値（この例においては０）は非類似のピクセル（例えば、動く物体が入り込んでいること）であることを示している。

画像のセットにおいて、異なるブラケットにおける同じピクセルは、高い露出度のブラケットにおいては高い値を持つことが予想される。この露出具合に基づく予想は、動く物体が入り込んでくると破綻する。他者も提言しているように（ＡＳｒｉｋａｎｔｈａ，Ｄ．Ｓｉｄｉｂｅの論文）、この事実はピクセルが非整合的であることを示すマークとして使われる。換言すれば、画像の組に対応するピクセルのピクセル値の比較および、画像の組のすべての露出度の比較にもとづいて修正がなされる（図１５）。例えば、ピクセルｘにおいて、Ｉ_ｊはＩ_ｉより露出度が高いのに、

であることがマーキングされることによって、最終的なＮＣＣマップＲＢ^ｘ _ｉｊは、調整できる。このステップは選択的である。

ステップＳ１１〜Ｓ１５は画像のセットの任意の２つのペアについて、繰り返される。結果的に、画像の総枚数をＭとすると、Ｍ（Ｍ−１）／２枚の最終的なＮＣＣマップが生成される。次のステップは、任意の画像の組について、非整合的であると思われる各ピクセルについて、どの画像が動く物体を含んでいるか、そしてどの画像が動く物体を含んでいないかを決定することである。動く物体と風景の区別はいくぶんか恣意的である。例えば、人物がある画像には存在するものの、他の画像には存在していなかったという場合、その人物は、光景に意図的に入ろうとしていたのか、あるいは意図せず歩いてきた人なのか峻別できない。一般的に、画像のセットが２つ以上の画像を含んでいれば、どの画像が動く物体を含んでいるのかを、数を比較することによって見いだせる。例えば、画像のセットが５枚の写真を含んでいたとして、画像１、２、３および５は互いに類似しているものの、画像４は他の４つと非類似であると判明した場合、画像４は、そのピクセルの領域において、ゴーストを引き起こす動く物体を含んでいると予想がつく。ステップＳ１７における結果は、画像Ｉ_ｉにおける、各ピクセルｘにおいてゴーストを引き起こす物体があるか否かを指し示す指標、

である。

以下で、ゴースト重みマップの計算方法を、２つ例示する。

ゴースト重みマップを計算する１つ目の方法では、画像セットの中からひとつの画像を、ゴーストを含んでいない参照画像として定義する。画像ｉが参照画像として選択される場合、画像ｉのゴースト重みマップは、ゼロ、Ｇ^ｘ _ｉ＝０、Ｇ^ｘ _ｉ＝ＲＢ^ｘ _ｉｊである。参照画像は、最初のものを選択しても、最後のものでも、真ん中のものなど、何を選択してもよい。あるいは、もっともよい露出品質を提供する画像を参照画像として定義してもよい。もっともよい露出品質とは、他のものと比較して、最も飽和した、もしくは露出不足のピクセルの数が少ないものである。この参照画像は、ユーザーが選んでも良いし、機器が自動的に選択してもよい。（コンピュータ処理においてこの方法が実行されるときは、その機器はコンピュータであるし、カメラで実行されるときはカメラである）。

ゴースト重みマップを計算する２つ目の方法は、図４に示されているが、特に写真の枚数が３枚の時に適している方法である。この方法は、一つのブランケットが、位置ｘにおいて、その他２つのブランケットの両方と非類似であるかどうかの観察に基づく。例えば、整合マップＲＢ^ｘ _ｉｊ、ＲＢ^ｘ _ｉｋともに０であった場合、位置ｘにおいて、ブラケットＩ_ｉは、他の２つの画像Ｉ_ｊ，Ｉ_ｋと異なる可能性が高い。したがって、ブランケットＩ_ｉはゴーストアーティファクトを位置ｘにおいて引き起こす。ゴースト重みマップＧ^ｘ _ｉは、この原則に基づいて計算される（ステップＳ４１）。特にこの方法の実行においては、以下の式が使用される。

この式において、ＲＢ^ｘ _ｉｊおよびＲＢ^ｘ _ｉｋがともに０（非類似）であった場合、は１であるから、ピクセル位置ｘにおいて、ブラケットｉがゴーストアーティファクトを引き起こすことを示している。仮に、Ｒｂ^ｘ _ｉｊまたは、Ｒｂ^ｘ _ｉｋが１（類似）であった場合、Ｇ^ｘ _ｉは０となるから、ピクセル位置ｘにおいてブラケットｉがゴーストを引き起こさないことを示している。

選択的に、ゴースト重みマップＧ^ｘ _ｉは、露出オーバーや露出アンダーの効果のために修正され得る。露出オーバーや露出アンダーの画像領域は、ゴーストアーティファクトを引き起こすピクセルの誤検出を導くおそれがある。なぜならば、異なる画像間における同じ位置のピクセル値はもはや露出度に比例せずに、ＮＣＣの値が低く（非類似に）なってしまうからである。それゆえ、露出オーバーまたは露出アンダーのピクセルでは、ピクセル値を０（ゴーストなし）として設定することによって、ゴースト重みマップＧ^ｘ _ｉが修正されうる。換言すれば、そのようなピクセルは、ＮＣＣの値が非類似を示していたとしても、ゴーストアーティファクトを引き起こす領域とは考えられない。

ゴースト重みマップＧ^ｘ _ｉを計算する前に、最終的な個々のＮＣＣマップＲＢ^ｘ _ｉｊを修正することで、露出オーバーや露出アンダーのピクセルを代わりに修正できることに留意する。この代替方法の好ましさはより小さい。

式４の方法を用いて、３枚の画像全てについて、ゴーストアーティファクトを引き起こすピクセルをマークすることが可能である。例えば、２つ目のブラケットにおいて、風景に人が歩いてきて、３つ目のブラケットにおいて、異なる場所へと移動していったという場合である。２つ目および３つ目のブラケットにおける、人のいた位置は重なり合っており、その重なり合っている領域において、３枚全ての画像は互いに非整合的となる。そのような状況において、全てのブラケットがひとつの画像に結合されて圧縮されてしまうと、ＨＤＲ画像において、黒いピクセルを生んでしまう。したがって、本願発明の一つの実施例として、ひとつのブラケットが参照ブラケットとして選択され、そのゴースト重み値が、ゴーストを引き起こさないものであるピクセルとしてマークされる。すなわち、ブラケットｉが参照ブラケットであれば、Ｇ^ｘ _ｉ＝０である（ステップＳ４３）。この、ゴーストを引き起こすものでないブラケットを選択するためのアルゴリズムは、試行錯誤的に発展され得る。例えば、第一に、ゴースト重みマップを作り出す３つのペアに対して、重なっていないゴーストを引き起こすピクセル数を計算する。第二に、あるブラケットにあって、他の２つにはないゴーストピクセルを最大の有しているブラケット内のピクセルをゴーストとしてマークする。第三に、他の２つのブラケットの中で、最もよく露出しているブラケットを選択し、その最も露出度の高いブラケットの中のピクセルを、ノン・ゴースト、そして他のものをゴーストとマークする。

ゴーストを引き起こさないものとしてマークされるブラケットを選択する他のアルゴリズムとして、以下のものがある。第一に、ゴースト重みマップの考えうる３つのペアから、重なっていないゴーストを引き起こすピクセルの数を計算する。第二に、他の２つのブランケットと比較して、ゴーストを含んでいるピクセルの数が最も少ないものを、ノンゴーストとしてマークし、他のブラケットの対応するピクセルをゴーストとしてマークする。

そのように種々の修正がなされた後に、それぞれの二値化されたゴースト重みマップは最終的なゴースト重みマップを生成するためにぼやかされ、最終的なゴースト重みマップにおける各ピクセルは０から１の連続的な値を持つ。この値は、そのピクセルがゴーストを引き起こす可能性を表すものである（ステップＳ４４）。画像セット中におけるそれぞれの画像について、一つの最終的なゴースト重みマップが生成される。

図１に戻って言及すると、画像セット中の複数の画像のそれぞれについて、最終的なゴースト重みマップが生成された後は、複数の画像およびそれに対応する最終的なゴースト重みマップを用いて、ＨＤＲ画像が生成される（ステップＳ１８）。ＨＤＲに対しての、各画像ピクセルの貢献度は、それの持つゴースト重みに依存する。例えば、ゴースト重み１（ゴースト）を有するある画像中のピクセルはＨＤＲ画像生成過程においては完全に抑圧され、ゴースト重み０（ノンゴースト）を有するものは、ＨＤＲ画像生成において完全に用いられる。ゴースト重みＧ^ｘ _ｉをもっているピクセルは、（１−Ｇ^ｘ _ｉ）に比例する貢献度を有している。複数の画像から、ＨＤＲ画像を生成する方法は一般的に知られている。前述したゴースト重みの値が考慮に入れられる限りにおいて、そのような方法は、ステップＳ１８において使用される。例えば、ＨＤＲ画像生成の画像を結合する段階におけるアルゴリズムは、典型的に、１つ、もしくは複合的な重みを、画像中のピクセル値へと与える。（１−Ｇ^ｘ _ｉ）という値は、追加的な複合的重みの一つである。

ステップＳ３１において、先述したように、閾値θ_ｓ，ｔは個々のＮＣＣマップＲ^ｘ _{ｉｊ，ｓ，ｔ}を二値化するために使用される。好ましくは、閾値として、異なるウィンドウの大きさｓおよび画像種ｔが用いられる。これらの閾値は、ゴーストアーティファクト検出アルゴリズムにとって重要なパラメータである。何故ならば、それらの値は、それぞれの画像のペアのウィンドウが類似か非類似かを決定するものだからである。これらの閾値は予め（すなわち、オフラインで）発展され、カメラやコンピュータ内部のメモリーに記録される。本願発明の実施形態によれば、これらの閾値は、図５に示したマシーンラーニングアプローチを用いて、連続するデータにより自動的に決定される。

まず、画像のウィンドウの組のセット（訓練データ）が与えられ、いくつかの組は、類似であって、いくつかのものは非類似であると予め知られているものとする（ステップＳ５１）。一つの具体例として、訓練データを生成するためには、既知の類似するウィンドウの組を生成するために、ゴーストを引き起こす領域が存在しない同じ風景であって、異なる露出度で撮影された画像の組が使用される。また、既知の非類似であるウィンドウのペアを生成するために、再度異なる露出度で撮影された異なる風景を撮影した画像の組が使用される。そして、類似の組および非類似の組の両方について、ウィンドウの組のセットのために、ＮＣＣの値のセットが計算される（ステップＳ５２）。実施する上では、ステップＳ５１において区別される画像ウィンドウの組を実際に生成することは必要とはされない。例えば、複数の小さなウィンドウの組（例えば、１１×１１ピクセル）が、大きなサイズの画像（例えば、１０００×７５０ピクセル）中の一つの組から、動くウィンドウを用いて生成されてもよい。

閾値は、修正値を最大化するように選択される。すなわち、閾値を用いた時に、ウィンドウの組を類似または非類似と区別するような修正具合を計測するスコア値である（ステップＳ５３）。一つの具体例として、修正スコアＦ２は、式５で表現される。

ここで、

はそれぞれ、閾値θを用いた分類に関しての、適合率（陽性適中率と呼ばれることもある）および再現率（敏感さとしても知られる）を表す。ｒ（θ）は、正確に非類似であると分類されたピクセルの比であって、ｐ（θ）は、非類似であると分類されており、なおかつ真に非類似であるようなピクセルの比である。適合率および再現率についての定義は、http://en.wikipedia.org/wiki/Precision_and_recallにおいて一般的に議論されている。式５において、修正値を最小化する閾値θ^＊は、以下のように選択される。

最適化プロセスは、類似および非類似のウィンドウの組のすべてのＮＣＣの値を系統的に調査することによって実行される。それゆえ、θ^＊はデータを訓練データにおいて、グローバルな最適化値である。

図７は、類似する画像の組および非類似の画像の組を用いて、サイズが４１×４１ピクセルのウィンドウにおける類似および非類似ピクセルのＮＣＣ値の分布を示す。ＮＣＣ値が負の場合はここでは示していない。ここにおいて、ＮＣＣ＝０．７５におけるマークは、この例示的な分布にとってＦ２スコアを最大化するθ^＊を示している。

上記のプロセスは、それぞれの画像サイズを示す値ｓおよび画像種ｔについて実行され、ｓ，ｔに特有の閾値θ_ｓ，ｔが獲得される。以下の表１は、本願発明の特徴的な実施例として、様々なウィンドウサイズおよび画像種について閾値を示したものである。

もちろん、これらは一つの例示に過ぎず、他の最適値が用いられる場合もある。

異なる種類の風景（砂浜、屋内等）に特有の閾値は、異なる種類の風景の訓練画像を使用することによって得ることができる。

要約すれば、本願発明のゴーストアーティファクト検出およびこれらの除去方法は、検出結果を強調するために複数のウィンドウサイズを用いる。加えて、検出結果を向上するために、白黒、カラーといった異なる画像種を結合する個々の整合マップが一つの統合されたマップへと結合された場合、個々の整合マップにおいて非類似の領域を特定するために使用される閾値は、ウィンドウサイズおよび画像種に特有のものである。閾値は、特に風景の種類に依存する。

さらに、相互整合関数が失敗する領域、すなわち、比較的均一な強度をもつ領域においては、非整合的画像の整合性を決定するために別の技術が使用される。

本願発明における、ゴーストアーティファクト検出および除去方法における他の側面によれば、参照画像、すなわちゴーストを検出するために他の画像と比較するための画像を抽出する必要がない。

前述した一つの好ましい具体例として、ＮＣＣマップを計算するために固定された大きさの画像を処理するために異なる大きさのウィンドウが使用される。しかしながら、本願発明はこの実施態様に限定されない。ある特定サイズのウィンドウは異なる大きさの画像に適用可能であり、異なる大きさの画像は原画像に対して、異なるダウンサンプリング要素を適用することで手に入れられるからである。換言すれば、本願において、「異なるウィンドウの大きさ」という言葉は、画像に対してウィンドウの大きさが異なるという意味で使用されている。

本願において記載されているゴーストアーティファクト除去方法は、図８Ａで示されている、コンピュータ１２０といったデータ処理装置システムにおいて実行可能である。コンピュータ１２０は、プロセッサー１２１，ストレージデバイス１２２、内部メモリー１２３から構成される。ストレージデバイス１２２はＲＡＭ１２３へと読み込まれるソフトウェアプログラムを内蔵し、プロセッサー１２１によってこの方法が実行される。

この方法は、デジタルカメラ内部といった物理的に組み込まれた回路内部においても実現される。図８Ｂはデジタルカメラ１３０を図示したものであって、デジタルカメラはプロセッサー１３１、ストレージデバイス１３２、および内部メモリー１３３、画像を得るためのイメージングセクション１３４、カメラの種々の機能を制御するための制御セクション１３５からなる。制御セクション１３５は異なる露出度で撮影された画像セットを自動的にバケットする。プロセッサー１３１は、ＨＤＲ画像を生成するための、前述したアルゴリズムを用いて画像セットを処理する。

一側面によれば、本発明は、デジタルカメラのデータ処理部のようなデータ処理機器として具現化される。他の側面によれば、本発明は、データ処理機器を制御するために組み込まれたコンピュータ読み取り可能プログラムを有するコンピュータ利用可能な非一時的媒体として具現化されるコンピュータプログラムである。また他の側面によれば、本発明は、データ処理機器によって実行される方法である。

本願発明の精神または範囲から逸脱することなく、ゴーストアーティファクト検出および除去に関する方法および本願に関する機器に関して、多彩な改良およびバリエーションがなされうる。したがって、本願は該改良およびバリエーションを含意するものであって、そのようなものは特許請求の範囲およびこれに均等な範囲の範疇に含まれる。

Claims

異なる露出度を有する複数の画像セットからハイダイナミックレンジ（ＨＤＲ）画像を生成する方法であって、
画像セットの各画像の組に対して、
（ａ）各画像の組に対する複数の個別の整合マップを生成するステップと、ここで、個々の整合マップは、ウィンドウサイズを有し画像の組中にそれぞれ位置する動くウィンドウの組間の整合関数を計算することによって生成され、複数の個別の整合マップは、複数の異なるウィンドウサイズを用いて生成され、
（ｂ）前記画像の組のために、結合された整合マップを生成するために、複数の個別の整合マップを結合するステップと、
（ｃ）前記結合された整合マップを二値化して、前記画像の組のために、最終的な整合マップを生成するステップと、ここで、前記最終的な整合マップ内の各ピクセルは、対応する位置において前記画像の組が整合するか否かを示すピクセル値を有し、
（ｄ）前記画像の組の各画像について、複数の前記最終的な整合マップに基づき、ゴースト重みマップを生成するステップと、ここで、前記ゴースト重みマップ中の各ピクセルは、ゴーストを引き起こす画像に対応する位置における画像ピクセルである見込みを示すピクセル値を有し、
（ｅ）前記画像セットおよび対応するゴースト重みマップを用いて、ＨＤＲ画像を生成するステップと、
を有する方法。
前記ステップ（ａ）において、個々の整合マップは、カラー画像の組及び白黒画像の組を生成するための個々の整合マップを含む請求項１記載の方法。
前記ステップ（ａ）において、
前記整合関数が、
で表される規格化された相互整合関数で定義される請求項１または２に記載の方法。
前記ステップ（ａ）において、すべての画像およびすべての個々の整合マップは特定の大きさを有しており、
個々の各整合マップのために、前記ステップ（ａ）は、
（ａ１）前記画像の線形次元をＬおよびＣ、動くウィンドウの線形次元をｌおよびｃとして、（Ｌ−ｌ＋１）×（Ｃ−ｃ＋１）ピクセルの中心領域に位置する各ピクセルについて、当該ピクセルを中心とする線形次元ｌおよびｃの動くウィンドウの組を用いて、整合関数を計算するステップと、
（ａ２）前記個々の整合マップにおいて前記中心領域の外の境界領域に位置する各ピクセルについて、前記画像中に位置するピクセルを中心とする線形次元ｌおよびｃの動くウィンドウの一部である不完全な動くウィンドウの組を用いて、整合関数を計算するステップと、
をさらに含む請求項１〜３のいずれか１項に記載の方法。
前記ステップ（ａ）において、すべての画像およびすべての個々の整合マップは等しい大きさを有しており、
個々の各整合マップのために、前記ステップ（ａ）は、
（ａ１）前記画像の線形次元をＬおよびＣ、動くウィンドウの線形次元をｌおよびｃとして、（Ｌ−ｌ＋１）×（Ｃ−ｃ＋１）ピクセルの中心領域に位置する各ピクセルについて、当該ピクセルを中心とする線形次元ｌおよびｃの動くウィンドウの組を用いて、整合関数を計算するステップと、
（ａ２）記個々の整合マップにおいて前記中心領域の外の境界領域に非類似を表すピクセル値を代入して、代入マップを生成するステップと、
（ａ３）ブラーカーネルを用いて前記代入マップをフィルタリングし、フィルタリングされたマップを生成するステップと、
（ａ４）前記フィルタリングされたマップを正規化するステップと、
をさらに有する請求項１〜４のいずれか１項に記載の方法。
前記ステップ（ａ）において、動くウィンドウの組の間の整合関数は、
各動くウィンドウが均一か均一でないかを決定するステップと、
動くウィンドウが両方均一である場合、整合関数を類似を示す値にセットし、
動くウィンドウの１つが均一であって、もう一方が均一でない場合は、整合関数を非類似を示す値にセットし、
動くウィンドウが両方均一でない場合、動くウィンドウの組の規格化された相互相関値を整合関数として計算するステップと、
によって計算される請求項１〜５のいずれか１項に記載の方法。
前記ステップ（ｂ）は、
（ｂ１）予め決定された閾値を用いて、個々の整合マップを二値化して、複数の二値化された個々の整合マップを生成するステップと、
（ｂ２）複数の二値化された個々の整合関数を平均化して、結合された整合マップを生成するステップと、
をさらに含む請求項１〜６のいずれか１項に記載の方法。
前記ステップ（ｂ１）において、前記予め決定された閾値は、異なる個々の整合マップにより異なり、機械学習方法および訓練画像のセットを用いて生成される請求項７記載の方法。
前記ステップ（ｃ）の後であって、前記ステップ（ｄ）の前に、さらに、
前記画像の組において対応するピクセルのピクセル値の比較および前記画像の組の全部の露出度の比較に基づいて、前記画像の組のための最終的な整合マップを修正するステップを含む請求項１〜８のいずれか１項に記載の方法。
前記画像のセットは、３枚の画像からなり、前記ステップ（ｄ）において、ゴースト重みマップは、
請求項１〜９のいずれか１項に記載の方法。
各画像のために、前記ステップ（ｄ）は、
（ｄ１）複数の最終的な整合マップに基づいて、各ピクセルにゴーストを引き起こす、またはゴーストを引き起こさないことを示す値を有する、二値化されたゴースト重みマップを生成するステップと、
（ｄ２）対応する画像中において、露出アンダーまたは露出オーバーのピクセルのために、前記二値化されたゴースト重みマップを修正するステップと、
（ｄ３）すべてのゴースト重みマップにおいて、ゴーストを引き起こすことを示す値を持つピクセルのために、二値化されたゴースト重みマップを修正するステップと、
（ｄ４）前記二値化されたゴースト重みマップをぼやかして、各ピクセルにゴーストを引き起こす可能性を示すピクセル値を有し、連続的な値を持つゴースト重みマップを生成するステップと、
をさらに含む請求項１〜１０のいずれか１項に記載の方法。
異なる露出度を有する複数の画像セットからハイダイナミックレンジ（ＨＤＲ）画像を生成する処理をデータ処理装置に実行させるために、当該データ処理装置を制御するためのコンピュータプログラムであって、前記処理は、
画像セットの各画像の組に対して、
（ａ）各画像の組に対する複数の個別の整合マップを生成するステップと、ここで、個々の整合マップは、ウィンドウサイズを有し画像の組中にそれぞれ位置する動くウィンドウの組間の整合関数を計算することによって生成され、複数の個別の整合マップは、複数の異なるウィンドウサイズを用いて生成され、
（ｂ）前記画像の組のために、結合された整合マップを生成するために、複数の個別の整合マップを結合するステップと、
（ｃ）前記結合された整合マップを二値化して、前記画像の組のために、最終的な整合マップを生成するステップと、ここで、前記最終的な整合マップ内の各ピクセルは、対応する位置において前記画像の組が整合するか否かを示すピクセル値を有し、
（ｄ）前記画像の組の各画像について、複数の前記最終的な整合マップに基づき、ゴースト重みマップを生成するステップと、ここで、前記ゴースト重みマップ中の各ピクセルは、ゴーストを引き起こす画像に対応する位置における画像ピクセルである見込みを示すピクセル値を有し、
（ｅ）前記画像セットおよび対応するゴースト重みマップを用いて、ＨＤＲ画像を生成するステップと、
を有するプログラム。
前記ステップ（ａ）において、個々の整合マップは、カラー画像の組及び白黒画像の組を生成するための個々の整合マップを含む請求項１２に記載のプログラム。
前記ステップ（ａ）において、
前記整合関数が、
で表される規格化された相互整合関数で定義される請求項１２または１３に記載のプログラム。
前記ステップ（ａ）において、すべての画像およびすべての個々の整合マップは特定の大きさを有しており、
個々の各整合マップのために、前記ステップ（ａ）は、
（ａ１）前記画像の線形次元をＬおよびＣ、動くウィンドウの線形次元をｌおよびｃとして、（Ｌ−ｌ＋１）×（Ｃ−ｃ＋１）ピクセルの中心領域に位置する各ピクセルについて、当該ピクセルを中心とする線形次元ｌおよびｃの動くウィンドウの組を用いて、整合関数を計算するステップと、
（ａ２）前記個々の整合マップにおいて前記中心領域の外の境界領域に位置する各ピクセルについて、前記画像中に位置するピクセルを中心とする線形次元ｌおよびｃの動くウィンドウの一部である不完全な動くウィンドウの組を用いて、整合関数を計算するステップと、
をさらに含む請求項１２〜１４のいずれか１項に記載のプログラム。
前記ステップ（ａ）において、すべての画像およびすべての個々の整合マップは等しい大きさを有しており、
個々の各整合マップのために、前記ステップ（ａ）は、
（ａ１）前記画像の線形次元をＬおよびＣ、動くウィンドウの線形次元をｌおよびｃとして、（Ｌ−ｌ＋１）×（Ｃ−ｃ＋１）ピクセルの中心領域に位置する各ピクセルについて、当該ピクセルを中心とする線形次元ｌおよびｃの動くウィンドウの組を用いて、整合関数を計算するステップと、
（ａ２）記個々の整合マップにおいて前記中心領域の外の境界領域に非類似を表すピクセル値を代入して、代入マップを生成するステップと、
（ａ３）ブラーカーネルを用いて前記代入マップをフィルタリングし、フィルタリングされたマップを生成するステップと、
（ａ４）前記フィルタリングされたマップを正規化するステップと、
をさらに有する請求項１２〜１４のいずれか１項に記載のプログラム。
前記ステップ（ａ）において、動くウィンドウの組の間の整合関数は、
各動くウィンドウが均一か均一でないかを決定するステップと、
動くウィンドウが両方均一である場合、整合関数を類似を示す値にセットし、
動くウィンドウの１つが均一であって、もう一方が均一でない場合は、整合関数を非類似を示す値にセットし、
動くウィンドウが両方均一でない場合、動くウィンドウの組の規格化された相互相関値を整合関数として計算するステップと、
によって計算される請求項１２〜１６のいずれか１項に記載のプログラム。
前記ステップ（ｂ）は、
（ｂ１）予め決定された閾値を用いて、個々の整合マップを二値化して、複数の二値化された個々の整合マップを生成するステップと、
（ｂ２）複数の二値化された個々の整合関数を平均化して、結合された整合マップを生成するステップと、
をさらに含む請求項１２〜１７のいずれか１項に記載のプログラム。
前記ステップ（ｂ１）において、前記予め決定された閾値は、異なる個々の整合マップにより異なり、機械学習方法および訓練画像のセットを用いて生成される請求項１８に記載のプログラム。
前記ステップ（ｃ）の後であって、前記ステップ（ｄ）の前に、さらに、
前記画像の組において対応するピクセルのピクセル値の比較および前記画像の組の全部の露出度の比較に基づいて、前記画像の組のための最終的な整合マップを修正するステップを含む請求項１２〜１９のいずれか１項に記載のプログラム。
前記画像のセットは、３枚の画像からなり、前記ステップ（ｄ）において、ゴースト重みマップは、
請求項１２〜２０のいずれか１項に記載のプログラム。
各画像のために、前記ステップ（ｄ）は、
（ｄ１）複数の最終的な整合マップに基づいて、各ピクセルにゴーストを引き起こす、またはゴーストを引き起こさないことを示す値を有する、二値化されたゴースト重みマップを生成するステップと、
（ｄ２）対応する画像中において、露出アンダーまたは露出オーバーのピクセルのために、前記二値化されたゴースト重みマップを修正するステップと、
（ｄ３）すべてのゴースト重みマップにおいて、ゴーストを引き起こすことを示す値を持つピクセルのために、二値化されたゴースト重みマップを修正するステップと、
（ｄ４）前記二値化されたゴースト重みマップをぼやかして、各ピクセルにゴーストを引き起こす可能性を示すピクセル値を有し、連続的な値を持つゴースト重みマップを生成するステップと、
をさらに含む請求項１２〜２１のいずれか１項に記載のプログラム。
請求項１２〜２２のいずれか一項に記載のコンピュータプログラムを格納したコンピュータ利用可能な非一時的媒体を含むデジタルカメラであって、
画像を取得するための結像部と、
異なる露出度を有する画像セットを得るために、前記結像部を制御する制御部と、
を有するデジタルカメラ。