JP6103649B2 - 複数のレベルの中間閾値ビットマップを用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法 - Google Patents

Description

本願発明は、ハイダイナミックレンジ（ＨＤＲ）イメージングに関し、特にＨＤＲ画像の作成におけるゴーストアーティファクトの除去に関連する。

ハイダイナミックレンジ（ＨＤＲ）イメージングは、極めて幅広い明るさ（光度）の範囲を有している元画像を取り扱う画像処理およびデジタル写真に使用される技術である。例えば、昼間の屋外風景においては、青空や日の光に照らされた物体から影に隠れた物体、夜中の風景においては、ネオンライトや強く照らされた物体から、弱く照らされているにすぎない物体、室内の風景においては、明るい窓から、暗所にあるもの等を含みうる。これらの風景をデジタルカメラといった写真機器で撮影するには、一筋縄ではいかない。このように広範囲の光度を有している風景を十分に画像化するには、しばしば、現在入手可能なデジタルカメラのイメージセンサーのダイナミックレンジでは追いつかないことがある。風景の暗部をキャプチャーするのに十分な露出度としてしまうと、しばしば明るい部分は過度に露出されてしまい、白飛びしてしまう。逆に、明るい部分をキャプチャーするのに十分な露出度としてしまうと、しばしば暗部は黒く潰れてしまう。

ＨＤＲイメージング技術は、この問題を、複数の写真を様々な露出度で撮影して合成することで解決する。そして、ＨＤＲ画像を作成するためにデジタルに併合された写真は、それぞれ元の複数の画像の情報を保持しているため、暗部と明部の両方を十分に表現することが可能である。複数の画像からＨＤＲ画像を作成するという方法は一般的に知られている。その元の画像はしばしば、ロウダイナミックレンジ（ＬＤＲ）画像と称される（この用語はこれらの画像が低いダイナミックレンジを有していることを意味しないことに留意する）。

ＨＤＲ画像の生成時において、異なる画像（ブラケット）を次々と撮影しているときに、対象物が動いたり、現れたり、消えたりするとゴーストアーティファクトが現れることがある。例えば、三枚のブラケットを撮影している間、三枚目のブラケットを撮影している時のみに、風景に人が歩行して入ってくると、その三枚目のブラケットのせいで、ＨＤＲ画像は風景に半透明な人の姿を写しだしてしまう（これを、ゴーストと呼ぶ）。

ＨＤＲ画像に対するゴーストの効果をなるべく減らす、もしくは完全に除去した上で画像処理するために、複数の画像の中からゴーストを引き起こす対象を識別する方法が提案されてきた。これらの技術のいくつかは、調査報告、Ａ． Ｓｒｉｋａｎｔｈａ ａｎｄ Ｄ． Ｓｉｄｉｂe， Ｇｈｏｓｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｅｍｏｖａｌ ｆｏｒ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｅｓ： Ｒｅｃｅｎｔ Ａｄｖａｎｃｅｓ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ： ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， ２７（６）， ｐｐ． ６５０−６６２， ２０１２において説明されている。

ＨＤＲ画像を生成するためのもとのＬＤＲ画像中からトランスレーションシフトを探し当てるという点において、中間閾値ビットマップ（ＭＴＢ）が効果的であるということが証明されている。トランスレーションシフトとは、複数のＬＤＲ画像を撮影している間に、カメラの位置がずれることによって、結果として風景に生じてしまうずれのことをいう。ＭＴＢを用いた画像調整方法は、Ｇｅｒｇ Ｗａｒｄ著“Ｆａｓｔ，Ｒｏｂｕｓｔ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ｆｏｒ Ｃｏｍｐｏｓｉｔｉｎｇ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｐｈｏｔｏｇｒａｐｈｓ ｆｒｏｍＨａｎｄｈｅｌｄ Ｅｘｐｏｓｕｒｅｓ”，Ｊｏｕｒｎａｌ ｏｆ Ｇｒａｐｈｉｃｓ Ｔｏｏｌｓ，Ｖｏｌ．８（２），ｐｐ１７−３０，２００３（“Ｗａｒｄ ２００３”）において説明されている。また、ＭＴＢ手法は、ゴースト探知にも応用できることがＦ．Ｐｅｃｅ ａｎｄ Ｊ．Ｋａｕｔｚ著、”Ｂｉｔｍａｐ Ｍｏｖｅｍｅｎｔ Ｄｅｔｅｃｔｉｏｎ： ＨＤＲ ｆｏｒ Ｄｙｎａｍｉｃｓ Ｓｃｅｎｅｓ，”ｉｎ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ Ｖｉｓｕａｌ Ｍｅｄｉａ Ｐｒｏｄｕｃｔｉｏｎ（ＣＶＭＰ），２０１０，ｐｐ．１−８（“Ｐｅｃｅ ａｎｄ Ｋａｕｔｚ２０１０”）においても示されている。

上記、Ｗａｒｄ ２００３の文献において説明されているトランスレーションシフトの探知手法は、１レベル（二値）の中間閾値ビットマップ（ＭＴＢ）のみを使用している。また、Ｐｅｃｅ ａｎｄ Ｋａｕｔｚ ２０１０において説明されているゴースト探知手法も、ただ１レベル（二値）のＭＴＢのみを使用している。１レベルのＭＴＢを用いることは、ゴーストピクセルを全ての数探しだすのには不十分である。換言すれば、当該手法ではゴーストピクセルが見つからずに残存するという結果になる。

したがって、本願発明は、複数レベルの中間閾値ビットマップを用いて、ＨＤＲ画像生成のためにゴースト探知のための改善した手法および関連する機器を対象とする。

本願発明の目的は、極めて多彩な光度で撮影された様々なシーンにおいて、正確かつ手堅くゴーストピクセルを探し当てる探索手段を提供することである。

本願発明のさらなる特徴および利点は、後述する発明の詳細な説明によって理解され、発明の実施態様の説明においても理解されるであろう。本願発明の目的および他の利点は、発明の詳細および特許請求の範囲と同様に、添付した図面によって示された構造によって理解、達成されるであろう。

具体化され、広く説明されているように、これらの、および／または他の目的を達成するために、本願発明の具体的実施態様によれば、本願発明は異なる露出度で撮影されたＭ枚の画像から、ＨＤＲ画像を生成する手段を提供し、それは以下のステップを含む。（ａ）Ｍ枚の画像のセット中の、各画像ｍ（ｍ＝１，２，・・・Ｍ）について、Ｎ個のレベルｎ（ｎ＝１，２，・・・Ｎ（Ｎは最高のレベルを指す））の中央閾値ビットマップ（ＭＴＢ）を生成するステップと、ここで、グレースケール画像である各レベルｎのＭＴＢは、前記画像ｍと同じ大きさおよび同じ２^ｎのグレーレベルを有しており、前記画像ｍの各画像ピクセルのピクセル値を２^ｎのグレーレベルにマッピングすることによって、画像ｍから生成され、また、ここで、前記ピクセル値のマッピングは、重ならない２^ｎ個の範囲に入るピクセル値をグレーレベルにマッピングすることであり、さらに、ここで、前記２^ｎ個の範囲は、集合的に前記画像ｍの合計のピクセル値の範囲に広がり、前記画像ｍとほとんど同じ数のピクセルがそれぞれグレーレベルにマッピングされ、（ｂ）各レベルｎについて、Ｍ枚の画像に対応するＭ枚のレベルｎのＭＴＢを比較し、レベルｎのゴーストマップを各画像ｍに生成するステップと、ここで、各レベルｎのゴーストマップは、対応する画像ｍのサイズと等しいサイズを有する二値マップであり、対応する画像の対応するピクセルがゴーストか否かを示すピクセル値を有し、（ｃ）それぞれの画像ｍについて、ピクセル幅ＯＲを用いるＮ枚のレベルｎのゴーストマップを結合して、結合されたゴーストマップを生成するステップと、ここで、前記結合されたゴーストマップは、前記画像ｍの対応するピクセルがゴーストか否かを示すピクセル値を有し、（ｄ）Ｍ枚の画像セットおよび対応する結合されたゴーストマップを用いてＨＤＲ画像を生成するステップ。

本願発明の他の側面によれば、上記の方法を達成するためのコンピュータプログラムおよびコンピュータプログラムが内蔵されているデータ処理装置を制御するために具備された装置や、コンピュータプログラムが内蔵されたデータ処理装置メモリーやストレージ装置といった、非一時的な媒体からなる計算装置からなるコンピュータプログラム製品を提供する。

他の方法において、本願は、コンピュータプログラムを実行可能なデジタルカメラであって、画像を得るための結像部、異なる露出度で撮影された画像セットを得るための結像部を制御するための制御部を有するデジタルカメラを提供する。

前述した内容および後述する発明の内容はともに例示的、説明的なものであって、特許請求の範囲に記載されている発明の更なる理解をより促進させるためのものであるということを理解しなければならない。

図１は、本願発明の実施態様による、ゴーストアーティファクトの探知および除去を実行しつつ、複数のＬＤＲ画像を用いてＨＤＲ画像を生成する方法を概略的に示した図である。 図２は、複数レベルの中間閾値ビットマッピング処理を行っている際に、ピクセル値の範囲を様々な範囲へと分割する工程を概略的に示した図である。 図３は、本願発明の実施態様による、ゴーストアーティファクトの探知および除去を実行しつつ、複数のＬＤＲ画像を用いてＨＤＲ画像を生成する手法を概略的に示した図である。 図４Ａおよび図４Ｂは、データ処理機器およびカメラであって、その内部において本願発明が実行されるものをそれぞれ概略的に示したものである。

本願発明の実施態様においては、複数レベルの中間閾値ビットマップス（ＭＴＢｓ）を用いて、ＨＤＲ画像生成のための複数のＭ枚からなる画像セットのそれぞれについて、ゴーストピクセルの位置を示すゴーストマップを生成する。前記ゴーストマップは、ＨＤＲ画像生成に使用される。

本願において説明される手法は、画像中の色彩チャンネルそれぞれに対して個別に適用される。画像の色彩は、ＲＢＧ値や、ＹＣｒＣｂ値などで表現される。グレースケール画像は、画像を単一色彩チャンネルで捉えたものである。それぞれの色彩チャンネルは、以下の説明中の画像として言及される。ゴースト検出手法が適用されるＭ枚の画像セットは、Ｍ枚の赤チャンネル画像のセットでありうるし、Ｍ枚の緑チャンネル画像のセットでありうるし、Ｍ枚のグレースケール画像のセット等でありうる。

ある画像の１レベルの中間閾値ビットマップ（ＭＴＢ）は、画像の中間ピクセル値を計算し、中間値を二値閾値として用いることで、画像を二値化し、二値画像とすることで生成される。ＨＤＲ生成のために使用される複数の画像セットにとって、露出度が異なっていたとしても、異なる画像に関する１レベルのＭＴＢは非常に似通っている。なぜならば、それぞれの１レベルのＭＴＢにおいて、露出度に無関係に、半分のピクセルは白で、もう半分は黒だからである。したがって、これらのＭＴＢは、Ｗａｒｄ ２００３に記述されているように、トランスレーションシフトを探知するのに使用され得るし、Ｐｅｃｅ ａｎｄ Ｋａｕｔｚ ２０１０に記述されるように、ゴーストを探知するのに使用される。

本願発明の実施形態によれば、ゴースト探知の精度を向上するために、それぞれの画像について複数レベルのＭＴＢが生成される。図１で示されているように、画像についての複数レベルのＭＴＢを生成する方法は、レベル１のＭＴＢを生成することから始まる。まず、レベル１の中間ピクセル値であって、画像中の全てのピクセルの中央ピクセル値が計算される（ステップＳ１１）。この値は、レベル１の中央閾値と称される。結果として、全てのピクセル値の値はレベル１の中央閾値によって２つに分けられ、それぞれの範囲にほとんど同じ数の画像ピクセルが入る。ただし、ピクセル値の分布のため、２つのそれぞれの範囲に入った画像ピクセルの数は、完全には同数ではないことに留意しなければならない。中央閾値は、２つの領域に振り分けられた画像ピクセルの数ができるだけ近づくためのものである。ここで使用されている「ほとんど同じ」という文言は、明細書およびクレームにおいても同様に解釈せねばならない。

結果は、図２（ｂ）に概略的に示されている。ここにおいて、Ｔ１はレベル１の中間閾値であり、これは全てのピクセル値の範囲（最小値から最大値まで、例えば０〜２５５）を、２つの記号「０」、「１」でそれぞれ指し示される２つの範囲に分割する。この２つの範囲は、レベル１のピクセル値の範囲と呼称され得る。図２（ａ）は、全てにわたるピクセル値の範囲それ自体を示している。

画像中のそれぞれのピクセルは、ピクセル値がいずれのピクセル値範囲に入るかに従って、第１ラベルもしくは第２ラベル（２つのレベル１のラベルと呼称する）のいずれかにラベリングされる（ステップＳ１２）。例えば、第１ラベルおよび第２ラベルは、それぞれ、レベル１の中央閾値を下回るピクセルのための０、上回るピクセルのための１とすることができる。その結果物たるレベル１のＭＴＢは、原画像自身と同じ大きさを有しており、それぞれのピクセルは、レベル１のラベルの値を有している。レベル１のＭＴＢは、記憶される。

同じレベル１のラベル（すなわち、０および１）でラベル付けされた全てのピクセルに対して、次のレベルのためにステップＳ１１とＳ１２が繰り返される。図２（ｃ）で示すように、２つの、レベル２の中央ピクセル値（レベル２の中間閾値）Ｔ２１，Ｔ２２は、ステップＳ１１を繰り返すことによって見つけられる（見出される）。第１レベル２の中間閾値Ｔ２１は、第１のレベル１のラベルで０とラベリングされた全てのピクセルの中間ピクセル値である。また、第２のレベル２中間閾値Ｔ２２は、第１のレベル１のラベルで１とラベリングされた全てのピクセルの中間ピクセル値である。図２（ｃ）に示すように、それぞれの先のピクセル値の範囲は、レベル２の中間閾値によってさらに２つの範囲に分けられ、そして全てのピクセル値は４つの範囲に分割され、それぞれ、“００”，“０１”，“１０”，“１１”という記号によって指示される。４つの範囲に入ったピクセル値をもつ画像ピクセルはそれぞれラベル付けされる（４つのレベル２ラベルと呼ばれる）（ステップＳ１２）。各範囲には、ほとんど同じ数の画像ピクセルが入る。その結果物がレベル２のＭＴＢであって、それぞれのピクセルはレベル２のラベリングをされた値を有している。レベル２のＭＴＢは保存される。

そして、ステップＳ１１およびステップＳ１２の２度目の反復の後、同じレベル２のラベルでラベル付けされた全てのピクセルについて、ステップＳ１１およびステップＳ１２が３度目繰り返される。結果として、４つのレベル３の中央ピクセル値（レベル３の中央閾値）Ｔ３１からＴ３４が見つけられる。それぞれの以前のピクセル値の範囲は、レベル３の中央閾値によって、さらに２つの範囲に分けられ、全てのピクセル範囲は、図２（ｄ）に“０００”から”１１１“という記号で示される８つの範囲に分割される。これらの範囲に入るピクセル値を有している画像ピクセルはそれぞれラベル付けされる（８つのレベル３のラベルと呼称される）（ステプＳ１２）。ほとんど同じ数の画像ピクセルが各範囲に入る。そして、その結果がレベル３のＭＴＢとして保存される。

より一般的に述べると、レベルｎについて、ステップＳ１１は、既に計算されているレベル（ｎ−１）のＭＴＢを用い、レベルｎの中央ピクセル値を計算する（レベルｎの中央閾値に関して、これは、２^ｎ−１個の閾値を有している）、そして、それぞれのピクセル値の範囲は、レベルｎの中央閾値によってさらに２つに分けられる。その結果、全てのピクセル値の範囲は、（最小値から最大値まで）、レベル１からレベルｎの中央閾値によって、２^ｎ個のレベルｎのピクセル値の範囲（レベルｎの範囲）に分けられる。各範囲には、ほとんど同じ数のピクセルが入る。ステップＳ１２は、レベルｎのＭＴＢを取得するために、どのレベルｎのピクセル値の範囲に入るかに従って、各画像ピクセルを、２^ｎ個のラベルの一つにラベリングするステップを含む。そして、レベルｎのＭＴＢが保存される。

レベルｎのＭＴＢは、複数レベルの閾値が適用された画像であって、２^ｎのグレーレベルを有しており、図２（ｂ）から図２（ｄ）までに概略的に図示されている。より一般的に定義すると、レベルｎのＭＴＢは、２^ｎのグレーレベルを有するグレースケール画像であって、原画像の各ピクセルのピクセル値をグレーレベルの一つにマッピングすることによって、ＭＴＢと同じ大きさを有している原画像から生成される。ここで、ピクセル値マッピングは、各２^ｎの重ならない範囲に入るピクセル値をグレーレベルにマッピングし、２^ｎの範囲は、集合的に原画像の合計のピクセル値の範囲に広がり、原画像とほとんど同じ数のピクセルがそれぞれグレーレベルにマッピングされる。

図２（ｂ）から図２（ｄ）に例として示されているが、ピクセル値のマッピングが単調な関数であるとき、すなわち、ピクセル値が大きくなるほど、グレーレベル値が大きくなるとき、結果物のＭＴＢは原画像と視覚的によく似ているということに留意する。しかしながら、単調な関数は、マッピングに必ずしも必要というわけではない。すなわち、マッピングが単調でないときであっても、全ての画像について同じマッピングオーダーが使用される限りにおいて、ゴースト探知手法は機能するということである。

それぞれのレベルｎについて、レベルｎ除外マップが、同様に画像について生成される（ステップＳ１３）。除外マップは、原画像と同じ大きさを有する二値マップである。画像内のピクセルの値がレベル１からレベルｎのいずれの中央閾値の両側に予め定められているマージンｖの範囲内である場合、各ピクセルは除外を示す一つの値（例えば、０または黒値）が割り当てれ、他の場合は、非除外を示す値（たとえば、１または白値）が割り当てられる。例えば、図２（ｄ）で示されているレベル３について、ピクセル値が、Ｔ３１，Ｔ２１、Ｔ３２，Ｔ１、Ｔ３３，Ｔ２２、およびＴ３４を含むそれぞれの閾値Ｔについて、マージン［Ｔ−ｖ，Ｔ＋ｖ］の範囲内にあった場合、除外マップ内にあるピクセルには、除外値０が割り振られる。除外マップの目的は後で説明する。

このプロセス（ステップＳ１１からＳ１３）は、それぞれの画像ｍ（ｍ＝１，２、・・・Ｍ）について実行される（ステップＳ１４）。

そして、レベルｎのＭＴＢおよびレベルｎの除外マップが、ステップＳ１５，Ｓ１６，Ｓ１９およびＳ２０において示されているように、画像セット中のゴーストを検出するために使用される。

ゴースト検出は、画像の露出度の違いにも関わらず画像にゴーストがない場合、全てのＭ個の画像に対するレベルｎのＭＴＢがほとんど同じであるという原則に基づく。したがって、Ｍ枚の画像セットの同一レベルのＭＴＢを比較し、それらの中からいかなる相違を発見することよって、ゴースト検出を行う。

それぞれのレベルｎについて、画像ｍ（ｍ＝１，２，・・・Ｍ）のレベルｎのゴーストマップは、ゴーストを示す第１の値またはゴーストでないことを示す第２の値をゴーストマップの各ピクセルに割り当てることよって生成される（ステップＳ１５）。（１）画像ｍのレベルｎのＭＴＢ内のピクセルが、多数の他の画像のレベルｎのＭＴＢ内の対応する同じピクセルとは異なり（後でさらに議論する）、（２）対応するレベルｎの画像の非除外マップ内の対応するピクセルが非除外を示すピクセル値（例えば、１または白値）を有する場合、当該ピクセルは、ゴーストを示す第１の値が割り当てられる。その他の場合は、ピクセルは、ゴーストでないことを示す第２の値が割り当てられる。当該ゴーストマップは、原画像と同じ大きさを有する二値マップである。

Ｍ枚の画像セットを通じて、レベルｎのＭＴＢｓ内のピクセルを比較すると（上記の条件（１））、多数派のＭＴＢｓは、特定のピクセル位置においてゴーストを有さず、それゆえ、同じまたは同様のピクセル値を有すると予想される。この予想は、どの画像ｍが特定のピクセル位置においてゴーストピクセルを有しているかを決定するのに使用される。もしくは、ＭＴＢの大多数が特定のピクセル位置において相互に整合的なピクセル値を有しているため、その位置においてはゴーストを有しておらず、そうでないＭＴＢはゴーストを有していると考えられる。もし、多数のＭＴＢが存在しない場合（例えば、Ｍ＝３の画像の集まりであり、３枚のＭＴＢとも異なる場合）、どのＭＴＢがゴーストを有していないかは定義の問題へ帰着する。

除外マップの使用（上記の条件（２））は、ＭＴＢ内の中央閾値をまたぐ両側において急激な転調が生じる場合に望ましい。中央閾値の周りのマージン［Ｔ−ｖ，Ｔ＋ｖ］の範囲内において、原画像のピクセル値において小さい変化があれば、そのピクセルに異なるラベルが割り振られてしまう結果となり、すなわち、ＭＴＢにおいて異なるグレーレベルの結果となる。そのような急激な転調は、ＭＴＢ比較ステップ（上記の条件（１））において、ゴーストピクセルを過剰に検出してしまう結果となりうる。除外マップを使用することによって（上記の条件（２））、これらの過剰に検出されたゴーストピクセルは、必要があれば、ゴーストマップから削除されうる。この実施形態において、（すなわち、上記のステップＳ１５における条件（２））、当該除外マップにおける除外されたピクセルは、ゴーストマップによって除外される。すなわち、それらはゴーストと指定されない。他の実施形態においては、ゴーストマップを計算するときに除外マップにおいて除外されたピクセルに対して、別の取り扱いが適用され得る。すなわち、条件（２）は、上述したものと異なるかもしれない。事実、除外マージン領域内にあるピクセルは、ゴーストとなる可能性を有している。これらのピクセルは、高度な検出性能と、低い失敗率（失敗とは、ゴーストでないものをゴーストとしてしまうこと）をうまくバランスしながら取り扱わねばならない。

その他の実施形態において、除外マップは使用されないことがある。換言すれば、ステップＳ１３は省略され、ステップＳ１５においては条件（１）のみが考慮され、条件（２）は考慮されないということである。

一つの実施態様として、ｖの値として、ｖ＝４が採用される。他の実施態様においては、異なるレベルに対して、ｖは異なる値とすることができる。一般的に、高いレベルに対応するｖ値は、低いレベルのものよりも小さくある必要がある。

選択的に、それぞれのゴーストマップにおいては、孤立したノイズを取り除くプロセスをたどる（ステップＳ１６）。このプロセスは、形態的な浸食と膨張（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｅｒｏｓｉｏｎ ａｎｄ ｄｉｌａｔｉｏｎ）といった手法を用いて遂行され得る。

ステップＳ１５およびＳ１６がＭ枚の画像全てについて遂行される（ステップＳ１７）。その結果として、レベルｎのゴーストマップが、それぞれの画像ｍについて生成される。

ステップＳ１１からＳ１７は複数回繰り返（反復）される。例えば、Ｎ＝４回（ステップＳ１８）などである。反復回数Ｎは予め決定され得るし、その都度決定させてもよい。ここで、Ｍ枚の画像セットのそれぞれについて、反復は同数実行されなければならないということに留意する。

結果として、それぞれの画像ｍ、Ｎ枚のゴーストマップのセット、すなわち、レベル１からレベルＮのゴーストマップが生成される。これらのゴーストマップはピクセル幅ＯＲを用いて、画像ｍについての結合されたゴーストマップを生成するために結合される（ステップＳ１９）。

ＨＤＲ画像は、Ｍ枚の原画像およびこれに対応するＭ枚の結合されたゴーストマップを用いて生成される。それぞれの画像におけるそれぞれのピクセルの、ＨＤＲ画像への貢献度は、ゴーストマップにおける値に依存する。例えば、画像中のピクセルは、もし、結合されたゴーストマップ中における対応するピクセルがゴーストを示していた場合、当該ピクセルはＨＤＲ画像生成には貢献しない。

選択的に、Ｍ枚のすべての画像についての結合されたゴーストマップを、さらに結合させて、グローバルなゴーストマップが生成され得る（ステップＳ２０）。当該グローバルなゴーストマップは選択された参照画像におけるピクセル値を用いて、探知された全てのゴーストピクセル（Ｍ枚の画像中における全てのゴーストの集合）を満たす必要がある時に使用される。当該グローバルなゴーストマップは、風景内のどこにゴーストがあるかを視覚化するという働きをする。

最後に、ＬＤＲ画像およびこれらに対応する結合されたゴーストマップが、ＨＤＲ画像を生成するために使用される（ステップＳ２１）。このゴーストマップは、ＨＤＲ画像生成処理中に、ゴーストピクセルを捨てるか否かを決定するために使用される。ＬＤＲ画像を用いたＨＤＲ画像生成処理は、どのようにしてゴーストマップからゴーストピクセルを捨てるかを含んでおり、この手法は一般的に知られている。ステップＳ２１においては、任意の適切なアルゴリズムが使用される。例えば、一つの実施態様においては、Ｍ枚の画像それぞれについて、結合されたゴーストマップにおいてゴーストであるとみなされたピクセルが排除され、それらの、ＨＤＲ画像に対する貢献をゼロとすることができる。

ステップＳ１１に先立って、ＬＤＲ画像は事前処理され得る（図１には図示せず）。一つの事前処理には、ガウシアンブラー手法といった、画像をぼかす処理が含まれる。

先述した通り、反復回数Ｎは事前に決定されているか、自在に決定され得る。ひとつの実施態様としては、反復回数Ｎは、４と事前決定される。一つの実施例としては、反復回数Ｎは以下で述べる方法で自在に決定される（図３を参照）。

それぞれのレベルｎに対して、レベルｎの中央閾値がそれぞれのＭ枚の画像について計算される（ステップＳ３１）。このステップは、図１のステップＳ１１と類似しているので、詳細は省略する。そして、新しく計算された、任意の画像の中央閾値が、当該画像の前のレベルの中央閾値と同じであるか否かを決定する（ステップＳ３２）。この条件は、ピクセル値の範囲が十分に小さく、それゆえさらに分割不能であるときに真とされる。もしこの条件が真であれば、（ステップＳ３３における“Ｙ”）この反復（ステップＳ３４からＳ３６）の残りのステップはどの画像においても実行されない。仮にこの条件が偽（ステップＳ３３における“Ｎ”）であれば、ステップＳ３４からＳ３６までがＭ枚の画像それぞれについて、当該レベルにおいて実行される。すなわち、レベルｎのＭＴＢが生成される（ステップＳ３４）、そして、レベルｎの除外マップが生成され（ステップＳ３５），レベルｎのゴーストマップが生成され（ステップＳ３６）、そして選択的に（図３には示されていないが）、ゴーストマップにおけるノイズが除去される。これらのステップは図１におけるＳ１２，Ｓ１３，Ｓ１５，Ｓ１６のステップと類似しているので、ここでは詳細は省略する。そして、ステップＳ３１は次のレベルについて繰り返される（ステップＳ３７）。

もしステップＳ３３において条件が真（ステップＳ３３における“Ｙ”）ならば、反復Ｎの最も高いレベルは、現在のレベルの前のレベルとなる。すなわち、Ｎ＝ｎ−１でとなる（ステップＳ３８）。そして、それぞれの画像について、レベル１からレベルＮまでのゴーストマップが結合され、結合されたゴーストマップが生成される（ステップＳ３９）。そして、これがＨＤＲ画像生成に使用される（ステップＳ４０）。ステップＳ３９およびステップＳ４０は図１におけるステップＳ１９およびＳ２１と類似しているので、詳細は省略する。

ここで述べられているゴーストアーティファクト除去手法は、図４Ａで示されているコンピュータ１２０のような、データ処理システムにおいても実行される。コンピュータ１２０は、プロセッサー１２１，ストレージデバイス（例えば、ハードディスクドライブ）１２２、および内部メモリー（例えば、ＲＡＭ）１２３からなる。ストレージデバイス１２２はソフトウェアプログラムを有しており、ＲＡＭ１２３にデータを読み込ませ、プロセッサー１２１にデータを処理させ、当該手法を実行させる。

当該手法は、デジタルカメラの内部の１つあるいは複数のチップといったような、物理的に組み込まれた回路の内部においても実行され得る。図４Ｂはデジタルカメラ１３０の概略図であって、プロセッサー１３１，ストレージデバイス１３２，そして内部メモリー１３３および画像を取得するための結像部１３４および様々なカメラの機能を制御するための制御部１３５を有したものを示したものである。前記制御セクション１３５は、異なる露出度で複数画像を自動的に撮影するためのオートバケティングを実行し得る。オートバケティングは、技術の分野において一般的に知られているので、詳細は省略する。プロセッサー１３１は、上述したアルゴリズムを用いて画像を処理し、ＨＤＲ画像を生成する。

本願発明の精神または範囲から逸脱することなく、ゴーストアーティファクト検出および除去に関する方法および本願に関する機器に関して、多彩な改良およびバリエーションがなされうる。したがって、本願は該改良およびバリエーションを含意するものであって、そのようなものは特許請求の範囲およびこれに均等な範囲の範疇に含まれる

Claims (11)

1. ハイダイナミックレンジ（ＨＤＲ）画像を、異なる露出度を有するＭ枚の画像から生成する方法であって、
   （ａ）Ｍ枚の画像のセット中の、各画像ｍ（ｍ＝１，２，・・・Ｍ）について、Ｎ個のレベルｎ（ｎ＝１，２，・・・Ｎ（Ｎは最高のレベルを指す））の中央閾値ビットマップ（ＭＴＢ）を生成するステップと、ここで、グレースケール画像である各レベルｎのＭＴＢは、前記画像ｍと同じ大きさおよび同じ２^ｎのグレーレベルを有しており、前記画像ｍの各画像ピクセルのピクセル値を２^ｎのグレーレベルにマッピングすることによって、画像ｍから生成され、また、ここで、前記ピクセル値のマッピングは、重ならない２^ｎ個の範囲に入るピクセル値をグレーレベルにマッピングすることであり、さらに、ここで、前記２^ｎ個の範囲は、集合的に前記画像ｍの合計のピクセル値の範囲に広がり、前記画像ｍとほとんど同じ数のピクセルがそれぞれグレーレベルにマッピングされ、
   （ｂ）各レベルｎについて、Ｍ枚の画像に対応するＭ枚のレベルｎのＭＴＢを比較し、レベルｎのゴーストマップを各画像ｍに生成するステップと、ここで、各レベルｎのゴーストマップは、対応する画像ｍのサイズと等しいサイズを有する二値マップであり、対応する画像の対応するピクセルがゴーストか否かを示すピクセル値を有し、
   （ｃ）それぞれの画像ｍについて、ピクセル幅ＯＲを用いるＮ枚のレベルｎのゴーストマップを結合して、結合されたゴーストマップを生成するステップと、ここで、前記結合されたゴーストマップは、前記画像ｍの対応するピクセルがゴーストか否かを示すピクセル値を有し、
   （ｄ）Ｍ枚の画像セットおよび対応する結合されたゴーストマップを用いてＨＤＲ画像を生成するステップと、
   を含む方法。
2. 前記ステップ（ａ）は、各画像ｍ、および、レベル１のために、
   （ａ１）画像ｍの全ピクセル値の範囲を二つのレベル１のピクセル値の範囲に分割する、レベル１の中央閾値を計算するステップと、ここで、二つのレベル１のピクセル値の各範囲内に、画像ｍのほとんど同じ数のピクセルが入り、
   （ａ２）レベル１のＭＴＢを生成するためにピクセル値が入るレベル１のピクセル値の範囲に従って、各画像ピクセルをグレーレベルに割り当てるステップと、
   をさらに含む請求項１に記載の方法。
3. 前記ステップ（ａ）は、各画像ｍおよびレベル１より大きい各レベルｎのために、
   （ａ３）各レベル（ｎ−１）のピクセル値の範囲を、二つのレベルｎのピクセル値の範囲に分割する、２^ｎ−１個のレベルｎの中央閾値を計算するステップと、ここで、二つのレベルｎのピクセル値の各範囲内に、画像ｍのほとんど同じ数のピクセルが入り、
   （ａ４）レベルｎのＭＴＢを生成するためにピクセル値が入るレベルｎのピクセル値の範囲に従って、各画像ピクセルをグレーレベルに割り当てるステップと、
   をさらに含む請求項１または２のいずれかに記載の方法。
4. 前記ステップ（ｂ）の前に、
   （ｅ）各画像ｍおよび各レベルｎのために、除外マップを生成するステップと、ここで、二値マップである当該除外マップは、画像ｍのサイズと等しいサイズを有し、前記画像ｍの対応するピクセルが除外されるか否かを示すピクセル値を有し、
   をさらに含み、
   ステップ（ｂ）は、さらに、ピクセルが除外されることを示すピクセル値を有する除外マップ内の各ピクセルのために、ピクセルがゴーストでないことを示すピクセル値を、前記ゴーストマップの対応するピクセルに割り当てるステップを含む、請求項１〜３のいずれか１項に記載の方法。
5. 前記ステップ（ｂ）の後に、
   （ｆ）各画像ｍについて、各レベルｎのゴーストマップ中の孤立したノイズを除去するステップをさらに含む請求項１〜４のいずれか１項に記載の方法。
6. データ処理装置を制御するためのコンピュータプログラムであって、当該コンピュータプログラムは、異なる露出度のＭ個のセットの画像からハイダイナミックレンジ（ＨＤＲ）画像を生成する処理を前記データ処理装置に実行させるように構成され、当該処理は、
   （ａ）Ｍ枚の画像のセット中の、各画像ｍ（ｍ＝１，２，・・・Ｍ）について、Ｎ個のレベルｎ（ｎ＝１，２，・・・Ｎ（Ｎは最高のレベルを指す））の中央閾値ビットマップ（ＭＴＢ）を生成するステップと、ここで、グレースケール画像である各レベルｎのＭＴＢは、前記画像ｍと同じ大きさおよび同じ２^ｎのグレーレベルを有しており、前記画像ｍの各画像ピクセルのピクセル値を２^ｎのグレーレベルにマッピングすることによって、画像ｍから生成され、また、ここで、前記ピクセル値のマッピングは、重ならない２^ｎ個の範囲に入るピクセル値をグレーレベルにマッピングすることであり、さらに、ここで、前記２^ｎ個の範囲は、集合的に前記画像ｍの合計のピクセル値の範囲に広がり、前記画像ｍとほとんど同じ数のピクセルがそれぞれグレーレベルにマッピングされ、
   （ｂ）各レベルｎについて、Ｍ枚の画像に対応するＭ枚のレベルｎのＭＴＢを比較し、レベルｎのゴーストマップを各画像ｍに生成するステップと、ここで、各レベルｎのゴーストマップは、対応する画像ｍのサイズと等しいサイズを有する二値マップであり、対応する画像の対応するピクセルがゴーストか否かを示すピクセル値を有し、
   （ｃ）それぞれの画像ｍについて、ピクセル幅ＯＲを用いるＮ枚のレベルｎのゴーストマップを結合して、結合されたゴーストマップを生成するステップと、ここで、前記結合されたゴーストマップは、前記画像ｍの対応するピクセルがゴーストか否かを示すピクセル値を有し、
   （ｄ）Ｍ枚の画像セットおよび対応する結合されたゴーストマップを用いてＨＤＲ画像を生成するステップと、
   を含むコンピュータプログラム。
7. 前記ステップ（ａ）は、各画像ｍ、および、レベル１のために、
   （ａ１）画像ｍの全ピクセル値の範囲を二つのレベル１のピクセル値の範囲に分割する、レベル１の中央閾値を計算するステップと、ここで、二つのレベル１のピクセル値の各範囲内に、画像ｍのほとんど同じ数のピクセルが入り、
   （ａ２）レベル１のＭＴＢを生成するためにピクセル値が入るレベル１のピクセル値の範囲に従って、各画像ピクセルをグレーレベルに割り当てるステップと、
   をさらに有する請求項６に記載のコンピュータプログラム。
8. 前記ステップ（ａ）は、各画像ｍおよびレベル１より大きい各レベルｎのために、
   （ａ３）各レベル（ｎ−１）のピクセル値の範囲を、二つのレベルｎのピクセル値の範囲に分割する、２^ｎ−１個のレベルｎの中央閾値を計算するステップと、ここで、二つのレベルｎのピクセル値の各範囲内に、画像ｍのほとんど同じ数のピクセルが入り、
   （ａ４）レベルｎのＭＴＢを生成するためにピクセル値が入るレベルｎのピクセル値の範囲に従って、各画像ピクセルをグレーレベルに割り当てるステップと、
   をさらに含む請求項６または７に記載のコンピュータプログラム。
9. 前記ステップ（ｂ）の前に、
   （ｅ）各画像ｍおよび各レベルｎのために、除外マップを生成するステップと、ここで、二値マップである当該除外マップは、画像ｍのサイズと等しいサイズを有し、前記画像ｍの対応するピクセルが除外されるか否かを示すピクセル値を有し、
   をさらに含み、
   ステップ（ｂ）は、さらに、ピクセルが除外されることを示すピクセル値を有する除外マップ内の各ピクセルのために、ピクセルがゴーストでないことを示すピクセル値を、前記ゴーストマップの対応するピクセルに割り当てるステップを含む、請求項６〜８のいずれか１項に記載のコンピュータプログラム。
10. 前記ステップ（ｂ）の後に、
    （ｆ）各画像ｍについて、各レベルｎのゴーストマップ中の孤立したノイズを除去するステップをさらに含む請求項６〜９のいずれか１項に記載のコンピュータプログラム。
11. 請求項６〜１０のいずれか一項に記載のコンピュータプログラムを実行可能なデジタルカメラであって、
    画像取得のための結像部と、
    異なる露出度を有する画像セットを取得するために前記結像部を制御する制御部と、
    をさらに含む、デジタルカメラ。