JP6080503B2

JP6080503B2 - 画像処理装置

Info

Publication number: JP6080503B2
Application number: JP2012244601A
Authority: JP
Inventors: 彰太山口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-11-06
Filing date: 2012-11-06
Publication date: 2017-02-15
Anticipated expiration: 2032-11-06
Also published as: JP2014093037A

Description

本発明は、複数の画像データを合成して、画像データのダイナミックレンジを拡大する画像処理装置に関する。

従来より、露出の異なる複数の画像を合成することにより、ダイナミックレンジが拡大された合成画像を得る処理が提案されている。前記処理は、低輝度領域に対しては高露出画像を主に使用し、高輝度領域に対しては低露出画像を主に使用することで、白とび、黒潰れの影響を低減し、画像のダイナミックレンジを拡大するものである。

前記処理において、複数撮影されたそれぞれの画像データは、手ぶれ等により相対的な位置ズレが発生しているため、合成の前に位置ズレを補正する処理が必須となる。合成の際に、画像データ間に位置ズレが発生している場合、合成画像において像が多重に写り、合成画像の画質が低下する。従って、複数撮影された画像データの位置合わせは重要な技術となる。

上述した画像データの位置合わせ技術に関しては、例えば特許文献１においては、画像間の位置ズレ量を求める際に、それぞれの画像の共通輝度領域のみを使用して位置ズレ検出を行い、位置合わせを行う技術が提案されている。

また、特許文献２においては、動きベクトルの誤検出の要因となる低コントラスト領域の除外を行う。さらに前記除外処理において動き検出に適当と判断された小領域毎の動きベクトルの分布を見て、画像全体の動きを的確に表していると判断された動きベクトルのみを採用して位置合わせを行う技術が提案されている。

特開２００３−３１９２４０号公報特開２００８−１１８５５５号公報

しかしながら、特許文献１、および特許文献２においては、被写体の微小な動きや、被写体の距離差による動きの違いにより、位置合わせで補正しきれず位置ズレが残留することが予想される。

また、見かけ上のダイナミックレンジ拡大を目的とした画像合成では、低輝度領域においては高露出画像の合成比率を高く設定し、高輝度領域においては低露出画像の合成比率を高く設定する。さらに、合成画像に生じる急な切り替わりを防ぐために、中間輝度領域では高露出画像と低露出画像を加重加算するように合成比率を設定する。

従って、高露出画像と低露出画像を加重加算する領域において位置ズレが残留している場合には、合成の際に前記位置ズレが目立って見えてしまい、合成画像の画質が劣化するという課題がある。

本発明は、上記の問題点に鑑み、画像データを加重加算する領域に発生する位置ズレの低減を目的とする。

前記目的を達成するために、本発明の画像処理装置は以下の構成を備える。

少なくとも２枚以上の画像を入力する画像入力手段と、
前記入力画像間の位置ズレ量を検出する位置ズレ量検出手段と、
検出された前記位置ズレ量から、前記位置ズレを補正するための座標変換係数を算出し、前記入力画像に前記座標変換係数を用いて座標変換を施すことで、前記入力画像間の位置ズレを補正する位置ズレ補正手段と、
前記位置ズレが補正された入力画像から、位置ズレが残留している領域を検出する位置ズレ残留領域検出手段と、
前記入力画像の合成比率を所定の領域毎に設定する合成比率設定手段と、
前記位置ズレが補正された入力画像を前記設定された合成比率に基づいて合成する画像合成手段を備える。

本発明によれば、複数の画像データを合成する場合において、画像データを加重加算する領域で発生する位置ズレを低減することが出来る。

第１の実施形態の撮像装置における構成を表すブロック図である。第１の実施形態における、階調補正特性を表すグラフである。第１の実施形態における、位置ズレ検出部１０６の処理の流れを示すフローチャートである。第１の実施形態における、位置ズレ検出ブロック分割を示す図である。第１の実施形態における、位置ズレ補正部１０７の処理の流れを示すフローチャートである。第１の実施形態における、位置ズレ残留領域の検出方法を示す図である。第１の実施形態における、合成比率設定部１０９の処理の流れを示すフローチャートである。図７における、合成比率テーブルを示す図である。第２の実施形態で課題としている切り替わり領域を示す図である。第２の実施形態における、合成比率設定部１０９の処理の流れを示すフローチャートである。第２の実施形態における、位置ズレ顕在化領域の合成比率の決定方法を示す図である。

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について詳細に説明する。

図１は、本発明の第１の実施形態の画像処理装置に適用可能な構成を示したブロック図である。なお、本実施例は、画像データのダイナミックレンジを拡大する撮像装置である。

撮像部１０１は、撮像レンズ群とＣＭＯＳやＣＣＤ等の半導体撮像素子からなる。撮像部１０１（画像取得手段）において、同一被写体に対して露出条件を変化させながら少なくとも２枚以上の入力画像を取得するために複数回の撮影が行われ、撮影された映像信号はＡ／Ｄ変換部１０２に出力される。露出条件としては、露光時間（シャッター速度）、絞り値（Ｆ値）、ＩＳＯ感度などで制御することができ、不図示の測光センサや撮像部１０１より前回取得された画像から得られる明るさの情報に基づいて各パラメータが制御される。Ａ／Ｄ変換部１０２は、入力された映像信号をデジタル画像データに変換し、画像処理部１０３に出力する。画像処理部１０３は、入力された複数の画像データの位置ズレを補正し、前記位置ズレが補正された画像データの合成処理を行う。画像表示部１１１は、画像処理部１０３で生成された画像データを、例えば、撮像装置本体が備える液晶モニタに表示する。さらに、画像記憶部１１２は、画像処理部１０３で生成された画像データを、記録媒体へ記録する。

次に、画像処理部１０３について、詳細な説明を行う。画像処理部１０３は、階調補正部１０４、メモリ部１０５、位置ズレ検出部１０６（位置ズレ量検出手段）、位置ズレ補正部１０７、位置ズレ残留領域検出部１０８、合成比率設定部１０９、画像合成部１１０により構成されている。

階調補正部１０４は、入力された複数の画像データに対して、輝度レベルを合わせる処理を行う。ここでは、入力画像データの枚数を２枚と仮定し、露出条件の異なる入力画像データに対して、相対的に露出の大きい画像をオーバー画像、オーバー画像に対して露出の小さい画像をアンダー画像とする。階調補正部１０４において、オーバー画像とアンダー画像のそれぞれに対し、図２に示すような、異なる階調変換特性を持った階調変換を施すことで、オーバー画像とアンダー画像の輝度レベルを合わせる。ただし、本実施例では、アンダー画像の輝度レベルをオーバー画像に合わせている。階調補正部１０４で処理された画像データは、メモリ部１０５に蓄えられる。

メモリ部１０５に蓄えられた画像データは、手ぶれ等に因る相対的な位置のずれを伴っている。そのため、位置ズレ検出部１０６、および位置ズレ補正部１０７によって、画像データ間の位置ズレを補正する。各部の詳細な処理は後述する。

＜位置ズレ検出部１０６＞
図３は、位置ズレ検出部１０６における入力画像間の位置ズレ量を検出する処理の流れを示すフローチャートである。図３に示すように、ステップＳ３０１において入力された画像データに対し、ステップＳ３０２において、位置ズレを求める基準となる、基準画像を設定する。ここでは、アンダー画像を基準画像に設定する。すなわち、本実施例における位置ズレとは、アンダー画像に対する、オーバー画像の位置ズレを意味する。

次に、ステップＳ３０３において、図４に示すように、画像データを水平方向にＮ分割、垂直方向にＭ分割した複数のブロックに分割する。ここで、今後の処理の説明のために、各分割ブロックをｂｌｋ［０］〜ｂｌｋ［Ｍ＊Ｎ−１］と呼ぶ。続いて、ステップＳ３０４においてカウンターｉの値にｉ＝０を設定し、ステップＳ３０５において、ｉ番目の分割ブロックｂｌｋ［ｉ］について、アンダー画像とオーバー画像間の相対的な位置ズレ量を表す動きベクトルを検出する。動きベクトルの検出方法としては、例えば、差分絶対値和を評価値としたパターンマッチング処理が提案されている。さらに、ステップＳ３０６およびＳ３０７において、ｉをインクリメントしながら全分割ブロックにおける動きベクトルを算出する。

＜位置ズレ補正部１０７＞
図５は、位置ズレ補正部１０７における処理の流れを示すフローチャートである。図５に示すように、ステップＳ５０１において入力された各分割ブロックにおける動きベクトル全体に対し、ステップＳ５０２において信頼度の高い動きベクトルのみを抽出する。ここで述べる信頼度とは、手振れによる主要被写体の動きを表す度合いを意味する。

前記抽出の方法としては、例えば、各分割ブロック内の白とび、黒潰れ画素の割合や、エッジ積分値を評価値として抽出を行う方法が挙げられる。これは、パターンマッチングによる動きベクトル誤検出の影響を低減することが目的である（特開２００８−１１８５５５号公報）。また、その他の抽出方法としては、動きベクトルの分布をとり、主要被写体の動きベクトルと近い値を持つ動きベクトルのみを抽出する方法が挙げられる。これは、同じ手振れに対する動きでも、主要被写体と背景で距離が大きく異なる場合に、動き量に差異が出るため、主要被写体の動きベクトルを正確に抽出すること、および誤検出による異端な動きベクトルを排除することを目的としている。

前述した信頼度の高い動きベクトルの抽出方法に関しては、あくまで一例であって、ここでは特に限定されないものとする。

次に、ステップＳ５０３において、前述のステップＳ５０２から出力された高信頼度の動きベクトルを入力として、位置ズレ補正パラメータの推定を行う。位置ズレ補正パラメータとは、一方の画像をもう一方の画像に合わせて変形するための座標変換係数のことで、例えば、アフィン変換係数、射影変換係数などが挙げられる。また、画像変換係数を算出する手法としては、複数の動きベクトルを入力し、入力された動きベクトルから、最小二乗法により画像変換係数の推定を行うという手法が提案されている。

次に、ステップＳ５０４によって、ステップＳ５０３で推定した画像変換係数を用いて、オーバー画像の変形を行う。

上記一連の処理により、アンダー画像（基準画像）に位置が合った、オーバー画像が生成される。

＜位置ズレ残留領域検出部１０８＞
位置ズレ残留領域検出部１０８では、位置ズレ補正部１０７で位置ズレの補正を行ったアンダー画像とオーバー画像を入力とし、前記２画像において位置ズレが残留している領域を検出する。ここで、位置ズレが残留する原因としては、前述のように被写体と背景の距離差による動き量の差異や、被写体自身の微小な動きが補正しきれずに残留することが挙げられる。

位置ズレ残留領域の検出方法の模式図を図６に示す。図６に示すように、位置ズレ補正を行ったアンダー画像とオーバー画像の差分をとり、差分画像を生成する。ここでの差分は、輝度差分の絶対値を想定しているが、背景と主要被写体の輝度が等しい場合には検出精度が低下するので、併せて色差信号の差分を使用してもよい。前記差分画像において差分が生じた領域が位置ズレ残留領域となる。また、白とび、黒潰れを起こしている領域については、位置ズレの残留を起因としない差分が検出されるため、予め検出対象領域から除外しておくなどの工夫が必要である。また位置ズレ残留領域検出の手法としては、上記に限らず、２画像の相関を取り、その相関の高さを領域毎に評価できる演算方法であればいずれを用いても良い。

＜合成比率設定部１０９＞
図７は、合成比率設定部１０９における処理の流れを示すフローチャートである。図７に示すように、まずステップＳ７０１において、基準輝度画像の設定を行う。基準輝度画像とは、入力画像データの合成比率を設定するために参照する輝度画像である。ここでは、基準輝度画像としてアンダー画像の輝度成分を使用するが、基準輝度画像として、オーバー画像を使用してもよい。

次に、ステップＳ７０２に示すように、基準輝度画像の画素値から、合成比率テーブルに基づいて、各画素におけるアンダー画像とオーバー画像の合成比率を設定する。合成比率テーブルとは、基準となる輝度値に対して、アンダー画像とオーバー画像の合成比率を設定するテーブルである。図８に、本実施例における合成比率テーブルを示した。ここでは、図８に示すように、基準輝度の値をＹとした時、Ｙ≦Ｙ１の領域では、オーバー画像を１００％使用し、Ｙ２≦Ｙの領域では、アンダー画像を１００％使用する。さらにＹ１＜Ｙ＜Ｙ２の領域では、アンダー画像とオーバー画像を加重加算するように、合成比率テーブルを設定している。ここで、Ｙ１，Ｙ２は、予め設定された輝度値である。

ここで、本件で課題としている、残留した位置ズレが顕在化する（多重に分裂して写る）領域は、オーバー画像とアンダー画像を加重加算する輝度を持つ領域において、位置ズレが残留していた場合に発生する。従って、前記位置ズレが顕在化する領域を検出し、該当領域においてはアンダー画像が１００％出力されるように合成比率を制御することで、残留した位置ズレの顕在化を低減することができる。ここで、アンダー画像を１００％出力するように制御を行う理由としては、本実施例ではアンダー画像が位置合わせの基準画像であることと、１００％出力される領域の白とびを避けるためである。

上記背景を踏まえ、次に、ステップＳ７０３に示すように、加重加算領域かつ位置ズレ残留領域の検出を行う。ここで、加重加算領域とは、前述のステップＳ７０２において、アンダー画像とオーバー画像がどちらか一方の画像のみを使用するような合成比率（１００：０あるいは０：１００［％］）でない、少なくとも２枚の画像が合成される加重加算を示す領域であるとする。ただし、加重加算領域の定義はこれに限定されるものではなく、例えば、加重加算係数の範囲で決定してもよい。

次に、ステップＳ７０４に示すように、検出した加重加算領域かつ位置ズレ残留領域の合成比率を、アンダー画像が１００％出力されるように変更する。また、目立たなくするという目的においては、アンダー画像の比率が所定比率以上、例えば９０％以上になっていれば目的は達成されるので、そのように制御されても良い。

以上が、合成比率設定部１０９の処理となり、加重加算領域において顕在化する位置ズレの影響を低減するような合成比率が出力となる。

画像合成部１１０では、位置合わせが完了したアンダー画像とオーバー画像を、予め算出した合成比率に従って、画素毎に合成を行う。

以上の処理により、画像処理部１０３において、アンダー画像とオーバー画像間の位置ズレが補正され、位置ズレ補正されたアンダー画像とオーバー画像を合成することで、ダイナミックレンジが拡大された合成画像データが生成される。

以上説明したように、第１の実施形態によれば、加重加算領域かつ位置ズレが残留している領域を判定し、前記領域においてアンダー画像を１００％出力するよう合成比率を制御することで、合成画像において位置ズレが見える問題を低減することが出来る。

［第２の実施形態］
第１の実施形態においては、位置ズレ顕在化領域（加重加算領域かつ位置ズレ残留領域）を検出し、前記領域ではアンダー画像を１００％出力するように合成比率を制御していた。ところが、図９に示すように、位置ズレ顕在化領域の周辺で、オーバー画像が１００％出力される場合、第１の実施形態に従ってアンダー画像を１００％出力すると、位置ズレ顕在化領域と周辺の領域の境界でアンダー画像とオーバー画像が切り替わってしまう。これでは境界で位置ズレが見えてしまう恐れがある。このような場合には、画像のつながりを優先してオーバー画像を１００％出力する方が好ましいと考えられる。前述の背景を踏まえ。第２の実施形態では、第１の実施形態に加え、位置ズレ顕在化領域の周辺でオーバー画像が１００％出力される場合を検出し、前記の場合には、位置ズレ検出領域においてオーバー画像を１００％出力するように合成比率を制御する処理を考える。なお、同様の処理として、位置ズレ顕在化領域の周辺でアンダー画像が１００％出力される場合において、該当領域はアンダー画像を１００％出力するような制御も考えられる。

図１に示すブロック図において、第１の実施形態と比較して、第２の実施形態で処理の内容が変更されるのは合成比率設定部１０９のみである。以下、合成比率設定部１０９の処理について詳細な説明を行う。

図１０は、第２の実施形態における合成比率設定部１０９の処理の流れを示すフローチャートである。図１０に示すように、ステップＳ１００１〜Ｓ１００２は第１の実施形態と同じ処理（図７のＳ７０１〜Ｓ７０２）を行う。本実施例では、以降の処理であるステップＳ１００３、Ｓ１００４が第１の実施形態と異なる。

ステップＳ１００３、Ｓ１００４では、以前の処理で設定した合成比率に対して、位置ズレ顕在化領域を検出し、検出された位置ズレ顕在化領域の各々に対して、アンダー画像を１００％出力するか、オーバー画像を１００％出力するかを選択する。図１１に、位置ズレ顕在化領域における、出力画像の決定方法の例を示す。

図１１に示すように、まず画像を小ブロックに分割し、ブロック毎に位置ズレ顕在化ブロックかどうかの判定を行う。判定方法の一例としては、ブロックに含まれる画素数に対して、位置ズレが顕在化する加重加算領域でかつ位置ズレ残留領域である画素の割合を算出する。そして、その割合が所定の閾値を超えた場合に、当該ブロックを位置ズレ顕在化ブロックとする。

次に、位置ズレ顕在化ブロックが複数ブロックにわたって隣接していた場合に、前記隣接したブロックの集合を位置ズレ顕在化領域とする。

次に、前記処理で判定した各位置ズレ顕在化領域の周囲のブロックに着目し、前記ブロックを下記のいずれかのブロックに分ける。
・Ｘブロック：位置ズレの残留がないブロック
・Ｏブロック：位置ズレが残留しているが、オーバー画像が１００％出力されるブロック
・Ｕブロック：位置ズレが残留しているが、アンダー画像が１００％出力されるブロック
各ブロックの判定方法の一例としては、ブロックに含まれる画素数に対して、位置ズレ残留領域に含まれる位置ズレが残留している画素の割合を算出し、前記割合が所定の閾値以下の場合は当該ブロックをＸブロックとする。さらに、Ｘブロックと判定されなかったブロックについては、ブロック内の位置ズレ残留領域に含まれる画素に対して、オーバー画像が１００％出力される画素の割合を算出し、前記割合が所定の閾値以上の場合はＯブロック、それ以外の場合はＵブロックとする。

次に、上記処理で判定を行った周囲のブロックに対して、Ｏブロックの割合を求める。○ブロックの割合が所定の閾値以上となる場合は、着目している位置ズレ顕在化領域においては、オーバー画像（特定の入力画像）を１００％出力するように合成比率を制御する（図１１、（１））。また、（１）以外の場合には、着目している位置ズレ顕在化領域においては、アンダー画像を１００％出力するように合成比率を制御する（図１１、（２）−１，２）。前記（１）以外の場合とは、周囲がほとんどＸブロック、もしくはＵブロックである場合である。周囲がＸブロックの場合、そもそも位置ズレが起きていないため、オーバー画像、アンダー画像のいずれを１００％出力しても課題としている切り替わりは発生しない。しかし、オーバー画像は白飛び画素を含む恐れがあるため、本実施形態ではアンダー画像を１００％出力することとした。

以上説明したように、第２の実施形態によれば、加重加算領域かつ位置ズレが残留している位置ズレ顕在化領域を判定し、さらに前記位置ズレ顕在化領域の周囲の近傍領域における合成比率を参照して合成比率を制御する。具体的には、周囲で支配的な合成比率である特定の入力画像が所定比率以上で合成されるように当該領域の合成比率を設定する。これにより、合成画像において位置ズレが見える問題を低減することが出来るとともに、位置ズレ顕在化領域の境界部分に発生する位置ズレの影響を低減することが出来る。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１０１撮像部
１０２Ａ／Ｄ変換部
１０３画像処理部
１０４階調補正部
１０５メモリ部
１０６位置ズレ検出部
１０７位置ズレ補正部
１０８位置ズレ残留領域検出部
１０９合成比率設定部
１１０画像合成部
１１１画像表示部
１１２画像記録部

Claims

少なくとも２つの入力画像を取得する画像取得手段と、
前記入力画像間の位置ズレ量を検出する位置ズレ量検出手段と、
検出された前記位置ズレ量から、前記位置ズレを補正するための座標変換係数を算出し、前記入力画像に前記座標変換係数を用いて座標変換を施すことで、前記入力画像間の位置ズレを補正する位置ズレ補正手段と、
前記位置ズレが補正された入力画像から、位置ズレが残留している領域を検出する位置ズレ残留領域検出手段と、
前記入力画像の合成比率を所定の領域毎に設定する設定手段と、
前記位置ズレが補正された入力画像を前記設定された合成比率に基づいて合成する画像合成手段を有し、
前記設定手段は、前記位置ズレ残留領域に属する画素の合成比率が、少なくとも２枚の画像が合成される加重加算を示す場合に、前記位置ズレ残留領域では、いずれか１つの画像の合成比率が所定比率以上となるように変更するものであり、前記位置ズレ残留領域の近傍領域において特定の入力画像の合成比率が所定比率以上である画素の割合が支配的である場合には、前記位置ズレ残留領域に属する画素について、前記特定の入力画像の合成比率が所定比率以上となるように変更することを特徴とした画像処理装置。
前記設定手段は、前記入力画像の合成比率を所定の領域毎に各領域の明るさに基づいて設定することを特徴とする請求項１に記載の画像処理装置。
前記複数の入力画像とは、互いに異なる露出条件で撮像された画像であることを特徴とする請求項１または２に記載の画像処理装置。
前記設定手段は、基準となる輝度画像の輝度値を参照し、前記輝度値が低い領域には、前記複数の入力画像の中から露出の大きい画像を使用し、前記輝度値が大きい領域には、露出の小さい画像を使用するように制御されることを特徴とし、さらに前記輝度画像は、前記複数の入力画像の中で露出の最も低い画像から生成されることを特徴とする請求項３に記載の画像処理装置。
前記位置ズレ残留領域検出手段は、前記入力画像間の相関をとることで前記位置ズレ残留領域を検出することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
少なくとも２つの入力画像を取得する画像取得ステップと、
前記入力画像間の位置ズレ量を検出する位置ズレ量検出ステップと、
検出された前記位置ズレ量から、前記位置ズレを補正するための座標変換係数を算出し、前記入力画像に前記座標変換係数を用いて座標変換を施すことで、前記入力画像間の位置ズレを補正する位置ズレ補正ステップと、
前記位置ズレが補正された入力画像から、位置ズレが残留している領域を検出する位置ズレ残留領域検出ステップと、
前記入力画像の合成比率を所定の領域毎に設定する設定ステップと、
前記位置ズレが補正された入力画像を前記設定された合成比率に基づいて合成する画像合成ステップを有し、
前記設定ステップでは、前記位置ズレ残留領域に属する画素の合成比率が、少なくとも２枚の画像が合成される加重加算を示す場合に、前記位置ズレ残留領域では、いずれか１つの画像の合成比率が所定比率以上となるように変更するものであり、前記位置ズレ残留領域の近傍領域において特定の入力画像の合成比率が所定比率以上である画素の割合が支配的である場合には、前記位置ズレ残留領域に属する画素について、前記特定の入力画像の合成比率が所定比率以上となるように変更することを特徴とした画像処理方法。