JP7262940B2 - 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム - Google Patents

Description

本発明は、ピント位置の異なる複数の画像を合成する画像処理装置に関するものである。

デジタルカメラなどを用いて距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。

特開２０１５－２１６５３２号公報

しかし、上述したような深度合成の方法を用いると、被写体の境界では合成比率がバタつき、合成境界が目立ってしまい、合成画像に粗がでてしまうことがある。これに対して、合成画像を全面的にぼかすことで前述した課題が解消されると期待されているが、ディティールを表現したい部分があるとその部分のディティールが失われてしまうことがある。

本発明は、上記の課題を鑑みてなされたものであり、ピント位置の異なる複数の画像を用いて合成した画像において、被写体のディティールと隣接画素間の合成比率を滑らかに切り替えこととが両立できる画像処理装置を提供するものである。

上記課題を解決するため、本願発明は、複数の画像を合成することにより生成される合成画像のための前記複数の画像のそれぞれにおける、複数の領域のコントラスト値に基づいて、前記複数の領域各々の合成比率を生成する生成手段と、前記合成比率を補正する補正手段と、を有し、前記補正手段は、前記画像において、前記補正を行った後の隣り合う領域間の合成比率の関係が、前記補正を行う前の隣り合う領域間の合成比率の関係よりも滑らかになるように、前記補正を行い、前記補正において、第１のコントラスト値をもつ第１の領域に対する前記補正の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記補正の度合いよりも、強い画像処理装置を提供する。

本発明の構成によれば、ピント位置の異なる複数の画像を撮像して合成した画像において、被写体のディティールを保ったままで隣接画素間の合成比率の変化を滑らかにする画像処理装置を提供することができる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における合成画像の生成について説明するためのフローチャートである。 本発明の実施形態における撮像について説明するためのフローチャートである。 本発明の実施形態における位置合わせについて説明するためのフローチャートである。 本発明の実施形態における画像の合成について説明するためのフローチャートである。 本発明の実施形態における合成マップの生成について説明するためのフローチャートである。 本発明の実施形態における合成比率の統合について説明するためのブロック図である。 本発明の実施形態における統合比率αとコントラスト値Ｃ（ｘ，ｙ）との関係の一例を示すグラフである。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は本発明の実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ２０１では、撮像部１０４は、ピント位置の異なる複数の画像を撮像する。ステップＳ２０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した複数の画像に対して画角が一致するように位置合わせを行う。ステップＳ２０３で、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、合成画像を生成する。以下では、それぞれのステップについて詳細に説明する。

図３は、本実施形態におけるステップＳ２０１での撮像について説明するためのフローチャートである。

ステップＳ３０１で、制御部１０１は、ピント位置の設定を行う。たとえば、ユーザは表示部１０８が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。同時に、制御部１０１は、設定したピント位置において、距離順に撮像順番を決める。

ステップＳ３０２で、撮像部１０４は、ステップＳ３０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。

ステップＳ３０３で、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、図３に示したフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ３０２に戻る。

また、上記のような撮像方法は、光学系１０３や撮像部１０４を複数有する多眼カメラなどを用いて、より少ない撮像回数で実施してもよい。

図４は、本実施形態におけるステップＳ２０２での位置合わせについて説明するためのフローチャートである。

ステップＳ４０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。

ステップＳ４０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ４０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。

ステップＳ４０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲として設定する。制御部１０１は、対象画像のそれぞれの探索範囲において、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ４０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

ステップＳ４０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

ステップＳ４０５で、画像処理部１０７は、ステップＳ４０４で算出した変換係数を用いて対象画像に対して変換を行う。

たとえば、制御部１０１は、（式１）に示した式を用いて変形を行うことができる。

（式１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。

ステップＳ４０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、このフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ４０２に戻る。

図５は、本実施形態におけるステップＳ２０３での画像の合成について説明するためのフローチャートである。

ステップ５０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）

次に、注目画素を含む３×３の画素範囲の輝度Ｙの行列Ｌに、下記の（式３）乃至（式５）に示したように、ソーベルフィルタを用いて、注目画素におけるコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

ステップＳ５０２で、画像処理部１０７は合成マップを生成する。画像処理部１０７は、位置合わせした後のそれぞれの画像の同じ位置にある画素のコントラスト値を比較し、合成比率を算出する。

たとえば、同じ位置にある画素のうち、最もコントラスト値の高いものに、１００％の合成比率を与える。

また、下記の（式６）を用いて、Ｍ枚の画像のうちのｍ番目の画像の座標（ｘ，ｙ）に位置する画素の合成比率を算出することができる。

ステップＳ５０３で、画像処理部１０７は、ステップＳ５０２で算出した合成マップを補正する。

図６は、ステップＳ５０２での合成マップの補正を説明するためのフローチャートである。

ステップＳ６０１で、画像処理部１０７は、ステップＳ５０２で算出した各画素に対応する合成比率に対してフィルタ処理を行う。フィルタの種類としては、タップ数にて規定される参照範囲内の合成比率の最大値を出力するＭＡＸフィルタや平均値フィルタなどが挙げられる。なおかつ、ステップＳ６０１で、画像処理部１０７は、合成比率に対してタップ数の異なるフィルタを別々にかけて、合成比率を平滑化した複数のデータを得る。ここで説明の便宜上、Ｎ［０］、Ｎ［１］の２種類の平滑化の度合いの異なるフィルタをかけることとするが、フィルタの数は２つに限らない。Ｎ［０］のフィルタのタップ数は、Ｎ［１］よりも少ないとする。つまり、Ｎ［０］のフィルタの参照範囲は、Ｎ［１］よりも狭い。Ｎ［０］のフィルタを、スルー出力（入力と出力が同じ信号）にする形態でも良いものとする。画像処理部１０７がフィルタをかけることによって、ステップＳ５０２で算出した合成比率を周辺に広げることができる。合成比率が画素間で急激に変化する場合、画像処理部１０７がフィルタをかけることによって、画素間の合成比率の変化を滑らかにすることができる。

次に、ステップＳ６０２で、画像処理部１０７は、ステップＳ６０１で複数のフィルタをかけた後の合成比率を統合する。

図７は、本実施形態における合成比率の統合について説明するためのブロック図である。画像処理部１０７は、合成比率Ａｍ（ｘ，ｙ）に対して、フィルタＮ［０］およびＮ［１］のそれぞれをかける。次に、画像処理部１０７は、２種類のフィルタをかけた後の合成比率をコントラスト値に基づいて統合する。統合では、コントラスト値の高い領域ほどタップ数の少ないフィルタをかけた後の合成比率の統合比率を高くし、コントラスト値の低い領域ほどタップ数の多いフィルタをかけた後の合成比率の統合比率を高くする。タップ数の多いフィルタほど、かけた後の画面がよりぼけるので、コントラスト値の高い領域にタップ数の少ないフィルタをかけた後の合成比率の統合比率を高くすることによって、コントラスト値の高い領域のディティールを保てる。一方、コントラスト値の低いほどタップ数の多いフィルタをかけた後の合成比率の統合比率を高くすることによって、コントラスト値の低い領域において合成した後の粗を抑制することが期待できる。

ここでの統合比率と領域コントラスト値およびタップ数の関係は、表１に示す。

一例としては、フィルタＮ［０］をかけた後の合成比率をＡｍ０（ｘ，ｙ）とし、フィルタＮ［１］をかけた後の合成比率をＡｍ１（ｘ，ｙ）とすると、下記の（式７）により補正された合成比率をＢｍ（ｘ，ｙ）が算出できる。
Ｂｍ（ｘ，ｙ）＝（１－α）×Ａｍ０（ｘ，ｙ）＋α×Ａｍ１（ｘ，ｙ）・・・（式７）

（式７）に使われる比率αは統合比率であり、コントラスト値Ｃ（ｘ，ｙ）から算出することができる。なお、ここでのコントラスト値Ｃ（ｘ，ｙ）は、複数枚の画像の座標（ｘ，ｙ）のコントラスト値の最大値や、加算値、加重平均値のいずれかを用いてよい。

図８は、本実施形態における統合比率αとコントラスト値Ｃ（ｘ，ｙ）との関係の一例を示すグラフである。

次に、ステップＳ６０３で、制御部１０１は、すべての画像を処理したかどうかについて判断する。処理を済んでいない画像があれば、ステップＳ６０１に戻り、画像処理部１０７が未処理の画像に対してフィルタの処理を行う。

最後に、ステップＳ６０４に進み、画像処理部１０７が合成比率の再算出を行う。ここで、画像処理部１０７が、補正された合成比率Ｂｍ（ｘ，ｙ）に対して正規化を行い、最終的に合成画像の生成に用いる合成比率Ｂｍ’（ｘ，ｙ）を算出する。具体的に、下記の（式８）に従い算出する。

ただし、（式８）では、Ｍは画像の枚数を示し、（ｘ，ｙ）は座標を示す。（式８）に示したような正規化を行うことで、位置合わせした後の同じ座標の合成比率Ｂｍ’（ｘ，ｙ）の和が１になる。

ステップＳ５０４で、画像処理部１０７は下記の（式９）に従い、合成画像を生成する。

ただし、（式７）では、Ｉｋ（ｘ，ｙ）は、ｋ枚目の画像の座標（ｘ，ｙ）の画素値を示し、Ｏ（ｘ，ｙ）は合成画像の座標（ｘ，ｙ）の画素値を示す。

本実施形態によれば、深度合成の画像を生成するとき、合成画像の粗を減らすとともに、画像のディティールを保つことができる。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、深度合成の機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (21)

1. 複数の画像を合成することにより生成される合成画像のための前記複数の画像のそれぞれにおける、複数の領域のコントラスト値に基づいて、前記複数の領域各々の合成比率を生成する生成手段と、
   前記合成比率を補正する補正手段と、を有し、
   前記補正手段は、前記画像において、前記補正を行った後の隣り合う領域間の合成比率の関係が、前記補正を行う前の隣り合う領域間の合成比率の関係よりも滑らかになるように、前記補正を行い、前記補正において、第１のコントラスト値をもつ第１の領域に対する前記補正の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記補正の度合いよりも、強いことを特徴とする画像処理装置。
2. 前記補正手段は、前記領域のコントラスト値に基づいて、前記補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記領域のコントラスト値が大きいほど、前記隣り合う領域間の合成比率の関係が滑らかにならないように、前記補正を行うことを特徴とする請求項２に記載の画像処理。
4. 前記補正手段は、参照範囲の前記領域の前記合成比率に対して平滑化処理を行うことにより前記補正を行うことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記補正手段は、互いに前記参照範囲の広さが異なる複数種類の平滑化処理を行い、前記複数種類の平滑化処理の結果を統合することにより、前記補正された合成比率を生成し、前記領域のコントラスト値に基づいて、前記複数種類の平滑化処理の結果の統合の割合を変更することを特徴とする請求項４に記載の画像処理装置。
6. 複数の画像を合成することにより生成される合成画像のための前記複数の画像を処理する画像処理装置であって、
   前記複数の画像のそれぞれについて、前記画像の複数の領域のコントラスト値に基づいて、前記複数の領域のそれぞれの、前記合成画像のための合成の比率を生成する生成手段と、
   前記画像における前記複数の領域のそれぞれについて、当該領域とその周辺の領域の前記合成の比率に基づいて、当該領域の前記合成の比率を補正する補正手段と、を備え、
   前記補正手段は、前記補正において、第１のコントラスト値をもつ第１の領域に対する前記補正の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記補正の度合いよりも、強い画像処理装置。
7. 前記補正手段は、当該領域とその周辺の領域の前記合成の比率に対して平滑化処理を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記補正手段は、当該領域を含む参照範囲の領域それぞれの前記合成の比率に対して平滑化処理を行うことを特徴とする請求項６に記載の画像処理。
9. 前記補正手段は、前記参照範囲が異なる複数種類の前記平滑化処理を行い、前記複数種類の平滑化処理の結果を統合することを特徴とする請求項８に記載の画像処理装置。
10. 前記補正手段は、前記領域のコントラスト値に基づいて、前記複数種類の平滑化処理の結果の統合の割合を変えることを特徴とする請求項９に記載の画像処理装置。
11. 前記複数種類の平滑化処理は、第１の平滑化処理と、前記第１の平滑化処理よりも前記参照範囲が広い第２の平滑化処理を含み、
    前記補正手段は、前記領域のコントラスト値が大きいほど、前記第２の平滑化処理の結果よりも前記第１の平滑化処理の結果の割合が大きくなるように前記複数種類の平滑化処理の結果を統合することを特徴とする請求項１０に記載の画像処理装置。
12. 前記生成手段は、前記複数の画像において互いに対応する位置の前記領域の間の前記コントラスト値に基づいて、前記領域の合成の比率を生成することを特徴とする請求項１に記載の画像処理装置。
13. さらに前記複数の画像を合成する合成手段を有することを特徴とする請求項１ないし１２のいずれか１項に記載の画像処理装置。
14. 前記合成手段は、前記複数の画像のそれぞれ合焦している領域を抽出して前記画像を生成することを特徴とする請求項１３に記載の画像処理装置。
15. 前記合成画像の被写界深度は、前記複数の画像の前記被写界深度よりも深いことを特徴とする請求項１ないし１４のいずれか１項に記載の画像処理装置。
16. 複数の画像を撮像する撮像手段と、
    前記複数の画像を合成することにより生成される合成画像のための前記複数の画像のそれぞれにおける、複数の領域のコントラスト値に基づいて、前記複数の領域各々の合成比率を生成する生成手段と、
    前記合成比率を補正する補正手段と、を有し、
    前記補正手段は、前記画像において、前記補正を行った後の隣り合う領域間の合成比率の関係が、前記補正を行う前の隣り合う領域間の合成比率の関係よりも滑らかになるように、前記補正を行い、前記補正において、第１のコントラスト値をもつ第１の領域に対する前記補正の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記補正の度合いよりも、強いことを特徴とする撮像装置。
17. 複数の画像を合成することにより生成される合成画像のための前記複数の画像を処理する撮像装置であって、
    前記複数の画像を撮像する撮像手段と、
    前記複数の画像のそれぞれについて、前記画像の複数の領域のコントラスト値に基づいて、前記複数の領域のそれぞれの、前記合成画像のための合成の比率を生成する生成手段と、
    前記画像における前記複数の領域のそれぞれについて、当該領域とその周辺の領域の前記合成の比率に基づいて、当該領域の前記合成の比率を補正する補正手段と、を備え、
    前記補正手段は、前記補正において、第１のコントラスト値をもつ第１の領域に対する前記補正の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記補正の度合いよりも、強い撮像装置。
18. 複数の画像を合成することにより生成される合成画像のための前記複数の画像のそれぞれにおける、複数の領域のコントラスト値に基づいて、前記複数の領域各々の合成比率を生成する生成ステップと、
    前記合成比率を補正する補正ステップと、を有し、
    前記補正ステップにおいては、前記画像において、前記補正を行った後の隣り合う領域間の合成比率の関係が、前記補正を行う前の隣り合う領域間の合成比率の関係よりも滑らかになるように、前記補正を行い、前記補正において、第１のコントラスト値をもつ第１の領域に対する前記補正の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記補正の度合いよりも、強いことを特徴とする画像処理方法。
19. 複数の画像を合成することにより生成される合成画像のための前記複数の画像を処理する画像処理方法であって、
    前記複数の画像のそれぞれについて、前記画像の複数の領域のコントラスト値に基づいて、前記複数の領域のそれぞれの、前記合成画像のための合成の比率を生成する生成ステップと、
    前記画像における前記複数の領域のそれぞれについて、当該領域とその周辺の領域の前記合成の比率に基づいて、当該領域の前記合成の比率を補正する補正ステップと、を有し、
    前記補正ステップにおいては、前記補正において、第１のコントラスト値をもつ第１の領域に対する前記補正の度合いが、前記第１のコントラスト値より高い第２のコントラスト値をもつ第２の領域に対する前記補正の度合いよりも、強い画像処理方法。
20. 請求項１８または１９に記載の各ステップを行わせるコンピュータに動作させるコンピュータのプログラム。
21. 請求項２０に記載のプログラムを記録するコンピュータ読み出し可能な記録媒体。

Images