JP6786311B2

JP6786311B2 - 画像処理装置、画像処理方法、コンピュータプログラムおよび記憶媒体

Info

Publication number: JP6786311B2
Application number: JP2016169614A
Authority: JP
Inventors: 文貴中山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2020-11-18
Anticipated expiration: 2036-08-31
Also published as: JP2018037857A

Description

本発明は、画像合成に用いる画像処理装置に関するものである。

小さなものを撮像する場合、撮像条件によっては、被写体深度が浅くなってしまうため、被写体全体に合焦させることが難しい場合がある。そのため、被写体の一部がボケた画像しか得られず、撮像者が満足する画像にならないケースがあった。あるいは、家族や仲間と写真を撮像しようとする場合に、全員が被写界深度内に入らなければ、全員に合焦させた状態の画像を得ることができなかった。そのため、全員に合焦させた画像を撮像しようとすると、必然的に人物の配置の自由度に制限が生じてしまっていた。

そこで、これらの課題を解決するため、合焦位置を変えながら撮像した複数の画像を合成し、被写体全体に合焦するような合成画像を生成する技術が、特許文献１に開示されている。特許文献１では、撮像された複数の画像の位置合わせを行い、複数の画像のそれぞれにおいて、合成を行う際に重なる位置に存在する画素の画素値を、それぞれの画素のコントラスト値に応じた合成比率を用いて合成を行う。コントラスト値が大きな画像に対して大きな合成比率を与えることで、合焦状態にある画像の比率が大きくなるように画像の合成が行われる。

特開２０１４−１７５３９号公報

しかしながら、特許文献１に記載の技術を用いて画像合成を行うと、以下のような課題が生じることがある。図８は、合焦位置の異なる複数の画像を合成する処理を説明するための図である。図８では、画像上の同じ位置に、カメラからの距離が異なる複数の被写体が存在しているものとする。図８（ａ）は撮像構図であり、被写体８０１が前方被写体、被写体８０２が後方被写体である。図８（ｂ）は前方被写体８０１に合焦した際の撮像画像、図８（ｃ）は後方被写体８０２に合焦した際の撮像画像、図８（ｄ）は被写体８０１と被写体８０２とが重なる領域に注目した図である。図８（ｂ）のように前方被写体８０１に合焦した場合、後方被写体８０２は前方被写体８０１に遮蔽されているが、図８（ｃ）のように後方被写体８０２に合焦した場合、前方被写体８０１がぼけることで後方被写体８０２が透けて見えてしてしまうことがある。合焦状態である前方被写体８０１のコントラスト値よりも、合焦状態である後方被写体８０２のコントラスト値が高い場合、特許文献１に記載の方法で合成を行うと、図８（ｅ）に示すように後方被写体が出力されてしまうことになる。そのため、手前にある被写体の一部分が欠落した合成画像が生成されてしまう。

本発明は、このような状況に鑑みてなされたものであり、合焦位置を変えながら撮像した複数の画像を合成する場合、手前の被写体の一部が欠落して奥の被写体が透けたような画像となることを抑制できる画像処理装置を提供することを目的とする。

本発明は、光学系の合焦位置を変えながら撮像した複数の画像の各々の部分領域についてコントラスト値を算出するコントラスト値の算出手段と、前記複数の画像の前記部分領域ごとの前記コントラスト値と、前記複数の画像を撮像した際の前記合焦位置に基づいて設定される合成比率で前記複数の画像を合成する合成手段と、を有し、前記合成手段は、前記領域ごとに、前記光学系の前記合焦位置の順で前記複数の画像の前記コントラスト値を並べた際に、前記コントラスト値が所定値以上の極大値が２つ以上存在する場合には、前記コントラスト値が所定値以上の極大値に対応する複数の画像のうち、最も手前側に位置する画像の前記合成比率を最も高く設定することを特徴とする画像処理装置を提供する。

本発明によれば、合焦位置を変えながら、複数の画像を撮像してから合成する場合に、手前の被写体の一部が欠落して奥の被写体が透けたような画像となることを抑制することができる。

本発明の実施形態におけるデジタルカメラのブロック図である。本発明の実施形態を説明するためのフローチャートである。本発明の実施形態における合成マップの作成を説明するための図である。本発明の第１の実施形態における複数の画像の対応する画素のコントラスト値を示す図である。本発明の第１の実施形態における合成比率の対象画素の判断処理を説明するためのフローチャートである。本発明の第２の実施形態における合成比率の対象画素の判断処理を説明するためのフローチャートである。本発明の第２の実施形態におけるコントラスト値の補正を説明するための図である。合焦位置の異なる複数の画像を合成する処理を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、デジタルカメラを例にあげて説明を行うが、デジタルカメラに限定されるわけでなく、合焦位置の情報の取り入れ、コントラスト値の算出および画像の合成ができる画像処理装置を用いれば、本発明を適用することができる。

（第１の実施形態）
図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサなどのコンピュータであり、予め後述するＲＯＭ１０５に内蔵されたコンピュータプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

ＲＯＭ１０５は、コンピュータが読み取り可能なコンピュータプログラムを記憶した記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の光学系の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

図２は、本実施形態を説明するためのフローチャートである。

ステップＳ２０１で、デジタルカメラ１００は、ユーザからの撮像指示に応じて、合焦位置を所定量ずつ自動的に変えながら、複数の画像を撮像する。撮像部１０４が光学系１０３を介して被写体を撮像し、制御部１０１が撮像した画像を内蔵メモリ１０９に保存するとともに、それぞれの画像を撮像したときの光学系１０３の合焦位置の情報を取得し、例えばメタデータとして各画像ファイル内に含ませた状態で内蔵メモリ１０９に保存する。あるいは各画像ファイルとは別のファイルに上記の合焦位置情報を記憶してもよい。その場合には、それぞれの合焦位置情報がどの画像ファイルに対応しているかを示す情報も一緒に記憶される。なお、ユーザが手動でフォーカスリングを回すことで、合焦位置を変えながら複数回撮像するようにしてもよい。なお、本実施形態では、駆動部１０２が光学系１０３に設けるレンズを駆動させることで合焦位置を変えるが、これに限らず、たとえば、複数のデジタルカメラを用いて、それぞれのデジタルカメラを異なる位置で合焦させた状態で撮像するようにしてもよい。ただし、この場合、複数のデジタルカメラで得られた画像間の視差が大きくならないように、それぞれのデジタルカメラの光軸を近づけるように工夫する必要がある。

ステップＳ２０２で、画像処理部１０７は、ステップＳ２０１で撮像した複数の画像に対して、位置合わせの処理を行う。位置合わせの方法の一例を以下に述べる。位置合わせの対象となる２つの画像の相対位置をずらしながら、これら複数の画像の画素の出力の差の絶対値総和（ＳＡＤ：ＳｕｍＯｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を求める。この絶対値総和の値が最も小さくなるときの、２つの画像の相対的な移動量と移動方向を求める。そして、求めた移動量と移動方向に応じたアフィン変換もしくは射影変換の変換係数を算出した後、変換係数による移動量と絶対値総和から算出した移動量との誤差が最小となるように、最小二乗法を用いて変換係数を最適化する。その最適化された変換係数に基づいて、位置合わせの対象となる画像に対して、変形処理を行う。

ステップＳ２０３で、制御部１０１は、各々の画像の撮像時の合焦位置を内蔵メモリ１０９から読み出し、撮像した画像を、それぞれの画像を撮像したときの合焦位置に基づいて並べ、番号を付与する。

ステップＳ２０４で、画像処理部１０７は、撮像した複数の画像に対して、コントラスト値の算出を行う。コントラスト値の算出の方法の一例としては、部分領域としての画素の出力にエッジ検出用のフィルタをかけ、その結果をコントラスト値とする。このエッジ検出用のフィルタとしては、たとえば、バンドパスフィルタ、ソーベルフィルタ、およびラプラシアンフィルタなどが用いられる。

ステップＳ２０５で、画像処理部１０７はステップＳ２０４で算出したコントラスト値の比較結果に基づいて、合成マップを作成する。具体的には、画像処理部１０７は、合焦位置を変えながら撮像した複数の画像のそれぞれの対応する画素の中で、まずは、コントラスト値が最も高くなる画像の画素の合成比率を１００％、それ以外の画像の画素を０％に設定する。ここでいう対応する画素とは、ステップＳ２０２の位置合わせを行った結果、複数の画像間で、同じ位置、あるいは、重畳する位置になる画素を意味する。以下の処理では、各画素のコントラスト値に基づいて、各画素に与える合成比率について説明する。

図３は、合成マップの作成を説明するための図である。図４は、撮像した複数の画像の対応する画素のコントラスト値を示す図である。図３（ａ）では、ある撮像シーンの被写体構図を示している。図３（ａ）の部分３０４は、被写体３０１のうちの一部であって、被写体３０２とは重なっていない部分である。

図３（ｂ）は画像の並び順と、各画像を撮像したときの光学系１０３の合焦位置を示す。図３（ｃ）〜（ｅ）は図３（ａ）の領域３０３を拡大したものであり、それぞれ部分３０１に合焦した場合、部分３０３に合焦した場合、両者を合成した場合を示す図である。図４（ａ）は、部分３０４に含まれるいずれか１つの画素のコントラスト値を示す図であって、並び順１番から８番までの画像に含まれる対応する画素を、それぞれ画素４１１から４１８として示す。この図４（ａ）では、デジタルカメラ１００が図３（ｂ）の並び順が２番である合焦位置３１２に合焦させて撮像した画像において、部分３０４に含まれる画素４１２のコントラスト値が最も高くなることを示す。そのため、画像処理部１０７は、部分３０４の位置においては、並び順２番の画像に含まれる画素４１２の合成比率を１００％とする。同時に、画像処理部１０７は並び順１番の画素４１１、および３番乃至８番の画像の対応する画素４１３〜４１８の合成比率を０％とする。画像処理部１０７は、このような合成比率の設定を、各画像のそれぞれ対応する画素に対して行う。なお、隣接画素間で合成比率が０％から１００％に急に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、画像処理部１０７は合成マップに対して所定の画素数（タップ数）を持つフィルタをかけて、隣接画素間で合成比率が段階的に変化するようにする。

なお、上述した合成マップの作成方法は一例にすぎず、適宜に変形することもできる。たとえば、画像処理部１０７は、コントラスト値が最も高い画像の合成比率を１００％にする代わりに、コントラスト値の高い画素ほど合成比率が大きくなるように、複数の画像に対して０以外の合成比率を設定するようにしてもよい。

さらにステップＳ２０６で、制御部１０１は、合成比率の調整を行う画素の判断を行う。図５は、合成比率の調整処理を説明するためのフローチャートである。まず、ステップＳ５０１で、図４（ａ）〜（ｃ）に示したように、制御部１０１は、画像の並び順と、各々の画像の対応する画素のコントラスト値との関係から、極大値（黒丸）を検出する。図４（ａ）の場合、並び順２番の画像の対応する画素におけるコントラスト値が極大値となる。図４（ｂ）の場合、並び順２番と７番との画像の対応する画素におけるコントラスト値が極大値となる。図４（ｃ）の場合、並び順２番、４番、７番の画像の対応する画素におけるコントラスト値が極大値となる。

次に、ステップＳ５０２では、制御部１０１は、対応する画素において極大値が２つ以上存在しているかどうかについて判断する。極大値が２つ以上存在している場合は、ステップＳ５０３に移り、処理中の画素は合成比率の調整の必要がある画素と判断し、極大値が２つ以上存在していない場合、ステップＳ５０４に移り、処理中の画素が合成比率の調整の必要がない画素と判断する。たとえば、図４（ｂ）の場合、対応する画素において、並び順の２番と７番の画像に対応する画素のコントラスト値が極大値となる。制御部１０１は、こうした画素が合成比率の調整の必要がある画素であると判断する。

以上の処理の理由を、図３を用いて簡単に説明する。たとえば、図３（ａ）のように、被写体３０１と被写体３０２とが存在し、図３（ｃ）は被写体３０１に合焦するときに撮像した画像を示し、図３（ｄ）は被写体３０２に合焦するときに撮像した画像を示す。ただし、図３（ｃ）の被写体３２１と図３（ｄ）の被写体３３１は被写体３０１の一部（頭部）とし、被写体３０１に合焦すると被写体３２１にも合焦すると仮定する。同様に、図３（ｃ）の被写体３２２と図３（ｄ）の被写体３２２とは被写体３０２の一部とし、被写体３０２に合焦すると被写体３２２にも合焦すると仮定する。被写体３０１に合焦するとき、被写体３２１に相当する領域のコントラスト値が高くなり、被写体３０２に合焦するとき、被写体３２２に相当する領域のコントラスト値が高くなる。被写体３０１と被写体３０２とが重なる領域３２３の画素のコントラスト値は、合焦位置を図３（ｂ）の合焦位置３１１から３１８に変化させるとき、合焦位置３１２と３１７との２つの位置で極大値になる。合焦位置に基づく並び順とコントラスト値との関係をグラフにすると、２つの極大値を持つ。一方、１つの被写体しか存在していない領域３２４の画素では、２つ以上の極大値が存在することがない。したがって、上述した処理では、極大値が２つ以上存在する場合に、制御部２０１は、合成比率の調整の必要がある画素と判断する。

以上が、ステップＳ２０６での合成比率の調整を行う画素の判断処理である。

ステップＳ２０７で、画像処理部１０７は、合成マップの補正を行う。ここでは、ステップＳ２０６で、制御部１０１が判断した合成比率の調整の必要があると判断された画素の合成比率の変更を行う。具体的に、画像処理部１０７は、ステップＳ２０６で合成比率の調整の必要があると判断した画素に対して、極大値を有する最も至近側の画像の画素の合成比率を上げる。たとえば、図４（ｂ）のような場合には、並び順の２番の画素の合成比率を１００％にする。かくして、図３（ｅ）のように、被写体３２１の合成比率を１００％にし、後方にある被写体３２２を完全に隠すことができる。または、被写体３２１の合成比率を上げるが、縁部の画素の合成比率を１００％までとせずにやや抑え気味にすることで、合成後の画像をボケ味のある画像にすることができる。

なお、図４（ｃ）のように、ほかの極大値と比べて、両側の画素とのコントラスト値の差がきわめて小さい極大値４３２が存在する場合がある。こうした値は、ノイズなどによる影響の可能性が高いと考えられるため、最も至近側にあったとしても合成比率を１００％には設定しない。このような場合は、極大値４３２以外の極大値のうち、最も至近側の画像の対応する画素の合成比率を１００％にする。図４（ｃ）の場合では、並び順の４番の画素の合成比率を１００％にする。

具体的に、制御部１０１は、予め閾値を定め、極大値と両側とのコントラスト値の差の平均が閾値より小さい場合、前述するコントラスト値の比較と調整とを行う。

ステップＳ２０７での処理が終わると、ステップＳ２０８で制御部１０１は、すべての画素に対する合成マップの補正処理が終了したかどうかについて判断する。終了していなければ、画像処理部１０７には、次の画素を内蔵メモリ１０９から入力し、ステップＳ２０６からの処理を行う。終了していれば、ステップＳ２１０に入り、合成マップに基づいて、画像の合成を行う。また、ここでも、前述するステップＳ２０５と同様に、必要に応じ、画像処理部１０７はステップＳ２０７で補正済みの合成マップに対して所定の画素数を持つフィルタをかけて、隣接画素間で合成比率が段階的に変化するようにする。

第１の実施形態によれば、合焦位置を変えて撮像した複数の画像を用いて合成するとき、合成時に位置が重なる画素の複数の画像間での合成比率を調整することで、被写体の前後の位置関係を正しく反映する合成画像を生成することができる。なお、ここでは画素ごとにコントラスト値および合成比率を求める構成を例に挙げて説明したが、処理負荷を軽減するため、複数の画素からなるブロックごとにコントラスト値および合成比率を求めても構わない。すなわち、画像に含まれる複数の部分領域ごとに、コントラスト値と合成比率を求める構成であれば、その領域の大きさは、処理負荷や画質を考慮して任意の大きさに設定することが可能である。

（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、画像処理部１０７が算出したコントラスト値を、補正係数を用いる補正を経て、合成比率の調整の必要がある画素の判断に用いる。第２の実施形態での全体処理は、第１の実施形態の図２に示したフローチャートと同じであるが、ステップＳ２０６での合成比率の調整処理は、第１の実施形態と異なる。以下では、合成比率の調整処理を中心に、第２の実施形態について説明する。なお、第１の実施形態と同様な処理については、説明を省略する。

図６は、第２の実施形態における合成比率の調整処理を説明するための図である。ステップＳ６０１で、制御部１０１は、第１の実施形態のステップＳ５０１と同様に、コントラスト値の極大値を検出する。ステップＳ６０２で、制御部１０１は、第１の実施形態のステップＳ５０２と同様に、コントラスト値の極大値を検出する。

ステップＳ６０３で、制御部１０１は、各々の画像の対応する画素のコントラスト値に対して、補正を行う。図７は、コントラスト値の補正を説明するための図である。図７（ａ）では、並び順の２番と７番との画像でそれぞれ前方被写体と後方被写体とに合焦し、図７（ｂ）では、並び順の５番と７番との画像でそれぞれ前方被写体と後方被写体とに合焦する。図７（ａ）および（ｂ）で、前方被写体に合焦するときのコントラスト値をそれぞれＣ＿ｎｅａｒ１とＣ＿ｎｅａｒ２とし、後方被写体に合焦するときのコントラスト値をともにＣ＿ｆａｒとする。

合成比率の調整の必要がある画素において、前後の被写体のどちらか一方に合焦するとき、もう一方のボケ具合は、前後の被写体の間の距離が大きいほど、大きくなる。したがって、合焦位置を考慮し、ステップＳ６０１で算出したコントラスト値に対して補正を行う。その一例としては、至近側の画像の画素のコントラスト値に対して、補正係数をかけ、その結果を修正後のコントラスト値とする。図７（ｃ）では、並び順２番の番号を持つ画素のコントラスト値Ｃ＿ｎｅａｒ１に対して、補正係数Ｗ＿ｎｅａｒ１をかけ、補正後のコントラスト値Ｃ＿ｎｅａｒ１´が得られる。同様に、図７（ｄ）では、並び順５番の番号を持つ画素のコントラスト値Ｃ＿ｎｅａｒ２に対して、補正係数Ｗ＿ｎｅａｒ２をかけ、補正後のコントラスト値Ｃ＿ｎｅａｒ２´が得られる。図７（ｃ）および（ｄ）では、後方において、同じく並び順の７番の画像に合焦しているが、図７（ｃ）は、図７（ｄ）と比べ、前方被写体と後方被写体との距離が大きい。図７（ｃ）において、並び順の２番の画像のボケ具合はより大きく、合成画像における被写体の前後位置の乱れが発生しやすいため、補正係数を大きくする必要がある。つまり、制御部１０１は、補正係数Ｗ＿ｎｅａｒ１が補正係数Ｗ＿ｎｅａｒ２より大きくなるように設定する。具体的に、図７（ｃ）と図７（ｄ）では、コントラスト値が極大値となる対応する画素のうち、最も無限側となる画素との距離に応じて、１より大きな補正係数を与える。一方、コントラスト値が極大値となる対応する画素のうち、最も無限側となる画素には、補正係数として１を与える、あるいは、補正を行わない。

ステップＳ６０４で、制御部１０１は、最も至近側のコントラスト値の極大値が最大値であるかどうかについて判断する。図７（ｃ）のように、最も至近側の極大値が最大値である場合、ステップＳ６０５に移り、制御部１０１は、処理中の画素が合成比率の調整の必要がある画素であると判断する。図７（ｄ）のように、最も至近側の極大値が最大値でない場合、ステップＳ６０６に移り、制御部１０１は、処理中の画素が合成比率の調整の必要がある画素でないと判断する。

以上の判断の理由について説明する。最も至近側の極大値７０２をもつ画素の合焦位置は、ほかの極大値を持つ画素と比べ、後方被写体との距離がより大きく、前述する補正係数がより十分大きく設定されている。前方被写体の画像の対応する画素のコントラスト値７０２に十分大きい補正係数をかける以上、後方被写体に合焦するときの画像の対応する画素のコントラスト値７０３より大きくなるはずである。それにもかかわらず、前方被写体の画像の対応する画素のコントラスト値７０２の補正後の値７１２が、後方の画像の対応する画素のコントラスト値７０３より小さいことがあるとしたら、ノイズなどの影響による値と考えられる。つまり、そもそもコントラスト値７０２は、前方被写体に合焦していなく、コントラスト値８０２が極大値となるのは、ノイズなどの影響による値と考えられる。したがって、このような場合、処理中の画素の合成比率の調整処理をしない。

第２の実施形態によれば、合焦位置を変えて撮像した複数の画像を用いて合成するとき、被写体の間の距離によるボケ具合とノイズとの影響を考慮し、被写体の前後位置関係を正しく反映することができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子を内蔵したスマートフォンやタブレットなどの携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００デジタルカメラ
１０１制御部
１０２駆動部
１０３光学系
１０４撮像部
１０５ＲＯＭ
１０６ＲＡＭ
１０７画像処理部
１０８表示部
１０９内蔵メモリ
１１０操作部

Claims

光学系の合焦位置を変えながら撮像した複数の画像の各々の部分領域についてコントラスト値を算出するコントラスト値の算出手段と、
前記複数の画像の前記部分領域ごとの前記コントラスト値と、前記複数の画像を撮像した際の前記合焦位置に基づいて設定される合成比率で前記複数の画像を合成する合成手段と、を有し、
前記合成手段は、前記領域ごとに、前記光学系の前記合焦位置の順で前記複数の画像の前記コントラスト値を並べた際に、前記コントラスト値が所定値以上の極大値が２つ以上存在する場合には、前記コントラスト値が所定値以上の極大値に対応する複数の画像のうち、最も手前側に位置する画像の前記合成比率を最も高く設定することを特徴とする画像処理装置。
前記合成手段は、前記領域ごとに前記複数の画像のコントラスト値を比較し、前記領域ごとに、前記複数の画像のうち前記コントラスト値が最も大きくなる画像の前記合成比率を最も高くすることを特徴とする請求項１に記載の画像処理装置。
前記合成手段は、前記コントラスト値が所定値以上の極大値が２つ以上存在する場合に、最も手前側に位置する画像の前記合成比率を最も高く設定することを特徴とする請求項１または２に記載の画像処理装置。
前記合成手段は、前記複数の画像のうちいずれかの画像の前記合成比率を１とし、他の画像の前記合成比率を０とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記合成手段は、１つ以上の極大値に対して補正係数を用いて補正を行い、補正後の極大値に基づいて、いずれかの画像の前記合成比率を最も高く設定することを特徴とする請求項１に記載の画像処理装置。
前記合成手段は、最も手前側に位置する画像の補正後の極大値が、他の極大値よりも大きい場合に、前記最も手前側に位置する画像の前記合成比率を最も高く設定することを特徴とする請求項５に記載の画像処理装置。
前記合成手段は、それぞれの極大値に対応する画像の前記合焦位置に基づいて、前記補正係数を設定することを特徴とする請求項５または６に記載の画像処理装置。
前記合成手段は、最も手前側に位置する画像の極大値に対する補正係数を、最も大きくすることを特徴とする請求項７に記載の画像処理装置。
光学系の合焦位置を変えながら撮像した複数の画像の各々の部分領域についてコントラスト値を算出するコントラスト値の算出ステップと、
前記複数の画像の前記部分領域ごとの前記コントラスト値と、前記複数の画像を撮像した際の前記合焦位置に基づいて設定される合成比率で前記複数の画像を合成する合成ステップと、を有し、
前記合成ステップにおいては、前記領域ごとに、前記光学系の前記合焦位置の順で前記複数の画像の前記コントラスト値を並べた際に、前記コントラスト値が所定値以上の極大値が２つ以上存在する場合には、前記コントラスト値が所定値以上の極大値に対応する複数の画像のうち、最も手前側に位置する画像の前記合成比率を最も高く設定することを特徴とする画像処理方法。
光学系の合焦位置を変えながら撮像した複数の画像の各々の部分領域についてコントラスト値を算出するコントラスト値の算出ステップと、
前記複数の画像の前記部分領域ごとの前記コントラスト値と、前記複数の画像を撮像した際の前記合焦位置に基づいて設定される合成比率で前記複数の画像を合成する合成ステップと、をコンピュータによって実行させ、
前記合成ステップにおいては、前記領域ごとに、前記光学系の前記合焦位置の順で前記複数の画像の前記コントラスト値を並べた際に、前記コントラスト値が所定値以上の極大値が２つ以上存在する場合には、前記コントラスト値が所定値以上の極大値に対応する複数の画像のうち、最も手前側に位置する画像の前記合成比率を最も高く設定することを特徴とするコンピュータプログラム。
請求項１０に記載の前記コンピュータプログラムを記憶したコンピュータが読み取り可能な記憶媒体。