JP6140935B2 - 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 - Google Patents

Description

本発明は、複数の撮影画像から被写体距離を推定する画像処理技術に関する。

画像処理によって、被写界深度が深い画像から被写界深度が浅い画像を生成する技術が知られている（例えば、特許文献１，２などを参照）。被写界深度が浅い画像の生成は、被写体の距離分布を表す距離マップを作成し、作成した距離マップに基づいて主被写体と背景とを分離し、背景画像のみをぼかすことで実現することができる。

特開平０７−０２１３６５号公報 特開平０９−１８１９６６号公報

距離マップの作成は、撮影した複数の画像を解析することで行う方法が一般的である。具体的には、フォーカス位置の異なる複数の画像のぼけ方の違いから距離を推定するＤＦＤ法（Depth from Defocus法）や、画像間の画素の対応関係から三角測量の原理に基づいて距離を推定するステレオ法などがある。撮影時に被写体に超音波や赤外線などを照射して距離を取得するアクティブ方式に対して、これらの方法はパッシブ方式と呼ばれ、特殊な装置を必要としないため多く利用されている。

しかし、これらのパッシブ方式は、撮影した画像を解析するものであるため、撮影シーンによっては正しく被写体の距離を推定できない場合がある。前述のＤＦＤ法は、ステレオ法のように画素間の対応関係を探索する必要がないという特長があるが、画像中のぼけを距離算出の手掛かりとして使用するため、手掛かりに乏しい領域が画像中にあった場合は、誤った距離マップを生成してしまうという問題がある。
誤った距離マップを利用して被写界深度が浅い画像を生成しようすると、正しく距離マップが求められていない領域において正しいぼけ効果が得られなくなる。すなわち、ぼけてほしくない主被写体領域がぼけたり、ぼかしたい背景領域がぼけていなかったりといった、視覚的に著しい画質劣化が発生するという問題があった。

本発明は、上記課題を解決するために、推定した被写体距離の誤差を低減させることで、ぼけ付加処理における画質劣化を低減することが可能な画像処理装置、画像処理方法、画像処理プログラム、および撮像装置を提供することを目的とする。

上記課題を解決するための、本発明の第一の形態に係る画像処理装置は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、を有し、前記信頼度情報作成手段は、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定することを特徴とする。
また、本発明の第二の形態に係る画像処理装置は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、を有し、前記信頼度情報作成手段は、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成することを特徴とする。
また、本発明の第三の形態に係る画像処理装置は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、前記距離情報算出手段が算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御手段と、を有
し、前記被写界深度制御手段は、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくすることを特徴とする。

また、本発明の第一の形態に係る画像処理方法は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、を含み、前記作成ステップでは、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定することを特徴とする。
また、本発明の第二の形態に係る画像処理方法は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、を含み、前記作成ステップでは、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成することを特徴とする。
また、本発明の第三の形態に係る画像処理方法は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、前記算出ステップで算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御ステップと、を含み、前記被写界深度制御ステップでは、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくすることを特徴とする。

また、本発明の第一の形態に係る画像処理プログラムは、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報
に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、を実行させ、前記作成ステップでは、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定することを特徴とする。
また、本発明の第二の形態に係る画像処理プログラムは、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、を実行させ、前記作成ステップでは、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成することを特徴とする。
また、本発明の第三の形態に係る画像処理プログラムは、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、前記算出ステップで算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御ステップと、を実行させ、前記被写界深度制御ステップでは、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくすることを特徴とする。

本発明によれば、推定した被写体距離の誤差を低減させることで、ぼけ付加処理における画質劣化を低減することが可能な画像処理装置、画像処理方法、画像処理プログラム、および撮像装置を提供することができる。

撮像装置の構成を示すブロック図。 被写界深度制御回路の構成を示すブロック図。 撮像装置の動作フローチャート図。 フォーカス画像とデフォーカス画像の例を示す図。 信頼度マップの生成処理を説明する図。 位置合わせ処理の概要を説明する図。 距離マップ補正処理の概要を説明する図。 ＤＦＤ法によって距離を推定する原理を説明する図。

以下、本発明の好ましい実施形態について図面を参照しながら説明する。ただし、発明の範囲は実施形態の説明で図示した例に限定されるものではない。
本実施形態に係る撮像装置は、フォーカス位置の異なる複数の画像を撮影する機能と、撮影した複数の画像を処理することによって、被写界深度を浅くした画像を生成する機能を有する。

<システム構成>
図１ａは、本実施形態に係る撮像装置のシステム構成である。撮像装置１は、本発明に係る画像処理装置を含むデジタルスチルカメラ、デジタルビデオカメラ等である。

符号１００は撮影レンズであり、撮像素子１０２に被写体光を導く。また、符号１０１は絞りやシャッタ等を含む露光制御部材である。撮影レンズ１００を介して入射された被写体光は、露光制御部材１０１を介して撮像素子１０２に入射される。
撮像素子１０２は被写体光を電気信号に変換して出力する撮像素子であり、典型的にはＣＣＤやＣＭＯＳ等のイメージセンサで構成される。
画像形成回路１０３は、撮像素子１０２から出力されたアナログ信号をデジタル化して画像化するための画像形成回路である。画像形成回路１０３は、不図示のアナログ／デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換処理回路などによって構成される。また、形成した画像の被写界深度を変更するための被写界深度制御回路を含んでいる。当該被写界深度制御回路が、本発明における画像処理装置に相当する。

露光制御部１０４は、露光制御部材１０１を制御する手段である。また、測距制御部１０５は撮影レンズ１００のフォーカシングを制御する手段である。露光制御部１０４および測距制御部１０５は、例えば、ＴＴＬ方式（Through the Lens，撮影用のレンズを実際に通った光を測定することで露出やフォーカスを制御する方式）を用いて制御される。
システム制御回路１０６は、撮像装置１全体の動作を司る制御回路である。撮影のための光学系の制御と、撮影した画像をデジタル処理するための制御を行う。
メモリ１０７は、システム制御回路１０６で用いる動作制御用のデータ、および処理プログラムなどを記録するフラッシュＲＯＭ等を用いたメモリである。また、不揮発性メモリ１０８は各種調整値などの情報を記憶する、電気的に消去および記録可能なＥＥＰＲＯＭ等の不揮発性メモリである。
フレームメモリ１０９は、画像形成回路１０３で生成された画像を数フレーム分記憶するフレームメモリである。また、メモリ制御回路１１０は、フレームメモリ１０９に入出力される画像信号を制御するメモリ制御回路である。画像出力部１１１は、画像形成回路１０３で生成された画像を不図示の画像出力装置に表示するための画像出力部である。

次に、画像形成回路１０３に含まれる被写界深度制御回路の構成を、図１ｂを参照しながら説明する。
なお、本発明に係る画像処理装置、すなわち本実施形態における被写界深度制御回路は、専用の回路を用いて実現されてもよいし、コンピュータによって実現されてもよい。コンピュータによって実現される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって図１ｂに図示した各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）

位置合わせ部２０１は、撮影した複数の画像の位置合わせを行う手段であり、本発明における位置ずれ検出手段を含んでいる。本実施形態では距離の推定にＤＦＤ法を用いるため、フォーカス画像とデフォーカス画像の二枚の画像を用いて処理を行う。この二枚の画像は、連続して撮影された画像であるため、被写体の位置が完全には一致していない場合がある。この画像間のずれ幅及び／又はずれ方向を領域ごとに取得し、位置ずれを検出し、位置を合わせるための手段が位置合わせ部２０１である。なお、以降の説明において、フォーカス画像とは被写体に合焦した画像を指し、デフォーカス画像とは当該フォーカス画像と被写体のぼけ方が異なる画像のことを指す。

距離マップ推定部２０２は、二枚の画像にＤＦＤ法を適用して、被写体距離を領域ごとに推定し、当該距離の画像上での分布を表す距離マップを作成する手段である。ＤＦＤ法の詳細については後述する。
信頼度マップ算出部２０３は、距離マップ推定部２０２が作成した距離マップがどの程度信頼できるかを表す信頼度を領域ごとに決定し、当該信頼度の画像上での分布を表す信頼度マップを作成する手段である。信頼度の算出方法の詳細については後述する。信頼度マップ算出部２０３が、本発明における信頼度情報算出手段である。

距離マップ補正部２０４は、信頼度マップ算出部２０３が作成した信頼度マップを元に、距離マップを補正し、補正距離マップを作成する手段である。距離マップの補正方法については後述する。距離マップ推定部２０２、および距離マップ補正部２０４が、本発明における距離情報算出手段である。
被写界深度制御部２０５は、距離マップ補正部２０４が作成した補正距離マップを元に、撮影画像に対してぼけの付加を行う手段である。被写界深度制御部２０５が、本発明における被写界深度制御手段である。

<処理フローチャート>
次に、撮像装置１の動作について、処理フローチャートを用いて詳細に説明する。
図２（ａ）は、撮像装置１が被写体を撮影してから、撮影画像に対して所定のぼけを付加、すなわち被写界深度が浅い画像を生成し、表示するまでの処理を示すフローチャートである。

不図示の撮影開始ボタンが押下されると、ステップＳ２０１が開始される。
ステップＳ２０１ではまず、露光制御部１０４や測距制御部１０５によって、露出制御や焦点制御などが行われ、撮影条件が決定される。その後、撮像素子１０２が光学系１００を介して結像された被写体像を光電変換し、被写体輝度に応じたアナログ信号を生成する。その後、撮像素子１０２で生成されたアナログ画像信号が画像形成回路１０３を介してデジタル画像化され、フレームメモリ１０９に記録される。ステップＳ２０１で得られる画像はフォーカス画像である。

ステップＳ２０２では、ステップＳ２０１で撮影した画像に対して被写体のぼけ方が変わるように、フォーカス位置、開口絞り、焦点距離などの撮影条件を変更して同様に撮影を行う。撮影条件は、同一の被写体に対して異なるぼけの程度を得ることができれば、どのように変更されてもよい。撮影された画像は、同様にフレームメモリ１０９に記録される。ステップＳ２０２で得られる画像はデフォーカス画像である。なお、ステップＳ２０１での撮影と、ステップＳ２０２での撮影は、被写体の位置にずれが生じないよう短時間のうちに連続して行われることが好ましい。

ステップＳ２０３では、画像形成回路１０３が、フレームメモリ１０９に記録された画像に対して画像処理を行う。画像処理とは、例えばホワイトバランス、画素補間、色変換処理、ノイズ低減処理などの処理である。
また、ステップＳ２０３では、画像形成回路１０３に含まれる被写界深度制御回路が、フレームメモリ１０９に記録された画像に対して距離マップを推定する処理と、推定した距離マップに基づいて画像の被写界深度を変更する処理を行う。以降、この二つの処理を被写界深度制御処理と称する。被写界深度制御処理と、その他の画像処理の実行順序は、得られる画像が最適となるように設定すればよく、特に限定されるものではない。その他の画像処理におけるパラメータについても同様である。

図２（ｂ）は、ステップＳ２０３で行われる被写界深度制御処理の詳細を示したフローチャートである。
まず、ステップＳ２１１では、信頼度マップ算出部２０３がフォーカス画像を解析して信頼度マップを作成する。信頼度マップとは、ステップＳ２１３で作成する距離マップの信頼度を表すマップであり、ＤＦＤ法によって推定した被写体との距離が、どの程度正確であるかを表すマップである。この信頼度マップは、撮影画像が有する画素ごとに分割されたマップであってもよく、矩形領域など特定の小ブロックに分割されたマップであってもよい。その分割サイズまたは形状に制限は無い。本実施形態では、撮影画像を矩形領域に分割する。

具体例を、図３（ａ）および図３（ｂ）を用いて説明する。図３（ａ）は、ステップＳ２０１で撮影されたフォーカス画像を表し、図３（ｂ）はステップＳ２０２で撮影されたデフォーカス画像を表している。

信頼度マップは、図３（ａ）のフォーカス画像を基に生成する。具体的には、分割した矩形領域ごとに信頼度を決定し、信頼度マップに割り当てていく。信頼度とは、具体的には、デフォーカスの影響が当該領域にどの程度出やすいかを表す値である。デフォーカスの影響が出にくい領域であるということは、ＤＦＤ法で距離を算出するための手がかりに乏しい領域であることを意味するため、信頼度が低い領域は、算出した距離が正確ではな
い領域であることを意味する。
例えば、図３（ａ）の例の場合、太陽などの輝度が高い部分（符号３０２）や、空などの輝度変化の無い部分（符号３０３）は、デフォーカスの影響が出にくいためにぼけの違いを検出しにくい部分であるため、距離が正確に推定できない、すなわち信頼度が低い部分であると考えられる。

領域に対応する信頼度、すなわちぼけの違いの検出しやすさは、当該領域に存在する画素の輝度値や彩度値、色相、領域の周波数特性などに基づいて判断することができる。具体的には、以下のような領域が、信頼度が低い領域であると判断することができる。
例１）領域内の画素が持つ輝度値の平均が、所定の範囲から外れている場合
例２）領域内の画素が持つ輝度値の変化が乏しい場合
例３）領域内の空間周波数が所定の値より低い場合
このように、信頼度を決定するための評価基準には複数のものを用いることができる。また、例示したもの以外の評価基準を用いてもよい。

図３（ａ）のフォーカス画像に対して、複数の評価基準を適用して領域毎に信頼度を決定し、信頼度マップを生成する例を、図４を参照しながら説明する。なお、ここでは説明のため、信頼度マップを４×４の１６領域に分割したものとする。
「平均輝度が閾値よりも高い領域に対して低い信頼度を与える」という評価基準によって生成された信頼度マップが図４（ａ）である。また、「輝度の変化幅が閾値よりも低い領域に対して低い信頼度を与える」という評価基準によって生成された信頼度マップが図４（ｂ）である。割り当てる信頼度の値は、任意の数値で表してもよいし、最大値〜最小値を正規化して０〜１の数値で表すなどしてもよい。その表現方法に特に規定はない。
本実施形態では、ステップＳ２１１で、図４（ａ）に示した信頼度マップと、図４（ｂ）に示した信頼度マップの二つを生成する。本実施形態では、異なる評価基準によって二つの信頼度マップを生成するが、生成される信頼度マップはいくつであってもよいし、一つに統合されて出力されてもよい。

次に、ステップＳ２１２で、位置合わせ部２０１がフォーカス画像とデフォーカス画像の位置ずれを検出し、信頼度マップ算出部２０３が、当該検出結果に基づいてさらに信頼度マップを生成する。
位置合わせは、撮影条件の変更による像倍率の変化やカメラの移動による影響を最小限にするための処理である。また、位置合わせを行う際の位置ずれ量（移動量）及び／又は位置ずれ方向（移動方向）、すなわちフォーカス画像およびデフォーカス画像の位置ずれを用いて、ステップＳ２１２で生成した信頼度マップとは別の信頼度マップを生成する。位置ずれから信頼度マップを生成するのは、フォーカス画像とデフォーカス画像の対応する領域が大きく離れている場合、当該領域はＤＦＤ法によって推定した距離が不正確であることが予想されるためである。
位置合わせ処理は、画像を複数の領域に分割して、領域毎に動きベクトルを算出することで行う。図５は、位置合わせ処理の概要を表した図である。

図５（ａ）は、画像を不図示の微小領域に分割して行ったブロックマッチングの結果である。符号５０１で示した各矢印が、当該微小領域に対して算出された動きベクトルを表す。そして、これらの動きベクトルを、符号５０２で示した４×４の大きな領域毎にまとめ、当該領域に対する動きベクトルである代表動きベクトル５０３を算出する。図５（ｂ）が、領域ごとの代表動きベクトルを表す図である。代表動きベクトルは、平均値やメディアン値などを用いて算出することができる。この算出方法は特定の方式に限定されるものではない。

ここで、フォーカス画像とデフォーカス画像との間で、図３における主被写体３０１の
頭部のみが右に動いていた場合を考える。すると、頭部が属する領域のみ、代表動きベクトル５０４の方向が周囲と異なる結果となる。したがって、当該頭部が属する領域はフォーカス画像とデフォーカス画像の対応が十分にとれていない領域であり、推定した距離の信頼度が低い領域であると判定できる。
ステップＳ２１２では、ある領域の代表動きベクトルの方向や大きさが、周辺の代表動きベクトルと異なるほど、当該領域に割り当てる信頼度を小さくする。例えば、対象領域の周辺にある複数領域の代表動きベクトルの平均値を算出し、当該平均値との差異が大きいほど、信頼度を小さくするようにしてもよい。
図４（ｃ）が、位置合わせ処理によって生成した信頼度マップである。前述した通り、代表動きベクトルが周囲と異なる領域４０３の部分が低信頼度となる。
なお、本実施形態では代表動きベクトルを算出してから信頼度を算出するようにしたが、必ずしもそのように算出する必要はなく、微小領域の動きベクトルから直接信頼度を算出してもよい。また、フォーカス画像とデフォーカス画像の差分を取得することで被写体の動きを検出し、周囲と比較して動きが大きい領域の信頼度を低くするようにしてもよい。

次に、ステップＳ２１３で、距離マップ推定部２０２が距離マップを作成する。
本実施形態では、距離マップの推定にＤＦＤ法を用いる。ここで、図７を用いてＤＦＤ法の原理を簡単に説明する。図７において、対象物体Ｐまでの距離ｕは、対象物体Ｐが合焦する位置ｖが既知であれば、レンズの焦点距離ｆから、数式１を用いて算出することができる。

ＤＦＤ法においては、撮像面位置と対象物体Ｐの合焦位置とが異なることを前提として、撮像面上に投影された像のぼけの程度から合焦位置ｖを求め、これを数式１に代入することで対象物体Ｐまでの距離を算出する。撮像面がｓ_１にある場合、距離ｕの物体表面上の点は撮像面上において錯乱円と呼ばれる円形に拡散し、数式２で表される像ｉ_１を形成する。

ここで、＊は畳み込み演算を示し、ｉ_０は合焦している位置での像を表す。また、ｈ_１はＰＳＦ（Point Spread Function，点拡がり関数）であり、撮像面と合焦位置との距離
ｖ−ｓ_１に比例する錯乱円の直径ｄ_１に依存する。そこで、錯乱円直径をパラメータとするＰＳＦモデルを仮定し、像ｉ_１から錯乱円直径ｄ_１を推定する。
ただし、数式２からもわかるように、観測画像ｉ_１は対象物体の像ｉ_０に依存しているため、このままでは錯乱円直径ｄ_１は求めることができない。そこで、異なる撮像面位置ｓ_２における観測画像ｉ_２を撮像し、画像の周波数領域における観測画像ｉ_１と観測画像ｉ_２との比を取ることにより、数式３のように観測画像とＰＳＦの関係を導出できる。

ここで、Ｉ_１、Ｉ_２、Ｉ_０、Ｈ_１、Ｈ_２はそれぞれ観測画像ｉ_１、ｉ_２、合焦画像ｉ_０、ＰＳＦであるｈ_１、ｈ_２のフーリエ変換結果を表す。この、ＰＳＦをフーリエ変換したものの比を、光学系パラメータから事前に算出して表を作成しておき、実際に算出したものから距離値を算出することができる。
本実施形態においては、画像を４×４の領域に分割し、画像中のそれぞれの領域に対し
て、算出した被写体との距離値を与えた距離マップを作成する。

処理フローチャートの説明を続ける。ステップＳ２１４では、算出した複数の信頼度マップを統合し、統合信頼度マップを作成する。
図４を用いて、統合信頼度マップの作成処理を説明する。図４（ａ）および図４（ｂ）は、ステップＳ２１１でフォーカス画像を元に求めた信頼度マップである。また、図４（ｃ）は、ステップＳ２１２で行った位置合わせ処理により算出した信頼度マップである。これらの信頼度マップを図４（ｄ）のように統合する。
具体的には、各信頼度を所定の値域に正規化した後、領域毎に乗算することで算出する。統合のさせ方は、特定の方法に限定されるものではない。たとえば、撮影モード（動きが多いシーンや静止物を撮影するシーンなど）の違いによって信頼度に重み付けを行ってもよい。本実施形態では、説明を簡単にするため、ハッチングされた部分を「低信頼度」、その他の部分を「高信頼度」として二値化した統合信頼度マップを生成する。

ステップＳ２１５では、距離マップ補正部２０４が、ステップＳ２１４で作成された統合信頼度マップを用いて、ステップＳ２１３で作成された距離マップを補正する。
この処理の概要を、図６を用いて簡単に説明する。まず、ステップＳ２０１で取得されたフォーカス画像（図３（ａ））に対して、画像の輝度や色相が所定の範囲内となる複数の領域を設定する処理を行う。本例では、図６（ａ）に示したように、画像を４×４のブロックに分割し、それぞれ異なるハッチングで示した領域６０１〜６０４の４つの領域を設定するものとする。設定された４つのそれぞれの領域を補正領域と称する。ここでは説明を簡単にするため、本ステップで分割するブロックのサイズと、信頼度マップおよび距離マップが有する領域のサイズは同一とするが、互いのサイズは異なっていてもよい。

次に、ステップＳ２１４で生成した統合信頼度マップを用いて、ステップＳ２１３で算出した距離マップを補正する。ここでは、信頼度マップ中における信頼度が低い領域について、設定されている距離値を削除し、周囲にある信頼度が高い領域が持っている距離値を代入する処理を行う。
図６（ｂ）は、作成した距離マップから、信頼度が低い領域の距離値を削除した状態を表す図である。×印が付与された領域は、信頼度が低い領域であるため、距離値が削除されていることを意味する。そして、距離値を持たない領域の近傍に距離値を持つ領域がある場合、当該距離値を代入する。このとき、同じ補正領域に属する領域を優先する。

例えば、距離値が削除された領域６０７と同じ補正領域６０２に属する領域６０６は、距離が算出されている領域であるため、当該距離値を領域６０７に与える。同様に、領域６０８には、同一の補正領域６０３に属する領域６０５の距離値を与える。領域６０９は同じ補正領域に属する領域が存在しないため、周辺領域（例えば領域６０６や、距離値を与えた後の領域６０７）の距離値を与える。
以上の処理により、図６（ｃ）のように補正された距離マップを得ることができる。そして、前景および背景に分離するため、距離マップに閾値処理を行い、図６（ｄ）に示した二値の距離マップを得る。このようにして得られた距離マップが、本発明における補正距離マップである。なお、本例では距離値の取得において、同じ補正領域に属する領域を優先したが、距離が近い領域から優先的に得てもよいし、周辺にある複数の領域に対応する距離値を取得し、その平均を使用するなどしてもよい。

ステップＳ２１６では、被写界深度制御部２０５が、ステップＳ２１５で補正された距離マップを用いて、被写界深度を変更する処理を行う。
具体的には、図３（ａ）のフォーカス画像の、図６（ｄ）の背景領域６０９に対応する領域に所定の二次元フィルタを適用し、積和演算をすることで、被写界深度を浅くした画像を得る。このフィルタは、ガウス関数など利用してもよいし、特定のレンズを模したフ
ィルタを適用してもよい。また、演算方式は、積和演算に限るものではなく、ＦＦＴなど周波数空間を利用したものであってもよい。その演算方式に限定は無い。また、ここで、図６（ｄ）の前景領域６１０と背景領域６０９との間に適切な遷移領域を加え、急激な変化を避けるようにしてもよい。

次に、処理はステップＳ２０４に移り、システム制御回路１０６が、ステップＳ２０３で作成された被写界深度の浅い画像を、画像出力部１１１を介して不図示の画像表示装置へ出力する。

以上、説明したように、本実施形態に係る撮像装置は、フォーカスした画像とデフォーカスした画像から距離マップを算出し、信頼度を考慮して距離マップを補正し、補正した距離マップを用いてぼけ付加画像を生成する。このように構成することで、推定した距離の誤差を低減させることができ、ぼけの付加処理における画像劣化を回避することが可能となる。

なお、実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、実施形態の説明では、本発明に係る画像処理装置を撮像装置に組み込んだ形態について述べたが、フォーカス画像とデフォーカス画像の二つの画像を取得することができれば、本発明は他の装置に適用することもできる。例えば、映像再生装置や画像表示装置にも適用することもできるし、画像や動画にぼけを付加する画像処理ソフトウェアや、動画編集ソフトウェアなどとして実施することもできる。

また、実施形態の説明では、信頼度が低い領域の距離値を削除し、周囲の領域から距離値を補完したが、距離値を直接補正してもよい。
この他にも、信頼度によって被写界深度制御用の強度パラメータを変更してもよい。例えば、信頼度が低い領域については、ぼけの付加量にゲインをかけ、ぼかしを弱く調整することで視覚的な画像劣化を緩和する処理を行ってもよい。
また、実施形態の説明では、動きベクトルから信頼度マップを生成した。しかし、ぼけ方の異なる複数の画像間の位置ずれが拡大縮小及び／又は回転を含む場合には、検出した位置ずれ量及び位置ずれ方向から複数の画像間の拡大縮小及び／又は回転を位置ずれとして算出し、その算出結果に基づいて信頼度情報を作成しても良い。

また、実施形態の説明では、画像を解析することによって信頼度マップを生成する処理（ステップＳ２１１）と、位置合わせの結果によって信頼度マップを生成する処理（ステップＳ２１２）を行う形態について述べたが、後者の処理のみを行ってもよい。フォーカス画像に対する画像解析を行わなくても、本発明の目的は達成することができる。

また、本発明は、上記処理の少なくとも一部を含む画像処理方法として実施することもできるし、これらの方法をコンピュータに実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

２０１ 位置合わせ部、２０２ 距離マップ推定部、２０３ 信頼度マップ算出部、２０４ 距離マップ補正部、２０５ 被写界深度制御部

Claims (17)

1. ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、
   前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、
   前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、
   検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、
   を有し、
   前記信頼度情報作成手段は、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定する
   ことを特徴とする画像処理装置。
2. ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、
   前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、
   前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、
   検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、
   を有し、
   前記信頼度情報作成手段は、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成する
   ことを特徴とする画像処理装置。
3. ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、
   前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、
   前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、
   検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、
   前記距離情報算出手段が算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御手段と、
   を有し、
   前記被写界深度制御手段は、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくする
   ことを特徴とする画像処理装置。
4. 前記距離情報算出手段は、前記信頼度情報に基づいて、算出した距離情報を変更する
   ことを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記距離情報算出手段は、前記信頼度が所定の値よりも低い領域について、算出した距離情報のかわりに、前記信頼度が所定の値よりも高い他の領域に対応する距離情報を使用する
   ことを特徴とする、請求項４に記載の画像処理装置。
6. 前記距離情報算出手段は、領域内の画素の輝度または色相が所定の範囲内となる補正領域を決定し、前記信頼度が所定の値よりも低い領域について、算出した距離情報のかわりに、該領域と同一の補正領域に属する他の領域に対応する距離情報を使用する
   ことを特徴とする、請求項５に記載の画像処理装置。
7. 前記信頼度情報作成手段は、前記複数の画像のうち、より合焦している画像の周波数特性または画素の輝度値にさらに基づいて前記信頼度情報を作成する
   ことを特徴とする、請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記信頼度情報作成手段は、対象の領域における空間周波数が小さい場合に、空間周波数が大きい場合と比較してより低い信頼度を設定する
   ことを特徴とする、請求項７に記載の画像処理装置。
9. 前記距離情報算出手段が算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御手段
   をさらに有する
   ことを特徴とする、請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記位置ずれ検出手段は、前記複数の画像間の位置ずれ量および位置ずれ方向の双方を検出する
    ことを特徴とする、請求項１から９のいずれか１項に記載の画像処理装置。
11. 撮像手段と、請求項１から請求項１０のいずれか１項に記載の画像処理装置とを有する
    ことを特徴とする撮像装置。
12. ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、
    前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
    前記複数の画像から被写体の距離情報を算出する算出ステップと、
    検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
    を含み、
    前記作成ステップでは、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定する
    ことを特徴とする画像処理方法。
13. ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、
    前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
    前記複数の画像から被写体の距離情報を算出する算出ステップと、
    検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
    を含み、
    前記作成ステップでは、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成する
    ことを特徴とする画像処理方法。
14. ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、
    前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
    前記複数の画像から被写体の距離情報を算出する算出ステップと、
    検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
    前記算出ステップで算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御ステップと、
    を含み、
    前記被写界深度制御ステップでは、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくする
    ことを特徴とする画像処理方法。
15. ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、
    前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
    前記複数の画像から被写体の距離情報を算出する算出ステップと、
    検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
    を実行させ、
    前記作成ステップでは、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定する
    ことを特徴とする画像処理プログラム。
16. ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、
    前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
    前記複数の画像から被写体の距離情報を算出する算出ステップと、
    検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
    を実行させ、
    前記作成ステップでは、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成する
    ことを特徴とする画像処理プログラム。
17. ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、
    前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
    前記複数の画像から被写体の距離情報を算出する算出ステップと、
    検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
    前記算出ステップで算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御ステップと、
    を実行させ、
    前記被写界深度制御ステップでは、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくする
    ことを特徴とする画像処理プログラム。
    

Images