JP7204387B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関する。

被写界深度が浅い（狭い）条件で主被写体を撮影することにより背景や前景をボカし、主被写体を協調した画像を得る方法が知られている。また、前景と背景についてはボケた画像を、主被写体については合焦した画像を取得して合成することにより、指定した仮想の絞り値に対応した被写界深度の画像を生成する方法も提案されている（特許文献１）。

特開２００３－２０９７２７号公報

特許文献１の方法を用いることで、撮影環境や撮像装置による制約を受けない被写界深度の画像を得ることができる。しかしながら、被写界深度は絞り値だけでなく、合焦距離やレンズの焦点距離（画角）にも依存するため、所望の画像を得るために設定する仮想の絞り値を決定することは容易でない。また、複数枚の画像を合成するため、被写体が動くと合成画像の品質が低下する。

本発明はこのような従来技術の課題に鑑みてなされたものである。したがって、本発明の目的は、様々な被写界深度を有する画像の撮影を支援する画像処理装置及びその制御方法を提供することにある。

上述の目的は、上述の目的は、撮影された画像と、画像に撮影されたシーンの距離の分布を表す距離情報とを取得する取得手段と、距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する制御手段と、を有することを特徴とする画像処理装置によって達成されるによって達成される。撮影された画像と、画像に撮影されたシーンの距離の分布を表す距離情報とを取得する取得手段と、距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する制御手段と、を有し、制御手段は、距離情報に基づいて合焦被写体よりも遠くに存在する非合焦被写体を検出する解析手段と、非合焦被写体ごとにボケ量を算出する算出手段と、ボケ量に基づいて複数の絞り値を決定する決定手段と、を有し、決定手段は、非合焦被写体に対して複数のボケ量が算出された場合、複数のボケ量を重み加算したボケ量に基づいて絞り値を決定することを特徴とする画像処理装置によって達成される。

本発明によれば、様々な被写界深度を有する画像の撮影を支援する画像処理装置及びその制御方法を提供することができる。

実施形態に係る画像処理装置の一例であるデジタルカメラの機能構成例を示すブロック図 実施形態におけるブラケット撮影時の動作に関するフローチャート シーン解析部の動作を説明するための模式図 シーン解析部の動作を説明するための模式図 ボケ量算出部の操作を説明するための模式図 ボケ量算出部の操作を説明するための模式図 絞り値の決定方法を説明するための図 距離情報の信頼度について説明するための模式図

以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、本発明は説明する実施形態に限定されない。また、実施形態で説明される構成要素の全てが本発明に必須とは限らない。実施形態における個々の機能ブロックは、プログラマブルロジックや回路部品といったハードウェア、プログラマブルプロセッサが実行可能なソフトウェア、またはそれらハードウェアとソフトウェアとの組み合わせによって実現することができる。また、１つの機能ブロックは複数のハードウェアで実現されてもよい。また、１つのハードウェアが複数の機能ブロックを実現してもよい。また、１つ以上の機能ブロックは、１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵなど）がメモリに読み込まれたコンピュータプログラムを実行することにより実現されてもよい。

以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。なお、説明する実施形態は単なる例示であり、本発明の範囲を限定するものではない。例えば、以下では本発明をデジタルカメラに適用した実施形態を説明する。しかし、デジタルカメラは本発明を適用可能な画像処理装置の一例にすぎない。本発明は任意の電子機器において実施可能である。このような電子機器には、デジタルカメラやデジタルビデオカメラといった撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。なお、本発明には撮影機能は必須でなく、外部の撮像装置から画像を取得して撮影条件を決定し、外部の撮像装置による撮影動作を制御する装置で実施することもできる。

（デジタルカメラの構成）
図１は実施形態に係るデジタルカメラ１００の機能構成例を示すブロック図である。デジタルカメラ１００は動画および静止画の撮影ならびに記録が可能である。デジタルカメラ１００内の各機能ブロックは、バス１６０を介して互いに通信可能に接続されている。デジタルカメラ１００の動作は、主制御部１５１が有する１つ以上のプログラマブルプロセッサが例えばＲＯＭ１５５に記憶されているプログラムをＲＡＭ１５４に読み込んで実行し、各機能ブロックを制御することにより実現される。また、特に記載が無い限り、各機能ブロックは、ＡＳＩＣなどのハードウェア回路、もしくは、１つ以上のプログラマブルプロセッサがプログラムをメモリに読み込んで実行することにより実現することができる。

撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１、ズームモータ（ＺＭ）１１２、絞りモータ（ＡＭ）１０４、およびフォーカスモータ（ＦＭ）１３２を有する。固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１は撮影光学系を構成する。なお、便宜上レンズ１０２、１１１、１２１、１３１を１枚のレンズとして図示しているが、それぞれ複数のレンズで構成されてもよい。また、撮影レンズ１０１は撮像装置１００から取り外し可能な交換レンズとして構成されてもよい。

絞り制御部１０５は、主制御部１５１の命令にしたがって絞りモータ１０４の動作を制御し、絞り１０３の開口径を変更する。
ズーム制御部１１３は、主制御部１５１の命令にしたがってズームモータ１１２の動作を制御し、撮影レンズ１０１の焦点距離（画角）を変更する。

フォーカス制御部１３３は、例えば撮像素子１４１から得られる１対の焦点検出用信号の位相差に基づいて撮影レンズ１０１のデフォーカス量およびデフォーカス方向を算出する。そしてフォーカス制御部１３３は、デフォーカス量およびデフォーカス方向をフォーカスモータ１３２の駆動量および駆動方向に変換する。この駆動量および駆動方向に基づいてフォーカス制御部１３３はフォーカスモータ１３２の動作を制御し、フォーカスレンズ１３１を駆動することにより、撮影レンズ１０１の焦点状態を制御する。

このように、フォーカス制御部１３３は位相差検出方式の自動焦点検出（ＡＦ）を実施するが、フォーカス制御部１３３は撮像素子１４１から得られる画像信号のコントラスト評価値に基づくコントラスト検出方式のＡＦを実行してもよい。また、撮像素子１４１とは別個に設けたＡＦセンサから得られる焦点検出用信号を用いて位相差検出方式のＡＦを実行してもよい。なお、フォーカス制御部１３３におけるＡＦ動作において、後述する画像処理部１５２が検出する主被写体の領域に焦点検出領域を設定することができる。

撮影レンズ１０１によって撮像素子１４１の結像面に形成される被写体像は、撮像素子１４１に配置された複数の画素のそれぞれが有する光電変換素子により電気信号（画像信号）に変換される。本実施形態では、撮像素子１４１に、水平方向にｍ、垂直方向にｎ（ｎ，ｍは複数）の画素が行列状に配置されており、各画素には２つの光電変換素子（光電変換領域）が設けられている。撮像素子１４１からの信号読み出しは、主制御部１５１からの指示に従ってセンサ制御部１４３が制御する。

個々の画素が有する２つの光電変換領域を領域Ａおよび領域Ｂと呼び、個々の画素の領域Ａから読み出した画像信号群からなる画像をＡ画像、個々の画素の領域Ｂから読み出した画像信号群からなる画像をＢ画像と呼ぶ。また、Ａ画像とＢ画像を画素単位で加算した画像をＡ＋Ｂ画像と呼ぶ。Ａ画像とＢ画像は視差画像対を形成する。表示や記録にはＡ＋Ｂ画像を用いる。また、位相差検出方式のＡＦに用いる焦点検出用信号の生成や、距離マップの生成にはＡ画像とＢ画像を用いる。

撮像素子１４１から読み出された画像信号は信号処理部１４２に供給される。信号処理部１４２は、画像信号にノイズ低減処理、Ａ／Ｄ変換処理、自動利得制御処理などの信号処理を適用し、画像データとしてセンサ制御部１４３に出力する。センサ制御部１４３は信号処理部１４２から受信した画像データをＲＡＭ（ランダム・アクセス・メモリ）１５４に蓄積する。

ＲＡＭ１５４に保存された画像データを記録する場合、主制御部１５１は画像データに例えば所定のヘッダを追加するなどして、記録形式に応じたデータファイルを生成する。この際、主制御部１５１は必要に応じて圧縮解凍部１５３で画像データを符号化し、符号化データをデータファイルに格納する。主制御部１５１は、生成したデータファイルを例えばメモリカードのような記録媒体１５７に記録する。

また、ＲＡＭ１５４に保存された画像データを表示する場合、主制御部１５１は表示部１５０での表示サイズに適合するように画像データを画像処理部１５２でスケーリングした後、ＲＡＭ１５４のうちビデオメモリとして用いる領域（ＶＲＡＭ領域）に書き込む。表示部１５０は、ＲＡＭ１５４のＶＲＡＭ領域から表示用の画像データを読み出し、例えばＬＣＤや有機ＥＬディスプレイなどの表示装置に表示する。表示部１５０では、画像処理部１５２が検出した主被写体（動体）の検出結果（主被写体領域を示す枠など）も表示する。

デジタルカメラ１００は、動画撮影時（撮影スタンバイ状態や動画記録中）に、撮影された動画を表示部１５０に即時表示することにより、表示部１５０を電子ビューファインダー（ＥＶＦ）として機能させる。表示部１５０をＥＶＦとして機能させる際に表示する動画およびそのフレーム画像を、ライブビュー画像もしくはスルー画像と呼ぶ。また、デジタルカメラ１００は、静止画撮影を行った場合、撮影結果をユーザが確認できるように、直前に撮影した静止画を一定時間表示部１５０に表示する。これらの表示動作についても、主制御部１５１の制御によって実現される。

圧縮解凍部１５３は画像データを符号化したり復号したりする。例えば静止画や動画を記録する場合、予め定められた符号化方式によって画像データや音声データを符号化する。また、記録媒体１５７に記録された静止画データファイルや動画データファイルを再生する際、圧縮解凍部１５３は符号化データを復号してＲＡＭ１５４に格納する。

ＲＡＭ１５４はプログラムを実行するためのシステムメモリ、ビデオメモリ、バッファメモリなどとして用いられる。
ＲＯＭ１５５は主制御部１５１のプロセッサが実行可能なプログラム、各種の設定値、デジタルカメラ１００の固有情報、ＧＵＩデータなどを記憶する。ＲＯＭ１５５は電気的に書き換え可能であってよい。

操作部１５６は、ユーザがデジタルカメラ１００に指示を入力するためのスイッチ、ボタン、キー、タッチパネルなどの入力デバイス群の総称である。操作部１５６を通じた入力はバス１６０を通じて主制御部１５１が検知し、主制御部１５１は入力に応じた動作を実現するために各部を制御する。

主制御部１５１は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを１つ以上有し、例えばＲＯＭ１５５に記憶されたプログラムをＲＡＭ１５４に読み込んで実行することにより各部を制御し、デジタルカメラ１００の機能を実現する。主制御部１５１はまた、被写体輝度の情報に基づいて露出条件（シャッタースピードもしくは蓄積時間、絞り値、感度）を自動的に決定するＡＥ処理を実行する。被写体輝度の情報は例えば画像処理部１５２から取得することができる。主制御部１５１は、例えば人物の顔など、特定被写体の領域の輝度情報に基づいて露出条件を決定することもできる。

主制御部１５１は、動画撮影時には絞り１０３は固定とし、電子シャッタスピード（蓄積時間）とゲインの大きさで露出を制御する。主制御部１５１は決定した蓄積時感とゲインの大きさをセンサ制御部１４３に通知する。センサ制御部１４３は通知された露出条件に従った撮影が行われるように撮像素子１４１の動作を制御する。

距離マップ生成部１６１（距離検出手段）は、例えばＲＡＭ１５４に保存された画像データを用いて距離マップを生成する。距離マップは、撮影範囲内に存在する物体のデジタルカメラ１００からの距離（被写体距離）の分布を示す情報である。距離マップは例えば輝度値が被写体距離を表す２次元画像の形態であってよく、デプスマップ距離画像、奥行き画像などと呼ばれることもある。距離マップは公知の方法で生成することができる。例えば、距離マップ生成部１６１は、視差画像（上述したＡ画像およびＢ画像）の像ズレ量から各画素位置におけるデフォーカス量（フォーカスレンズの合焦位置からのズレ量およびズレの方向）を求めることができる。デフォーカス量は現在の被写体距離を基準としたピントのズレ量を表すので、デフォーカス量を距離情報と見なすことができる。もちろん、デフォーカス量に基づいてフォーカスレンズの合焦位置を求め、合焦位置に対応する被写体距離を求めてもよい。なお、撮像装置１００をステレオカメラのような多眼カメラとして視差画像を取得してもよいし、記憶媒体や外部装置から視差画像を取得してもよい。

また、距離マップは視差画像を用いずに生成することもできる。コントラスト評価値が極大となるフォーカスレンズ位置を画素ごとに求めることで、画素ごとに被写体距離を取得することができる。また、合焦距離を変えて同一シーンを複数回撮影して得られる画像データと光学系の点像分布関数(PSF)とから、ボケ量と距離との相関関係に基づいて画素ごとの距離情報を求めることもできる。距離マップ生成部１６１は、画像全体に対して距離マップを生成してもよいし、画像のうち、動体検出に必要な部分領域に対してだけ距離マップを生成してもよい。距離マップ生成部１６１は、生成した距離マップをＲＡＭ１５４に保存する。距離マップは画像処理部１５２から参照される。

さらに、距離マップ生成部１６１は、距離マップに領域ごとに信頼度を算出し、距離マップとともに保存することができる。信頼度の算出方法には特に制限はない。例えば、視差画像を用いて距離マップを生成する際、視差画像間の像ズレ量を求めるために、相対的なシフト量を変えながら例えばＳＡＤなどの相関量（類似度）を演算し、相関が最大（相関量が最小）になるシフト量を像ズレ量として検出する。算出した相関量の平均値と最大値との差が大きい程、検出した像ズレ量（デフォーカス量）の信頼度は高いと考えられる。したがって、各画素位置で算出した相関量の平均値と最大値との差を、その画素位置信頼度として用いることができる。なお、距離マップ生成部１６１は、被写体距離やその信頼度を、画素ごとに求める代わりに小領域（画素ブロック）ごとに求めて距離マップを生成してもよい。

シーン解析部１６２は、距離マップ生成部１６１が生成した距離マップと、距離マップの生成に用いた画像とその撮像条件とから、撮影シーンを解析する。シーン解析部１６２はシーン解析により、例えば、合焦している被写体の位置（像高）とコントラスト情報、および、被写体の認識情報を取得する。例えばシーン解析部１６２は、距離マップから、合焦している被写体領域が存在する位置（像高）の範囲を検出する。また、シーン解析部１６２は、合焦している被写体領域の画像に対してバンドパスフィルタを適用してエッジ強度を検出し、その積分値をコントラスト情報として取得することができる。また、シーン解析部１６２は、画像処理部１５２による被写体検出結果に基づいて、合焦している被写体領域が人体であるか否かを判定し、判定結果を認識情報とする。シーン解析部１６２は、取得した情報をＲＡＭ１５４に保存する。

ボケ量算出部１６３は、ＲＡＭ１５４に保存されたシーン解析結果に基づいて、背景（非合焦被写体）のボケ量を算出する。ボケ量算出部１６３の動作の詳細については後述する。

画像処理部１５２は、ＲＡＭ１５４に蓄積された画像データに対して予め定められた画像処理を適用する。画像処理部１５２が適用する画像処理には、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理といった所謂現像処理のほか、信号形式変換処理、スケーリング処理などがあるが、これらに限定されない。さらに、画像処理部１５２は特定の特徴を有する領域を被写体領域として検出する。特定の特徴を有する領域は、例えば人体の領域や、人間の顔領域であってよい。

検出した被写体領域に関する情報を、他の画像処理（例えばホワイトバランス調整処理や被写体の輝度情報の生成処理など）に利用してもよい。なお、フォーカス制御部１３３がコントラスト検出方式のＡＦを行う場合、コントラスト評価値を画像処理部１５２が生成してフォーカス制御部１３３に供給することができる。画像処理部１５２は、処理した画像データや、被写体領域に関する情報などをＲＡＭ１５４に保存する。

図２は、本実施形態のデジタルカメラ１００のフォーカスブラケットモードにおける撮影動作に関するフローチャートである。フォーカスブラケットモードは例えば操作部１５６を通じたメニュー画面の操作によって設定されてよい。

図２に示す処理は、撮影スタンバイ状態において例えば操作部１５６を通じて撮影準備指示が入力されたことに応じて実行されてよい。撮影準備指示は例えばシャッターボタンの半押しであってよい。撮影スタンバイ状態では動画撮影が実施され、表示部１５０がＥＶＦとして機能しているものとする。

Ｓ２０１で主制御部１５１は、ＥＶＦ表示用に撮影された動画像のデータを距離マップ生成部１６１に供給し、距離マップ生成部１６１は距離情報を生成する。なお、距離マップの生成方法に応じて主制御部１５１は、フォーカス制御部１３３を通じてフォーカスレンズ１３１を駆動したり、上述したＡ画像とＢ画像のデータを距離マップ生成部１６１に供給したりする。距離マップ生成部１６１は、生成した距離情報をシーン解析部１６２に出力する。また、主制御部１５１は、上述したＡ＋Ｂ画像を画像処理部１５２に供給する。画像処理部１５２は、Ａ＋Ｂ画像に対して被写体検出処理を適用し、検出された被写体領域ごとの、位置、大きさ、信頼度などを被写体検出結果として生成する。また、画像処理部１５２は、Ａ＋Ｂ画像から、ＥＶＦ表示用の画像を生成する。

Ｓ２０２でシーン解析部１６２は、距離マップ生成部１６１から距離情報を取得する。また、シーン解析部１６２は、距離マップの生成に用いられた画像の撮影条件（合焦距離、絞り値、シャッタースピード、撮影感度など）を主制御部１５１から取得する。さらにシーン解析部１６２は、被写体領域の検出結果を画像処理部１５２から取得する。

Ｓ２０３でシーン解析部１６２はシーン解析処理を実行する。シーン解析部１６２はまず、距離情報を用いて距離範囲を複数に分割する。この際、シーン解析部１６２は、例えば距離情報から被写体距離のヒストグラムを生成し、生成したヒストグラムに基づいて距離範囲を分割することができる。ヒストグラムの階級数は予め定めておくことができる。シーン解析部１６２は、例えば、ヒストグラムの度数にピーク（極大点）が存在する場合には、各ピークを被写体の代表距離として、ピークを１つずつ含むように距離範囲を分割することができる。なお、ヒストグラムのピークは、信号波形のピーク検出と同様の方法を利用して検出することができる。

例えば、図３のヒストグラム５０１の度数には３つのピーク３２２～３２４が存在する。そのため、シーン解析部１６２は、各ピークから近距離側でカウント値が最初に極小となる位置で距離範囲を分割する（範囲１～範囲３）。

一方、図４のようにピークが１つの場合、シーン解析部１６２は、ピークを含んだ距離範囲（範囲１）以外の距離範囲（背景の距離範囲）について、複数に分割することができる。例えばシーン解析部１６２は、背景の距離範囲を予め定められた距離ごとに分割してもよい。あるいは、分割単位を条件に応じて異ならせてもよい。例えば、シーン解析部１６２は、合焦被写体の距離が至近（所定の距離以下）である場合には、そうでない場合よりも細かく分割することができる。これにより、マクロ撮影時のように被写界深度の浅い撮影において、被写界深度を細かく制御したブラケット撮影が実現できる。

また、例えば背景の距離範囲に、変動の少ないカウント値が連続する距離区間がある場合、その区間が同一被写体に対応するのか、複数の被写体に対応するのかによって分割方法を異ならせてもよい。同一被写体に対応すると判定される場合、シーン解析部１６２は通常よりも細かく分割することができる。一方、異なる被写体に対応すると判定される場合、シーン解析部１６２は１つの区間に２つの被写体が含まれないように分割することができる。なお、距離ヒストグラムにおけるある距離範囲が同一被写体に対応するか否かは、距離マップにおいてその距離範囲に属する画素の分布に基づいて判定することができる。例えば、分布がある範囲に集中していれば、同一被写体に対応するものと判定することができる。

次に、シーン解析部１６２は、画像内の被写体領域の位置や大きさ、コントラストを解析する。シーン解析部１６２は、例えば距離情報のヒストグラムのピークごとに、ピーク位置を含む所定距離範囲に存在する被写体を検出し、被写体の領域および画像中における位置を検出することができる。なお、ここでは被写体領域の位置を、被写体領域の代表位置（例えば重心位置）の像高として検出するものとする。像高は、撮像光学系の光軸と撮像面との交点を原点とした距離である。また、シーン解析部１６２は、検出した被写体の領域のそれぞれが人物の領域であるか否かを、画像処理部１５２による被写体検出結果に基づいて判定する。なお、シーン解析部１６２は、距離情報を用いて画像中の被写体領域およびその位置を検出する代わりに、画像処理部１５２が検出した被写体領域とその位置を用いてもよい。

また、シーン解析部１６２は、被写体領域のそれぞれについてのコントラスト情報を取得する。コントラスト情報は例えばエッジ強度の情報であってよい。シーン解析部は、被写体領域内の所定サイズの矩形領域の各画素に対して空間バンドパスフィルタ処理を適用して算出したエッジ強度の積分値を被写体領域のコントラスト情報とする。このコントラスト情報は以下の式（１）によって表すことができ、コントラスト情報の値が大きいほど、被写体領域のコントラストが高いことを示す。

ｆｒ（ｉ，ｊ）：個々の画素のエッジ強度値
Ｆｒ：コントラスト情報

そして、シーン解析部１６２は、分割した距離範囲の情報と、被写体領域ごとの画像内の位置、コントラスト情報、人物の領域と判定されたか否かの情報とを、シーン情報としてボケ量算出部１６３に出力する。

Ｓ２０４でボケ量算出部１６３は、シーン情報に基づいて、非合焦被写体もしくは分割範囲ごとのボケ量を算出する。ボケ量算出部１６３は、シーン情報のうち、１つ以上に基づいてボケ量を算出することができる。
まず、合焦している被写体領域の位置に基づくボケ量の算出例について説明する。ボケ量算出部１６３は例えば、シーン情報のうち、コントラスト情報が最も大きな被写体領域を合焦している被写体領域と見なすことができる。

図６は、合焦被写体領域６０２の位置（像高）が小さい撮像画像６０１、合焦被写体領域６１２の位置（像高）が大きい撮像画像６１１、画像での像高位置６２１をそれぞれ示す。像高は画像（撮像素子）と撮像光学系の光軸との交点を原点とした距離である。ここでは撮像素子と光軸とが撮像素子の中心で交わるものとする。また、画像座標を、画像の左上角の画素６２３の座標を原点（０，０）とした直交座標系で表すものとする。

この場合、画像の４頂点で像高は最大となり、画像サイズを水平Ｍ画素、垂直Ｎ画素とすると、像高の最大値Ｈ_maxはＨ_max＝√（Ｍ²＋Ｎ²）／２である。また、合焦被写体の位置６２４（ｘ，ｙ）の像高Ｈ_sはＨ_s＝√（｜(ｘ－１)－Ｍ／２｜²＋｜(ｙ－１)－Ｎ／２｜²）である。ここでは、像高の大きさを、最大値を１０割（１００％）とした割合Ｈ_s／Ｈ_max×１００［％］で評価するものとする。

合焦被写体領域の像高が小さい場合（例えば０≦像高≦３０％）は、合焦被写体が画像の中心付近に存在している。この場合、撮影者は主に合焦被写体に着目して撮影している可能性が高いと考えられる。そのため、ボケ量算出部１６３は、非合焦被写体のボケ量が大きくなる条件でブラケット撮影されるようなボケ量を算出する。これにより、合焦被写体が目立つ撮像画像が得られる。

一方で、合焦被写体領域の像高が大きい（例えば３０％＜像高）場合、撮影者は合焦被写体だけでなく、その背景（非合焦被写体）にも着目して撮影している可能性が高いと考えられる。そのため、非合焦被写体についてもぼけが小さくなる条件でブラケット撮影されるようなボケ量を算出する。これにより、背景の情報も活かした撮像画像が得られる。

図５の５０１は、合焦被写体領域の位置（像高）と、ボケ量算出部１６３が算出する背景（非合焦被写体）のボケ量δとの関係例を示している。ここでは、合焦被写体領域の像高［％］に閾値ｔｈ１、ｔｈ２を設定し、
・０≦像高［％］＜ｔｈ１ではボケ量δを最大（上限値）
・ｔｈ２＜像高［％］≦１００ではボケ量δを最小（下限値）
・ｔｈ１≦像高［％］≦ｔｈ２ではボケ量δを像高に反比例して低減させる
例を示している。なお、ｔｈ１、ｔｈ２は予め、例えば実験的に求めることができる。なお、基本的に像高が小さい範囲において背景のボケ量が大きくなる様な特性であれば、像高とボケ量δの関係は５０１に示した関係に限定されない。

次に、非合焦被写体領域のコントラスト値に基づくボケ量の算出例について説明する。非合焦被写体領域のコントラスト値が大きい場合、ボケ量算出部１６３は、合焦被写体を目立たせるよりも非合焦被写体のコントラストを残すことを優先し、非合焦被写体のぼけを小さくする。一方、非合焦被写体領域のコントラスト値が小さい場合、ボケ量算出部１６３は、非合焦被写体のコントラストを残すよりも合焦被写体を目立たせることを優先し、非合焦被写体のぼけを大きくする。

図５の５０２は、非合焦被写体領域のコントラスト値Ｆｒと、ボケ量算出部１６３が算出する背景のボケ量δとの関係例を示している。ここでは、非合焦被写体のコントラスト値Ｆｒに閾値ｔｈ３、ｔｈ４を設定し、
・０≦非合焦被写体領域のコントラスト値Ｆｒ＜ｔｈ３ではボケ量δを最大（上限値）
・ｔｈ４＜非合焦被写体領域のコントラスト値Ｆｒ≦１００ではボケ量δを最小（下限値）
・ｔｈ３≦非合焦被写体領域のコントラスト値Ｆｒ≦ｔｈ４ではボケ量δを非合焦被写体領域のコントラスト値Ｆｒに反比例して低減させる
例を示している。なお、ｔｈ３、ｔｈ４は予め、例えば実験的に求めることができる。なお、ここでは非合焦被写体領域のコントラスト値が第１の値の場合のボケ量が、第１の値よりも小さな第２の値の場合のボケ量以下になるようにボケ量を算出する例を示したが、これは単なる一例である。

次に、合焦被写体領域が人物の領域であると判定されている場合の背景（非合焦被写体）のボケ量の算出例について説明する。合焦被写体領域が人物の領域であると判定されており、かつ、合焦被写体領域の画像全体に占める割合が大きい（例えば５０％以上の）場合、合焦被写体に着目して撮影している可能性が高い。この場合、合焦被写体領域の像高が小さい場合と同ように、背景（非合焦被写体）のボケ量を大きく算出して、合焦被写体が目立つ画像が得られるようにする。

例えば、ボケ量算出部１６３は、
・５０≦合焦被写体が画像に占める割合［％］ではボケ量δを最大（上限値）
・合焦被写体が画像に占める割合［％］＜５０ではボケ量δを合焦被写体が画像に占める割合［％］に比例して低減させる
ようにボケ量δを算出することができる。

なお、合焦被写体領域が人物の領域であると判定され、かつ距離ヒストグラムにおける合焦被写体領域のカウント値のピークが非合焦被写体のカウント値のピークよりも大きい場合には、合焦被写体領域を主被写体とした撮影である可能性が高いと判定してもよい。例えば、図３の３２１に示す様な距離ヒストグラムが得られている場合が該当する。

この場合、ボケ量算出部１６３は、
・ｔｈ５＜合焦被写体が画像に占める割合［％］ではボケ量δを最大（上限値）
・合焦被写体が画像に占める割合［％］＜ｔｈ６ではボケ量δを最小（下限値）
・ｔｈ６≦合焦被写体が画像に占める割合［％］≦ｔｈ５ではボケ量δを合焦被写体が画像に占める割合［％］に比例して増加させる
ようにボケ量δを算出することができる。なお、ｔｈ５、ｔｈ６は予め、例えば実験的に求めることができる。

一方、合焦被写体領域が人物の領域であると判定されていない場合には、合焦被写体の距離や、被写体の距離分布に基づいて、シーン解析によって分割された距離範囲ごとに背景のボケ量を算出することができる。
例えば、合焦被写体までの距離が非常に近い（例えば３０ｃｍ以下の）場合、マクロ撮影している可能性が高い。マクロ撮影のような至近撮影では被写界深度が非常に浅くなる。そのため、基本的に背景のボケ量δは小さく算出する。

例えば、ボケ量算出部１６３は、
・最短撮影可能距離＝合焦被写体の距離でボケ量δが下限値となり、
・合焦被写体の距離＝ｔｈ７でボケ量δが予め定めた値（例えば上限値／３）となり、
・最短撮影可能距離＜合焦被写体の距離＜ｔｈ７の範囲では、合焦被写体の距離に比例してボケ量δが増加する
ようにボケ量δを算出することができる。なお、ｔｈ７は例えばレンズの最短撮影距離＋１ｍなどとして予め定めることができる。このように、至近撮影と判定される場合には、ボケ量δの最大値が上限値よりも小さくなる範囲でボケ量を算出する。これにより、被写界深度の浅い至近撮影において、被写界深度を細かく制御したブラケット撮影が実現できる。

また、ボケ量算出部１６３は、同一被写体に対応する複数の距離範囲については、ボケの絶対量が小さい範囲で変化するように個々の距離範囲についてボケ量δを算出する。
一方、異なる被写体に対応する距離範囲については、被写体ごとにボケ量の差が明確になるようにボケ量δに差を付けて算出する。

以上のようにして非合焦被写体もしくは分割範囲ごとに算出した１つ以上のボケ量δから、ボケ量算出部１６３は最終的にブラケット撮影条件を決定するためのボケ量Δを算出する。ボケ量算出部１６３はボケ量Δを例えば以下の式（２）を用いて算出することができる。ここでのα_ｎは、算出した情報毎のボケ量に設定された重み、ｎは取得された情報の数を表している。重みα_ｎは、ボケ量Δの算出に用いるボケ量δの組み合わせに応じて予め定められており、例えばＲＯＭ１５５に記憶されているものとする。重みは、重みα_ｎは、複数のボケ量δそれぞれの優先度に応じて決定することができる。

δ_ｎ：情報毎に決定したボケ量
Δ：撮影で使用するボケ量

例えば、合焦被写体の像高が大きく、非合焦被写体のコントラストが高い場合、合焦被写体に隠されていない非合焦被写体の領域が大きく、非合焦被写体のコントラストを残して撮影することが好適と考えられる。上述したように、合焦被写体の像高が大きい場合も、非合焦被写体のコントラストが高い場合も、非合焦被写体のボケ量δは小さく算出される。したがって、このような組み合わせの場合、非合焦被写体のボケ量Δも小さくなる。

一方、合焦被写体の像高が小さく、非合焦被写体のコントラストが低い場合、非合焦被写体の多くが合焦被写体に隠されており、非合焦被写体のコントラストを残す必要性が小さいと考えられる。上述したように、合焦被写体の像高が小さい場合も、非合焦被写体のコントラストが低い場合も、非合焦被写体のボケ量δは大きく算出される。したがって、このような組み合わせの場合、非合焦被写体のボケ量Δも大きくなる。

Ｓ２０５で主制御部１５１は、ボケ量算出部１６３で算出したボケ量Δ、カメラ情報入力部１０２から取得したカメラ情報、距離情報入力部１０３から取得した被写体距離情報を基に、ブラケット撮影で用いる複数の絞り値を算出する。図７は被写体距離と焦点距離、ボケ量の関係を示した図である。

図７において、以下の式（３）が成り立つ。
ｄＦ＝Δ×Ｓ２／（Ｓ２－Ｓ１）・・・（３）
ここで、
ｄＦ：レンズの絞り口径のサイズ
Δ：ボケ量
Ｓ１：光学中心から合焦被写体の結像面までの距離
Ｓ２：光学中心から非合焦被写体の結像面までの距離
である。

また、レンズの公式より式（４）、（５）が成り立つ。
Ｓ１＝ｄ１×ｆ／（ｄ１－ｆ）・・・（４）
Ｓ２＝ｄ２×ｆ／（ｄ２－ｆ）・・・（５）
ここで、
ｄ１：光学中心から合焦被写体までの距離
ｄ２：光学中心から非合焦被写体までの距離
ｆ：撮像光学系の焦点距離
である。

式（３）～（５）より、式（６）が成り立つ。
ｄＦ＝Δ×Ｓ２×（ｄ１－ｆ）／｛ｆ×（ｄ１－ｄ２）｝・・・（６）

また、レンズの絞り口径ｄＦは焦点距離ｆと絞り値Ｆの関係から式（７）を用いて算出することができる。
ｄＦ＝ｆ／Ｆ・・・（７）

式（６）に式（７）を代入し、ブラケット撮影で使用する絞り値を、式（８）を用いて決定する。
Ｆ＝ｆ²×（ｄ１－ｄ２）／｛Δ×ｄ２×（ｄ１－ｆ）｝・・・（８）

具体的には、主制御部１５１は、撮影時における撮影光学系の焦点距離ｆと、合焦被写体の距離ｄ１とを式（８）に代入する。そして、非合焦被写体もしくは分割範囲ごとに、算出したボケ量Δと、距離ｄ２を代入することにより、ブラケット撮影で用いる複数の絞り値Ｆを決定する。ここで、距離ｄ１、ｄ２は、距離ヒストグラムで分割した個々の距離範囲の代表距離であってよい。例えば、距離範囲内でカウント値が最大となる距離を代表距離として用いることができる。

なお、絞り値の算出に用いる被写体距離ｄ１、ｄ２を、距離マップ生成部１６１が視差画像に基づいて生成する場合、距離情報の精度は被写体のコントラストなどに影響を受ける。例えば、コントラストの低い被写体では距離情報の精度が低下する。そのため、ブラケット撮影で使用する絞り値の算出に用いる被写体距離情報として、信頼度の高い情報を選択することにより、式（８）で決定される絞り値の精度を向上させることができる。

図８の撮影シーン８０１を例にして説明すると、高コントラストである被写体領域８０２～８０４部分については信頼度が高い距離情報が算出できる。一方で、低コントラストの残りの領域については距離情報の信頼度が低下する。また、被写体のエッジ部分の画像は距離の異なる被写体を含んでいるため、距離情報の信頼度が低下する。信頼度マップ８１１は、撮影シーン８０１について距離マップ生成部１６１が生成する距離情報の信頼度を二値化し、信頼度が高い領域を白、信頼度が低い領域を黒で模式的に示したものである。被写体のエッジ部分と被写体領域でない領域については、コントラストが低いかエッジ部分であることから信頼度が低い。

このような場合、主制御部１５１は、式（８）に用いる距離ｄ１を合焦被写体領域８１２内部で得られた距離情報から取得する。また、主制御部１５１は、式（８）に用いる距離ｄ２を、非合焦被写体領域８１３および８１４内部で得られた距離情報から取得する。例えば、非合焦被写体１に関しては、距離マップにおいて範囲２に該当する画素のうち、領域８１３に含まれる画素に対応する距離に基づいて代表距離を決定することができる。

なお、例えば撮影シーンＡ（図３）のように、被写体ごとに距離範囲を分割した場合、ボケ量Δを算出した非合焦被写体の数よりもブラケット撮影枚数が少ないことが起こりうる。この場合、画像中で領域を大きく占めている非合焦被写体を優先してブラケット撮影の条件を決定することができる。これは、画像中に占める割合が大きい被写体は視覚的な影響が大きいからである。

例えば、距離ヒストグラム８２１が得られている場合、非合焦被写体１に対応する範囲２のカウント値の積分値が非合焦被写体２に対応する範囲３のカウント値の積分値よりも大きいため、非合焦被写体２よりも非合焦被写体１が優先される。なお、カウント値の積分値の代わりに、対応する最大カウント値が大きい非合焦被写体を優先してもよい。図８の例では、最大カウント値８２３が最大カウント値８２４より大きいため、非合焦被写体２よりも非合焦被写体１が優先される。なお、信頼度が高い距離情報が得られない非合焦被写体については、距離を無限遠として絞り値を算出してもよい。

また、例えば撮影シーンＢ（図４）のように、背景の距離範囲を所定数に分割した場合、ボケ量Δを算出した距離範囲の分割数よりもブラケット撮影枚数が少ないことが起こりうる。この場合、算出した複数の絞り値の一部を、ブラケット撮影枚数に応じて選択することができる。例えば、選択する絞り値の間隔を調整することにより、ブラケット撮影枚数を満たすように選択することができる。

主制御部１５１は、式（８）に基づいて算出した絞り値Ｆで撮影するための他の撮影条件（シャッタースピードおよび撮影感度）を決定する。絞り値Ｆが変わっても露出量が変わらないように、また、撮影感度はシャッタースピードが所定時間より遅くならない限り変更しないように撮影条件を決定する。例えば、撮影感度を変更せずに露出量を満たすためのシャッタースピードＴｖが焦点距離ｆの逆数（１／ｆ）またはそれより速ければ、撮影感度は変更せず、シャッタースピードだけを変更する。撮影感度を変更せずに露出量を満たすためのシャッタースピードＴｖが１／ｆより遅くなる場合には、シャッタースピードが１／ｆまたはそれより速くなるように撮影感度を上げる。主制御部１５１は、このようにして、ブラケット撮影で用いる複数の撮影条件を決定する。

Ｓ２０６で主制御部１５１は、撮影指示（例えばシャッターボタンの全押し）を検出したか否かを調べ、撮影指示を検出していれば処理をＳ２０７に進め、検出していなければ処理をＳ２０１に戻す。

Ｓ２０７で主制御部１５１は、Ｓ２０５で決定した撮影条件を用いたブラケット撮影を開始する。ブラケット撮影中、主制御部１５１は、シーン解析時の合焦被写体への合焦を維持するようにフォーカスレンズの位置を継続的に調整する。

１回（１フレーム）の撮影が終了し、記録用の画像データをＲＡＭ１５４に格納すると、Ｓ２０８で主制御部１５１は、Ｓ２０５で決定した複数の絞り値のうち、未撮影の絞り値が残っているか否かを判定する。未撮影の絞り値が残っていれば処理をＳ２０６に戻し、残っていなければ処理をＳ２０９に進める。

Ｓ２０９で主制御部１５１は、ＲＡＭ１５４に格納されている記録用の画像データを記録媒体１５７に順次記録して処理を終了する。なお、例えば表示部１５０にブラケット撮影で得られた画像のサムネイルを一覧表示し、記録する画像をユーザに選択させてもよい。また、ブラケット撮影した画像を別個に記録する代わりに、あるいはそれとは別に、ブラケット撮影で得られた画像を用いた合成画像を記録してもよい。

以上説明した様に、本実施形態によれば、絞り値を変更するブラケット撮影に用いる複数の絞り値を、撮影シーンに存在する被写体の距離の分布に基づいて自動的に決定するようにした。そのため、ユーザは、所望の被写界深度を有する画像を、絞り値、撮像光学系の焦点距離、被写体距離といった条件を考慮する必要なしに容易に得ることができる。

（その他の実施形態）
上述したブラケット撮影動作の実施は、明示的に被写界深度（絞り）ブラケット撮影モードが設定されている場合に限定されない。ブラケット撮影モードが設定されていない場合でも、シーン判別結果に応じて絞りブラケット撮影を行うことを決定してもよい。例えば、合焦被写体が人物であると判定される場合には絞りブラケット撮影を実施するようにしてもよい。

なお、上述の実施形態では、被写体の距離情報に基づいて算出した非合焦被写体や背景のボケ量に基づいてブラケット撮影に用いる絞り値を決定する構成について説明した。しかし、被写体の距離情報に基づいて他の方法によってブラケット撮影に用いる絞り値を決定してもよい。

例えば、合焦被写体の後ろにある非合焦被写体のうち、最も近いものが被写界深度に入らないようにブラケット撮影に用いる絞り値を決定することができる。図３に示すシーンであれば、非合焦被写体１に対応する距離範囲におけるピーク３２３に対応する距離が合焦被写体の被写界深度に含まれないように絞り値Ｆを決定することができる。これにより、非合焦被写体１（および非合焦被写体２）をボカすことができ、合焦被写体が目立つ画像を撮影することができる。

例えば、主制御部１５１は、シーン解析部１６２から合焦被写体の代表距離と、合焦被写体の後方で被写体に最も近い非合焦被写体の代表距離とを取得する。また、主制御部１５１は、シーン解析した画像の撮影条件のうち、少なくとも撮影光学系の焦点距離を取得する。そして、主制御部１５１は、代表距離の差が被写界深度以下となる絞り値を公知の式に基づいて算出する（許容錯乱円径には撮像素子１４１の画素ピッチを用いることができる）。主制御部１５１はブラケット撮影に用いる絞り値を、算出した絞り値よりも開放側の絞り値から選択する。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…レンズユニット、１４１…撮像素子、１４２…撮像信号処理部、１５１…主制御部、１５２…画像処理部、１５４…ＲＡＭ、１５５…ＲＯＭ、１６１…距離マップ生成部、１６２…シーン解析部、１６３…ボケ量算出部

Claims (8)

1. 撮影された画像と、該画像に撮影されたシーンの距離の分布を表す距離情報とを取得する取得手段と、
   前記距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する制御手段と、
   を有し、
   前記制御手段は、
   前記距離情報に基づいて合焦被写体よりも遠くに存在する非合焦被写体を検出する解析手段と、
   前記非合焦被写体ごとにボケ量を算出する算出手段と、
   前記ボケ量に基づいて前記複数の絞り値を決定する決定手段と、
   を有し、
   前記決定手段は、前記非合焦被写体に対して複数のボケ量が算出された場合、前記複数のボケ量を重み加算したボケ量に基づいて前記絞り値を決定することを特徴とする画像処理装置。
2. 撮影された画像と、該画像に撮影されたシーンの距離の分布を表す距離情報とを取得する取得手段と、
   前記距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する制御手段と、
   を有し、
   前記制御手段は、
   合焦被写体よりも遠い距離範囲を複数に分割する解析手段と、
   前記分割した距離範囲ごとにボケ量を算出する算出手段と、
   前記ボケ量に基づいて前記複数の絞り値を決定する決定手段と、
   を有することを特徴とする画像処理装置。
3. 前記解析手段は、前記合焦被写体の距離が予め定められた距離以下である場合には、そうでない場合よりも前記距離範囲を細かく分割することを特徴とする請求項２に記載の画像処理装置。
4. 前記解析手段は、同一の被写体が連続して存在する距離範囲については、異なる被写体が存在する距離範囲よりも細かく分割することを特徴とする請求項２に記載の画像処理装置。
5. 前記解析手段は、２つの被写体が１つの範囲に含まれないように前記距離範囲を分割することを特徴とする請求項２に記載の画像処理装置。
6. 前記画像を撮影する撮影手段と、
   請求項１から５のいずれか１項に記載の画像処理装置と、を有し、
   前記制御手段が決定した複数の絞り値を用いて前記撮影手段でブラケット撮影を実行することを特徴とする撮像装置。
7. 取得手段が、撮影された画像と、該画像に撮影されたシーンの距離の分布を表す距離情報とを取得する取得工程と、
   制御手段が、前記距離情報に基づいて、絞りを異ならせるブラケット撮影において用いる複数の絞り値を決定する制御工程と、
   を有し、
   前記制御工程は、
   前記制御手段が、前記距離情報に基づいて合焦被写体よりも遠くに存在する非合焦被写体を検出する解析工程と、
   前記制御手段が、前記非合焦被写体ごとにボケ量を算出する算出工程と、
   前記制御手段が、前記ボケ量に基づいて前記複数の絞り値を決定する決定工程と、
   を有し、
   前記決定工程において前記制御手段は、前記非合焦被写体に対して複数のボケ量が算出された場合、前記複数のボケ量を重み加算したボケ量に基づいて前記絞り値を決定することを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１から５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images