JP6349703B2 - 電子カメラ及び画像処理プログラム - Google Patents

Description

本発明は、電子カメラ及び画像処理プログラムに関する。

従来、測距エリア内に位置する被写体のエッジの立ち上がり時間のヒストグラムに基づいて、被写体のデフォーカス量を算出するオートフォーカス装置が知られている（例えば、特許文献１参照）。

特開平４−２７４４０５号公報

しかしながら、従来のオートフォーカス装置では、撮像者は、測距エリア内に位置する被写体の複数のエッジのうち何れのエッジのデフォーカス量を算出しているかについて判別することができず、被写体の合焦状態を詳細に把握することができないという問題があった。

本発明は、このような事情に鑑みてなされたものであり、その目的は、画像における被写体の合焦状態を詳細に表示させることができる電子カメラ及び画像処理プログラムを提供することにある。

上記課題を解決する電子カメラは、光学系の光軸方向に移動可能なレンズを介して被写体を撮像し、画像データを生成する撮像素子と、前記撮像素子が生成した画像データの解析結果に基づいて、被写体のエッジを検出するエッジ検出部と、前記画像データの解析結果に基づいて、被写体における画像部分ごとの合焦状態を検出する合焦検出部と、前記合焦検出部によって検出された前記被写体の合焦状態に基づいて、前記レンズの移動により合焦する方向を示す合焦標識を、前記エッジ検出部が検出した、表示部に表示された前記画像の前記被写体のエッジに沿うように重畳して表示させる表示制御部とを備えたことを特徴とする。

また、上記電子カメラにおいて、前記表示制御部は、前記画像の被写界深度の範囲が前記被写体の画像部分よりも近点側又は遠点側に位置することを示す前記合焦標識を、前記表示部に表示された前記画像の被写体のうち前記画像の被写界深度の範囲が近点側又は遠点側に位置する画像部分に対して重畳して表示させることが好ましい。

また、上記電子カメラにおいて、前記エッジ検出部は、前記画像から前記被写体のエッジを色成分毎に検出し、前記合焦検出部は、前記エッジ検出部が色成分毎に検出した前記エッジの色成分量に基づいて、該エッジにおける前記被写体の合焦状態を検出することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、前記画像において前記被写体を複数の分割領域に分割するとともに、複数の前記分割領域のうち前記被写体のエッジを含む分割領域における前記合焦標識の表示態様を、該エッジにおける前記被写体の合焦状態に応じて制御することが好ましい。

また、上記電子カメラは、前記画像における前記被写体のエッジの優先度を設定する優先度設定部を更に備え、前記表示制御部は、前記分割領域に前記被写体のエッジが複数含まれる場合、前記優先度設定部によって優先度が高く設定されたエッジにおける前記被写体の合焦状態に応じて、該エッジを含む前記分割領域における前記合焦標識の表示態様を制御することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、複数の前記分割領域のうち前記被写体のエッジを含む前記分割領域の色表示を、該エッジにおける前記被写体の合焦状態に応じて制御することが好ましい。

また、上記電子カメラにおいて、前記合焦検出部は、前記エッジ検出部が検出したエッジの色構造に応じて前記被写体の合焦状態の検出に用いるエッジの色成分の種類を変更することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、前記表示部に対する前記合焦標識の表示の有無を切り替え可能であることが好ましい。
また、上記電子カメラは、前記画像のうち合焦対象となる領域を設定する領域設定部を更に備え、前記表示制御部は、前記領域設定部が設定した領域よりも広い範囲に亘って前記表示部に前記合焦標識を重畳して表示することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、前記合焦標識の表示モードが設定された場合に、前記合焦標識を前記領域設定部が設定した領域よりも広い範囲に亘って表示することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、前記合焦標識の表示態様を設定する操作部材が操作された場合に、前記合焦標識を前記領域設定部が設定した領域よりも広い範囲に亘って表示することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、前記合焦標識が前記画像に対して重畳して表示されない元画像と、前記合焦標識が前記画像に対して重畳して表示された合焦状態表示画像とを前記表示部に並列して表示することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、透明度を上げた前記画像に対して
前記合焦標識を重畳した前記合焦状態表示画像を表示することが好ましい。
また、上記電子カメラにおいて、前記表示制御部は、前記画像の被写界深度の大きさが変更された場合、前記表示部に表示された前記画像の被写体に重畳して表示させる前記合焦標識の表示態様を、前記画像における前記被写体の合焦状態の変化に応じて変更することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、焦点調節を行うフォーカスレンズが移動した場合、前記表示部に表示された前記画像の前記被写体に重畳して表示させる前記合焦標識の表示態様を、前記画像における前記被写体の合焦状態の変化に応じて変更することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、前記画像の光量を調節する絞りの開口面積が変化した場合、前記表示部に表示された前記画像の前記被写体に重畳して表示させる前記合焦標識の表示態様を、前記画像における前記被写体の合焦状態の変化に応じて変更することが好ましい。

また、上記電子カメラにおいて、前記表示制御部は、前記画像の倍率を調節するズームレンズが移動した場合、前記表示部に表示された前記画像の前記被写体に重畳して表示させる前記合焦標識の表示態様を、前記画像における前記被写体の合焦状態の変化に応じて変更することが好ましい。

また、上記電子カメラは、前記画像における前記被写体を含む複数の区画領域のうち前記画像の被写界深度の範囲内に収まる前記被写体のエッジを含む区画領域の数の比率が所定の比率となるように、前記画像の被写界深度の大きさを制御する被写界深度制御部を更に備えたことが好ましい。

また、上記電子カメラにおいて、前記被写界深度制御部は、前記画像の前記表示部への表示サイズに応じて、前記画像における前記被写体を含む複数の区画領域のうち前記画像の被写界深度の範囲内に収める前記被写体のエッジを含む区画領域の数の比率を変更することが好ましい。

また、上記電子カメラにおいて、前記被写界深度制御部は、前記画像の光量を調節する絞りの開口面積を変化させることにより、前記画像の被写界深度の大きさを制御することが好ましい。

また、上記電子カメラにおいて、前記合焦検出部は、連続した時点で撮影された前記画像である複数のフレーム画像における前記被写体の合焦状態の平均値を、前記画像における前記被写体の合焦状態として検出することが好ましい。

また、上記電子カメラにおいて、前記合焦検出部は、前記画像の画角が変更された場合、画角が変更される前後での前記フレーム画像の画角の変化量が所定の閾値以内であることを条件として、画角が変更される前後の前記フレーム画像を含む複数の前記フレーム画像における前記被写体の合焦状態の平均値を、前記画像における前記被写体の合焦状態として検出することが好ましい。

また、上記電子カメラは、前記画像のうち合焦対象となる領域を設定する領域設定部を更に備え、前記合焦検出部は、前記画像の画角が変更された場合、画角が変更される前後での前記フレーム画像のうち前記領域設定部が設定した領域に含まれる被写体の類似度が所定の閾値以上であることを条件として、画角が変更される前後の前記フレーム画像を含む複数の前記フレーム画像における前記被写体の合焦状態の平均値を、前記画像における前記被写体の合焦状態として検出することが好ましい。

また、上記課題を解決する画像処理プログラムは、光学系の光軸方向に移動可能なレンズを介して被写体を撮像素子に撮像し、画像データを生成する電子カメラに、前記撮像素子が生成した画像データの解析結果に基づいて、被写体のエッジを検出するエッジ検出ステップと、前記画像データの解析結果に基づいて、被写体における画像部分ごとの合焦状態を検出する合焦検出ステップと、前記合焦検出ステップにおいて検出された前記被写体の合焦状態に基づいて、前記レンズの移動により合焦する方向を示す合焦標識を、前記エッジ検出ステップにおいて検出された、表示部に表示された前記画像の前記被写体のエッジに沿うように重畳して表示させる表示制御ステップとを実行させることを特徴とする。

本発明によれば、画像における被写体の合焦状態を詳細に表示させることができる。

一実施形態のデジタルカメラのブロック図。 （ａ）は、画像が被写体の位置よりも近点側で合焦している状態での撮像素子とフォーカスレンズとの位置関係を示す模式図、（ｂ）は、画像が被写体の位置よりも遠点側で合焦している状態での撮像素子とフォーカスレンズとの位置関係を示す模式図。 フォーカスレンズに入射された入射光の色成分ごとの焦点の光軸方向における位置関係を示す模式図。 被写体からフォーカスレンズを通じて撮像素子に入射される入射光の色成分ごとの位置関係を示す模式図であって、（ａ）は、画像が被写体に対して前ピン状態にある場合の模式図、（ｂ）は、画像が被写体に対して後ピン状態にある場合の模式図。 画像の一例を示す模式図。 エッジの近傍における色成分ごとの色成分量を示すグラフであって、（ａ）は、画像が前ピン状態にある場合のグラフ、（ｂ）は、画像が後ピン状態にある場合のグラフ。 エッジの近傍における色成分ごとの色成分量を示すグラフであって、（ａ）は、画像が被写体に対して前ピン状態又は後ピン状態にある場合の赤の光と緑の光の色成分量を示すグラフ、（ｂ）は、画像が被写体に対して前ピン状態又は後ピン状態にある場合の青の光と緑の光の色成分量を示すグラフ。 エッジの近傍における赤の光と緑の光の色成分量の差を示すグラフであって、（ａ）は、画像におけるエッジのデフォーカス量が相対的に大きい場合のグラフ、（ｂ）は、画像におけるエッジのデフォーカス量が相対的に小さい場合のグラフ。 （ａ）は、合焦状態のエッジにおけるＬＳＦを示すグラフ、（ｂ）は、非合焦状態のエッジにおけるＬＳＦを示すグラフ、（ｃ）は、図９（ｂ）に示す状態よりもデフォーカス量が大きいエッジにおけるＬＳＦを示すグラフ。 （ａ）は、合焦状態のエッジにおける色成分ごとのＬＳＦを示すグラフ、（ｂ）は、前ピン状態のエッジにおける色成分ごとのＬＳＦを示すグラフ、（ｃ）は、後ピン状態のエッジにおける色成分ごとのＬＳＦを示すグラフ。 エッジにおける色成分ごとのＬＳＦの標準偏差の差と被写体距離との相関関係を示すグラフ。 画像処理エンジンが実行する合焦状態表示処理ルーチンのフローチャート。 画像処理エンジンが実行する被写体のデフォーカス特徴量の算出処理ルーチンのフローチャート。 画像処理エンジンが実行する被写界深度の制御処理ルーチンのフローチャート。 画像処理エンジンが実行する被写体のデフォーカス特徴量の更新処理ルーチンのフローチャート。 スルー画の一例を示す模式図であって、（ａ）は、合焦状態表示モードに設定される前の状態を示す模式図、（ｂ）は、合焦状態表示モードが設定された時点での状態を示す模式図、（ｃ）は、図１６（ｂ）に示すスルー画において合焦標識が表示された状態を示す模式図、（ｄ）は、図１６（ｃ）に示すスルー画において合焦標識の表示モードが変更された状態を示す模式図。 スルー画の一例を示す模式図であって、（ａ）は、図１６（ｃ）に示すスルー画において被写界深度の制御処理が行われる前の状態を示す模式図、（ｂ）は、図１７（ａ）に示すスルー画において被写界深度の制御処理が行われた後の状態を示す模式図、（ｃ）は、図１７（ｂ）に示すスルー画の撮影位置が移動した状態を示す模式図、（ｄ）は、図１７（ｃ）に示すスルー画の画角が変更された状態を示す模式図。

以下、本発明を具体化した一実施形態を図面に従って説明する。
図１に示すように、電子カメラの一種であるデジタルカメラ（以下、「カメラ１０」という）は、鏡筒１１を備えている。鏡筒１１内には、前玉レンズ１２、ズームレンズ１３、絞り１４、フォーカスレンズ１５が被写体側から順に配置されている。また、カメラ１０は、鏡筒１１内を通過した光を鏡筒１１の像空間側において結像させて撮像する撮像素子１６を備えている。なお、撮像素子１６は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型、又は、ＣＣＤ（Charge Coupled Device）型のイメージセンサからなる。また、撮像素子１６の撮像面上には、鏡筒１１内を通過した光を色成分ごとに選択的に透過させて分光するためのカラーフィルタ１７が配置されている。

撮像素子１６の出力側には、画像処理エンジン１８がＡ／Ｄ変換回路１９を介して接続されている。そして、撮像素子１６からアナログ信号として出力される各色の画素信号は、Ａ／Ｄ変換回路１９においてデジタル信号に変換された後に画像処理エンジン１８に入力される。

画像処理エンジン１８は、カメラ１０の各種の動作を統括的に制御するＭＰＵ２０（Micro Processing Unit）を備えている。そして、ＭＰＵ２０は、撮像素子１６から入力された各色の画素信号に対し、色補間処理、階調補正、ホワイトバランス処理及び輪郭補償等の画像処理を行うことにより所定の画像を生成する。

画像処理エンジン１８には、フォーカス駆動回路２１が接続されている。そして、画像処理エンジン１８は、フォーカス駆動回路２１を通じてモータ２２を駆動制御することにより、フォーカスレンズ１５を光軸方向に移動させる。その結果、被写体から射出された光がフォーカスレンズ１５を通過して撮像素子１６に結像される。

また、画像処理エンジン１８には、絞り駆動回路２３が接続されている。そして、画像処理エンジン１８は、絞り駆動回路２３を通じてモータ２４を駆動制御することにより、絞り１４の開口面積を変化させる。その結果、被写体から射出された光のうち、絞り１４の開口を通過して撮像素子１６の撮像面に到達する光の光量が調整される。

また、画像処理エンジン１８には、ズーム駆動回路２５が接続されている。そして、画像処理エンジン１８は、ズーム駆動回路２５を通じてモータ２６を駆動制御することにより、ズームレンズ１３を光軸方向に移動させる。その結果、撮像素子１６に撮像される被写体に応じた画像の画角が調整される。

また、画像処理エンジン１８には、データバス２８を介して不揮発性メモリ２９、バッファメモリ３０、インターフェース部（以下、「Ｉ／Ｆ部３１」という）及びモニタ３２が接続されている。

不揮発性メモリ２９は、画像処理エンジン１８を動作させるためにＭＰＵ２０が実行するプログラムを格納している。なお、本実施形態では、不揮発性メモリ２９には、図１２にフローチャートで示す合焦状態表示用の画像処理プログラムが格納されている。そして、ＭＰＵ２０は、不揮発性メモリ２９に格納された合焦状態表示用の画像処理プログラムを実行することにより、主制御部４０、画像処理部４１、絞り制御部４２、ズーム制御部４３、表示制御部４４及び合焦制御部４５として機能する。なお、合焦制御部４５は、領域設定部５０、エッジ検出部５１、優先度設定部５２、特徴量算出部５３及びレンズ制御部５４を含んでいる。

バッファメモリ３０は、例えば、撮影画像、画像処理過程の画像、画像処理後の画像及び画像圧縮後の画像などを一時的に格納している。
Ｉ／Ｆ部３１は、メモリカード６０が着脱自在に装着されるカードスロット（図示略）を有している。そして、Ｉ／Ｆ部３１は、画像処理エンジン１８によって生成された画像をＩ／Ｆ部３１に装着されたメモリカード６０に出力したり、メモリカード６０に記憶されている画像を画像処理エンジン１８に出力したりする機能を有している。

モニタ３２には、バッファメモリ３０に一時的に格納されている画像や、Ｉ／Ｆ部３１に装着されたメモリカード６０に格納されている画像が画像処理エンジン１８によって出力されて表示される。

また、画像処理エンジン１８には、レリーズボタン６１及び操作部６２が接続されている。レリーズボタン６１は、半押し操作又は全押し操作がなされた際に操作信号を画像処理エンジン１８に入力する。操作部６２は、メニューボタン、セレクトボタン、表示切替ボタン、決定ボタン及び電源ボタン等により構成されており、押圧操作がなされた際に操作信号を画像処理エンジン１８に入力する。

次に、画像処理エンジン１８が画像から検出された被写体のエッジにおける軸上色収差の色ずれを解析することにより、被写体のエッジの合焦状態を検出する原理の概要を説明する。

図２（ａ）には、画像が被写体Ｓの位置で合焦している状態が実線で示されるとともに、画像が被写体Ｓの位置よりも近点側で合焦している状態（以下、「前ピン状態」という）が一点鎖線で示されている。図２（ａ）に示すように、前ピン状態においては、被写体から射出される光がフォーカスレンズ１５を通過して合焦する位置が撮像素子１６よりも撮影者側（図２（ａ）では右側）に位置する。

一方、図２（ｂ）には、画像が被写体Ｓの位置で合焦している状態が実線で示されるとともに、画像が被写体Ｓの位置よりも遠点側で合焦している状態（以下、「後ピン状態」という）が一点鎖線で示されている。図２（ｂ）に示すように、後ピン状態においては、被写体から射出される光がフォーカスレンズ１５を通過して合焦する位置が撮像素子１６よりもフォーカスレンズ１５側（図２（ｂ）では左側）に位置する。

図３には、被写体から射出された光がフォーカスレンズ１５を通過する際に生じる軸上色収差の様子が示されている。図３に示すように、フォーカスレンズ１５を通過した光には波長の違いによって軸上色収差が生じるため、光の波長成分ごとに焦点位置がずれる。具体的には、フォーカスレンズ１５は、光の波長が短いほど光の屈折率が大きいため、青（B）の光、緑（B）の光、赤（R）の光の順に、フォーカスレンズ１５を通過する際の屈折率が次第に小さくなり、フォーカスレンズ１５を通過して合焦する焦点位置がフォーカスレンズ１５から次第に遠くなる。そして、このような軸上色収差による色ずれを解析することにより、被写体のデフォーカス特徴量が被写体の合焦状態として算出（検出）される。

ここで、デフォーカス特徴量は、方向指標と、デフォーカス量を含んで構成されている。方向指標とは、画像が被写体に対して前ピン状態又は後ピン状態であることを示す指標である。そして、方向指標及びデフォーカス量を算出するための評価値としては、Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ（以下、「Ｅｄ」という）、デフォーカス量参照値（Width of Subtraction）（以下、「Ｗｄ」という）、線広がり関数（Line Spread Function）（以下、「ＬＳＦ」という）が挙げられる。

まず、被写体における方向指標及びデフォーカス量をＥｄを用いて算出する原理の概要を説明する。
図４（ａ）に示すように、画像が被写体に対して前ピン状態である場合には、被写体から射出された光は、フォーカスレンズ１５を通過する際に生じる軸上色収差に起因して外側から赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に位置するように分光された状態で撮像素子１６に導かれる。この場合、フォーカスレンズ１５を通過した光が色成分ごとに撮像素子１６に撮像する被写体のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなる。

一方、図４（ｂ）に示すように、画像が被写体に対して後ピン状態である場合には、被写体から射出された光は、フォーカスレンズ１５を通過する際に生じる軸上色収差に起因して外側から赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に位置するように分光された状態で撮像素子１６に導かれる。この場合、フォーカスレンズ１５を通過した光が色成分ごとに撮像素子１６に撮像する被写体のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなる。

すなわち、画像が被写体に対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、フォーカスレンズ１５を通過した光が色成分ごとに撮像素子１６に撮像する被写体のデフォーカス量の大小関係は異なるものとなる。

図５には、画像における被写体の一例として白黒チャートＳ１が示されている。また、図５では、横方向にＸ座標、縦方向にＹ座標が設定されており、Ｘ＝ｑの位置に位置する白黒チャートＳ１のエッジＥ１がデフォーカス特徴量の算出対象として設定されている。

この場合、まず、エッジＥ１を横切る方向（図５ではＸ方向）においてＲＧＢごとの画素値が取得される。このとき、１ピクセル行だけの画素値が取得されると、その１ピクセル行がノイズを含んでいる場合に誤った画素値が取得される虞がある。そのため、本実施形態では、以下の式（１）〜（３）に示すように、１ピクセル行の画素値がＹ方向にｎピクセル幅に亘ってｎ本積算され、その積算値がｎで除算された平均値が、ｘ＝ｑに位置するエッジＥ１が横切るＲＧＢごとの画素値として取得される。

ここで、ｒ（ｘ，ｋ）、ｇ（ｘ，ｋ）、ｂ（ｘ，ｋ）は、ｙ方向のｎピクセル幅におけるｎ本（ｋ＝１，２，…，ｎ）の１ピクセル行のＲ画素値、Ｇ画素値、Ｂ画素値をそれぞれ示している。ただし、ｘは、図５に示す例ではＸ＝ｑを含む所定範囲（例えば、ｑ−Ｑ／２≦ｘ≦ｑ＋Ｑ／２）を変域とする値を示している。

続いて、以下の式（４）〜（６）に示すように、ｒ＿ａｖｅ（ｘ）、ｇ＿ａｖｅ（ｘ）、ｂ＿ａｖｅ（ｘ）について、各々の最大値及び最小値を用いて正規化することにより、各々の正規化出力が算出される。

ここで、ｘｍｉｎは、エッジＥ１の検出対象領域ＥＡ内で画素値が最小（図５に示す例では黒領域）となるＸ座標値を示し、ｘｍａｘは、エッジＥ１の検出対象領域ＥＡ内で画素値が最大（図５に示す例では白領域）となるＸ座標値を示している。

図６（ａ）には、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合の、白黒チャートＳ１のエッジＥ１の近傍における各色成分の正規化出力が示されている。図６（ａ）に示すように、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の順に、白黒チャートＳ１のエッジＥ１における色成分量の勾配が次第に緩やかとなる。これは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、フォーカスレンズ１５を通過した光が色成分ごとに撮像素子１６に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなるためである。

一方、図６（ｂ）には、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合の、白黒チャートＳ１のエッジＥ１の近傍における各色成分の正規化出力が示されている。図６（ｂ）に示すように、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の順に、白黒チャートＳ１のエッジＥ１における色成分量の勾配が次第に緩やかとなる。これは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、フォーカスレンズ１５を通過した光が色成分ごとに撮像素子１６に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなるためである。

すなわち、図７（ａ）に示すように、白黒チャートＳ１のエッジＥ１の近傍における各色成分量の勾配は、以下のようになる。画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、赤（Ｒ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも小さくなる。これに対し、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、赤（Ｒ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも大きくなる。そのため、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態にあるかに応じて、白黒チャートＳ１のエッジＥ１における赤（Ｒ）の色成分量の勾配と緑（Ｇ）の色成分量の勾配との大小関係が逆転する。

したがって、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とに基づくＥｄ（以下、「ＥｄＲＧ」という）を閾値と比較することにより、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（７）、（８）に基づいて判定される。

ここで、Σ（Ｒ／Ｇ）は、赤（Ｒ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ１に亘って加算した総和を示している。そして、その総和を区間Δ１の長さで除算した値がＥｄＲＧとして算出される。なお、区間Δ１は、図７（ａ）において赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ１よりも右側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（７）が成立する場合には、ＥｄＲＧは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。一方、式（８）が成立する場合には、ＥｄＲＧは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。また、ＥｄＲＧと閾値である「１」との差分が、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

なお、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（９）、（１０）に基づいて判定されてもよい。

ここで、Σ（Ｒ／Ｇ）は、赤（Ｒ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ２に亘って加算した総和を示している。そして、その総和を区間Δ２の長さで除算した値がＥｄＲＧとして算出される。なお、区間Δ２は、図７（ａ）において赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ１よりも左側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（９）が成立する場合には、ＥｄＲＧは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。一方、式（１０）が成立する場合には、ＥｄＲＧは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。また、ＥｄＲＧと閾値である「１」との差分が、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

以上のように、上記の式（７）〜（１０）では、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量との比を用いて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量との差を用いて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

また同様に、図７（ｂ）に示すように、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、青（Ｂ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも大きくなる。これに対し、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、青（Ｂ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも小さくなる。そのため、画像が前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、白黒チャートＳ１のエッジＥ１における青（Ｂ）の色成分量の勾配と緑（Ｇ）の色成分量の勾配との大小関係が逆転する。

したがって、青（Ｂ）の色成分量と緑（Ｇ）の色成分量とに基づくＥｄ（以下、「ＥｄＢＧ」という）を閾値と比較することにより、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（１１）、（１２）に基づいて判定される。

ここで、Σ（Ｂ／Ｇ）は、青（Ｂ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ３に亘って加算した総和を示している。そして、その総和を区間Δ３の長さで除算した値がＥｄＢＧとして算出される。なお、区間Δ３は、図７（ｂ）において青（Ｂ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ２よりも右側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（１１）が成立する場合には、ＥｄＢＧは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。一方、式（１２）が成立する場合には、ＥｄＢＧは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。また、ＥｄＢＧと閾値である「１」との差分が、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

なお、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（１３）、（１４）に基づいて判定されてもよい。

ここで、Σ（Ｂ／Ｇ）は、青（Ｂ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ４に亘って加算した総和を示している。そして、その総和を区間Δ４の長さで除算した値がＥｄＢＧとして算出される。なお、区間Δ４は、図７（ｂ）において青（Ｂ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ２よりも左側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（１３）が成立する場合には、ＥｄＢＧは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。一方、式（１４）が成立する場合には、ＥｄＢＧは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。また、ＥｄＢＧと閾値である「１」との差分が、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

以上のように、上記の式（１１）〜（１４）では、青（Ｂ）の色成分量と緑（Ｇ）の色成分量との比を用いて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、青（Ｂ）の色成分量と緑（Ｇ）の色成分量との差を用いて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

次に、被写体における方向指標及びデフォーカス量をＷｄを用いて算出する原理の概要を説明する。
図８（ａ）及び図８（ｂ）は、白黒チャートＳ１のエッジＥ１の近傍における赤（Ｒ）及び緑（Ｇ）の色成分量の差と、エッジＥ１の検出対象領域ＥＡ内におけるＸ軸方向での位置との関係を示すグラフである。

図８（ａ）には、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合のグラフが実線で示されるとともに、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合のグラフが破線で示されている。図８（ａ）に示すように、Ｗｄは、赤（Ｒ）及び緑（Ｇ）の色成分量の差の波形のピーク間距離として規定されており，以下に示す式（１５）で表される。

ここで、Ｘ１は、図８（ａ）に実線で示すグラフにおいて、赤（Ｒ）及び緑（Ｇ）の色成分量の差が最小となる位置である。一方、Ｘ２は、図８（ａ）に実線で示すグラフにおいて、赤（Ｒ）及び緑（Ｇ）の色成分量の差が最大となる位置である。なお、図８（ａ）に破線で示すグラフにおいては、Ｘ１は、赤（Ｒ）及び緑（Ｇ）の色成分量の差が最大となる位置である。一方、図８（ａ）に破線で示すグラフにおいては、Ｘ２は、赤（Ｒ）及び緑（Ｇ）の色成分量の差が最小となる位置である。すなわち、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、赤（Ｒ）及び緑（Ｇ）の色成分量の差についての波形の極性（正負）が逆転する。

また同様に、図８（ｂ）には、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合のグラフが実線で示されるとともに、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合のグラフが破線で示されている。なお、図８（ｂ）には、図８（ａ）に示す状態と比較して、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が小さい状態のグラフが示されている。

ここで、Ｘ３は、図８（ｂ）に実線で示すグラフにおいて、赤（Ｒ）及び緑（Ｇ）の色成分量の差が最小となる位置である。一方、Ｘ４は、図８（ｂ）に実線で示すグラフにおいて、赤（Ｒ）及び緑（Ｇ）の色成分量の差が最大となる位置である。

そして、図８（ｂ）に示すように、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が小さいと、Ｗｄ（＝｜Ｘ４−Ｘ３｜）の値が図８（ａ）に示すＷｄ（＝｜Ｗ２−Ｗ１｜）の値よりも小さくなる。そのため、Ｗｄの値は、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

以上のように、赤（Ｒ）及び緑（Ｇ）の色成分量の差についての波形の極性に基づいて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、赤（Ｒ）及び緑（Ｇ）の色成分量の比を用いて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。また、比較対象となる色成分の組み合わせは、赤（Ｒ）及び緑（Ｇ）の組み合わせに限定されず、赤（Ｒ）及び青（Ｂ）の組み合わせや、緑（Ｇ）及び青（Ｂ）の組み合わせであってもよい。

次に、被写体における方向指標及びデフォーカス量をＬＳＦを用いて算出する原理の概要を説明する。
ＬＳＦは、画像における色成分量の広がりを表す関数の一種である。そして、図９（ａ）には、画像が白黒チャートＳ１のエッジＥ１において合焦状態にあるＬＳＦが示されている。また、図９（ｂ）には、画像が白黒チャートＳ１のエッジＥ１において非合焦状態にあるＬＳＦが示されている。また、図９（ｃ）には、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が図９（ｂ）に示す状態よりも大きい状態のＬＳＦが示されている。

図９（ａ）〜（ｃ）に示すように、白黒チャートＳ１のエッジＥ１でのＬＳＦの標準偏差σは、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が大きくなるに連れて次第に大きくなる。

図１０（ａ）には、画像が白黒チャートＳ１のエッジＥ１において合焦状態にある場合のＬＳＦが色成分ごとに示されている。図１０（ａ）に示すように、画像が白黒チャートＳ１のエッジＥ１において合焦した状態では、全ての色成分におけるＬＳＦはシャープな波形となる。そして、これらの色成分におけるＬＳＦの標準偏差σＲ，σＧ，σＢは互いにほぼ等しい。

図１０（ｂ）には、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合のＬＳＦが色成分ごとに示されている。図１０（ｂ）に示すように、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、全ての色成分におけるＬＳＦは図１０（ａ）の場合よりも緩やかな波形となる。ただし、これらの色成分におけるＬＳＦの標準偏差σＢ，σＧ，σＲは、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の順に次第に大きくなる。これは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、フォーカスレンズ１５を通過した光が色成分ごとに撮像素子１６に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなるためである。

図１０（ｃ）には、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合のＬＳＦが色成分ごとに示されている。図１０（ｃ）に示すように、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、全ての色成分におけるＬＳＦは図１０（ａ）の場合よりも緩やかな波形となる。ただし、これらの色成分におけるＬＳＦの標準偏差σＢ，σＧ，σＲは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の順に次第に大きくなる。これは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、フォーカスレンズ１５を通過した光が色成分ごとに撮像素子１６に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなるためである。

すなわち、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、白黒チャートＳ１のエッジＥ１における各色成分のＬＳＦの標準偏差の大小関係は互いに異なるものとなる。

図１１は、画像における白黒チャートＳ１のエッジＥ１の距離と、該エッジＥ１における各色のＬＳＦの標準偏差の差との関係を示すグラフである。
ここで、Ｆ１は、青（Ｂ）のＬＳＦの標準偏差σＢと、緑（Ｇ）のＬＳＦの標準偏差σＧとの差を表す関数である。そして、Ｆ１は、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には正の値となる。一方、Ｆ１は、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には負の値となる。また、Ｆ１の絶対値は、画像における白黒チャートＳ１のエッジＥ１の距離が合焦位置に対応する距離から離れるに連れて次第に大きくなる。そのため、Ｆ１の絶対値は、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

また同様に、Ｆ２は、赤（Ｒ）のＬＳＦの標準偏差σＲと、緑（Ｇ）のＬＳＦの標準偏差σＧとの差を表す関数である。そして、Ｆ２は、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には負の値となる。一方、Ｆ２は、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には正の値となる。また、Ｆ２の絶対値は、画像における白黒チャートＳ１のエッジＥ１の距離が合焦位置に対応する距離から離れるに連れて次第に大きくなる。そのため、Ｆ１の絶対値は、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

以上のように、エッジＥ１における赤（Ｒ）及び緑（Ｇ）、又は、青（Ｂ）及び緑（Ｇ）の色成分量のＬＳＦの標準偏差の差の極性に基づいて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、エッジＥ１における赤（Ｒ）及び青（Ｂ）のＬＳＦの標準偏差の差の極性に基づいて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。また、エッジＥ１における各色のＬＳＦの標準偏差の比を閾値（＝「１」）と比較することにより、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

また、ＬＳＦは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうち、一つの色成分のみについて算出されてもよい。この場合、一例として、まず、エッジＥ１におけるＬＳＦの値とエッジＥ１のデフォーカス量とを対応付けたエッジのプロファイルをデータベースに予め記憶させる。そして、白黒チャートＳ１のエッジＥ１におけるＬＳＦの値をデータベースに記憶されたエッジのプロファイルと照合することにより、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量が算出される。

また、被写体における方向指標及びデフォーカス量を算出する際に、ＬＳＦの標準偏差に代えて、ＬＳＦの半値幅、又は、ＬＳＦのピーク値を用いてもよい。
次に、本実施形態の画像処理エンジン１８のＭＰＵ２０が実行する合焦状態表示処理ルーチンの概要を図１２のフローチャートを参照しながら説明する。

さて、ＭＰＵ２０は、カメラ１０が電源ＯＮ状態となると、図１２に示す合焦状態表示処理ルーチンを開始する。そして、ステップＳ１１において、ＭＰＵ２０の画像処理部４１は、撮像素子１６から出力された画素信号を取り込んでスルー画を生成し、生成したスルー画をモニタ３２に表示させる。この場合、ＭＰＵ２０の表示制御部４４は、スルー画に対してＡＦ評価枠Ｒ（図１６（ａ）参照）を重畳して表示させる。そして、ＭＰＵ２０の領域設定部５０は、スルー画のうちＡＦ評価枠Ｒ内に含まれる画像部分を合焦の対象となる領域として設定する。なお、図１６（ａ）に示す例では、スルー画には被写体として植物Ａ及び蝶Ｂが含まれており、植物Ａの花Ａ１に対して矩形状のＡＦ評価枠Ｒが重畳して表示されている。

そして次に、ステップＳ１２において、ＭＰＵ２０は、レリーズボタン６１の半押し操作がなされたか否かを判定する。そして、ＭＰＵ２０は、レリーズボタン６１の半押し操作がなされた（ステップＳ１２＝ＹＥＳ）と判定した場合、その処理をステップＳ１３に移行する。

そして、ステップＳ１３において、ＭＰＵ２０のレンズ制御部５４は、スルー画におけるＡＦ評価枠Ｒ内の画像部分を対象としたコントラストＡＦを実行する。具体的には、ＭＰＵ２０のレンズ制御部５４は、まず、スルー画の合焦位置をスルー画の奥行方向における至近側から無限遠側にかけての全域に亘って移動させるように、フォーカス駆動回路２１を駆動制御してフォーカスレンズ１５を光軸方向に駆動させる。次に、ＭＰＵ２０のレンズ制御部５４は、各位置におけるスルー画のＡＦ評価枠Ｒ（図１６（ａ）参照）内の画像部分のコントラスト値を求め、ＡＦ評価枠Ｒ内の画像部分のコントラスト値が最も高くなるフォーカスレンズ１５のレンズ位置を合焦位置として検出する。そして、ＭＰＵ２０のレンズ制御部５４は、検出された合焦位置に至るまで現在のレンズ位置からフォーカスレンズ１５を駆動させる。その結果、スルー画がＡＦ評価枠Ｒ内の画像部分において合焦された状態となる。なお、図１６（ａ）に示す例では、スルー画は、植物Ａの花の部分において合焦された状態となる。

そして、ＭＰＵ２０は、合焦位置に至るまでのフォーカスレンズ１５の駆動が完了した後に、その処理をステップＳ１４に移行する。
一方、ＭＰＵ２０は、レリーズボタン６１の半押し操作がなされていない（ステップＳ１２＝ＮＯ）と判定した場合、ステップＳ１３を経ることなく、その処理をステップＳ１４に移行する。

そして、ステップＳ１４において、ＭＰＵ２０は、画像表示処理のモード状態が合焦状態表示モードに設定されたか否かを判定する。この場合、合焦状態表示モードの設定は、例えば、操作部６２を構成するメニューボタンの押圧操作によって行われる。なお、モニタ３２がタッチパネルである場合には、モニタ３２のタッチ操作によって合焦状態表示モードの設定が行われてもよい。そして、ＭＰＵ２０は、合焦状態表示モードの設定がなされていない（ステップＳ１４＝ＮＯ）と判定した場合、その処理をステップＳ１１に戻し、合焦状態表示モードの設定がなされるまでステップＳ１１〜ステップＳ１４の処理を繰り返す。一方、ＭＰＵ２０は、合焦状態表示モードの設定がなされた（ステップＳ１４＝ＹＥＳ）と判定した場合、その処理をステップＳ１５に移行する。

そして、ステップＳ１５において、ＭＰＵ２０の表示制御部４４は、スルー画におけるＡＦ評価枠Ｒを拡大表示させる。その結果、スルー画のうちＡＦ評価枠Ｒ内に含まれる画像領域の範囲が拡大する。そして、スルー画のうち拡大表示されたＡＦ評価枠Ｒ内の画像部分が合焦状態の表示対象となる領域として設定される。この点で、本実施形態では、ＭＰＵ２０の表示制御部４４は、スルー画のうち、合焦の対象となる領域よりも広い範囲を、合焦状態の表示対象として設定する。なお、図１６（ｂ）に示す例では、合焦状態表示モードの設定がなされた時点で、スルー画のうち植物Ａの全体を含むようにＡＦ評価枠Ｒの表示サイズが拡大される。

そして次に、ステップＳ１６において、ＭＰＵ２０のエッジ検出部５１は、スルー画のうちＡＦ評価枠Ｒ内の画像部分からエッジを検出する。具体的には、ＭＰＵ２０のエッジ検出部５１は、スルー画のうちＡＦ評価枠Ｒ内の画像部分を微分フィルタによってスキャン（例えば、ラスタースキャン）する。その結果、スルー画のうちＡＦ評価枠Ｒ内の画像部分における明度、彩度及び色相等の特徴量が算出される。そして、ＭＰＵ２０のエッジ検出部５１は、算出された特徴量が大きい部分を軸上色収差の評価に適したエッジとして検出する。

続いて、ステップＳ１７において、ＭＰＵ２０の特徴量算出部５３は、合焦検出ステップとして、先のステップＳ１６において検出されたエッジにおける軸上色収差の評価値に基づいて、被写体のデフォーカス特徴量の算出処理ルーチンを行う。

ここで、被写体のデフォーカス特徴量の算出処理ルーチンの詳細を図１３に示すフローチャートを用いて説明する。
図１３に示すように、ステップＳ１００において、ＭＰＵ２０の特徴量算出部５３は、スルー画のうちＡＦ評価枠Ｒ内の画像部分を複数の分割領域ＤＲ（図１６（ｃ）参照）に格子状に分割する。なお、図１６（ｃ）に示す例では、スルー画のうちＡＦ評価枠Ｒ内の画像部分が１６個の分割領域ＤＲに分割されている。

そして次に、ステップＳ１０１において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１６において検出されたエッジを複数含む分割領域ＤＲがあるか否かを判定する。そして、ＭＰＵ２０の特徴量算出部５３は、複数のエッジを含む分割領域ＤＲがある（ステップＳ１０１＝ＹＥＳ）と判定した場合、その処理をステップＳ１０２に移行する。

そして、ステップＳ１０２において、ＭＰＵ２０の優先度設定部５２は、先のステップＳ１００において判定された分割領域ＤＲに含まれる複数のエッジに優先度を設定する。この場合、まず、エッジの強度、エッジの色成分、エッジのコントラスト、エッジのＳＮ比、エッジの波形において平坦になっている範囲の幅、エッジの長さ等を評価項目としてエッジの評点がそれぞれ算出される。そして、算出された評点の合計値の大小に応じてエッジの優先度が設定される。

続いて、ステップＳ１０３において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０２において優先度が最も高く設定されたエッジを、軸上色収差の評価の対象となるエッジとして分割領域ＤＲごとに設定し、その処理をステップＳ１０５に移行する。

一方、ＭＰＵ２０の特徴量算出部５３は、複数のエッジを含む分割領域ＤＲがない（ステップＳ１０１＝ＮＯ）と判定した場合、その処理をステップＳ１０４に移行する。そして、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０４において判定された分割領域ＤＲに含まれるエッジを、軸上色収差の評価の対象となるエッジとして分割領域ＤＲごとに設定し、その処理をステップＳ１０５に移行する。

そして、ステップＳ１０５において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０３又はステップＳ１０４において評価の対象として設定されたエッジにおける色構造を解析する。具体的には、ＭＰＵ２０の特徴量算出部５３は、まず、評価の対象として設定されたエッジにおける赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色成分量のコントラストを算出する。次に、ＭＰＵ２０の特徴量算出部５３は、評価の対象として設定されたエッジのうち色成分量のコントラストが閾値以上であるエッジを色成分ごとにスルー画から抽出することにより、各色のエッジのビットマップを生成する。そして、ＭＰＵ２０の特徴量算出部５３は、生成した各色のエッジのビットマップをバッファメモリ３０に格納する。

そして次に、ステップＳ１０６において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０３又はステップＳ１０４において評価の対象として設定されたエッジについて、コントラストが閾値以上である色成分が三色であるか否かを分割領域ＤＲごとに判定する。具体的には、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０５において生成した各色のエッジのビットマップを重ね合わせた場合に、全ての色成分のエッジが重なり合うエッジであるか否かを分割領域ＤＲごとに判定する。そして、ＭＰＵ２０の特徴量算出部５３は、エッジのコントラストが閾値以上である色成分が三色である（ステップＳ１０６＝ＹＥＳ）と判定した場合、その処理をステップＳ１０７に移行する。

そして、ステップＳ１０７において、ＭＰＵ２０の特徴量算出部５３は、鏡筒１１内に配置されたレンズ１２，１３，１５の軸上色収差の特性に応じて、エッジにおける軸上色収差の評価に用いる色成分の組み合わせを赤（Ｒ）、緑（Ｇ）、青（Ｂ）の中から選択して設定する。例えば、各色の光がレンズ１２，１３，１５を通過して合焦する際に、赤（Ｒ）及び緑（Ｇ）の焦点位置のずれ量の方が青（Ｂ）及び緑（Ｇ）の焦点位置のずれ量よりも大きいとする。この場合、エッジにおける軸上色収差の評価に用いる色成分の組み合わせとして、赤（Ｒ）及び緑（Ｇ）の組み合わせが選択されて設定される。

一方、ＭＰＵ２０の特徴量算出部５３は、エッジのコントラストが閾値以上である色成分が三色でない（ステップＳ１０６＝ＮＯ）と判定した場合、その処理をステップＳ１０８に移行する。

そして、ステップＳ１０８において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０３又はステップＳ１０４において評価の対象として設定されたエッジについて、コントラストが閾値以上である色成分が二色であるか否かを分割領域ＤＲごとに判定する。具体的には、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０５において生成した各色のエッジのビットマップを重ね合わせた場合に、二色のエッジが重なり合うエッジであるか否かを分割領域ＤＲごとに判定する。そして、ＭＰＵ２０の特徴量算出部５３は、エッジのコントラストが閾値以上である色成分が二色である（ステップＳ１０８＝ＹＥＳ）と判定した場合、その処理をステップＳ１０９に移行する。

そして、ステップＳ１０９において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０８においてコントラストが閾値以上であると判定された二色の色成分を、エッジにおける軸上色収差の評価に用いる色成分の組み合わせとして設定する。すなわち、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０５において生成した各色のエッジのビットマップを重ね合わせた場合に、エッジが重なり合った二色の色成分をエッジにおける軸上色収差の評価に用いる色成分の組み合わせとして設定する。

そして次に、ステップＳ１１０において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０７又はステップＳ１０９において設定された二色の色成分について、エッジにおける軸上色収差の評価値を算出する。なお、この場合、エッジにおける軸上色収差の評価値としては、Ｅｄ、Ｗｄ、ＬＳＦのうち何れの評価値であってもよい。そして、ＭＰＵ２０の特徴量算出部５３は、算出された評価値に基づいて被写体のデフォーカス特徴量として方向指標及びデフォーカス量を分割領域ＤＲごとに算出する。具体的には、ＭＰＵ２０の特徴量算出部５３は、スルー画を構成する複数のフレーム画像からエッジにおける軸上色収差の評価値を算出し、算出された評価値の平均値に基づいて被写体のデフォーカス特徴量として方向指標及びデフォーカス量を分割領域ＤＲごとに算出する。

そして、ＭＰＵ２０の特徴量算出部５３は、ステップＳ１１０における被写体のデフォーカス特徴量の算出が完了した場合、図１３に示す被写体のデフォーカス特徴量の算出処理ルーチンを終了し、その処理を図１２に示す合焦状態表示処理ルーチンに戻す。

一方、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０８においてエッジのコントラストが閾値以上である色成分が二色ではない（ステップＳ１０８＝ＮＯ）と判定した場合、その処理をステップＳ１１１に移行する。

そして、ステップＳ１１１において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０５において色成分量のコントラストが閾値以上であると判定されたエッジの色成分を、エッジにおける軸上色収差の評価に用いる色成分として設定する。具体的には、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１０５において生成された各色のエッジのビットマップを重ね合わせた場合に、他の色成分のエッジと重なり合わないエッジを抽出する。そして、ＭＰＵ２０の特徴量算出部５３は、抽出されたエッジの色成分を該エッジにおける軸上色収差の評価に用いる色成分として設定する。

そして次に、ステップＳ１１２において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１１１において設定された色成分について、エッジにおける軸上色収差の評価値を算出する。なお、この場合、エッジにおける軸上色収差の評価値としては、ＬＳＦが用いられる。そして、評価値として算出されたエッジにおけるＬＳＦを、データベースに記憶されたエッジのプロファイルと照合することにより、被写体のデフォーカス特徴量としてデフォーカス量を分割領域ＤＲごとに算出する。具体的には、ＭＰＵ２０の特徴量算出部５３は、スルー画を構成する複数のフレーム画像からエッジにおける軸上色収差の評価値を算出し、算出された評価値の平均値に基づいて被写体のデフォーカス特徴量としてデフォーカス量を分割領域ＤＲごとに算出する。

そして、ＭＰＵ２０の特徴量算出部５３は、ステップＳ１１２における被写体のデフォーカス特徴量の算出が完了した場合、図１３に示す被写体のデフォーカス特徴量の算出処理ルーチンを終了し、その処理を図１２に示す合焦状態表示処理ルーチンに戻す。

そして次に、図１２に示すように、ステップＳ１８において、ＭＰＵ２０は、先のステップＳ１７において算出された被写体のデフォーカス量が、その時点におけるスルー画の被写界深度の範囲内にあるか否かを判定する。そして、ＭＰＵ２０は、被写体のデフォーカス量がスルー画の被写界深度の範囲内にある（ステップＳ１８＝ＹＥＳ）と判定した場合には、その処理をステップＳ１９に移行する。

続いて、ステップＳ１９において、ＭＰＵ２０の画像処理部４１は、被写体がスルー画の被写界深度の範囲内に位置することを示す合焦標識である深度内標識Ｍ１（図１６（ｃ）参照）を分割領域ＤＲごとに生成し、生成した深度内標識Ｍ１をバッファメモリ３０に格納する。この深度内標識Ｍ１は、先のステップＳ１７において被写体のデフォーカス量を算出する際に、軸上色収差の評価の対象とされた被写体のエッジに沿う形状となっている。なお、図１６（ｃ）に示す例では、スルー画に含まれる植物Ａの花Ａ１のうち上下方向の中央側部分のエッジが、スルー画の被写界深度内に位置している。そのため、この部分のエッジに沿う形状の深度内標識Ｍ１が生成される。

一方、ＭＰＵ２０は、被写体のデフォーカス量がスルー画の被写界深度の範囲内にない（ステップＳ１８＝ＮＯ）と判定した場合には、その処理をステップＳ２０に移行する。
そして、ステップＳ２０において、ＭＰＵ２０は、先のステップＳ１７において被写体のデフォーカス特徴量として方向指標が算出されたか否かを判定する。すなわち、ＭＰＵ２０は、被写体のデフォーカス特徴量を算出する際に軸上色収差の評価の対象とされたエッジについて、該エッジにおける色成分量のコントラストが閾値以上である色成分が二色以上であったか否かを判定する。そして、ＭＰＵ２０は、被写体のデフォーカス特徴量として方向指標が算出された（ステップＳ２０＝ＹＥＳ）と判定した場合には、その処理をステップＳ２１に移行する。

続いて、ステップＳ２１において、ＭＰＵ２０は、先のステップＳ１７において被写体のデフォーカス特徴量として算出された方向指標が前ピン状態であるか否かを判定する。そして、ＭＰＵ２０は、被写体のデフォーカス特徴量として算出された方向指標が前ピン状態である（ステップＳ２１＝ＹＥＳ）と判定した場合には、その処理をステップＳ２２に移行する。

そして次に、ステップＳ２２において、ＭＰＵ２０の画像処理部４１は、スルー画の被写界深度の範囲が被写体よりも近点側に位置することを示す合焦標識である前ピン標識Ｍ２（図１６（ｃ）参照）を分割領域ＤＲごとに生成し、生成した前ピン標識Ｍ２をバッファメモリ３０に格納する。この前ピン標識Ｍ２は、先のステップＳ１７において被写体のデフォーカス特徴量を算出する際に、軸上色収差の評価の対象とされた被写体のエッジに沿う形状となっている。なお、図１６（ｃ）に示す例では、スルー画の被写界深度の範囲が、スルー画に含まれる植物Ａの茎Ａ２の部分よりも近点側に位置している。そのため、この部分のエッジに沿う形状の前ピン標識Ｍ２が生成される。

一方、ＭＰＵ２０は、被写体のデフォーカス特徴量として算出された方向指標が前ピン状態ではない（ステップＳ２１＝ＮＯ）と判定した場合には、被写体のデフォーカス特徴量として算出された方向指標が後ピン状態であると判断し、その処理をステップＳ２３に移行する。

そして次に、ステップＳ２３において、ＭＰＵ２０の画像処理部４１は、スルー画の被写界深度の範囲が被写体よりも遠点側に位置することを示す合焦標識である後ピン標識Ｍ３（図１６（ｃ）参照）を分割領域ＤＲごとに生成し、生成した後ピン標識Ｍ３をバッファメモリ３０に格納する。この後ピン標識Ｍ３は、先のステップＳ１７において被写体のデフォーカス特徴量を算出する際に、軸上色収差の評価の対象とされた被写体のエッジに沿う形状となっている。なお、図１６（ｃ）に示す例では、スルー画の被写界深度の範囲が、スルー画に含まれる植物Ａの花Ａ１の上端側部分、及び、スルー画に含まれる植物Ａの葉Ａ３の先端側部分よりも遠点側に位置している。そのため、これらの部分のエッジに沿う形状の後ピン標識Ｍ３が生成される。

また、ＭＰＵ２０は、被写体のデフォーカス特徴量として方向指標が算出されていない（ステップＳ２０＝ＮＯ）と判定した場合には、その処理をステップＳ２４に移行する。
そして、ステップＳ２４において、ＭＰＵ２０の画像処理部４１は、スルー画の被写界深度の範囲が被写体に対して近点側及び遠点側の何れに位置するか不明であることを示す合焦標識であるエラー標識Ｍ４（図１６（ｃ）参照）を分割領域ＤＲごとに生成し、生成したエラー標識Ｍ４をバッファメモリ３０に格納する。このエラー標識Ｍ４は、先のステップＳ１７において被写体のデフォーカス特徴量を算出する際に、軸上色収差の評価の対象とされた被写体のエッジに沿う形状となっている。なお、図１６（ｃ）に示す例では、スルー画の被写界深度の範囲が、スルー画に含まれる蝶Ｂよりも近点側及び遠点側の何れに位置しているか不明となっている。そのため、この部分のエッジに沿う形状のエラー標識Ｍ４が生成される。

そして次に、ＭＰＵ２０の表示制御部４４は、表示制御ステップとして、先のステップＳ１９、ステップＳ２２、ステップＳ２３及びステップＳ２４において生成された合焦標識を、スルー画に含まれる被写体に対して重畳して表示させる。

具体的には、ＭＰＵ２０の表示制御部４４は、先のステップＳ１９において生成された深度内標識Ｍ１を、スルー画のうち、スルー画の被写界深度の範囲内に位置する画像部分に対して重畳して表示させる。図１６（ｃ）に示す例では、ＭＰＵ２０の表示制御部４４は、スルー画に含まれる植物Ａの花Ａ１のうち上下方向の中央側部分のエッジに対して深度内標識Ｍ１を重畳して表示させる。

また、ＭＰＵ２０の表示制御部４４は、先のステップＳ２２において生成された前ピン標識Ｍ２を、スルー画のうち、スルー画の被写界深度の範囲が近点側に位置する画像部分に対して重畳して表示させる。図１６（ｃ）に示す例では、ＭＰＵ２０の表示制御部４４は、スルー画に含まれる植物Ａの茎Ａ２の部分のエッジに対して前ピン標識Ｍ２を重畳して表示させる。

また、ＭＰＵ２０の表示制御部４４は、先のステップＳ２３において生成された後ピン標識Ｍ３を、スルー画のうち、スルー画の被写界深度の範囲が遠点側に位置する画像部分に対して重畳して表示させる。図１６（ｃ）に示す例では、ＭＰＵ２０の表示制御部４４は、スルー画に含まれる植物Ａの花Ａ１の上端側部分、及び、スルー画に含まれる植物Ａの葉Ａ３の先端側部分のエッジに対して後ピン標識Ｍ３を重畳して表示させる。

また、ＭＰＵ２０の表示制御部４４は、先のステップＳ２４において生成されたエラー標識Ｍ４を、スルー画のうち、スルー画の被写界深度の範囲が被写体に対して近点側及び遠点側の何れに位置するか不明である画像部分に対して重畳して表示させる。図１６（ｃ）に示す例では、ＭＰＵ２０の表示制御部４４は、スルー画に含まれる蝶Ｂのエッジに対してエラー標識Ｍ４を重畳して表示させる。

なお、ＭＰＵ２０の表示制御部４４は、深度内標識Ｍ１、前ピン標識Ｍ２、後ピン標識Ｍ３、エラー標識Ｍ４の色表示を互いに異ならせている。すなわち、ＭＰＵ２０の表示制御部４４は、エッジにおける被写体の合焦状態に応じて合焦標識の色表示を制御しつつ、被写体のエッジに対して合焦標識を重畳して表示させる。

続いて、ステップＳ２６において、ＭＰＵ２０は、操作部６２を構成する表示切替ボタンの押圧操作がなされたか否かを判定する。そして、ＭＰＵ２０は、表示切替ボタンの押圧操作がなされた（ステップＳ２６＝ＹＥＳ）と判定した場合には、その処理をステップＳ２７に移行する。

そして次に、ステップＳ２７において、ＭＰＵ２０の表示制御部４４は、スルー画に重畳して表示される合焦標識の表示モードを切り替えた後に、その処理をステップＳ２８に移行する。

具体的には、まず、ＭＰＵ２０の画像処理部４１は、先のステップＳ１７において算出された被写体のデフォーカス量を示す合焦標識であるデフォーカス量標識Ｍ５（図１６（ｄ）参照）を分割領域ＤＲごとに生成し、生成したデフォーカス量標識Ｍ５をバッファメモリ３０に格納する。なお、図１６（ｄ）に示す例では、デフォーカス量標識Ｍ５は、被写体のデフォーカス量を数値化して表したものとなっている。ただし、デフォーカス量標識Ｍ５は、被写体のデフォーカス量の大きさを段階的（例えば、大・中・小の三段階）に表したものであってもよい。

そして、ＭＰＵ２０の表示制御部４４は、合焦標識の表示モードを、生成されたデフォーカス量標識Ｍ５を各々が対応する分割領域ＤＲに対応させつつ被写体に重畳して表示させる表示モードに切り替える。なお、ＭＰＵ２０の表示制御部４４は、デフォーカス量標識Ｍ５が被写体に重畳して表示されている表示モードにおいて表示切替ボタンの押圧操作がなされた場合には、合焦標識の表示モードを、全ての合焦標識（深度内標識Ｍ１、前ピン標識Ｍ２、後ピン標識Ｍ３、エラー標識Ｍ４及びデフォーカス量標識Ｍ５）が非表示となる表示モードに切り替える。さらに、全ての合焦標識が非表示となる表示モードにおいて表示切替ボタンの押圧操作がなされた場合には、合焦標識の表示モードを、デフォーカス量標識Ｍ５以外の全ての合焦標識（深度内標識Ｍ１、前ピン標識Ｍ２、後ピン標識Ｍ３及びエラー標識Ｍ４）が表示される元の表示モードに切り替える。

一方、ＭＰＵ２０は、表示切替ボタンの押圧操作がなされていない（ステップＳ２６＝ＮＯ）と判定した場合には、ステップＳ２７の処理を経ることなく、その処理をステップＳ２８に移行する。

そして、ステップＳ２８において、ＭＰＵ２０は、レリーズボタン６１の半押し操作がなされたか否かを判定する。そして、ＭＰＵ２０は、レリーズボタン６１の半押し操作がなされたと判定した場合には、その処理をステップＳ２９に移行し、ステップＳ２９における被写界深度の制御処理ルーチンを実行する。なお、ＭＰＵ２０は、モニタ３２がタッチパネルである場合には、モニタ３２がタッチ操作されたと判定した場合に、ステップＳ２９における被写界深度の制御処理ルーチンを実行してもよい。

ここで、被写界深度の制御処理ルーチンの詳細を図１４に示すフローチャートを用いて説明する。
図１４に示すように、ステップＳ２００において、ＭＰＵ２０は、その時点でカメラ１０に設定されているモニタ３２への画像の出力サイズに基づいて閾値Ｔ１を設定する。この閾値Ｔ１は、ＭＰＵ２０の絞り制御部４２が絞り１４の開口面積を変化させてスルー画の被写界深度の大きさを変化させることにより、スルー画に含まれる被写体のうち、スルー画の被写界深度の範囲内に収める画像部分の比率を設定する際の基準値となっている。なお、モニタ３２への画像の出力サイズが相対的に大きい場合には、モニタ３２への画像の出力サイズが相対的に小さい場合と比較して、スルー画に含まれる被写体のうち、スルー画の被写界深度の範囲内に収まらずにぼけを生じた画像部分がモニタ３２において目立ちやすい。そのため、ＭＰＵ２０は、モニタ３２への画像の出力サイズが相対的に大きい場合には、モニタ３２への画像の出力サイズが相対的に小さい場合と比較して、閾値Ｔ１を高く設定する。なお、本実施形態では、一例として、Ｔ１＝０．６と設定されている。

そして次に、ステップＳ２０１において、ＭＰＵ２０は、スルー画におけるＡＦ評価枠Ｒ内の画像部分の中から人が注目することが想定される領域として被写体マスクを抽出する。この場合、ＭＰＵ２０は、例えば、スルー画に対してラベリング処理を行うことにより、スルー画から被写体マスクを抽出する。ここで、ラベリング技術とは、スルー画から特徴量ごとに画素データを検出し、検出された画素データが互いに近接した画素領域のうち画像内での位置が隣接する画素領域を順次検出してグループ化することにより、スルー画から被写体マスクを抽出する技術である。そして、本実施形態では、ラベリング処理に用いる特徴量としては、動きベクトル、色相、彩度、明度、テクスチャ（模様）、コントラスト等が含まれる。また、ＭＰＵ２０は、スルー画に対してパターン認識処理を行うことにより、スルー画から被写体マスクを抽出してもよい。なお、図１７（ａ）に示す例では、スルー画のうちＡＦ評価枠Ｒ内の画像部分から被写体マスクとして植物Ａの花Ａ１が抽出されている。

なお、スルー画のうちＡＦ評価枠Ｒ内の画像部分から被写体マスクの候補が複数抽出された場合には、これらの被写体マスクの候補の中から被写体マスクがマニュアルで選択されてもよい。この場合、被写体マスクの選択は、例えば、操作部６２を構成するセレクトボタンの押圧操作によって行われる。また、被写体マスクの選択は、モニタ３２がタッチパネルである場合には、モニタ３２のタッチ操作によって行われてもよい。

続いて、ステップＳ２０２において、ＭＰＵ２０は、スルー画のうち被写体マスクの画像部分を複数の区画領域ＴＲに格子状に区画する。なお、図１７（ａ）に示す例では、スルー画のうち植物Ａの花Ａ１の画像部分が１６個の区画領域ＴＲに格子状に区画されている。

そして次に、ステップＳ２０３において、ＭＰＵ２０は、先のステップＳ１１０又はステップＳ１１２と同様にして、スルー画のうちＡＦ評価枠Ｒ内の画像部分から検出されたエッジにおける軸上色収差の評価値に基づいて、被写体マスクのデフォーカス量を区画領域ＴＲごとに算出する。なお、図１７（ａ）に示す例では、１６個の区画領域ＴＲのうち、合焦標識が重畳して表示されたエッジを含む１０個の区画領域ＴＲについて、植物Ａの花Ａ１のデフォーカス量が算出されている。

続いて、ステップＳ２０４において、ＭＰＵ２０は、まず、被写体マスクを含む複数の区画領域ＴＲのうち、被写体マスクのデフォーカス量がその時点におけるスルー画の被写界深度の範囲内にあるエッジを含む区画領域ＴＲの数の比率Ｎを算出する。すなわち、ＭＰＵ２０は、被写体マスクが、その時点でのスルー画の被写界深度の範囲内にどの程度の比率で収まっているかを算出している。なお、図１７（ａ）に示す例では、その時点でのスルー画の被写界深度の範囲内にあるエッジを含む区画領域ＴＲの数が８つであるため、比率Ｎとして１／２が算出される。

そして次に、ステップＳ２０５において、ＭＰＵ２０は、先のステップＳ２０４において算出した比率Ｎが先のステップＳ２００において設定した閾値Ｔ１以上であるか否かを判定する。そして、ＭＰＵ２０は、比率Ｎが閾値Ｔ１未満である（ステップＳ２０５＝ＮＯ）と判定した場合には、その処理をステップＳ２０６に移行する。

そして、ステップＳ２０６において、ＭＰＵ２０の絞り制御部４２は、絞り駆動回路２３を駆動制御することにより、絞り値を一段階上げて絞りの開口面積を縮小させる。その結果、絞り１４の開口面積の縮小に伴って、スルー画の被写界深度の大きさが拡大する。そして、ＭＰＵ２０は、その処理をステップＳ２０３に戻し、比率Ｎが閾値Ｔ以上となるまでステップＳ２０３〜ステップＳ２０６を繰り返す。すなわち、ＭＰＵ２０の絞り制御部４２は、被写体マスクのうち被写界深度の範囲内に収まる画像部分の比率が一定の比率に達するまで、スルー画の被写界深度の大きさを段階的に上げていく。この点で、本実施形態では、ＭＰＵ２０の絞り制御部４２は、被写体のうちスルー画の被写界深度の範囲内に収まる画像部分の比率が一定の比率となるように、スルー画の被写界深度の大きさを制御する被写界深度制御部として機能する。

図１７（ｂ）に示す例では、図１７（ａ）に示す状態からスルー画の被写界深度の大きさが拡大されたことにより、その時点でのスルー画の被写界深度の範囲内にあるエッジを含む区画領域ＴＲの数が１０つとなっている。そのため、図１７（ｂ）に示す例では比率Ｎ（＝５／８）が閾値Ｔ１（＝０．６）以上となる。したがって、ＭＰＵ２０の絞り制御部４２は、図１７（ａ）に示す例では、図１７（ｂ）に示す状態となるまでスルー画の被写界深度の大きさを段階的に上げていく。

なお、ＭＰＵ２０の絞り制御部４２は、合焦標識が重畳して表示されたエッジを含む区画領域ＴＲのうち、被写体マスクのデフォーカス量がその時点におけるスルー画の被写界深度の範囲内にあるエッジを含む区画領域ＴＲの数の比率を、上記の比率Ｎに代えて算出してもよい。この場合、ＭＰＵ２０の絞り制御部４２は、上記の比率Ｎに代えて算出した比率が所定の閾値以上となるまでスルー画の被写界深度の大きさを段階的に上げてもよい。また、ＭＰＵ２０の絞り制御部４２は、合焦標識が重畳して表示された全てのエッジについて、該エッジにおける被写体マスクのデフォーカス量がその時点におけるスルー画の被写界深度の範囲内に収まるまでスルー画の被写界深度の大きさを段階的に上げてもよい。

そして、ＭＰＵ２０は、比率Ｎが閾値Ｔ以上である（ステップＳ２０５＝ＹＥＳ）と判定した場合には、図１４に示す被写界深度の制御処理ルーチンを終了し、その処理を図１２に示す合焦状態表示処理ルーチンに戻す。

そして次に、図１２に示すように、ステップＳ３０において、ＭＰＵ２０の特徴量算出部５３は、エッジにおける被写体のデフォーカス特徴量の更新処理ルーチンを実行する。
ここで、被写体のデフォーカス特徴量の更新処理ルーチンの詳細を図１５に示すフローチャートを用いて説明する。

図１５に示すように、ステップＳ３００において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ１６において軸上色収差の評価対象として検出されたエッジを追尾対象として設定する。

そして次に、ステップＳ３０１において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ３００において追尾対象として設定したエッジがスルー画内において移動したか否かを判定する。具体的には、ＭＰＵ２０の特徴量算出部５３は、まず、撮影周期ごとに撮像素子１６に繰り返し撮影されるスルー画のフレーム画像の中から先のステップＳ３００において追尾対象として設定したエッジの位置を随時検出する。そして、ＭＰＵ２０の特徴量算出部５３は、前後のフレーム画像におけるエッジの位置の変化量が所定量以上であるか否かに基づいて、追尾対象として設定したエッジがスルー画内において移動したか否かを判定する。そして、ＭＰＵ２０の特徴量算出部５３は、追尾対象として設定したエッジがスルー画内において移動した（ステップＳ３０１＝ＹＥＳ）と判定した場合、その処理をステップＳ３０２に移行する。

そして、ステップＳ３０２において、ＭＰＵ２０の特徴量算出部５３は、追尾対象として設定されたエッジの移動に追随させてスルー画内でのＡＦ評価枠Ｒを移動させる。
なお、図１７（ｃ）には、図１７（ｂ）に示す状態からカメラ１０の撮影位置が下方にずらされた状態が一例として示されている。この図１７（ｃ）に示す例では、先のステップＳ１６において検出されたエッジ、即ち、合焦標識（深度内標識Ｍ１、前ピン標識Ｍ２、後ピン標識Ｍ３及びエラー標識Ｍ４）が重畳して表示されているエッジが図１７（ｂ）に示す状態からスルー画内において上方に移動している。そのため、図１７（ｃ）に示す例では、スルー画内におけるエッジの上方への移動に追随してスルー画内でのＡＦ評価枠Ｒが上方に移動している。

続いて、ステップＳ３０３において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ３００において追尾対象として設定されたエッジ、即ち、先のステップＳ１１０又はステップＳ１１２において軸上色収差の評価対象として設定されたエッジについて、該エッジにおける軸上色収差の評価値を算出する。

そして次に、ステップＳ３０４において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ３０２においてＡＦ評価枠Ｒが移動する前後でのスルー画の画角の変化量が閾値未満であるか否かを判定する。この閾値は、ＡＦ評価枠Ｒが移動する前後のフレーム画像を用いて被写体のデフォーカス特徴量を算出することが適切であるか否かを判定する際の基準値となっている。そして、ＭＰＵ２０の特徴量算出部５３は、ＡＦ評価枠Ｒが移動する前後でのスルー画の画角の変化量が閾値未満である（ステップＳ３０４＝ＹＥＳ）と判定した場合には、その処理をステップＳ３０５に移行する。

そして次に、ステップＳ３０５において、ＭＰＵ２０の特徴量算出部５３は、ＡＦ評価枠Ｒが移動する前後のフレーム画像を含む複数のフレーム画像について、先のステップＳ３００において追尾対象として設定されたエッジにおける軸上色収差の評価値をフレーム画像ごとに算出する。そして、ＭＰＵ２０の特徴量算出部５３は、フレーム画像ごとに算出された評価値の平均値に基づいて、エッジにおける被写体のデフォーカス特徴量を算出する。さらに、ＭＰＵ２０の特徴量算出部５３は、算出したデフォーカス特徴量を現時点のスルー画における被写体のデフォーカス特徴量として更新した上で、その処理をステップＳ３０７に移行する。

一方、ＭＰＵ２０の特徴量算出部５３は、ＡＦ評価枠Ｒが移動する前後でのスルー画の画角の変化量が閾値未満ではない（ステップＳ３０４＝ＮＯ）と判定した場合には、その処理をステップＳ３０６に移行する。

そして、ステップＳ３０６において、ＭＰＵ２０の特徴量算出部５３は、ＡＦ評価枠Ｒが移動した後の複数のフレーム画像について、先のステップＳ１６において検出されたエッジにおける軸上色収差の評価値をフレーム画像ごとに算出する。すなわち、ＭＰＵ２０の特徴量算出部５３は、ＡＦ評価枠Ｒが移動する前のフレーム画像について、先のステップＳ１６において検出されたエッジにおける軸上色収差の評価値を算出することはない。そして、ＭＰＵ２０の特徴量算出部５３は、フレーム画像ごとに算出された評価値の平均値に基づいて、エッジにおける被写体のデフォーカス特徴量を算出する。さらに、ＭＰＵ２０の特徴量算出部５３は、算出したデフォーカス特徴量を現時点のスルー画における被写体のデフォーカス特徴量として更新した上で、その処理をステップＳ３０７に移行する。

なお、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ３０１において、追尾対象として設定したエッジがスルー画内において移動していない（ステップＳ３０１＝ＮＯ）と判定した場合には、ステップＳ３０２〜ステップＳ３０６の処理を経ることなく、その処理をステップＳ３０７に移行する。

続いて、ステップＳ３０７において、ＭＰＵ２０の特徴量算出部５３は、スルー画のピント位置が変更されたか否かを判定する。具体的には、ＭＰＵ２０のズーム制御部４３がズーム駆動回路２５を駆動制御してズームレンズ１３を光軸方向に駆動させたり、ＭＰＵ２０のレンズ制御部５４がフォーカス駆動回路２１を駆動制御してフォーカスレンズ１５を光軸方向に駆動させたりしたか否かが判定される。

そして、ＭＰＵ２０の特徴量算出部５３は、スルー画のピント位置が変更された（ステップＳ３０７＝ＹＥＳ）と判定した場合には、その処理をステップＳ３０８に移行する。
そして次に、ステップＳ３０８において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ３００において追尾対象として設定されたエッジ、即ち、先のステップＳ１１０又はステップＳ１１２において軸上色収差の評価対象として設定されたエッジについて、該エッジにおける軸上色収差の評価値を算出する。

続いて、ステップＳ３０９において、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ３０７においてスルー画のピント位置が変更される前後でのスルー画の画角の変化量が閾値未満であるか否かを判定する。この閾値は、スルー画のピント位置が変更される前後のフレーム画像を用いて被写体のデフォーカス特徴量を算出することが適切であるか否かを判定する際の基準値となっている。そして、ＭＰＵ２０の特徴量算出部５３は、スルー画のピント位置が変更される前後でのスルー画の画角の変化量が閾値未満である（ステップＳ３０９＝ＹＥＳ）と判定した場合には、その処理をステップＳ３１０に移行する。

そして次に、ステップＳ３１０において、ＭＰＵ２０の特徴量算出部５３は、スルー画のピント位置が変更される前後のフレーム画像を含む複数のフレーム画像について、先のステップＳ３００において追尾対象として設定されたエッジにおける軸上色収差の評価値をフレーム画像ごとに算出する。そして、ＭＰＵ２０の特徴量算出部５３は、フレーム画像ごとに算出された評価値の平均値に基づいて、エッジにおける被写体のデフォーカス特徴量を算出する。さらに、ＭＰＵ２０の特徴量算出部５３は、算出したデフォーカス特徴量を現時点のスルー画における被写体のデフォーカス特徴量として更新する。その後、ＭＰＵ２０の特徴量算出部５３は、図１５に示すエッジにおける被写体のデフォーカス特徴量の更新処理を終了し、その処理を図１２に示す合焦状態表示処理ルーチンに戻す。

なお、図１７（ｄ）には、図１７（ｃ）に示す状態からズームレンズ１３が望遠側に駆動されることによりスルー画の画角が狭くなった状態が一例として示されている。この図１７（ｄ）に示す例では、ズームレンズ１３が光軸方向に駆動されることに伴って、スルー画のピント位置が図１７（ｃ）に示す状態から変更されている。そして、図１７（ｄ）には、図１７（ｃ）に示す状態からのスルー画のピント位置の変更を反映するように、合焦標識の表示態様が変更されている。具体的には、図１７（ａ）においては、スルー画に含まれる植物Ａの花Ａ１の全体がスルー画の被写界深度の範囲内に含まれているのに対し、図１７（ｄ）においては、スルー画に含まれる植物Ａの花Ａ１の上端側部分がスルー画の被写界深度の範囲から外れている。この点、図１７（ｄ）には、スルー画に含まれる植物Ａの花Ａ１の上端側部分のエッジに対し、スルー画の被写界深度の範囲から外れている旨を示す後ピン標識Ｍ３が重畳して表示されている。

一方、ＭＰＵ２０の特徴量算出部５３は、スルー画のピント位置が変更される前後でのスルー画の画角の変化量が閾値未満ではない（ステップＳ３０９＝ＮＯ）と判定した場合には、その処理をステップＳ３１１に移行する。

そして、ステップＳ３１１において、ＭＰＵ２０の特徴量算出部５３は、スルー画のピント位置が変更された後の複数のフレーム画像について、先のステップＳ１６において検出されたエッジにおける軸上色収差の評価値をフレーム画像ごとに算出する。すなわち、ＭＰＵ２０の特徴量算出部５３は、スルー画のピント位置が変更される前のフレーム画像について、先のステップＳ１６において検出されたエッジにおける軸上色収差の評価値を算出することはない。そして、ＭＰＵ２０の特徴量算出部５３は、フレーム画像ごとに算出された評価値の平均値に基づいて、エッジにおける被写体のデフォーカス特徴量を算出する。さらに、ＭＰＵ２０の特徴量算出部５３は、算出したデフォーカス特徴量を現時点のスルー画における被写体のデフォーカス特徴量として更新する。その後、ＭＰＵ２０の特徴量算出部５３は、図１５に示すエッジにおける被写体のデフォーカス特徴量の更新処理を終了し、その処理を図１２に示す合焦状態表示処理ルーチンに戻す。

なお、ＭＰＵ２０の特徴量算出部５３は、先のステップＳ３０７において、スルー画のピント位置が変更されていない（ステップＳ３０７＝ＮＯ）と判定した場合には、ステップＳ３０８〜ステップＳ３１１の処理を経ることなく、図１５に示すエッジにおける被写体のデフォーカス特徴量の更新処理を終了し、その処理を図１２に示す合焦状態表示処理ルーチンに戻す。

そして次に、図１２に示すように、ステップＳ３１において、ＭＰＵ２０は、レリーズボタン６１の全押し操作がなされたか否かを判定する。なお、モニタ３２がタッチパネルである場合には、モニタ３２が画像の撮影のためにタッチ操作がなされたか否かを判定してもよい。そして、ＭＰＵ２０は、レリーズボタン６１の全押し操作がなされていない（ステップＳ３１＝ＮＯ）と判定した場合、その処理をステップＳ１８に戻し、レリーズボタン６１の全押し操作がなされるまでステップＳ１８〜ステップＳ３１の処理を繰り返す。一方、ＭＰＵ２０は、レリーズボタン６１の全押し操作がなされた（ステップＳ３１＝ＹＥＳ）と判定した場合、その処理をステップＳ３２に移行する。

そして、ステップＳ３２において、ＭＰＵ２０の画像処理部４１は、その時点で撮像素子１６から出力された画素信号に基づいて生成している静止画を撮影画像として不揮発性メモリ２９に格納する。

次に、上記のように構成されたカメラ１０の作用について、特に、ＭＰＵ２０が画像の一例としてスルー画に含まれる被写体の合焦状態を表示する際の作用に着目して以下説明する。

さて、スルー画におけるＡＦ評価枠Ｒ内の画像部分を対象としてコントラストＡＦが実行された場合、ＡＦ評価枠Ｒ内における何れの画像部分に合焦されているのかを判断することは困難となる。これは、コントラストＡＦでは、ＡＦ評価枠Ｒ内の画像の内容とは無関係に、ＡＦ評価枠Ｒ内の画像のコントラストが最大となるように合焦動作が行われるためである。また、デジタルカメラ１０のモニタ３２の大きさは比較的小さいため、モニタ３２に表示されている画像の内容を視認することにより、ＡＦ評価枠Ｒ内における何れの画像部分に合焦されているのかを判断することは特に困難となる。

この点、本実施形態では、スルー画におけるＡＦ評価枠Ｒ内の画像部分からエッジが検出され、検出されたエッジにおける軸上色収差の評価値を用いて被写体のデフォーカス特徴量が算出されている。そして、算出された被写体のデフォーカス特徴量に基づいてスルー画の被写界深度の範囲内に位置する画像部分が判定され、その判定された画像部分に深度内標識Ｍ１が重畳して表示される。そのため、スルー画におけるＡＦ評価枠Ｒ内の画像部分のうち、深度内標識Ｍ１が重畳して表示されている画像部分が合焦の対象とされている旨が、撮影画像を撮影する前段階で撮像者によって容易に識別される。

また、本実施形態では、算出された被写体のデフォーカス特徴量に基づいて、スルー画の被写界深度の範囲が前ピン側及び後ピン側となる画像部分が判定され、その判定された画像部分に前ピン標識Ｍ２及び後ピン標識Ｍ３がそれぞれ重畳して表示される。そのため、スルー画におけるＡＦ評価枠Ｒ内の画像部分のうち、スルー画の被写界深度が近点側又は遠点側に位置する画像部分について、撮影画像を撮影する前段階で撮像者によって容易に識別される。

また、スルー画におけるＡＦ評価枠Ｒ内の画像部分のうち、合焦の対象として想定している画像部分に対してスルー画の被写界深度が前ピン状態及び後ピン状態のうち何れの状態であるかが撮像者によって容易に識別される。そのため、この識別結果に基づいて撮像者がフォーカスレンズ１５を所望の方向に駆動させることにより、スルー画をＡＦ評価枠Ｒ内の画像部分のうち想定していた画像部分において適切に合焦させることが可能となる。

また、本実施形態では、被写体のデフォーカス特徴量を算出するために、フォーカスレンズ１５を光軸方向に駆動させる必要がない。そのため、被写体のデフォーカス特徴量が迅速に算出されるため、被写体のデフォーカス特徴量の変化が正確に算出される。そして、被写体のデフォーカス特徴量の変化に合わせて合焦標識の表示態様が変化する。そのため、合焦標識の表示態様の変化に基づいて、スルー画におけるＡＦ評価枠Ｒ内の画像部分の合焦状態の変化が撮像者によってリアルタイムに把握される。

特に、撮影距離が一定とはならない移動体が被写体としてスルー画におけるＡＦ評価枠Ｒ内に含まれる場合であっても、被写体の動きに追随させて被写体のデフォーカス特徴量の変化が迅速に算出される。そして、被写体の移動に伴った被写体のデフォーカス特徴量の変化に合わせて合焦標識の表示態様が変化する。そのため、合焦標識の表示態様の変化が視認されることにより、スルー画におけるＡＦ評価枠Ｒ内の画像部分の合焦状態の変化が撮像者によってリアルタイムに把握される。

また、本実施形態では、ズームレンズ１３が光軸方向に駆動されることによりスルー画のピント位置が変更される度に、被写体のデフォーカス特徴量が更新される。そして、被写体のデフォーカス特徴量の更新に応じて合焦標識の表示態様が変化する。そのため、合焦標識の表示態様の変化が視認されることにより、スルー画におけるＡＦ評価枠Ｒ内の画像部分の合焦状態の変化が撮像者によってリアルタイムに把握される。そのため、ズームレンズ１３によってスルー画の画角を変更した後に、合焦標識の表示態様を視認した上でフォーカスレンズ１５を所望の方向に駆動させることにより、スルー画をＡＦ評価枠Ｒ内の画像部分のうち想定していた画像部分において正確に合焦させることが可能となる。

また、本実施形態では、絞り１４の開口面積が変更されることによりスルー画の被写界深度の大きさが変更される度に、被写体のデフォーカス特徴量が更新される。そして、被写体のデフォーカス特徴量の更新に応じて合焦標識の表示態様が変化する。そのため、合焦標識の表示態様の変化が視認されることにより、スルー画におけるＡＦ評価枠Ｒ内の画像部分の合焦状態の変化が撮像者によってリアルタイムに把握される。

また、本実施形態では、画像の一例であるスルー画に対して画像解析を行うことにより、軸上色収差の評価の対象となるエッジが検出される。そのため、スルー画におけるＡＦ評価枠Ｒ内の何れの画像部分にエッジが位置していたとしても、そのエッジを軸上色収差の評価の対象として検出することが可能である。また、スルー画におけるＡＦ評価枠Ｒ内の画像部分のうち、特定部分とその周辺部分における被写体のデフォーカス特徴量を同時に算出することが可能となる。そのため、スルー画におけるＡＦ評価枠Ｒ内の画像部分のうち、互いに隣接する画像部分の合焦状態が撮像者によって同時に把握される。

上記実施形態によれば、以下に示す効果を得ることができる。
（１）被写体の画像部分に対して合焦標識を重畳して表示させることにより、スルー画における被写体の合焦状態を被写体の画像部分ごとに詳細に表示させることができる。

（２）スルー画に対して画像解析をすることにより、スルー画における被写体の合焦状態が検出される。そのため、被写体の合焦状態を検出するための専用のセンサを設ける必要がない。したがって、被写体の合焦状態を簡易な構成で検出することができる。また、スルー画における被写体の任意の画像部分の合焦状態を検出することができる。

（３）スルー画において隣接した画像部分の合焦状態を同時に検出することができるため、スルー画において隣接した画像部分同士の合焦状態を同時点で表示させることができる。

（４）被写体の画像部分に対して深度内標識Ｍ１を重畳して表示させることにより、被写体のうちスルー画の被写界深度の範囲内に位置する画像部分を詳細に表示させることができる。

（５）被写体の画像部分に対して前ピン標識Ｍ２又は後ピン標識Ｍ３を重畳して表示させることにより、被写体のうちスルー画の被写界深度の範囲が近点側又は遠点側に位置する画像部分を詳細に表示させることができる。

（６）被写体の画像部分に対してデフォーカス量標識Ｍ５を重畳して表示させることにより、スルー画における被写体のデフォーカス量を被写体の画像部分ごとに詳細に表示させることができる。

（７）スルー画における被写体のエッジが検出され、検出されたエッジの色成分量に基づいて被写体のエッジにおける合焦状態が検出される。そして、検出された合焦状態に基づいて、スルー画の被写体に合焦標識が重畳して表示される。したがって、スルー画における被写体の合焦状態を被写体のエッジごとに詳細に表示させることができる。また、被写体の合焦状態を検出する際に焦点調節を行うためのフォーカスレンズ１５を駆動させることがないため、スルー画がウォブリングによってぶれてしまうことを抑制できる。

（８）被写体のエッジに沿うように合焦標識を重畳して表示させることにより、スルー画における被写体の合焦状態を被写体のエッジごとに詳細に表示させることができる。
（９）被写体のエッジを含む分割領域ＤＲにおける合焦標識の表示態様を制御することにより、スルー画における被写体の合焦状態を被写体のエッジごとに詳細に表示させることができる。

（１０）分割領域ＤＲに被写体のエッジが複数含まれる場合であっても、これらのエッジのうち優先度の高いエッジにおける被写体のデフォーカス特徴量に応じて分割領域ＤＲにおける合焦標識の表示態様を制御することにより、エッジにおける被写体の合焦状態を詳細に表示させることができる。

（１１）被写体のエッジの色構造に応じて被写体の合焦状態の検出に用いられるエッジの色成分の種類が変更されるため、エッジにおける被写体の合焦状態を好適に検出することができる。

（１２）スルー画の合焦状態の表示が不要である場合には、合焦標識をモニタ３２に表示させないことにより、スルー画における被写体の表示が合焦標識によって遮られることを抑制できる。

（１３）合焦対象となる領域よりも広い範囲に亘って合焦標識が重畳して表示されるため、スルー画における被写体の合焦状態をより広い範囲に亘って表示させることができる。

（１４）スルー画の被写界深度の大きさの変化に応じて被写体に重畳して表示される合焦標識の表示態様が更新される。そのため、スルー画の被写界深度の大きさが変化したとしても、その変化の前後における被写体の合焦状態の変化を表示させることができる。

（１５）スルー画の被写界深度の大きさがフォーカスレンズ１５の光軸方向への移動に伴って変化したとしても、その変化の前後における被写体の合焦状態の変化を表示させることができる。

（１６）スルー画の被写界深度の大きさが絞り１４の開口面積の変化に伴って変化したとしても、その変化の前後における被写体の合焦状態の変化を表示させることができる。
（１７）スルー画の被写界深度の大きさがズームレンズ１３の光軸方向への移動に伴って変化したとしても、その変化の前後における被写体の合焦状態の変化を表示させることができる。

（１８）スルー画の被写界深度の大きさを変更することにより、スルー画の被写体のうち被写界深度の範囲内に収める画像部分の比率を制御することができる。
（１９）スルー画のモニタ３２への出力サイズに応じてスルー画の被写体のうち被写界深度の範囲内に収める画像部分の比率を変更することにより、スルー画における被写体のボケ度合いをスルー画のモニタ３２への出力サイズに適した値となるように制御することができる。

（２０）絞り１４の開口面積を変化させることにより、スルー画の構図を変化させることなくスルー画の被写界深度の大きさを変更することができる。
（２１）複数のフレーム画像における被写体のデフォーカス特徴量の平均値を、スルー画における被写体のデフォーカス特徴量として算出する。そのため、スルー画における被写体のデフォーカス特徴量を算出する際の誤差が低減されるため、スルー画における被写体の合焦状態を撮像者に正確に把握させることができる。

（２２）画角が変更される前後においてフレーム画像の画角が大きく変化しない場合には、画角が変更される前後のフレーム画像を含む複数のフレーム画像における被写体のデフォーカス特徴量の平均値が被写体のデフォーカス特徴量として算出される。そのため、画角が変更された場合であっても、被写体のデフォーカス特徴量の平均値を被写体の合焦状態として継続して検出することができる。

上記実施形態は、以下のような別の実施形態に変更してもよい。
・上記実施形態において、ＭＰＵ２０の特徴量算出部５３は、画角が変更される前後でのフレーム画像における被写体の類似度が所定の閾値以上であることを条件として、画角が変更される前後のフレーム画像における被写体のデフォーカス特徴量の平均値を被写体のデフォーカス特徴量として算出してもよい。この場合、被写体の類似度は、例えば、画角が変更される前後でのフレーム画像における被写体の画像部分の色相、彩度、明度、テクスチャ（模様）、コントラスト等の各項目の評価値に基づき算出される。

・上記実施形態において、ＭＰＵ２０の表示制御部４４は、合焦標識が重畳して表示されないスルー画の元画像と、スルー画に対して合焦標識が重畳して表示された合焦状態表示画像とをモニタ３２に並列して表示させてもよい。この場合、ＭＰＵ２０の表示制御部４４は、透明度を上げたスルー画の元画像に対して合焦標識が重畳して表示された画像を合焦状態表示画像としてスルー画の元画像に並列してモニタ３２に表示させてもよい。

・上記実施形態において、ＭＰＵ２０の表示制御部４４は、操作部６２の操作を通じて合焦標識の表示態様が変更された場合に、合焦対象となる領域よりも広い範囲に亘って合焦標識をスルー画に重畳してモニタ３２に表示させてもよい。

・上記実施形態において、ＭＰＵ２０の表示制御部４４は、合焦標識として、被写体のエッジを含む分割領域ＤＲの全体に対して色表示を行ってもよい。また、ＭＰＵ２０の表示制御部４４は、被写体のエッジを含む分割領域ＤＲの枠に沿う形状の合焦標識を表示させてもよい。この場合、ＭＰＵ２０の表示制御部４４は、深度内標識Ｍ１、前ピン標識Ｍ２、後ピン標識Ｍ３及びエラー標識Ｍ４に個別に対応させるようにして分割領域ＤＲに表示する色の種類を変更する。

この構成によれば、被写体のエッジを含む分割領域ＤＲの色表示を制御することにより、エッジにおける被写体の合焦状態を詳細に表示させることができる。
・上記実施形態において、ＭＰＵ２０の特徴量算出部５３は、一つの分割領域ＤＲに複数のエッジが含まれる場合、これらのエッジにおける軸上色収差の評価値の平均値を算出し、算出された平均値をその分割領域ＤＲにおける被写体のデフォーカス特徴量として算出してもよい。また、ＭＰＵ２０の特徴量算出部５３は、一つの分割領域ＤＲに複数のエッジが含まれる場合には、その分割領域ＤＲにおける被写体のデフォーカス特徴量が算出不能であると判定してもよい。

・上記実施形態において、ＭＰＵ２０の表示制御部４４は、絞り１４の大きさを視覚的に示すバーを、合焦標識が表示されているスルー画に対して表示させてもよい。この場合、バーの表示が視認されることにより、その時点でのスルー画の被写界深度の大きさが撮像者によって直観的に把握される。

・上記実施形態において、ＭＰＵ２０のエッジ検出部５１がスルー画におけるＡＦ評価枠Ｒ内の画像部分を微分フィルタによってスキャンしない構成であってもよい。この場合、ＭＰＵ２０の特徴量算出部５３は、ラベリング処理又はパターン認識処理によって抽出された被写体の輪郭部分における軸上色収差の評価値に基づいて、被写体のデフォーカス特徴量を算出する。

・上記実施形態において、ＭＰＵ２０は、動画の撮影時において、図１２に示す合焦状態表示処理ルーチンと同様の処理を実行することにより、動画における被写体の合焦状態を表示させてもよい。この場合、特に、動画における被写体の合焦状態を検出する際にフォーカスレンズ１５を駆動させることがないため、動画の画像内容がウォブリングによってぶれてしまうことを抑制できる。

・上記実施形態において、例えば、パーソナルコンピュータや携帯電話機などのカメラ１０以外の電子機器に画像処理エンジン１８が搭載される構成としてもよい。この場合、画像処理エンジン１８が搭載される電子機器は、必ずしも、画像の撮影機能を搭載した電子機器である必要はなく、例えば、画像の撮影機能を搭載した電子機器から入力される画像を壁面やスクリーンに投影させて表示するプロジェクターなどに画像処理エンジン１８が搭載される構成としてもよい。

１０…電子カメラの一例としてのデジタルカメラ、１３…ズームレンズ、１４…絞り、１５…フォーカスレンズ、１６…撮像素子、１８…画像処理装置の一例としての画像処理エンジン、３２…表示部の一例としてのモニタ、４２…被写界深度制御部の一例としての絞り制御部、４４…表示制御部、５０…領域設定部、５１…エッジ検出部、５２…優先度設定部、５３…合焦検出部の一例としての特徴量算出部、ＤＲ…分割領域、Ｍ１…合焦標識の一例としての深度内標識、Ｍ２…合焦標識及び方向標識の一例としての前ピン標識、Ｍ３…合焦標識及び方向標識の一例としての後ピン標識、Ｍ４…合焦標識の一例としてのエラー標識、Ｍ５…合焦標識の一例としてのデフォーカス量標識。

Claims (24)

1. 光学系の光軸方向に移動可能なレンズを介して被写体を撮像し、画像データを生成する撮像素子と、
   前記撮像素子が生成した画像データの解析結果に基づいて、被写体のエッジを検出するエッジ検出部と、
   前記画像データの解析結果に基づいて、被写体における画像部分ごとの合焦状態を検出する合焦検出部と、
   前記合焦検出部によって検出された前記被写体の合焦状態に基づいて、前記レンズの移動により合焦する方向を示す合焦標識を、前記エッジ検出部が検出した、表示部に表示された前記画像の前記被写体のエッジに沿うように重畳して表示させる表示制御部と
   を備えたことを特徴とする電子カメラ。
2. 前記表示制御部は、前記画像の被写界深度の範囲が前記被写体の画像部分よりも近点側又は遠点側に位置することを示す前記合焦標識を、前記表示部に表示された前記画像の被写体のうち前記画像の被写界深度の範囲が近点側又は遠点側に位置する画像部分に対して重畳して表示させることを特徴とする請求項１に記載の電子カメラ。
3. 前記エッジ検出部は、前記画像から前記被写体のエッジを色成分毎に検出し、
   前記合焦検出部は、前記エッジ検出部が色成分毎に検出した前記エッジの色成分量に基づいて、該エッジにおける前記被写体の合焦状態を検出することを特徴とする請求項１又は請求項２に記載の電子カメラ。
4. 前記合焦検出部は、前記エッジ検出部が検出したエッジの色構造に応じて前記被写体の合焦状態の検出に用いるエッジの色成分の種類を変更することを特徴とする請求項３に記載の電子カメラ。
5. 前記表示制御部は、前記画像において前記被写体を複数の分割領域に分割するとともに、複数の前記分割領域のうち前記被写体のエッジを含む分割領域における前記合焦標識の表示態様を、該エッジにおける前記被写体の合焦状態に応じて制御することを特徴とする請求項１〜請求項４のうち何れか一項に記載の電子カメラ。
6. 前記画像における前記被写体のエッジの優先度を設定する優先度設定部を更に備え、
   前記表示制御部は、前記分割領域に前記被写体のエッジが複数含まれる場合、前記優先度設定部によって優先度が高く設定されたエッジにおける前記被写体の合焦状態に応じて、該エッジを含む前記分割領域における前記合焦標識の表示態様を制御することを特徴とする請求項５に記載の電子カメラ。
7. 前記表示制御部は、複数の前記分割領域のうち前記被写体のエッジを含む前記分割領域の色表示を、該エッジにおける前記被写体の合焦状態に応じて制御することを特徴とする請求項５又は請求項６に記載の電子カメラ。
8. 前記表示制御部は、前記表示部に対する前記合焦標識の表示の有無を切り替え可能であることを特徴とする請求項１〜請求項７のうち何れか一項に記載の電子カメラ。
9. 前記画像のうち合焦対象となる領域を設定する領域設定部を更に備え、
   前記表示制御部は、前記領域設定部が設定した領域よりも広い範囲に亘って前記表示部に前記合焦標識を重畳して表示することを特徴とする請求項１〜請求項８のうち何れか一項に記載の電子カメラ。
10. 前記表示制御部は、前記合焦標識の表示モードが設定された場合に、前記合焦標識を前記領域設定部が設定した領域よりも広い範囲に亘って表示することを特徴とする請求項９に記載の電子カメラ。
11. 前記表示制御部は、前記合焦標識の表示態様を設定する操作部材が操作された場合に、前記合焦標識を前記領域設定部が設定した領域よりも広い範囲に亘って表示することを特徴とする請求項９に記載の電子カメラ。
12. 前記表示制御部は、前記合焦標識が前記画像に対して重畳して表示されない元画像と、前記合焦標識が前記画像に対して重畳して表示された合焦状態表示画像とを前記表示部に並列して表示することを特徴とする請求項１〜請求項１１のうち何れか一項に記載の電子カメラ。
13. 前記表示制御部は、透明度を上げた前記画像に対して前記合焦標識を重畳した前記合焦状態表示画像を表示することを特徴とする請求項１２に記載の電子カメラ。
14. 前記表示制御部は、前記画像の被写界深度の大きさが変更された場合、前記表示部に表示された前記画像の被写体に重畳して表示させる前記合焦標識の表示態様を、前記画像における前記被写体の合焦状態の変化に応じて変更することを特徴とする請求項１〜請求項１３のうち何れか一項に記載の電子カメラ。
15. 前記表示制御部は、焦点調節を行うフォーカスレンズが移動した場合、前記表示部に表示された前記画像の前記被写体に重畳して表示させる前記合焦標識の表示態様を、前記画像における前記被写体の合焦状態の変化に応じて変更することを特徴とする請求項１４に記載の電子カメラ。
16. 前記表示制御部は、前記画像の光量を調節する絞りの開口面積が変化した場合、前記表示部に表示された前記画像の前記被写体に重畳して表示させる前記合焦標識の表示態様を、前記画像における前記被写体の合焦状態の変化に応じて変更することを特徴とする請求項１４又は請求項１５に記載の電子カメラ。
17. 前記表示制御部は、前記画像の倍率を調節するズームレンズが移動した場合、前記表示部に表示された前記画像の前記被写体に重畳して表示させる前記合焦標識の表示態様を、前記画像における前記被写体の合焦状態の変化に応じて変更することを特徴とする請求項１４〜請求項１６のうち何れか一項に記載の電子カメラ。
18. 前記画像における前記被写体を含む複数の区画領域のうち前記画像の被写界深度の範囲内に収まる前記被写体のエッジを含む区画領域の数の比率が所定の比率となるように、前記画像の被写界深度の大きさを制御する被写界深度制御部を更に備えたことを特徴とする請求項１〜請求項１７のうち何れか一項に記載の電子カメラ。
19. 前記被写界深度制御部は、前記画像の前記表示部への表示サイズに応じて、前記画像における前記被写体を含む複数の区画領域のうち前記画像の被写界深度の範囲内に収める前記被写体のエッジを含む区画領域の数の比率を変更することを特徴とする請求項１８に記載の電子カメラ。
20. 前記被写界深度制御部は、前記画像の光量を調節する絞りの開口面積を変化させることにより、前記画像の被写界深度の大きさを制御することを特徴とする請求項１８又は請求項１９に記載の電子カメラ。
21. 前記合焦検出部は、連続した時点で撮影された前記画像である複数のフレーム画像における前記被写体の合焦状態の平均値を、前記画像における前記被写体の合焦状態として検出することを特徴とする請求項１〜請求項２０のうち何れか一項に記載の電子カメラ。
22. 前記合焦検出部は、前記画像の画角が変更された場合、画角が変更される前後での前記フレーム画像の画角の変化量が所定の閾値以内であることを条件として、画角が変更される前後の前記フレーム画像を含む複数の前記フレーム画像における前記被写体の合焦状態の平均値を、前記画像における前記被写体の合焦状態として検出することを特徴とする請求項２１に記載の電子カメラ。
23. 前記画像のうち合焦対象となる領域を設定する領域設定部を更に備え、
    前記合焦検出部は、前記画像の画角が変更された場合、画角が変更される前後での前記フレーム画像のうち前記領域設定部が設定した領域に含まれる被写体の類似度が所定の閾値以上であることを条件として、画角が変更される前後の前記フレーム画像を含む複数の前記フレーム画像における前記被写体の合焦状態の平均値を、前記画像における前記被写体の合焦状態として検出することを特徴とする請求項２１又は請求項２２に記載の電子カメラ。
24. 光学系の光軸方向に移動可能なレンズを介して被写体を撮像素子に撮像し、画像データを生成する電子カメラに、
    前記撮像素子が生成した画像データの解析結果に基づいて、被写体のエッジを検出するエッジ検出ステップと、
    前記画像データの解析結果に基づいて、被写体における画像部分ごとの合焦状態を検出する合焦検出ステップと、
    前記合焦検出ステップにおいて検出された前記被写体の合焦状態に基づいて、前記レンズの移動により合焦する方向を示す合焦標識を、前記エッジ検出ステップにおいて検出された、表示部に表示された前記画像の前記被写体のエッジに沿うように重畳して表示させる表示制御ステップと
    を実行させることを特徴とする画像処理プログラム。

Images