JP5757099B2 - 焦点調節装置、及び焦点調節プログラム - Google Patents

Description

本発明は、色収差に基づいて焦点を調節する焦点調節装置、及び焦点調節プログラムに関する。

レンズを通じて得られた被写体像に、色収差に基づいて合焦させるビデオカメラが開示されている（特許文献１参照）。

特開平５−４５５７４号公報

しかしながら、特許文献１に開示されたビデオカメラは、一度合焦された被写体像に速やかに合焦することはできても、一度も合焦されていない被写体像には、速やかに合焦させることができなかった。すなわち、特許文献１に開示されたビデオカメラは、被写体像に速やかに合焦させることができなかった。

本発明は、前記の点に鑑みてなされたものであり、被写体像に速やかに合焦させることができる焦点調節装置、及び焦点調節プログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、被写体を撮像する撮像部で生成された画像データから色成分毎に前記被写体に含まれるエッジ部分を検出するエッジ検出部と、線広がり関数に基づいて、前記エッジ部分の合焦状態及び非合焦状態の分布を示すマップを作成する分布検出部と、前記分布検出部で作成された前記マップにより、前記撮像部に前記被写体の像を導くレンズを、前記撮像部の撮像面に合焦させる方向に移動させる制御部と、を備え、前記マップは、前記レンズを移動させる方向を示す指標と、デフォーカス量に関する値と、が示されることを特徴とする焦点調節装置である。

また、本発明は、コンピュータに、被写体を撮像する撮像部で生成された画像データから色成分毎に前記被写体に含まれるエッジ部分を検出する手順と、線広がり関数に基づいて、前記エッジ部分の合焦状態及び非合焦状態の分布を示すマップであり、前記レンズを移動させる方向を示す指標と、デフォーカス量に関する値と、が示される前記マップを作成する手順と、前記作成する手順で作成された前記マップにより、前記撮像部に前記被写体の像を導くレンズを、前記撮像部の撮像面に合焦させる方向に移動させる作成する手順と、を実行させるための焦点調節プログラムである。

本発明によれば、焦点調節装置及び焦点調節プログラムは、被写体像に速やかに合焦させることができる。

レンズ鏡筒１１１と、焦点調節装置１９１を備える撮像装置１００と、記憶媒体２００との構成を示すブロック図である。 ＡＦレンズ１１２から被写体距離だけ離れた位置の被写体と、ＡＦレンズ１１２と、撮像素子１１９の撮像面と、錯乱円との関係を示す図である。 ＡＦレンズ１１２に入射された赤い光の焦点と、緑の光の焦点と、青い光の焦点との光軸上における位置関係を示す図である。 ＡＦレンズ１１２に入射された光の波長と、光軸上における結像面の位置との関係を示す図である。 前ピン状態での錯乱円を示す図である。 後ピン状態での錯乱円を示す図である。 撮像された画像の一例を示す図である。 エッジ位置１３近傍の色成分量を示す図である。 エッジ位置１３近傍の色成分量を示す図である。 エッジ位置１３近傍における「色成分量の差」を示す図である。 Ｇチャネルにおける合焦状態の「ぼけ度合い」に応じたＬＳＦを示す図である。 合焦状態の「ぼけ度合い」と色チャネル毎のＬＳＦを示す図である。 色チャネル毎のＬＳＦのプロファイル（データ）と、ぼけ度合いとの関係を示す図である。 ＬＳＦの標準偏差の差をパラメータとする関数値と、被写体距離との関係を示す図である。 撮像された画像と、撮像された画像からエッジが抽出されたエッジ画像と、２つのエッジ画像の論理積の結果を示す画像との例を示す図である。 エッジ検出部１９２の動作を示すフローチャートである。 エッジ位置１３近傍の色成分量を示す図の例と、ラプラシアンフィルタを使用した演算例を示す図である。 デプスマップの例を示す図である。 被写体を追尾する追尾動作における、焦点調節装置１９１の合焦駆動の手順を示すフローチャートである。 エッジ特性の解析手順を示すフローチャートである。 前ピン状態と判定された場合のスキャン領域と、後ピン状態と判定された場合のスキャン領域とを示す図である。 撮影用ＡＦでの山登りコントラストスキャンにおけるレンズ位置の移動を示す図である。 ＬＳＦに基づく合焦駆動の手順を示すフローチャートである。 「デフォーカス−駆動パルステーブル」の例を示す図である。 前ピンとその度合が判定された場合のコントラストスキャン領域と、後ピンとその度合が判定された場合のコントラストスキャン領域とを示す図である。 被写体を追尾する追尾動作における、焦点調節装置１９１の合焦駆動の手順を示すフローチャートである。 「デフォーカス−駆動パルステーブル」に基づくコントラストスキャンにおける、合焦駆動の例を示す図である。 「デフォーカス−駆動パルステーブル」に基づくコントラストスキャンにおける、合焦駆動の例の拡大図である。 動画撮像モードを有する焦点調節装置１９１の動作を示すフローチャートである。 合焦状態における差分データのヒストグラムと、非合焦状態における差分データのヒストグラムとを示す図である。 スポット光を判定する焦点調節装置１９１の動作を示すフローチャートである。 マクロ撮像モードへの切り替え判定動作を説明するための図である。 色成分の信号対雑音比が異なるエッジが混在している場合に選択されるエッジの優先順位を説明するための図である。 ２原色含まれる場合に選択されるエッジの優先順位を示す図である。 色成分が平坦である１本のエッジを横切る位置に応じた色成分量の変化と、複数本のエッジを横切る位置に応じた色成分量の変化とを説明するための図である。 優先順位に応じて上位のエッジを選択する手順を示すフローチャートである。

［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。図１には、レンズ鏡筒１１１と、焦点調節装置１９１を備える撮像装置１００と、記憶媒体２００との構成がブロック図で示されている。撮像装置１００は、レンズ鏡筒１１１から入射される被写体像を撮像し、得られた画像を静止画又は動画の画像として、記憶媒体２００に記憶させる。

まず、レンズ鏡筒１１１の構成を説明する。
レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８を備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。

ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、後述する撮像部１１０の撮像素子１１９の受光面（光電変換面）に、被写体像を導く。

ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

鏡筒制御部１１８は、撮像装置１００の後述する焦点調節装置１９１から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更する。

また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、後述する焦点調節装置１９１に出力する。ここで、鏡筒制御部１１８は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出してもよい。

レンズ駆動部１１６は、鏡筒制御部１１８の制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。

次に、撮像装置１００の構成を説明する。
撮像装置１００は、撮像部１１０と、画像処理部１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ１９０と、通信部１７０と、焦点調節装置１９１とを備える。

撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。

撮像素子１１９は、光電変換面を備え、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。また、撮像素子１１９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（切り出し）。

また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、焦点調節装置１９１及び表示部１５０に、Ａ／Ｄ変換部１２０を介して出力する。

Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部１３０に出力する。

操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ１９０に出力する。

画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像に対して、画像処理をする。そして、画像処理された画像は、通信部１７０を介して記憶媒体２００に記憶される。

表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像、及び操作画面等を表示する。

バッファメモリ部１３０は、撮像部１１０によって撮像された画像を、一時的に記憶する。

記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。

ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に従って撮像部１１０を制御する。また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画又は動画として、画像処理部１４０に画像を画像処理させる。

通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データなど）の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、情報（画像データなど）を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。

次に、焦点調節装置１９１について説明する。
焦点調節装置１９１は、撮像素子１１９が出力した電気信号に基づいて生成された画像から、被写体像のエッジを検出する。そして、焦点調節装置１９１は、検出したエッジにおける、軸上色収差による色ずれを解析する。ここで、軸上色収差とは、入射された光の波長（色）によってレンズの焦点距離が異なるという特性である。

焦点調節装置１９１は、色ずれの解析結果に基づいて、デフォーカス（焦点ずれ）特徴量を検出する。さらに、焦点調節装置１９１は、検出したデフォーカス特徴量に基づいて、被写体像に合焦させるように駆動制御信号を生成して、レンズ鏡筒１１１の鏡筒制御部１１８に出力する（合焦駆動）。

ここで、デフォーカス特徴量とは、方向指標と、デフォーカス量と、ＡＦレンズ１１２の焦点調節に必要な移動量（以下、「ピントずらし量」という）と、これらの履歴である。また、方向指標とは、被写体より近点側に合焦していること（以下、「前ピン」という）、又は被写体より遠点側に合焦していること（以下、「後ピン」という）を示す指標である。また、ピントずらし量は、デフォーカス量が多いほど、多くなる。また、ピントずらし量は、例えば、鏡筒制御部１１８が駆動制御信号に応じてレンズ駆動部１１６に出力するパルス電圧のステップ数で表現されてもよい。

方向指標とデフォーカス量を検出するための評価値には、Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ（以下、「Ｅｄ」という）と、デフォーカス量参照値（Ｗｉｄｔｈ ｏｆ Ｓｕｂｔｒａｃｔｉｏｎ，以下、「Ｗｄ」という）と、線広がり関数（Ｌｉｎｅ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ，以下、「ＬＳＦ」という）との、３つがある。

まず、評価値のひとつである、Ｅｄについて説明する。
図２には、ＡＦレンズ１１２から被写体距離だけ離れた位置の被写体と、ＡＦレンズ１１２と、撮像素子１１９の撮像面（図２では「撮像面」と示されている）と、錯乱円との関係が示されている。ＡＦレンズ１１２は、被写体から入射される光を集光して、撮像素子１１９の光電変換面（撮像面）に被写体像を結像させる。ここで、被写体像に含まれる点像によって、撮像素子１１９の撮像面には、錯乱円が形成される。

図３には、ＡＦレンズ１１２に入射された光の成分である赤い光（以下、「Ｒチャネル」又は「Ｒ」という）の焦点と、緑の光（以下、「Ｇチャネル」又は「Ｇ」という）の焦点と、青い光（以下、「Ｂチャネル」又は「Ｂ」という）の焦点との光軸上における位置関係が示されている。そして、図３には、光の波長に応じて、光の結像する位置（結像面）が異なることが示されている。光の波長に応じて結像面が異なるのは、例えば、光の波長に応じてレンズの屈折率が異なるためである。なお、レンズの屈折率は、レンズ固有の特性として、レンズ毎に異なっていても良い。以下では、図３に示されているように、Ｒチャネルの焦点がＡＦレンズ１１２から最も離れた位置にあり、Ｂチャネルの焦点がＡＦレンズ１１２から最も近い位置にあるものとして説明する。

図４には、ＡＦレンズ１１２に入射された光の波長と、光軸上における結像面の位置との関係が示されている。ここで、横軸は、ＡＦレンズ１１２に入射された光の波長を示す。また、縦軸は、結像面の位置を示し、値が大きいほどＡＦレンズ１１２から離れた位置を示す。このように、結像面の位置は、入射された光の波長が長いほど、ＡＦレンズ１１２から離れた位置となる。

一般に、ＡＦレンズ１１２は、合焦状態で結像面（撮像面）における色ずれが最小となるように光学設計される。このため、非合焦状態では、合焦状態と比較して色ずれが大きくなる。そして、色ずれは、レンズ位置（ピント位置、ズーム位置）又はその他の要因により、変化することが知られている。また、錯乱円は、デフォーカス（焦点ぼけ）量が多いほど、その半径が大きくなる。さらに、錯乱円における色の配置は、レンズ位置（ピント位置）によっても変化する。

図５には、前ピン状態での錯乱円が示されている。図５（Ａ）には、ＡＦレンズ１１２と、撮像素子１１９の撮像面と、錯乱円との関係が示されている。ＡＦレンズ１１２に入射された光は、軸上色収差によって、外側からＲ、Ｇ、Ｂの順となるように屈折（分光）され、撮像素子１１９の撮像面に導かれて、撮像面に錯乱円を形成する。なお、錯乱円は、点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ，以下、「ＰＳＦ」という）で表現されてもよい。

図５（Ｂ）には、撮像面に形成された錯乱円が示されている。前ピン状態での錯乱円は、軸上色収差によって、外側からＲ、Ｇ、Ｂの順になるため、外側から赤色、シアン色、白色の順に形成される。

図５（Ｃ）には、錯乱円の中心から外周に向かう半径方向の位置と、色成分量（色強度）との関係が、色成分量を縦軸に表した図（以下、「階調断面図」という）で示されている。錯乱円の中心から外周に向かう半径方向における色成分量の勾配（傾き）は、前ピン状態では、Ｒの勾配が最も緩やかで、Ｂの勾配が最も急であることが示されている。このため、前ピン状態での錯乱円は、中心から外周に向かう半径方向に、白色、シアン色、青色、黄色、黄赤色、赤色の順に形成される。

図６には、後ピン状態での錯乱円が示されている。図６（Ａ）には、ＡＦレンズ１１２と、撮像素子１１９の撮像面と、錯乱円との関係が示されている。ＡＦレンズ１１２に入射された光は、軸上色収差によって、光軸上の焦点と撮像素子１１９との間では外側からＢ、Ｇ、Ｒの順に屈折（分光）され、撮像素子１１９の撮像面に導かれて、撮像面に錯乱円を形成する。

図６（Ｂ）には、撮像面に形成された錯乱円が示されている。後ピン状態での錯乱円は、軸上色収差によって、外周からＢ、Ｇ、Ｒの順になるため、中心から外周に向かう半径方向に、白色、黄色、青色（縁取り）の順に形成される。

このように、軸上色収差によって、合焦状態及び非合焦状態に応じて、錯乱円の色の形成が異なるので、焦点調節装置１９１（図１を参照）は、錯乱円の色の形成に基づいて、合焦状態及び非合焦状態を検出することができる。

図７には、撮像された画像の一例が示されている。ここでは、一例として、白黒エッジチャートが撮像されているものとして説明する。なお、説明を簡単にするため、以下では、倍率色収差、レンズフレア（Ｌｅｎｓ ｆｌａｒｅ）を考慮せずに説明するが、これらが考慮されていなくても、本発明の要旨は変わらない。

撮像部１１０に撮像された画像１０（白黒エッジチャート）は、黒い領域１１と、白い領域１２とで構成されている。そして、黒い領域１１は、長方形であり、白い領域１２の中央にある。ここで、黒い領域１１と白い領域１２の両方を水平方向に横切る軸を、軸Ｄと定義する。そして、軸Ｄは、黒い領域１１と白い領域１２との境界（ナイフエッジ）に直交する軸である。そして、軸Ｄにおいて、色が白色から黒色に変化する境界を、エッジ位置１４とする。同様に、軸Ｄにおいて、色が黒色から白色に変化する境界を、エッジ位置１３とする。なお、軸Ｄにおける位置は、画素単位で表現されてもよい。

図８には、エッジ位置１３（図７を参照）近傍の色成分量が、階調断面図として示されている。ここで、縦軸は、Ｒ、Ｇ、Ｂ（色チャネル）毎の色成分量を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。そして、各色チャネルの色成分量は、値「０〜２５０」（８ビット）で表現され、値が大きいほど、その色が濃いことを示している。なお、各色チャネルの色成分量は、値「０〜２５５」（８ビット）で表現されてもよい。

そして、Ｒ、Ｇ、Ｂの色成分量が全て値「２５０」である「軸Ｄにおける位置」では、色は白となる。一方、Ｒ、Ｇ、Ｂの色成分量が全て値「０」である「軸Ｄにおける位置」では、色は黒となる。

図８（Ａ）には、Ｇチャネルで合焦した（ピントが合った）状態での階調断面図が示されている。そして、この状態では、Ｒチャネルが前ピンとなり、かつＢチャネルが後ピンとなる。これにより、エッジ位置１３の白い領域１２側は、緑色になる。一方、エッジ位置１３の黒い領域１１側は、マゼンダ色になる。

また、図８（Ｂ）には、Ｒチャネルで合焦した状態での階調断面図が示されている。そして、この状態では、Ｇチャネルが後ピンとなり、Ｇチャネルの勾配（傾き）は、Ｂチャネルの勾配よりも急となっている。また、図８（Ｃ）には、Ｂチャネルで合焦した状態での階調断面図が示されている。そして、この状態では、Ｇチャネルが前ピンとなり、Ｇチャネルの勾配（傾き）は、Ｒチャネルの勾配よりも急となっている。

このように、階調断面図における勾配が色チャネル毎に異なるので、どの色チャネルで被写体像に合焦させても、焦点調節装置１９１（図１を参照）は、階調断面図における色チャネルの勾配から評価値を算出して、合焦状態及び非合焦状態を検出することができる。

次に、評価値Ｅｄの算出手順を説明する。
図９には、エッジ位置１３（図７を参照）近傍の色成分量が、階調断面図として示されている。ここで、縦軸は、Ｒ、Ｇ、Ｂ（色チャネル）毎の色成分量を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。人間の眼はＧチャネルに対して感度が高いため、ここでは、一例として、Ｇチャネルで被写体像に合焦させる（ピントを合わせる）場合について説明する。

図９（Ａ）には、前ピン状態のＲチャネルのエッジと、後ピン状態のＲチャネルのエッジと、合焦状態のＧチャネルのエッジとの関係が示されている。そして、前ピン状態であるＲチャネルの勾配（傾き）は、合焦状態であるＧチャネルの勾配よりも緩やかとなる。一方、後ピン状態であるＲチャネルの勾配（傾き）は、合焦状態であるＧチャネルの勾配よりも急となる。以下では、図９（Ａ）において、Ｒチャネル及びＧチャネルの色成分量を示す線の交点の右側にある区間であって、Ｇチャネルを示す線に勾配のある区間を区間「Δ１」とし、色成分量を示す線の交点の左側にある区間であって、Ｇチャネルを示す線に勾配のある区間を区間「Δ２」とする。なお、これらの区間の長さは、画素数で表現されてもよい。

Ｒチャネルの色成分量と、Ｇチャネルの色成分量とに基づくＥｄ（以下、「ＥｄＲＧ」という）と、閾値との比較結果によって、Ｒチャネルのエッジが前ピン状態又は後ピン状態であることは、次のように検出（判定）される。

ＥｄＲＧ＝（Σ（Ｒ／Ｇ））／（Δ１）＞１ … 式１
ＥｄＲＧ＝（Σ（Ｒ／Ｇ））／（Δ１）＜１ … 式２

ここで、式１及び２の値「１」は、閾値である。また、式１及び２の（Σ（Ｒ／Ｇ））は、Ｒチャネルの色成分量を画像における同じ位置のＧチャネルの色成分量で除算した値を、区間「Δ１」にわたって加算した総和である。また、その総和を、区間「Δ１」の長さで除算した値が「ＥｄＲＧ」である。そして、式１が成立する場合、ＥｄＲＧは、Ｒチャネルのエッジが後ピン状態であることを示す。一方、式２が成立する場合、ＥｄＲＧは、Ｒチャネルのエッジが前ピン状態であることを示す（方向指標）。また、ＥｄＲＧと、閾値「１」との差は、デフォーカス量を示す。

また、区間「Δ２」について、式１及び２のように色成分量の「比」を用いて前ピン及び後ピンを検出してもよいが、区間「Δ２」のように色成分量が小さい区間では、色成分量とノイズとのＳＮ比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）が小さいので、色成分量の「比」を用いる代わりに、色成分量の「差」によって前ピン及び後ピンを検出するほうが、合焦状態の検出に有利である。

ＥｄＲＧ＝（Σ（Ｇ−Ｒ））／（Δ２）＞０ … 式３
ＥｄＲＧ＝（Σ（Ｇ−Ｒ））／（Δ２）＜０ … 式４

ここで、式３及び４の値「０」は、閾値である。また、式３及び４の（Σ（Ｇ−Ｒ））は、Ｒチャネルの色成分量から画像における同じ位置のＧチャネルの色成分量を減算した値を、区間「Δ２」にわたって加算した総和である。また、その総和を、区間「Δ２」の長さで除算した値が「ＥｄＲＧ」である。そして、式３が成立する場合、ＥｄＲＧは、Ｒチャネルのエッジが後ピン状態であることを示す。一方、式４が成立する場合、ＥｄＲＧは、Ｒチャネルのエッジが前ピン状態であることを示す（方向指標）。また、ＥｄＲＧと、閾値「０」との差は、デフォーカス量を示す。

同様に、図９（Ｂ）には、前ピン状態のＢチャネルのエッジと、後ピン状態のＢチャネルのエッジと、合焦状態のＧチャネルのエッジとの関係が示されている。そして、前ピン状態であるＢチャネルの勾配（傾き）は、合焦状態であるＧチャネルの勾配よりも緩やかとなる。一方、後ピン状態であるＢチャネルの勾配（傾き）は、合焦状態であるＧチャネルの勾配よりも急となる。以下では、図９（Ｂ）において、Ｂチャネル及びＧチャネルの色成分量を示す線の交点の右側にある区間であって、Ｇチャネルを示す線に勾配のある区間を区間「Δ３」とし、色成分量を示す線の交点の左側にある区間であって、Ｇチャネルを示す線に勾配のある区間を区間「Δ４」とする。

Ｂチャネルの色成分量と、Ｇチャネルの色成分量とに基づくＥｄ（以下、「ＥｄＢＧ」という）と、予め定められた閾値との比較結果によって、Ｂチャネルのエッジが前ピン状態又は後ピン状態であることは、次のように検出される。

ＥｄＢＧ＝（Σ（Ｂ／Ｇ））／（Δ３）＞１ … 式５
ＥｄＢＧ＝（Σ（Ｂ／Ｇ））／（Δ３）＜１ … 式６

ここで、式５及び６の値「１」は、閾値である。また、式５及び６の（Σ（Ｂ／Ｇ））は、Ｂチャネルの色成分量を画像における同じ位置のＧチャネルの色成分量で除算した値を、区間「Δ３」にわたって加算した総和である。また、その総和を、区間「Δ３」の長さで除算した値が「ＥｄＢＧ」である。そして、式５が成立する場合、ＥｄＢＧは、Ｂチャネルのエッジが後ピン状態であることを示す。一方、式６が成立する場合、ＥｄＢＧは、Ｂチャネルのエッジが前ピン状態であることを示す（方向指標）。また、ＥｄＢＧと、閾値「１」との差は、デフォーカス量を示す。

また、区間「Δ４」について、式５及び６のように色成分量の「比」を用いて前ピン及び後ピンを検出してもよいが、区間「Δ４」のように色成分量が小さい区間では、色成分量とノイズとのＳＮ比が小さいので、色成分量の「比」の代わりに、色成分量の「差」によって前ピン及び後ピンを検出するほうが、合焦状態の検出に有利である。

ＥｄＢＧ＝（Σ（Ｇ−Ｂ））／（Δ４）＞０ … 式７
ＥｄＢＧ＝（Σ（Ｇ−Ｂ））／（Δ４）＜０ … 式８

ここで、式７及び８の値「０」は、閾値である。また、式７及び８の（Σ（Ｇ−Ｂ））は、Ｂチャネルの色成分量から画像における同じ位置のＧチャネルの色成分量を減算した値を、区間「Δ４」にわたって加算した総和である。また、その総和を、区間「Δ４」の長さで除算した値が「ＥｄＢＧ」である。そして、式７が成立する場合、ＥｄＢＧは、Ｂチャネルのエッジが後ピン状態であることを示す。一方、式８が成立する場合、ＥｄＢＧは、Ｂチャネルのエッジが前ピン状態であることを示す（方向指標）。また、ＥｄＢＧと、閾値「０」との差は、デフォーカス量を示す。

このように、焦点調節装置１９１（図１を参照）は、評価値Ｅｄに基づいて、合焦状態及び非合焦状態を検出することができる。なお、焦点調節装置１９１は、色成分量が小さい区間について、色成分量の「比」によって前ピン及び後ピンを検出してもよい。また、焦点調節装置１９１は、色成分量が大きい区間について、色成分量の「差」によって前ピン及び後ピンを検出してもよい。また、上記ではＧチャネルで被写体像に合焦させているが、焦点調節装置１９１は、Ｒチャネル又はＢチャネルで被写体像に合焦させて、前ピン状態及び後ピン状態を検出（判定）してもよい。

次に、評価値のひとつである、Ｗｄについて説明する。
図１０には、エッジ位置１３（図７を参照）近傍における「色成分量の差」が示されている。図１０（Ａ）には、軸Ｄにおける位置と、Ｒチャネルの色成分量及びＧチャネルの色成分量の差と、の関係が示されている。ここで、縦軸は、Ｒの色成分量からＧの色成分量を減算した色成分量差（＝Ｒ−Ｇ）を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。なお、縦軸は、色成分量差の代わりに、Ｒの色成分量とＧの色成分量との比（＝Ｒ／Ｇ）であってもよい。

また、図１０において、実線は、Ｒチャネルが「後ピン状態」である場合の色成分量差（＝Ｒ−Ｇ）と、軸Ｄにおける位置との関係を示す。また、破線は、Ｒチャネルが「前ピン状態」である場合の色成分量差（＝Ｒ−Ｇ）と、軸Ｄにおける位置との関係を示す。

Ｗｄは、デフォーカス量を示す値（デフォーカス量参照値）である。図１０（Ａ）に示されているように、Ｗｄは、色成分量差の波形のピーク間距離で示され、軸Ｄにおける位置Ｘ１及びＸ２を用いて、式９で示される。

Ｗｄ＝｜Ｘ２−Ｘ１｜ … 式９

位置Ｘ１及びＸ２は、図１０（Ａ）において、色成分量差（色成分量比）の波形がピークを示す位置である。そして、実線と破線との交点は、図９（Ａ）における各色チャネルの線の交点に対応する。

まず、図１０（Ａ）の位置Ｘ２において、色成分量差が最大値「ｍａｘ（Ｒ−Ｇ）」を示し、位置Ｘ１において、色成分量差が最小値「ｍｉｎ（Ｒ−Ｇ）」を示した場合（実線の波形を示した場合）、その波形の極性（正負）は、Ｒチャネルが後ピン状態であることを示す（方向指標）。なぜなら、Ｒチャネルが後ピン状態である場合、図９（Ａ）に示されているように、図９（Ａ）の右側では、Ｒチャネルの色成分量はＧチャネルの色成分量以上であり、図９（Ａ）の左側では、Ｒチャネルの色成分量がＧチャネルの色成分量以下だからである。

一方、図１０（Ａ）の位置Ｘ１において、色成分量差が最大値「ｍａｘ（Ｒ−Ｇ）」を示し、位置Ｘ２において、色成分量差が最小値「ｍｉｎ（Ｒ−Ｇ）」を示した場合（破線の波形を示した場合）、その波形の極性（正負）は、Ｒチャネルが前ピン状態であることを示す（方向指標）。なぜなら、Ｒチャネルが前ピン状態である場合、図９（Ａ）に示されているように、図９（Ａ）の右側では、Ｒチャネルの色成分量はＧチャネルの色成分量以下であり、図９（Ａ）の左側では、Ｒチャネルの色成分量がＧチャネルの色成分量以上だからである。

図１０（Ｂ）には、図１０（Ａ）と比較して、合焦状態に近づいた場合の波形が示されている。合焦状態に近づくと、このように、Ｗｄの値が小さくなる。なお、色成分量差の最大値「ｍａｘ（Ｒ−Ｇ）」と、色成分量差の最小値「ｍｉｎ（Ｒ−Ｇ）」との差は、「ぼけ度合い」に応じて、変化してもよい。

このように、焦点調節装置１９１（図１を参照）は、評価値Ｗｄに基づいて、合焦状態及び非合焦状態を検出することができる。また、焦点調節装置１９１は、色成分量差の極性に基づいて、前ピン状態又は後ピン状態を検出することができる。

次に、評価値のひとつである、ＬＳＦについて説明する。
まず、レンズ性能を評価する指標のひとつに、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）がある。このＭＴＦは、被写体のコントラストをどの程度忠実に再現できるかを、空間周波数特性として表現したものである。

一般に、系のＭＴＦは、結像系（光学系）のＭＴＦと、センサ（撮像素子）系のＭＴＦとの積となる。そして、焦点調節装置は、系のＭＴＦに基づいて、合焦状態を検出（判定）することができる。例えば、焦点調節装置は、被写体像のエッジのＭＴＦを評価することで、合焦状態を検出してもよい。なお、焦点調節装置は、結像系及びセンサ系より後段の画像処理プロセス（例えば、回路の応答特性、デモザイク、ノイズ低減、及びエッジ強調など）をさらに考慮して、合焦状態を検出してもよい。

そして、光学系に入射される光がインコヒーレント光である場合、ＭＴＦとＬＳＦとはフーリエ変換を介して可逆であることが知られている。また、ＬＳＦは、画像に含まれるエッジから容易に算出可能である（例えば、「ＩＳＯ１２２３３」規格を参照）。

例えば、ＬＳＦは、ＥＳＦ（Ｅｄｇｅ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）が微分されることで算出されてもよい。また、ＬＳＦは、隣接する画素同士の画素値（例えば、色成分量）の差に基づいて、算出されてもよい。そして、ＭＴＦは、ＬＳＦに離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ，ＤＦＴ）が施されることで、算出されてもよい。

焦点調節装置１９１は、上述したＥｄ、Ｗｄのほか、評価値としてのＬＳＦに基づいて、合焦状態を検出（判定）してもよい。例えば、焦点調節装置１９１は、既知である画像処理プロセスの下で予め作成された「色チャネル毎のＬＳＦのプロファイル（データ）」に基づいて、合焦状態及び非合焦状態（前ピン又は後ピンなど）を、次のように検出してもよい。

図１１には、合焦状態の「ぼけ度合い」に応じて、ＧチャネルのＬＳＦが示されている。ここで、ＬＳＦは、ＬＳＦの特徴量の１つである標準偏差σ（統計量）で表現される。なお、ＬＳＦは、ＬＳＦの特徴量の１つである半値幅、又はピーク値で表現されてもよい。

図１１（Ａ）には、合焦状態でのＬＳＦが示されている。また、図１１（Ｂ）には、非合焦（小ぼけ）状態でのＬＳＦが示されている。また、図１１（Ｃ）には、非合焦（大ぼけ）状態でのＬＳＦが示されている。これらの図によって、合焦状態の「ぼけ度合い」が大きいほど、ＬＳＦの標準偏差σが大きくなることが示されている。

図１２には、合焦状態の「ぼけ度合い」と色チャネル毎に、ＬＳＦが示されている。図１２（Ａ）には、色チャネル（Ｒ，Ｇ，Ｂ）毎に、合焦状態におけるＬＳＦが示されている。なお、標準偏差σの色チャネル毎の大小関係は、レンズ固有の特性として、レンズ毎に異なっていても良い。以下では、合焦状態におけるＲチャネルのＬＳＦの標準偏差「σＲ」と、合焦状態におけるＧチャネルのＬＳＦの標準偏差「σＧ」と、合焦状態におけるＢチャネルのＬＳＦの標準偏差「σＢ」とには、「σＲ＞σＧ＞σＢ」という大小関係があるものとして説明する。

図１２（Ｂ）には、前ピン状態でのＬＳＦが、色チャネル（Ｒ，Ｇ，Ｂ）毎に示されている。また、図１２（Ｂ）の最も右側には、前ピン状態における、軸Ｄにおける位置と、色成分量との関係が示されている。図１２（Ｂ）の最も右側の図では、図８と異なり、Ｇチャネルも前ピン状態である場合について示されているため、Ｒ、Ｇ、Ｂすべての勾配が緩やかとなっている。そして、前ピン状態では、エッジにおける色成分量の勾配（傾き）は、Ｒの勾配が最も緩やかで、Ｂの勾配が最も急であることが示されている。

このように、前ピン状態では、Ｒの勾配が最も緩やかで、Ｂの勾配が最も急であるため、前ピン状態において、ＲチャネルのＬＳＦの標準偏差「σＲｄｆ」と、ＧチャネルのＬＳＦの標準偏差「σＧｄｆ」と、Ｂチャネルの標準偏差「σＢｄｆ」とには、「σＲｄｆ＞σＧｄｆ＞σＢｄｆ」という大小関係がある。より具体的には、「σＲｄｆ＞Ｋ１・σＧｄｆ」、「σＢｄｆ＜Ｋ２・σＧｄｆ」という大小関係がある。ここで、「Ｋ１＝σＲ／σＧ」、「Ｋ２＝σＢ／σＧ」である。

図１２（Ｃ）には、後ピン状態におけるＬＳＦが、色チャネル（Ｒ，Ｇ，Ｂ）毎に示されている。また、図１２（Ｃ）の最も右側には、後ピン状態における、軸Ｄにおける位置と、色成分量との関係が示されている。図１２（Ｃ）の最も右側の図では、図８と異なり、Ｇチャネルも後ピン状態である場合について示されているため、Ｒ、Ｇ、Ｂすべての勾配が緩やかとなっている。そして、後ピン状態では、エッジにおける色成分量の勾配（傾き）は、Ｂの勾配が最も緩やかで、Ｒの勾配が最も急であることが示されている。

このように、後ピン状態では、Ｂの勾配が最も緩やかで、Ｒの勾配が最も急であるため、後ピン状態において、ＲチャネルのＬＳＦの標準偏差「σＲｄｂ」と、ＧチャネルのＬＳＦの標準偏差「σＧｄｂ」と、Ｂチャネルの標準偏差「σＢｄｂ」とには、「σＢｄｂ＞σＧｄｂ＞σＲｄｂ」という大小関係がある。より具体的には、「σＲｄｂ＜Ｋ１・σＧｄｂ」、「σＢｄｂ＞Ｋ２・σＧｄｂ」という大小関係がある。ここで、「Ｋ１＝σＲ／σＧ」、「Ｋ２＝σＢ／σＧ」である。

図１３には、色チャネル毎のＬＳＦのプロファイル（データ）と、ぼけ度合いとの関係が示されている。横軸は、ぼけ度合いを示す。また、上段から、Ｇチャネル、Ｒチャネル、Ｂチャネルの順に、ＬＳＦのプロファイルが示されている。なお、図１３において、ぼけ度合いの絶対値（デフォーカス量）が大きいＬＳＦほど、標準偏差の添字の数字が大きく示されている。

また、横軸の中心位置「０」には、合焦状態でのＬＳＦのプロファイルが示されている。そして、横軸の中心位置「０」から右側は、エッジが前ピン状態である領域（前ピン領域）であり、中心位置「０」から離れるほど、ぼけ度合いの絶対値が大きい。一方、横軸の中心位置「０」から左側は、エッジが後ピン状態である領域（後ピン領域）であり、中心位置「０」から離れるほど、ぼけ度合いの絶対値が大きい。

そして、色チャネル毎のＬＳＦのプロファイルは、撮像装置１００が被写体を撮像する前に作成され、ぼけ度合い毎に、記憶部１６０に予め記憶されている。ここで、色チャネル毎のＬＳＦのプロファイルは、例えば、標準偏差で表現されて、記憶部１６０に予め記憶される。なお、ＬＳＦのプロファイルは、半値幅、又はピーク値で表現されて、記憶部１６０に予め記憶されてもよい。

なお、横軸の「ぼけ度合い」は、被写体距離（デプス）で表現されてもよい。また、色チャネル毎のＬＳＦのプロファイルは、「ぼけ度合い」の他に、更に、ズーム倍率、被写体距離、画角に対する位置を示す情報、撮像された画像における水平（Ｈ）又は垂直（Ｖ）方向を示す情報、ノイズ低減処理方法を示す情報、又はエッジ強調方法を示す情報に対応付けられて、記憶部１６０に予め記憶されてもよい。

図１４には、ＬＳＦの標準偏差の差をパラメータとする関数値と、被写体距離との関係（相対距離マップ、距離関数）が示されている。ここで、縦軸は、ＬＳＦの標準偏差の差を示す。また、横軸は、被写体距離を示す。そして、被写体距離（Ｄｅｐｔｈ）は、式１０で表される。

Ｄｅｐｔｈ＝Ｇ（Ｆ（σＲｄ−σＧｄ）−Ｆ１（σＢｄ−σＧｄ））… 式１０

ここで、σＲｄは、ＲチャネルのＬＳＦの標準偏差である。また、σＧｄは、ＧチャネルのＬＳＦの標準偏差である。また、σＢｄは、ＢチャネルのＬＳＦの標準偏差である。

そして、Ｆ（σＲｄ−σＧｄ）は、標準偏差の差「σＲｄ−σＧｄ」をパラメータとする関数であり、後ピン状態では負値、前ピン状態では正値となる関数である。また、Ｆ１（σＢｄ−σＧｄ）は、標準偏差の差「σＢｄ−σＧｄ」をパラメータとする関数であり、後ピン状態では正値、前ピン状態では負値となる関数である。

また、関数Ｇは、「Ｆ（σＲｄ−σＧｄ）−Ｆ１（σＢｄ−σＧｄ）」をパラメータとする関数であり、関数Ｆの値、又は関数Ｆ１の値の少なくとも一方を選択する関数である。そして、関数Ｇは、前ピン状態では関数Ｆの値を選択し、後ピン状態では関数Ｆ１の値を選択することで、被写体距離（Ｄｅｐｔｈ）を算出するために用いられる関数である。

なお、ＬＳＦは、１つの色チャネル（単色）についてのみ算出されてもよい。この場合、焦点調節装置１９１は、撮像された色チャネルのＬＳＦと、１つの色チャネルのＬＳＦのプロファイルとをマッチングすることで、合焦状態及び非合焦状態を検出してもよい。例えば、撮像されたＬＳＦが、ぼけ度合い「０」を示すＬＳＦのプロファイルと一致（マッチ）した場合には、焦点調節装置１９１は、エッジが合焦状態であると判定してもよい。

このように、焦点調節装置１９１（図１を参照）は、評価値ＬＳＦの標準偏差又は半値幅に基づいて、合焦状態及び非合焦状態を検出することができる。また、焦点調節装置１９１は、評価値ＬＳＦの標準偏差又は半値幅を色チャネル毎に比較することで、前ピン状態又は後ピン状態を検出することができる。

以上が、方向指標とデフォーカス量を検出するための評価値の説明である。

焦点調節装置１９１の構成の説明に戻る。
焦点調節装置１９１（図１を参照）は、エッジ検出部１９２と、分布検出部１９３と、制御部１９４とを備える。エッジ検出部１９２は、撮像部１１０が出力した画像を構成する色成分（Ｒチャネル、Ｇチャネル、Ｂチャネル）毎に、被写体像のエッジを検出する。

図１５には、撮像された画像と、撮像された画像から抽出されたエッジ画像と、２つのエッジ画像の論理積の結果を示す画像と、の例が示されている。図１５（Ａ）には、撮像部１１０が撮像した画像の一部（部分画像）の例が示されている。そして、図１５（Ａ）において、破線で示された枠は、エッジ検出部１９２がエッジを検出するための検出領域を示す。なお、検出領域は、エッジの片側のみに広がる領域であってもよい。また、部分画像における検出領域の位置は、予め定められていてもよい。

エッジ検出部１９２（図１を参照）は、検出領域に撮像された被写体像のエッジ画像（エッジ以外をマスクしたマスク画像）を、部分画像から色成分毎に抽出（検出）する。図１５（Ｂ）には、抽出されたＲチャネルのエッジ画像が示されている。また、図１５（Ｃ）には、抽出されたＧチャネルのエッジ画像が示されている。また、図１５（Ｄ）には、Ｒチャネルのエッジ画像と、Ｇチャネルのエッジ画像との論理積（ＡＮＤ）を算出した結果の画像が示されている。これらの画像の抽出（生成）手順について、以下に説明する。

図１６には、エッジ検出部１９２の動作がフローチャートで示されている。エッジ検出部１９２は、撮像部１１０が撮像した粗い画像（例えば、ＱＶＧＡ解像）から、ラプラシアンフィルタ等で色チャネル毎のエッジ画像を抽出（生成）する（ステップＳａ１）。

ステップＳａ１における、色チャネル毎のエッジ画像を抽出する手順を、より具体的に説明する。図１７には、エッジ位置１３近傍の色成分量の階調断面図の例と、ラプラシアンフィルタを使用した演算例とが示されている。一例として、画像の垂直方向に延びたエッジを抽出（生成）する場合について説明する。

ここで、画素が、エッジに直交する水平方向に、画素Ａ、画素Ｂ、画素Ｃの順に並んでいるものとする。そして、各画素は、画素Ａ「色成分量Ｒ１＝値「２００」，色成分量Ｇ１＝値「２２０」，色成分量Ｂ１＝値「１０」」、画素Ｂ「色成分量Ｒ２＝値「２２０」，色成分量Ｇ２＝値「２３０」，色成分量Ｂ２＝値「１０」」、画素Ｃ「色成分量Ｒ３＝値「２２０」，色成分量Ｇ３＝値「２５０」，色成分量Ｂ３＝値「１０」」で構成されているものとする。また、閾値Ｅｋ１を値「１００」とする。なお、これらの値は、一例である。

エッジ検出部１９２は、各色成分量に、ラプラシアンフィルタの係数を乗算した値を、色成分毎に加算する。そして、エッジ検出部１９２は、加算結果と、予め定められた閾値Ｅｋ１とを、色成分毎に比較する。

具体的には、エッジ検出部１９２は、Ｒチャネルについての加算結果「（−１）×Ｒ１＋８×Ｒ２＋（−１）×Ｒ３」と、閾値Ｅｋ１とを比較する。エッジ検出部１９２は、Ｒチャネルについての加算結果が閾値Ｅｋ１よりも大きいため、Ｒチャネルのエッジを有効エッジとして、Ｒチャネルのエッジ画像を生成する。

また、エッジ検出部１９２は、Ｇチャネルについての加算結果「（−１）×Ｇ１＋８×Ｇ２＋（−１）×Ｇ３」と、閾値Ｅｋ１とを比較する。エッジ検出部１９２は、Ｇチャネルについての加算結果が閾値Ｅｋ１よりも大きいため、Ｇチャネルのエッジを有効エッジとして、Ｇチャネルのエッジ画像を生成する。同様に、Ｂチャネルについての加算結果と閾値Ｅｋ１とを比較した結果、Ｂチャネルについての加算結果が閾値Ｅｋ１以下であるため、エッジ検出部１９２は、Ｂチャネルのエッジを有効エッジとせずに、Ｂチャネルのエッジ画像を生成しない。

さらに、エッジ検出部１９２は、エッジ画像におけるＲチャネルの色成分量を、Ｇチャネルの色成分量と同じレベルにする。例えば、エッジ検出部１９２は、Ｇチャネルの色成分量を、Ｒチャネルの色成分量で除算した値をゲイン（補正倍率）とする。そして、エッジ検出部１９２は、Ｒチャネルの色成分量にゲインを乗算する。このようにして、エッジ検出部１９２は、エッジ画像（図１５（Ｂ）（Ｃ）を参照）を生成する。

図１６に戻り、エッジ検出部１９２の動作説明を続ける。エッジ検出部１９２は、位置について相関のある２色以上のエッジ（エッジペア）を抽出する。具体的には、エッジ検出部１９２は、同一画素について、Ｒチャネルのエッジの色成分量と、Ｇチャネルのエッジの色成分量を抽出する。そして、エッジ検出部１９２は、これらエッジペアの色成分量論理積（ＡＮＤ）を共通エッジ画像とする（ステップＳａ２）。

エッジ検出部１９２は、同一画素のエッジでなくとも、「±１画素」以内に隣接するＲチャネル及びＧチャネルのエッジ（エッジペア、色ペア）の色成分量の論理積を、共通エッジとして抽出してもよい（太線化）。さらに、エッジ検出部１９２は、予め定められた長さＬ以上であるエッジの色成分量の論理積に基づいて、共通エッジを抽出してもよい。

そして、エッジ検出部１９２は、共通エッジを構成するＲチャネル及びＧチャネルの共通エッジを、記憶部１６０に記憶させる（ステップＳａ３）。このようにして、エッジ検出部１９２は、Ｒチャネルのエッジと、Ｇチャネルのエッジとの共通エッジが抽出されたエッジ画像（図１５（Ｄ）を参照）を生成する。

分布検出部１９３は、撮像部１１０が撮像した画像を、格子状のブロックに分割し、分割したブロック毎に、共通エッジの合焦状態及び非合焦状態（方向指標とデフォーカス量）を検出する。

図１８には、デプスマップの例が示されている。ここで、デプスマップとは、撮像された画像における合焦状態及び非合焦状態（ぼけ度合い）の分布を、ブロック（部分画像）単位で示したマップである。

以下では、一例として、撮像部１１０が撮像した画像が「４×４」のブロックに分割され、そのうちの１つのブロックにおけるエッジ画像が、図１５（Ｄ）に例示されたエッジ画像であるとして説明する。

分布検出部１９３は、エッジ画像に抽出された共通エッジのＥｄ、Ｗｄ、又はＬＳＦの少なくとも１つ以上に基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出する。分布検出部１９３は、図１５（Ｄ）のエッジ画像に抽出された３本の共通エッジのＥｄに基づいて、共通エッジの合焦状態及び非合焦状態（ぼけ度合い）を、次のように検出する。

図１５（Ｄ）のエッジ画像に抽出された３本の共通エッジの長さを、それぞれＬ１、Ｌ２、Ｌ３とする。まず、分布検出部１９３は、式１１を演算する。

Σ（Ｌ（（Σ（Ｒ／Ｇ））／Δ））
＝ Ｌ１（（Σ（Ｒ１／Ｇ１））／Δ）
＋Ｌ２（（Σ（Ｒ２／Ｇ２））／Δ）
＋Ｌ３（（Σ（Ｒ３／Ｇ３））／Δ） … 式１１

ここで、「Δ」は、エッジに直交する区間の長さである。例えば、図９（Ａ）に例示された階調断面図の場合、「Δ」は、区間Δ１又は２の長さである。さらに、分布検出部１９３は、式１１「Σ（Ｌ（（Σ（Ｒ／Ｇ））／Δ））」を「Ｌ１＋Ｌ２＋Ｌ３」で除算した値を、ＥｄＲＧとする。

そして、評価値Ｅｄの説明に上述したように、式１が成立する場合、分布検出部１９３は、共通エッジが後ピン状態であると判定する。一方、式２が成立する場合、分布検出部１９３は、共通エッジが前ピン状態であると判定する。

図１８に例示されたデプスマップにおいて、四角枠で囲まれた値は、そのブロックにおける「ぼけ度合い」を示す。そして、ぼけ度合いの絶対値が大きいほど、デフォーカス量が大きく、非合焦状態であることを示す。また、負値を持つブロックは、そのブロックに撮像されたエッジが、後ピン状態であることを示す。逆に、正値を持つブロックは、そのブロックに撮像されたエッジが、前ピン状態であることを示す。

分布検出部１９３は、「４×４」に分割した１つのブロックを、さらに「２×２」の小ブロック（セグメント）に細分化してもよい。そして、分布検出部１９３は、それらの小ブロックについて、共通エッジの合焦状態及び非合焦状態を、ぼけ度合いのヒストグラムに基づいて、検出してもよい。例えば、分布検出部１９３は、値「２」と値「８」との間にある小ブロックの「ぼけ度合い」を、ヒストグラムによって補間して、値「４」としてもよい。この補間された値は、一例である。なお、色成分量（パワー）が十分である有効エッジが検出されなかった場合、デプスマップには、方向指標とデフォーカス量とを検出することができなかった検出不能ブロックが残ってもよい。

このようにして、分布検出部１９３は、Ｅｄに基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出し、デプスマップを作成する。同様に、分布検出部１９３は、上述したＷｄに基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出し、デプスマップを作成してもよい。

また、分布検出部１９３は、上述したＬＳＦに基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出し、デプスマップを作成してもよい。具体的には、分布検出部１９３は、撮像部１１０に撮像された画像を、格子状のブロックに分割し、ブロック毎にエッジ画像を抽出する（図１５（Ｄ）を参照）。そして、分布検出部１９３は、エッジ画像に抽出されたエッジのＬＳＦを、評価値ＬＳＦの説明に上述した手順で算出する。さらに、分布検出部１９３は、ＬＳＦのプロファイルと、撮像されたエッジのＬＳＦとに基づいて、評価値ＬＳＦの説明に上述した手順で、ブロック毎に「ぼけ度合い」を検出することで、デプスマップを作成する。

また、分布検出部１９３は、評価値Ｅｄ、Ｗｄ、ＬＳＦを組み合わせて、共通エッジの合焦状態及び非合焦状態の分布を検出してもよい。例えば、分布検出部１９３は、Ｅｄに基づいて、共通エッジの合焦状態及び非合焦状態の分布を検出した後、有効エッジが検出されなかったブロックに対しては、ＬＳＦに基づいて、共通エッジの合焦状態及び非合焦状態の分布を補完的に検出してもよい。

制御部１９４は、分布検出部１９３が検出した合焦状態及び非合焦状態の分布に基づいて、分布のうちから被写体像が撮像されているブロックを選択し、被写体像のエッジに合焦させるようにＡＦレンズ１１２を移動させる。また、制御部１９４は、撮像部１１０が撮像した画像を記憶媒体２００に記憶させる撮影指示が、操作部１８０からＣＰＵ１９０に出力されたか否かを判定する。また、制御部１９４は、被写体像に合焦させるフォーカス指示が、操作部１８０からＣＰＵ１９０に出力されたか否かを判定する。制御部１９４は、これらの判定に基づいて、後述するように合焦駆動の手順を変更する。

次に、撮像装置１００の動作について、焦点調節装置１９１の動作を中心に説明する。
図１９には、被写体像を追尾する追尾動作における、焦点調節装置１９１の合焦駆動の手順を示すフローチャートが示されている。まず、撮像装置１００のＣＰＵ１９０は、被写体像を追尾する追尾動作を実行するよう、焦点調節装置１９１を追尾モードに設定する（ステップＳ１）。また、ＣＰＵ１９０は、追尾する対象である被写体像を焦点調節装置１９１に指定（設定）する（ステップＳ２）。これらの設定は、操作部１８０が受け付けたユーザの操作入力に基づいて、実行されてもよい。

そして、焦点調節装置１９１の制御部１９４は、初回の合焦駆動を実行する（ステップＳ３）。この合焦駆動における合焦方式は、例えば、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）方式でもよいし、その他の合焦方式（位相差検出方式など）でもよく、その方式は適宜選択されてよい。さらに、撮像素子１１９は、光電変換面に結像した光学像を電気信号に変換し、スルー画像としてＡ／Ｄ変換部１２０に出力する（ステップＳ４）。ここで、撮像素子１１９から出力されるスルー画像は、そのデータの一部が間引かれたことにより、解像度が低くなっていてもよい。

次に、撮像装置１００及び焦点調節装置１９１は、以下に説明するステップＳ５〜Ｓ７と、ステップＳ８〜Ｓ１６とを、並列処理する。また、撮像装置１００及び焦点調節装置１９１は、ステップＳ４〜Ｓ１７を繰り返し実行してもよい。

ＣＰＵ１９０は、撮像部１１０を制御して、自動露出（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ、ＡＥ）処理、ｄｅｂａｙｅｒ（色補間）処理を実行させる。また、画像処理部１４０は、スルー画像を取得し、画像処理を実行する（ステップＳ５）。例えば、画像処理部１４０は、取得したスルー画像に対して、画像処理として、ホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ、ＷＢ）調整処理、ノイズ低減（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ、ＮＲ）処理、倍率色収差補正処理等を実行する。

また、画像処理部１４０は、画像マッチング処理等によって、取得したスルー画像の追尾領域内に撮像された追尾対象を探索する（ステップＳ６）。さらに、画像処理部１４０は、追尾領域を示す追尾枠と、スルー画像とを重畳して、表示部１５０に表示させる（ステップＳ７）。

一方、焦点調節装置１９１のエッジ検出部１９２は、予め定められた初期ウィンドウサイズの追尾領域内に撮像されたエッジを抽出する（図１５の各図を参照）（ステップＳ８）。そして、エッジ検出部１９２は、図１６を用いて上述した手順で、エッジ特性を解析する（ステップＳ９）。

さらに、エッジ検出部１９２は、追尾対象とするエッジが存在するか否かを判定する（ステップＳ１０）。エッジが存在しない場合（ステップＳ１０−ＮＯ）、エッジ検出部１９２の処理は、ステップＳ８に戻る。一方、エッジが存在する場合（ステップＳ１０−ＹＥＳ）、エッジ検出部１９２は、追尾対象とするエッジを設定する（ステップＳ１１）。ここで、エッジ検出部１９２は、例えば、パワーが強い（色成分量が多い）エッジを、追尾対象に設定してもよい。

そして、ＣＰＵ１９０は、撮像部１１０を制御して、撮像素子１１９から出力されるスルー画像の解像度を上げる。ここで、スルー画像のデータの一部が間引かれなくなったことにより、スルー画像の解像度が上げられてもよい。さらに、ＣＰＵ１９０は、撮像部１１０を制御して、撮像素子１１９の光電変換面に結像した光学像の一部を切り出して、その画像を電気信号に変換させて、撮像素子１１９からＡ／Ｄ変換部１２０に出力させる（ステップＳ１２）。

また、エッジ検出部１９２は、エッジ特性を解析し、評価値を記憶部１６０に記憶させる（ステップ１３）。ステップ１３において、エッジ検出部１９２は、図２０に示す手順を実行する。図２０には、エッジ特性の解析手順を示すフローチャートが示されている。エッジ検出部１９２は、Ｒチャネルのエッジ画像と、Ｇチャネルのエッジ画像とに基づいてゲイン（倍率）を算出し、Ｒチャネルのエッジに対してゲインを乗算する（図１７などを参照）（ステップＳｂ１）。

そして、エッジ検出部１９２は、アフィン変換又はコサイン補正を実行することで、画像に対して斜めに延びたエッジを、画像に対して水平となるように変換する（ステップＳｂ２）。さらに、焦点調節装置１９１の分布検出部１９３は、エッジ周辺の区間Δに基づいて（例えば、式１を参照）、撮像部１１０が撮像した画像における格子状のブロック毎に、評価値を算出する。

また、分布検出部１９３は、エッジ検出部１９２が抽出した各エッジ（図１５（Ｄ）を参照）について、各評価値を算出し、算出した評価値をエッジの長さで平均して、Ｅｄとする（例えば、式１１を参照）（ステップＳｂ４）。ここで、分布検出部１９３は、評価値として、Ｅｄ、Ｗｄ、及びＬＳＦの少なくとも１つを算出する。そして、分布検出部１９３は、エッジ特性として、評価値と、色チャネル毎のエッジペア（色ペア）と、色成分量（色強度）と、ゲインとを、記憶部１６０に記憶させる。このようにして、分布検出部１９３は、デプスマップ（図１８を参照）を作成する。

図１９に戻り、焦点調節装置１９１の合焦駆動の手順の説明を続ける。分布検出部１９３は、ステップＳ２において追尾対象に設定された被写体像のエッジが撮像されているブロックの評価値に基づいて、そのエッジが、合焦状態、前ピン状態、又は後ピン状態のいずれであるかを判定する（例えば、式１〜４を参照）（ステップＳ１４）。

また、分布検出部１９３は、評価値Ｅｄが予め定められた第１閾値を超えているか否かを判定する。また、分布検出部１９３は、前回のＥｄと今回のＥｄとの差が予め定められた第２閾値より大きくなっているか否かを判定する（ステップＳ１５）。

評価値Ｅｄが予め定められた第１閾値を超えた場合、又は前回のＥｄと今回のＥｄとの差が予め定められた第２閾値より大きくなった場合（ステップＳ１５−ＹＥＳ）、デフォーカス量が多くなったので、制御部１９４は、ＡＦレンズ１１２の移動方向を限定して、コントラストスキャンを実行する。

制御部１９４がＡＦレンズ１１２の移動方向を限定する手順について、説明する。
図２１には、前ピン状態と判定された場合のスキャン領域と、後ピン状態と判定された場合のスキャン領域とが示されている。図２１の中段には、前ピン状態及び後ピン状態の判定結果に基づかずに実行される「通常コントラストスキャン」において、ＡＦレンズ１１２が、レンズ鏡筒１１１内に予め定められたレンズ可動域（至近〜無限）の全域を、コントラストスキャンしながら移動することが示されている。

図２１の中段に示された「通常コントラストスキャン」に対して、図２１の下段には、前ピン状態及び後ピン状態の判定結果に基づいて実行されるコントラストスキャンにおいて、ＡＦレンズ１１２が、レンズ鏡筒１１１内に予め定められたレンズ可動域（至近〜無限）の一部の領域を、コントラストスキャンしながら移動することが示されている。

追尾対象に設定された被写体像のエッジが前ピン状態であると判定された場合、制御部１９４は、現在のＡＦレンズ１１２の位置から、至近側の領域にＡＦレンズ１１２の移動方向を限定して、コントラストスキャンを実行する。一方、追尾対象に設定された被写体像のエッジが後ピン状態であると判定された場合、制御部１９４は、現在のＡＦレンズ１１２の位置から、無限側の領域にＡＦレンズ１１２の移動方向を限定して、コントラストスキャンを実行する。

このように、ＡＦレンズ１１２の移動方向が限定されるので、焦点調節装置１９１は、通常のコントラストスキャンと比較して速やかに、被写体像に合焦させることができる。

図１９に戻り、焦点調節装置１９１の合焦駆動の手順の説明を続ける。制御部１９４は、被写体像のエッジに合焦させるために、前ピン状態及び後ピン状態の判定結果に基づいて実行されるコントラストスキャンによって検出した合焦位置に、ＡＦレンズ１１２を移動させる（ステップＳ１６）。

ステップＳ１５において、評価値Ｅｄが予め定められた第１閾値を超えていない、かつ前回のＥｄと今回のＥｄとの差が予め定められた第２閾値より大きくなっていない場合（ステップＳ１５−ＮＯ）、制御部１９４の処理は、ステップＳ１７に進む。また、制御部１９４の処理は、ステップＳ１６を実行後、ステップＳ１７に進む。

制御部１９４は、撮像部１１０が撮像した画像を記憶媒体２００に記憶させる撮影指示が、操作部１８０からＣＰＵ１９０に出力されたか否かを判定する（ステップＳ１７）。例えば、撮影指示は、操作部１８０のシャッタボタンをユーザが操作することよって、操作部１８０からＣＰＵ１９０に出力される。

操作部１８０からＣＰＵ１９０に撮影指示が出力されていない場合（ステップＳ１７−ＮＯ）、制御部１９４の処理は、ステップＳ４に戻る。一方、操作部１８０からＣＰＵ１９０に撮影指示が出力されている場合（ステップＳ１７−ＹＥＳ）、制御部１９４の処理は、ステップＳ１８に進む。

次に、制御部１９４は、撮影用ＡＦを実行する（ステップＳ１８）。図２２には、撮影用ＡＦでの山登りコントラストスキャンにおけるレンズ位置の移動が示されている。そして、図２２（Ａ）には、コントラストスキャンにおけるＡＦレンズ１１２の位置と、コントラスト値との関係の一例が示されている。ここで、レンズの現在位置から至近側の領域を、至近側領域とする。また、レンズの現在位置から無限側の領域を、無限側領域とする。

レンズ鏡筒１１１内に予め定められたレンズ可動域における開始位置（例えば、至近側領域にある位置）から終了位置（例えば、無限側領域にある位置）まで、制御部１９４の制御によってＡＦレンズ１１２が移動した場合に、コントラスト値がピークを示したレンズ位置を、合焦位置とする。ＡＦレンズ１１２が合焦位置にある場合、被写体像のエッジは、合焦状態となる。

図２２（Ｂ）には、通常コントラストスキャン（図２１の中段を参照）における、ＡＦレンズ１１２の位置の移動が示されている。通常コントラストスキャンにおいて、制御部１９４は、レンズ鏡筒１１１内に予め定められたレンズ可動域の全域をコントラストスキャンさせながら、ＡＦレンズ１１２を移動させる。

制御部１９４は、時刻ｔ１〜ｔ２において、時刻ｔ１におけるレンズ位置からコントラストスキャンの開始位置まで、ＡＦレンズ１１２を移動させる（初期位置駆動）。そして、制御部１９４は、時刻ｔ２〜ｔ３ａにおいて、開始位置から終了位置まで、コントラストスキャンを実行しながら、ＡＦレンズ１１２を移動させる（スキャン駆動）。さらに、制御部１９４は、時刻ｔ３ａ〜ｔ４ａにおいて、コントラスト値がピークを示した合焦位置に、ＡＦレンズ１１２を移動させる（合焦位置駆動）。

このように、通常コントラストスキャンでは、制御部１９４は、レンズ可動域の全域をコントラストスキャンさせるため、合焦位置にＡＦレンズ１１２を移動させるのに時間を要する。

一方、図２２（Ｃ）には、評価値による前ピン状態及び後ピン状態の判定に基づくコントラストスキャン（図２１の下段を参照）における、ＡＦレンズ１１２の位置の移動が示されている。制御部１９４は、前ピン状態及び後ピン状態の判定に基づいて、レンズ鏡筒１１１内に予め定められたレンズ可動域の一部領域をコントラストスキャンさせながら、ＡＦレンズ１１２を移動させる。

そして、分布検出部１９３が、共通エッジの合焦状態及び非合焦状態の分布を上述のように検出する。ここで、追尾対象である被写体像のエッジが前ピン状態であると、分布検出部１９３が時刻ｔ１までに判定したとする。制御部１９４は、時刻ｔ１〜ｔ２において、時刻ｔ１におけるレンズ位置からコントラストスキャンの開始位置まで、ＡＦレンズ１１２を移動させる（初期位置駆動）。

被写体像のエッジが前ピン状態であると判定されたので、制御部１９４は、合焦位置が至近側領域にあると予測し、時刻ｔ２〜ｔ３ｂにおいて、開始位置から「時刻ｔ１におけるレンズ位置」まで、コントラストスキャンを実行しながら、ＡＦレンズ１１２を移動させる（スキャン駆動）。さらに、制御部１９４は、時刻ｔ３ｂ〜ｔ４ｂにおいて、コントラスト値がピークを示した合焦位置に、ＡＦレンズ１１２を移動させる（合焦位置駆動）。

ここで、制御部１９４は、スキャン駆動において、評価値Ｅｄが予め定められた範囲内に収束した時点で、合焦駆動を終了してもよい。また、制御部１９４は、スキャン駆動において、上述したようにＬＳＦに基づいて合焦状態を検出し、合焦駆動を終了してもよい。

また、制御部１９４は、スキャン駆動において、コントラストスキャンを実行しながら、コントラスト値がピークを示した位置を、一旦通過して、合焦位置を内挿により算出する。合焦位置は、内挿により算出されることで、内挿により算出されない場合と比較して、位置が正確に検出される可能性が高くなる。そして、制御部１９４は、内挿により算出した合焦位置に、ＡＦレンズ１１２を移動させる（合焦位置駆動）。

図１９に戻り、合焦駆動の説明を続ける。ＣＰＵ１９０は、撮影用ＡＦによって合焦状態となったエッジを露光するよう、撮像部１１０を制御する。そして、ＣＰＵ１９０は、撮像部１１０が撮像した画像を、通信部１７０を介して記憶媒体２００に記憶（記録）させる（ステップＳ１９）。

以上のように、焦点調節装置１９１は、焦点調節を行うためのＡＦレンズ１１２を有するレンズ鏡筒１１１から入射される被写体像を含む画像を構成する色成分毎に、被写体像のエッジを検出するエッジ検出部１９２と、エッジ検出部１９２が色成分毎に検出したエッジに基づいて、画像における合焦状態及び非合焦状態の分布を検出する分布検出部１９３と、分布検出部１９３が検出した分布（デプスマップ）に基づいて、被写体像に合焦させるようにＡＦレンズ１１２を移動させる制御部１９４と、を備える。

これにより、共通エッジが前ピン状態にあるとの判定に基づくコントラストスキャンでは、制御部１９４は、至近側領域のみでＡＦレンズ１１２を移動させるので、通常コントラストスキャンを実行した場合と比較して、短時間に合焦駆動を終了させる。同様に、共通エッジが後ピン状態にあるとの判定に基づくコントラストスキャンでは、制御部１９４は、無限側領域のみでＡＦレンズ１１２を移動させるので、通常コントラストスキャンを実行した場合と比較して、短時間に合焦駆動を終了させる。

したがって、焦点調節装置１９１は、一度も合焦されていない被写体像に、速やかに合焦させることができる。

また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジの色成分量の勾配に基づいて、合焦状態及び非合焦状態の分布を検出する。これにより、焦点調節装置１９１は、エッジの色成分量の勾配に基づいて、被写体像に速やかに合焦させることができる。

また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジの色成分量の比又は差に基づいて、被写体より近点側に合焦していること、又は被写体より遠点側に合焦していることを示す方向指標と、デフォーカス量と、を検出する。これにより、焦点調節装置１９１は、エッジの色成分量の比又は差に基づいて、演算負荷を増大させることなく、被写体像に速やかに合焦させることができる。

また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジの色成分量の比又は差のピーク間距離に基づいて、デフォーカス量を検出する。これにより、焦点調節装置１９１は、エッジの色成分量の比又は差のピーク間距離に基づいて、演算負荷を増大させることなく、被写体像に速やかに合焦させることができる。

＜評価値ＬＳＦに基づいて、合焦駆動を実行する場合について＞
図２３には、ＬＳＦに基づく合焦駆動の手順を示すフローチャートが示されている。撮像装置１００のＣＰＵ１９０は、エッジに合焦（ＡＦ）させる領域として、スルー画像の中央に領域（中央エリア領域）を設定する（ステップＳｄ１）。この設定は、操作部１８０が受け付けたユーザの操作入力に基づいて、実行されてもよい。

ＣＰＵ１９０は、撮像部１１０を制御して、露出制御を実行させる（ステップＳｄ２）。また、画像処理部１４０は、スルー画像を取得する（ステップＳｄ３）。そして、ＣＰＵ１９０は、撮像部１１０を制御して、ｄｅｂａｙｅｒ（色補間）処理を実行させる。

また、画像処理部１４０は、取得したスルー画像に対して、画像処理を実行する。例えば、画像処理部１４０は、取得したスルー画像に対して、ホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ、ＷＢ）調整処理、ノイズ低減（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ、ＮＲ）処理、を実行する（ステップＳｄ４）。ここで、画像処理部１４０が取得したスルー画像は、撮像素子１１９が出力した電気信号が間引かれたことで、解像度が低下した画像であってもよい。このようにすれば、画像処理部１４０が実行する画像処理量を低減させることができる。さらに、画像処理部１４０は、画像処理を施したスルー画像を、表示部１５０に表示させる（ステップＳｄ５）。

ＣＰＵ１９０は、フォーカス指示がＣＰＵ１９０に入力されたか否かを判定する（ステップＳｄ６）。フォーカス指示が入力されていない場合（ステップＳｄ６−ＮＯ）、ＣＰＵ１９０の処理は、ステップＳｄ３に戻る。フォーカス指示が入力されている場合（ステップＳｄ６−ＹＥＳ）、ＣＰＵ１９０の処理は、ステップＳｄ７に進む。

画像処理部１４０は、スルー画像をフル解像度で取得する（ステップＳｄ７）。そして、ＣＰＵ１９０は、撮像部１１０を制御して、ｄｅｂａｙｅｒ（色補間）処理を実行させる。 また、画像処理部１４０は、取得したスルー画像に対して、画像処理を実行する。例えば、画像処理部１４０は、取得したスルー画像に対して、ホワイトバランス調整処理、ノイズ低減処理を実行する（ステップＳｄ８）。

エッジ検出部１９２は、中央エリア領域において、ラプラシアンフィルタ等で色チャネル毎のエッジ画像を抽出する（ステップＳｂ９）。そして、エッジ検出部１９２は、色成分量（エッジパワー）が一定量以上である有効なエッジを抽出する（ステップＳｂ１０）。さらに、エッジ検出部１９２は、抽出されたエッジのＬＳＦを画像の水平方向に対して算出する（ステップＳｄ１１）。

エッジ検出部１９２は、各色チャネルのエッジについて、位置相関を取る（ステップＳｂ１２）。そして、エッジ検出部１９２は、位置相関のある２色以上のチャネルのエッジを選択し、エッジ画像を抽出する（ステップＳｂ１３）。ここで、一例として、Ｒチャネルのエッジと、Ｇチャネルのエッジ画像が抽出されたものとする。エッジ検出部１９２は、抽出されたエッジ画像のエッジについて太線化を行い、エッジ以外をマスクしたマスク画像（図１５（Ｄ）を参照）を作成する（ステップＳｄ１４）。

分布検出部１９３は、「８×８」のブロックにマスク画像を分割する。そして、分布検出部１９３は、各ブロックのＬＳＦを参照して、１画素あたりのＬＳＦの平均値を算出する（ステップＳｄ１５）。さらに、分布検出部１９３は、算出した平均値に基づいて、被写体像のラベリングを実行してもよい。中央エリア領域に複数のラベルがある場合、分布検出部１９３は、中央エリア領域に複数の被写体距離があると判定する（ステップＳｄ１６）。

制御部１９４は、Ｒチャネルのエッジと、Ｇチャネルのエッジと基づいて、ＡＦレンズ１１２の駆動方向と、デフォーカス量（コントラストスキャンの開始位置）とを算出する（ステップＳｄ１７）。制御部１９４は、ＡＦレンズ１１２を開始位置（例えば、前ピン状態であれば、至近側領域にある位置）に移動させる。そして、制御部１９４は、ＬＳＦを算出しながら、コントラストスキャンを実行する。制御部１９４は、コントラストスキャンを実行しながら、ＬＳＦが合焦状態を示した位置（図１３を参照）を一旦通過して、スキャン駆動を停止する（ステップＳｄ１８）。

そして、制御部１９４は、内挿により合焦位置を算出し、算出した合焦位置にＡＦレンズ１１２を移動させる（ステップＳｄ１９）。また、画像処理部１４０は、スルー画像を繰り返し取得する（ステップＳｄ２０）。そして、画像処理部１４０は、スルー画像を表示部１５０に表示させる（ステップＳｄ２１）。なお、制御部１９４は、中央エリア領域より更に広い領域を、エッジに合焦させる領域（ＡＦ領域）としてもよい。

以上のように、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジに対応する線広がり関数（ＬＳＦ）に基づいて、被写体より近点側に合焦していること、又は被写体より遠点側に合焦していることを示す方向指標と、デフォーカス量と、を検出する。これにより、焦点調節装置１９１は、被写体像が単色である場合、被写体像の面積が小さい場合、又は被写体像の空間周波数が低い場合でも、速やかに合焦させることができる（コンテンツ耐性）。

また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジに対応する線広がり関数（ＬＳＦ）の標準偏差又は半値幅に基づいて、デフォーカス量を検出する。これにより、焦点調節装置１９１は、エッジの線広がり関数の標準偏差又は半値幅に基づいて、被写体像に速やかに合焦させることができる。

また、焦点調節装置１９１は、焦点調節を行うためのＡＦレンズ１１２を有するレンズ鏡筒１１１から入射される被写体像を含む画像を構成する色成分毎に、被写体像のエッジを検出するエッジ検出部１９２と、エッジ検出部１９２が色成分毎に検出したエッジの線広がり関数（ＬＳＦ）を算出する分布検出部１９３と、線広がり関数に基づいて、被写体像に合焦させるようにＡＦレンズ１１２を移動させる制御部１９４と、を備える。

これにより、焦点調節装置１９１は、被写体像が単色である場合、被写体像の面積が小さい場合、又は被写体像の空間周波数が低い場合でも、速やかに合焦させることができる。

［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、分布検出部１９３が、後述する「デフォーカス−駆動パルステーブル」に基づいて、合焦位置（デフォーカス量）を予測する点が、第１実施形態と異なる。以下では、第１実施形態との相違点についてのみ説明する。

図２４には、「デフォーカス−駆動パルステーブル」の例が示されている。デフォーカス−駆動パルステーブルの項目（リファレンス）には、レンズ位置と、評価値と、前ピン状態での駆動パルスのステップ数（以下、「前ピン状態でのステップ数」という）と、後ピン状態での駆動パルスのステップ数（以下、「後ピン状態でのステップ数」という）とがある。ここで、評価値は、Ｅｄ、Ｗｄ、ＬＳＦに基づくデフォーカス量のいずれであってもよい。

また、駆動パルスのステップ数とは、鏡筒制御部１１８が駆動制御信号に応じてレンズ駆動部１１６に出力する駆動パルスであり、鏡筒制御部１１８の構造に基づいて予め定められたステップ数である。そして、前ピン状態でのステップ数とは、前ピン状態での現在のレンズ位置から合焦位置まで移動するために必要なステップ数を示す。同様に、後ピン状態でのステップ数とは、後ピン状態での現在のレンズ位置から合焦位置まで移動するために必要なステップ数を示す。また、デフォーカス−駆動パルステーブルは、記憶部１６０に記憶されてもよい。

そして、分布検出部１９３は、周期的に評価値（デフォーカス量）を検出して、デフォーカス−駆動パルステーブルの「評価値」の項目に、検出した評価値と、検出した際のレンズ位置とを登録する。さらに、分布検出部１９３は、鏡筒制御部１１８の構造に基づいて予め定められたステップ数である「前ピン状態でのステップ数」と、「後ピン状態でのステップ数」とを、デフォーカス−駆動パルステーブルに登録する。分布検出部１９３は、これらの登録動作を繰り返して、履歴を作成する。

次に、制御部１９４が、デフォーカス−駆動パルステーブルに基づいて、ＡＦレンズ１１２の移動方向及びコントラストスキャン領域を限定する手順を説明する。

図２５には、前ピンとその度合が判定された場合のコントラストスキャン領域と、後ピンとその度合が判定された場合のコントラストスキャン領域とが示されている。追尾対象に設定された被写体像のエッジが前ピン状態であると判定された場合、制御部１９４は、デフォーカス−駆動パルステーブル（図２４を参照）に基づいて、至近側領域に合焦位置の予測範囲を定める。

例えば、鏡筒制御部１１８から出力されたレンズ位置（フォーカスポジション）が値「１」、かつ、分布検出部１９３が検出した評価値（デフォーカス量）が値「１」、かつ、分布検出部１９３が検出した方向指標が前ピン状態を示したとする。

この場合、制御部１９４は、レンズ位置「１」、及び評価値「１」に対応する、前ピンでのステップ数が、デフォーカス−駆動パルステーブル（図２４を参照）に登録されているか否かを参照する。図２４に示された例では、レンズ位置「１」、及び評価値「１」に対応する「前ピンでのステップ数」が登録されているので、制御部１９４は、デフォーカス−駆動パルステーブルから、前ピンでのステップ数「２３」を取得する。

これにより、制御部１９４は、ＡＦレンズ１１２が現在のレンズ位置から至近方向に、駆動パルスのステップ数「２３」に対応する移動量を移動した位置に合焦位置がある、と予測する。そして、制御部１９４は、予測した位置を中心とする所定の長さの予測範囲を定める。さらに、制御部１９４は、予測範囲に限定して、コントラストスキャンを実行する。なお、予測範囲の長さは、安全係数が付加されて、さらに長くなってもよい。

追尾対象に設定された被写体像のエッジが「後ピン状態」であると判定された場合も同様に、制御部１９４は、デフォーカス−駆動パルステーブル（図２４を参照）に基づいて、無限側領域にある合焦位置を中心とする合焦位置の予測範囲を定める。そして、制御部１９４は、合焦位置の予測範囲に限定して、コントラストスキャンを実行する。

図２６には、被写体像を追尾する追尾動作における、焦点調節装置１９１の合焦駆動の手順を示すフローチャートが示されている。図２６のステップＳｃ１〜Ｓｃ１５は、図１９のステップＳ１〜Ｓ１５と同じである。また、図２６のステップＳｃ１８〜Ｓｃ２０は、図１９のステップＳ１７〜Ｓ１９と同じである。また、図２６のステップＳｃ１６及びＳｃ１７は、並列処理を示す。

評価値Ｅｄが予め定められた第１閾値を超えた場合、又は前回のＥｄと今回のＥｄとの差が予め定められた第２閾値より大きくなった場合（ステップＳｃ１５−ＹＥＳ）、制御部１９４は、ＡＦレンズ１１２の移動方向を限定し、図２４を用いて上述したようにデフォーカス−駆動パルステーブルを参照して、さらに合焦位置の予測範囲を定める。 （ステップＳｃ１６）。

制御部１９４は、ＡＦレンズ１１２の移動方向を限定し、さらに合焦位置の予測範囲に限定して、コントラストスキャン（小スキャン）を実行する。そして、制御部１９４は、被写体像のエッジに合焦させるように、合焦位置にＡＦレンズ１１２を移動させる（ステップＳｃ１７）。そして、制御部１９４の処理は、ステップＳｃ１８に進む。以降は、第１実施形態と同様である。

このように、コントラストスキャンを実行する範囲が、合焦位置の予測範囲に限定されるので、焦点調節装置１９１は、通常のコントラストスキャンと比較して速やかに、被写体像に合焦させることができる。

図２７には、「デフォーカス−駆動パルステーブル」に基づくコントラストスキャンにおける、合焦駆動の例が示されている。制御部１９４が、一例として、評価値Ｅｄに基づいて、合焦駆動を実行する場合について説明する。図２７の各横軸は、撮像部１１０が撮像するスルー画像のフレーム数を示す。また、図２７の上段の縦軸は、共通エッジのＥｄを示す。ここで、フレーム数ｆ１におけるＥｄを、「Ｅｄ値（初期）」とする。また、図２７の下段の縦軸は、レンズ位置を示す。

制御部１９４は、コントラストスキャンから一定時間が経過した場合、又は操作部１８０からＣＰＵ１９０に撮影指示が出力された場合、コントラストスキャンを実行し、被写体像のエッジに合焦させる。また、分布検出部１９３は、一定周期でＥｄを算出する。そして、分布検出部１９３は、スルー画像に含まれる被写体像の動きベクトルに基づいて、被写体像の単位時間当たりの動きが大きいと判定した場合には、Ｅｄを算出するレートを速くする。なお、分布検出部１９３は、前回算出された評価値Ｅｄと、今回算出された評価値Ｅｄとの相対的な差が大きいと判定した場合に、Ｅｄを算出するレートを速くしてもよい。

まず、制御部１９４は、フレーム数ｆ１〜ｆ２において、コントラストスキャンを実行し、ＡＦレンズ１１２をスキャン駆動させたとする。ここで、分布検出部１９３は、スキャン駆動中に、被写体像の単位時間当たりの動きが大きいと判定した場合には、Ｅｄを算出するレートを速くする。

そして、制御部１９４は、フレーム数ｆ２〜ｆ３において、ＡＦレンズ１１２を合焦位置駆動させ、被写体像の共通エッジに合焦させる。これにより、フレーム数ｆ３〜ｆ４において、被写体像の共通エッジは、合焦状態にある。ここで、被写体距離が変化した場合、フレーム数ｆ３〜ｆ４における合焦位置と、合焦位置（初期）とは、その位置が異なっていてもよい。

次に、被写体距離が変化したことにより、フレーム数ｆ４において、予め定められた閾値をＥｄが超えたとする。これにより、制御部１９４は、デフォーカス−駆動パルステーブルに基づいて、ＡＦレンズ１１２の移動方向及び移動量を限定する。

例えば、鏡筒制御部１１８から出力されたレンズ位置（フォーカスポジション）が値「１」、かつ、分布検出部１９３が検出した評価値（デフォーカス量）が値「１」、かつ、分布検出部１９３が検出した方向指標が前ピン状態を示したとする。

この場合、制御部１９４は、レンズ位置「１」及び評価値「１」に対応する「前ピンでのステップ数」が「デフォーカス−駆動パルステーブル（図２４を参照）」に登録されているか否か、を判定する。そして、図２４に示された例では、レンズ位置「１」及び評価値「１」に対応する「前ピンでのステップ数」が、テーブルに登録されているので、制御部１９４は、デフォーカス−駆動パルステーブルから、前ピンでのステップ数「２３」を取得する。

これにより、現在のレンズ位置から至近方向に向かって、駆動パルスのステップ数「２３」に対応する移動量を、ＡＦレンズ１１２が移動した位置に合焦位置がある、と制御部１９４は予測する。そして、制御部１９４は、駆動制御信号を鏡筒制御部１１８に出力し、駆動パルスのステップ数「２３」に対応する移動量で、ＡＦレンズ１１２を至近方向に駆動させる。これにより、制御部１９４は、フレーム数ｆ５において、エッジに合焦させたとする。

また、制御部１９４は、「フレーム数ｆ５〜ｆ７」及び「フレーム数ｆ７〜ｆ９」において、フレーム数ｆ３〜ｆ５と同様の動作を繰り返したとする。そして、ユーザが操作部１６０を操作したことにより、フレーム数ｆ１０において、フォーカス指示又は撮影指示がＣＰＵ１９０に入力されたとする。

図２８には、図２７に示された合焦駆動の例における、フレーム数ｆ１０〜ｆ１２部分の拡大図が示されている。ここで、縦軸はレンズ位置を示す。また、横軸はフレーム数を示す。制御部１９４は、フレーム数ｆ１０において、デフォーカス−駆動パルステーブル（図２４を参照）に基づいて、合焦位置を中心とする合焦位置の予測範囲を定める。そして、制御部１９４は、予測範囲について、コントラストスキャンを実行しながら、コントラスト値がピークを示した合焦位置を一旦通過して、フレーム数ｆ１１において、評価値Ｅｄを内挿により算出する。

さらに、フレーム数ｆ１１〜１２において、制御部１９４は、内挿により算出した合焦位置に、ＡＦレンズ１１２を戻す（合焦位置駆動）。

以上のように、焦点調節装置１９１は、焦点調節を行うためのＡＦレンズ１１２を有するレンズ鏡筒１１１から入射される被写体像を含む画像を構成する色成分毎に、被写体像のエッジを検出するエッジ検出部１９２と、エッジ検出部１９２が色成分毎に検出したエッジに基づいて、画像における合焦状態及び非合焦状態の分布を検出する分布検出部１９３と、分布検出部１９３が検出した分布の履歴を含む「デフォーカス−駆動パルステーブル」を作成し、その履歴に基づいて、被写体像に合焦させるようにＡＦレンズ１１２を移動させる制御部１９４と、を備える。

これにより、焦点調節装置１９１は、一度も合焦されていない被写体像に、デフォーカス−駆動パルステーブルを参照しない場合と比較して、より速やかに合焦させることができる。

［第３実施形態］
本発明の第３実施形態について図面を参照して詳細に説明する。第３実施形態では、分布検出部１９３が、画素ずらしによる画素値の差分データ（自己相関）を評価値として、デフォーカス量を算出する点が、第１及び２実施形態と異なる。以下では、第１及び２実施形態との相違点についてのみ説明する。

図２９には、動画撮像モードを有する焦点調節装置１９１の動作を示すフローチャートが示されている。ＣＰＵ１９０は、撮像装置１００を動画撮像モードに設定する（ステップＳｅ１）。ここで、ＣＰＵ１９０は、操作部１８０が受け付けたユーザの操作入力に基づいて、撮像装置１００を動画撮像モードに設定してもよい。これにより、ＣＰＵ１９０は、撮像装置１１０が撮像した画像を、動画として画像処理するように画像処理部１４０を制御する。

画像処理部１４０は、１／３０間引きデータを取得する（ステップＳｅ２）。ここで、１／３０間引きデータとは、３０分の１秒ごとに撮像素子１１９から出力されるスルー画像であって、その一部が間引かれたことで解像度が低くなったスルー画像である。そして、ＣＰＵ１９０は、撮像部１１０を制御して、自動露出（ＡＥ）処理を実行する（ステップＳｅ３）。

焦点調節装置１９１の制御部１９４は、初回の合焦駆動を実行する。この合焦駆動における合焦方式は、例えば、コントラストＡＦ方式でもよいし、その他の合焦方式（位相差検出方式など）でもよく、その方式は適宜選択されてよい。そして、エッジ検出部１９２は、スルー画像から色成分量のコントラストが高い領域を、評価値を評価する評価エリアとして選択する（ステップＳｅ４）。

制御部１９４は、コントラストスキャンを実行し、ＡＦレンズ１１２をスキャン駆動させる（ステップＳｅ５）。そして、エッジ検出部１９２は、評価エリア内にて、スルー画像を水平方向に１画素ずらす。さらに、エッジ検出部１９２は、水平方向に１画素ずらしたスルー画像と、元のスルー画像との画素値（例えば、色成分量）の差分データを、色チャネル毎に算出（採取）する（ステップＳｅ６）。

分布検出部１９３は、Ｇチャネルの差分データ数の１０％について、差分データのヒストグラムを作成し、差分データの平均値を算出する（ステップＳｅ７）。なお、分布検出部１９３は、Ｇチャネルの差分データ数の全数について、差分データのヒストグラムを作成してもよい。

図３０（Ａ）には、合焦状態における差分データのヒストグラムが示されている。また、図３０（Ｂ）には、非合焦状態における差分データのヒストグラムが示されている。そして、図３０（Ａ）及び（Ｂ）の横軸は、差分データを示す。また、縦軸は、差分データの頻度を示す。

非合焦状態では、デフォーカス量が多いため、隣接する画素同士の画素値の差（隣接差）は、合焦状態での隣接差と比較して少ない。このため、ヒストグラムは、差分データが小さいほうにシフトする。したがって、図１３（Ａ）に示された合焦状態での差分データの平均値「Ａｖｅ」と、図１３（Ｂ）に示された非合焦状態での差分データの平均値「Ａｖｅ１」には、「Ａｖｅ＞Ａｖｅ１」という大小関係がある。このため、平均値が予め定められた閾値よりも小さくなった場合、分布検出部１９３は、スルー画像が非合焦状態であると判定する。

図２９に戻り、焦点調節装置１９１の動作の説明を続ける。画像処理部１４０は、１／３０間引きデータを新たに取得する（ステップＳｅ８）。そして、エッジ検出部１９２は、評価エリア内にて、スルー画像を水平方向に１画素ずらす。さらに、エッジ検出部１９２は、水平方向に１画素ずらしたスルー画像と、元のスルー画像との画素値（例えば、色成分量）の差分データを、色チャネル毎に算出（採取）する。さらに、分布検出部１９３は、差分データ数の１０％について、差分データのヒストグラムを作成し、差分データの平均値を色チャネル毎に算出する（ステップＳｅ９）。なお、分布検出部１９３は、差分データ数の全数について、差分データのヒストグラムを色チャネル毎に作成してもよい。

Ｇチャネルの差分データの平均値が予め定められた閾値よりも小さくなった場合、分布検出部１９３は、スルー画像が非合焦（デフォーカス）状態であると判定する（ステップＳｅ１０）。さらに、分布検出部１９３は、Ｒチャネルの差分データの平均値の変化と、Ｂチャネルの差分データの平均値の変化とに基づいて、被写体像のエッジが前ピン状態であるか又は後ピン状態であるかを判定する（ステップＳｅ１１）。

例えば、分布検出部１９３は、Ｒチャネルの差分データの平均値の変化が、Ｂチャネルの差分データの平均値の変化よりも大きい場合には、被写体像のエッジが前ピン状態であると判定してもよい。

そして、制御部１９４は、スキャン領域を限定して、コントラストスキャンを実行する（ステップＳｅ１２）。

以上のように、焦点調節装置１９１は、画像を水平方向に１画素ずらして、元の画像との差分データを算出することにより、スキャン領域を限定して、コントラストスキャンを実行する。これにより、制御部１９４は、通常コントラストスキャンを実行した場合と比較して、軽い処理負荷で短時間に合焦駆動を終了させる。したがって、焦点調節装置１９１は、一度も合焦されていない被写体像に、速やかに合焦させることができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、スポット光（点光源）を有する被写体像に対して、コントラストスキャンを実行した場合、コントラスト値のピークが複数存在するため、合焦位置を限定できない場合が多い。そこで、焦点調節装置１９１は、上述した評価値に基づいて、スポット光被写体のコントラストＡＦの性能を向上させてもよい。

図３１には、スポット光を判定する焦点調節装置１９１の動作を示すフローチャートが示されている。画像処理部１４０は、スルー画像（間引きＶＧＡ解像）を撮像部１１０から取得する（ステップＳｆ１）。ここで、画像処理部１４０がスルー画像を取得する周期は、通常よりも短い周期（間隔レート）であってもよい。そして、ＣＰＵ１９０は、撮像部１１０を制御して、ｄｅｂａｙｅｒ（色補間）処理を実行させる。また、画像処理部１４０は、取得したスルー画像に対して、画像処理を実行する。例えば、画像処理部１４０は、取得したスルー画像に対して、ホワイトバランス調整処理、ノイズ低減処理、を実行する（ステップＳｆ２）。

分布検出部１９３は、色成分量のヒストグラムを作成し、ヒストグラムにクリップチャネルがあるか否かを判定する（ステップＳｆ３）。ここで、クリップチャネルとは、色成分量が飽和したチャネルである。なお、分布検出部１９３は、輝度値のヒストグラムを作成してもよい。

クリップチャネルがある場合、分布検出部１９３は、クリップ（飽和）が発生している画素の周辺にスポット光があると判定し、その周辺について有効エッジを検索する（ステップＳｆ４）。そして、高解像の画像（間引かれていない画像）を使用して有効エッジを検索するため、画像処理部１４０は、高解像の画像を撮像部１１０から取得する（マルチスケールウィンドウ）。分布検出部１９３は、高解像の画像において、クリップ（飽和）が発生している画素の周辺について、有効エッジを検索する（ステップＳｆ５）。

分布検出部１９３は、上述したように、エッジの情報を基にＬＳＦを算出して、色チャネル毎にＬＳＦを比較する。そして、分布検出部１９３は、上述したように、方向指標と、デフォーカス量を算出する（ステップＳｆ６）。そして、制御部１９４は、方向指標と、デフォーカス量とに基づいて、ＡＦレンズ１１２を駆動させる（ステップＳｆ７）。

このように、焦点調節装置１９１は、クリップ（飽和）が発生している画素の周辺について有効エッジを検索するので、スポット光被写体のコントラストＡＦの性能を向上させることができる。また、撮像装置１００は、焦点調節装置１９１がスポット光を検出（シーン検出）した結果に基づいて、撮像条件（例えば絞り値、露出値等）を変更してもよい。

また、例えば、撮像装置１００は、焦点調節装置１９１が算出した方向指標とデフォーカス量に基づいて、撮像モードを「マクロ（接写）撮像モード」に切り替えてもよい。図３２には、マクロ撮像モードへの切り替え判定動作を説明するための図が示されている。ＡＦレンズ１１２の位置が最至近にある場合に、分布検出部１９３は、被写体像が前ピン状態であると判定したとする。そして、撮像装置１００のＣＰＵ１９０は、焦点調節装置１９１が算出した方向指標（前ピン状態）とデフォーカス量に基づいて、撮像モードを「マクロ（接写）撮像モード」に切り替える。これにより、制御部１９４は、通常コントラストスキャンにおける至近よりも更に至近側にある「マクロ（接写）の至近域」にスキャン範囲を限定して、コントラストスキャンを実行する。

このように、撮像装置１００は、焦点調節装置１９１が算出した方向指標（前ピン状態）とデフォーカス量とに基づいて、ユーザの操作入力によらずに、撮像モードを「マクロ（接写）撮像モード」に切り替えることができる。

また、例えば、色チャネルは、ＲＧＢ以外による色空間表現形式で表現されてもよい。例えば、色チャネルは、色差（ＹＣｂＣｒ、ＹＵＶなど）による色空間表現形式で表現されてもよい。

また、例えば、分布検出部１９３は、同一色で被写体像をグルーピングした結果に基づいてブロックを細分化し、被写体像をラベリングしてもよい。

また、例えば、分布検出部１９３は、有効なエッジが検出されたかった場合、画像の解像度を変更してもよい。また、分布検出部１９３は、超解像処理を実行してもよい。

また、例えば、上記で説明した各プロファイル、各パラメータ、各閾値は、ズームポジション、像高、合焦レンジポジションに応じて、変更されてもよい。

また、例えば、分布検出部１９３は、一定周期で算出した評価値の履歴に基づいて、評価値の変化が少ないと判定した場合には、被写体の動きが少ないものとして、評価値を算出する周期を長くしてもよい。このようにすれば、分布検出部１９３は、評価値を算出する演算負荷を軽くすることができる。

また、例えば、ＭＴＦの代わりに、ＳＦＲ（Ｓｐａｔｉａｌ Ｆｒｅｑｕｅｎｃｙ Ｒｅｓｐｏｎｓｅ））が用いられてもよい。

＜焦点調節するためのエッジを複数のエッジから選択する方法について＞
複数のエッジが画像に存在する場合、焦点調節装置は、複数のエッジから優先順位に応じて上位のエッジを、予め定められたＮ個（Ｎは、１以上の整数）選択し、選択したエッジに基づいて焦点調節する（例えば、図１９のステップＳ１１を参照）。このように複数のエッジが画像に存在する場合において、焦点調節装置が焦点調節するためのエッジを選択する方法について、以下に説明する。

分布検出部１９３（図１を参照）は、エッジ検出部１９２が色成分毎に検出したエッジのうち、パワーが強い（色成分量が多い）順に上位のエッジを選択する。また、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジのうち、色成分のコントラストが高い順に上位のエッジを選択する。

ここで、エッジ同士で色成分のコントラストが同じであって、色成分の信号対雑音比（Ｓ／Ｎ比）が異なるエッジが混在している場合、分布検出部１９３は、色成分の信号対雑音比が高い順に上位のエッジを選択する。また、エッジ同士で色成分の信号対雑音比が同じであって、色成分のコントラストが異なるエッジが混在している場合、分布検出部１９３は、色成分のコントラストが高い順に上位のエッジを選択する。

また、エッジ同士で色成分の信号対雑音比が同じでない場合、分布検出部１９３は、信号対雑音比が相対的に低く且つコントラストが相対的に高いエッジと、信号対雑音比が相対的に高く且つコントラストが相対的に低いエッジとのうち少なくとも一方を選択する。

図３３は、色成分の信号対雑音比が異なるエッジが混在している場合に選択されるエッジの優先順位を説明するための図である。縦軸は、色成分量を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。図３３（Ａ）には、信号対雑音比が相対的に高く且つコントラストが相対的に低いエッジが示されている。一方、図３３（Ｂ）には、信号対雑音比が相対的に低く且つコントラストが相対的に高いエッジが示されている。色成分の信号対雑音比がエッジ同士で同じでない場合、これらのエッジのうち少なくとも一方が、分布検出部１９３により選択される。

分布検出部１９３（図１を参照）は、白及び黒の色成分により構成されたエッジを選択する。また、白及び黒の色成分により構成されたエッジが無い場合、分布検出部１９３は、エッジ検出部１９２が色成分毎に検出したエッジのうち、２原色以上含まれ且つ色成分が同位相で変化するエッジを選択する。エッジに２原色含まれている場合、分布検出部１９３は、緑色成分（Ｇチャネル）を含むエッジを選択する。また、エッジに緑色成分が含まれていない場合、分布検出部１９３は、青色成分（Ｂチャネル）を含むエッジを選択する。

図３４は、２原色含まれる場合に選択されるエッジの優先順位を示す図である。縦軸は、色成分量を示す。また、横軸は、軸Ｄにおける位置（図７を参照）を示す。図３４（Ａ）には、同位相で変化するＲチャネル及びＧチャネルにより構成されたエッジが示されている。また、図３４（Ｂ）には、同位相で変化するＲチャネル及びＧチャネルにより構成されたエッジであって、Ｒチャネルのコントラストが、図３４（Ａ）に示すＲチャネルのコントラストと比較して低いエッジが示されている。また、図３４（Ｃ）には、同位相で変化するＲチャネル及びＢチャネルにより構成されたエッジが示されている。

これらのエッジのうち優先順位が最も高いエッジは、緑色成分（Ｇチャネル）が含まれ且つコントラストが高い、図３４（Ａ）に示されたエッジである。一方、これらのエッジのうち優先順位が最も低いエッジは、緑色成分が含まれていない、図３４（Ｃ）に示されたエッジである。緑色成分が含まれているエッジは、撮像素子１１９（図１を参照）により、精度良く検出される。

分布検出部１９３（図１を参照）は、エッジ検出部１９２が色成分毎に検出したエッジのうち、予め定められた幅以上に色成分が平坦であるエッジを選択する。図３５は、色成分が平坦である１本のエッジを横切る位置に応じた色成分量の変化と、複数本のエッジを横切る位置に応じた色成分量の変化とを説明するための図である。図３５（Ａ）（Ｂ）の各縦軸は、色成分量を示す。また、図３５（Ａ）の横軸は、１本のエッジを横切る位置、すなわち軸Ｄにおける位置（図７を参照）を示す。また、図３５（Ｂ）の横軸は、複数本のエッジを横切る位置を示す。

図３５（Ａ）には、色成分が平坦である１本のエッジを横切る位置に応じた色成分量の変化が示されている。図３５（Ａ）では、エッジは、予め定められた幅Ｗ１及びＷ２以上に色成分量が平坦である。ここで、平坦であるエッジの幅については、幅Ｗ１及びＷ２が定められる代わりに、色成分量に勾配が在る範囲を含む幅Ｗ３及びＷ４が定められてもよい。一方、図３５（Ｂ）には、複数本のエッジを横切る位置に応じた色成分量の変化が示されている。図３５（Ｂ）では、各エッジは、色成分量が平坦で無い。したがって、これらのエッジのうち優先順位が最も高いエッジは、予め定められた幅以上に色成分が平坦である、図３５（Ａ）に示されたエッジである。

分布検出部１９３（図１を参照）は、エッジ検出部１９２が色成分毎に検出したエッジのうち、色成分の信号対雑音比に応じて定まる長さ以上のエッジを選択する。例えば、分布検出部１９３は、色成分の信号対雑音比が低いほど、長いエッジを選択する。

次に、優先順位に応じて上位のエッジを選択する手順について説明する。
図３６は、優先順位に応じて上位のエッジを選択する手順を示すフローチャートである。
エッジ検出部１９２は、複数のエッジを検出したとする（ステップＳｇ１）。
分布検出部１９３は、エッジ検出部１９２により検出されたエッジの強度（パワー、色成分量）を検出する（ステップＳｇ２）。
エッジ検出部１９２は、検出したエッジの強度に基づいて、優先順位が上位Ｎ個のエッジを選択する。例えば、エッジ検出部１９２は、色成分量が多いエッジを追尾対象に設定する（ステップＳｇ３）。

分布検出部１９３は、選択したエッジを構成する色成分に基づいて（図３４を参照）、優先順位が上位のエッジを選択する。例えば、エッジに２原色含まれている場合、分布検出部１９３は、緑色成分（Ｇチャネル）を含むエッジを選択する（ステップＳｇ４）。

分布検出部１９３は、選択したエッジのコントラストに基づいて（図３３を参照）、優先順位が上位のエッジを選択する。例えば、分布検出部１９３は、隣接する画素同士における色成分量の差（隣接差）が多い順に上位のエッジを選択する（ステップＳｇ５）。

分布検出部１９３は、選択したエッジの色成分の信号対雑音比、及び波形において平坦になっている範囲の幅に基づいて（図３５を参照）、優先順位が上位のエッジを選択する（ステップＳｇ６）。

分布検出部１９３は、色成分の信号対雑音比に応じて定まる長さ以上のエッジを選択する。例えば、分布検出部１９３は、色成分の信号対雑音比が低いほど、長いエッジを選択する（ステップＳｇ７）。

分布検出部１９３は、エッジの識別情報であるエッジアドレスを登録する。すなわち、分布検出部１９３は、最終的に選択された上位のエッジを追尾対象として設定する（ステップＳｇ８）。

制御部１９４は、エッジの評価値に基づいて、前ピン状態であるか又は後ピン状態であるかと、ＡＦレンズ１１２の位置とを判定する。すなわち、制御部１９４は、分布検出部１９３が検出した合焦状態及び非合焦状態の分布に基づいて、被写体像のエッジに合焦させるようにＡＦレンズ１１２を移動させる。ここで、制御部１９４は、ＡＦレンズ１１２の移動方向を限定して、コントラストスキャンを実行する（ステップＳｇ９）。

なお、分布検出部１９３は、エッジの色成分の代わりにエッジの輝度に基づいて、優先順位が上位のエッジを選択してもよい。

また、図１６、１９、２０、２３、２６、２９、３１及び３６を用いて説明した手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…撮像装置、１１０…撮像部、１１１…レンズ鏡筒、１９０…ＣＰＵ、１９１…焦点調節装置、１９２…エッジ検出部、１９３…分布検出部、１９４…制御部。

Claims (11)

1. 被写体を撮像する撮像部で生成された画像データから色成分毎に前記被写体に含まれるエッジ部分を検出するエッジ検出部と、
   線広がり関数に基づいて、前記エッジ部分の合焦状態及び非合焦状態の分布を示すマップを作成する分布検出部と、
   前記分布検出部で作成された前記マップにより、前記撮像部に前記被写体の像を導くレンズを、前記撮像部の撮像面に合焦させる方向に移動させる制御部と、を備え、
   前記マップは、前記レンズを移動させる方向を示す指標と、デフォーカス量に関する値と、が示されることを特徴とする焦点調節装置。
2. 前記分布検出部は、線広がり関数の標準偏差又は半値幅に基づいて、前記デフォーカス量を検出することを特徴とする請求項１に記載の焦点調節装置。
3. 前記分布検出部は、前記エッジ検出部により検出された前記エッジ部分のうち、色成分量が多い順に上位のエッジ部分を選択し、該選択したエッジ部分の合焦状態及び非合焦状態の分布を示すマップを作成することを特徴とする請求項１又は請求項２に記載の焦点調節装置。
4. 前記分布検出部は、前記エッジ検出部により検出された前記エッジ部分のうち、色成分のコントラストが高い順に上位のエッジ部分を選択し、該選択したエッジ部分の合焦状態及び非合焦状態の分布を示すマップを作成することを特徴とする請求項１から請求項３のいずれか１つに記載の焦点調節装置。
5. 前記分布検出部は、前記エッジ検出部により検出された前記エッジ部分のうち、エッジ部分の色成分のコントラストが同じであって、信号対雑音比が異なるエッジ部分が混在している場合、信号対雑音比が高い順に上位のエッジを選択し、該選択したエッジ部分の合焦状態及び非合焦状態の分布を示すマップを作成することを特徴とする請求項４に記載の焦点調節装置。
6. 前記分布検出部は、前記エッジ検出部により検出された前記エッジ部分のうち、色成分の信号対雑音比が異なるエッジ部分が混在している場合、信号対雑音比が相対的に低く且つコントラストが相対的に高いエッジ部分と、信号対雑音比が相対的に高く且つコントラストが相対的に低いエッジ部分とのうち少なくとも一方を選択し、該選択したエッジ部分の合焦状態及び非合焦状態の分布を示すマップを作成することを特徴とする請求項４に記載の焦点調節装置。
7. 前記分布検出部は、前記エッジ検出部により検出された前記エッジ部分のうち、２原色以上含まれ且つ色成分が同位相で変化するエッジ部分を選択し、該選択したエッジ部分の合焦状態及び非合焦状態の分布を示すマップを作成することを特徴とする請求項１から請求項６のいずれか１つに記載の焦点調節装置。
8. 前記分布検出部は、前記エッジ部分に２原色含まれている場合、緑色成分を含むエッジを選択することを特徴とする請求項７に記載の焦点調節装置。
9. 前記分布検出部は、前記エッジ検出部により検出された前記エッジ部分のうち、予め定められた幅以上に色成分が平坦であるエッジ部分を選択し、該選択したエッジ部分の合焦状態及び非合焦状態の分布を示すマップを作成することを特徴とする請求項１から請求項８のいずれか１つに記載の焦点調節装置。
10. 前記分布検出部は、前記エッジ検出部により検出された前記エッジ部分のうち、色成分の信号対雑音比に応じて定まる長さ以上のエッジ部分を選択し、該選択したエッジ部分の合焦状態及び非合焦状態の分布を示すマップを作成することを特徴とする請求項１から請求項９のいずれか１つに記載の焦点調節装置。
11. コンピュータに、
    被写体を撮像する撮像部で生成された画像データから色成分毎に前記被写体に含まれるエッジ部分を検出する手順と、
    線広がり関数に基づいて、前記エッジ部分の合焦状態及び非合焦状態の分布を示すマップであり、前記レンズを移動させる方向を示す指標と、デフォーカス量に関する値と、が示される前記マップを作成する手順と、
    前記作成する手順で作成された前記マップにより、前記撮像部に前記被写体の像を導くレンズを、前記撮像部の撮像面に合焦させる方向に移動させる作成する手順と、
    を実行させるための焦点調節プログラム。

Images