JP6508926B2

JP6508926B2 - 撮像装置および撮像装置の制御方法

Info

Publication number: JP6508926B2
Application number: JP2014244904A
Authority: JP
Inventors: 幸助信岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-12-03
Filing date: 2014-12-03
Publication date: 2019-05-08
Anticipated expiration: 2034-12-03
Also published as: JP2016109766A

Description

本発明は、撮像装置に関し、特に、撮像装置におけるオートフォーカス制御技術に関する。

撮像装置では、顔認識処理で得られた顔位置や輝度・色の分布情報等から被写体領域を検出し、被写体領域から推定した主被写体の位置にオートフォーカス（ＡＦ）用の評価枠を設定することにより、主被写体に対するＡＦを行う技術が提案されている。例えば、特許文献１では、顔検出位置の周辺部位の画像データから、ＡＦの対象とする主被写体の位置を追尾することにより、主被写体を多少見失っても動きに追尾できるＡＦの実現技術が開示されている。

また、特許文献２では、主被写体の位置を追尾すると共に、被写体の移動方向を予測し、予測される方向に対しては広めのＡＦ評価枠を設定することにより、動く主被写体に対するＡＦ評価枠の捕捉確率を上げる技術が開示されている。

特開２０１３−１１７６６号公報特開２００６−１２９２７２号公報

しかしながら、特許文献１の技術では、撮影画像の取得から主被写体の位置の追尾結果が得られるまでの時間が、追尾ＡＦ性能に及ぼす影響ついて何ら考慮されていない。従来からコントラスト評価方式と位相差検出方式という二つのＡＦ方式が知られている。いずれのＡＦ方式もＡＦ評価用の撮影画像（動画撮影時は、そのまま表示・記録用にも使用される）からフォーカスレンズのピント状態を推定して、次のフレームの撮影画像を取得するまでにフォーカスレンズを推定合焦位置に移動させる。

一方、特許文献１の技術は、撮影画像から主被写体の位置の追尾結果を得るものであるため、当該撮影画像における主被写体の位置に対してＡＦ評価枠を設定することはできない。撮影画像における主被写体の位置に対してＡＦ評価枠を反映できるのは、次のフレームの撮影画像に対して漸く可能であり、次のフレームの撮影画像における主被写体の位置が、１フレーム前の撮影画像に対する主被写体の位置と同一であるかの保証は全くない。このように、特許文献１の技術では、本質的に主被写体への追尾ＡＦを実現できない。

また、特許文献２の技術は、被写体の動く方向に対して広めのＡＦ評価枠を設定するだけの技術であるから、撮影画像における主被写体の位置にＡＦ評価枠を設定できるかの保証までは得られない。さらに、主被写体に対して広めのＡＦ評価枠を設定する方法なので、遠近競合の発生する確率が上がる弊害があり、総合的にＡＦ性能を上げる技術とは言えない。

本発明は、上記課題に鑑みて成されたものであり、被写体への追尾ＡＦの性能を向上させることが出来る撮像装置および撮像装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、フォーカスレンズを介して撮像手段の結像面上に結像され、前記撮像手段から出力された出力信号から得られるフレーム画像に複数の格子状の小領域を設定し、前記小領域毎に第１のＡＦ評価値を生成する第１の生成手段と、前記第１の生成手段による前記第１のＡＦ評価値の生成と並行して前記フレーム画像から被写体の位置を示すデータを生成する被写体追尾手段と、前記被写体追尾手段により生成されたデータからＡＦ評価枠を設定するＡＦ評価枠設定手段と、前記ＡＦ評価枠設定手段により設定されたＡＦ評価枠内の複数の前記小領域に対応する前記第１のＡＦ評価値を積分して第２のＡＦ評価値を生成する第２の生成手段と、前記第２の生成手段により生成された第２のＡＦ評価値に基づいて前記フォーカスレンズの位置を調整してＡＦ制御を行う制御手段とを備えることを特徴とする。

本発明によれば、主被写体の位置を追尾した状態でのコントラストＡＦ評価値の生成が可能となり、被写体への追尾ＡＦの性能を向上させることが出来る。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。図１における第１のコントラスト評価演算部の概略構成を示すブロック図である。図２における第１のコントラスト評価演算サブ回路の概略構成を示す図である。（ａ）第１のコントラスト評価演算枠の設定例を示す図、（ｂ）第１のコントラスト評価値の一例を示す図である。第１のコントラスト評価演算部の動作を説明するためのタイミングチャートである。（ａ）被写体追尾ＡＦ評価領域の一例を示す図、（ｂ）被写体追尾ＡＦ評価領域の他の一例を示す図である。図１の撮像装置の動作を説明するためのタイミングチャートである。（ａ）第２の実施形態における被写体追尾ＡＦ評価領域の一例を示す図、（ｂ）被写体追尾ＡＦ評価領域の他の一例を示す図である。本発明の第３の実施形態に係る撮像装置の概略構成を示すブロック図である。図９における信頼性演算部の概略構成を示すブロック図である。図１０における第１の信頼性演算サブ回路の概略構成を示すブロック図である。（ａ）第３の実施形態における被写体追尾ＡＦ評価領域の一例を示す図、（ｂ）被写体追尾ＡＦ信頼性結果の一例を示す図、（ｃ）被写体追尾ＡＦ評価領域の他の一例を示す図である。本発明の第４の実施形態に係る撮像装置の概略構成を示すブロック図である。本発明の第４の実施形態に係る撮像装置のフォーカスレンズ位置の時間推移を示す図である。主被写体に対するフォーカス状態の変化により生ずる、主被写体のボケ広がりの様子を示す図である。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。

図１において、撮像装置は、フォーカスレンズ１０１、センサー（撮像素子）１０２、カメラ信号処理部１０３、表示・記録処理部１０４、表示装置１０５、記録メディア１０６、追尾検出部１０７を備える。また、撮像装置は、第１メモリインタフェース１０８、追尾評価値データ１０９を保持するメモリ、第２メモリインタフェース１１０、コントラスト評価フィルタ１１１、第１コントラスト評価演算部１１２、第３メモリインタフェース１１３を備える。さらに、撮像装置は、第１コントラスト評価値データ１１４を保持するメモリ、第４メモリインタフェース１１５、第２コントラスト評価演算部１１６、マイコン１１７、レンズ駆動アクチュエータ１１８、および映像同期生成部１１９を備える。

図１の撮像装置では、被写体（不図示）の光学像がフォーカスレンズ１０１を介してセンサー１０２の結像面上に結像され、センサー１０２からセンサー出力信号Ｓ１０１が出力される。センサー１０２から出力されたセンサー出力信号Ｓ１０１は、カメラ信号処理部１０３、追尾検出部１０７、およびコントラスト評価フィルタ１１１にそれぞれ入力される。

カメラ信号処理部１０３は、入力されたセンサー出力信号Ｓ１０１に対して、図示しない色分離、ガンマ補正、白バランス調整などのカメラ信号処理を行ってカメラ処理画像信号Ｓ１０２を生成し、表示・記録処理部１０４に出力する。

表示・記録処理部１０４は、入力されたカメラ処理画像信号Ｓ１０２から、表示画像信号Ｓ１０３と記録画像データＳ１０４を生成し、当該表示画像信号Ｓ１０３を表示装置１０５に出力して画像等を表示させる。また、表示・記録処理部１０４は、当該記録画像データＳ１０４を記録メディア１０６に記録する。

追尾検出部１０７では、入力されたセンサー出力信号Ｓ１０１から、例えば人の顔や特定色の領域に基づいて主被写体の位置が検出される。さらに、追尾検出部１０７では、過去のフレームの主被写体の位置とテンプレートマッチング処理などの公知の技術により、当該主被写体の位置が追尾され、追尾検出ライトデータＳ１０５が生成される。この追尾検出ライトデータＳ１０５は、第１メモリインタフェース１０８を介して追尾評価値データ１０９として、ＤＲＡＭ等の外部メモリに記憶される。

コントラスト評価フィルタ１１１は、既知の通り、少なくともＤＣ成分とセンサー１０２のカラーフィルタ（不図示）による色キャリア成分をヌルに落とす周波数特性を持つバンドパスフィルタである。そして、コントラスト評価フィルタ１１１は、フィルタ処理画像信号Ｓ１０７を生成し、第１コントラスト評価演算部１１２へ出力する。このフィルタ処理画像信号Ｓ１０７は、センサー出力信号Ｓ１０１に含まれる、被写体エッジ先鋭度を評価するために最適な空間フィルタ処理画像の信号であり、フォーカスレンズ１０１によるピント状態に応じて、画像のエネルギーが変化する特徴をもつ。

第１コントラスト評価演算部１１２は、画像のエネルギーを評価するために、入力されたフィルタ処理画像信号Ｓ１０７に対して絶対値積分の演算処理を行い、第１コントラスト評価ライトデータＳ１０８として出力する。この第１コントラスト評価ライトデータＳ１０８は、第３メモリインタフェース１１３を介して第１コントラスト評価値データ１１４として、ＤＲＡＭ等の外部メモリに記憶される。

上述した追尾評価値データ１０９は、第２メモリインタフェース１１０を介して、追尾検出リードデータＳ１０６としてマイコン１１７に読み出される。この追尾評価値データ１０９は、センサー出力信号Ｓ１０１における主被写体の位置を表すデータであるから、マイコン１１７は、追尾検出リードデータＳ１０６からＡＦ評価枠設定Ｓ１１０を生成する。このＡＦ評価枠設定Ｓ１１０は第２コントラスト評価演算部１１６に送られる。

第２コントラスト評価演算部１１６は、上述したＤＲＡＭ等の外部メモリに一旦記憶された第１コントラスト評価値データ１１４を第４メモリインタフェース１１５を介して第１コントラスト評価リードデータＳ１０９として読み込む。そして、マイコン１１７から入力されたＡＦ評価枠設定Ｓ１１０に基づき、追尾検出された主被写体に対するコントラスト評価値である第２コントラスト評価データＳ１１１を生成する。

第２コントラスト評価演算部１１６で生成された第２コントラスト評価データＳ１１１は、マイコン１１７に読み込まれ、所定のＡＦ制御アルゴリズムに従って、フォーカスレンズ駆動指示データＳ１１２が生成される。生成されたフォーカスレンズ駆動指示データＳ１１２は、レンズ駆動アクチュエータ１１８に送られて、フォーカスレンズ駆動制御信号Ｓ１１３としてフォーカスレンズ１０１に送られて、フォーカスレンズの移動が実行される。このような第２コントラスト評価演算部１１６の動作により、本発明の特徴である主被写体の追尾検出に同期したコントラスト評価が可能となるが、その詳細な説明は後述する。

なお、映像同期生成部１１９より、少なくともセンサー１０２および第１コントラスト評価演算部１１２に対して同期信号Ｓ１１４が供給され、同期信号Ｓ１１４に同期した映像処理が実施される。

次に、第１コントラスト評価演算部１１２によるコントラスト評価値の生成方法について図２を参照して説明する。

図２は、図１における第１コントラスト評価演算部１１２の概略構成を示すブロック図である。

図２において、第１コントラスト評価演算部１１２は、第１コントラスト評価演算サブ回路２０１、第２コントラスト評価演算サブ回路２０２、第３コントラスト評価演算サブ回路２０３、第４コントラスト評価演算サブ回路２０４を備える。また、第１コントラスト評価演算部１１２は、第５コントラスト評価演算サブ回路２０５、第６コントラスト評価演算サブ回路２０６、第７コントラスト評価演算サブ回路２０７、第８コントラスト評価演算サブ回路２０８を備える。さらに、第１コントラスト評価演算部１１２は、評価演算タイミング生成回路２０９、評価値選択セレクタ２１０、および絶対値演算回路２１１を備える。

第１コントラスト評価演算部１１２には、前述の通り、フィルタ処理画像信号Ｓ１０７および同期信号Ｓ１１４が入力される。センサー１０２も同期信号Ｓ１１４により駆動されるので、フィルタ処理画像信号Ｓ１０７も同期信号Ｓ１１４に同期したものとなっている。

フィルタ処理画像信号Ｓ１０７は、絶対値演算回路２１１において絶対値化され、絶対値化フィルタ画像処理信号Ｓ２１８が生成される。また、フィルタ処理画像信号Ｓ１０７は、前述のとおり、所定帯域のバンドパスフィルタ処理されており、ＤＣ成分がヌルに落とされているため、０値を中心とした符号付きの信号である。そして、絶対値演算回路２１１は、上述した符号情報を排除し、そのエネルギー情報を抽出するためのものである。生成された絶対値化フィルタ画像処理信号Ｓ２１８は、第１コントラスト評価演算サブ回路２０１〜第８コントラスト評価演算サブ回路２０８に共通に供給される。

第１コントラスト評価演算サブ回路２０１〜第８コントラスト評価演算サブ回路２０８は、評価演算タイミング生成回路２０９から第１評価演算タイミング信号Ｓ２０１〜第８評価演算タイミング信号Ｓ２０８を受けて各々動作する。これらは、絶対値化フィルタ画像処理信号Ｓ２１８に対して、コントラスト評価したい画像領域に対してのみ、積分処理を行う。この積分処理の目的は、コントラスト評価したい画像領域において、フォーカスレンズ１０１によるピント状態に応じた画像のエネルギー変化をＳ／Ｎ良く評価でき、１評価値に縮退させることにある。

第１コントラスト評価演算サブ回路２０１〜第８コントラスト評価演算サブ回路２０８による各々の積分結果は、第１サブ評価値Ｓ２０９〜第８サブ評価値Ｓ２１６として生成される。生成された第１サブ評価値Ｓ２０９〜第８サブ評価値Ｓ２１６は、評価値選択セレクタ２１０において、所定のシーケンスに従い、順番に選択され、第１コントラスト評価ライトデータＳ１０８として出力される。この選択の制御は、評価演算タイミング生成回路２０９からのセレクト信号Ｓ２１７により制御される。

図３は、図２における第１コントラスト評価演算サブ回路２０１の概略構成を示す回路図である。

図３において、第１コントラスト評価演算サブ回路２０１は、積分演算回路３０１、積分演算イネーブルセレクタ３０２、積分演算リセット回路３０３、積分演算データバッファ３０４、積分データロードセレクタ３０５、積分結果出力バッファ３０６を備える。

第１コントラスト評価演算サブ回路２０１の動作について詳細に説明する。なお、第２コントラスト評価演算サブ回路２０２〜第８コントラスト評価演算サブ回路２０８については、第１コントラスト評価演算サブ回路２０１と同様の動作を行うことから、それらの説明を省略する。

第１評価演算タイミング信号Ｓ２０１は、積分リセット信号Ｓ３０１、積分イネーブル信号Ｓ３０２、積分データロード信号Ｓ３０３の３信号から成る。そして、積分リセット信号Ｓ３０１がＨｉｇｈにアサートされることで積分演算リセット回路３０３がアクティブとなり、積分データＳ３０４は０値にリセットされる。また、積分イネーブル信号Ｓ３０２がＨｉｇｈにアサートされることにより、積分データＳ３０４と、入力データである絶対値化フィルタ画像処理信号Ｓ２１８の加算結果が、積分データＳ３０４として更新される。また、積分データロード信号Ｓ３０３がＨｉｇｈにアサートされることにより、積分データＳ３０４が積分結果出力バッファ３０６に保持されて、第１サブ評価値Ｓ２０９として出力される。

次に、図２に示す第１コントラスト評価演算部１１２の動作タイミングと、第１コントラスト評価演算部１１２による第１コントラスト評価値データ１１４の生成方法について図４（ａ）、図４（ｂ）および図５を参照して説明する。

図４（ａ）は、第１コントラスト評価演算枠の設定例を示す図である。

図４（ａ）には、Ｌｉｎｅ−１〜１０の１０本の走査線で構成されるフレーム画像において、Ｌｉｎｅ−３〜５の垂直画素位置であって、太線で囲まれた領域すなわち水平方向に８個の領域で第１コントラスト評価演算枠が設定されている様子を示す。図示の水平方向の８個の領域は、図２に示す第１コントラスト評価演算サブ回路２０１〜第８コントラスト評価演算サブ回路２０８の各々に対応する。

図５は、第１コントラスト評価演算部１１２の動作を説明するためのタイミングチャートである。

図５において、同期信号Ｓ１１４は、Ｖ同期信号（ＶＤ）とＨ同期信号（ＨＤ）から成る。図４（ａ）に示す通り、本実施形態におけるフレーム画像は、１０本の走査線で構成されることから、ＶＤ期間に対して１０個のＨＤ期間が存在する。

図示の第１垂直評価期間Ｔ５０１はＬｉｎｅ−３を意味し、第２垂直評価期間Ｔ５０２はＬｉｎｅ−４、第３の垂直評価期間Ｔ５０３はＬｉｎｅ−５の走査タイミングを表す。第１垂直評価期間Ｔ５０１〜第３垂直評価期間Ｔ５０３に対応する第１水平評価期間Ｔ５０４、第２水平評価期間Ｔ５０５、第３水平評価期間Ｔ５０６は、いずれも第１コントラスト評価演算サブ回路２０１がコントラスト評価演算（積分演算）を行う期間である。

積分イネーブル信号Ｓ３０２を、第１水平評価期間Ｔ５０４、第２水平評価期間Ｔ５０５、第３水平評価期間Ｔ５０６の各々においてＨｉｇｈにアサートし、積分リセット信号Ｓ３０１を、各水平走査の先頭タイミングでＨｉｇｈにアサートする。これにより、積分データＳ３０４に対して以下の演算処理が行われる。即ち、積分データＳ３０４は第１垂直評価期間Ｔ５０１（Ｌｉｎｅ−３）の先頭タイミングで０値にリセットされ、第１水平評価期間Ｔ５０４で積分処理が行われる（積分結果Ａ）。

そして、第２垂直評価期間Ｔ５０２（Ｌｉｎｅ−４）の先頭タイミングで０値にリセットされ、第２水平評価期間Ｔ５０５で積分処理が行われる（積分結果Ｂ）。さらに、第３の垂直評価期間Ｔ５０３（Ｌｉｎｅ−５）の先頭タイミングで０値にリセットされ、第３の水平評価期間Ｔ５０６で積分処理が行われる（積分結果Ｃ）。また、積分データロード信号Ｓ３０３を、各水平走査終了のタイミングでＨｉｇｈにアサートすることにより、積分結果Ａ，Ｂ，Ｃは第１サブ評価値Ｓ２０９として保持される。以上が第１コントラスト評価演算サブ回路２０１により得られる第１サブ評価値Ｓ２０９である。

第２コントラスト評価演算サブ回路２０２〜第８コントラスト評価演算サブ回路２０８は不図示だが、第１〜第３水平評価期間Ｔ５０４〜Ｔ５０６と隣接したタイミングで、かつ、各々をずらしながら水平評価期間が設定される。その結果、図５に示す通り、第２サブ評価値Ｓ２１０〜第８サブ評価値Ｓ２１６が得られる。

そして、評価値選択セレクタ２１０に対してセレクト信号Ｓ２１７を、第１サブ評価値Ｓ２０９〜第８のサブ評価値Ｓ２１６の順でセレクトされるように与える。これにより、図５の第１コントラスト評価ライトデータＳ１０８に示すように、第２垂直評価期間Ｔ５０２において、第１垂直評価期間Ｔ５０１にて行われた積分演算の積分結果がＡ，Ｄ，Ｇ，Ｊ，Ｍ，Ｐ，Ｓ，Ｖの順に出力される。また、第３の垂直評価期間Ｔ５０３において、第２垂直評価期間Ｔ５０２にて行われた積分演算の積分結果がＢ，Ｅ，Ｈ，Ｋ，Ｎ，Ｑ，Ｔ，Ｗの順に出力される。さらに、第３の垂直評価期間Ｔ５０３の次の期間において、第３の垂直評価期間Ｔ５０３にて行われた積分演算の積分結果がＣ，Ｆ，Ｉ，Ｌ，Ｏ，Ｒ，Ｕ，Ｘの順に出力される。

上記の動作により、図４（ｂ）に示すように、水平方向に８個、垂直方向に３個の格子状の小領域毎に求めたコントラスト評価値が、第１コントラスト評価値データ１１４として得られる。

次に、図１における第２コントラスト評価演算部１１６が、ＡＦ評価枠設定Ｓ１１０と第１コントラスト評価値データ１１４を用いて、第２コントラスト評価データＳ１１１を生成する方法について図６（ａ）および図６（ｂ）を参照して説明する。

ＡＦ評価枠設定Ｓ１１０は、例えば、図６（ａ）の太線で示すように、Ｌｉｎｅ−４（Ｖ領域２）〜Ｌｉｎｅ−５（Ｖ領域３）およびＨ領域３〜Ｈ領域４で囲まれた領域に設定される（ＡＦ評価領域）。即ち、ＡＦ評価枠設定Ｓ１１０の分解能は小領域単位に設定されており、小領域毎に求めた第１コントラスト評価値データ１１４としては、Ｈ，Ｉ，Ｋ，Ｌが対応している。このような前提から、第２コントラスト評価演算部１１６は、第１コントラスト評価値データ１１４からＨ，Ｉ，Ｋ，Ｌを読み出し、Ｈ＋Ｉ＋Ｋ＋Ｌを演算して、第２コントラスト評価データＳ１１１として出力する。これにより、図６（ｂ）に示すような被写体追尾ＡＦ評価領域に対する積分評価値と等しいコントラスト評価データを得ることができる。

このように、フレーム画像に対して複数の格子状の小領域を設定し、当該小領域毎に第１コントラスト評価値データ１１４（第１のＡＦ評価値）を生成する。これにより、当該フレーム画像内のあらゆる領域（位置、大きさ）に対して、制約のない状態で、主被写体位置に対するＡＦ評価値を得ることができる。

ＡＦ評価枠設定Ｓ１１０は、追尾検出部１０７が検出した主被写体に対する評価枠となっていることから、第２コントラスト評価データＳ１１１は、主被写体を追尾したコントラスト評価値となっている。

次に、第２コントラスト評価データＳ１１１の取得タイミングについて図７を参照して説明する。

本実施形態では、センサー出力信号Ｓ１０１からピント状態を評価して、最終的にフォーカスレンズ１０１を調整するフィードバック制御を行っていることから、そのレイテンシはなるべく小さい方が、ＡＦ制御のレスポンス向上のためには望ましい。

図７において、センサー出力信号Ｓ１０１は、第１フレーム（ＦＲ１）〜第４フレーム（ＦＲ４）として表されている。追尾検出ライトデータＳ１０５は、少なくとも２フレームのセンサー出力信号Ｓ１０１から求められ、追尾検出（ＦＲ２／ＦＲ１）で示した期間で演算される。同様に、追尾検出（ＦＲ３／ＦＲ２）、追尾検出（ＦＲ４／ＦＲ３）で示した期間にも演算される。

上記追尾検出の期間は、主被写体が画面上のどの部分に位置するかにより演算タイミングがずれるので、追尾検出の結果は、図７に示すように、遅くとも追尾結果（ＦＲ２）のタイミングで、追尾検出（ＦＲ２／ＦＲ１）の結果が得られることになる。同様に、遅くとも追尾結果（ＦＲ３）のタイミングで、追尾検出（ＦＲ３／ＦＲ２）の結果が得られる。なお、第１フレーム（ＦＲ１）に対する追尾検出結果は、１フレーム前のセンサー出力信号Ｓ１０１が得られていないため、存在しないものとしている。

第１コントラスト評価ライトデータＳ１０８は、ＡＦ評価（ＦＲ１）、ＡＦ評価（ＦＲ２）、ＡＦ評価（ＦＲ３）、ＡＦ評価（ＦＲ４）の各々の期間で演算される。これら演算期間は、第１コントラスト評価を行う画面領域の位置に応じて変化するが、遅くとも第１コントラスト評価値（ＦＲ１）のタイミングでＡＦ評価（ＦＲ１）の結果が得られることとなる。同様に、図示の第１コントラスト評価値（ＦＲ２）、第１コントラスト評価値（ＦＲ３）というタイミングで結果が得られる。

本実施形態における第１コントラスト評価値（ＦＲ１〜ＦＲ４）の各取得タイミングは、従来技術によるコントラストＡＦ評価値の取得タイミングである。それに対して、第２コントラスト評価データＳ１１１の取得タイミングは、図７に示す演算遅延Ｔ７０１後に、第２コントラスト評価値（ＦＲ２）、第２コントラスト評価値（ＦＲ３）が得られることとなる。この演算遅延Ｔ７０１とは、上述した、第１コントラスト評価値データ１１４からＨ，Ｉ，Ｋ，Ｌを読み出してＨ＋Ｉ＋Ｋ＋Ｌを演算するのに要する時間のことであり、極めて短時間に演算することが十分に可能である。

以上説明したように、上記第１の実施形態によれば、フレーム画像に対して複数の格子状の小領域を設定し、当該小領域毎に中間ＡＦ評価値を生成する一方、追尾検出により得られた主被写体の位置に対応する領域に対してＡＦ評価枠を設定する。そして、設定されたＡＦ評価枠と中間ＡＦ評価値を用いて最終的なＡＦ評価値を生成し、生成された最終的なＡＦ評価値に基づいてフォーカスレンズの位置を調整してＡＦ制御を行う。これにより、主被写体の位置を追尾した状態でのコントラストＡＦ評価値の生成が可能となり、被写体への追尾ＡＦの性能を向上させることが出来る。

［第２の実施形態］
本発明の第２の実施形態に係る撮像装置は、上記第１の実施形態と同一であるため、それらの説明を省略する。以下に、第１の実施形態と異なる点について説明する。

まず、本発明の第２の実施形態における第２コントラスト評価演算部１１６が、ＡＦ評価枠設定Ｓ１１０と第１コントラスト評価値データ１１４を用いて、第２コントラスト評価データＳ１１１を生成する方法について図８（ａ）、図８（ｂ）を参照して説明する。

図８（ａ）において、第１コントラスト評価値データ１１４は、Ｖ領域１〜９、Ｈ領域１〜９の計８１個の矩形小領域毎に生成されている。ＡＦ評価枠設定Ｓ１１０としては、図８（ａ）に示す通り、Ｖ領域３〜５、Ｈ領域４〜７の計１２個の矩形小領域となっている。このとき、第２コントラスト評価演算部１１６は、当該１２個の矩形小領域の各々の第１コントラスト評価値データ１１４、即ち、Ａ〜Ｌの値を用いて、第２コントラスト評価データＳ１１１を下式（１）により算出する。

Ｓ１１１＝（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｆ＋Ｇ＋Ｉ＋Ｊ＋Ｋ＋Ｌ）／１６＋２（Ｅ＋Ｈ）／１６式（１）

つまり、ＡＦ評価枠設定Ｓ１１０の中心位置にあるＶ領域４、Ｈ領域５，６の２個の矩形小領域の第１コントラスト評価値データ１１４、即ちＥ，Ｈに対しては、重み２／１６、他については周辺領域なので重み１／１６で演算する。このように、ＡＦ評価枠設定Ｓ１１０の中心に近い位置の第１コントラスト評価値データ１１４に対して、より大きく重み付けがなされる。

以上説明したように、上記第２実施形態によれば、ＡＦ評価枠設定Ｓ１１０の中心に近い位置の第１のＡＦ評価値を重視するように重み付けがなされる。これにより、精度低下することなく主被写体位置に対するＡＦ評価値が得られ、主被写体への追尾ＡＦの性能を向上させることが出来る。

［第３の実施形態］
図９は、本発明の第３の実施形態に係る撮像装置の概略構成を示すブロック図である。なお、図９に示す撮像装置では、上記第１の実施形態と同一の構成要素および信号については同一符号を振り、その詳細な説明を割愛する。

図９において、撮像装置は、図１の撮像装置に加えて、信頼性演算部９０１、第５メモリインタフェース９０２、信頼性データ９０３を保持するメモリ、第６メモリインタフェース９０４、および信頼性評価部９０５を備える。

信頼性演算部９０１は、フィルタ処理画像信号Ｓ１０７の統計的な傾向を数値化して、第１コントラスト評価ライトデータＳ１０８の信頼性を表す信頼性ライトデータＳ９０１を生成する。信頼性ライトデータＳ９０１は、第５メモリインタフェース９０２を介して、信頼性データ９０３としてＤＲＡＭ等の外部メモリに記憶される。この信頼性データ９０３は、第６メモリインタフェース９０４を介して、信頼性リードデータＳ９０２として、信頼性評価部９０５に読み込まれる。なお、図示しないが、信頼性ライトデータＳ９０１は、第１コントラスト評価ライトデータＳ１０８と略同一のタイミングでＤＲＡＭ等の外部メモリに書き込まれる。そして、信頼性リードデータＳ９０２は、第１コントラスト評価リードデータＳ１０９と略同一のタイミングでＤＲＡＭ等の外部メモリから読み出される。

信頼性評価部９０５は、信頼性ライトデータＳ９０１を参照し、信頼性判定データＳ９０３を生成して、第２コントラスト評価演算部９１６に渡す。第２コントラスト評価演算部９１６は、信頼性判定データＳ９０３と第１コントラスト評価リードデータＳ１０９とＡＦ評価枠設定Ｓ１１０を用いて、第２コントラスト評価データＳ１１１を生成し、マイコン１１７に出力する。このように、第２コントラスト評価演算部９１６は、図１における第２コントラスト評価演算部１１６に対して、信頼性判定データＳ９０３を参照する点が異なる。

上記動作における上記第１の実施形態との差分は、信頼性の高い第１コントラスト評価値データ１１４を用いて第２コントラスト評価データＳ１１１を生成して、フォーカスレンズ駆動指示データＳ１１２が生成される点となる。

図１０は、図９における信頼性演算部９０１の概略構成を示すブロック図である。なお、図示の信頼性演算部９０１に対して、図２の第１コントラスト評価演算部１１２と同一の構成要素および信号については同一符号を振り、その説明を割愛する。

図１０において、信頼性演算部９０１は、第１信頼性演算サブ回路１００１、第２信頼性演算サブ回路１００２、第３信頼性演算サブ回路１００３、第４信頼性演算サブ回路１００４、第５信頼性演算サブ回路１００５を備える。さらに、信頼性演算部９０１は、第６信頼性演算サブ回路１００６、第７信頼性演算サブ回路１００７、第８信頼性演算サブ回路１００８を備える。

図２に示す第１コントラスト評価演算部との差分は、絶対値化フィルタ画像処理信号Ｓ２１８が、第１〜第８信頼性演算サブ回路１００１〜１００８に共通に供給される点である。さらに、第１〜第８信頼性演算サブ回路１００１〜１００８から第１〜第８サブ信頼性Ｓ１００９〜Ｓ１０１７が生成される点である。また、他の構成要素の動作は図２の説明と同じであるが、信頼性演算部９０１からは、信頼性ライトデータＳ９０１が出力される点のみ異なる。

次に、第１信頼性演算サブ回路１００１の動作について図１１を参照して説明する。なお、第２信頼性演算サブ回路１００２〜第８信頼性演算サブ回路１００８については、第１信頼性演算サブ回路１００１と同様の動作を行うことから、それらの説明を省略する。

図１１は、図１０における第１信頼性演算サブ回路１００１の概略構成を示すブロック図である。なお、図示の第１信頼性演算サブ回路１００１に対して、図３の第１コントラスト評価値演算サブ回路と同一の構成要素および信号については同一符号を振り、その説明を割愛する。

第１信頼性演算サブ回路１００１は、積分演算回路１１０１、積分演算イネーブルセレクタ１１０２、積分演算リセット回路１１０３、積分演算データバッファ１１０４、積分データロードセレクタ１１０５、および積分結果出力バッファ１１０６を備える。また、Ｓ１１０４は積分データであり、３０１〜３０６の各構成要素、並びに、Ｓ３０４と同一機能、同一信号を並列に構成したものとなる。

また、第１信頼性演算サブ回路１００１は、信号レベル判定回路１１０７、第１積分演算イネーブルゲート１１０８、第２積分演算イネーブルゲート１１０９を備える。また、Ｓ１１１０は大レベル判定フラグ、Ｓ１１１１は小レベル判定フラグ、Ｓ１１１２は大レベル画素カウントイネーブル信号、Ｓ１１１３は小レベル画素カウントイネーブル信号である。

図３の評価値演算サブ回路構成例との動作上の差異としては、以下の通りである。

信号レベル判定回路１１０７では、絶対値化フィルタ画像処理信号Ｓ２１８の信号レベルが、図示しない所定の閾値以上の場合は、大レベル判定フラグＳ１１１０がＨｉｇｈとなり、かつ、小レベル判定フラグＳ１１１１がＬｏｗとなるようにする。また、絶対値化フィルタ画像処理信号Ｓ２１８の信号レベルが、図示しない所定の閾値未満の場合は、大レベル判定フラグＳ１１１０がＬｏｗとなり、かつ、小レベル判定フラグＳ１１１１がＨｉｇｈとなるように動作する。

従って、第１積分演算イネーブルゲート１１０８は、大レベル判定フラグＳ１１１０がＬｏｗの場合は積分イネーブル信号Ｓ３０２をＬｏｗマスクする。そして、大レベル画素カウントイネーブル信号Ｓ１１１２は積分イネーブル信号Ｓ３０２の如何によらず、Ｌｏｗのままとなる。一方、第２積分演算イネーブルゲート１１０９では、小レベル判定フラグＳ１１１１がＬｏｗの場合に積分イネーブル信号Ｓ３０２がＬｏｗマスクされる。そして、小レベル画素カウントイネーブル信号Ｓ１１１３は積分イネーブル信号Ｓ３０２の如何によらず、Ｌｏｗのままとなる。

上述したように、大レベル判定フラグＳ１１１０と小レベル判定フラグＳ１１１１は、排他的にＨｉｇｈ、Ｌｏｗとなる。そのため、積分イネーブル信号Ｓ３０２がＨｉｇｈの期間において、絶対値化フィルタ画像処理信号Ｓ２１８が所定の閾値以上の場合は、積分演算イネーブルセレクタ３０２のみがＨｉｇｈとなり、積分演算回路３０１において＋１演算される。そして、積分結果出力バッファ３０６には、絶対値化フィルタ画像処理信号Ｓ２１８が所定の閾値以上となる画素数がカウントされる。

また、絶対値化フィルタ画像処理信号Ｓ２１８が所定の閾値未満の場合は、積分演算イネーブルセレクタ１１０２のみがＨｉｇｈとなり、積分演算回路１１０１において＋１演算される。その結果、積分結果出力バッファ１１０６には、絶対値化フィルタ画像処理信号Ｓ２１８が所定の閾値未満となる画素数がカウントされる。

第１サブ信頼性Ｓ１００９は、積分結果出力バッファ３０６と積分結果出力バッファ１１０６の各々のカウント画素数がビット結合されて出力される。なお、第２サブ信頼性Ｓ１０１０〜第８サブ信頼性Ｓ１０１７も第１サブ信頼性Ｓ１００９と同様の動作を行う。

図１２（ｂ）は、上述した第１サブ信頼性Ｓ１００９〜第８サブ信頼性Ｓ１０１６のうち、被写体追尾ＡＦ評価領域内の状態のみを表した図である。なお、被写体追尾ＡＦ領域外については、演算対象外となるので説明を割愛する。

図１２（ｂ）において、０を示している小領域は、絶対値化フィルタ画像処理信号Ｓ２１８が所定の閾値未満となる画素数が、小領域全体画素数に対して、例えば半数以上であった領域を示す。また、１を示している小領域は、絶対値化フィルタ画像処理信号Ｓ２１８が所定の閾値以上となる画素数が、小領域全体画素数に対して、例えば半数以上であった領域を示す。ここで、絶対値化フィルタ画像処理信号Ｓ２１８は、その信号レベルが大きいほど、被写体の合焦度合いを示す所定の周波数成分のエネルギーをよく捉えており、信頼性が高いといえる。逆に、その信号レベルが小さいほど、被写体のコントラストがなく、ノイズのエネルギーが支配的で信頼性が低いといえる。

従って、図１２（ｂ）において、１と示された小領域に対応する第１コントラスト評価値データ、即ち、図１２（ａ）に示すＣ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｊが選択される。そして、図１２（ｃ）に示すように、下式（２）により第２コントラスト評価データＳ１１１を算出することにより、より信頼性の高い第２コントラスト評価データＳ１１１が生成できる。

Ｓ１１１＝（Ｃ＋Ｄ＋Ｅ＋Ｆ＋Ｇ＋Ｈ＋Ｊ）／７（２）
以上説明したように、上記第３の実施形態によれば、フレーム画像に対して複数の格子状の小領域を設定し、当該小領域毎に中間ＡＦ評価値を生成する一方、追尾検出により得られた主被写体の位置に対応する領域に対してＡＦ評価枠を設定する。さらに、フレーム画像に対して設定された小領域の信号レベルから当該小領域の信頼性を判定する。そして、設定されたＡＦ評価枠と中間ＡＦ評価値と当該小領域の信頼性の判定結果を用いて最終的なＡＦ評価値を生成し、生成された最終的なＡＦ評価値に基づいてフォーカスレンズの位置を調整してＡＦ制御を行う。これにより、主被写体への追尾ＡＦの性能を向上させることが出来ると共に、より信頼性の高い主被写体の位置に対するＡＦ評価値を得ることができる。

［第４の実施形態］
図１３は、本発明の第４の実施形態に係る撮像装置の概略構成を示すブロック図である。なお、図１３に示す撮像装置では、上記第１の実施形態と同一の構成要素および信号については同一符号を振り、その詳細な説明を割愛する。

図１３において、撮像装置は、図１の撮像装置に加えて、ズームレンズ１３０１、光学絞り１３０２、およびボケ広がり量推定部１３０３を備える。なお、焦点距離情報Ｓ１３０１、光学絞り情報（Ｆ値）Ｓ１３０２、フォーカスレンズ位置情報Ｓ１３０３、および推定ボケ広がり量Ｓ１３０４の詳細については後述する。

図１４は、図１３の撮像装置におけるフォーカスレンズ位置の時間推移を示す図である。

図１４において、ｔ１４０１はシャッター押し（Ｓ押し）のタイミング、ｔ１４０２はレンズスキャン開始タイミング、ｔ１４０３はレンズスキャン終了タイミング、ｔ１４０４はレンズ停止タイミングである。また、Ｔ１４０１はＳ押し前のコンティニュアスＡＦ期間、Ｐ１４０１はＳ押し時のレンズ位置、Ｐ１４０２はレンズスキャン開始位置、Ｐ１４０３はレンズスキャン終了位置、Ｐ１４０４はレンズ停止位置である。

Ｔ１４０１は、Ｓ押し前のコンティニュアスＡＦ期間である。コンティニュアスＡＦ期間Ｔ１４０１では、マイコン１１７は、第１コントラスト評価リードデータＳ１０９または第２コントラスト評価データＳ１１１、および追尾検出リードデータＳ１０６を用いて、Ｓ押し前でも主被写体に対する追尾ＡＦ動作を行う。ｔ１４０１においてＳ押しされたとき、フォーカスレンズ１０１のレンズ位置はＳ押し時のレンズ位置Ｐ１４０１である。その後、フォーカスレンズ１０１のレンズ位置は、マイコン１１７により、所定のシーケンスで、レンズスキャン開始タイミングｔ１４０２時にレンズスキャン開始位置Ｐ１４０２に移動する。次いで、レンズスキャン終了タイミングｔ１４０３時にレンズスキャン終了位置Ｐ１４０３に移動する。そして、レンズスキャン開始位置Ｐ１４０２からレンズスキャン終了位置Ｐ１４０３の間に得られた第２コントラスト評価データＳ１１１の変化の極大を示すフォーカスレンズ１０１のレンズ位置を求める。そして、レンズ停止タイミングｔ１４０４時にレンズ停止位置Ｐ１４０４にフォーカスレンズ１０１を移動させる。このレンズ停止位置Ｐ１４０４が主被写体に対する合焦位置となる。以上の制御は、既存の静止画撮影時のコントラストＡＦ動作である。

フォーカスレンズ位置情報Ｓ１３０３は、レンズ位置Ｐ１４０１を表す。焦点距離情報Ｓ１３０１はズームレンズ１３０１の状態を表す。光学絞り情報（Ｆ値）Ｓ１３０２は、光学絞り１３０２の状態を表す。

ボケ広がり量推定部１３０３は、フォーカスレンズ位置情報Ｓ１３０３と焦点距離情報Ｓ１３０１と光学絞り情報（Ｆ値）Ｓ１３０２を用いて、ｔ１４０２からｔ１４０３にかけて、推定ボケ広がり量Ｓ１３０４を生成する。

図１５は、主被写体に対するフォーカス状態の変化により生ずる、主被写体のボケ広がりの様子を示す図である。

図１５に示す通り、フォーカスレンズ１０１のボケ状態が大きいほど、主被写体の細かいエッジは結像しなくなり、主被写体全体が広がったボケ像となる。主被写体像の大きさは、大ボケ時は大きく、合焦近傍になるに従って小さくなる。

フォーカスレンズ１０１のレンズ位置をレンズスキャン開始位置Ｐ１４０２からレンズスキャン終了位置Ｐ１４０３へと移動させる間、主被写体像は、図１５に示す大ボケ状態〜合焦状態〜大ボケ状態と変化する。なお、上記大ボケの度合いは、フォーカスレンズ１０１のレンズ位置以外に、ズームレンズ１３０１の焦点距離や光学絞り１３０２の絞り状態（Ｆ値）にも依存する。

ボケ広がり量推定部１３０３による推定ボケ広がり量Ｓ１３０４は、図１５で説明したフォーカスレンズ１０１の位置をレンズスキャン開始位置Ｐ１４０２からレンズスキャン終了位置Ｐ１４０３へと移動させる間の主被写体の大きさの変化度合いを表している。そこで、マイコン１１７は、追尾検出リードデータＳ１０６と推定ボケ広がり量Ｓ１３０４を用い、主被写体の位置と共に、フォーカスレンズの移動（レンズスキャン）に伴う主被写体の大きさ（ボケ広がり度合）を加味したＡＦ評価枠設定Ｓ１１０を生成する。これにより、図１５に示すように、ＡＦ評価枠から被写体エッジが消失した小領域を除外することができ、ＡＦ評価枠の精度を向上させることが可能となる。

以上のように、上記第４実施形態によれば、フォーカスレンズ１０１の位置の移動（レンズスキャン）に伴う主被写体のボケ広がり度合いを加味した第２のＡＦ評価値を生成することできる。これにより、レンズスキャン動作中の主被写体への追尾ＡＦの性能を向上させることが出来る。

上記第１〜第４の実施形態では、説明の簡単化のため、図４（ａ）に示した垂直走査ラインを１０ラインとしたが、どのような垂直走査ライン数であってもよい。また、図４（ｂ）に示したように、得られた第１コントラスト評価値データ１１４を水平方向に８個、垂直方向に３個としたが、これらの数に制約はない。

また、図５において、垂直評価期間Ｔ５０１，Ｔ５０２，Ｔ５０３を、１ライン幅としているが、これについてもライン幅の制約はない。

さらに、図１では、単一の追尾検出部１０７について説明したが、追尾検出の方法自体には種々の公知の技術があり、複数の追尾検出部をもって構成しても、本発明の共通の効果がある。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１１２第１コントラスト評価演算部
１１７マイコン
２０１第１コントラスト評価演算サブ回路
２１０評価値選択セレクタ
３０１積分演算回路

Claims

フォーカスレンズを介して撮像手段の結像面上に結像され、前記撮像手段から出力された出力信号から得られるフレーム画像に複数の格子状の小領域を設定し、前記小領域毎に第１のＡＦ評価値を生成する第１の生成手段と、
前記第１の生成手段による前記第１のＡＦ評価値の生成と並行して前記フレーム画像から被写体の位置を示すデータを生成する被写体追尾手段と、
前記被写体追尾手段により生成されたデータからＡＦ評価枠を設定するＡＦ評価枠設定手段と、
前記ＡＦ評価枠設定手段により設定されたＡＦ評価枠内の複数の前記小領域に対応する前記第１のＡＦ評価値を積分して第２のＡＦ評価値を生成する第２の生成手段と、
前記第２の生成手段により生成された第２のＡＦ評価値に基づいて前記フォーカスレンズの位置を調整してＡＦ制御を行う制御手段とを備えることを特徴とする撮像装置。
前記第２の生成手段は、前記ＡＦ評価枠設定手段により設定されたＡＦ評価枠内の複数の前記小領域のうち、前記ＡＦ評価枠の中心に近い位置の前記小領域に対応する前記第１のＡＦ評価値の重み付けをより大きくして前記第２のＡＦ評価値を生成することを特徴とする請求項１に記載の撮像装置。
前記第１の生成手段により生成された第１のＡＦ評価値の信頼性を判定する信頼性判定手段をさらに備え、
前記第２の生成手段は、前記ＡＦ評価枠設定手段により設定されたＡＦ評価枠内の複数の前記小領域に対応する前記第１のＡＦ評価値のうち、前記信頼性判定手段により信頼性が高いと判定された第１のＡＦ評価値を用いて前記第２のＡＦ評価値を生成することを特徴とする請求項１に記載の撮像装置。
前記フォーカスレンズをスキャン開始位置からスキャン終了位置へ移動させ、前記撮像手段から出力された出力信号から得られるフレーム画像に基づいて静止画撮影のためのコントラストＡＦ動作を行うＡＦ動作手段と、
前記ＡＦ動作手段の動作中に得られる前記フォーカスレンズの位置、絞り値、焦点距離を含む情報を用いて、被写体像のボケ広がり度合いを示すボケ広がり量を生成するボケ広がり量推定手段とをさらに備え、
前記ＡＦ評価枠設定手段は、前記被写体追尾手段により生成されたデータに基づいてＡＦ評価枠を設定する際、前記ボケ広がり量推定手段により生成されたボケ広がり量を加味してＡＦ評価枠を設定することを特徴とする請求項１に記載の撮像装置。
フォーカスレンズを介して撮像手段の結像面上に結像され、前記撮像手段から出力された出力信号から得られるフレーム画像に複数の格子状の小領域を設定し、前記小領域毎に第１のＡＦ評価値を生成する第１の生成工程と、
前記第１の生成工程による前記第１のＡＦ評価値の生成と並行して前記フレーム画像から被写体の位置を示すデータを生成する被写体追尾工程と、
前記被写体追尾工程により生成されたデータからＡＦ評価枠を設定するＡＦ評価枠設定工程と、
前記ＡＦ評価枠設定工程により設定されたＡＦ評価枠内の複数の前記小領域に対応する前記第１のＡＦ評価値を積分して第２のＡＦ評価値を生成する第２の生成工程と、
前記第２の生成工程により生成された第２のＡＦ評価値に基づいて前記フォーカスレンズの位置を調整してＡＦ制御を行う制御工程とを備えることを特徴とする撮像装置の制御方法。