JP6577738B2 - 焦点検出装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像素子で取得された画像信号を用いて被写体までの距離マップを作成する焦点検出装置に関するものである。

従来、撮像した画像を処理して、所望の被写体までの距離に関する情報を取得することができる撮像装置が知られている。この距離に関する情報は、所望の被写体や撮像装置が動くことを想定して随時更新されたり、動きを検出した場合に更新されたりする。このような撮像装置は、例えば自動車等の車両に搭載され、自車両の前方を走行する先行車両等を撮像した画像を処理し、自車両から先行車両等の所望の被写体までの距離を検出する目的で用いられる。

距離に関する情報を良好に取得するためには、画面内の被写体がボケすぎないように深度を深く設定する必要がある。また、より多くの被写体を画面内に収めるためには、画角を広く設定する必要がある（特許文献１）。

また、このような撮像装置では、距離演算のために複数の枠（以下、測距枠）を設定し、各測距枠毎に、測距枠内に撮像される所望の被写体と撮像装置との距離を演算する。この際、より高速な距離に関する情報取得を目的として、測距枠の数を限定して演算負荷を低減することも可能である。

特開２００６−３２２７９５号公報

しかしながら、上述の特許文献１に開示された従来技術では、画面内の被写体全体を所定深度内に収めることができるメリットがある一方、被写界の深度を深くするために絞りを絞り込むことになり、画像が暗くなりやすいという問題がある。画像が暗くなると、距離に関する情報の精度が悪くなる。

また、特許文献１に開示された技術では、多くの被写体を画面内に収めることができるメリットが有る一方、画角を広くとることになるため、距離に関する情報を取得する対象の被写体が小さく撮像されてしまうという問題もある。被写体が小さく撮像されると、撮像素子の解像度が足りなくなり、距離に関する情報の精度が悪くなる。

また、従来の撮像装置では、画面内の複数の測距枠について距離に関する情報を取得するためには、多くの演算が必要であり、被写体の状況が変わった場合などに、距離に関する情報を更新するために時間がかかるという問題もあった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像した画像を処理して動きのある被写体までの距離に関する情報を得る場合に、距離に関する情報の精度を向上させるとともに、距離に関する情報を更新する場合の更新時間を短縮することである。

本発明に係わる焦点検出装置は、撮影光学系により結像された被写体像を光電変換して撮像された画像に対して複数の焦点検出領域を設定する設定手段と、前記複数の焦点検出領域のそれぞれについて、該複数の焦点検出領域のそれぞれに含まれる被写体までの距離に関する情報を検出し、それぞれの被写体の距離に関する情報を表わすマップを生成する生成手段と、前記撮影光学系のズーム位置を調節する調節手段と、前記複数の焦点検出領域のそれぞれに動体が含まれているか否かを検出し、検出された情報を用いて、前記マップの各領域を更新するか否かを判定する判定手段と、を備え、前記生成手段は、前記判定手段によって更新すると判定された領域について前記被写体の距離に関する情報を更新して、前記マップを更新し、前記判定手段は、前記調節手段によって前記撮影光学系のズーム位置が調節されたことに応じて、前記マップの全領域を更新すると判定することを特徴とする。

本発明によれば、撮像した画像を処理して動きのある被写体までの距離に関する情報を得る場合に、距離に関する情報の精度を向上させるとともに、距離に関する情報を更新する場合の更新時間を短縮することが可能となる。

本発明の一実施形態に係わる撮像装置のブロック図。 一実施形態の撮像装置における距離マップ更新のフローチャート。 一実施形態の撮像装置が撮像した画像の一例を示す図。 一実施形態の撮像装置が撮像した画像の一例を示す図。 一実施形態の撮像装置におけるズームの設定のフローチャート。 一実施形態の撮像装置が撮像した画像の一例を示す図。 一実施形態の撮像装置における絞り値の設定のフローチャート。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。本実施形態では、車両に搭載した撮像装置において、画面内に写る被写体までの距離情報（以下、距離マップ）を更新する例について説明する。具体的には、距離演算の精度向上のために、最適なズーム位置や絞り値を選択する方法について説明する。

＜撮像装置の全体概略構成＞
図１は、本発明の撮像装置の一実施形態であるデジタルカメラの構成を示すブロック図である。本実施形態のデジタルカメラはレンズ交換式の一眼レフデジタルカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図の中央の点線で示されるマウントＭを介して、カメラ本体１２０と着脱可能に接続される。

被写体像を結像させるレンズユニット１００は、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」と称する）１０４、及び、後述する制御部を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含み且つ被写体の像を形成する撮影光学系を有する。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸に沿う方向である矢印ＯＡの方向（以下光軸方向と称する）に進退可能に保持される。以下において、光軸方向ＯＡをｚ方向と称することにし、被写体側から撮像装置を見る方向を正方向とする。

絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体として光軸方向ＯＡに進退可能であり、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。

フォーカスレンズ１０４は、光軸方向の進退移動により焦点調節を行う。ここで、本実施形態においてフォーカスレンズ１０４が移動し得る最大範囲の両端のうち、無限側のフォーカスレンズ１０４の位置を無限端、至近側のフォーカスレンズ１０４の位置を至近端と称することにする。

レンズユニット１００の制御部は、駆動部としてズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動部１１４、絞りシャッタ駆動部１１５、フォーカス駆動部１１６を有する。また、駆動部を制御するユニットとして、レンズＭＰＵ１１７、レンズメモリ１１８を有する。

ズームアクチュエータ１１１は、第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに進退駆動し、ズーム操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。フォーカスアクチュエータ１１３は、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行うとともに、フォーカスレンズ１０４の現在位置を検出する位置検出手段としての機能も有している。

ズーム駆動部１１４は、撮影者のズーム操作またはレンズＭＰＵの指示値に応じて、ズームアクチュエータ１１１を駆動する。絞りシャッタ駆動部１１５は、絞りシャッタアクチュエータ１１２を駆動して絞り兼用シャッタ１０２の開口を制御する。フォーカス駆動部１１６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動し、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行う。

レンズＭＰＵ１１７は、撮影光学系に係る全ての演算、制御を行い、ズーム駆動部１１４、絞りシャッタ駆動部１１５、フォーカス駆動部１１６、レンズメモリ１１８を制御する。また、レンズＭＰＵ１１７は、現在のレンズ位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。レンズメモリ１１８は、自動焦点調節に必要な様々な光学情報を記憶する。具体的には、レンズメモリ１１８は例えば、フォーカスレンズ１０４の現在位置と、デフォーカス量の対応関係を記憶する。これによりレンズＭＰＵ１１７は、カメラＭＰＵ１２５からデフォーカス量を所定量だけ変更するように要求された場合に、レンズメモリ１１８に記憶された対応関係を参照し、所定のデフォーカス量に対応する距離だけフォーカスレンズ１０４を駆動するよう、フォーカスアクチュエータ１１３を制御することが可能である。

カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、後述する制御部を有する。光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。

撮像素子１２２は、Ｃ−ＭＯＳセンサとその周辺回路で構成され、Ｃ−ＭＯＳセンサは横方向にｍ画素、縦方向にｎ画素の受光ピクセルのそれぞれに１つの光電変換素子が配置された画素配列を有する。本実施形態ではｍはｎより大きいものとする。この場合撮像素子１２２の横方向が長辺となるが、この例に限る必要はなく、ｎがｍより大きくてもよいし、等しくてもよい。

撮像素子１２２は、画素配列の各画素の独立な出力が可能なように構成されている。より具体的には、撮像素子１２２の画素配列は、被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各々が受光して被写体の像を生成する複数の撮像用画素を有する。また、画素配列は、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する複数の焦点検出用画素を更に有する。複数の焦点検出用画素は全体として撮影光学系の射出瞳の全域を通る光束を受光することができ、１つの撮像用画素に対応する。例えば、画素配列において、２行×２列の画素のうち、対角に配置される一対のＧ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換える。

カメラ本体１２０の制御部は、撮像素子駆動部１２３、画像処理部１２４、カメラ本体１２０全体を制御するカメラＭＰＵ１２５、表示部１２６、操作スイッチ群１２７、メモリ１２８、焦点検出部１２９を有する。撮像素子駆動部１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理部１２４は、撮像素子１２２が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮などを行う。

カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る全ての演算、制御を行う。これにより、撮像素子駆動部１２３、画像処理部１２４、表示部１２６、操作スイッチ群１２７、メモリ１２８、焦点検出部１２９を制御する。カメラＭＰＵ１２５はマウントＭに配置された信号線を介してレンズＭＰＵ１１７と接続されている。これにより、レンズＭＰＵ１１７に対して、レンズ位置を取得する要求を発行したり、所定の駆動量でのズーム駆動や絞りシャッタ駆動やレンズ駆動の要求を発行したり、レンズユニット１００に固有の光学情報を取得する要求を発行したりする。

カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。更に、カメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納したプログラムをロードして実行することで焦点検出処理を実行する。焦点検出処理の詳細は後述する。

表示部１２６はＬＣＤなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。また、撮影中の動画像を逐次表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。本実施形態のメモリ１２８は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。また、レリーズスイッチは撮影動作に先立って行われるＡＥ処理、ＡＦ動作を開始させる指示信号を発生する第１ストローク（以下ＳＷ１）と実際の露光動作を開始させる指示信号を発生する第２ストローク（以下ＳＷ２）との二段スイッチにより構成される。

焦点検出部１２９は、画像処理部１２４にて得られた画像情報から算出されるボケ評価値に基づいた焦点検出方式により焦点検出を行う。具体的には、焦点検出方式はＤＦＤ方式ＡＦであり、所定のデフォーカス量だけ異なる２つの画像に対して演算処理を行うことでボケ評価値を算出する。なお、本実施形態におけるボケ評価値とは撮像画像のボケ状態を示す値であり、撮影光学系の点像強度分布関数の分散と相関をもつ値である。ここで、点像強度分布関数とは点像がレンズを通過したあとの広がり具合の関数のことである。一方、撮影光学系の点像強度分布関数の分散は、デフォーカス量とも相関がある。以上のことから、ボケ評価値とデフォーカス量の間には相関関係があることがわかる。この相関関係をボケ評価値・デフォーカス量相関と称するものとする。

焦点検出部１２９が行うＤＦＤ（Depth From Defocus）方式ＡＦ（オートフォーカス）に用いる所定のデフォーカス量だけ異なる２つの画像を得るには、撮像画像のボケ状態に影響を与える、フォーカスレンズの位置、絞り量、焦点距離などの撮影パラメータをカメラＭＰＵ１２５の制御で変更して撮影を行う。撮影パラメータの変更は、１つ以上のパラメータの変更であれば、どれを変更してもよい。本実施形態では、フォーカスレンズの位置を変更することで、所定のデフォーカス量だけ異なる２つの画像を得る場合について説明する。

動体検出部１３０は、画像処理部１２４にて得られた画像情報に対して信号処理を行い、動体があるか否かを判定したり、検出された動体の状況を判定したりする。また、動体の検出を目的としてジャイロセンサを搭載してもよい。これによりカメラ自身の動きを検出することができ、画像の動きからカメラ自身の動きを差し引くことにより、被写体の動きを検出することができる。また、本実施形態のように車両にカメラを搭載する場合はカメラにジャイロセンサを持たせず、車両の機能の一つとして既に搭載されているジャイロセンサの検出結果を利用してもよい。

＜距離マップの更新＞
図２は、本実施形態の撮像装置の距離マップの更新を示すフローチャートである。この動作に関する制御プログラムは、カメラＭＰＵ１２５によって実行される。なお、図２において、「Ｓ」はステップの略である。

Ｓ２００で距離マップの更新を開始すると、Ｓ２０１でカメラＭＰＵ１２５はカメラに撮影動作を開始させ、カメラＭＰＵ１２５に含まれる動体検出部１３０が、撮像画像である動画の連続するフレームに対して動体検出処理を行う。ここで撮影動作とは、撮像素子１２２へ露光を行い、撮像画像の各フレームをＲＡＭ１２５ｂに蓄積する動作を指す。また、撮影された動画像は、逐次表示部１２６に表示される。また、前提として本ステップを行う前に既に、少なくとも１つの撮像画像（動画の１フレーム）がＲＡＭ１２５ｂに蓄積済みとする。以下において、少なくとも１つの蓄積済み撮像画像のうち、撮像時刻が最新の画像を旧撮像画像と称する。更に前提として、この旧撮像画像に対応する距離マップは、カメラＭＰＵ１２５に含まれる距離マップ取得部１３１によって作成済みとし、以下において旧距離マップと称する。また、後述の距離情報の更新処理（Ｓ２１０）で作成される距離マップを、以下において新距離マップと称する。この旧距離マップ、新距離マップは共に、ＲＡＭ１２５ｂに記憶される。

動体検出処理とは、例えば、旧撮像画像とＳ２０１の撮像画像を比較してテンプレートマッチングを行うことによって、動体を検出する処理を指す。なお、この動体検出処理方法はテンプレートマッチングに限る必要はなく、動体があるか否かを検出することができるならば手法は問わない。ジャイロセンサの検出結果、オプティカルフロー、被写体の色などの他の情報を用いてもよいし、これらの手法を併用してもよい。

本実施形態では前提として、焦点深度が浅く被写体がボケている状態でも、Ｓ２０１で選ぶ手法により動体検出が可能である場合について説明する。動体があるにも関わらず被写体がボケすぎて動体の検出ができない場合に備えて、Ｓ２０１が所定時間以上繰り返されたとき、ズームや絞り値の設定を変更するステップを加えてもよい。例えば、Ｓ２０１が所定時間以上繰り返された場合には動体検出処理中のズームは画角を広く設定し、絞り値は大きくして深度を深く設定するなど、動体の検出がしやすい設定にしてもよい。

次に、Ｓ２０２でＳ２０１の処理において動体が検出されたか否かを判定し、動体が検出された場合はＳ２０３へ進み（Ｓ２０２のＹｅｓ）、動体が検出されない場合はＳ２０１へ戻り、動体検出処理を繰り返す（Ｓ２０２のＮｏ）。動体が検出された場合に、Ｓ２０３において、カメラＭＰＵ１２５に含まれる動体検出部１３０は、検出された動体の状況を詳細に判定する。動体の状況の判定とは、画面内に含まれる動体の個数、各動体のサイズ、各動体の画面内移動方向、各動体のｘ方向の画面内移動速度、各動体のｙ方向の画面内移動速度、等の動体の動きに関する情報を取得することを指す。なお、動体の状況は、旧撮像画像と新たに撮影されたフレームの画像を比較することにより検出される。

ここでｘ方向とｙ方向の定義について、図３を参照して説明する。図３は、本実施形態の撮像装置の撮影シーンの例を示す図である。本実施形態におけるｘ方向とは、ｚ方向と撮像素子１２２の長辺とが共に地面に平行となるように撮像装置を設置したとき、ｚ方向に直交し、かつ水平方向に伸びる直線に沿った方向とする。本実施形態におけるｙ方向とは、ｚ方向とｘ方向それぞれに直行する方向、具体的には鉛直方向とする。図３に示すように、本実施形態においては説明を分かりやすくするため、ｘ方向は撮影画像の右方向を正とし、ｙ方向は撮影画面の上方向を正とし、ｘ軸とｙ軸の交点は画面の中央位置であり、原点０と定義する。また本実施形態では、前述した動体の動きに関する情報が得られる前提で説明を行うが、Ｓ２０１で選ぶ手法の演算精度や撮像装置の構成によっては、情報が得られないことがある。その場合は、得られた情報のみをもとに、後述のズームの設定や絞りの設定を行えばよい。

次にカメラＭＰＵ１２５は、Ｓ２０４において、Ｓ２０３で判定された動体の状況に応じてレンズＭＰＵ１１７に対して所定の駆動量でのズーム駆動要求を発行する。このズーム設定方法の詳細は後述する。次にカメラＭＰＵ１２５は、Ｓ２０５において、Ｓ２０３で判定された動体の状況に応じて、レンズＭＰＵ１１７に対して所定の駆動量での絞りシャッタ駆動要求を発行する。この絞り値設定方法の詳細は後述する。なお、動画の撮影中にレンズユニット１００にズーム駆動及び絞りの駆動を行わせると、その動作が表示部１２６に表示されている画像に表れてしまう。レンズユニット１００のズーム駆動及び絞り駆動は、単純に距離マップを取得するために必要とされる動作であり、ユーザに見える必要がない。そのため、カメラＭＰＵ１２５は、レンズユニット１００にズーム駆動及び絞り駆動を行わせる前に、表示部１２６にその直前の画像をフリーズ表示させるようにする。これにより、ユーザにズーム駆動及び絞り駆動の様子が見えないようにすることができる。

次に、カメラＭＰＵ１２５は、Ｓ２０６において、前述のＳ２０４のズーム設定でズームが変更されたか否かを判定する。詳細は後述するが、Ｓ２０４ではズームを変更しない可能性があるため、Ｓ２０６の判定が必要となる。Ｓ２０４でズームが変更された場合（Ｓ２０６のＹｅｓ）はＳ２０７へ進み、変更されていない場合（Ｓ２０６のＮｏ）はＳ２０８へ進む。

次にカメラＭＰＵ１２５に含まれる焦点検出部１２９は、Ｓ２０７において、Ｓ２０４でズームが変更された場合（Ｓ２０６のＹｅｓ）に、全ての焦点検出枠を焦点検出実行枠に設定する。

ここで本実施形態における焦点検出枠（焦点検出領域）と焦点検出実行枠の定義について前述の図３を用いて説明する。まず焦点検出枠は、図３に二重線で示す焦点検出枠３０２のように、撮影画像３０１に対して配置される枠で、後述のＳ２０９にて行う距離演算の演算対象となる範囲を示す枠である。焦点検出実行枠とは、後述の距離演算を実際に実行する焦点検出枠のことを指す。

また、図３ではｘ方向に１２枠、ｙ方向に８枠、合計９６枠の焦点検出枠を設置した例を示したが、これより多くても少なくてもよい。多くすれば演算精度は向上するが演算時間がかかり、一方、枠の数を少なくすると演算時間は速くなるが粗くなって演算精度が落ちる。そのため、適切な枠の数を設定すればよい。また、各焦点検出枠の重心位置の配置位置は、上下左右合わせなくてもよいし、枠の形は正方形である必要はない。

また、図３では、焦点検出枠３０２同士の間隔が空いている例を示したが、焦点検出枠を大きくして間隔を無くしてもよいし、更に大きくして焦点検出枠同士が重なるように配置してもよい。焦点検出枠を小さくすると演算時間が速くなるが画像情報が減って精度が低下し、一方、焦点検出枠を大きくすると演算に用いる画像情報が増えて精度は向上するが演算時間がかかる他、大きすぎると遠近競合を起こして精度が低下することもある。以上をふまえて、適切な焦点検出枠サイズを設定すればよい。以下においては説明を分かりやすくするため、焦点検出枠は隣接しており、サイズも全て等しい前提で説明する。

Ｓ２０７で、全ての焦点検出枠を焦点検出実行枠に設定する理由について、図４を用いて説明する。図４（ａ）はズーム変更前の撮影シーンを示す図で、図４（ｂ）はズーム変更後の撮影シーンを示す図であり、画角は（ａ）よりも狭い。また、図４（ｂ）の方が、撮影時刻は新しいとする。

図４（ａ）と図４（ｂ）には共通の被写体が写っており、被写体４１ａはズーム変更後、拡大されて被写体４１ｂのように大きく撮像される。撮影シーン（ａ）（ｂ）の中で、被写体４１ａだけが動いていると検出されているものとする。また、焦点検出枠４０ａは、ズーム変更後拡大されて、焦点検出枠４０１ｂ，４０２ｂ，４０３ｂ，４０４ｂを足し合わせた領域に拡大される。つまり、所望の被写体である４１ａに対応する焦点検出枠の数は、図４（ａ）では１枠だったが、ズーム変更することで、図４（ｂ）では４枠に増えている。これにより、本実施形態の目的である距離演算の精度向上が実現されるが、詳細は後述する。

同様に、他の焦点検出枠についてもズーム変更により、図４（ａ）に示す斜線部は、図４（ｂ）に示す斜線部となって拡大されるので、精度良く距離演算を実行することが可能である。この精度の良い距離演算結果を、後述のＳ２１０で行う距離マップの更新に用いたいので、本ステップのようにズーム変更があった場合には、全ての焦点検出枠を、焦点検出実行枠に設定する必要がある。また、図４の例のように画角を狭めるズームだけでなく、画角を広げるズームを行った場合でも、距離マップを取得する画像の画角が変更されてしまうので、画面全体について距離マップを更新する必要があり、全ての焦点検出枠を、焦点検出実行枠に設定する。

一方、カメラＭＰＵ１２５に含まれる焦点検出部１２９は、Ｓ２０４でズームが変更されなかった場合（Ｓ２０６のＮｏ）には、Ｓ２０８において、Ｓ２０３で判定された動体状況に応じて、焦点検出実行枠を設定する。具体的には、動体を一部でも含む焦点検出枠は、焦点検出実行枠とする。すなわち、動体を含む部分だけについて焦点検出を再実行することにより、動体を含む部分についてだけ距離マップを更新する。これにより、演算負荷が低減されて距離マップの更新を素早く行うことができる。なお、Ｓ２０１で動体が検出されてからＳ２０８までの時間を考慮して、動体の移動速度の正方向に余分に焦点検出実行枠を設定してもよい。

なお本実施形態では、全ての焦点検出枠を焦点検出実行枠に設定するか（Ｓ２０７）、一部の枠に設定するか（Ｓ２０８）、焦点検出実行枠の設定方法を分けて説明したが、ズーム変更の有無に依らず、全ての焦点検出枠を焦点検出実行枠に設定してもよい。

次にカメラＭＰＵ１２５に含まれる焦点検出部１２９は、Ｓ２０９において、ＤＦＤによる焦点検出を行う。本ステップでは、Ｓ２０７またはＳ２０８で設定した焦点検出実行枠それぞれで焦点検出を行い、各焦点検出実行枠内に含まれる各被写体の距離情報を得ることができる。

ＤＦＤによる焦点検出ではまず、フォーカスレンズの位置を変更して所定のデフォーカス量だけ異なる２つの画像を取得し、それらの画像からボケ評価値を算出する。この２つの画像を得る場合、フォーカスレンズの位置を移動させるのに数フレームの時間がかかるため、数フレーム離れた２つの画像を用いることとなる。また、このときフォーカスレンズをずらしてぼかした画像は、ユーザにとって見る必要のない画像であるので、表示部１２６には、フォーカスレンズをずらす直前の画像がフリーズ表示される。その後、得られたボケ評価値を前述のボケ評価値・デフォーカス量相関を参照することにより、デフォーカス量に変換し、このデフォーカス量から距離情報を得る。ただし、この相関関係はテーブルとしてＲＡＭ１２５ｂに記憶されているものとする。

このようなＤＦＤによる焦点検出処理は、より具体的には、特開２００６−３８０３号公報に開示された手法を用いて行っても良いし、その他の手法であってもかまわない。また、ステップＳ２０９で行う焦点検出は、ＤＦＤ以外の方法を用いてもよい。例えば、撮像面で位相差ＡＦ検出方式の焦点検出処理（以下、撮像面位相差方式ＡＦ）を行ってもよい。ただし、このような撮像面位相差方式ＡＦを行うには、撮像素子１２２は、被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各々が受光して被写体の像を生成する複数の撮像用画素を有する必要がある。更に、撮像素子１２２は、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する複数の焦点検出用画素を更に有する必要がある。また、カメラＭＰＵ１２５に含まれる焦点検出部１２９は、撮影光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差方式ＡＦを行い、距離情報を得る。撮像面位相差方式ＡＦの原理は、特開２００９−００３１２２号公報の図５〜図７、図１６などにおいて説明されているものと同様である。

次に、カメラＭＰＵ１２５に含まれる距離マップ取得部１３１は、Ｓ２１０において、距離マップの更新処理を行う。具体的に更新処理とは、ＲＡＭ１２５ｂが記憶する旧距離マップの距離情報の全部または一部を、新しい距離情報に置き換えて、ＲＡＭ１２５ｂに新距離マップとして記憶することを指す。ＲＡＭ１２５ｂは、旧距離マップと新距離マップを別々に記憶してもよいし、ＲＡＭ１２５ｂの容量削減のために旧距離マップに対して新距離マップを上書きしてもよい。本実施形態では上書きするものとする。

本実施形態においてＲＡＭ１２５ｂは、旧距離マップ、新距離マップ共に、距離マップ枠１つを距離情報の１単位として記憶する。距離マップ枠とは、例えば、図３の３０３に一点鎖線で示すような枠である。図３では、距離マップ枠３０３のサイズよりも焦点検出枠３０２のサイズの方が小さい例を挙げたが、両者はサイズが一致していても、大小関係が反転していても、枠の重心位置がずれていてもよい。焦点検出枠３０２と、距離マップ枠３０３の重心位置が異なる場合は、Ｓ２０９で演算された距離情報を距離マップ枠に反映する際に、距離マップ枠のサイズに合うように演算結果を重みづけ加算すればよい。以下においては説明を分かりやすくするために、焦点検出枠と距離マップ枠、各枠のサイズや、各枠の重心位置が一致している前提で説明する。

ここで、距離マップの更新処理の例を、図３を用いて説明する。例えば撮影画像３０１の中で、被写体３０４だけが動体であると前述のＳ２０１で判定された場合、被写体３０４に係わる４つの焦点検出枠が選択されて、距離情報が演算される。つまり、カメラＭＰＵ１２５に含まれる距離マップ取得部１３１は、ＲＡＭ１２５ｂに記憶された旧距離マップに対して、この４つの焦点検出枠に対応する４つの距離マップ枠の情報だけ上書きして新距離マップを作成し、更新処理を終える。

ただし、距離マップの更新において注意すべき点は、ズーム変更により画角変化があった場合である。本実施形態では画角変化があった場合も、距離マップ枠３０３の個数やサイズに変更はないものとし、最も広角な画角の撮影画像に対して、距離マップ枠３０３を設定する。なお、最も広角な画角でなくとも、シーンに応じて、距離マップを作成する画角を変更してもよい。

ここで、ズームして画角が狭くなっている状態で、Ｓ２０９において演算された距離情報を旧距離マップに反映して更新する場合について、前述の図４を用いて説明する。図４に２重線で示すような枠が、全て距離マップ枠である。なお、図４では、ｘ方向に１２枠、ｙ方向に８枠、合計９６枠の距離マップ枠を設置した例を示したが、これより多くても少なくてもよい。また図４（ａ）は、最も広角な画角で撮影されたとする。

前述のように、図４（ａ）からズーム変更後、図４（ｂ）になると拡大されて大きく撮像される。図４（ａ）に示す斜線部は、図４（ｂ）に示す斜線部に対応している。そこで、図４（ｂ）の斜線部の演算結果に対して、図４（ａ）の斜線部が示す距離マップ枠のサイズに合うように、重みづけ加算を行ってから、各距離マップ枠の情報を更新すればよい。

距離マップの更新処理を終えると、フローはＳ２１１へと進み、距離マップの更新処理を終える。距離マップの更新処理は繰り返し行うため、新距離マップは繰り返し動作後、旧距離マップとなる。

＜ズームの設定＞
図５は、本実施形態の撮像装置のズームの設定を示すフローチャートである。この動作に関する制御プログラムは、カメラＭＰＵ１２５によって実行される。なお、図５において、「Ｓ」はステップの略である。

Ｓ５００においてズームの設定が開始されると、カメラＭＰＵ１２５は、Ｓ５０１において、画面内に含まれる動体のサイズが、第１の閾値以下のみか否かを判定する。ここで、本実施形態では、動体のサイズに関して２つの閾値、つまり第１の閾値と第２の閾値を設けている。第１の閾値のほうが、第２の閾値よりも大きいものとする。本実施形態においてズームを変更するのは、距離情報を取得する対象の被写体が小さく撮像されると撮像素子の解像度が足りなくなり距離情報の精度が悪くなる可能性があるので、被写体を拡大して距離情報の精度を向上させるためである。

そこで、第２の閾値よりもサイズが小さい被写体は、距離情報の精度が十分でない被写体であると考える。逆に、第２の閾値以上のサイズの被写体は、画角を変更せずとも距離情報の精度が十分であると考える。また、第１の閾値よりもサイズが大きい被写体は、画面の中で多くの割合を占めすぎているため、より広角側に変更して、その被写体の全体を収めることが必要である。

そこでＳ５０１では、画面内に含まれる動体のサイズが、第１の閾値以下の動体のみであった場合はＳ５０２へ進む（Ｓ５０１のＹｅｓ）。また、サイズが第１の閾値より大きい動体を１つ以上含む場合は、Ｓ５１０へ進み（Ｓ５０１のＮｏ）、画角を最大画角に設定する（Ｓ５１０）。なお、必ずしも最大画角にする必要はなく、より広角に撮影できればよい。

次に、カメラＭＰＵ１２５は、Ｓ５０７において、Ｓ５１０で設定した画角に対応する駆動量でのズーム駆動要求を、レンズＭＰＵ１１７に対して発行して、ズームの設定動作を終了する（Ｓ５１１）。

Ｓ５０２では、カメラＭＰＵ１２５は、画面内に含まれる動体のサイズが第１の閾値以下のみの場合に（Ｓ５０１のＹｅｓ）、更に、第２の閾値以上の動体が１つ以上あるか否かを判定する（Ｓ５０２）。サイズが、第１の閾値以下且つ第２の閾値以上の動体が１つ以上画面内にある場合はＳ５０３へ進み（Ｓ５０２のＹｅｓ）、サイズが第２の閾値よりも小さい動体のみ、画面内にある場合はＳ５０８へと進む（Ｓ５０２のＮｏ）。

Ｓ５０８では、カメラＭＰＵ１２５は、サイズが第２の閾値よりも小さい動体のみが画面内に在る場合（Ｓ５０２のＮｏ）に、更に画面内の全ての動体が、光軸方向（以下、ｚ方向）のみに移動しているか否かを判定する。ｚ方向のみに移動している場合はＳ５０９へ進み（Ｓ５０８のＹｅｓ）、ｚ方向以外、すなわちｘ方向やｙ方向の移動も含む場合はＳ５０６へ進む（Ｓ５０８のＮｏ）。

Ｓ５０９では、カメラＭＰＵ１２５は、画面内の第２の閾値よりも小さいサイズの動体がｚ方向のみに移動している場合に（Ｓ５０８のＹｅｓ）、動体サイズに応じて、画面内に全ての動体が収まる最小の画角（望遠側）を設定する。その例を、図６（ａ）、（ｂ）を用いて説明する。

図６（ａ）はズーム変更前の撮影シーンを示す図で、図６（ｂ）はズーム変更後の撮影シーン示す図であり、画角は（ａ）よりも狭い。また、図６（ｂ）の方が、撮影時刻は新しいとする。図６（ａ）と図６（ｂ）には共通の被写体が写っており、被写体６０ａ、６１ａはズーム変更後、拡大されて被写体６０ｂ、６１ｂのように大きく撮像される。撮影シーン（ａ）、（ｂ）の中で、被写体６０ａ、６１ａだけが動いていると検出されているものとする。また図６（ａ）に示す斜線部は、ズーム変更により図６（ｂ）に示す斜線部となって拡大される。

ステップＳ５０９における画面内に全ての動体が収まる最小の画角とは、例えば図６（ｂ）のような状態を指す。画面内の２つの被写体のうち、より原点から遠い位置にある被写体６１ａが、焦点検出枠が配置されている範囲内に必ず収まるように画角を設定する。３つ以上の動体が画面内にある場合も同様に、最も原点から遠い位置の動体が、焦点検出枠が配置されている範囲内に収まるように画角を設定する。

Ｓ５０６では、カメラＭＰＵ１２５は、画面内の第２の閾値よりも小さいサイズの動体がｘ方向またはｙ方向に移動している場合に（Ｓ５０８のＮｏ）、動体サイズとその画面内での移動速度に応じて、画面内に全ての動体が収まる最小の画角を設定する。その例を、前述の図６（ａ）、（ｂ）を用いて説明する。

例えば、図６（ａ）の被写体６１ａが、ｘ軸の正方向に向かってある速度で動いている場合は、ズーム駆動を行ったあとに、図６（ｂ）の被写体６１ｂの位置よりも右側に位置することになる。すると、所定速度よりも速い場合は、図６（ｂ）の焦点検出範囲に収まらない可能性がある。そこで、本ステップでは、図６（ｂ）の画角よりも広く、画角を設定する。この処理は、画面外に被写体が移動してしまい、写らなくなって距離情報を得られなくなることを防ぐことが目的である。

また、この画角の選び方は、動体のｘ方向、ｙ方向、それぞれの速度に対して閾値を設け、各速度ごとに画角の設定を行えばよい。動体の速度が速いほど、画角は広く設定される。また、画面内の全ての動体の移動方向が、原点に向かう方向であった場合は、前述のＳ５０９のように画面内に全ての動体が収まる最小の画角を設定すればよい。ただし、原点に向かう方向であっても、動体の速度が所定の速度以上である場合は、原点を通り越して反対側に被写体が動いて写らなくなる可能性があるので、画角を広くする必要がある。以上のように、ステップＳ５０６により設定する画角は、前述のＳ５０９で設定した画角と同等か、ｘ方向とｙ方向の動体移動速度に依っては画角が広くなることになる。

Ｓ５０６またはＳ５０９を終了すると、前述のＳ５０７へ進む。そして、カメラＭＰＵ１２５は、Ｓ５０６またはＳ５０９で設定した画角に対応する駆動量でのズーム駆動要求を、レンズＭＰＵ１１７に対して発行して、ズームの設定動作を終了する（Ｓ５１１）。

Ｓ５０３では、カメラＭＰＵ１２５は、サイズが第２の閾値以上第１の閾値以下の動体が画面内に在る場合（Ｓ５０２のＹｅｓ）に、更に画面内の全ての動体が、光軸方向（以下、ｚ方向）のみに移動しているか否かを判定する。ｚ方向のみに移動している場合はＳ５０４へ進み（Ｓ５０３のＹｅｓ）、ｚ方向以外、すなわちｘ方向やｙ方向の移動も含む場合は前述のＳ５０６へ進む（Ｓ５０３のＮｏ）。

Ｓ５０４では、画角変更を行わない。その理由は、ステップＳ５０４では、サイズが第２の閾値以上第１の閾値以下の動体を含んでいるためである。サイズが第２の閾値以上第１の閾値以下の動体は、既に距離情報の精度が十分であるため、ズームを変更する必要がない。また、既に精度が十分である動体を拡大しすぎると、サイズが第１の閾値を超えてしまう可能性もあるためである。

ただし、Ｓ５０４では、サイズが第２の閾値以上第１の閾値以下の動体と同時に、第２の閾値よりも小さい動体も含んでいる可能性がある。Ｓ５０４のように画角を変更しない場合は、第２の閾値よりも小さい動体の距離情報の精度は悪いままとなってしまう。本実施形態では、第２の閾値以上第１の閾値以下の動体の精度をとり、拡大しすぎないことを優先したが、第２の閾値よりも小さい動体の精度向上を優先してもよい。

Ｓ５０５では、カメラＭＰＵ１２５は、現在の画角のままズーム駆動を行わないという要求をレンズＭＰＵ１１７に対して発行して、ズームの設定動作を終了する（Ｓ５１１）。

＜絞り値の設定＞
図７は、本実施形態の撮像装置の絞り値の設定を示すフローチャートである。この動作に関する制御プログラムは、カメラＭＰＵ１２５によって実行される。なお、図７において、「Ｓ」はステップの略である。

Ｓ７００で絞り値の設定が開始されると、カメラＭＰＵ１２５は、Ｓ７０１において、露出の測定を行う。Ｓ７０１により、露出すなわちＥｖ値を得る。言い換えれば適正露出か、露出アンダーか、露出オーバーか、およびその程度が判る。また、Ｓ７０１において露出を測定する際の、Ｔｖ値（シャッタ速度値）、Ａｖ値（絞り値）、Ｓｖ値（感度値）といった測定条件は、本実施形態では、前回の撮影と同じ設定で行うものとするが、所定の条件を指定してもよい。Ｓ７０１を終えると、Ｓ７０２に進む。

Ｓ７０２では、カメラＭＰＵ１２５は、所定の個数以上の動体が画面内に含まれるか否かを判定する。動体が所定の個数以上含まれる場合はＳ７０３へ進み（Ｓ７０２のＹｅｓ）、動体が所定個数よりも少ない場合はＳ７０５へ進む。

Ｓ７０３では、所望のＥｖ値（露出値）が得られる最大のＡｖ値（絞り値）を設定する。すなわち絞りの開口を小さくする。Ｓ７０３では所定の個数以上の動体が画面内にあるため、Ａｖ値を小さくして深度が浅くなってしまうと、動体がボケてしまい動体検出ができない可能性がある。そこで、Ｓ７０３では深度を深くするためにＡｖ値を大きく（開口を小さく）設定する。

ここで注意すべき点は、Ａｖ値（絞り値）には、設定可能な最大値が決まっていることである。撮像装置の構成要素である絞り兼用シャッタ１０２の開口径は所定の量以上小さくすることができない。同様に、撮像装置の構成が要因で、Ｔｖ値（シャッタ速度値）には設定可能な最小値（最小露光時間）があり、Ｓｖ値（感度値）には設定可能な最大値がある。そこで、最小Ｔｖ値や最大Ｓｖ値を超えず、且つ所望のＥｖ値を得るために、Ａｖ値を大きくしすぎないように設定する。

Ｓ７０３を終えると、カメラＭＰＵ１２５は、Ｓ７０４において、Ａｖ値に対応する絞り値を設定し、絞り値の設定を終える（Ｓ７０６）。

Ｓ７０５では、所望のＥｖ値が得られる最小のＡｖ値を設定する。Ｓ７０５では画面内の動体の個数は所定の個数未満のため、Ａｖ値を小さくして（開口を大きくして）深度を浅くしても、多くの動体に対して動体検出が可能である。Ａｖ値を小さくすると、暗いシーンでも画像を明るく撮影することが可能となるので、本ステップではＡｖ値を小さく設定する。

ここで注意すべき点は、Ａｖ値には、設定可能な最小値が決まっていることである。撮像装置の構成要素である絞り兼用シャッタ１０２の開口径は所定の量以上大きくすることができない。同様に、撮像装置の構成が要因で、Ｔｖ値には設定可能な最大値があり、Ｓｖ値には設定可能な最小値がある。そこで、最大Ｔｖ値や最小Ｓｖ値を超えず、且つ所望のＥｖ値を得るために、Ａｖ値を小さくしすぎないように設定する。

例えば、雪景色など非常に明るいシーンを撮影するときに、最大のＴｖ値や最小のＳｖを設定した上で、開放絞りとなるＡｖ値を設定してしまうと、Ｅｖ値が大きくなりすぎて白飛びが発生し、距離情報の演算精度が落ちる場合がある。これを防ぐために、所望のＥｖ値が得られる最小のＡｖ値を選ぶようにする。

Ｓ７０５を終えると、カメラＭＰＵ１２５は、Ｓ７０４において、Ａｖ値に対応する絞り値を設定し、絞り値の設定を終える（Ｓ７０６）
このように、撮像した画像を処理して、先行車両等の動きのある被写体までの距離情報を更新する場合に、動体状況によって深度や画角を最適化することによって、距離情報の精度を向上することが可能である。

なお、上述の実施形態では、被写体までの距離に関する情報として、デフォーカス量から距離情報を得ることとしたが、デフォーカス量そのものを記憶して、距離マップの代わりにデフォーカス量のマップを作成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：レンズユニット、１２０：カメラ本体、１０１：第１レンズ群、１０２：絞り兼用シャッタ、１０３：第２レンズ群、１０４：フォーカスレンズ

Claims (16)

1. 撮影光学系により結像された被写体像を光電変換して撮像された画像に対して複数の焦点検出領域を設定する設定手段と、
   前記複数の焦点検出領域のそれぞれについて、該複数の焦点検出領域のそれぞれに含まれる被写体までの距離に関する情報を検出し、それぞれの被写体の距離に関する情報を表わすマップを生成する生成手段と、
   前記撮影光学系のズーム位置を調節する調節手段と、
   前記複数の焦点検出領域のそれぞれに動体が含まれているか否かを検出し、検出された情報を用いて、前記マップの各領域を更新するか否かを判定する判定手段と、を備え、
   前記生成手段は、前記判定手段によって更新すると判定された領域について前記被写体の距離に関する情報を更新して、前記マップを更新し、
   前記判定手段は、前記調節手段によって前記撮影光学系のズーム位置が調節されたことに応じて、前記マップの全領域を更新すると判定することを特徴とする焦点検出装置。
2. 前記判定手段は、前記複数の焦点検出領域の少なくとも１つに動体が含まれることが検出された場合に、前記マップを更新すると判定することを特徴とする請求項１に記載の焦点検出装置。
3. 前記生成手段は、前記複数の焦点検出領域のうちの動体が含まれる焦点検出領域について被写体までの距離に関する情報を検出し、前記動体が含まれる焦点検出領域についての被写体の距離に関する情報を更新することにより、前記マップを更新することを特徴とする請求項１または２に記載の焦点検出装置。
4. 前記生成手段が前記マップを更新する際に、前記調節手段は、前記画像に第１の閾値より大きいサイズの動体が含まれる場合には、前記撮影光学系のズーム位置を広角側に調節することを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。
5. 前記調節手段は、前記画像に含まれる動体が、前記第１の閾値以下のサイズであり、且つ前記第１の閾値より小さい第２の閾値以上のサイズである場合には、前記撮影光学系のズーム位置を変更しないことを特徴とする請求項４に記載の焦点検出装置。
6. 前記調節手段は、前記画像に含まれる動体が、前記第２の閾値より小さいサイズである場合には、前記撮影光学系のズーム位置を望遠側に調節することを特徴とする請求項５に記載の焦点検出装置。
7. 前記調節手段は、前記動体の動きの方向に応じて、前記撮影光学系のズーム位置を調節することを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。
8. 前記調節手段は、前記動体の動きの速度に応じて、前記撮影光学系のズーム位置を調節することを特徴とする請求項１乃至７のいずれか１項に記載の焦点検出装置。
9. 前記調節手段は、前記画像の全ての動体が含まれる最小の画角となるように前記撮影光学系のズーム位置を調節することを特徴とする請求項１乃至８のいずれか１項に記載の焦点検出装置。
10. 前記撮影光学系の絞りを調節する絞り調節手段をさらに備え、前記生成手段が前記マップを更新する際に、前記絞り調節手段は、前記画像に動体が所定の個数以上含まれる場合、前記撮影光学系の絞りを、所定の露出値が得られる最大の絞り値に調節することを特徴とする請求項１乃至９のいずれか１項に記載の焦点検出装置。
11. 前記絞り調節手段は、前記画像の動体の数が前記所定の個数より少ない場合、前記撮影光学系の絞りを、前記所定の露出値が得られる最小の絞り値に調節することを特徴とする請求項１０に記載の焦点検出装置。
12. 前記生成手段は、ＤＦＤ（Depth From Defocus）方式により前記被写体までの距離に関する情報を検出することを特徴とする請求項１乃至１１のいずれか１項に記載の焦点検出装置。
13. 前記生成手段は、撮像面位相差方式により前記被写体までの距離に関する情報を検出することを特徴とする請求項１乃至１１のいずれか１項に記載の焦点検出装置。
14. 撮影光学系により結像された被写体像を光電変換して撮像された画像に対して複数の焦点検出領域を設定する設定工程と、
    前記複数の焦点検出領域のそれぞれについて、該複数の焦点検出領域のそれぞれに含まれる被写体までの距離に関する情報を検出し、それぞれの被写体の距離に関する情報を表わすマップを生成する生成工程と、
    前記撮影光学系のズーム位置を調節する調節工程と、
    前記複数の焦点検出領域のそれぞれに動体が含まれているか否かを検出し、検出された情報を用いて、前記マップの各領域を更新するか否かを判定する判定工程と、を有し、
    前記生成工程では、前記判定工程において更新すると判定された領域について前記被写体の距離に関する情報を更新して、前記マップを更新し、
    前記判定工程では、前記調節工程において前記撮影光学系のズーム位置が調節されたことに応じて、前記マップの全領域を更新すると判定することを特徴とする焦点検出装置の制御方法。
15. 請求項１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
16. 請求項１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。