JP7352389B2 - 焦点検出装置及び方法、及び撮像装置 - Google Patents

Description

本発明は、焦点検出装置及び方法、及び撮像装置に関し、特に像面位相差を用いた焦点検出技術に関する。

従来、焦点検出を行うために、撮影に用いる撮像素子からの出力を用いる技術がある。この技術では、画像として得られる信号を用いるため、原則的には画像と同じ露光時間で得られた信号が用いられるが、より正確に焦点制御を行うには、画像の更新レートよりも早いレートで焦点検出用の信号を得るのが望ましい場合がある。例えば、画像と同じ露光時間で得られた信号を焦点検出に用いた場合、撮影表現によっては十分なＳ／Ｎ比の焦点検出信号が得られない可能性がある。

特許文献１には、露光時間の異なる信号を同時に得ることが可能な画素構造を有する撮像素子の技術が開示されている。動画においては、被写体が動いている場合に、モーションブラーという動き部分に生じるブレがあることにより、より自然な映像表現となるが、その中の１フレームを静止画として取り出したときには、できる限りブレの少ない画像を得ることが望まれる。そのため、上述した様な露光時間の異なる信号を同時に得ることが可能な画素構造を有する撮像素子を用いることにより、適度なモーションブラーを含む動画と、高速シャッタによるブレの少ない静止画を撮影することができる。

また、焦点検出を行う上でも、よりブレが少ない画像を用いる方が、より精度の高い焦点検出を行うことが可能になる。ブレが大きい画像を用いた場合、コントラスト検出方式では、ブレとボケの区別がつかないために焦点検出の精度が下がり、また、位相差方式では、ブレによりコントラスト低下が起こると位相差の検出精度が落ちてしまう。

一方、特許文献２には、撮像用の画素と焦点検出用の画素とを、互いに異なるフレームレートで駆動して画像データを出力することが可能な撮像素子が開示されている。

このような撮像素子を用いた場合、特に、コントラスト検出方式の焦点調節では焦点検出結果を用いて繰り返しフォーカスレンズを駆動するため、焦点検出用の画素のフレームレートを高くして高速に焦点検出用の信号を得ることで、焦点調節にかかる時間を短縮することができる。

特開２０１７－１４７７２１号公報 特開２０１８－０５７０４０号公報

しかしながら、特許文献１及び２に開示された従来技術では、撮像素子の画素構造や制御構造が複雑化してしまう。また、焦点検出に用いる信号はできる限り、高振幅でＳ／Ｎの良い信号が望ましい。更に、焦点検出に用いる信号はできる限り、ブレによるコントラスト低下が無い信号が望ましい。

本発明は上記問題点を鑑みてなされたものであり、撮像素子の構造を複雑化することなく、より焦点検出に適した焦点検出信号を取得することを可能にすることを目的とする。

上記目的を達成するために、本発明の焦点検出装置は、予め決められた第１の周期で撮像素子から出力された信号から、視差を有する一対の第１の焦点検出信号と、第２の焦点検出信号とを取得する取得手段と、前記取得手段により取得した前記第１の焦点検出信号および前記第２の焦点検出信号のうち、予め決められた条件に基づいて決められたフレームの前記第１の焦点検出信号および前記第２の焦点検出信号に対して、前記第１の焦点検出信号および前記第２の焦点検出信号を取得する毎に、それぞれフレーム間加算を行って、第１の加算信号および第２の加算信号を出力する加算手段と、前記第１の加算信号および前記第２の加算信号に基づいて、焦点状態を検出する検出手段と、前記予め決められた条件に基づいて、前記加算手段によるフレーム間加算を打ち切るかどうかを判断する判断手段と、を有し、前記決められたフレームが１フレームである場合には、前記加算手段は、当該フレームの前記第１の焦点検出信号および前記第２の焦点検出信号を前記第１の加算信号および前記第２の加算信号として出力し、前記検出手段は、前記判断手段により前記フレーム間加算を打ち切ると判断された場合に、当該判断が為される１フレーム前に得られた第１の加算信号および第２の加算信号に基づいて、焦点状態を検出することを特徴とする。

本発明によれば、撮像素子の構造を複雑化することなく、より焦点検出に適した焦点検出信号を取得することを可能にすることができる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における画素配列一例を示す概略図及び画素の概略断面図。 第１の実施形態におけるＡ／Ｂ像フレーム加算部の回路図。 第１の実施形態における相関演算について説明した図。 第１の実施形態における相関演算部の回路図。 第１の実施形態における焦点検出処理のフローチャート。 第１の実施形態における撮像装置の動作を説明するタイミングチャート。 第２の実施形態における撮像装置の概略構成を示すブロック図。 第２の実施形態における焦点検出処理のフローチャート。 第２の実施形態における撮像装置の動作を説明するタイミングチャート。 第３の実施形態における撮像装置の概略構成を示すブロック図。 第３の実施形態における焦点検出処理のフローチャート。 第４の実施形態における撮像装置の概略構成を示すブロック図。 第４の実施形態におけるコントラスト評価部の回路図。 第４の実施形態の相関演算におけるコントラスト低下の影響を説明する図。 第４の実施形態における焦点検出処理のフローチャート。 第４の実施形態における撮像装置の動作を説明するタイミングチャート。 第５の実施形態における撮像装置の概略構成を示すブロック図。 第５の実施形態における焦点検出処理のフローチャート。 第６の実施形態における撮像装置の概略構成を示すブロック図。 第６の実施形態における焦点検出処理のフローチャート。 第７の実施形態における撮像装置の概略構成を示すブロック図。 第７の実施形態における焦点検出処理のフローチャート。 第７の実施形態における撮像装置の動作を説明するタイミングチャート。 第８の実施形態における撮像装置の概略構成を示すブロック図。 第８の実施形態における焦点検出処理のフローチャート。 第９の実施形態における撮像装置の概略構成を示すブロック図。 第９の実施形態における焦点検出処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。図１は、第１の実施形態における撮像装置の概略構成を示すブロック図である。

図１において、撮像レンズ１０１によって結像された像を撮像素子１０２が受光し、光電変換を行って、得られた信号をフロントエンジン１０３へ転送する。

ここで、撮像素子１０２の撮像画素と焦点検出画素の配列の概略について、図２を参照して説明する。図２（ａ）は、撮像素子１０２としての２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を、４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示したものである。

画素群１２０は２行×２列の画素からなり、Ｒ（赤）の分光感度を有する画素１２０Ｒが左上に、Ｇ（緑）の分光感度を有する画素１２０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素１２０Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１焦点検出画素１２１と第２焦点検出画素１２２により構成されている。

撮像素子１０２は、図２（ａ）に示す２列×２行の画素（４列×２行の光電変換部）からなる画素群１２０を撮像面上に多数配置することで、撮像信号及び焦点検出信号の取得を可能としている。

図２（ａ）に示した撮像素子１０２の１つの画素（例えば、画素１２０Ｇ）の断面を－ｙ側から見た図を図２（ｂ）に示す。図２（ｂ）に示すように、本実施形態の画素１２０Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ１３１が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部１３２と光電変換部１３３が形成される。光電変換部１３２，１３３が、それぞれ、第１焦点検出画素１２１と第２焦点検出画素１２２に対応する。

各画素には、マイクロレンズ１３１と、光電変換部１３２，１３３との間に、カラーフィルタ１３４が形成される。本実施形態においては、上述したＲ（赤）の分光感度を有するカラーフィルタ、Ｇ（緑）の分光感度を有するカラーフィルタ、Ｂ（青）の分光感度を有するカラーフィルタのいずれかが配置される。ただし、カラーフィルタの分光感度特性はＲＧＢに限定されるものではなく、また、カラーフィルタを省略しても良い。

このような構成を有する各画素では、異なる瞳領域を通過した光束をマイクロレンズ１３１で分離し、光電変換部１３２，１３３に結像する。そして、各光電変換部１３２，１３３からそれぞれ読み出した２つの信号（Ａ信号、Ｂ信号）を出力する。

そして、複数の画素から出力された複数のＡ信号と複数のＢ信号をそれぞれ集めることで、撮像面位相差検出方式によるＡＦ（以下、「撮像面位相差ＡＦ」という。）に用いられる一対の像信号（Ａ像信号、Ｂ像信号）を得る。そして、該一対の像信号の相対位置をずらしながら重ね合わせ、各ずらし位置において、例えば、波形の差異部分の面積量（相関量）を求める相関演算を行う。この相関量がもっとも小さくなるずらし位置、即ち、焦点状態を表す、最も相関が取れているずれ量である位相差（以下、「像ずれ量」という。）を求め、さらに算出した像ずれ量から撮影光学系のデフォーカス量及びデフォーカス方向を算出する。

なお、本実施形態では各画素において、１つのマイクロレンズ１３１に対して２つの光電変換部１３２，１３３を有する構成としているが、光電変換部の数は２つに限定されず、それ以上であってもよい。また、瞳分割方向も水平方向に限られるものでは無く、垂直方向であっても良い。また、マイクロレンズ１３１に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果としてＡ信号とＢ信号といった位相差検出用の２つの信号が得られる構成であればよい。また、本発明は図２に示すように全ての画素が複数の光電変換部を有する構成に限らず、撮像素子１０２を構成する通常画素内に、図２に示すような焦点検出用画素を離散的に設ける構成であってもよい。また、同じ撮像素子内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。

撮像素子１０２から出力されたＡ信号及びＢ信号は、フロントエンジン１０３内部のＡ＋Ｂ像生成部１０４及びＡ／Ｂ像フレーム加算部１０７へと入力される。Ａ＋Ｂ像生成部１０４は、各マイクロレンズに対応したＡ信号とＢ信号を加算してＡ＋Ｂ信号に変換し、１フレーム分の画像信号（Ａ＋Ｂ像信号）を得る。画像フレーム加算部１０６は、画像メモリ１０５を用いて、所定期間の間、フレーム間で同じ画素に対応するＡ＋Ｂ信号を加算するフレーム間加算（以下、「フレーム加算」と呼ぶ。）を行う。フレーム加算されたＡ＋Ｂ像信号は、後段の映像エンジン１１３に転送される。映像エンジン１１３は、フレーム加算されたＡ＋Ｂ像信号に対して各種の画像処理を行い、記録や表示のための画像データを生成する。

フロントエンジン１０３と映像エンジン１１３との間のインターフェースは、撮像素子１０２と映像エンジン１１３をつなぐインターフェースでもあり、フロントエンジン１０３は撮像素子１０２を模擬している構成となっている。また、撮像素子１０２とフロントエンジン１０３との間のインターフェースは、フロントエンジン１０３と映像エンジン１１３との間のインターフェースよりも高速な転送が可能なインターフェースを用いている。

一例として、映像エンジン１１３で１フレーム分の画像信号を転送可能な時間あたりに、撮像素子１０２からフロントエンジン１０３には数十倍程度のフレーム分の信号を転送可能とする。このようにすることで、撮像素子１０２をスリットローリングシャッタにより露光し、所定の期間の間に得られる複数フレーム分の信号をフレーム加算することで、任意の露光時間に相当する像を作成することが可能となる。そのため、本実施形態の撮像装置は、スリットローリングシャッタにより得られた複数フレーム分の信号をフレーム加算して映像エンジン１１３に転送する構成を前提としている。

なお、本実施形態では、撮像素子１０２からＡ信号とＢ信号が順次出力され、後段のフロントエンジン１０３で加算されてＡ＋Ｂ信号を生成することで、焦点検出用の一対の信号と映像エンジン１１３に転送する画像信号を取得する例について説明した。しかしながら、本発明はこれに限定されるものでは無く、次の様にしてもよい。すなわち、例えば、撮像素子１０２が各画素からＡ信号（あるいはＢ信号）とＡ＋Ｂ信号とを出力し、後段のフロントエンジンで１０３で、同じ画素のＡ＋Ｂ信号からＡ信号（あるいはＢ信号）を減算する。これにより、撮像素子１０２から出力されない、視差を有するもう一方の焦点検出用の信号を得る。この場合はＡ＋Ｂ像生成部１０４の代わりに、Ａ＋Ｂ信号からＡ信号（あるいはＢ信号）を減算するような処理部を構成すればよい。

一方、Ａ／Ｂ像フレーム加算部１０７は、入力されたＡ信号及びＢ信号に対し、Ａ／Ｂ像メモリ１０８を用いて、フレーム間で同じ画素の同じ光電変換部１３２，１３３から出力されたＡ信号及びＢ信号をそれぞれ加算するフレーム加算を行う。また、Ａ／Ｂ像フレーム加算部１０７では、フレーム加算されたＡ信号及びＢ信号（以下、「フレーム加算信号」と呼ぶ。）の飽和判定を行い、判定結果を焦点検出部１１１に出力する。

ここで図３を参照して、Ａ／Ｂ像フレーム加算部１０７の構成について説明する。図３はＡ／Ｂ像フレーム加算部１０７の回路図である。Ａ／Ｂ像フレーム加算部１０７は、フレーム加算信号生成部１４８及び飽和判定部１４９により構成されている。

Ａ／Ｂ像フレーム加算部１０７には、撮像素子１０２から出力されるＡ信号及びＢ信号と、Ａ／Ｂ像メモリ１０８に格納されている前回までのフレーム加算信号が入力される。

入力された信号は、フレーム加算信号生成部１４８により、タイミング同期回路１４１で、同じ画素の座標位置に対応する信号同士が同期するようにタイミング調整され、加算器１４２によりフレーム加算信号の中間データを生成する。なお初回のフレーム加算時にはフレーム加算信号は存在しないため、予めＡ／Ｂ像メモリ１０８を０で初期化しておく。

フレーム加算信号の中間データを取り扱う回路のビット幅は、入力される２系統の信号を取り扱うビット幅よりも大きなビット幅となる。そのため、次のフレーム加算時に入力される前回のフレーム加算信号を取り扱うビット幅の値域内に収まるようにセレクタ１４３によりクリップ処理を行う。フレーム加算信号の中間データは、セレクタ１４３及び飽和判定部１４９の第一の比較器１４４に入力される。

第一の比較器１４４は、フレーム加算信号と、予め設定された飽和信号レベル閾値ＴＨ＿ＬＶＬとを、１画素単位で比較する。フレーム加算信号の値が閾値ＴＨ＿ＬＶＬより大きい場合、第一の比較器１４４は飽和画素であると判定し、１を出力する。フレーム加算信号の値が閾値ＴＨ＿ＬＶＬ以下であれば、第一の比較器１４４は飽和画素ではないと判定し、０を出力する。セレクタ１４３は、第一の比較器１４４による比較結果に応じて、フレーム加算信号か閾値ＴＨ＿ＬＶＬの一方を選択して出力する。閾値ＴＨ＿ＬＶＬは、次のフレーム加算時に入力される前回のフレーム加算信号を取り扱うビット幅の値域に収まる範囲で適宜設定すればよい。

セレクタ１４３は、第一の比較器１４４の比較結果が１、つまり飽和画素であると判定された場合は、閾値ＴＨ＿ＬＶＬを出力し、比較結果が０、つまり飽和画素でないと判定された場合はフレーム加算信号を出力する。このように、第一の比較器１４４とセレクタ１４３により、飽和しているフレーム加算信号のクリップ処理を行うことができる。セレクタ１４３により出力される信号は、Ａ／Ｂ像フレーム加算部１０７の外部に出力される。

一方、第一の比較器１４４による比較結果は、加算器１４５及びフリップフロップ１４６により構成されるカウンターにも入力され、飽和画素数がカウントされる。

第二の比較器１４７には、フリップフロップ１４６に保持された飽和画素数と、予め設定された飽和画素数の閾値ＴＨ＿ＣＮＴとが入力されて比較される。飽和画素数が閾値ＴＨ＿ＣＮＴより大きい場合、第二の比較器１４７は１を出力し、飽和画素数が閾値ＴＨ＿ＣＮＴ以下であれば０を出力する。第二の比較器１４７による比較結果は飽和判定結果として、焦点検出部１１１に出力される。

以上説明したようにＡ／Ｂ像フレーム加算部１０７は、閾値ＴＨ＿ＬＶＬを上限としたフレーム加算信号と、閾値ＴＨ＿ＬＶＬ及び閾値ＴＨ＿ＣＮＴに基づいて判定される飽和判定結果を外部に出力する。なお、加算器１４５、フリップフロップ１４６、および第二の比較器１４７を省略して、第一の比較器１４４の比較結果を飽和判定結果として、焦点検出部１１１に出力するようにしてもよい。

図１の説明に戻り、焦点検出部１１１は、飽和判定部１４９の飽和判定結果が１になると、Ａ／Ｂ像信号のフレーム加算を打ち切り、Ａ／Ｂ像フレーム加算部１０７から出力されるフレーム加算信号をＡ／Ｂ像メモリ１０８に記憶しないように制御する。この様に制御することにより、飽和判定結果が１になる直前のフレーム加算信号をＡ／Ｂ像メモリ１０８に残すことができる。相関演算部１０９に相関演算の開始命令を発行する。相関演算部１０９は、焦点検出部１１１からの制御命令に基づき、Ａ／Ｂ像メモリ１０８に格納されているフレーム加算信号を用いて相関演算を行い、得られた相関波形を相関波形メモリ１１０に格納する。

焦点検出部１１１は、フロントエンジン１０３におけるこれらのブロック全体の制御を行うとともに、所定のタイミングで相関波形メモリ１１０に格納された相関波形からレンズ駆動に用いるデフォーカス量を算出する。そして、フォーカス制御部１１２に対して、デフォーカス量に基づく制御命令を発行する。

フォーカス制御部１１２は、撮像レンズ１０１を駆動する。このようにして、映像エンジン１１３にベイヤー配列の画像信号を転送すると共に、Ａ像信号及びＢ像信号を用いた焦点検出を行う。

次に、本実施形態で行う相関演算について説明する。図４は相関演算に関する信号波形の例を示している。図４（ａ）において、縦軸は信号レベル、横軸は撮像素子１０２上のＸ座標位置を示している。１５１はＡ像信号の１ライン分の波形、１５２はＢ像信号の１ライン分の波形の一例を示す。また、１５３は飽和信号レベル閾値ＴＨ＿ＬＶＬである。

図４（ａ）においては、Ａ像信号１５１及びＢ像信号１５２は閾値ＴＨ＿ＬＶＬ以内に収まっている。焦点が合っていないＡ像信号１５１とＢ像信号１５２は、瞳分離方向にずれた像となっており、像のずれる方向とずれ量により、デフォーカス量とデフォーカス方向の情報が得られる。

図４（ｂ）の１５４は、Ａ像信号１５１をバンドパスフィルタに通して輪郭部分を抽出した信号、１５５は、Ｂ像信号１５２をバンドパスフィルタに通した信号であり、横軸は撮像素子１０２上のＸ座標位置を示している。

図４（ｃ）は、横軸にＡ像信号とＢ像信号の位相、縦軸にＳＡＤ（ＳＵＭ ＯＦ ＡＢＳＯＬＵＴＥ ＤＩＦＦＥＲＥＮＣＥ）というＡ像信号とＢ像信号の差の絶対値の総和を示す値を示している。図４（ｂ）の信号１５４，１５５に対して相関演算を行うことで、図４（ｃ）に示す様な波形の信号１５６が得られる。以降、このような相関演算結果を示す信号の波形を、相関波形と呼ぶ。

図４（ｃ）の信号１５６の最も値の小さい部分１５７が、最も一致度の高い位相を示している。なお、このＡ像信号とＢ像信号の位相は、１ピクセル単位で対面する画素をずらした、ずれ量とも言うことができるが、デフォーカス量を得るためには１ピクセル単位では分解能が不十分である。そのため、本実施形態では、サブピクセル推定の技術であるパラボラフィッティングというサブピクセルマッチング演算を行って、１ピクセル以下の位相差を求める。

次に、図４（ｄ）～図４（ｆ）を参照して、飽和の影響について説明する。図４（ｄ）は、図４（ａ）に対し、更にフレーム加算されたＡ像信号１５８及びＢ像信号１５９を示している。Ａ像信号１５８は、Ａ／Ｂ像フレーム加算部１０７におけるフレーム加算の結果、飽和が発生した信号となり、閾値ＴＨ＿ＬＶＬ１５３の値でクリップされた信号を含んでいる。クリップ処理により、Ａ像信号は本来の像信号の形状が崩れている。

一方、Ｂ像信号１５９は、フレーム加算による飽和は発生しておらず、像信号の形状を保っている。

図４（ｅ）の１６０は、Ａ像信号１５８をバンドパスフィルタに通して輪郭部分を抽出した信号、１６１は、Ｂ像信号１５９をバンドパスフィルタに通した信号であり、横軸は撮像素子１０２上のＸ座標位置を示している。

図４（ｆ）の信号１６２は、図４（ｅ）の信号１６０及び１６１に対してＳＡＤ方式の相関演算を行った際の相関波形であり、１６３で最も低い値を示している。

図４（ｇ）は、図４（ｃ）に示す飽和が発生していない場合の相関波形１５６と、図４（ｆ）に示す飽和が発生している場合の相関波形１６２とを並べたものである。図４（ｇ）に示すように、それぞれの相関波形の最小値１５７と１６３の位置に差異が生じている。これはＡ像信号１６０の飽和により、像信号の形状が変化したことに起因しており、クリップ処理によって特徴点が消失したことで、本来の位相差を検出できなくなっている。

そこで本実施形態においては、飽和による像崩れを防ぎつつ、高振幅な信号を用いて相関演算を実施するために、飽和判定部１４９による飽和判定結果が１になったタイミングでフレーム加算を打ち切り、飽和した画素数が所定数以下である１フレーム前のフレーム加算信号を相関演算で参照するように制御を行う。

次に、図５を参照して相関演算部１０９について説明する。相関演算部１０９は、Ａ／Ｂ像メモリ１０８からフレーム加算されたＡ像信号とＢ像信号を読み出し、不図示のバンドパスフィルタを通した信号を、図５（ａ）のＡ像入力、Ｂ像入力として入力する。Ｂ像信号に対してＡ像信号は遅延回路１７７により遅延され、ＳＡＤ回路１７８に送られる。このような構造により、複数のＳＡＤ回路には同じＢ像画素に対して、１画素ずつずれたＡ像画素が入力されることになる。１サイクルごとにＢ像画素が入れ替わるのに対して、Ａ像画素は遅延回路内で１画素ずつずれていく。

図５（ｂ）は、ＳＡＤ回路１７８の内部を示した回路図である。減算器１７３によってＢ像信号１７２からＡ像信号１７１の値が減算される。減算によって不の値になっている可能性があるため、絶対値回路１７４によって絶対値化される。その値を加算器１７５によって積算することで、位相差毎の差の絶対値を算出する。

図６は、上記構成を有する撮像装置における第１の実施形態の焦点検出処理のフローチャートである。Ｓ１０１で動作を開始すると、Ｓ１０２で撮像素子１０２の露光及び読み出しを行い、Ｓ１０３でＡ像信号、Ｂ像信号のフレーム加算及び飽和判定を行う。なお、Ｓ１０３を初めて実行するときは、フレーム加算信号が存在しないので、値を０で初期化されたＡ／Ｂ像メモリ１０８からの信号（即ち０）を前フレームまでのフレーム加算信号として用いる。２回目以降は、前フレームまでフレーム加算されたフレーム加算信号がＡ／Ｂ像メモリ１０８に保持されている。

Ｓ１０４で飽和判定部１４９による飽和判定結果が１である場合、Ｓ１０５へと進み、相関演算部１０９は、飽和判定結果が１となる１フレーム前までフレーム加算したフレーム加算信号をＡ／Ｂ像メモリ１０８から読み出して相関演算を行う。例えば図４（ｄ）に示すフレーム加算信号を出力したフレームにおいて、飽和判定部１４９による飽和判定結果が１となった場合は、図４（ａ）に示すＡ像信号１５１及びＢ像信号１５２をＡ／Ｂ像メモリ１０８から読み出す。

Ｓ１０６では、Ｓ１０５の相関演算により出力される相関波形データを相関波形メモリ１１０内の所定領域に書き込む。２回目以降の処理では、前回の相関波形データは、上書されて更新される。

Ｓ１０７では、次の像信号のフレーム加算のために、Ａ／Ｂ像メモリ１０８のフレーム加算用領域を値０で初期化し、Ｓ１０８に進む。

一方、Ｓ１０４で飽和判定部１４９による飽和判定結果が０である場合は、Ｓ１１１に進んで、Ｓ１０３で求めた現フレームまでのフレーム加算信号でＡ／Ｂ像メモリ１０８を上書きして、Ｓ１０８へと進む。

Ｓ１０８では、デフォーカス算出タイミングになっているかどうかを判定する。デフォーカス算出タイミングは、後述する図７のタイミング１８９，１９１に示す様に、レンズ駆動の目標値を変えるのに適切な周期が設定されている。

デフォーカス算出タイミングになっていなければＳ１０２に戻って次のフレームの露光を開始し、デフォーカス算出タイミングになっている場合はＳ１０９へと進み、最新の相関波形データに基づいてデフォーカス量を算出する。

Ｓ１１０では算出されたデフォーカス量に基づき、フォーカス制御部１１２を介してフォーカスレンズを、合焦状態とするための目標位置に駆動させる。Ｓ１１０が終わると再びＳ１０２に戻り、一連の動作が繰り返される。

図７は、上述した様に制御した場合の撮像装置の動作を説明するタイミングチャートである。図７において、横軸は時間を表している。

図７において、「センサ出力」は、撮像素子１０２からの信号の出力期間を表しており、フレーム毎に短いブランキングがある。

「画像露光期間」は、撮影モード等の設定に応じて決定される画像の露光期間を示している。画像の露光期間に対応する画像信号は、上述した様に、Ａ＋Ｂ像生成部１０４及び画像フレーム加算部１０６によるＡ＋Ｂ像信号のフレーム加算により生成される。例えば、画像露光期間１８３に対応する画像信号は、センサ出力の第ｎフレームから第（ｎ＋７）フレームまでの８フレーム分のＡ＋Ｂ像信号をフレーム加算することで生成される。

「ＡＢ像露光期間」は、焦点検出処理に用いるフレーム加算信号を得るための露光期間を示す。

「飽和検出」は、フレーム加算信号において、飽和判定結果が１となるタイミングを示す。例えば、第ｎ～第（ｎ＋２）フレームのセンサ出力に対応するＡ像信号及びＢ像信号のフレーム加算を順次実行している途中、飽和判定が１になると、飽和検出信号１８５が出力される。この飽和検出信号１８５によりＡ像信号及びＢ像信号のフレーム加算が打ち切られ、相関演算が実行される。

「相関演算」は、相関演算を実行するタイミングを表している。例えば、飽和検出信号１８５が出力されると、それに応じたタイミング１８８で、飽和が検出される一つ前のフレームまでのフレーム加算信号（この例では、第ｎ～第（ｎ＋１）フレームのフレーム加算信号）を用いて相関演算が実行される。

「デフォーカス算出」は、デフォーカス量の算出タイミングを示しており、レンズ駆動周期に応じた所定の間隔でデフォーカス量の算出が実行される。デフォーカス算出タイミング１８９では、直近の相関演算で得られた相関波形データを参照してデフォーカス量を算出する。この例では、デフォーカス算出タイミング１８９に対応する相関演算処理はタイミング１８８で行われた処理であり、この時に得られた相関演算の相関波形データを参照してデフォーカス量を算出する。また、デフォーカス算出タイミング１８９から１９３までの間に、タイミング１９１及び１９２で２回、相関演算処理がされているが、デフォーカス算出タイミング１８９に対応する相関演算処理は、直近のタイミング１９２で行われたものになる。この場合、タイミング１９１で得られた相関波形データは、タイミング１９２で得られた相関波形データにより上書きされているため、デフォーカス量の算出には用いられない。

「レンズ駆動」は、フォーカスレンズを駆動するタイミングを表しており、期間１９０は、算出されたデフォーカス量に応じて目標のレンズ位置に移動するまでのレンズの駆動期間を示している。

上記の通り第１の実施形態によれば、撮像素子から高速に転送される信号を個別にフレーム加算する構成にすることで、画像とは異なる露光時間の焦点検出信号を得ることができる。更に、焦点検出信号のフレーム加算部に飽和判定部を設けることによって、焦点検出に好適な振幅を有する信号を得ることが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、飽和判定部１４９による飽和判定結果に基づいてフレーム加算を打ち切って相関演算を実行する例について説明した。しかしながら、シーンによっては振幅が十分に確保できるまでにレンズの駆動レート以上に時間かかる場合もあり、そのようなシーンにおいては相関演算の実行頻度が低下して追従性が悪くなることがある。

そこで、第２の実施形態では飽和判定に加え、デフォーカス算出タイミングにおいてもフレーム加算を打ち切って相関演算を行うようにすることで、追従性を向上させる例について説明する。

図８は、第２の実施形態における撮像装置の概略構成を示すブロック図である。図８に示す撮像装置は、図１に示す構成と比較して、フロントエンジン２０３に相関波形加算部２０１が追加されていると共に、焦点検出部２０２による処理が第１の実施形態の焦点検出部１１１による処理と異なる。それ以外の構成は図１と同様であるため、同じ参照番号を付して説明を省略する。

相関波形加算部２０１は、レンズ駆動の間に相関演算が実行される毎に、各相関演算の相関波形データを相関波形メモリ１１０から読み出し、各相関波形データを位相差毎に対応づけて加算するとともに、加算した相関波形データをその内部に保持する。

焦点検出部２０２は、飽和判定部１４９による飽和判定結果が１になるか、デフォーカス量の算出タイミングになると像信号のフレーム加算を打ち切り、相関演算を実行するように制御する。更に、デフォーカス量の算出タイミングを検出している場合は、デフォーカス量の算出も行う。

図９は、第２の実施形態における焦点検出処理のフローチャートである。第２の実施形態では、追従性を向上させるために、焦点検出部２０２はデフォーカス算出周期に同期させて必ず一度は相関演算を行うように制御を行う。なお、図９のフローチャートにおいて、図６に示す処理と同様の処理には同じステップ番号を付して、適宜説明を省略する。

Ｓ１０６において、相関波形データを相関波形メモリ１１０内の所定領域に書き込むと、Ｓ２０１において、相関波形加算部２０１は、Ｓ１０６で更新された相関波形データを読み込み、内部に保持されている前回までの相関波形データに加算する。Ｓ２０１を初めて実行するときは、相関波形加算部２０１の内部に相関波形データは存在しないので、値０で初期化した相関波形データを前回までの相関波形データとして用いる。

Ｓ１０７では、次の像信号のフレーム加算のために、Ａ／Ｂ像メモリ１０８のフレーム加算用領域を値０で初期化する。

次に、Ｓ１０８では、デフォーカス算出タイミングになっているかどうかを判定する。デフォーカス算出タイミングになっていなければステップＳ１０２に戻り、デフォーカス算出タイミングになっている場合はＳ２０２に進む。

Ｓ２０２において、相関演算部１０９は、Ａ／Ｂ像メモリ１０８からフレーム加算信号を読み出し、相関演算を実行する。なお、Ｓ１０５における相関演算と、Ｓ２０２における相関演算との違いは、参照するフレーム加算信号が異なる点である。Ｓ１０５では飽和による打ち切りとなるため、像信号の形状を保持している１フレーム前までのフレーム加算信号を用いて行うが、Ｓ２０２では現在のフレームまでのフレーム加算信号を用いる。

Ｓ２０３では、Ｓ２０２の相関演算により得られた相関波形データを相関波形メモリ１１０内の所定領域に書き込む。そして、Ｓ２０４では、相関波形加算部２０１によりＳ２０３で更新された相関波形データを読み込み、内部に保持されている前回までの相関波形データに加算する。この際、Ｓ１０８でデフォーカス算出タイミングとなるまでに一度も飽和判定結果が１とならなかった場合には、相関波形加算部２０１には相関波形データは存在しないため、値０で初期化した相関波形データを前回までの相関波形データとして用いる。

次にＳ２０５において、焦点検出部２０２は、相関波形加算部２０１に保持されている相関波形データから極を算出し、サブピクセルマッチングによってデフォーカス量を算出する。Ｓ２０６では、デフォーカス量をゼロにするために必要なフォーカスレンズ駆動量を計算し、フォーカス制御部１１２に駆動制御命令を転送する。

そして、Ｓ２０７において次の像信号のフレーム加算のためにＡ／Ｂ像メモリ１０８のフレーム加算用領域を値０で初期化し、続いて、Ｓ２０８で相関波形加算部２０１の相関波形加算用領域を値０で初期化を行い、Ｓ１０２へと戻って一連の動作を繰り返す。

図１０は、第２の実施形態における撮像装置の動作を説明するタイミングチャートである。図１０に示すタイミングチャートと、第１の実施形態で説明した図７に示すタイミングチャートとの違いは、「相関演算」のタイミング２１１となる前に、飽和判定結果が１にならなかった点である。

デフォーカス算出タイミング２１０になると、飽和判定部１４９による飽和判定結果に関わらず像信号のフレーム加算が打ち切られ、タイミング２１１で相関演算処理が実行される。デフォーカス算出タイミング２１０以前には飽和判定結果が１となっていないため、焦点検出部２０２は、タイミング２１１の相関演算処理の結果、得られた相関波形データに基づいてデフォーカス量を算出する。そして、期間２１２に、デフォーカス量に基づいてレンズを、合焦状態とするための目標位置に駆動させる。

一方、デフォーカス算出タイミング２１０から、次のデフォーカス算出タイミング２１３までの間には、飽和判定結果が１になっているタイミング２１４がある。そのため、タイミング２１５では、タイミング２１４で打ち切られた際のフレーム加算信号を用いて相関演算が実行され、相関波形データが記憶される。

そして、デフォーカス算出タイミング２１３になると、フレーム加算が打ち切られ、タイミング２１６で相関演算が実行され、タイミング２１５で得られた相関波形データと、タイミング２１６で得られた相関波形データが加算される。

タイミング２１５で相関演算に参照されるフレーム加算信号は、露光期間２１７に対応する像信号と等価であり、また、飽和判定による打ち切りであるため信号の振幅は大きい。

一方、タイミング２１６の相関演算処理で参照されるフレーム加算信号は、露光期間２１８に対応する像信号と等価であり、撮像素子１０２の出力の１フレーム分の信号レベルしか有していないため、信号の振幅は小さい場合がある。

仮に、露光期間２１８に対応する像信号の振幅が小さい場合、第１の実施形態のように最新の相関波形データを参照してデフォーカス量を算出すると精度の低下が発生し得る。これに対し、第２の実施形態では、十分に振幅のある信号を参照したタイミング２１５における相関演算の相関波形データと、レンズ駆動直近の信号を参照したタイミング２１６における相関波形データとを加算する。このため、好適な相関波形を得ながら、追従性の高い焦点調節処理を実現することができる。

なお、本実施形態においてはデフォーカス算出タイミングまでの全ての相関演算により出られた相関波形データを加算することで相関波形の振幅を高くする例について示したが、本発明はこれに限られるものでは無い。例えば、図９のＳ２０１における相関波形の加算を実行せずに、飽和判定によって打ち切られた際の最新の相関波形データと、デフォーカス算出タイミングによって打ち切られた際の相関波形データを加算するようにしてもよい。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第２の実施形態では、飽和している信号が所定数を超える場合及びデフォーカスの算出タイミングにおいて、像信号のフレーム加算を打ち切って相関演算を実行し、相関波形データの加算を行った。

第３の実施形態は、飽和判定あるいはデフォーカスの算出タイミングによって像信号のフレーム加算を打ち切って相関演算を実行する点は第２の実施形態と同じであるが、以下の点で第２の実施形態と異なる。即ち、各相関演算結果に対応するデフォーカス量を毎回算出し、最終的なデフォーカス量を複数のデフォーカス量の平均値によって決定する。

図１１は、第３の実施形態における撮像装置の概略構成を示すブロック図である。図１１に示す撮像装置は、図１に示す構成と比較して、フロントエンジン３０３にデフォーカスメモリ３０１が追加されていると共に、焦点検出部３０２における処理が第１の実施形態における処理と異なる。それ以外の構成は図１と同様であるため、同じ参照番号を付して説明を省略する。

デフォーカスメモリ３０１は、各相関演算処理のデフォーカス量の記憶に用いられる。焦点検出部３０２は、相関演算実行後に相関波形データを読み出し、デフォーカス量を算出するとともに、デフォーカスメモリ３０１に算出したデフォーカス量を書き込む。

また、焦点検出部３０２は、デフォーカス算出タイミングにおいて、デフォーカスメモリ３０１に記憶されているデフォーカス量を読み出し、その平均値を算出することで最終的なデフォーカス量を取得する。

図１２は、第３の実施形態における焦点検出処理のフローチャートである。なお、図１２のフローチャートにおいて、図６または図９に示す処理と同様の処理には同じステップ番号を付して、適宜説明を省略する。

Ｓ１０６において、相関波形データを相関波形メモリ１１０内の所定領域に書き込むと、Ｓ３０１において、焦点検出部３０２は、相関波形メモリ１１０に書き込まれた相関波形データを参照して、デフォーカス量の算出を行う。そして、Ｓ３０２でデフォーカスメモリ３０１の所定領域にＳ３０１で算出したデフォーカス量を書き込み、焦点検出部３０２は不図示の内部カウンタの値を１増やす。

Ｓ１０７では、次の像信号のフレーム加算のために、Ａ／Ｂ像メモリ１０８のフレーム加算用領域を値０で初期化する。

次に、Ｓ１０８では、デフォーカス算出タイミングになっているかどうかを判定する。デフォーカス算出タイミングになっていなければＳ１０２に戻り、デフォーカス算出タイミングになっている場合はＳ２０２に進む。

Ｓ２０２において、相関演算部１０９は、Ａ／Ｂ像メモリ１０８からフレーム加算信号を読み出して相関演算を実行し、Ｓ２０３において、得られた相関波形データを相関波形メモリ１１０内の所定領域に書き込む。そして、Ｓ３０３において、焦点検出部３０２は、相関波形メモリ１１０に保持されている相関波形データから極を算出し、サブピクセルマッチングによってデフォーカス量を算出する。

そして、第３の実施形態では、Ｓ３０４において、焦点検出部３０２は、算出したデフォーカス量をデフォーカスメモリ３０１に書き込み、不図示の内部カウンタを１増やす。次にＳ３０５において、焦点検出部３０２は不図示の内部カウンタの値に基づいてデフォーカスメモリ３０１に記憶されている複数のデフォーカス量を読み出して加算平均を行い、レンズ駆動用の最終的なデフォーカス量を算出する。

Ｓ３０６では、Ｓ３０５で算出したデフォーカス量に基づいて、レンズを、合焦状態とするための目標位置に駆動させる。

そして、Ｓ３０７において次の像信号のフレーム加算のためにＡ／Ｂ像メモリ１０８のフレーム加算用領域を値０で初期化する。続けてＳ３０８において、デフォーカスメモリ３０１に記憶された複数のデフォーカス量と焦点検出部３０２の不図示の内部カウンタの値を値０で初期化し、Ｓ１０２へと戻る。

上記の通り第３の実施形態によれば、十分に振幅のある信号を参照して取得したデフォーカス量と、レンズ駆動直近の信号を参照したデフォーカス量との加算平均を取るため、好適且つ追従性の高い焦点調節処理を実現することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。上述した第１乃至第３の実施形態では、Ａ像信号またはＢ像信号をフレーム加算した信号の飽和状態に応じてフレーム加算を打ち切るかどうかを判断した。これに対し、第４の実施形態では、Ａ像信号またはＢ像信号のコントラストに基づいて判断する。

図１３は、第４の実施形態における撮像装置の概略構成を示すブロック図である。図１１に示す撮像装置は、図１に示す構成と比較して、フロントエンジン４０３にコントラスト評価部４０１及び相関波形加算部２０１が追加されていると共に、焦点検出部４０２における処理が第１の実施形態における処理と異なる。また、第４の実施形態におけるＡ／Ｂ像フレーム加算部４０７は、入力したＡ像信号及びＢ像信号を一旦Ａ／Ｂ像メモリ１０８に記憶し、コントラスト評価部４０１におけるコントラスト評価値の算出と並行して、フレーム加算処理を行う。上記以外の構成は、図１と同様であるため、同じ参照番号を付して説明を省略する。なお、相関波形加算部２０１は、第２の実施形態において図８に示した相関波形加算部２０１と同様である。

コントラスト評価部４０１は、Ａ／Ｂ像メモリ１０８に格納されたＡ像信号及びＢ像信号のコントラストを評価する。焦点検出部４０２は、フロントエンジン１０３におけるこれらのブロック全体の制御を行うとともに、フォーカス制御部１１２に対して制御命令を発行する。また、第４の実施形態では、焦点検出部４０２がＡ／Ｂ像のフレーム加算を打ち切る判定を行う場合に、コントラスト評価部４０１の評価結果を用いる。

図１４はコントラスト評価部４０１の回路図である。入力したＡ像信号及びＢ像信号は、それぞれバンドパスフィルタ４１２を通った後に、絶対値回路４１３により絶対値化され、加算器４１４と保持素子４１５によって積算される。同時に、加算器４１６と保持素子４１７によって、バンドパスフィルタを通っていないＡ像信号及びＢ像信号の積分値が得られる。焦点検出部４０２は、保持素子４１５から得られる値を保持素子４１７から得られる値で正規化したものをコントラスト評価値として用いる。

焦点検出部４０２は、コントラスト評価値が予め決められた閾値よりも低下した場合に、Ａ／Ｂ像信号のフレーム加算を打ち切り、Ａ／Ｂ像フレーム加算部４０７から出力されるフレーム加算信号をＡ／Ｂ像メモリ１０８に記憶しないように制御する。この様に制御することにより、コントラストが低下する直前のフレーム加算信号をＡ／Ｂ像メモリ１０８に残すことができる。

図１５は、第４の実施形態の相関演算におけるコントラスト低下の影響を説明する図である。図１５（ａ）において、縦軸は信号レベル、横軸は撮像素子１０２上のＸ座標位置を示している。４２１はＡ像信号の１ライン分の波形、４２２はＢ像信号の１ライン分の波形の一例を示す。また、４２３は、映像エンジン１１３へ転送される、Ａ＋Ｂ像信号の１ライン分の波形を示している。

このように焦点の合っていないＡ像信号４２１とＢ像信号４２２は、瞳分離方向にずれた像となっており、像のずれる方向とずれ量により、デフォーカス量とデフォーカス方向の情報が得られる。

図１５（ｂ）の４２４は、Ａ像信号４２１をバンドパスフィルタに通して輪郭部分を抽出した信号、４２５は、Ｂ像信号４２２をバンドパスフィルタに通した信号であり、横軸は撮像素子１０２上のＸ座標位置を示している。

図１５（ｃ）は、横軸にＡ像信号とＢ像信号の位相、縦軸にＳＡＤ方式により得られた相関値を示している。図１５（ｂ）の信号に対して相関演算を行うことで、図１５（ｃ）の波形の信号４２６が得られる。

図１５（ｃ）の信号４２６の最も値の小さい部分が最も一致度の高い位相を示している。なお、第４の実施形態においても、第１の実施形態と同様に、サブピクセルマッチング演算を行って、１ピクセル以下の位相差を求める。以降、図４（ｃ）の波形を相関波形と呼ぶ。

ここで、Ａ像信号４２１及びＢ像信号４２２が被写体ブレによるコントラスト低下を起こしてしまうと、図１５（ｄ）の４２７に示すような波形となってしまい、サブピクセルマッチング演算の精度が下がってしまう。そこで、第４の実施形態は、ＳＡＤ方式の相関演算による演算結果が、４２７のような波形になるのを防止する。

図１６は、第４の実施形態における焦点検出処理のフローチャートである。Ｓ４０１で動作を開始すると、Ｓ４０２で撮像素子１０２の露光及び読み出しを行い、Ｓ４０３でＡ像信号、Ｂ像信号のフレーム加算を行うと共に、得られたＡ像信号、Ｂ像信号のコントラスト評価値を算出する。なお、Ｓ４０３を初めて実行するときは、フレーム加算信号が存在しないので、値を０で初期化されたＡ／Ｂ像メモリ１０８からの信号（即ち０）を前フレームまでのフレーム加算信号として用いる。２回目以降は、前フレームまでフレーム加算されたフレーム加算信号がＡ／Ｂ像メモリ１０８に保持されている。コントラスト評価値には、図１４を参照して説明した様に、保持素子４１５に保持された値を保持素子４１７に保持された値で正規化したものを用いる。

Ｓ４０４では、コントラスト評価値が前回取得した値に対して低下したかどうかを判断する。なお、初めての場合は前回の値を０として判断するため、必ず低下していないことになり、Ｓ４０７へ進む。２度目以降の場合は、前回のコントラスト評価値と今回のコントラスト評価値との差分を算出し、差分が閾値よりも大きくなった場合にＳ４０５へ進む。

Ｓ４０５では、相関演算部１０９は、コントラストの低下が閾値を超える１フレーム前までフレーム加算したフレーム加算信号をＡ／Ｂ像メモリ１０８から読み出して相関演算を行う。そして、Ｓ４０６において、相関波形データを相関波形メモリ１１０内の所定領域に書き込む。

Ｓ４０７では、相関波形加算部２０１は、Ｓ４０６で更新された相関波形データを読み込み、内部に保持されている前回までの相関波形データに加算する。Ｓ４０７を初めて実行するときは、相関波形加算部２０１の内部に相関波形データは存在しないので、値０で初期化した相関波形データを前回までの相関波形データとして用いる。

Ｓ４０８では、次の像信号のフレーム加算のために、Ａ／Ｂ像メモリ１０８のフレーム加算用領域を値０で初期化する。

一方、Ｓ４０４でコントラストの低下が閾値を超えない場合は、Ｓ４２０に進んで、Ｓ４０３で求めた現フレームまでのフレーム加算信号でＡ／Ｂ像メモリ１０８を上書きして、Ｓ４０９へと進む。

Ｓ４０９では、デフォーカス算出タイミングになっているかどうかを判定する。デフォーカス算出タイミングはレンズ駆動の目標値を変えるのに適切な周期を設定し、そのタイミングになっているかどうかを判断する。デフォーカス算出タイミングになっていなければＳ４０２に戻って次のフレームの露光を開始する。このように、レンズの駆動周期よりも前にコントラストが低下しそうであれば、そのフレームの像信号のフレーム加算をせずに相関演算まで行うと共に、新たにフレーム加算を開始する。

デフォーカス算出タイミングになっている場合はＳ４１０へと進み、最新の相関波形データに基づいてデフォーカス量を算出する。

Ｓ４１１では、Ｓ４１０の相関演算により得られた相関波形データを相関波形メモリ１１０内の所定領域に書き込む。そして、Ｓ４１２では、相関波形加算部２０１によりＳ４１１で更新された相関波形データを読み込み、内部に保持されている前回までの相関波形データに加算する。この際、Ｓ４０９でデフォーカス算出タイミングとなるまでに一度もコントラストが低下しなかった場合には、相関波形加算部２０１には相関波形データは存在しないため、値０で初期化した相関波形データを前回までの相関波形データとして用いる。

次にＳ４１３において、焦点検出部４０２は、相関波形加算部２０１に保持されている相関波形データから極を算出し、サブピクセルマッチングによってデフォーカス量を算出する。Ｓ４１４では、デフォーカス量をゼロにするために必要なフォーカスレンズ駆動量を計算し、フォーカス制御部１１２に駆動制御命令を転送する。

そして、Ｓ４１５において次の像信号のフレーム加算のためにＡ／Ｂ像メモリ１０８のフレーム加算用領域を値０で初期化し、続いて、Ｓ４１６で相関波形加算部２０１の相関波形加算用領域を値０で初期化を行い、Ｓ４０２へと戻って一連の動作を繰り返す。

図１７は、第４の実施形態における撮像装置の動作を説明するタイミングチャートであり、横軸が時間となっている。なお、図１７に示す信号のタイミングの内、図１０と同じ信号については、説明を省略する。

デフォーカス算出タイミング４３０になると、コントラスト評価部４０１からの出力に基づくコントラスト低下の判定結果に関わらず像信号のフレーム加算が打ち切られ、タイミング４３１で相関演算処理が実行される。デフォーカス算出タイミング４３０以前にはコントラスト低下が判定されていないため、焦点検出部４０２は、タイミング４３１の相関演算処理の結果、得られた相関波形データに基づいてデフォーカス量を算出する。そして、期間４３２に、デフォーカス量に基づいてレンズを合焦状態とするための目標位置に駆動する。

一方、デフォーカス算出タイミング４３０から、次のデフォーカス算出タイミング４３３までの間には、コントラスト低下が判定されているタイミング４３４がある。そのため、タイミング４３５では、タイミング４３４で打ち切られた際のフレーム加算信号を用いて相関演算が実行され、相関波形データが記憶される。

そして、デフォーカス算出タイミング４３３になると、フレーム加算が打ち切られ、タイミング４３６で相関演算が実行され、タイミング４３５で得られた相関波形データと、タイミング４３６で得られた相関波形データが加算される。

タイミング４３５で相関演算に参照されるフレーム加算信号は、露光期間４３７に対応する像信号と等価である。一方、タイミング４３６の相関演算処理で参照されるフレーム加算信号は、露光期間４３８に対応する像信号と等価であり、撮像素子１０２の出力の１フレーム分の信号レベルしか有していないため、信号の振幅は小さい場合がある。

このような場合であっても、第４の実施形態では、複数の相関波形データを加算するため、好適な相関波形を得ながら、追従性の高い焦点調節処理を実現することができる。

また、上記のような構成とすることでＡ像信号及びＢ像信号をフレーム加算して相関演算を行うタイミングと、デフォーカス量を算出してレンズを駆動するタイミングと、フロントエンジン１０３から映像エンジン１１３に信号を転送するタイミングとをそれぞれ適切に設計可能となる。特にＡ像信号及びＢ像信号が手ブレによりコントラストの低下が起き、焦点検出の精度が下がることを未然に防ぐことが可能となる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。上述した実施形態と比較して、第５の実施形態ではフレーム加算の打ち切りの判断に動き検出結果を利用するところが異なる。

図１８は、第５の実施形態における撮像装置の概略構成を示すブロック図である。図１８に示す撮像装置は、図１３に示す構成と比較して、フロントエンジン５０３に、コントラスト評価部４０１の代わりに動き検出部５０１が追加されていると共に、焦点検出部５０２による処理が、第４の実施形態における焦点検出部４０２による処理と異なる。これら以外の構成は、図１３と同様であるため、同様の構成要素に関しては同じ参照番号を付して説明を省略する。

動き検出部５０１は、相関演算部１０９とほぼ同じ構成の回路となっている。相関演算部１０９は、Ａ像信号とＢ像信号を入力としているが、動き検出部５０１の入力は現フレームのＡ像信号またはＢ像信号と、前フレームのＡ像信号またはＢ像信号である。動きがない場合は現フレームのＡ像信号と前フレームのＡ像信号の位相差をとると、位相差０の場所が最も相関が高くなる。すなわち、図１５（ｃ）に示す信号５０６の最も値の小さい部分が位相差０となる。それに対して、被写体やカメラアングルが動いてしまった場合、現フレームのＡ像信号と前フレームのＡ像信号の輪郭がずれるため、位相差が０でない部分で相関が高くなる。第５の実施形態における撮像装置では、動き検出部５０１の相関演算の結果、位相差が０よりも閾値以上離れたことを検出すると、フレーム加算の打ち切りを判断する。

図１９は、第５の実施形態における焦点検出処理のフローチャートである。なお、図１６に示す第４の実施形態におけるフローチャートとの違いは、Ｓ５０１で動き検出部５０１を用いて動きを検出することと、Ｓ５０２で動き量が閾値を超えたかどうかに応じて、Ｓ４０５またはＳ４０７に分岐する点である。それ以外の処理は図１６に示す処理と同様であるため、同じステップ番号を付し、説明を省略する。

上記の通り第５の実施形態によれば、動き検出を利用して、第４の実施形態と同様の効果を得ることができる。

＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。上述した第５の実施形態では、動き量が閾値を超える場合及びデフォーカスの算出タイミングにおいて、像信号のフレーム加算を打ち切って相関演算を実行し、相関波形の加算を行った。

第６の実施形態は、動き判定あるいはデフォーカスの算出タイミングによって像信号のフレーム加算を打ち切って相関演算を実行する点は第５の実施形態と同じであるが、以下の点で第５の実施形態と異なる。即ち、各相関演算結果に対応するデフォーカス量を毎回算出し、最終的なデフォーカス量を複数のデフォーカス量の平均値によって決定する。

図２０は、第６の実施形態における撮像装置の概略構成を示すブロック図である。図２０に示す撮像装置は、図１３に示す構成と比較して、フロントエンジン６０３に、コントラスト評価部４０１の代わりにデフォーカスメモリ３０１が追加されていると共に、焦点検出部６０２における処理が第４の実施形態における処理と異なる。それ以外の構成は、図１３と同様であるため、同様の構成要素に関しては同じ参照番号を付して説明を省略する。なお、デフォーカスメモリ３０１は、第３の実施形態において図１１に示したデフォーカスメモリ３０１と同様である。

以下、図２１のフローチャートを参照して、第６の実施形態における焦点検出処理について説明する。なお、図２１のフローチャートにおいて、図１６または図１９に示す処理と同様の処理には同じステップ番号を付して、適宜説明を省略する。

Ｓ４０６において、相関波形データを相関波形メモリ１１０内の所定領域に書き込むと、Ｓ６０１において、焦点検出部６０２は、相関波形メモリ１１０に書き込まれた相関波形データを参照して、デフォーカス量の算出を行う。そして、Ｓ６０２でデフォーカスメモリ３０１の所定領域にＳ６０１で算出したデフォーカス量を書き込み、焦点検出部６０２は不図示の内部カウンタの値を１増やす。

Ｓ４０８では、次の像信号のフレーム加算のために、Ａ／Ｂ像メモリ１０８のフレーム加算用領域を値０で初期化する。

次に、Ｓ４０９では、デフォーカス算出タイミングになっているかどうかを判定する。デフォーカス算出タイミングになっていなければＳ４０２に戻り、デフォーカス算出タイミングになっている場合はＳ４１０に進む。

Ｓ４１０において、相関演算部１０９は、Ａ／Ｂ像メモリ１０８からフレーム加算信号を読み出して相関演算を実行し、Ｓ４１１において、得られた相関波形データを相関波形メモリ１１０内の所定領域に書き込む。そして、Ｓ６０３において、焦点検出部３０２は、相関波形メモリ１１０に保持されている相関波形データから極を算出し、サブピクセルマッチングによってデフォーカス量を算出する。

そして、第６の実施形態では、Ｓ６０４において、焦点検出部６０２は、算出したデフォーカス量をデフォーカスメモリ３０１に書き込み、不図示の内部カウンタを１増やす。次にＳ６０５において、焦点検出部６０２は不図示の内部カウンタの値に基づいてデフォーカスメモリ３０１に記憶されている複数のデフォーカス量を読み出して加算平均を行い、レンズ駆動用の最終的なデフォーカス量を算出する。

Ｓ６０６では、Ｓ６０５で算出したデフォーカス量に基づいて、レンズを、合焦状態とするための目標位置に駆動させる。

そして、Ｓ６０７において次の像信号のフレーム加算のためにＡ／Ｂ像メモリ１０８のフレーム加算用領域を値０で初期化する。続けてＳ６０８において、デフォーカスメモリ３０１に記憶された複数のデフォーカス量と焦点検出部３０２の不図示の内部カウンタの値を値０で初期化し、Ｓ４０２へと戻る。

上記の通り本第６の実施形態によれば、複数のデフォーカス量の平均を取ることにより、第４の実施形態と同様の効果を得ることができる。

なお、第６の実施形態では、フレーム加算を打ち切るかどうかを動き量により判断する場合について説明したが、第４の実施形態のように、フレーム加算信号のコントラストにより判断しても良い。

＜第７の実施形態＞
次に、本発明の第７の実施形態について説明する。上述した第１乃至第６の実施形態では、Ａ像信号またはＢ像信号を順次フレーム加算し、予め決められた条件に応じて、フレーム加算を打ち切るかどうかを判断した。これに対し、第７の実施形態では、Ａ像信号またはＢ像信号を一旦、全て記憶し、複数のフレームの組み合わせでフレーム加算を行って、焦点検出に適した組み合わせのフレーム加算信号を選択する。

図２２は、第７の実施形態における撮像装置の概略構成を示すブロック図である。図２２に示す撮像装置は、第４の実施形態の図１３に示す構成と比較して、フロントエンジン７０３のＡ／Ｂ像フレーム加算部４０７とＡ／Ｂ像メモリ１０８との接続順を逆にすると共に、相関波形加算部２０１を有しない構成となっている。また、焦点検出部７０２における処理が第４の実施形態における処理と異なる。なお、図２２において、図１３に示す構成と基本的に同様の処理を行う構成には、同じ参照番号を付して、適宜説明を省略する。

撮像レンズ１０１によって結像された像を撮像素子１０２が受光し、光電変換を行って、得られた信号をフロントエンジン１０３へ転送する。フロントエンジン１０３に入力された撮像素子１０２からのＡ信号及びＢ信号は、Ａ＋Ｂ像生成部１０４に入力されて、上述した画像信号に変換する処理が行われると共に、Ａ／Ｂ像メモリ１０８にも転送される。ここで、第７の実施形態では、フレーム加算されること無く、すべてのフレームのＡ信号及びＢ信号が記憶される。

なお、Ａ／Ｂ像メモリ１０８と画像メモリ１０５は、１つのメモリの異なるアドレスを時分割で共有しても良い。

図２３は、上記構成を有する撮像装置における第７の実施形態の焦点検出処理のフローチャートである。Ｓ７０１で動作を開始すると、Ｓ７０２で撮像素子１０２の露光及び読み出しを行い、Ｓ７０３で、読み出したＡ信号及びＢ信号をＡ／Ｂ像メモリ１０８に格納する。

Ｓ７０４で、予め決められた露光時間が経過したかどうかを判断し、経過していなければＳ７０２へ戻り、経過していればＳ７０５へ進む。Ｓ７０２からＳ７０４を繰り返すことにより、複数フレーム分のＡ信号及びＢ信号がＡ／Ｂ像メモリ１０８に記憶されることになる。

そして、予め決められた露光時間が経過すると、Ｓ７０５では、焦点検出部７０２の制御により、Ａ／Ｂ像フレーム加算部４０７は異なる複数の組み合わせで複数フレームのＡ信号及びＢ信号を加算し、複数対の異なるフレーム加算信号を生成する。

例えば、予め決められた露光時間の間に３フレーム分のＡ像信号及びＢ像信号が記憶されている場合、それら３フレームの加算の組み合わせとしてはフレーム１、フレーム２、フレーム３、フレーム１＋２、フレーム２＋３、フレーム１＋２＋３が考えられる。Ｓ７０５ではこれらの組み合わせそれぞれについて、フレーム加算信号を生成する。なお、ブレていない像を得る事が目的であるため、フレーム１＋３など、時間的に連続していない組み合わせでのフレーム加算は行わない。

そして、Ｓ７０６において、コントラスト評価部４０１によりＳ７０５で生成された複数対のフレーム加算信号それぞれのについてコントラスト評価値を求める。そして、焦点検出部７０２は、得られたコントラスト評価値の内、最もコントラストの高い結果が得られた組み合わせを選択し、Ａ／Ｂ像フレーム加算部４０７に通知する。なお、加算数に応じて像信号の振幅は大きくなるため、その影響を無くすためにコントラスト評価値の正規化を行い、正規化したコントラスト評価値を用いて選択する。また、正規化したコントラスト評価値が同程度の場合は、フレームの加算数が多い方を選択する。これは、加算数が多いほうが、Ｓ／Ｎ比が良いことが期待できるからである。

Ｓ７０７では、Ａ／Ｂ像フレーム加算部４０７は、通知された組み合わせにより再度フレーム加算信号を求め、求めたフレーム加算信号を用いて相関演算部１０９により相関演算を行い、得られた相関波形データを相関波形メモリ１１０へ格納する。この相関波形データに基づいて焦点検出部７０２がデフォーカス量を算出する。

そして、Ｓ７０８において、焦点検出部７０２はフォーカス制御部１１２を制御し、レンズを駆動する。

Ｓ７０９において、Ａ／Ｂ像メモリ１０８を０にクリアして、Ｓ７０２に戻る。

上記処理により、撮像画像の露光時間で得られる像よりもブレの少ないフレーム加算信号を用いて焦点検出を行うことが可能となる。

図２４は、第７の実施形態における撮像装置の動作を説明するタイミングチャートである。図２４において、横軸は時間を表している。

また、「センサ出力」は、撮像素子１０２からの信号の出力期間を表しており、フレーム毎に短いブランキングがある。

「画像露光期間」は、撮影モード等の設定に応じて決定される画像の露光期間を示している。画像の露光期間に対応する画像信号は、上述した様に、Ａ＋Ｂ像生成部１０４及び画像フレーム加算部１０６によるＡ＋Ｂ像信号のフレーム加算により生成される。

「画像フレーム加算部出力」は、画像フレーム加算部１０６から出力される画像信号を表している。例えば、画像露光期間７２３に対応する画像信号は、センサ出力の第ｎフレームから第（ｎ＋２）フレームまでの３フレーム分のＡ＋Ｂ像信号をフレーム加算することで生成され、期間７２４の間に映像エンジン１１３に出力される。また、画像露光期間７２８に対応する画像信号は、センサ出力の第（ｎ＋６）フレームから第（ｎ＋８）フレームまでの３フレーム分のＡ＋Ｂ像信号をフレーム加算することで生成され、期間７２９の間に映像エンジン１１３に出力される。

「コントラスト評価」は、「画像露光期間」にＡ／Ｂ像メモリ１０８に格納されたＡ像信号及びＢ像信号を用いて、コントラスト評価値を算出する期間を表している。例えば、画像露光期間７２３に対応する３フレーム分のＡ像信号及びＢ像信号から、上述した様に６種類のフレーム加算信号を生成し、コントラスト評価部４０１により各フレーム加算信号のコントラスト評価値を求め、使用するフレームの組み合わせを決定する。

「相関演算」は、相関演算を実行するタイミングを表しており、上述したコントラスト評価により決定されたフレームの組み合わせのフレーム加算信号を用いて、相関演算部１０９で相関演算を行う。例えば、コントラスト評価期間７２５で決定された組み合わせのフレーム加算信号を用いて、期間７２６で相関演算を行う。

「レンズ駆動」は、フォーカスレンズを駆動するタイミングを表しており、期間７２７において、期間７２６で得られた相関演算の結果に基づいてデフォーカス量を演算し、目標のレンズ位置にレンズを駆動して、次の第（ｎ＋６）フレームからの露光に備える。

上記の通り第７の実施形態によれば、撮像素子から高速に転送されるフレーム信号を用いて、画像とは独立に、任意の露光時間の焦点検出信号を得ることができる。

＜第８の実施形態＞
次に、本発明の第８の実施形態について説明する。上述した第７の実施形態と比較して、第８の実施形態ではフレーム加算の打ち切りの判断に動き検出結果を利用するところが異なる。

図２５は、第８の実施形態における撮像装置の概略構成を示すブロック図である。図２５に示す撮像装置は、図２２に示す構成と比較して、フロントエンジン８０３に、コントラスト評価部４０１の代わりに動き検出部５０１が追加されていると共に、焦点検出部８０２による処理が、第７の実施形態における焦点検出部７０２による処理と異なる。なお、動き検出部５０１は、第５の実施形態の図１８における動き検出部５０１と同様の構成を有する。これら以外の構成は、図２３と同様であるため、同様の構成要素に関しては同じ参照番号を付して説明を省略する。

図２６は、第８の実施形態における焦点検出処理のフローチャートである。なお、図２３に示す第７の実施形態におけるフローチャートとの違いは、Ｓ８０１で動き検出部５０１を用いて動きを検出し、動き量に基づいて、フレーム加算に用いるフレームの組み合わせを決定する点である。なお、上述した様に、３フレーム分のＡ像信号及びＢ像信号がＡ／Ｂ像メモリ１０８に記憶されている場合、６種類のフレームの組み合わせが考えられる。ここで、フレーム数が１の組み合わせの場合、動き検出は不可能なので、動き量０として評価し、フレーム１＋２＋３の場合は、フレーム１と２との間の動き量と、フレーム２と３との間の動き量の合計とする。また、動き量の幅が一定範囲（実施例２では位相差０．５ピクセル）以内であれば加算量の多いほうを選択する。

上記以外の処理は図２３に示す処理と同様であるため、同じステップ番号を付し、説明を省略する。

上記の通り第８の実施形態によれば、動き検出を利用して、第７の実施形態と同様の効果を得ることができる。

＜第９の実施形態＞
次に、本発明の第９の実施形態について説明する。第７及び第８の実施形態では、Ａ像信号及びＢ像信号がブレによるコントラスト低下を起こしていないフレームの組み合わせを選択して、フレーム加算を行うように制御していた。これに対して第９の実施形態では、Ａ像信号及びＢ像信号のブレを相殺しながら、フレーム加算を行う。

図２７は、第９の実施形態における撮像装置の概略構成を示すブロック図である。図２７に示す撮像装置は、図２５に示す構成と比較して、フロントエンジン９０３における動き検出部５０１の接続位置と、焦点検出部９０２における処理が第８の実施形態における処理と異なる。それ以外の構成は、図２５と同様であるため、同様の構成要素に関しては同じ参照番号を付して説明を省略する。

以下、図２８のフローチャートを参照して、第９の実施形態における焦点検出処理について説明する。なお、図２８に示す処理の内、図２３または図２６に示す処理と同様の処理には同じステップ番号を付して、適宜説明を省略する。

Ｓ７０４で、予め決められた露光時間が経過すると、Ｓ９０１に進み、Ａ／Ｂ像メモリ１０８から順次連続する２フレームのＡ像信号及びＢ像信号を読み出して、フレーム間の動きを検出し、検出した動き量をＡ／Ｂ像フレーム加算部４０７に出力する。

次のＳ９０２において、Ａ／Ｂ像フレーム加算部４０７は検出された動き量に従って、動きを相殺するように像をずらしながら、すべてのフレームを順次加算する。

Ｓ９０３では、相関演算部１０９が、動きが相殺されたフレーム加算信号を用いて相関演算を行い、得られた相関波形データを相関波形メモリ１１０へ格納する。この相関波形データに基づいて焦点検出部７０２がデフォーカス量を算出する。

上記の通り本第９の実施形態によれば、第７の実施形態における効果と同様の効果が得られると共に、ブレを補正しながらフレーム加算を行うため、ブレの少ないフレーム加算信号を用いて、より精度の高い焦点検出を行うことが可能になる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばカメラヘッド、ホストコンピュータ、インターフェイス機器など）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、撮像装置など）に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０２：撮像素子、１０３，２０３，３０３，４０３，５０３，６０３，７０３，８０３，９０３：フロントエンジン、１０４：Ａ＋Ｂ像生成部、１０５：画像メモリ、１０６：画像フレーム加算部、１０７，４０７：Ａ／Ｂ像フレーム加算部、１０８：Ａ／Ｂ像メモリ、１０９：相関演算部、１１０：相関波形メモリ、１１１，２０２，３０２，４０２，５０２，６０２，７０２，８０２，９０２：焦点検出部、１１２：フォーカス制御部、１１３：映像エンジン、１４８：フレーム加算信号生成部、１４９：飽和判定部、２０１：相関波形加算部、３０１：デフォーカスメモリ、４０１：コントラスト評価部、５０１：動き検出部、

Claims (16)

1. 予め決められた第１の周期で撮像素子から出力された信号から、視差を有する一対の第１の焦点検出信号と、第２の焦点検出信号とを取得する取得手段と、
   前記取得手段により取得した前記第１の焦点検出信号および前記第２の焦点検出信号のうち、予め決められた条件に基づいて決められたフレームの前記第１の焦点検出信号および前記第２の焦点検出信号に対して、前記第１の焦点検出信号および前記第２の焦点検出信号を取得する毎に、それぞれフレーム間加算を行って、第１の加算信号および第２の加算信号を出力する加算手段と、
   前記第１の加算信号および前記第２の加算信号に基づいて、焦点状態を検出する検出手段と、
   前記予め決められた条件に基づいて、前記加算手段によるフレーム間加算を打ち切るかどうかを判断する判断手段と、を有し、
   前記決められたフレームが１フレームである場合には、前記加算手段は、当該フレームの前記第１の焦点検出信号および前記第２の焦点検出信号を前記第１の加算信号および前記第２の加算信号として出力し、
   前記検出手段は、前記判断手段により前記フレーム間加算を打ち切ると判断された場合に、当該判断が為される１フレーム前に得られた第１の加算信号および第２の加算信号に基づいて、焦点状態を検出することを特徴とする焦点検出装置。
2. 前記判断手段は、前記第１の加算信号および第２の加算信号を、それぞれ予め決められた閾値と比較することで、信号の飽和状態を検出し、前記予め決められた条件として、飽和状態が検出された場合に、前記加算を打ち切ると判断することを特徴とする請求項１に記載の焦点検出装置。
3. 前記判断手段は、前記第１の加算信号および第２の加算信号のコントラストを検出し、前記予め決められた条件として、該コントラストが予め決められた閾値より低下した場合に、前記加算を打ち切ると判断することを特徴とする請求項１に記載の焦点検出装置。
4. 前記判断手段は、前記予め決められた条件として、前記第１の焦点検出信号および前記第２の焦点検出信号のフレーム間の動き量が、予め決められた動き量よりも大きい場合に、前記加算を打ち切ると判断することを特徴とする請求項１に記載の焦点検出装置。
5. 前記判断手段は、前記予め決められた条件として、前記第１の周期よりも長い、予め決められた第２の周期で、前記加算を打ち切ると判断することを特徴とする請求項１乃至４のいずれか１項に記載の焦点検出装置。
6. 前記検出手段は、
   前記第１の加算信号と前記第２の加算信号の相関演算を行って位相差毎の相関値を検出する相関演算手段と、
   前記第２の周期の各期間の間に検出された相関値を位相差毎に加算する加算手段と、
   前記第２の周期で、前記加算手段により加算された位相差毎の相関値に基づいて、デフォーカス量を求める焦点検出手段と
   を有することを特徴とする請求項５に記載の焦点検出装置。
7. 前記検出手段は、
   前記第１の加算信号と前記第２の加算信号の相関演算を行って位相差毎の相関値を検出する相関演算手段と、
   前記位相差毎の相関値に基づいて、デフォーカス量を求める焦点検出手段と、
   前記第２の周期の各期間の間に検出されたデフォーカス量を加算する加算手段と、を有し、
   前記焦点検出手段は、前記第２の周期で、前記加算手段により加算されたデフォーカス量を平均することを特徴とする請求項５に記載の焦点検出装置。
8. 予め決められた第１の周期で撮像素子から出力された信号から、視差を有する一対の第１の焦点検出信号と、第２の焦点検出信号とを取得する取得手段と、
   前記第１の周期よりも長い、予め決められた第２の周期の各期間の間に前記取得手段により取得した前記第１の焦点検出信号および前記第２の焦点検出信号を記憶する記憶手段と、
   前記記憶手段に記憶された前記第１の焦点検出信号および前記第２の焦点検出信号のうち、予め決められた条件に基づいて決められたフレームの前記第１の焦点検出信号および前記第２の焦点検出信号に対して、異なる複数の組み合わせでフレーム間加算を行って、複数対の第１の加算信号および第２の加算信号とを出力する加算手段と、
   前記加算手段により得られた前記複数対の前記第１の加算信号および前記第２の加算信号のうち、前記予め決められた条件に基づいて、いずれかを選択する選択手段と、
   前記選択手段により選択された前記第１の加算信号および前記第２の加算信号に基づいて、焦点状態を検出する検出手段と、を有し
   前記決められたフレームが１フレームである場合には、前記加算手段は、当該フレームの前記第１の焦点検出信号および前記第２の焦点検出信号を前記第１の加算信号および前記第２の加算信号として出力することを特徴とする焦点検出装置。
9. 前記選択手段は、前記複数対の前記第１の加算信号および第２の加算信号それぞれについてコントラストを検出し、前記予め決められた条件として、コントラストが最も高い前記第１の加算信号および第２の加算信号を選択することを特徴とする請求項８に記載の焦点検出装置。
10. 前記選択手段は、前記複数対の前記第１の加算信号および第２の加算信号の加算に用いられた、前記第１の焦点検出信号および前記第２の焦点検出信号のフレーム間の動き量をそれぞれ検出し、前記予め決められた条件として、前記動き量が最も小さい前記第１の加算信号および第２の加算信号を選択することを特徴とする請求項８に記載の焦点検出装置。
11. 前記検出手段は、更に、前記焦点状態に基づいて、合焦状態にするためのレンズの駆動量を算出し、
    前記第２の周期は、前記レンズの駆動周期であることを特徴とする請求項５乃至１０のいずれか１項に記載の焦点検出装置。
12. 請求項１乃至１１のいずれか１項に記載の焦点検出装置と、
    前記撮像素子と、
    前記取得手段により取得した前記第１の焦点検出信号と第２の焦点検出信号を加算して、画像信号を生成する生成手段と、
    前記生成手段により生成された画像信号を、予め決められた期間、フレーム間加算を行う第２の加算手段と
    を有することを特徴とする撮像装置。
13. 取得手段が、予め決められた第１の周期で撮像素子から出力された信号から、視差を有する一対の第１の焦点検出信号と、第２の焦点検出信号とを取得する取得工程と、
    加算手段が、前記取得工程で取得した前記第１の焦点検出信号および前記第２の焦点検出信号のうち、予め決められた条件に基づいて決められたフレームの前記第１の焦点検出信号および前記第２の焦点検出信号に対して、前記第１の焦点検出信号および前記第２の焦点検出信号を取得する毎に、それぞれフレーム間加算を行って、第１の加算信号および第２の加算信号を出力する加算工程と、
    検出手段が、前記第１の加算信号および前記第２の加算信号に基づいて、焦点状態を検出する検出工程と、
    前記予め決められた条件に基づいて、前記加算工程におけるフレーム間加算を打ち切るかどうかを判断する判断工程と、を有し、
    前記決められたフレームが１フレームである場合には、前記加算工程では、当該フレームの前記第１の焦点検出信号および前記第２の焦点検出信号を前記第１の加算信号および前記第２の加算信号として出力し、
    前記検出工程では、前記判断工程により前記フレーム間加算を打ち切ると判断された場合に、当該判断が為される１フレーム前に得られた第１の加算信号および第２の加算信号に基づいて、焦点状態を検出することを特徴とする焦点検出方法。
14. 取得手段が、予め決められた第１の周期で撮像素子から出力された信号から、視差を有する一対の第１の焦点検出信号と、第２の焦点検出信号とを取得する取得工程と、
    前記第１の周期よりも長い、予め決められた第２の周期の各期間の間に前記取得工程で取得した前記第１の焦点検出信号および前記第２の焦点検出信号を記憶手段に記憶する記憶工程と、
    加算手段が、前記記憶工程で記憶された前記第１の焦点検出信号および前記第２の焦点検出信号のうち、予め決められた条件に基づいて決められたフレームの前記第１の焦点検出信号および前記第２の焦点検出信号に対して、異なる複数の組み合わせでフレーム間加算を行って、複数対の第１の加算信号および第２の加算信号とを出力する加算工程と、
    選択手段が、前記加算工程において得られた前記複数対の前記第１の加算信号および前記第２の加算信号のうち、前記予め決められた条件に基づいて、いずれかを選択する選択工程と、
    検出手段が、前記選択工程で選択された前記第１の加算信号および前記第２の加算信号に基づいて、焦点状態を検出する検出工程と、を有し
    前記決められたフレームが１フレームである場合には、前記加算工程では、当該フレームの前記第１の焦点検出信号および前記第２の焦点検出信号を前記第１の加算信号および前記第２の加算信号として出力することを特徴とする焦点検出方法。
15. コンピュータを、請求項１乃至１１のいずれか１項に記載の焦点検出装置の各手段として機能させるためのプログラム。
16. 請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images