JP6366374B2 - 焦点検出装置及びその制御方法 - Google Patents

Description

本発明は、焦点検出装置及びその制御方法に関し、特に画像を撮影するための撮像素子により得られる画像信号を用いて焦点調節を行う焦点検出装置及びその制御方法に関する。

デジタルカメラやビデオカメラにおいては、ＣＣＤやＣＭＯＳセンサ等の撮像素子の出力信号を利用し、被写体のコントラスト評価値に応じた信号を検出して合焦させるコントラスト検出式のオートフォーカス（以下、ＡＦ）方法が一般的に用いられている。この方法では、フォーカスレンズを所定の移動範囲にわたって光軸方向に移動させながら被写体のコントラスト評価値を順次検出し（ＡＦスキャン動作）、コントラスト評価値が最大となるフォーカスレンズ位置を合焦位置として検出する。

また、撮像素子からの出力信号を内蔵メモリ（ＳＤＲＡＭ）に記憶し、記憶した出力信号から、撮像素子の主走査方向及び副走査方向のコントラスト評価値を取得することで、より高精度に合焦制御を行う焦点検出装置が知られている。一般的には、水平方向が撮像素子の主走査方向であるので、垂直方向である副走査方向にコントラスト評価を行う際には、複数ライン分の撮像素子からの信号（センサ信号）を記録することができるだけのメモリ容量が必要となる。

特許文献１は、垂直方向のコントラスト評価を行う際のメモリ容量を削減するために、水平方向（主走査方向）には、センサ信号を加算した状態で記憶する方法が開示されている。一ライン分のセンサ信号が加算信号数分の１に削減されるので、少ないメモリ容量で、垂直方向（副走査方向）の焦点検出を実現することが可能である。

特許文献２は、焦点検出の計算タクトを削減するために、合焦度合に応じて、間引き率を変更する方法が開示されている。大きく画像がボケている時には、間引き率を大きくし、合焦位置付近では間引き率を小さくすることで、高精度な焦点検出を行うことが可能である。

特開平８−３１７２７２号公報 特開２００８−１９９４７７号公報

しかしながら、特許文献１に開示された従来技術では、主走査方向には合焦度合に関わらず、一律の加算率でセンサ信号を加算して垂直方向の焦点検出を行うので、焦点検出精度が損なわれてしまう可能性がある。例えば、合焦付近で加算率を大きくしてしまうと、高周波成分が失われた状態で焦点検出をすることになってしまい、高精度な焦点検出ができない可能性がある。

一方で、特許文献２に開示された従来技術では、被写体の合焦度合に応じてセンサ信号の間引き率を変更する方法が開示されているが、コントラスト評価値を取得する際のフィルタ処理については述べられていない。また、副走査方向のコントラスト評価についても述べられていない。例えば、特許文献２では、ボケが大きい場合には合焦度合が低いと判定され、間引き率を大きく設定する。この場合に、高周波フィルタで評価してしまうと、十分な焦点検出精度が出ない可能性がある。

本発明は上記問題点を鑑みてなされたものであり、撮像素子から得られる画像信号を用いて、撮像素子の主走査方向及び副走査方向共に高精度な焦点検出を行えるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、２次元状に配置された複数の画素を有する撮像素子と、前記撮像素子の副走査方向の合焦評価値を得るための、異なる周波数の信号の処理にそれぞれ適した複数のフィルタと、前記複数のフィルタから使用するフィルタを選択する選択手段と、前記使用するフィルタに応じて、前記撮像素子の主走査方向の間引き率を設定する設定手段と、前記複数の画素の領域のうち、焦点調節処理に用いる信号を読み出す検出領域から、前記設定手段により設定された間引き率で画像信号を順次読み出し、記憶手段に記憶するように制御する制御手段と、前記検出領域における画像信号のラインのうち、前記使用するフィルタによる処理に必要なライン数の画像信号が前記記憶手段に記憶される毎に、該記憶された画像信号を前記使用するフィルタにより処理して、合焦評価値を求める処理手段と、前記処理手段により得られた合焦評価値に基づいて、前記焦点調節処理を行う焦点調節手段とを有し、前記設定手段は、前記使用するフィルタが第一の周波数より高い第二の周波数の信号の処理に適している場合、前記フィルタが第一の周波数の信号の処理に適している場合より低い間引き率を設定する。

本発明によれば、撮像素子から得られる画像信号を用いて、撮像素子の主走査方向及び副走査方向共に高精度な焦点検出を行うことができる。

第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態におけるＡＦ動作手順を示すフローチャート。 第１の実施形態におけるＡＦ枠の一例を示す図。 第１の実施形態における間引き率を説明するための図。 第１の実施形態における合焦度とフィルタ及び間引き率との組み合わせの概念を示す図。 第１の実施形態における合焦判定の一例を示す図。 第１の実施形態における異なる合焦度の時に読み出される撮像素子の画素の概念を示す図。 第２の実施形態におけるＡＦ動作手順を示すフローチャート。 メモリ８を説明するための図。 メモリ８を説明するための図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
本発明の好ましい第１の実施形態について、図１〜図６に基づいて詳細に説明する。図１は、本発明の第１の実施形態における焦点検出装置を備えた撮像装置の概略構成を示すブロック図である。

図１において、１は、例えばデジタルスチルカメラやデジタルビデオカメラ等の撮像装置である。ズームレンズ群２及びフォーカスレンズ群３は、撮影光学系を構成している。絞り４は撮影光学系を透過する光束の量を制御する。ズームレンズ群２、フォーカスレンズ群３、絞り４は、レンズ鏡筒３１内に構成される。

撮像素子５は、例えばＣＣＤやＣＭＯＳセンサ等に代表されるセンサで、複数の画素が２次元状に配置され、撮影光学系を透過して結像された被写体像を光電変換する。撮像回路６は撮像素子５により光電変換された電気信号を受けて各種の画像処理を施すことにより所定の画像信号を生成する。Ａ／Ｄ変換回路７は撮像回路６により生成されたアナログ画像信号をデジタル画像信号に変換する。

メモリ８はＡ／Ｄ変換回路７から出力されるデジタル画像信号を一時的に記憶するバッファメモリ等であり、例えばＳＤＲＡＭにより構成される。撮像素子５の撮像領域の一部領域から出力される画像信号をメモリ８に記録し、メモリ８に記録した画像信号をＭＰＵ１５を介して後述するスキャンＡＦ処理回路１４に読み出して、焦点検出を行うことができる。

Ｄ／Ａ変換回路９はメモリ８に記憶された画像信号を読み出してアナログ信号に変換するとともに、再生出力に適する形態の画像信号に変換する。画像表示装置１０は、Ｄ／Ａ変換回路９により変換された画像信号を表示する液晶表示装置（ＬＣＤ）等である。圧縮伸長回路１１は、メモリ８に一時記憶された画像信号を読み出して圧縮処理や符号化処理を施し、記憶用メモリ１２での記憶に適した形態の画像データにする。記憶用メモリ１２は、圧縮伸長回路１１により処理された画像データを記憶する。また、圧縮伸長回路１１は、記憶用メモリ１２に記憶された画像データを読み出して伸長処理や復号化処理を施し、再生表示等をするのに最適な形態の画像データにする。

記憶用メモリ１２としては様々な形態のものを適用することができる。例えば、装置に対して着脱可能なカード形状やスティック形状を有するフラッシュメモリ等の半導体メモリの他、ハードディスクやフレキシブルディスク等の磁気記憶媒体であってもよい。

ＡＥ処理回路１３はＡ／Ｄ変換回路７から出力される画像信号を用いて自動露出（ＡＥ）処理を行う。また、スキャンＡＦ処理回路１４はＡ／Ｄ変換回路７から出力される画像信号を用いて受けてオートフォーカス（ＡＦ）処理を行う。

ＭＰＵ１５は撮像装置１の各構成の制御を行うものであり、演算用のメモリを内蔵している。タイミングジェネレータ（ＴＧ）１６は所定のタイミング信号を発生する。１７はＣＣＤドライバであり、ＴＧ１６からのタイミング信号に基づいて、撮像素子５を駆動する。

第１モータ駆動回路１８は、ＭＰＵ１５の制御に基づいて絞り駆動モータ２１を駆動することで絞り４を駆動する。第２モータ駆動回路１９は、ＭＰＵ１５の制御に基づいてフォーカス駆動モータ２２を駆動することでフォーカスレンズ群３を駆動する。また、第３モータ駆動回路２０は、ＭＰＵ１５の制御に基づいてズーム駆動モータ２３を駆動することでズームレンズ群２を駆動する。

操作スイッチ２４は各種のスイッチ群からなり、例えば、主電源スイッチ、撮影動作（記憶動作）等を開始させるレリーズスイッチ、再生スイッチ、ズームスイッチ、ＡＦ評価値信号のモニターへの表示をＯＮ／ＯＦＦするためのスイッチ等を含む。主電源スイッチは、撮像装置１を起動させ、電源供給を行うためのものである。また、レリーズスイッチは、撮影動作に先立って行われるＡＥ処理、ＡＦ処理を開始させる指示信号を発生する第１ストロークと実際の露光動作を開始させる指示信号を発生する第２ストロークとの二段スイッチにより構成される。再生スイッチは再生動作を開始させ、ズームスイッチは撮影光学系のズームレンズ群２を移動させズームを行わせる。

ＥＥＰＲＯＭ２５は電気的に書き換え可能な読み出し専用メモリで、各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている。２６は電池、２８はフラッシュ発光部、２７はフラッシュ発光部２８の閃光発光を制御するスイッチング回路、２９はＡＦ動作のＯＫ／ＮＧを表示するためのＬＥＤなどの表示素子である。

次に、図２を参照して、上記構成を有する撮像装置１の第１の実施形態における合焦動作（ＡＦ動作）について説明する。図２は、撮像装置１のＡＦ動作手順を示すフローチャートである。この動作に関する制御プログラムは、ＭＰＵ１５によって実行される。

ＭＰＵ１５は、ＡＦ動作を開始すると、まずＳ１においてＡＦ枠（検出領域）を設定する。この処理では、図３に示すように画像全領域に対して、焦点調節処理を行う検出領域を示すＡＦ枠３０１の位置と大きさを設定する。ＡＦ枠３０１の位置と大きさは、撮影モードに応じて手動または自動で適宜決めることができる。図３は顔検知モードで人間の顔に合わせてＡＦ枠３０１が設定された例を示す図である。ＭＰＵ１５は、この時のＡＦ枠３０１の行数Ｒと列数Ｃ及び位置（ｘ，ｙ）を記録する。なお、ＡＦ枠３０１の位置は、例えば、ＡＦ枠３０１のその他の角や中心の座標であってもよい。

次に、Ｓ２では、Ｓ１で設定したＡＦ枠３０１のＡＦスキャン（焦点検出動作）を開始するために、フォーカスレンズ群３の位置（フォーカスレンズ位置）ｎをスキャン開始位置（ｎ＝０）に移動する。Ｓ３において、移動したフォーカスレンズ位置ｎでＡＦ枠３０１内の画素から画像信号を順次読み出し、スキャンＡＦ処理回路１４において公知の方法で焦点評価値Ｅ［ｎ］を求め、ＭＰＵ１５に記憶する。更に、求めた焦点評価値Ｅ［ｎ］を用いて合焦度を算出する。本第１の実施形態で使用する合焦度は、ピントが合っているほど大きい値をとるパラメータとし、ピントが合っている時を「合焦度が高い」、ボケが大きくなる程「合焦度が低い」と表現する。ここでは、例えば、フォーカスレンズ位置ｎにおける主走査方向の焦点評価値Ｅ［ｎ］と輝度信号差分値Ｄ［ｎ］（ＡＦ枠内輝度信号最大値―ＡＦ枠内輝度信号最小値）との比を、合焦度Ｆ［ｎ］として用いる。即ち、合焦度Ｆ［ｎ］は次の式（１）で表すことができる。
Ｆ［ｎ］＝Ｅ［ｎ］／Ｄ［ｎ］ …（１）

Ｓ４では、Ｓ３で求めた合焦度に応じてフィルタを選択する。設定条件において、合焦時の合焦度Ｆ［ｎ］の大きさは予測可能であるので、合焦度Ｆ［ｎ］の大きさで、画像のボケ具合がどの程度大きいかを判断することができる。例えば、合焦度Ｆ［ｎ］が閾値以下の時には合焦度が低いと判断し、閾値を越える時には合焦度が高いと判断する。ここでの合焦度の判断は、２値に行っても良いし、各フォーカスレンズ位置での合焦度に応じて、段階的に行っても良い。

一般的に、合焦度が低いと判断された場合には、より低い周波数の信号の処理に適し、ボケが大きい場合でも評価値変化がある低周波フィルタを選択する。また、合焦度が高いと判断された場合には、より高い周波数の信号の処理に適し、合焦付近で評価値変化の大きい高周波フィルタを選択する。フィルタの選択を行うと、フィルタのタップ数Ｔが決まる。一般に、高周波フィルタではタップ数Ｔが少なく、低周波フィルタではタップ数Ｔが多い。本第１の実施形態では、撮像素子５の主走査方向に対して垂直方向（副走査方向）の焦点評価を行うことを目的としている。そのため、後述するように、ＡＦ動作のためにメモリ８は、最低でもフィルタのタップ数Ｔ×ＡＦ枠列数Ｃ（主走査方向の画素数）分のメモリ容量が必要となる。

次に、Ｓ５では、Ｓ４で選択されたタップ数Ｔ、即ち、フィルタによる処理に必要なライン数に応じて、間引き率を設定する。図４は、第１の実施形態における間引き率を説明するための図であり、撮像素子５の主走査方向の間引き率を１／３とした場合のＡＦ枠３０１内の領域を表している。図４において、四角枠一つ一つが画素（ｉ，ｊ）を表し、白で表されている画素が読み出す画素、網掛けされている画素が間引く（読み出しを行わない）画素である。主走査方向が行方向である場合、間引きは主走査方向に行うので、（１，１），（１，４），（１，７），…，（１，Ｃ），（２，１）（２，４），（２，７），…，（Ｒ，Ｃ）のように読み出す。また、例えば、（１，１），（１，７），…，（１，Ｃ）というように列方向に間引く場合には、間引き率は１／６となり、本実施形態では、間引き率１／６は、間引き率１／３よりも、「間引き率が大きい」と表現する。

合焦度が高いほど、高精度な焦点検出が必要となるが、フィルタのタップ数は少なくなるために、必要読み出し行数は少なくて済むので、間引き率を小さくすることができる。逆に、合焦度が低い時は、必要な読み出し行数が多いので、間引き率を大きくとる必要がある。間引き率１／Ｚとしては、１／Ｔを選択しても良いし、メモリ容量をＭとした場合に、Ｍ／（Ｔ×Ｒ×Ｃ）により求めても良い。なお、合焦度に応じたフィルタ及び間引き率の組み合わせの概念を、図５の表にまとめて表している。

次にＳ６において変数ｍを１に初期化する。次にＳ７においてＡＦ枠３０１内での画素の座標を表す（ｉ，ｊ）のｉを変数ｍに設定し、Ｓ８においてｉが第ｍ行から数えてフィルタのタップ数Ｔ分の画像信号を得るための最後の行を示しているかどうか（すなわち、ｉ＝ｍ＋Ｔ−１かどうか）を判断する。図４に示す例では、ｍ＝１、タップ数Ｔ＝３の場合、３行目かどうかを判断する。ｉがタップ数Ｔ分の画像信号を得るための最後の行を示している場合はＳ１４に進み、そうでなければＳ９に進む。

Ｓ９では、ＡＦ枠３０１内での画素の座標を表す（ｉ，ｊ）のｊを１に初期化し、Ｓ１０で（ｉ，ｊ）の画素から画像信号を読み出してメモリ８に記憶する。Ｓ１１においてｊが最後の列Ｃに達しているかどうか（ｊ＜Ｃかどうか）を判断する。達していなければＳ１２において、Ｓ５で選択した間引き率の逆数Ｚをｊに加算し、読み出し位置をＺ画素分ずらすことで、画素を間引く。そして、Ｓ１０に戻って（ｉ，ｊ）の画素から画像信号を読み出し、メモリ８への記憶を繰り返す。例えば、間引き率１／３の場合、３を加算することで、次のルーチンにおいて３列後の画素の信号を読み出す。Ｓ１１においてｊが最後の列Ｃに達していると判断されると、Ｓ１３で読み出す行を次の行に移し（ｉ＝ｉ＋１）、Ｓ８に戻る。

図４の例で説明すると、上述したＳ７〜Ｓ１３の処理を行うことで、次の画像信号が読み出される。例えば、変数ｍ＝１、フィルタのタップ数Ｔ＝３、間引き率１／Ｚ＝１／３の時、太線内の白により示された画素（１，１），（１，４），…，（１、Ｃ），（２，１），（２，４），…，（２，Ｃ）が読み出されてメモリ８に記録される。また、変数ｍ＝２の場合には、画素（２，１），（２，４），…，（２，Ｃ），（３，１），（３，４），…，（３，Ｃ）が読み出されてメモリ８に記録される。

Ｓ８で読み出す行ｉがタップ数Ｔ分の画像信号を得るための最後の行であると判断されると、Ｓ１４に進んでｊを１に初期化し、Ｓ１５で（ｉ，ｊ）の画素から画像信号を読み出し、メモリ８に記憶する。この読み出しにより、ｊ列目の副走査方向のコントラスト評価値Ｅｖ＿ｍ［ｊ］（合焦評価値）を算出するためのデータがメモリ８に揃うことになる。従って、Ｓ１６においてＳ４で設定したフィルタを用いてｊ列目のコントラスト評価値Ｅｖ＿ｍ［ｊ］を算出する。例えば、ｍ＝１、ｊ＝１の場合、図４に示す画素配列において、
Ｅｖ＿１［１］＝（１，１）＊ｔａｐ＿１＋（２，１）＊ｔａｐ＿２＋（３，１）＊ｔａｐ＿３ …（２）
により算出する。なお、上記式（２）において、（１，１）、（２，１）、（３，１）は対応する座標の画素から読み出された画像信号を表し、ｔａｐ＿１、ｔａｐ＿２、ｔａｐ＿３はフィルタ係数を示す。

Ｓ１７において、変数ｍが２以上であるかどうかを判断し、２未満の場合にはＳ１９に進んで、現在のフォーカスレンズ位置ｎにおけるｊ列目のコントラスト評価値Ｅｖ［ｊ］として、Ｓ１６で算出したコントラスト評価値Ｅｖ＿ｍ［ｊ］を保持する。

一方、変数ｍが２以上の場合には、Ｓ１８において、先に記憶されたコントラスト評価値Ｅｖ［ｊ］と今回算出したコントラスト評価値Ｅｖ＿ｍ［ｊ］を比較する。そして、今回算出したコントラスト評価値Ｅｖ＿ｍ［ｊ］の方が大きければ、Ｓ１９において、コントラスト評価値Ｅｖ［ｊ］として、コントラスト評価値Ｅｖ＿ｍ［ｊ］を保持する。大きくなければ、コントラスト評価値Ｅｖ［ｊ］を変更せずにＳ２０に進む。これにより、各列のコントラスト評価値の最大値が、Ｅｖ［ｊ］として保持される。

Ｓ２０では、Ｓ１１と同様にｊが最後の列Ｃに達しているかどうかを判断し、達していなければＳ２１においてｊを次の読み出し列に変更してＳ１５に戻り、上記処理を繰り返す。一方、達していれば、Ｓ２２において変数ｍを１増やし、Ｓ２３において増やした後の変数ｍによる処理に必要な行がＡＦ枠３０１に含まれるかどうか、即ち、ｍ≦Ｒ−Ｔ＋１かどうかを判断する。含まれている場合にはＳ７に戻って上述した処理を繰り返す。

一方、変数ｍによる処理に必要な行がＡＦ枠３０１から外れる場合には、ＡＦ枠３０１の全ての領域についての処理を終えていることになる。そのため、Ｓ２４において、各列のコントラスト評価値Ｅｖ［ｊ］を全て積算することで、フォーカスレンズ位置ｎでの副走査方向のコントラスト評価値Ｅｖ［ｎ］を得る。なお、ここで算出されたコントラスト評価値Ｅｖ［ｎ］は、合焦状態に近づけば近づくほど、大きな値を取る。

この後、フォーカスレンズ位置ｎを次の位置に設定するが、Ｓ２５において、現在のフォーカスレンズ位置ｎがフォーカスレンズ群３の駆動範囲における駆動終了位置ＬＰendであるかどうか判断する。現在のフォーカスレンズ位置ｎがＬＰendでなければ、Ｓ２６で次の位置にフォーカスレンズ位置ｎを移動し、Ｓ３に戻って、上述した手順により次のフォーカスレンズ位置ｎでの副走査方向のコントラスト評価値Ｅｖ［ｎ］を求める。現在のフォーカスレンズ位置ｎがＬＰendであれば、Ｓ２７に進んで合焦判定を行う。

図６はコントラスト評価値Ｅｖに基づく合焦判定の一例を示す。図６のように、フォーカスレンズ位置ｎが、ＬＰ１〜ＬＰ４まで変化し、各フォーカスレンズ位置ｎでのコントラスト評価値Ｅｖ［ｎ］がＥｖ［ＬＰ１］〜Ｅｖ［ＬＰ４］であるものとする。この場合のコントラスト評価値Ｅｖ［ＬＰ３］が最大値であるので、フォーカスレンズ位置ＬＰ３が最も合焦状態に近いことがわかる。

Ｓ２８においてＭＰＵ１５は合焦可能であるか否かを判定する。例えば、図６のようにコントラスト評価値Ｅｖ［ｎ］が１つのピーク値を有する場合には合焦可能であるが、２つ以上のピーク値を有する場合や、ピーク値が得られなかった場合などは合焦不可と判定する。合焦可能であると判定された場合、Ｓ２９で、ＭＰＵ１５は、コントラスト評価値Ｅｖ［ｎ］に基づいてピーク位置（mａｘ（Ｅｖ［ｎ］））を求め、求めたピーク位置にフォーカスレンズ群３を駆動する。図６に示す例では、フォーカスレンズ位置ＬＰ３にフォーカスレンズ群３を駆動する。そして、Ｓ３０でＭＰＵ１５は合焦表示を行い、ＡＦ動作を終了する。

一方、Ｓ２８で合焦可能であると判定されなかった場合、Ｓ３１でＭＰＵ１５は、予め設定された定点と呼ばれる、例えば、被写体の存在確率が高い位置などの所定の位置にフォーカスレンズ群３を駆動する。そして、Ｓ３２でＭＰＵ１５は非合焦表示を行い、ＡＦ動作を終了する。

ここで、上記ＡＦ動作で読み出される画素について、図７を参照して説明する。図７（ａ）は間引き率１／３、図７（ｂ）は間引き率１／６の時の例を示している。図５に示すように、Ｓ４において合焦度が高いと判断された場合には、タップ数が少なく、高周波成分の評価が可能な高周波フィルタが選択されると共に小さい間引き率が設定される。これにより、副走査方向のコントラスト評価値の算出に必要な範囲及び読み出される画素は図７（ａ）に示すようになる。一方、合焦度が低いと判断された場合には、タップ数が多く、低周波成分の評価が可能な低周波フィルタが選択されると共に大きい間引き率が設定され、副走査方向のコントラスト評価値の算出に必要な範囲及び読み出される画素は図７（ｂ）に示すようになる。言い換えると、図７（ａ）では、間引き率が小さいので読み出されて記憶される行数Ｒ´＿ａは少なくなり、図７（ｂ）では、間引き率が大きいので読み出される行数Ｒ´＿ｂはＲ´＿ａよりも多くなる。

上記の通り本第１の実施形態によれば、メモリ８に必要な容量を列数Ｃ／Ｚ×タップ数Ｔに抑えたまま、主走査方向に垂直な方向副走査方向のコントラスト評価値を高精度に求めることができる。つまり、合焦動作に用いるメモリ容量を増やすこと無く、撮像素子から得られる画像信号を用いて、撮像素子の主走査方向及び副走査方向共に高精度な焦点検出を行える。

なお、上記説明では図４に示すように読出す画像信号と読み出さない画像信号を一定パターンで繰り返す間引きを行うものとして説明したが、同周期で画像信号を加算して読み出しても良い。例えば、間引き率が１／３の場合、（１，１）＋（１，２）＋（１，３），（１，４）＋（１，５）＋（１，６），（１，７）＋（１，８）＋（１，９），…というように３画素ずつ画像信号を加算して読み出し、メモリ８に記録していく方法でも良い。

また、上記では変数ｍが増えるたびに、新たにＴ行分の画像信号を読み出す場合について説明したが、先に読み出した画像信号のうち、最初の１行を除く行の画像信号を、次の変数ｍでの処理に用いることができる。そのため、メモリ８に記憶された画像信号のうち、最初の１行を順次削除し、新しく読み出した１行をメモリ８に保持してくことにより、読み出しにかかる処理を削減することができる。

また、メモリ８の構成方法は以下のようにすると良い。一般的に、メモリ８の構成は図９（ａ）のようになる。走査線方向（図９中例示では、横方向）に読み出しが行われた行数Ｒ＝Ｎの情報は、まず、単一行メモリＲＡＭ（Ｎ）に記録される。ＲＡＭ（０）からＲＡＭ（Ｒ）までの単一行メモリに記録された情報はその後、メモリ８に記録される。次に、図９（ｂ）のようにメモリ８に記録された情報を、一つのＲＡＭから１データずつ読み出し、一列ごとにスキャンＡＦ処理回路１４に通すことで、縦方向のコントラスト評価がスムーズに可能となる。つまり、各単一行メモリＲＡＭには、Ｃ／Ｚの容量が確保されていることが望ましい。この時、メモリ８の容量はＣ／Ｚ×Ｒで決定される。

上記のように、メモリ８が複数のラインメモリＲＡＭ（Ｎ）によって構成される場合、単一行メモリＲＡＭ（Ｎ）の容量Ｃ／Ｚは、間引き率が最も大きい場合のＺによって構成されることが望ましい。これは、図９（ｂ）のように、ＡＦ処理回路に情報（Ｒ，Ｃ）を受け渡す際に、同時刻に読み出しが必要な情報を１つに抑えることで、高速化を図るためである。

たとえば、図１０（ａ）のようにＲＡＭ（Ｎ）が構成されていたとする。図１０（ａ）のＲＡＭ（Ｎ）は、図９（ａ）図示のＲＡＭ（Ｎ）よりも容量は２倍で、数が１／２の構成になっている。この場合でも必要なメモリ８の容量としては同量であるが、一つのＲＡＭ（Ｎ）に対して、２ラインの情報が記録されていくので、スキャンＡＦ処理回路１４での処理は図１０（ｂ）のようになる。つまり、スキャンＡＦ処理回路１４での処理は、一ライン中のＲＡＭ（Ｎ）から、同時刻に２つの情報の読み出しを行わなければならず、ＡＦ処理が遅くなってしまう可能性がある。

上記のように、メモリ８中のＲＡＭ（Ｎ）の構成は、容量Ｃ／Ｚで、ライン数分が確保されていることが望ましい。間引き率Ｚが変化する場合には、最も間引き率の大きいＺで、Ｃ／Ｚを設けることが望ましい。

また、メモリ８は、高周波フィルタ用と低周波フィルタ用をそれぞれ用意してもよい。この場合、合焦動作に用いるメモリ容量を増やすことになるが、スキャンＡＦ処理回路１４での処理に適した１ライン毎の情報をメモリ８に記憶させておくことができる。したがって、撮像素子から得られる画像信号を用いて、撮像素子の主走査方向及び副走査方向共に高精度な焦点検出を行える。

＜第２の実施形態＞
次に、図８を参照して本発明の第２の実施形態における撮像装置１のＡＦ動作について説明する。なお、撮像装置１の構成は、第１の実施形態で説明した撮像装置１の構成と同様であるため、説明を省略する。第１の実施形態との主な違いは、フィルタの選択方法にある。上述の第１の実施形態では、各フォーカスレンズ位置ｎで得られた合焦度に応じて、フィルタを選択していた。これに対し、第２の実施形態では、フォーカスレンズ位置の単位時間あたりの駆動間隔（以下、「サンプリング間隔」と呼ぶ。）に応じてフィルタを選択する。なお、図２を参照して説明した処理と同様の処理には同じステップ番号を付し、適宜説明を省略する。

Ｓ１においてＡＦ枠を設定すると、Ｓ１０１において、サンプリング間隔を選択する。このサンプリング間隔はスキャンモードによって変更される。例えば、無限から至近まで大まかな合焦位置探索を行う粗スキャン時には、サンプリング間隔は広く設定される。一方、粗スキャンで見つけた合焦近傍付近を、粗スキャンよりも密に探索する密スキャン時には、サンプリング間隔は狭く設定される。または、フォーカス駆動モータ２２によるレンズの駆動スピードによって判断しても良い。同じフレームレートでは、駆動スピードが速い場合にはサンプリング間隔が広い事が考えられ、駆動スピードが遅い場合にはサンプリング間隔が狭い事が考えられる。

Ｓ１０２では、Ｓ１０１で選択したサンプリング間隔に応じて、フィルタを選択する。サンプリング間隔が予め決められた閾値よりも広い場合には低周波フィルタを選択し、予め決められた閾値以下の場合には高周波フィルタを選択する。Ｓ５以降では上述した第１の実施形態と同様の処理を行う。

上記の通り本第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。

なお、上述した第１及び第２の実施形態では、撮像素子５の主走査線方向を水平方向として説明したが、本発明はこれに限るものではなく、例えば、垂直方向を主走査方向としても良い。

また、第１及び第２の実施形態では、被写体の合焦状態をフォーカスレンズ群３を移動することにより変化させたが、合焦状態を変化させる方法はこれに限るものではない。例えば、フォーカスレンズ群３ではなく撮像素子５を移動させ、フォーカスレンズ群３と撮像素子５との距離を変化させることにより実現してもよい。また、光線の入射角度情報（ライトフィールド情報）を取得できる撮像装置１で、再構成処理により合焦状態の変化を実現してもよい。

また、上述したような撮像装置の他に、入射する光学像をエリアセンサなどの２次元状に配列された固体撮像素子を用いて光電変換により電気的な画像として取得するものであれば、本願発明を適用することが可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５：撮像素子、６：撮像回路、８：メモリ、１４：スキャンＡＦ処理回路、１５：ＭＰＵ、１７：ＣＣＤドライバ、３０１：ＡＦ枠

Claims (9)

1. ２次元状に配置された複数の画素を有する撮像素子と、
   前記撮像素子の副走査方向の合焦評価値を得るための、異なる周波数の信号の処理にそれぞれ適した複数のフィルタと、
   前記複数のフィルタから使用するフィルタを選択する選択手段と、
   前記使用するフィルタに応じて、前記撮像素子の主走査方向の間引き率を設定する設定手段と、
   前記複数の画素の領域のうち、焦点調節処理に用いる信号を読み出す検出領域から、前記設定手段により設定された間引き率で画像信号を順次読み出し、記憶手段に記憶するように制御する制御手段と、
   前記検出領域における画像信号のラインのうち、前記使用するフィルタによる処理に必要なライン数の画像信号が前記記憶手段に記憶される毎に、該記憶された画像信号を前記使用するフィルタにより処理して、合焦評価値を求める処理手段と、
   前記処理手段により得られた合焦評価値に基づいて、前記焦点調節処理を行う焦点調節手段とを有し、
   前記設定手段は、前記使用するフィルタが第一の周波数より高い第二の周波数の信号の処理に適している場合、前記フィルタが第一の周波数の信号の処理に適している場合より低い間引き率を設定することを特徴とする焦点検出装置。
2. 前記検出領域から得られた画像信号に基づいて、前記複数のフィルタのうち、前記使用するフィルタを選択するために用いる、画像のボケ具合を表す合焦度を算出する算出手段を更に有し、
   前記選択手段は、前記複数のフィルタのうち、前記算出された合焦度が第一の合焦度よりも高い第二の合焦度の場合、前記第一の合焦度の場合より高い周波数の信号の処理に適したフィルタを前記使用するフィルタとして選択することを特徴とする請求項１に記載の焦点検出装置。
3. 前記制御手段は、更に、フォーカスレンズと前記撮像素子との距離を変化させながら、各距離において合焦評価値を取得するように制御し、
   前記選択手段は、前記複数のフィルタのうち、単位時間あたりに変化する前記距離の間隔が第一の間隔よりも小さい第二の間隔の場合、前記第一の間隔の場合より高い周波数の信号の処理に適したフィルタを前記使用するフィルタとして選択することを特徴とする請求項１に記載の焦点検出装置。
4. 前記フィルタによる処理に必要なライン数をＴとした場合に、前記設定手段は１／Ｔを間引き率として設定することを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。
5. 前記フィルタによる処理に必要なライン数をＴ、前記読み出した画像信号を記憶するための前記記憶手段のメモリ容量をＭ、前記検出領域の主走査方向の画素数をＣとした場合に、前記設定手段は、Ｍ／（Ｔ×Ｒ×Ｃ）を間引き率として設定することを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。
6. 前記制御手段は、処理するラインをずらしながら、前記検出領域すべてについて処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
7. ２次元状に配置された複数の画素を有する撮像素子と、前記撮像素子の副走査方向の合焦評価値を得るための、異なる周波数の信号の処理にそれぞれ適した複数のフィルタとを有する焦点検出装置の制御方法であって、
   前記複数のフィルタから使用するフィルタを選択する選択工程と、
   前記使用するフィルタに応じて、前記撮像素子の主走査方向の間引き率を設定する設定工程と、
   前記複数の画素の領域のうち、焦点調節処理に用いる信号を読み出す検出領域から、前記設定工程により設定された間引き率で画像信号を順次読み出し、記憶手段に記憶する読み出し工程と、
   前記検出領域における画像信号のラインのうち、前記使用するフィルタによる処理に必要なライン数の画像信号が前記記憶手段に記憶される毎に、該記憶された画像信号を前記使用するフィルタにより処理して、合焦評価値を求める処理工程と、
   前記処理工程で得られた合焦評価値に基づいて、前記焦点調節処理を行う焦点調節工程とを有し、
   前記設定工程では、前記使用するフィルタが第一の周波数より高い第二の周波数の信号の処理に適している場合、前記フィルタが第一の周波数の信号の処理に適している場合より低い間引き率を設定することを特徴とする焦点検出装置の制御方法。
8. 前記検出領域から得られた画像信号に基づいて、前記複数のフィルタのうち、前記使用するフィルタを選択するために用いる、画像のボケ具合を表す合焦度を算出する算出工程を更に有し、
   前記選択工程では、前記複数のフィルタのうち、前記算出された合焦度が第一の合焦度より高い第二の合焦度の場合、前記第一の合焦度の場合より高い周波数の信号の処理に適したフィルタを前記使用するフィルタとして選択することを特徴とする請求項７に記載の焦点検出装置の制御方法。
9. フォーカスレンズと前記撮像素子との距離を変化させながら、各距離において合焦評価値を取得するように制御する制御工程を更に有し、
   前記選択工程では、前記複数のフィルタのうち、単位時間あたりに変化する前記距離の間隔が第一の間隔よりも小さい第二の間隔の場合、前記第一の間隔の場合より高い周波数の信号の処理に適したフィルタを前記使用するフィルタとして選択することを特徴とする請求項７に記載の焦点検出装置の制御方法。

Images