JP6415140B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法、及び撮像システムに関し、更に詳しくは、自動焦点調節機能を有する撮像装置及びその制御方法、及び撮像システムに関するものである。

従来より、撮像装置の焦点調節方法の一般的な方式として、コントラストＡＦ方式と位相差ＡＦ方式とがある。コントラストＡＦ方式も位相差ＡＦ方式もビデオカメラやデジタルスチルカメラで多く用いられるＡＦ方式であり、撮像素子が焦点検出用センサとして用いられるものが存在する。

この種の焦点調節方法は、光学系の諸収差により焦点検出結果に誤差を含む場合があり、その誤差を低減するための方法が種々提案されている。特許文献１には、焦点検出を行うために用いる信号から、互いに直交する２つの方向に周波数成分を抽出して補正し、補正後の周波数成分の加算出力に基づいて焦点検出を行う方法が開示されている。

このような焦点検出誤差は、上述の焦点調節方法によらず、コントラストＡＦ方式や位相差ＡＦ方式に用いられる焦点調節用信号列を取得する画素の撮像素子上での方向によって発生する。この誤差は、非点収差が発生する光学系を有する撮像装置を用いた場合などに発生する。

特開２００７−９４２３６号公報

しかしながら、特許文献１の構成では、以下に説明するように、焦点検出誤差の補正を十分に行えないといった問題がある。まず、特許文献１では、焦点検出誤差を低減するために、焦点調節用信号の評価方向を水平方向と垂直方向とし、その評価方向毎に検出した焦点検出結果を重み付けすることで、焦点検出を行う。一方で、焦点検出誤差は、評価方向ではなく、被写体のエッジの角度によって決定されるものである。例えば、斜め４５度方向にしか被写体のエッジの角度が存在しない場合には、水平方向の評価でも、垂直方向の評価でも、取得するべき焦点検出誤差は同じである。しかしながら、被写体のエッジの角度に応じて焦点検出誤差を補正する方法については、上述の特許文献１では言及されていない。

本発明は上記問題点を鑑みてなされたものであり、焦点検出を行う際に、被写体のエッジの角度に起因して発生する焦点検出誤差を適切に補正することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮影光学系を介して入射する光を光電変換して画像信号を出力する撮像素子と、前記撮像素子から出力された画像信号に基づいて、合焦位置を検出する焦点検出手段と、前記撮像素子から出力された画像信号に基づいて、画像に含まれる被写体のエッジ角度及びエッジ数を検出するエッジ検出手段と、前記検出されたエッジ角度及びエッジ数に基づいて合焦位置の補正量を求め、得られた該補正量に基づいて、前記焦点検出手段により検出された合焦位置を補正する補正手段とを有する。

本発明によれば、焦点検出を行う際に、被写体のエッジの角度に起因して発生する焦点検出誤差を適切に補正することができる。

本発明の実施形態におけるデジタルカメラの概略構成を示すブロック図。 実施形態における受光画素をレンズユニット側から見た平面図。 実施形態における読み出し回路を含む撮像素子１２２の概略構成を示す図。 実施形態における、撮影光学系の射出瞳面と、像面中央近傍に配置された画素の光電変換部との共役関係を説明する図。 実施形態におけるＴＶＡＦ焦点検出部の構成を主に示すブロック図。 実施形態における焦点検出領域の例を示す図。 実施形態におけるＡＦ処理手順を示すフローチャート。 実施形態におけるＢＰ補正情報の一例を示す図。 実施形態における被写体のエッジ角度の定義を示す図。 実施形態における各画素位置座標での勾配方向の算出方法を説明するための図。 実施形態における焦点検出領域のエッジ角度を求める方法を説明するための図。 実施形態における被写体のエッジ及びコントラストの例を示す図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、本実施形態では、本発明をレンズ交換可能な一眼レフタイプのデジタルカメラに適用した例について説明する。

●撮像装置の構成の説明
図１は、本実施形態におけるデジタルカメラの概略構成を示すブロック図である。上述したように、本実施形態におけるデジタルカメラは交換レンズ式一眼レフカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０と接続される。

レンズユニット１００は、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」と呼ぶ。）１０４、及び、駆動／制御系を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含むと共に被写体の像を形成する撮影レンズを有する。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体として光軸方向ＯＡに進退し、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。また、フォーカスレンズ１０４を光軸方向ＯＡに進退させることで焦点調節が行われる。

駆動／制御系は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。

ズーム駆動回路１１４は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動して、第１レンズ群１０１や第２レンズ群１０３を光軸方向ＯＡに進退駆動させることで、ズーム操作を行う。絞りシャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口径を制御して、撮影光量を調節すると共に、静止画撮影時の露光時間の制御を行う。フォーカス駆動回路１１６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御して、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動させることで、焦点調節を行う。また、フォーカスアクチュエータ１１３には、フォーカスレンズ１０４の現在位置を検出する位置検出部としての機能が備わっている。

レンズＭＰＵ１１７は、レンズユニット１００に係る全ての演算、制御を行い、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズメモリ１１８を制御する。また、レンズＭＰＵ１１７は、現在のレンズ位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸上位置、撮影光学系が移動していない状態の射出瞳の光軸上位置、直径、射出瞳の光束を制限するレンズ枠の光軸上位置、直径などの情報を含む。レンズメモリ１１８には自動焦点調節に必要な光学情報を記憶する。

一方、カメラ本体１２０は、光学的ローパスフィルタ（ＬＰＦ）１２１、撮像素子１２２、駆動／制御系を有する。光学的ＬＰＦ１２１と撮像素子１２２はレンズユニット１００からの光束によって被写体像を形成する撮像光学系として機能する。また、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ１０４、光学的ＬＰＦ１２１は、上述した撮影光学系を構成している。

光学的ＬＰＦ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２はＣＭＯＳセンサとその周辺回路で構成され、横方向にｍ画素、縦方向にｎ画素が配置される。撮像素子１２２は、図２を参照して後述するような構成の光電変換素子を有する画素を含んでおり、後述する位相差方式の焦点検出（位相差ＡＦ）を行うための一対の信号を出力することができる。得られた信号の内、位相差ＡＦを行うための一対の信号は、画像処理回路１２４で焦点検出用画像データに変換される。一方で、得られた信号の内、表示や記録、コントラスト方式の焦点検出のために用いられる信号も画像処理回路１２４に送られ、目的に合わせた所定の処理が行われる。

駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を有する。

撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５及び画像処理回路１２４に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像信号のγ変換、カラー補間、ＪＰＥＧ圧縮などを行う。

カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る全ての演算、制御を行う。そして、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を制御する。また、カメラＭＰＵ１２５はマウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７に対してレンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行したり、レンズユニット１００に固有の光学情報を取得したりする。なお、カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。

表示器１２６はＬＣＤなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。メモリ１２８は、フラッシュメモリ等の着脱可能なメモリで、撮影済み画像を記録する。

撮像面位相差焦点検出部１２９は、撮像素子１２２、画像処理回路１２４により得られる焦点検出用画像データの像信号により位相差方式の焦点検出処理（撮像面位相差ＡＦ）を行う。より具体的には、撮像面位相差焦点検出部１２９は、撮影光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差ＡＦを行う。撮像面位相差ＡＦの方法については、後に詳細に説明する。

ＴＶＡＦ焦点検出部１３０は、画像処理回路１２４にて得られた画像情報のコントラスト成分により各種ＴＶＡＦ用評価値を算出し、コントラスト方式の焦点検出処理（ＴＶＡＦ）を行う。コントラスト方式の焦点検出処理では、フォーカスレンズ１０４を移動しながら複数のフォーカスレンズ位置で焦点評価値を算出し、焦点評価値がピークとなるフォーカスレンズ位置を検出する。

このように、本実施形態は撮像面位相差ＡＦとＴＶＡＦを組み合わせており、状況に応じて、選択的に使用したり、組み合わせて使用したりすることができる。カメラＭＰＵ１２５は、撮像面位相差ＡＦとＴＶＡＦ各々の焦点検出結果を用いて、フォーカスレンズ１０４の位置を制御する。

●焦点検出の説明
次に、撮像素子１２２の信号を用いた、デジタルカメラにおける焦点検出の詳細について説明する。実施形態の焦点検出では撮像面位相差ＡＦとＴＶＡＦを採用している。まず、それぞれのＡＦ方式について説明する。

（撮像面位相差ＡＦの説明）
最初に、図２から図４を用いて、撮像面位相差ＡＦについて説明する。図２は実施形態における撮像素子１２２の画素配列を模式的に示した図で、２次元ＣＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲を、レンズユニット１００側から観察した状態を示している。カラーフィルタにはベイヤー配列が適用され、奇数行の画素２１１には、左から順に緑（Green）と赤（Red）のカラーフィルタが交互に設けられる。また、偶数行の画素２１１には、左から順に青（Blue）と緑（Green）のカラーフィルタが交互に設けられる。また、オンチップマイクロレンズ２１１ｉがカラーフィルタの上に構成されている。オンチップマイクロレンズ２１１ｉの内側に配置された複数の矩形は、それぞれ光電変換部２１１ａ、２１１ｂである。

本実施形態では、すべての画素の光電変換部はＸ方向に２分割され、分割された一方の領域の光電変換信号と、２つの領域の光電変換信号の和をそれぞれ独立して読み出しできる構成となっている。そして、独立して読み出された信号を用いて、２つの領域の光電変換信号の和と分割された一方の領域の光電変換信号との差分をとることにより、もう一方の光電変換領域で得られる信号に相当する信号を得ることができる。このように分割された領域の光電変換信号は、位相差検出用の信号として、後述する方法で位相差ＡＦに用いられるほか、視差情報を有した複数画像から構成される立体（３Ｄ）画像を生成するために用いることもできる。一方で、２つの領域の光電変換信号の和は、通常の撮影画像として用いられる。

図３は、本実施形態における読み出し回路を含む撮像素子１２２の概略構成を示す図である。１５１は水平走査回路、１５３は垂直走査回路である。そして各画素の境界部には、垂直走査ライン１５２ａ及び１５２ｂと、水平走査ライン１５４ａ及び１５４ｂが配線され、各光電変換部２１１ａ、２１１ｂからはこれらの走査ラインを介して信号が外部に読み出される。

なお、実施形態の撮像素子１２２は、解像度の異なる以下の２種類の読み出しモードで駆動可能とする。第１の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。

第２の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行うためのモードである。この場合に必要な画素数は全画素よりも少ないため、Ｘ方向及びＹ方向共に所定比率に間引いた画素からのみ信号を読み出す。また、高速に読み出す必要がある場合にも、同様に間引き読み出しモードを用いる。Ｘ方向に間引く際には、信号の加算を行ってＳ／Ｎの改善を図り、Ｙ方向に対する間引きは、間引かれる行の信号出力を無視する。位相差方式、コントラスト方式の焦点検出も、通常は、第２の読み出しモードで読み出された信号を用いて行われる。

図４は、本実施形態の撮像装置において、撮影光学系の射出瞳面と、像高ゼロ、すなわち像面中央近傍に配置された画素２１１の光電変換部との共役関係を説明する図である。撮像素子１２２の画素２１１の光電変換部２１１ａ、２１１ｂと、撮影光学系の射出瞳面とは、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。そして撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態における撮影光学系は変倍機能を有したズームレンズであるが、撮影光学系のタイプによっては、変倍操作を行うと射出瞳の像面からの距離や大きさが変化する。図４における撮影光学系は、焦点距離が広角端と望遠端の中間、すなわちＭｉｄｄｌｅの状態を示している。これを標準的な射出瞳距離Ｚｅｐと仮定して、オンチップマイクロレンズの形状や、像高（Ｘ、Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図４（ａ）において、鏡筒部材１０１ｂは第１レンズ群１０１を保持し、鏡筒部材１０４ｂはフォーカスレンズ１０４を保持する。絞り兼用シャッタ１０２は、絞り開放時の開口径を規定する開口板１０２ａと、絞り込み時の開口径を調節するための絞り羽根１０２ｂとを有する。なお、撮影光学系を通過する光束の制限部材として作用する鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ、及び鏡筒部材１０４ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り兼用シャッタ１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとしている。

また、図４（ａ）に示すように、画素２１１は、最下層より、光電変換部２１１ａ、２１１ｂ、配線層２１１ｅ〜２１１ｇ、カラーフィルタ２１１ｈ、及びオンチップマイクロレンズ２１１ｉの各部材で構成される。そして２つの光電変換部２１１ａ、２１１ｂはオンチップマイクロレンズ２１１ｉによって撮影光学系の射出瞳面に投影される。逆の言い方をすれば、撮影光学系の射出瞳が、オンチップマイクロレンズ２１１ｉを介して、光電変換部２１１ａ、２１１ｂの表面に投影されることになる。

図４（ｂ）は、撮影光学系の射出瞳面上における、光電変換部２１１ａ、２１１ｂの投影像を示したもので、光電変換部２１１ａ及び２１１ｂに対する投影像は各々ＥＰ１ａ及びＥＰ１ｂとなる。また本実施形態では、上述したように、撮像素子１２２は、２つの光電変換部２１１ａと２１１ｂのいずれか一方の出力と、両方の和の出力を得ることができる。両方の和の出力は、撮影光学系のほぼ全瞳領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換したものに対応する。

図４（ａ）において、撮影光学系を通過する光束の最外部をＬで示すように、光束は、絞りの開口板１０２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは撮影光学系によるケラレがほぼ発生していない。また、図４（ｂ）では、図４（ａ）の光束をＴＬで示している。円で示される光束ＴＬの内側に、光電変換部２１１ａ、２１１ｂの投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束は、絞りの開口板１０２ａでのみ制限されているため、光束ＴＬは、開口板１０２ａの開口径とほぼ等しいと言える。この際、像面中央では各投影像ＥＰ１ａ及びＥＰ１ｂのケラレ状態は光軸に対して対称となり、各光電変換部２１１ａ及び２１１ｂが受光する光量はほぼ等しい。

このように、マイクロレンズ２１１ｉと、分割された光電変換部２１１ａ及び２１１ｂにより、レンズユニット１００の射出光束が瞳分割される。そして、同一行上に配置された所定範囲内の複数の画素２１１において、光電変換部２１１ａの出力をつなぎ合わせて編成したものをＡＦ用Ａ像、同じく光電変換部２１１ｂの出力をつなぎ合わせて編成したものをＡＦ用Ｂ像とする。なお、ＡＦ用Ａ像及びＢ像の信号としては、光電変換部２１１ａ、２１１ｂの、ベイヤー配列の緑、赤、青、緑の出力を加算し、疑似的に輝度（Ｙ）信号として算出されたものを用いるものとする。但し、赤、青、緑の色毎に、ＡＦ用Ａ像、Ｂ像を編成してもよい。このように生成したＡＦ用Ａ像とＢ像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。なお、実施形態では、ＡＦ用Ａ像もしくはＢ像のいずれか一方は撮像素子１２２からは出力されないが、上述した通り、Ａ像出力とＢ像出力の和が出力されるため、その出力と他方の出力の差分から、もう一方の信号を得ることができる。

以上図２〜図４を参照して説明した様に、撮像素子１２２は射出瞳を分割した光束を受光する画素を備えているため、得られた信号から位相差ＡＦを行うことが可能である。

なお、上述の説明では、水平方向に射出瞳を分割する構成を説明したが、撮像素子１２２上に、垂直方向に射出瞳を分割する画素を合わせて設けてもよい。両方向に射出瞳を分割する画素を設けることにより、水平だけでなく、垂直方向の被写体のコントラストに対応した焦点検出を行うことができる。また、すべての画素の光電変換部を２分割するものとして説明したが、光電変換部を３分割以上してもよく、また、位相差ＡＦのみのためだけであれば一部の画素の光電変換部を分割するように構成してもよい。

（ＴＶＡＦの説明）
次に、ＴＶＡＦのための各種ＡＦ用評価値の算出の流れについて説明する。図５は、ＴＶＡＦ焦点検出部１３０の構成を主に示すブロック図である。

撮像素子１２２から読み出された信号がＴＶＡＦ焦点検出部１３０に入力されると、ＡＦ評価用信号処理回路４０１において、ベイヤー配列信号からの緑（Ｇ）信号の抽出と、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理が施される。実施形態では、ＴＶＡＦを緑（Ｇ）信号を用いて行う場合を説明するが、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の全ての信号を用いてもよい。また、ＲＧＢ全色用いて輝度（Ｙ）信号を生成してもよい。従って、ＡＦ評価用信号処理回路４０１で生成される出力信号は、用いられた色によらず、以後の説明では、輝度信号Ｙと呼ぶこととする。

次に、Ｙピーク評価値の算出方法について説明する。ＡＦ評価用信号処理回路４０１によってガンマ補正された輝度信号Ｙは、水平ライン毎のラインピーク値を検出するためのラインピーク検出回路４０２へ入力される。この回路によって、領域設定回路４１３によって設定された各焦点検出領域内で水平ライン毎のＹラインピーク値が求められる。更に、ラインピーク検出回路４０２の出力は垂直ピーク検出回路４０５に入力される。この回路によって、領域設定回路４１３によって設定された各焦点検出領域内で垂直方向にピークホールドが行われ、Ｙピーク評価値が生成される。Ｙピーク評価値は、高輝度被写体や低照度被写体の判定に有効である。

次に、Ｙ積分評価値の算出方法について説明する。ＡＦ評価用信号処理回路４０１によってガンマ補正された輝度信号Ｙは、水平ライン毎の積分値を検出するための水平積分回路４０３へ入力される。この回路によって、領域設定回路４１３によって設定された各焦点検出領域内で水平ライン毎の輝度信号Ｙの積分値が求められる。更に、水平積分回路４０３の出力は垂直積分回路４０６に入力される。この回路によって、領域設定回路４１３によって設定された各焦点検出領域内で垂直方向に積分が行われ、Ｙ積分評価値が生成される。Ｙ積分評価値から、各焦点検出領域内全体の明るさを判断することができる。

次に、Ｍａｘ−Ｍｉｎ評価値の算出方法について説明する。ＡＦ評価用信号処理回路４０１によってガンマ補正された輝度信号Ｙは、ラインピーク検出回路４０２に入力され、各焦点検出領域内で水平ライン毎のＹラインピーク値が求められる。また、ガンマ補正された輝度信号Ｙは、ライン最小値検出回路４０４に入力される。この回路によって、各焦点検出領域内で水平ライン毎の輝度信号Ｙの最小値が検出される。検出された水平ライン毎の輝度信号Ｙのラインピーク値及び最小値は減算器に入力され、（ラインピーク値−最小値）を計算した上で垂直ピーク検出回路４０７に入力される。この回路によって、各焦点検出領域内で垂直方向にピークホールドが行われ、Ｍａｘ−Ｍｉｎ評価値が生成される。Ｍａｘ−Ｍｉｎ評価値は、低コントラスト及び高コントラストの判定に有効である。

次に、領域ピーク評価値の算出方法について説明する。ＡＦ評価用信号処理回路４０１によってガンマ補正された輝度信号Ｙは、ＢＰＦ４０８に通すことによって特定の周波数成分が抽出され焦点信号が生成される。この焦点信号は、水平ライン毎のラインピーク値を検出するためのラインピーク検出回路４０９へ入力される。ラインピーク検出回路４０９は、各焦点検出領域内で水平ライン毎のラインピーク値を求める。求めたラインピーク値は、垂直ピーク検出回路４１１によって各焦点検出領域内でピークホールドされ、領域ピーク評価値が生成される。領域ピーク評価値は、ＡＦ評価範囲内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するための再起動判定に有効である。

次に、全ライン積分評価値の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路４０９は、各焦点検出領域内で水平ライン毎のラインピーク値を求める。次に、ラインピーク値を垂直積分回路４１０に入力し、各焦点検出領域内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。高周波全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、合焦位置の検出を行うためのＴＶＡＦのメインの評価値として有効である。実施形態では、デフォーカス状態に応じて評価値が変化し、焦点調節に用いるこの全ライン積分評価値を焦点評価値と呼ぶ。

領域設定回路４１３は、カメラＭＰＵ１２５により設定された画面内の所定の位置にある信号を選択するための各焦点検出領域用のゲート信号を生成する。ゲート信号は、ラインピーク検出回路４０２、水平積分回路４０３、ライン最小値検出回路４０４、ラインピーク検出回路４０９、垂直ピーク検出回路４０５、４０７、４１１、垂直積分回路４０６、４１０の各回路に入力される。そして、各評価値が各焦点検出領域内の輝度信号Ｙで生成されるように、輝度信号Ｙが各回路に入力するタイミングが制御される。また、領域設定回路４１３は、各焦点検出領域に合わせて、複数の領域の設定が可能である。

カメラＭＰＵ１２５内のＡＦ制御部１５１は、上述したようにして求められた各評価値を取り込み、フォーカス駆動回路１１６を通じてフォーカスアクチュエータ１１３を制御し、フォーカスレンズ１０４を光軸方向ＯＡに移動させてＡＦ制御を行う。

本実施形態では、各種のＡＦ用評価値を上述の通り水平ライン方向に算出するのに加えて、垂直ライン方向にも算出する。これにより、水平、垂直いずれの方向の被写体のコントラスト情報に対しても焦点検出を行うことができる。

ＴＶＡＦを行う際には、フォーカスレンズ１０４を駆動しながら、上述した各種のＡＦ用評価値を算出し、全ライン積分評価値が最大値となるフォーカスレンズ位置を検出することにより、焦点検出を行う。

●焦点検出領域の説明
図６は、撮影範囲内における焦点検出領域を示す図で、この焦点検出領域内で撮像素子１２２から得られた信号に基づいて撮像面位相差ＡＦ及びＴＶＡＦが行われる。図６において、点線で示す長方形は撮像素子１２２の撮影範囲２１７を示す。本実施形態では、撮影範囲２１７の中央部と左右２箇所の計３箇所に、撮像面位相差ＡＦを行う横方向の焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈが設定されている。また、３つの撮像面位相差ＡＦ用の焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈのそれぞれを包含する形で、ＴＶＡＦを行う焦点検出領域２１９ａ、２１９ｂ、２１９ｃが設定されている。ＴＶＡＦを行う焦点検出領域では図５の水平方向と垂直方向の焦点評価値を用いて、コントラスト検出を行う。

なお、図６では、大きく分けて３つの領域に焦点検出領域を配置した例を示しているが、本発明は３つの領域に限られるものではなく、任意の位置に複数の領域を配置してもよい。また、光電変換部がＹ方向に分割されている場合、撮像面位相差ＡＦ用の焦点検出領域として、縦方向に画素が並ぶ領域を設定すれば良い。

●焦点検出処理の流れの説明
次に、図７を参照して、上記構成を有するデジタルカメラにおける本実施形態による焦点検出（ＡＦ）処理について説明する。図７は、デジタルカメラのＡＦ処理手順を示すフローチャートである。この動作に関する制御プログラムは、カメラＭＰＵ１２５によって実行される。カメラＭＰＵ１２５は、ＡＦ動作を開始すると、Ｓ１０においてまず被写体に対する焦点調節を行うための焦点検出領域を図６に示したように設定し、位相差ＡＦもしくはコントラスト検出方式の焦点検出を行う。ここで得られた焦点検出結果をＤＥＦ＿Ｂとする。

次に、Ｓ１１において、ＢＰ（ベストピント）補正情報の取得を行う。ＢＰ補正情報は、各エッジ角度により生じる合焦位置の誤差を補正するための情報であり、レンズ毎に異なるため、カメラＭＰＵ１２５の要求に応じて、レンズＭＰＵ１１７を介して得られる。なお、カメラ本体１２０側で、レンズユニット１００に対応づけてＢＰ補正情報を記憶しておいても良い。図８は、レンズメモリ１１８に格納されているＢＰ補正情報の一例を示している。レンズメモリ１１８は、後述するようにして求められる被写体のエッジ角度θに応じた合焦位置補正情報ｆ（θ）を記憶している。ここで言う被写体のエッジ角度とは、図９に示すように、画面上での基準座標ＸＹに対する被写体のエッジの角度のことである。図９のような網掛の被写体を撮影した場合の被写体のエッジ角度はθであり、その時の合焦位置補正情報はｆ（θ）となる。

ＢＰ補正情報は、設計上の情報を持つ場合には、結像光学系の光軸に対して対象な焦点検出領域についての合焦位置補正情報ｆ（θ）は等しくなるので、図９上のθ＝０°〜４５°の情報を記憶していれば良い。また、被写体のエッジ角度によって補正値が大きく変化しない場合には、共通の値として記憶しても良い。

補正対象となっている焦点検出結果に応じたズーム位置、フォーカス位置に対応して、合焦位置補正情報が変化する場合には、各ズーム位置、フォーカス位置の状態毎に図８の補正情報を記憶することが望ましい。また、像高によっても変化するため、予め決められた像高に対する補正情報を記憶することが望ましい。

次に、Ｓ１２で、被写体のエッジ角度と数の取得を行う。前述したように、ここでは、各焦点検出領域毎に、画面上での座標ＸＹに対するエッジの角度θを検出する。図６に示す例では、ＤＥＦ＿Ｂを撮像面位相差ＡＦにより求めた場合には、焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈそれぞれについて、また、ＴＶＡＦにより求めた場合には、焦点検出領域２１９ａ、２１９ｂ、２１９ｃそれぞれについて求める。ここでは、エッジフィルタ処理等を施すことによって、エッジ検出を行い、エッジの角度を検出する。このようなエッジ角度の検出方法については、特に限定されないが、一例について、図１０を用いて説明する。

各画素位置座標（ｘ，ｙ）における勾配方向θ（ｘ，ｙ）は、例えば、次の式（１）により算出される。
θ（ｘ，ｙ）＝ｔａｎ^-1（Ｖ（ｘ，ｙ）／Ｈ（ｘ，ｙ）） …（１）
画素位置の座標（ｘ，ｙ）は、図９で示すように、水平右方向と、垂直上方向を正として与えられる直交座標である。ここで、Ｈ（ｘ，ｙ）は、座標（ｘ，ｙ）における特定周波数の水平コントラスト強度を示し、以下の式（２）で与えられる。ここでのＰ（α，β）は画素位置（α，β）での輝度値を示す。図１０は、画素レベルに拡大した際の、各座標の対応図である。
Ｈ（ｘ，ｙ）＝Ｐ（ｘ＋１，ｙ）−Ｐ（ｘ−１，ｙ） …（２）
同様に、Ｖ（ｘ，ｙ）は座標（ｘ，ｙ）における特定周波数の垂直コントラスト強度を示し、次式（３）で与えられる。
Ｖ（ｘ，ｙ）＝Ｐ（ｘ，ｙ＋１）−Ｐ（ｘ，ｙ−１） …（３）
ここでは、Ｈ（ｘ，ｙ）、Ｖ（ｘ，ｙ）のコントラスト強度算出の際の検波フィルタを（１，０，−１）としているが、これに限らず、被写体の周波数成分を検出できるものであれば変更が可能である。

次に、各画素位置座標（ｘ、ｙ）における勾配方向θ（ｘ、ｙ）から、各焦点検出領域における被写体のエッジ角度θ及びエッジ数ｎを取得する。ここでは、各焦点検出領域の各画素位置座標について勾配方向θ（ｘ，ｙ）を求め、焦点検出領域毎にヒストグラムを作成して、焦点検出領域毎に被写体のエッジ角度θ及びエッジ数ｎを求める。この方法について、図１１を用いて説明する。

図１１は、１つの焦点検出領域内において、各画素位置座標（ｘ，ｙ）で勾配方向θ（ｘ，ｙ）を算出した時に、横軸に算出された勾配方向θ、縦軸に検出数をとった時のヒストグラムである。焦点検出領域に、図９に示すような被写体が撮影されていたとすると、各画素位置座標（ｘ、ｙ）で検出された勾配方向θの発生頻度によるヒストグラムは、図１１のようになる。即ち、図９に示す被写体は、勾配方向θ＝３０°に強度を持つエッジを有することを示している。この時、撮像素子１２２の電気信号ノイズや被写体のボケ、レンズの収差等により、一定数の検出エラーが発生することが考えられるので、発生頻度が検出数閾値ＳＨ以上である勾配方向を、焦点検出領域の被写体のエッジ角度θとする。つまり、図１１の例では、検出数閾値ＳＨ以上の検出数を得る勾配方向θのみを、被写体のエッジ角度θとするので、θ＝３０°、ｎ＝１となる。

Ｓ１３では、Ｓ１２で検出された被写体のエッジ数ｎが１以下（即ち、１か０）であったか否かを判定する。エッジ数ｎが１以下の場合にはＳ１４に進み、補正値ＢＰ１＝０とする。これは、エッジ角度θが１つしか存在しない場合、焦点検出系の検出方向に因らず、焦点位置はそのエッジによってのみ決定されるため、エッジ角度に応じたＢＰ補正が必要無いためである。また、エッジを検出できない場合には、エッジ角度に応じたＢＰ補正ができないため、補正の必要が無い。

一方、Ｓ１３で被写体のエッジ数ｎが複数と判定された場合には、Ｓ１５に進む。Ｓ１５では、Ｓ１１で取得したＢＰ補正情報から、複数のエッジ角度θそれぞれの合焦位置補正情報ｆ（θ）を取得する。図１２に示すように、被写体のエッジが２つ存在し、エッジ角度θが４５°、９０°の場合には、被写体のエッジ数ｎ＝２、図８のＢＰ補正情報で参照する合焦位置補正情報は、ｆ（４５）、ｆ（９０）となる。

次に、Ｓ１６では、Ｓ１５までで得られた被写体のエッジ角度θの合焦位置補正情報に対して重み付け計算を行って、補正値ＢＰ１を算出する。

ここで、図７（ｂ）を参照して補正値ＢＰ１の算出方法について説明する。Ｓ２０では、ＡＦ補正量Ａの算出を行う。ここでは、Ｓ１２で複数検出された被写体のエッジ角度θのうち、ＡＦ検出に使用されたエッジ角度θＸを選択し、ＢＰ補正情報テーブルから、ＡＦ補正量Ａ＝ｆ（θＸ）を検出する。

なお、エッジ角度θＸは、ＡＦ検出のライン毎に記憶されていても構わない。もしくは、被写体のエッジ角度θの中で、ＡＦ時に検出された確率の高いエッジ角度としても良い。例えば、図１２（ａ）に示す被写体の場合には、ＡＦ検出の走査方向がｘ軸正方向だったとすると、それに直交する角度（図１２（ａ）中では、最もθ＝９０°に近い角度）のエッジに基づいて検出される可能性が高い。この場合には、θＸ＝９０°としても良い。もしくは、エッジのコントラストが高い箇所での被写体のエッジ角度θをθＸとしても良い。例えば、図１２（ｂ）に示す被写体が焦点検出領域内に存在した場合に、Ｓ１２で検出される被写体のエッジ角度は、θ＝４５°、９０°であるが、図１２（ｂ）中の被写体では、θ＝４５°での被写体のコントラストが高いので、θＸ＝４５°となる。また、ＡＦ検出時の走査方向とエッジのコントラストの両方で判断する、もしくは、コントラストによって重み付け演算を行う、としても良い。ここでの被写体のコントラストの検出には、前述したＭａｘ−Ｍｉｎ評価値などを用いると良い。このように、予め決められた条件に基づいて、ＡＦ時に使用された確率の高いエッジ角度を求める。

次に、Ｓ２１では、検出領域補正量Ｂの算出を行う。ここでは、Ｓ１２で複数検出された被写体のエッジ角度θとＢＰ補正情報とから、画像に存在する各エッジ角度θｉでの合焦位置補正量ｆ（θｉ）の平均値を算出し、検出領域補正量Ｂを検出する。Ｓ１２で検出された被写体のエッジ数ｎをｋとすると
Ｂ＝Σｋ ｆ（θｉ） ／ｋ …（４）
として求めることができる。これは、例えば、図１２のように、被写体のエッジ角度が２つ（θ＝４５°、９０°）存在している場合には、撮影画像から人間の感じる被写体の合焦位置は、ｆ（４５）とｆ（９０）の平均で与えられると考えられるためである。この時、図１２（ｂ）のように、被写体のエッジ角度毎に被写体のコントラストが異なる場合には、撮影画像は、コントラストの強いエッジへのピントの敏感度が高くなることも考えられる。従って、Ｓ２０と同様に、被写体のコントラストで合焦位置補正量ｆ（θｉ）の重み付け処理を行って、加重平均を求めてもよい。また、顔などの主被写体が存在する場合には、主被写体に対する重み付け処理を行っても良い。

Ｓ２２では、Ｓ２１で検出された検出領域補正量Ｂと、Ｓ２０で検出されたＡＦ補正量Ａの差分を計算することで補正値ＢＰ１を計算する。
ＢＰ１＝Ａ−Ｂ …（５）

補正値ＢＰ１を算出後、図７（ａ）の処理に戻り、Ｓ１７では、算出された補正値ＢＰ１を用いて、以下の式（６）により、Ｓ１０で求められた焦点検出結果ＤＥＦ＿Ｂを補正し、ＤＥＦ＿Ａを算出する。
ＤＥＦ＿Ａ＝ＤＥＦ＿Ｂ−ＢＰ１ …（６）
ここでは、図６に示したように焦点検出領域毎に、被写体のエッジ角度θを検出し、焦点検出位置の補正を行う方法を示したが、ＡＦ検出ライン毎に補正を行っても良い。また、演算負荷の軽減のために、焦点検出領域の一部から、補正量を算出するなどしても良い。

次に、Ｓ１８では、式（６）で算出された補正後のデフォーカス量ＤＥＦ＿Ａに基づいてフォーカスレンズ１０４の駆動を行う（合焦制御）。次に、Ｓ１９に進み、レンズ駆動に用いたデフォーカス量が算出された焦点検出領域に関して、表示器１２６に合焦表示を行い、ＡＦ処理を終了する。

上記の通り本実施形態では、焦点検出を行う際に、被写体のエッジ角度に着目して、ＡＦ用の補正位置を算出している。そのため、ＡＦの方式に因らず、同様の方法で、補正値の算出を行うことができる。

１００：レンズユニット、１０４：フォーカスレンズ群、１１３：フォーカスアクチュエータ、１１６：フォーカス駆動回路、１１７：レンズＭＰＵ、１１８：レンズメモリ、１２０：カメラ本体、１２２：撮像素子、１２５：カメラＭＰＵ、１２９：撮像面位相差焦点検出部、１３０：ＴＶＡＦ焦点検出部

Claims (10)

1. 撮影光学系を介して入射する光を光電変換して画像信号を出力する撮像素子と、
   前記撮像素子から出力された画像信号に基づいて、合焦位置を検出する焦点検出手段と、
   前記撮像素子から出力された画像信号に基づいて、画像に含まれる被写体のエッジ角度及びエッジ数を検出するエッジ検出手段と、
   前記検出されたエッジ角度及びエッジ数に基づいて合焦位置の補正量を求め、得られた該補正量に基づいて、前記焦点検出手段により検出された合焦位置を補正する補正手段と
   を有することを特徴とする撮像装置。
2. 複数のエッジ角度と、前記複数のエッジ角度それぞれに対応する合焦位置の補正量とを示す補正情報を記憶する記憶手段を更に有し、
   前記補正手段は、前記記憶手段に記憶された前記検出されたエッジ角度に対応する合焦位置の補正量に基づいて、前記合焦位置を補正するための補正量を求めることを特徴とする請求項１に記載の撮像装置。
3. 前記補正情報を前記撮影光学系から取得する手段を更に有することを特徴とする請求項２に記載の撮像装置。
4. 前記検出されたエッジ数が複数である場合に、前記補正手段は、前記検出された複数のエッジ角度それぞれに対応する合焦位置の補正量を平均、または加重平均し、該平均した補正量に基づいて、補正を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記補正手段は、前記検出された複数のエッジ角度のうち、前記焦点検出手段による合焦位置の検出に使用されたエッジ角度を予め決められた条件に基づいて選択して対応する補正量を求め、該求めた補正量と、前記平均した補正量との差分を用いて、補正を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記検出されたエッジ数が複数でない場合に、前記補正手段は補正を行わないことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記焦点検出手段は、予め設定された焦点検出領域に含まれる画像信号に基づいて、合焦位置を検出し、
   前記エッジ検出手段は、前記焦点検出領域に含まれる画像信号に基づいて、前記エッジに関する情報を検出する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記焦点検出手段は、前記画像信号のコントラストに基づいて、合焦位置を検出することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像素子は複数のマイクロレンズを含み、該複数のマイクロレンズのうち少なくとも一部のマイクロレンズが、それぞれ複数の光電変換素子に対応するように構成され、
   前記焦点検出手段は、前記複数の光電変換素子に対応する一対の画像信号の位相差に基づいて、合焦位置を検出することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 撮影光学系を介して入射する光を光電変換して画像信号を出力する撮像素子を備えた撮像装置の制御方法であって、
    前記撮像素子から出力された画像信号に基づいて、合焦位置を検出する焦点検出工程と、
    前記撮像素子から出力された画像信号に基づいて、画像に含まれる被写体のエッジ角度及びエッジ数を検出するエッジ検出工程と、
    補正手段が、前記検出されたエッジ角度及びエッジ数に基づいて合焦位置の補正量を求め、得られた該補正量に基づいて、前記焦点検出工程で検出された合焦位置を補正する補正工程と
    を有することを特徴とする撮像装置の制御方法。