以下、本発明の実施例による、本発明の撮像装置を、レンズ交換可能な一眼レフタイプのデジタルカメラに適用した例について説明する。
(撮像装置の構成の説明)
図2は本実施例のデジタルカメラのブロック図である。本実施例のデジタルカメラは交換レンズ式一眼レフカメラであり、レンズユニット100とカメラ本体120とを有する。レンズユニット100は図中央の点線で示されるマウントMを介して、カメラ本体120と接続される。
レンズユニット100は、第1レンズ群101、絞り兼用シャッタ102、第2レンズ群103、フォーカスレンズ群(以下、単に「フォーカスレンズ」という)104、及び、駆動/制御系を有する。このようにレンズユニット100は、フォーカスレンズ104を含むと共に被写体の像を形成する撮影レンズを有する。
第1レンズ群101は、レンズユニット100の先端に配置され、光軸方向OAに進退可能に保持される。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ102及び第2レンズ群103は一体として光軸方向OAに進退し、第1レンズ群101の進退動作との連動によりズーム機能を実現する。フォーカスレンズ104は、光軸方向の進退により焦点調節を行う。
駆動/制御系は、ズームアクチュエータ111、絞りシャッタアクチュエータ112、フォーカスアクチュエータ113、ズーム駆動回路114、絞りシャッタ駆動回路115を有する。
また、駆動/制御系は、フォーカス駆動回路116、レンズMPU117、レンズメモリ118、シフト/チルト/回転操作部材140、変位量検出手段141、変位方向検出手段142を有する。
ズームアクチュエータ111は、第1レンズ群101や第3レンズ群103を光軸方向OAに進退駆動し、ズーム操作を行なう。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。
フォーカスアクチュエータ113で、フォーカスレンズ104を光軸方向OAに進退駆動して焦点調節を行なう。フォーカスアクチュエータ113は、フォーカスレンズ104の現在位置を検出する位置検出部としての機能が備わっている。
ズーム駆動回路114は、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。シャッタ駆動回路115は、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。
フォーカス駆動回路116は、焦点検出結果に基づいてフォーカスアクチュエータ113を駆動制御し、フォーカスレンズ104を光軸方向OAに進退駆動して焦点調節を行なう。
レンズMPU117は、撮影レンズに係る全ての演算、制御を行い、ズーム駆動回路114、シャッタ駆動回路115、フォーカス駆動回路116、レンズメモリ118を制御する。また、レンズMPU117は、現在のレンズ位置を検出し、カメラMPU125からの要求に対してレンズ位置情報を通知する。
つまり、撮像装置は、撮影光学系を有するレンズ部と撮像素子を有する撮像部が着脱可能に構成されていた場合、レンズ部は、撮像部に対して撮影光学系により形成される撮像素子に入射する被写体像の空間周波数帯域ごとの結像位置に関する情報を通知する。
このレンズ位置情報は、フォーカスレンズの光軸上位置、撮影光学系が移動していない状態の射出瞳の光軸上位置、直径、射出瞳の光束を制限するレンズ枠の光軸上位置、直径などの情報を含む。レンズメモリ118には自動焦点調節に必要な光学情報を記憶する。
カメラ本体120は、光学的ローパスフィルタ121、撮像素子122、駆動/制御系を有する。
光学的ローパスフィルタ121と撮像素子122はレンズユニット100からの光束によって被写体像を形成する撮像光学系として機能する。第1レンズ群101、絞り兼用シャッタ102、第2レンズ群103、フォーカスレンズ群(以下、単に「フォーカスレンズ」という)104、光学的ローパスフィルタ121は、撮影光学系を構成している。
光学的ローパスフィルタ121は、撮影画像の偽色やモアレを軽減する。
撮像素子122はC−MOSセンサとその周辺回路で構成され、横方向m画素、縦方向n画素が配置される。撮像素子122は、焦点検出装置の一部を有し、位相差検出方式AFを行うことができる。得られた画像データの内、焦点検出に対応する画像データは、画像処理回路124で焦点検出用信号としての焦点検出用画像データに変換される。
一方で、得られた画像データの内、表示や記録やTVAFのために用いられる画像データも、画像処理回路124に送られ、目的に合わせた所定の処理が行われる。
駆動/制御系は、撮像素子駆動回路123、画像処理回路124、カメラMPU125、表示器126、操作スイッチ群127、メモリ128、撮像面位相差焦点検出部129、TVAF焦点検出部130を有する。
撮像素子駆動回路123は、撮像素子122の動作を制御するとともに、取得した画像信号をA/D変換してカメラMPU125に送信する。画像処理回路124は、撮像素子122が取得した画像のγ変換、カラー補間、JPEG圧縮などを行う。
カメラMPU(プロセッサ)125は、カメラ本体120に係る全ての演算、制御を行い、撮像素子駆動回路123、画像処理回路124、表示器126、操作SW127、メモリ128、撮像面位相差焦点検出部129、TVAF焦点検出部130を制御する。
カメラMPU125はマウントMの信号線を介してレンズMPU117と接続され、レンズMPU117に対してレンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行したり、レンズユニット100に固有の光学情報を取得したりする。
カメラMPU125には、カメラ動作を制御するプログラムを格納したROM125a、変数を記憶するRAM125b、諸パラメータを記憶するEEPROM125cが内蔵されている。
更に、カメラMPU125は、ROM125aに格納したプログラムにより焦点検出処理を実行する。焦点検出処理は、瞳の異なる領域を通過した光束により形成される光学像を光電変換した対の像信号を用いて、公知の相関演算処理を実行する。また、カメラMPU125は、撮像面位相差AFにおいて、焦点検出位置の像高が大きい時にケラレの影響が大きく信頼度が低下するため、その補正も行う。
表示器126はLCDなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群127は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。本実施例の記録手段としてのメモリ128は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。
撮像面位相差焦点検出部129は、撮像素子122、画像処理回路124により得られる焦点検出用画像データの像信号により位相差検出方式AFでの焦点検出処理を行う。より具体的には、撮像面位相差焦点検出部129は、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差AFを行う。撮像面位相差AFの方法については、後に詳細に説明する。
TVAF焦点検出部130は、画像処理回路124にて得られた画像情報のコントラスト成分により各種TVAF用評価値を算出し、コントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理は、フォーカスレンズ104を移動して焦点評価値がピークとなるフォーカスレンズ位置を検出する。
このように、本実施例は撮像面位相差AFとTVAFを組み合わせており、状況に応じて、選択的に使用したり、組み合わせて使用したりすることができる。撮像面位相差AFとTVAFは、各々の焦点検出結果を用いて、フォーカスレンズ104の位置を制御する制御手段として機能している。
(焦点検出装置の説明)
以上が、レンズユニット100とカメラ本体120からなるカメラシステムの構成である。次に、撮像素子122の信号を用いた焦点検出装置について詳細を説明する。この焦点検出装置は位相差検出方式AFとコントラスト方式AFを採用している。その構成について説明する。
(位相差検出方式AFの説明)
最初に、図3から図5を用いて、位相差検出方式AFの構成について説明する。
図3は本実施例における撮像素子の画素配列を示した図で、2次元C−MOSエリアセンサの縦(Y方向)6行と横(X方向)8列の範囲を、撮影光学系側から観察した状態を示している。カラーフィルタはベイヤー配列が適用され、奇数行の画素には、左から順に緑(Green)と赤(Red)のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に青(Blue)と緑(Green)のカラーフィルタが交互に設けられる。円211iはオンチップマイクロレンズを表わす。オンチップマイクロレンズの内側に配置された複数の矩形はそれぞれ光電変換部である。
本実施例では、すべての画素の光電変換部はX方向に2分割され、分割された一方の領域の光電変換信号と2つの光電変換信号の和は独立して読み出しできる構成となっている。そして、独立して読み出しされた信号は、2つの光電変換信号の和と分割された一方の領域の光電変換信号との差分をとることにより、もう一方の光電変換領域で得られる信号に相当する信号を得ることができる。
これらの分割された領域の光電変換信号は、後述する方法で位相差式焦点検出に用いられるほか、視差情報を有した複数画像から構成される3D(3−Dimensional)画像を生成することもできる。一方で、2つの光電変換信号の和は、通常の撮影画像として用いられる。
ここで、位相差式焦点検出を行なう場合の画素信号について説明する。後述するように、本実施例においては、図3のマイクロレンズ211iと、分割された光電変換部211a及び211bで、撮影光学系の射出光束を瞳分割する。
そして、同一行上に配置された所定範囲内の複数の画素211において、光電変換部211aの出力をつなぎ合わせて編成したものをAF用A像、同じく光電変換部211bの出力をつなぎ合わせて編成したものをAF用B像とする。光電変換部211a、211bの出力は、ベイヤー配列の緑、赤、青、緑の出力を信号加算処理したもので、疑似的に輝度(Y)信号として算出されたものを用いる。
但し、赤、青、緑の色ごとに、AF用A像、B像を編成してもよい。このように生成したAF用A像とB像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。
本実施例では、AF用A像もしくはB像は、いずれか一方は撮像素子からは出力されないが、上述した通り、A像出力とB像出力の和は出力されるため、その出力と他方の出力の差分から、もう一方の信号を得ることができ、焦点検出を行うことができる。
上記の撮像素子は、特開2004−134867号公報に開示された技術を用いて製造することができるため、詳細構造に関する説明は省略する。
(読み出し回路の構成を示した図)
図4は本実施例の撮像素子における読み出し回路の構成を示した図である。151は水平走査回路、153は垂直走査回路である。そして各画素の境界部には、水平走査ライン152a及び152bと、垂直走査ライン154a及び154bが配線され、各光電変換部はこれらの走査ラインを介して信号が外部に読み出される。
なお、本実施例の撮像素子は以下の2種類の読み出しモードを有する。第1の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。
第2の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行なうためのモードである。この場合に必要な画素数は全画素よりも少ないため、画素群はX方向及びY方向ともに所定比率に間引いた画素のみ読み出す。また、高速に読み出す必要がある場合にも、同様に間引き読み出しモードを用いる。X方向に間引く際には、信号の信号加算処理を行いS/Nの改善を図り、Y方向に対する間引きは、間引かれる行の信号出力を無視する。位相差検出方式、コントラスト検出方式の焦点検出も通常は、第2の読み出しモードで行われる。
(共役関係を説明する図)
図5A、5Bは、本実施例の撮像装置において、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図である。撮像素子内の光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。そして撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。
一方、本実施例の撮影光学系は変倍機能を有したズームレンズであるが、光学タイプによっては変倍操作を行なうと、射出瞳の像面からの距離や大きさが変化する。図5における撮影光学系は、焦点距離が広角端と望遠端の中間、すなわちMiddleの状態を示している。これを標準的な射出瞳距離Zepと仮定して、オンチップマイクロレンズの形状や、像高(X、Y座標)に応じた偏心パラメータの最適設計がなされる。
図5Aにおいて、101は第1レンズ群、101bは第1レンズ群を保持する鏡筒部材、105は第3レンズ群、104bはフォーカスレンズ104を保持する鏡筒部材である。102は絞りで、102aは絞り開放時の開口径を規定する開口板、102bは絞り込み時の開口径を調節するための絞り羽根である。
なお、撮影光学系を通過する光束の制限部材として作用する101b、102a、102b、及び104bは、像面から観察した場合の光学的な虚像を示している。また、絞り102の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をZepとしている。
2110は、被写体像を光電変換するための画素で、像面中央近傍に配置されており、本実施例では、中央画素と呼ぶ。中央画素2110は、最下層より、光電変換部2110a、2110b、配線層2110e〜2110g、カラーフィルタ2110h、及びオンチップマイクロレンズ2110iの各部材で構成される。
そして、2つの光電変換部はオンチップマイクロレンズ2110iによって撮影光学系の射出瞳面に投影される。また別の言い方をすれば、撮影光学系の射出瞳が、オンチップマイクロレンズ2110iを介して、光電変換部の表面に投影されることになる。
図5Bは、撮影光学系の射出瞳面上における、光電変換部の投影像を示したもので、光電変換部2110a及び2110bに対する投影像は各々EP1a及びEP1bとなる。また本実施例では、撮像素子は、2つの光電変換部2110aと2110bのいずれか一方の出力と、両方の和の出力を得ることができる画素を有している。
両方の和の出力は、撮影光学系のほぼ全瞳領域である投影像EP1a、EP1bの両方の領域を通過した光束を光電変換したものである。
図5Aで、撮影光学系を通過する光束の最外部をLで示すと、光束Lは、絞りの開口板102aで規制されており、投影像EP1a及びEP1bは撮影光学系でケラレがほぼ発生していない。図5Bでは、図5Aの光束Lを、TLで示している。
TLで示す円の内部に、光電変換部の投影像EP1a、EP1bの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Lは、絞りの開口板102aでのみ制限されているため、TLは、102aと言い換えることができる。この際、像面中央では各投影像EP1aないしEP1bのけられ状態は光軸に対して対称となり、各光電変換部2110a及び2110bが受光する光量は等しい。
以上、図3、図4、図5で説明した様に、撮像素子122は撮像のみの機能だけではなく焦点検出装置としての機能も有している。また、焦点検出方法としては、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、位相差検出方式AFを行うことが可能である。
上述の説明では、水平方向に射出瞳を分割する構成を説明したが、撮像素子上に、垂直方向に射出瞳を分割する画素も合わせて設けてもよい。両方向に射出瞳を分割する画素を設けることにより、水平だけでなく、垂直方向の被写体のコントラストに対応した焦点検出を行うことができる。
(コントラスト方式AFの説明)
次に、図6を用いて、コントラスト方式AFの構成について説明する。図6では、図2のカメラMPU125及びTVAF焦点検出部130を用いて算出される各種AF用評価値の算出の流れについて示している。
A/D変換回路7で変換されたデジタル信号が、TVAF焦点検出部130に入力されると、AF評価用信号処理回路401で、ベイヤー配列信号からの緑(G)信号の抽出と、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理が施される。
本実施例では、TVAF焦点検出を緑(G)信号で行う場合を説明するが、赤(R)、青(B)、緑(G)の全ての信号を用いてもよい。また、RGB全色用いて輝度(Y)信号を生成してもよい。AF評価用信号処理回路401で生成される出力信号は、用いられた色によらず、以後の説明では、輝度信号Yと呼ぶこととする。
Yピーク評価値の算出方法について説明する。ガンマ補正された輝度信号Yは、水平ライン毎のラインピーク値を検出するためのラインピーク検出回路402へ入力される。この回路によって、領域設定回路412によって設定されたAF評価範囲内で水平ライン毎のYラインピーク値が求められる。
更に、ラインピーク検出回路402の出力は垂直ピーク検出回路405に入力される。この回路によって、領域設定回路414によって設定されたAF評価範囲内で垂直方向にピークホールドが行われ、Yピーク評価値が生成される。Yピーク評価値は、高輝度被写体や低照度被写体の判定に有効である。
Y積分評価値の算出方法について説明する。ガンマ補正された輝度信号Yは、水平ライン毎の積分値を検出するための水平積分回路403へ入力される。この回路によって、領域設定回路412によって設定されたAF評価範囲内で水平ライン毎のYの積分値が求められる。更に、水平成分回路403の出力は垂直積分回路406に入力される。
この回路によって、領域設定回路412によって設定されたAF評価範囲内で垂直方向に積分が行われ、Y積分評価値を生成される。Y積分評価値は、AF評価範囲内全体の明るさを判断することができる。
Max−Min評価値の算出方法について説明する。ガンマ補正された輝度信号Yは、ラインピーク検出回路402に入力され、AF評価範囲内で水平ライン毎のYラインピーク値が求められる。また、ガンマ補正された輝度信号Yは、ライン最小値検出回路404に入力される。
この回路によって、輝度信号YのAF評価範囲内で水平ライン毎のYの最小値が検出される。検出された水平ライン毎のYのラインピーク値及び最小値は減算器に入力され、(ラインピーク値−最小値)を計算した上で垂直ピーク検出回路407に入力される。
この回路によって、AF評価範囲内で垂直方向にピークホールドが行われ、Max−Min評価値が生成される。Max−Min評価値は、低コントラスト・高コントラストの判定に有効である。
領域ピーク評価値の算出方法について説明する。ガンマ補正された輝度信号Yは、BPF408に通すことによって特定の周波数成分が抽出され焦点信号が生成される。この焦点信号は、水平ライン毎のラインピーク値を検出するためのピークホールド手段であるラインピーク検出回路409へ入力される。
ラインピーク検出回路409は、AF評価範囲内で水平ライン毎のラインピーク値を求める。求めたラインピーク値は、垂直ピーク検出回路411によってAF評価範囲内でピークホールドされ、領域ピーク評価値が生成される。
領域ピーク評価値は、AF評価範囲内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するための再起動判定に有効である。
全ライン積分評価値の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路409は、AF評価範囲内で水平ライン毎のラインピーク値を求める。次に、ラインピーク値を垂直積分回路410に入力し、AF評価範囲内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。
高周波全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、合焦位置の検出を行うためのAFのメインの評価値として有効である。
本実施例では、デフォーカス状態に応じて評価値が変化し、焦点調節に用いる全ライン積分評価値を焦点評価値と称する。
領域設定回路413は、カメラMPU125により設定された画面内の所定の位置にある信号を選択するためのAF評価範囲用のゲート信号を生成する。
ゲート信号は、ラインピーク検出回路402、水平積分回路403、ライン最小値検出回路404、ラインピーク検出回路409、垂直積分回路406、410垂直ピーク検出回路405、407、411の各回路に入力される。
そして、各焦点評価値がAF評価範囲内の輝度信号Yで生成されるように、輝度信号Yが各回路に入力するタイミングが制御される。
また、領域設定回路413は、AF評価範囲に合わせて、複数の領域の設定が可能である。
AF制御部151は、各焦点評価値を取り込み、フォーカス駆動回路116を通じてフォーカスアクチュエータ113を制御し、フォーカスレンズ104を光軸方向に移動させてAF制御を行う。
本実施例では、各種のAF用評価値を上述の通り水平ライン方向に算出するのに加えて、垂直ライン方向にも算出する。これにより、水平、垂直いずれの方向の被写体のコントラスト情報に対しても焦点検出を行うことができる。
コントラスト方式のAFを行う際には、フォーカスレンズ104を駆動しながら、上述した各種のAF用評価値を算出する。全ライン積分評価値が最大値となるフォーカスレンズ位置を検出することにより、焦点検出を行う。
(焦点検出領域の説明)
図7は、撮影範囲内における焦点検出領域を示す図で、この焦点検出領域内で撮像素子122から得られた信号に基づいて撮像面位相差AFと及びTVAFが行われる。図7の焦点検出領域は、図3に示す撮影レンズの水平方向(横方向)に瞳分割を行う画素を含む焦点検出部を備えている。
また、点線で示す長方形は撮像素子122の画素が形成された撮影範囲217を示す。撮影範囲217内には撮像面位相差AFを行う3つの横方向の焦点検出領域218ah、218bh、218chが形成されている。本実施の形態では、位相差検出方式の焦点検出領域を図のように撮影範囲217の中央部と左右2箇所の計3箇所を備える構成とした。
また、3つの撮像面位相差AFを行う焦点検出領域のそれぞれを包含する形で、TVAFを行う焦点検出領域219a、219b、219cが形成されている。TVAFを行う焦点検出領域では図6の水平方向と垂直方向の焦点評価値を用いて、コントラスト検出を行う。
なお、図7に示す例では、大きくわけて3つの領域に焦点検出領域を配置した例を示しているが、本発明は3つの領域に限られるものではなく、任意の位置に複数の領域を配置してもよい。
(焦点検出処理の流れの説明)
次に、図1を参照して、上記構成を有するデジタルカメラにおける本実施の形態による焦点検出(AF)処理について説明する。なお、本発明の実施の形態によるAF処理の概要は次の通りである。まず、焦点検出領域218ah、218bh、218chそれぞれについて、焦点ずれ量(デフォーカス量)と信頼性とを求める。
そして、所定の信頼性を有するデフォーカス量が得られた領域と、得られなかった領域に区分する。全ての焦点検出領域218ah、218bh、218chにおいて所定の信頼性を有するデフォーカス量が得られていれば、最至近の被写体に合焦するようにフォーカスレンズ104を駆動する。
一方、所定の信頼性を有するデフォーカス量が得られなかった領域が存在する場合、焦点検出領域219a〜cの内、対応する領域について、フォーカスレンズ駆動前後の焦点評価値の変化量を用いて、より至近側に被写体が存在するか判定する。
そして、より至近側に被写体が存在すると判定された場合は、焦点評価値の変化に基づき、フォーカスレンズ104を駆動する。ただし、これより以前に焦点評価値が得られていない場合には焦点評価値の変化量を求めることができない。その場合、予め決められたデフォーカス量よりも大きい、所定の信頼性を有するデフォーカス量が得られた領域が存在する場合には、最至近の被写体に合焦するようにフォーカスレンズ104を駆動する。
それ以外の場合、即ち、所定の信頼性を有するデフォーカス量が得られた領域が存在しない場合、及び、得られたデフォーカス量が予め決められたデフォーカス量以下の場合には、デフォーカス量に関係のない所定量のレンズ駆動を行う。
なお、デフォーカス量が小さい場合にデフォーカス量に関係のない所定量のレンズ駆動を行う理由は、そのデフォーカス量に基づくレンズ駆動量では、次の焦点検出時に、焦点評価値の変化を検出することが難しい可能性が高いからである。
いずれかの方法により、焦点検出を終えると、各種の補正値の算出を行い、焦点検出結果の補正を行う。補正の施された焦点検出結果に基づき、フォーカスレンズ104の駆動を行い焦点調節処理を終える。
以下、上記AF処理について、詳細に説明する。図1(a)、図1(b)は、撮像装置のAF動作手順を示すフローチャートである。この動作に関する制御プログラムは、カメラMPU125によって実行される。カメラMPU125は、AF動作を開始すると、S1においてまず被写体に対する焦点調節を行うための焦点検出領域を設定する。このS1の処理では、図6に示したように3か所の焦点検出領域が設定される。
次にS2において、至近判定フラグを1に設定する。S3では、各焦点検出領域で、焦点検出に必要な信号を取得する。具体的には、撮像素子122で露光を行った後、撮像面位相差AF用の焦点検出領域218ah、218bh、218ch内の焦点検出用画素の像信号を取得する。
ここで、取得した像信号に対して、特開2010−117679号公報に記載の補正処理を行ってもよい。更に、撮像素子122で露光を行った後、TVAFに用いる焦点検出領域219a、219b、219cの領域内の画素信号を取得し、焦点評価値を算出する。算出された焦点評価値は、RAM125bに記憶される。
次に、S4において、焦点評価値のピーク(極大値)が検出されたか否かを判定する。これは、コントラスト検出方式の焦点検出を行うためのもので、信頼性のあるピークが検出された場合には、焦点検出を終えるため、S20に進む。焦点評価値の信頼性は、例えば、特開2010−078810号公報の図10から図13で説明されているような方法を用いればよい。
つまり、合焦状態を示す焦点評価値が山状になっているか否かを、焦点評価値の最大値と最小値の差、一定値(SlopeThr)以上の傾きで傾斜している部分の長さ、および傾斜している部分の勾配から判断する。これにより、ピークの信頼性判定を行うことができる。
本実施例では、位相差検出方式のAFと併用しているため、同一の焦点検出領域や他の焦点検出領域で、より至近側の被写体の存在が確認されている場合には、信頼性のある焦点評価値ピークが検出された際であっても、焦点検出を終えずに、S5に進んでもよい。
その場合、焦点評価値ピークの位置に対応するフォーカスレンズ104位置を記憶しておき、以後、信頼性のある焦点検出結果が得られなかった場合に、記憶したフォーカスレンズ104位置を焦点検出結果とする。
次に、S5において、撮像面位相差AF用の各焦点検出領域について、得られた一対の像信号のずれ量を算出し、予め記憶されているデフォーカス量への換算係数を用いて、デフォーカス量を算出する。ここでは、算出されるデフォーカス量の信頼性も判定し、所定の信頼性を有すると判定された焦点検出領域のデフォーカス量のみを、以後のAF処理で用いる。
撮影レンズによるケラレの影響により、デフォーカス量が大きくなるにつれて、検出される対の像信号のずれ量は、より多くの誤差を含むようになる。そのため、算出されるデフォーカス量が大きい場合や、対の像信号の形状の一致度が低い場合、対の像信号のコントラストが低い場合には、高精度な焦点検出は不可能と判断、言い換えると、算出されたデフォーカス量の信頼性が低いと判断する。
以下、算出されたデフォーカス量が所定の信頼性を有する場合に「デフォーカス量が算出された」と表現し、デフォーカス量が何らかの理由で算出できない、または、算出されたデフォーカス量の信頼性が低い場合に「デフォーカス量が算出できない」と表現する。
次に、S6では、S1で設定した複数の焦点検出領域218ah、218bh、218chの全てでデフォーカス量が算出できたか否かを判断する。全ての焦点検出領域でデフォーカス量が算出できた場合にはS20に進み、算出されたデフォーカス量の中で、最も至近側にある被写体を示すデフォーカス量が算出された焦点検出領域に対して、縦横BP補正値(BP1)を算出する。
ここで、最も至近側の被写体を選択する理由は、一般に、撮影者がピントを合わせたい被写体は、至近側に存在することが多いためである。縦横BP補正値(BP1)は、水平方向の被写体のコントラストに対して焦点検出を行った場合と、垂直方向の被写体のコントラストに対して焦点検出を行った場合の焦点検出結果の差を補正するものである。
一般的には、被写体は、水平方向、垂直方向ともにコントラスを有しており、撮影された画像のピント状態の評価も、水平方向、垂直方向の両方向のコントラストを鑑みてなされる。一方で、上述の位相差検出方式のAFのように水平方向のみの焦点検出を行う場合、水平方向の焦点検出結果と撮影画像の水平方向、垂直方向の両方向のピント状態には誤差を生じる。
この誤差は、撮影光学系の非点収差などにより発生する。縦横BP補正値(BP1)は、その誤差を補正するための補正値である。また、縦横BP補正値(BP1)は、選択された焦点検出領域、フォーカスレンズ104の位置、ズーム状態を示す第1レンズ群101の位置などを鑑みて、算出される。算出方法の詳細については後述する。
次に、S21では、S20で補正値算出対象となった焦点検出領域に対して、垂直もしくは水平の1方向のコントラスト情報を用いて、色BP補正値(BP2)を算出する。色BP補正値(BP2)は、撮影光学系の色収差により発生するもので、焦点検出に用いる信号の色のバランスと撮影画像もしくは現像された画像に用いる信号の色のバランスとの差により生じる。例えば、本実施例でコントラスト検出式の焦点検出を行う場合、用いられる焦点評価値は、緑(G)のカラーフィルタを有する画素出力により生成されるため、主に緑色の波長の合焦位置を検出することとなる。
一方で、撮影画像は、RGB全色を用いて生成されるため、赤(R)や青(B)の合焦位置が緑(G)と異なる場合、焦点評価値による焦点検出結果とずれ(誤差)を生じる。その誤差を、補正するための補正値が、色BP補正値(BP2)である。色BP補正値(BP2)の算出方法の詳細は、後述する。
次に、S22では、S20、S21の補正対象である焦点検出領域に対して、垂直もしくは水平の1方で、緑もしくは輝度信号Yのコントラスト情報を用いてある特定の色空間周波数BP補正値(BP3)を算出する。空間周波数BP補正値(BP3)は、撮影光学系の主に球面収差により発生するもので、焦点検出に用いる信号の評価周波数(帯域)と撮影画像を鑑賞する際の評価周波数(帯域)の差によって発生する。
上述の通り焦点検出の際には、撮像素子から出力信号を読み出すモードが第2の読み出しモードであるため、出力信号が加算や間引きがされている。そのため、第1の読み出しモードで読み出された全画素の信号を用いて生成される撮影画像に対して、焦点検出に用いる出力信号は評価帯域が低くなる。その評価帯域の差により、空間周波数BP補正値(BP3)は発生する。空間周波数BP補正値(BP3)の算出方法の詳細は、後述する。
次に、S23では、ここまでで算出された3種の補正値(BP1、BP2、BP3)を用いて以下の式により焦点検出結果DEF_Bを補正し、DEF_Aを算出する。
(式1)
DEF_A=DEF_B+BP1+BP2+BP3
第1の実施例では、焦点検出結果を補正するための補正値を3段階に分けて、縦横、色、空間周波数の順番に、計算する。
まず、縦横BP補正値の算出を行うことにより、撮影画像の鑑賞時の評価が縦横両方向のコントラスト情報を用いられるのに対して、焦点検出は、いずれか1方向のコントラスト情報を用いるために発生する誤差を算出する。
次に、色BP補正値は、縦横BPの影響を切り離して、1方向のコントラスト情報において、撮影画像の鑑賞時と焦点検出時に信号に用いられる色による合焦位置の差を、補正値として算出している。
さらに、空間周波数BP補正値は、1方向のコントラスト情報で、緑もしくは輝度信号などのある特定の色に関して、撮影画像の鑑賞時と焦点検出時の評価帯域の差により発生する合焦位置の差を補正値として算出している。
このように、3種類の誤差を切り分けて算出することにより、演算量の低減、レンズもしくはカメラに記憶するデータ容量の低減を図っている。
S24では、式1で算出された補正後のデフォーカス量DEF_Aに基づいてフォーカスレンズ104の駆動を行う(合焦制御)。
次に、S25に進み、レンズ駆動に用いたデフォーカス量が算出された焦点検出領域に関して、表示器126に合焦表示を行い、AF処理を終了する。
一方、S6でデフォーカス量が算出できない焦点検出領域が存在した場合には、図1(b)のS7に進む。
S7では、至近判定フラグが1であるか否かを判定する。至近判定フラグは、AF動作が始まってから、レンズ駆動が一度も行われていない場合に1となり、レンズ駆動が複数回行われている場合に0となるフラグである。至近判定フラグが1である場合には、S8に進む。
S8では、全ての焦点検出領域でデフォーカス量を算出できなかった場合、もしくは、算出されたデフォーカス量のうち、最も至近側の被写体の存在を示すデフォーカス量が所定の閾値A以下の場合には、S9に進む。S9では、至近側に予め決められた量のレンズ駆動を行う。
ここで、S8でYesの場合に、所定量のレンズ駆動を行う理由を説明する。まず、複数の焦点検出領域の中で、デフォーカス量が算出できた領域が無い場合とは、現時点では、ピント合わせを行うべき被写体が見つかっていない場合である。そのため、合焦不能であると判断する前に、全ての焦点検出領域に対して、ピント合わせを行うべき被写体の存在を確認するために、所定量のレンズ駆動を行い、後述する焦点評価値の変化を判定できるようにする。
また、算出されたデフォーカス量の中で最も至近側の被写体の存在を示すデフォーカス量が所定の閾値A以下の場合とは、現時点で、ほぼ合焦状態の焦点検出領域が存在している場合である。
このような状況では、デフォーカス量が算出できなかった焦点検出領域に、より至近側に、現時点では検出されていない被写体がある可能性を確認するために、所定量のレンズ駆動を行い、後述する焦点評価値の変化を判定できるようにする。
なお、ここでのレンズ駆動量は、撮影光学系のF値やレンズ駆動量に対する撮像素子面上でのピント移動量の敏感度を鑑みて定めればよい。
一方で、S8でNoの場合、すなわち、算出されたデフォーカス量の中で最も至近側の被写体の存在を示すデフォーカス量が所定の閾値Aより大きい場合には、S10に進む。この場合には、デフォーカス量が算出された焦点検出領域は存在するものの、その焦点検出領域は合焦状態ではない場合である。
そのため、S10では、算出されたデフォーカス量の中で最も至近側の被写体の存在を示すデフォーカス量に基づき、レンズ駆動を行う。
S9もしくはS10にてレンズ駆動を行った後、S11に進み、至近判定フラグを0に設定し、図1(a)のS3に戻る。
S7で、至近判定フラグが1ではない(0である)場合にはS12に進む。S12で、デフォーカス量が算出できなかった焦点検出領域に対応したTVAF用の焦点検出領域の焦点評価値が、レンズ駆動前後で、所定の閾値B以上変化したか否かを判断する。ここでは、焦点評価値は、増加する場合も減少する場合もあるが、焦点評価値の変化量の絶対値が、所定の閾値B以上であるか否かを判断する。
S12において、焦点評価値の変化量の絶対値が、所定の閾値B以上である場合とは、デフォーカス量は算出できないものの、焦点評価値の増減により、被写体のボケ状態の変化を検出できたことを意味している。そのため、本実施の形態では、撮像面位相差AFによるデフォーカス量が検出できない場合でも、焦点評価値の増減に基づいて被写体の存在を判定し、AF処理を継続する。
これにより、デフォーカス量が大きく、撮像面位相差AFでは検出できない被写体に対して、焦点調節を行うことができる。
ここで、判定に用いられる所定の閾値Bは、事前に行われたレンズ駆動量に応じて変更する。レンズ駆動量が大きい場合には、閾値Bとしてより大きい値を設定し、レンズ駆動量が小さい場合には、閾値Bとしてより小さい値を設定する。
これは、被写体が存在する場合には、レンズ駆動量の増加に応じて、焦点評価値の変化量も増加するためである。これらのレンズ駆動量毎の閾値Bは、EEPROM125cに記憶されている。
焦点評価値の変化量の絶対値が、所定の閾値B以上である場合にはS13に進み、焦点評価値の変化量が閾値以上ある焦点検出領域が、無限遠側被写体の存在を示す焦点検出領域のみであるか否かを判定する。
焦点検出領域が無限遠側被写体の存在を示す場合とは、レンズ駆動の駆動方向が至近方向で焦点評価値が減少、もしくは、レンズ駆動の駆動方向が無限遠方向で焦点評価値が増加した場合である。
焦点評価値の変化量が閾値B以上である焦点検出領域が、無限遠側被写体の存在を示す焦点検出領域のみでない場合にはS14に進み、至近側に所定量のレンズ駆動を行う。これは、焦点評価値の変化量が閾値B以上ある焦点検出領域の中に、至近側被写体の存在を示す焦点検出領域があるためである。なお、至近側を優先する理由は上述のとおりである。
一方、S13において、焦点評価値の変化量が閾値B以上ある焦点検出領域が、無限遠側被写体の存在を示す焦点検出領域のみである場合、S15に進む。S15では、デフォーカス量が算出された焦点検出領域が存在するか否かを判定する。
デフォーカス量が算出された焦点検出領域が存在する場合(S15でYes)には、焦点評価値による無限遠側被写体の存在よりも、撮像面位相差AFの結果を優先するため、図1(a)のS20に進む。
デフォーカス量が算出された焦点検出領域が存在しない場合(S15でNo)には、被写体の存在を示す情報が、焦点評価値の変化のみであるため、その情報を用いて、S16で無限遠側に所定量のレンズ駆動を行う。無限遠側に所定量のレンズ駆動を行った後、図1(a)のS3に戻る。
S14及びS16で行うレンズ駆動の駆動量は、撮像面位相差AFで検出可能なデフォーカス量を鑑みて決めればよい。被写体によって検出可能なデフォーカス量は異なるが、焦点検出不可能な状態からのレンズ駆動で、被写体を検出できずに通り過ぎてしまうことがないようなレンズ駆動量を予め設定しておく。
焦点評価値の変化量の絶対値が所定の閾値B未満である場合には(S12でNo)、S17に進む。S17では、デフォーカス量が算出された焦点検出領域の有無を判定する。デフォーカス量が算出された焦点検出領域が無い場合にはS18に進み、予め定められた定点にレンズを駆動した後、S19に進み、表示器126に非合焦表示を行い、AF処理を終了する。これは、デフォーカス量が算出された焦点検出領域が無く、レンズ駆動の前後で焦点評価値の変化がある焦点検出領域も無い場合である。このような場合には、被写体の存在を示す情報が全く無いため、合焦不能として、AF処理を終了する。
一方、S17で、デフォーカス量が算出できた焦点検出領域が有る場合には、図1(a)のS20に進み、検出されたデフォーカス量の補正を行い(S20〜S23)、S24で合焦位置へフォーカスレンズ104を駆動する。その後、S25で表示器126に合焦表示を行い、AF処理を終了する。
(縦横BP補正値の算出方法)
次に、図8から図10を用いて、図1のS20で行う縦横BP補正値(BP1)の算出方法について説明する。
図8は、図1のS20で行う処理の詳細を示す縦横BP補正値(BP1)を算出する流れを示したサブルーチンである。
S100で、縦横BP補正情報の取得を行う。縦横BP補正情報は、カメラMPU125の要求に応じて、レンズMPU117を通じて、得られる情報であり、水平方向(第1の方向)の合焦位置に対する垂直方向(第2の方向)の合焦位置の差分情報である。
図9は、レンズメモリ118に格納されている縦横BP補正情報の例を示している。図9は、図7の中央の焦点検出領域219a、218ahに対応した補正値を示している。同様に、他の2個の焦点検出領域についても焦点検出補正値を記憶している。但し、結像光学系の光軸に対して対称な焦点検出領域については、設計上の焦点検出補正値は等しくなる。
従って、3つの焦点検出領域に対して、2つの焦点検出補正値のテーブルを記憶していればよい。また、焦点検出領域の位置によって補正値が大きく変化しない場合には、共通の値として記憶すればよい。
図9において、撮影光学系のズーム位置とフォーカス位置を8つのゾーンに分割し、その分割ゾーンごとに焦点検出補正値BP111〜BP188を備える構成としている。従って、撮影光学系のフォーカスレンズ104、第1レンズ群101の位置に応じて高精度な補正値を得られる構成となっている。
また、縦横BP補正情報は、コントラスト検出方式、位相差検出方式の両方に用いることができる。
S100では、補正対象となっている焦点検出結果に応じたズーム位置、フォーカス位置に対応した補正値を取得する。
次に、S101で、補正対象となっている焦点検出領域において、水平方向、垂直方向のいずれの方向に対しても信頼性のある焦点検出結果が得られているかを判定する。焦点検出結果の信頼性の判定の方法については、位相差検出方式についてもコントラスト検出方式についても上述した通りである。第1の実施例において、水平方向、垂直方向の両方向に信頼性のある焦点検出結果が得られるのはコントラスト検出方式の場合である。
そのため、縦横BP補正値に関する以後の説明は、コントラスト検出方式を想定した説明を行うが、位相差検出式の焦点検出が水平方向、垂直方向の両方向に可能である場合も、同様の処理を行えばよい。S101で、水平方向、垂直方向のいずれの焦点検出結果に対しても信頼性が有る場合には、S102に進む。
S102で、水平方向の焦点検出結果と垂直方向の焦点検出結果の差が、妥当であるか否かを判定する。これは、遠い距離の被写体と近い距離の被写体を焦点検出領域内に含んだ際に生じる遠近競合の問題に対応するために行う処理である。
例えば、遠い距離に水平方向にコントラストがある被写体が存在し、近い距離に垂直方向にコントラストがある被写体が存在した場合である。
その場合、撮影光学系の非点収差などにより発生する誤差より絶対値が大きかったり、符号が反対の焦点検出結果の差が生じたりする場合がある。
このように、水平方向の焦点検出結果と垂直方向の焦点検出結果の差が、判定値Cに対して大きく差がある場合には、遠近競合していると判断し、より至近側の焦点検出結果を示す方向として水平方向もしくは垂直方向を選択し、S104に進む。判定値Cは、上述の理由から、補正値としてあり得ない値を判定するために一意に決めてもよいし、S100で得られた補正情報を用いて設定してもよい。
S102で水平方向の焦点検出結果と垂直方向の焦点検出結果の差が、妥当であると判定されると、S103に進み、BP1=0とし、縦横BP補正値算出のサブルーチンを終える。この場合には、補正値を用いずに、水平方向と垂直方向の焦点検出結果を用いて焦点検出を行う。
コントラスト検出方式の場合には、水平方向と垂直方向の焦点評価値の極大値の比などの大小関係に応じて、焦点検出結果の重みづけを行い水平方向と垂直方向を加味した焦点検出結果を得る。位相差検出方式の場合も同様に、相関演算に用いられる相関量を用いて焦点検出結果の重みづけを行えばよい。
一方で、S101で水平方向、もしくは垂直方向の一方向にのみ信頼性が有る場合や、S102で水平方向もしくは垂直方向の一方向のみが選択され場合には、S104に進む。S104で、焦点検出結果の方向選択を行う。信頼性のある焦点検出結果を算出した方向や、遠近競合判定で、より至近側にある被写体に対応した焦点検出結果を算出した方向を選択する。
次に、S105で、水平方向、垂直方向の重み付けが可能であるか否かを判定する。S105で判定を行う際には、焦点評価値の信頼性や遠近競合の観点で、水平方向、垂直方向の両方向に対して信頼性のある焦点検出結果が得られていないが、S105では改めて、縦横BP補正値を算出するための判定を行う。図10を用いて、詳細に説明する。
図10は、選択された焦点検出領域のフォーカスレンズ104の位置と焦点評価値の関係を示した図である。図中のE_h、E_vは、コントラスト検出方式で検出された水平方向の焦点評価値と垂直方向の焦点評価値の変化を示す曲線である。
また、LP1、LP2、LP3は、それぞれフォーカスレンズ位置を示すものである。図10では、水平方向の焦点評価値E_hから信頼性のある焦点検出結果としてLP3が得られ、垂直方向の焦点評価値E_vから信頼性のある焦点検出結果としてLP1が得られた場合を示している。
LP1とLP3はフォーカスレンズ位置が大きく異なっている、すなわち、遠近競合状態であるため、より至近側の焦点検出結果である水平方向の焦点検出結果LP3がS104で選択されている。
このような状況で、S105では、選択されている水平方向の焦点検出結果LP1近傍に、垂直方向の焦点検出結果が存在しないか否かを判定する。図10のような状況では、LP2が存在するため、S106に進み、焦点検出結果LP3の補正値を、焦点検出結果LP2の影響を考慮に入れて算出する。
S106では、縦横BP補正情報として図9の1要素であるBP1_Bを取得している。
図10におけるLP3の位置における水平方向の焦点評価値E_hpとLP1における垂直方向の焦点評価値E_vpを用いて、縦横BP補正値BP1は下記の式で算出される。
(式2)
BP1=BP1_B×E_vp/(E_vp+E_hp)×(+1)
第1の実施例では、水平方向の焦点検出結果に対する補正値を算出するため、式2を用いて補正値BP1を算出するが、垂直方向の焦点検出結果を補正する場合には、下記の式で算出される。
(式3)
BP1=BP1_B×E_hp/(E_vp+E_hp)×(−1)
式2、式3から自明であるように、焦点評価値が大きいという情報を、被写体に含まれるコントラスト情報が多いと判定して、縦横BP補正値(BP1)を算出する。
上述の通り、縦横BP補正情報は、(垂直方向にのみコントラスト情報をもつ被写体の焦点検出位置)−(水平方向にのみコントラスト情報を持つ被写体の焦点検出位置)である。そのため、水平方向の焦点検出結果を補正する補正値BP1と垂直方向の焦点検出結果を補正する補正値BP1の符号は反対となる。S106の処理を終えると、縦横BP補正値算出のサブルーチンを終了する。
一方で、S105で、選択されている水平方向の焦点検出結果LP1近傍に、垂直方向の焦点検出結果が存在しない場合には、S103に進む。S103では、被写体に含まれるコントラスト情報は、概ね1方向のみであると判断されるため、BP1=0とする。S107の処理を終えると、縦横BP補正値算出のサブルーチンを終了する。
このように、被写体の方向毎のコントラスト情報に応じて、補正値を算出するため、被写体のパターンに応じた高精度な補正値算出を行うことができる。
図10では、遠近競合している場合を説明したが、水平方向と垂直方向に1つずつ極大値が検出されており、片方の焦点検出結果に信頼性が無い場合も、同様に補正値を算出する。
第1の実施例では、S105で被写体の方向毎のコントラスト情報に基づき補正値を算出したが、補正値の算出方法はこれに限らない。例えば、第1の実施例の位相差検出方式の焦点検出のように、水平方向のみ焦点検出が行える場合には、被写体の水平方向と垂直方向のコントラストの情報量は同量であると仮定し、補正値を算出してもよい。
その場合には、上述の式2、式3において、E_hp=E_vp=1を代入することにより補正値を算出することができる。このような処理を行うことにより、補正精度は落ちるが、補正値演算の負荷を減らすことができる。
上述の説明では、コントラスト検出方式の焦点検出結果に対して説明したが、位相差検出方式の焦点検出結果に対しても同様の処理を行うことが可能である。補正値算出の際の重み付けの係数として、位相差検出方式の相関演算で算出される相関量の変化量を用いればよい。
これは、被写体の明暗差が大きい場合や明暗差のあるエッジの数が多い場合など、被写体のコントラスト情報が多ければ多いほど、相関量の変化量も大きくなることを利用している。同様の関係が得られる評価値であれば、相関量の変化量に限らず、種々の評価値を用いてよい。
このように、縦横BP補正値を用いて、焦点検出結果を補正することにより、被写体の方向毎のコントラスト情報の量によらず、高精度な焦点検出を行うことができる。また、水平方向、垂直方向の補正値を図9に示したような共通の補正情報を用いて算出しているため、方向毎に各々の補正値を記憶する場合に比べて、補正情報の記憶容量を低減することができる。
また、方向毎の焦点検出結果が、大きく異なる場合には、これらの焦点検出結果を用いた縦横BP補正値の算出を行わないことにより、遠近競合の影響を低減することができる。さらに、遠近競合が想定される場合においても、方向毎の焦点評価値の大小により補正値の重みづけを行うことにより、より高精度な補正を行うことができる。
つまり、第1の評価帯域は、複数の評価領域を含んでおり、焦点調節手段は、複数の評価帯域の結像位置に関する情報に重み付けを行った情報を用いて記録用信号の焦点調節を行っている。
(色BP補正値の算出方法)
次に、図11、図12を用いて、図1のS20で行う色BP補正値(BP2)の算出方法について説明する。
図11は、図1のS21で行う処理の詳細を示す色BP補正値(BP2)を算出する流れを示したサブルーチンである。
S200で、色BP補正情報の取得を行う。色BP補正情報は、カメラMPU125の要求に応じて、レンズMPU117を通じて、得られる情報であり、緑(G)の信号を用いて検出される合焦位置に対する他の色(赤(R)、青(B))の信号を用いて検出される合焦位置の差分情報である。
図12は、レンズメモリ118に格納されている色BP補正情報の例を示している。図12は、図7の中央の焦点検出領域219a、218ahに対応した補正値を示している。同様に、他の2個の焦点検出領域についても焦点検出補正値を記憶している。
但し、結像光学系の光軸に対して対称な焦点検出領域については、設計上の焦点検出補正値は等しくなる。従って、3つの焦点検出領域に対して、2つの焦点検出補正値のテーブルを記憶していればよい。また、焦点検出領域の位置によって補正値が大きく変化しない場合には、共通の値として記憶すればよい。
図12において、図9と同様に、撮影光学系のズーム位置とフォーカス位置を8つのゾーンに分割し、その分割ゾーンごとに焦点検出補正値BP211〜BP288とBP311〜388を備える構成としている。従って、撮影光学系のフォーカスレンズ104、第1レンズ群101の位置に応じて高精度な補正値を得られる構成となっている。
図12(a)の焦点検出補正値BP211〜BP288は、緑(G)のカラーフィルタを有する画素の出力信号を用いて検出される焦点検出結果に対する赤(R)のカラーフィルタを有する画素の出力信号を用いて検出される焦点検出結果の差分である。
図12(b)の焦点検出補正値BP311〜BP388は、緑(G)のカラーフィルタを有する画素の出力信号を用いて検出される焦点検出結果に対する青(B)のカラーフィルタを有する画素の出力信号を用いて検出される焦点検出結果の差分である。
第1の実施例における緑(G)、赤(R)、青(B)は、上述の撮像素子上の画素に施されるカラーフィルタ毎に得られる信号を意味しているが、各色の定義は、これに限らない。例えば、別途、被写体の分光情報を検出する分光検出手段を有し、分光検出手段の出力に合わせて、緑(G)、赤(R)、青(B)の波長もしくは波長域を設定してもよい。
また、色BP補正情報は、コントラスト検出方式、位相差検出方式の両方に用いることができる。
S200では、補正対象となっている焦点検出結果に応じたズーム位置、フォーカス位置に対応した補正値を取得する。
次に、S201で、色BP補正値の算出を行う。S200で、図12(a)の1要素でとしてBP_R、図12(b)の1要素としてBP_Bを取得している場合には、色BP補正値BP2は、下記の式で算出される。
(式4)
BP2=K_R×BP_R+K_B×BP_B
K_RおよびK_Bは、各色の補正情報に対する係数である。被写体に含まれる緑(G)情報に対する赤(R)や青(B)の情報の大小関係と相関がある値で、赤い色を多く含む被写体に対しては、K_Rが大きな値を取り、青い色を多く含む被写体に対しては、K_Bが大きな値を取る。緑色を多く含む被写体に対しては、K_R、K_B共に小さい値を取る。
K_R、K_Bは、被写体として代表的な分光情報に基づき、予め設定しておけばよい。もしくは、被写体の分光情報を、被写体の分光を検出する手段を用いて取得できる場合には、被写体の分光情報に応じて、K_R、K_Bを設定すればよい。S202で色BP補正値の算出を終えると、本サブルーチンを終了する。
第1の実施例では、焦点検出に用いる補正値を図9や図12のように焦点検出領域ごとにテーブルデータを記憶するようにしたが、補正値の記憶方法については、これに限らない。例えば、撮像素子と結像光学系の光軸の交点を原点とし撮像装置の水平方向、垂直方向をX軸、Y軸とした座標を設定し、焦点検出領域の中心座標における補正値をXとYの関数で求めてもよい。この場合、焦点検出補正値として記憶するべき情報量を削減することができる。
また、第1の実施例では、縦横BP補正情報や色BP補正情報を用いて算出する焦点検出に用いる補正値を、被写体のパターンの持つ空間周波数情報によらないものとして算出した。そのため、記憶するべき補正情報の量を増やすことなく高精度な補正を行うことができる。しかしながら、補正値の算出方法は、これに限らない。後述する空間周波数BP補正値の算出方法と同様に、空間周波数毎の縦横BP補正情報や色BP補正情報を用いて、被写体の空間周波数成分に合わせた補正値を算出してもよい。
(空間周波数BP補正値の算出方法)
次に、図13から図16を用いて、図1のS22で行う空間周波数BP補正値(BP3)の算出方法について説明する。
図13は、図1のS22で行う処理の詳細を示す空間周波数BP補正値(BP3)を算出する流れを示したサブルーチンである。
S300で、空間周波数BP補正情報の取得を行う。空間周波数BP補正情報は、カメラMPU125の要求に応じて、レンズMPU117を通じて得られる情報であり、被写体の空間周波数ごとの撮影光学系の結像位置に関する情報である。
図14を用いて、レンズメモリ118に格納されている空間周波数BP補正情報の例を説明する。図14は、撮影光学系のデフォーカスMTFを示している。横軸は、フォーカスレンズ104の位置を示しており、縦軸はMTFの強度を示している。図14に描かれている4種の曲線は、空間周波数ごとのMTF曲線で、MTF1、MTF2、MTF3、MTF4の順に、空間周波数が低い方から高い方に変化した場合を示している。
空間周波数F1(lp/mm)のMTF曲線がMTF1と対応し、同様に、空間周波数F2、F3、F4(lp/mm)とMTF2、MTF3、MTF4が対応する。また、LP4、LP5、LP5、LP6は、各デフォーカスMTF曲線の極大値に対応するフォーカスレンズ104位置を示している。
図14では、連続曲線で示されているが、レンズメモリ118に格納されている空間周波数BP補正情報は、図14の曲線を離散的にサンプリングしたものである。
第1の実施例では、1つのMTF曲線に対して、10個のフォーカスレンズ位置に対してMTFデータがサンプリングされており、例えば、MTF1に対しては、MTF1(n)(1≦n≦10)として10個のデータを記憶している。
空間周波数BP補正情報は、縦横BP補正情報や、色BP補正情報と同様に、焦点検出領域の位置ごとに記憶している。また、撮影光学系のズーム位置とフォーカス位置を8つのゾーンに分割し、その分割ゾーンごとに空間周波数BP補正情報を有する。
上述した縦横BP補正情報や色BP補正情報と同様に、焦点検出領域の数、ズーム位置やフォーカス位置の分割数は、自由に設定してよい。設定数を増やすほど、データの記憶に必要なメモリ量が増えてしまうが、高精度な補正が期待できる。
また、空間周波数BP補正情報は、コントラスト検出方式、位相差検出方式の両方に用いることができる。
S300では、補正対象となっている焦点検出結果に応じたズーム位置、フォーカス位置に対応した補正情報を取得する。
次に、S301で、コントラスト検出方式や位相差検出方式の焦点検出(AF)を行う際に用いられる信号の帯域の算出を行う。第1の実施例では、被写体、撮影光学系、撮像素子のサンプリング、評価に用いるデジタルフィルタの影響を鑑みて、AF評価帯域の算出を行う。AF評価帯域の算出方法は、後述する。
次に、S302で、撮影画像に用いられる信号の帯域の算出を行う。S301のAF評価帯域の算出と同様に、被写体、撮影光学系、撮像素子のサンプリング、撮影画像の鑑賞者の評価帯域の影響を鑑みて、撮影画像評価帯域の算出を行う。
図15を用いて、S301、S302で行うAF評価帯域(焦点調節用信号の第2の評価帯域)、撮影画像評価帯域(記録用信号の第1の評価帯域)の算出について説明する。図15は、いずれも空間周波数毎の強度を示しており、横軸に空間周波数、縦軸に強度を示している。
切換手段により記録用信号の第1の評価帯域が切換えられた場合、結像位置の補正値を変更する。
図15(a)は、被写体の空間周波数特性(I)を示している。横軸上のF1、F2、F3、F4は、図14のMTF曲線(MTF1〜MTF4)と対応した空間周波数である。また、Nqは、撮像素子の画素ピッチによりきまるナイキスト周波数を示している。F1からF4とNqについては、以後説明する図15(b)から図15(f)にも同様に示している。
第1の実施例では、被写体の空間周波数特性(I)は、事前に記憶した代表値を用いる。図15(a)では、被写体の空間周波数特性(I)は、曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをI(n)(1≦n≦4)と表す。
また、第1の実施例では、予め記憶された被写体の空間周波数特性を用いたが、焦点検出を行う被写体に応じて、用いる被写体の空間周波数特性を変更してもよい。撮影した画像信号をFFT処理などの処理を行うことにより、被写体の空間周波数情報を得ることができる。
このような処理により、演算処理内容が増えるが、焦点検出を行う被写体に応じた補正値を算出できるため、高精度な焦点調節を行うことができる。また、より簡易的に、被写体のコントラスト情報の大小によって、予め記憶された数種の空間周波数特性を使い分けてもよい。
図15(b)は、撮影光学系の撮影光学系の空間周波数特性(O)である。この情報は、レンズMPU117を通じて得てもよいし、カメラ内のRAM125bに記憶しておいてもよい。その際に記憶する情報は、デフォーカス状態毎の空間周波数特性でもよいし、合焦時の空間周波数特性のみでもよい。
空間周波数BP補正値は、合焦近傍で算出するため、合焦時の空間周波数特性を用いれば、高精度に補正を行うことができる。但し、演算負荷は増えるものの、デフォーカス状態毎の空間周波数特性を用いると、より高精度に焦点調節を行うことができる。
どのデフォーカス状態の空間周波数特性用いるかについては、位相差検出方式の焦点検出により得られるデフォーカス量を用いて選択すればよい。
図15(b)では、撮影光学系の空間周波数特性(O)は、曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをO(n)(1≦n≦4)と表す。
図15(c)は、光学ローパスフィルタ121の空間周波数特性(L)である。この情報は、カメラ内のRAM125bに記憶されている。図15(c)では、光学ローパスフィルタ121の空間周波数特性(L)は、曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをL(n)(1≦n≦4)と表す。
図15(d)は、信号生成による空間周波数特性(M1、M2)である。上述の通り、第1の実施例の撮像素子は2種類の読み出しモードを有する。第1の読み出しモード、すなわち全画素読み出しモードでは、信号生成時に空間周波数特性が変わる事はない。
図15(d)のM1は、第1の読み出しモードの際の空間周波数特性を示している。一方で、第2の読み出しモード、すなわち間引き読み出しモードの際には、信号生成時に空間周波数特性が変わる。上述の通り、X方向の間引きの際に信号の加算を行いS/Nの改善を図るため、加算によるローパス効果が発生する。
図15(d)のM2は、第2の読み出しモードの際の信号生成時の空間周波数特性を示している。ここでは、間引きの影響は加味せず、加算によるローパス効果を示している。
図15(d)では、信号生成による空間周波数特性(M1、M2)は、曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをM1(n)、M2(n)(1≦n≦4)と表す。
図15(e)は、撮影画像を鑑賞する際の空間周波数ごとの感度を示す空間周波数特性(D1)とAF評価信号の処理時に用いるデジタルフィルタの空間周波数特性(D2)を示している。
撮影画像を鑑賞する際の空間周波数毎の感度は、鑑賞者の個人差や、画像サイズや鑑賞距離、明るさなどの鑑賞環境などにより影響を受ける。第1の実施例では、代表的な値として、鑑賞時の空間周波数毎の感度を設定し、記憶している。
鑑賞距離は、ユーザーから記録画像が表示されるディスプレイまでの距離、ユーザーから記録画像が印字される紙までの距離を意味する。
一方で、第2の読み出しモードの際には、間引きの影響で、信号の周波数成分の折り返しノイズが発生する。その影響を加味して、デジタルフィルタの空間周波数特性を示したのがD2である。
図15(e)では、鑑賞時の空間周波数特性(D1)とデジタルフィルタの空間周波数特性(D2)は、曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをD1(n)、D2(n)(1≦n≦4)と表す。
以上のように、種々の情報を、カメラ、レンズのいずれかに記憶しておくことにより、撮影画像の評価帯域W1やAF評価帯域W2の算出を下記の式を用いて行う。
(式5)
W1(n)=I(n)×O(n)×L(n)×M1(n)×D1(n)(1≦n≦4)
(式6)
W2(n)=I(n)×O(n)×L(n)×M2(n)×D2(n)(1≦n≦4)
図15(f)に、撮影画像の評価帯域W1(記録用信号の第1の評価帯域)とAF評価帯域W2(焦点調節用信号の第2の評価帯域)を示す。式5や式6のような計算を行うことにより、撮影画像の合焦状態を決定する因子に対して、空間周波数毎に、どの程度の影響度合いを有するかを定量化することができる。同様に、焦点検出結果が有する誤差が、空間周波数毎に、どの程度の影響度合いを有するかを定量化することができる。
また、カメラ内に記憶する情報は、事前に計算されたW1やW2を記憶していてもよい。上述のように、補正の度に計算することにより、AF評価の際に用いるデジタルフィルタ等を変更した際に、柔軟に対応して補正値を算出できる。
一方で、事前に記憶しておけば、式5や式6のような計算や各種データの記憶容量を省略することができる。
また、全ての計算を事前に終えておく必要はないため、例えば、撮影光学系と被写体の空間周波数特性のみは予め計算し、カメラ内に記憶することにより、データの記憶容量の低減や演算量の低減を行ってもよい。
図15では、説明を簡易にするため、4つ空間周波数(F1〜F4)を用いて説明したが、データを有する空間周波数の数は、多いほど、撮影画像やAFの評価帯域の空間周波数特性を正確に再現することができ、精度のよい補正値の算出を行うことができる。
一方で、重みづけを行う空間周波数を少なくすることにより、演算量の低減を行うことができる。撮影画像の評価帯域とAF評価帯域の空間周波数特性を代表する空間周波数を各々1つずつ持ち、以後の演算を行ってもよい。
図13に戻りサブルーチンの内容の説明を続ける。
S303で、空間周波数BP補正値(BP3)の算出を行う。空間周波数BP補正値の算出を行うに際し、まず、撮影画像のデフォーカスMTF(C1)と焦点検出信号のデフォーカスMTF(C2)を算出する。
C1、C2は、S300で得たデフォーカスMTF情報と、S301、S301で得た評価帯域W1、W2を用いて、下記式にて算出する。
(式7)
C1(n)=MTF1(n)×W1(1)+MTF2(n)×W1(2)+MTF3(n)×W1(3)+MTF4(n)×W1(4)
(式8)
C2(n)=MTF1(n)×W2(1)+MTF2(n)×W2(2)+MTF3(n)×W2(3)+MTF4(n)×W2(4)
式7、式8では、図14で示した空間周波数毎のデフォーカスMTF情報に対して、S301、S302で算出した撮影画像やAFの評価帯域の重みづけを行い加算し、撮影画像のデフォーカスMTFであるC1とAFのデフォーカスMTFであるC2を得ている。
図16に、得られた2つのデフォーカスMTFであるC1、C2を示している。横軸はフォーカスレンズ104の位置で、縦軸は、空間周波数毎に重み付けして加算されたMTFの値となっている。
カメラMPU125は、結像位置算出手段として各々のMTF曲線の極大値位置を検出する。曲線C1の極大値と対応するフォーカスレンズ104の位置としてP_img(第1の結像位置)が検出される。曲線C2の極大値と対応するフォーカスレンズ104の位置としてP_AF(第2の結像位置)が検出される。
S303で、空間周波数BP補正値であるBP3は、下記の式により算出される。
(式9)
BP3=P_AF−P_img
式9により、撮影画像の合焦位置とAFが検出する合焦位置の間で発生しうる誤差を補正するためのベストピント補正値(BP補正値)を補正することができる。上述の説明の通り、撮影画像の合焦位置は、被写体の空間周波数特性、撮影光学系の空間周波数特性、光学ローパスフィルタの空間周波数特性、信号生成時の空間周波数特性、鑑賞時の周波数毎の感度を示す空間周波数特性などにより変化する。
他にも、撮影画像に施される画像処理内容などによっても変化する。第1の実施例では、撮影画像の生成される過程に遡って空間周波数特性を算出することにより、高精度に撮影画像の合焦位置を算出することができる。
例えば、撮影画像を記録する際の記録サイズや画像処理で行われる超解像処理、シャープネス、表示サイズなどによって、撮影画像の合焦位置を変更する。また、撮影画像の記録後に、どの程度の画像サイズや拡大率で鑑賞されるかや鑑賞する際の鑑賞距離などが、事前にわかる場合は、鑑賞者の評価帯域に影響を与える。
画像サイズが大きくなるほど、また、鑑賞距離が短くなるほど、鑑賞者の評価帯域は、高周波成分に重きを置いた特性とする。これにより、撮影画像の合焦位置も変更されることとなる。
記録用信号の第1の評価帯域は、記録用信号の撮像素子の画素の間隔及び撮像素子内で行われる記録用信号の信号加算処理に応じて変更される。
記録用信号の第1の評価帯域は、撮像素子内で行われる記録用信号の信号間引き処理及び記録用信号に行われる画像処理内容に応じて変更される。
記録用信号の第1の評価帯域は、記録用信号の画像サイズ及び記録用信号の表示サイズに応じて変更される。
記録用信号の第1の評価帯域は、記録用信号の鑑賞距離及び記録用信号の画像の明るさに応じて変更される。
同様に、焦点調節用信号の第2の評価帯域は、焦点調節用信号の撮像素子の画素の間隔に応じて変更される。
焦点調節用信号の第2の評価帯域は、撮像素子内で行われる信号加算処理、撮像素子内で行われる信号間引き処理、焦点調節用信号に行われるフィルタ処理内容に応じて変更される。
一方で、AFが検出する合焦位置も同様に、被写体の空間周波数特性、撮影光学系の空間周波数特性、光学ローパスフィルタの空間周波数特性、信号生成時の空間周波数特性、AF評価に用いるデジタルフィルタ空間周波数特性などにより変化する。第1の実施例では、AFに用いられる信号が生成される過程に遡って空間周波数特性を算出することにより、高精度にAFが検出する合焦位置を算出することができる。
例えば、第1の読み出しモードで、AFを行う際にも柔軟に対応できる。その場合には、信号生成時の空間周波数特性を、第1の読み出しモードに対応した特性に変更して、重みづけ係数を算出すればよい。
また、第1の実施例で説明した撮像装置は、交換レンズ式一眼レフカメラであるため、レンズユニット100の交換が可能である。交換が行われた場合には、撮影光学系ごとに、各空間周波数に対応したデフォーカスMTF情報を、カメラ本体120に送信し、撮影画像の合焦位置やAFが検出する合焦位置を算出するため、交換レンズ毎に高精度な補正値の算出を行うことができる。
レンズユニット100は、デフォーカスMTF情報だけでなく、撮影光学系の空間周波数特性などの情報もカメラ本体120に送信してもよい。その情報の活用方法は、上述のとおりである。
また、同様に、カメラ本体120を交換した場合には、画素ピッチや光学ローパスフィルタの特性などが変わる場合がある。上述の通り、そのような場合でも、カメラ本体120の特性に合わせた補正値が算出されるため、高精度に補正を行うことができる。
上述の説明では、主に補正値の計算を、カメラMPU125で行ったが、計算手段はこれに限らない。例えば、レンズMPU117で補正値の計算を行ってもよい。その場合には、カメラMPUから、レンズMPUに対して、図15を用いて説明した各種情報を送信し、レンズMPU内で、デフォーカスMTF情報などを用いて補正値の算出を行ってもよい。その場合には、図1のS24で、カメラMPU125から送信された合焦位置に対して、レンズMPUが補正を施して、レンズ駆動を行えばよい。
本実施例では、焦点検出に用いる信号の特性(縦横、色、空間周波数帯域)に着目して、AF用の補正値を算出している。そのため、AFの方式によらず、同様の方法で、補正値の算出を行うことができる。AF方式毎に、補正方法、補正に用いるデータを有する必要がないため、データの記憶容量、演算負荷の低減を行うことができる。