図1は本発明の撮像装置の一実施形態である「一眼レフタイプデジタルカメラシステム」の電気的構成を示すブロック図である。図1に示すように本実施形態のデジタルカメラ100は、撮影レンズユニット200が不図示のマウント機構を介し着脱可能に取り付けられる。マウント部には、電気的接点群210を有している。接点群210はカメラ本体100と撮影レンズユニット200との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能を備える。さらに撮影レンズユニット200が接続されるとシステムコントローラ120へ信号を送信する機能も備えている。これによりデジタルカメラ100と撮影レンズユニット200の間で通信を行い撮影レンズユニット内の撮影レンズ201、絞り202の駆動を行うことが可能となる。また、接点群210は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。なお、本実施形態では撮影レンズ201を便宜上1枚のレンズで示しているが、実際はさらに多数のレンズから構成されていることは周知の通りである。また、接点群210とシステムコントローラ120とから、レンズ検出手段を構成している。
図示されない被写体像からの撮影光束が、撮影レンズ201及び絞り202を介して、図1の矢印で示す方向に駆動可能なクイックリターンミラー102に導かれる。クイックリターンミラー102の中央部はハーフミラーになっており、クイックリターンミラー102がダウンした際に一部の光束が透過する。そして、この透過した光束は、クイックリターンミラー102に設置されたサブミラー103で下方に向けて反射される。
104は、結像面近傍に配置されたフィールドレンズ、反射ミラー、2次結像レンズ、絞り、及び、複数のCCDから成るラインセンサ等から構成されている周知の位相差方式のAFセンサユニットである。そして、システムコントローラ120からの制御信号により、焦点検出回路105はAFセンサユニット104を制御して、周知の位相差検出方式による焦点検出を行う。なお、AFセンサユニット104と焦点検出回路105とから焦点検出手段を構成している。
一方、クイックリターンミラー102で反射された撮影光束は、ペンタプリズム101、接眼レンズ106を介して撮影者の目に至る。また、接眼レンズ106の近傍に配設された不図示の測光センサは、被写体の輝度を測定するためのセンサであり、その出力は測光回路107を経てシステムコントローラ120へ供給される。なお、上記の測光センサ、測光回路107とシステムコントローラ120とから測光手段を構成している。
また、クイックリターンミラー102がアップした際には、撮影レンズ201からの光束は、機械シャッタであるフォーカルプレーンシャッタ108、フィルタ109を介して撮像素子としてのCMOS等に代表されるイメージセンサ112に至る。
フィルタ109は2つの機能を有しているもので、1つは赤外線をカットし可視光線のみをイメージセンサ112へ導く機能であり、もう1つは光学ローパスフィルタとしての機能である。また、フォーカルプレーンシャッタ108は、先幕及び後幕を有して成るもので、撮影レンズ201からの光束の透過、遮断を制御する。なお、クイックリターンミラー102のアップ時には、サブミラー103は折り畳まれるようになっている。
また、本実施形態のデジタルカメラ100は、当該デジタルカメラ全体の制御手段となり、制御を司るCPUにより構成されるシステムコントローラ120を備え、後述する各部の動作を適宜制御する。なお、システムコントローラ120は、補正手段に相当する。
システムコントローラ120には、撮影レンズ201を光軸方向に移動してピント合わせを行うためのレンズ駆動機構203を制御するレンズ制御回路204と、絞り202を駆動するための絞り駆動機構205を制御する絞り制御回路206とがレンズ制御マイコン207を介して接続されている。また、システムコントローラ120には、クイックリターンミラー102のアップ・ダウンの駆動及びフォーカルプレーンシャッタ108のシャッタチャージを制御するシャッタチャージ・ミラー駆動機構110が接続されている。また、システムコントローラ120には、フォーカルプレーンシャッタ108の先幕、後幕の走行を制御するためのシャッタ制御回路111が接続されている。さらにシステムコントローラ120には、EEPROM122等が接続されている。EEPROM122は、デジタルカメラ100を制御する上で調整が必要なパラメータやデジタルカメラの個体識別が可能なカメラID情報や基準レンズで調整されたAF補正データや自動露出補正値などが記憶される記憶手段である。
レンズ制御マイコン207は、レンズ固有の情報、例えば焦点距離、開放絞り、レンズ個々に割り振られるレンズIDといった情報とシステムコントローラ120から受け取った情報を記憶するレンズ記憶装置も有している。また、システムコントローラ120は、レンズ制御マイコン207を介してレンズ駆動機構203を制御することにより、被写体像をイメージセンサ112上に結像させる。また、設定されたAv値に基づいて、絞り202を駆動する絞り駆動機構205を制御し、更に、設定されたTv値に基づいて、シャッタ制御回路111へ制御信号を出力することで露出制御を行う。
フォーカルプレーンシャッタ108の先幕、後幕は、駆動源がバネにより構成されており、シャッタ走行後次の動作のためにバネチャージを要する。シャッタチャージ・ミラー駆動機構110は、このバネチャージを制御するようになっている。また、シャッタチャージ・ミラー駆動機構110によりクリックリターンミラー102のアップ・ダウンが行われる。
また、システムコントローラ120には、画像データコントローラ115が接続されている。この画像データコントローラ115は、DSP(デジタル信号プロセッサ)により構成される。そして、イメージセンサ112の制御、イメージセンサ112から入力された画像データの補正や加工などをシステムコントローラ120の指令に基づいて実行する。画像データの補正・加工の項目の中にはオートホワイトバランスも含まれている。オートホワイトバランスとは、撮影画像中の最大輝度の部分を所定の色(白色)に補正する機能である。オートホワイトバランスは、システムコントローラ120からの命令により補正量を変更する事が可能である。
さらに、システムコントローラ120と画像データコントローラ115とから、第2の測光手段を構成している。第2の測光手段は、画像データコントローラ115によって、画像信号を領域分割し、それぞれの領域でベイヤ画素毎に積分した値をシステムコントローラ120に供給し、システムコントローラ120で積分信号を評価することで測光を行う。
画像データコントローラ115には、タイミングパルス発生回路114と、A/Dコンバータ113と、DRAM121と、D/Aコンバータ116と、画像圧縮回路119と、コントラスト検出回路140が接続されている。タイミングパルス発生回路114は、イメージセンサ112を駆動する際に必要なパルス信号を出力する。A/Dコンバータ113は、イメージセンサ112と共にタイミングパルス発生回路114で発生されたタイミングパルスを受けて、イメージセンサ112から出力される被写体像に対応したアナログ信号をデジタル信号に変換する。DRAM121は、得られた画像データ(デジタルデータ)を一時的に記憶しておく。DRAM121は、加工や所定のフォーマットへのデータ変換が行われる前の画像データを一時的に記憶するために使用される。
更に、画像圧縮回路119には、記録手段である記録媒体401が接続される。画像圧縮回路119は、DRAM121に記憶された画像データの圧縮や変換(例えばJPEG)を行うための回路である。変換された画像データは、記録媒体401へ格納される。この記録媒体としては、ハードディスク、フラッシュメモリ、フロッピー(登録商標)ディスク等が使用される。なお、画像データコントローラ115と画像圧縮回路119と記録媒体401とから記録手段を構成している。
また、D/Aコンバータ116には、エンコーダ回路117を介して画像表示回路118が接続される。画像表示回路118は、イメージセンサ112で撮像された画像データを表示するための回路であり、一般にはカラーの液晶表示素子により構成される。
画像データコントローラ115は、DRAM121上の画像データを、D/Aコンバータ116によりアナログ信号に変換してエンコーダ回路117へ出力する。エンコーダ回路117はこのD/Aコンバータ116の出力を、画像表示回路118を駆動する際に必要な映像信号(例えばNTSC信号)に変換する。なお、D/Aコンバータ215と画像表示回路118とエンコーダ回路117とから画像表示手段を構成している。
さらに、システムコントローラ120と画像データコントローラ115とから第2の焦点検出手段を構成している。画像データコントローラ115は、補正した画像データに対し、所定の周波数特性を持つフィルタを通し、所定のガンマ処理を行って得られる画像信号の所定方向のコントラストを評価し、その結果はシステムコントローラ120に供給される。システムコントローラ120は、レンズ制御回路204と通信を行い、焦点位置を調節しコントラスト評価値が所定レベルよりも高くなるように焦点位置を調節する。なお、画像データコントローラ115とシステムコントローラ120とレンズ制御回路204とレンズ駆動機構203と撮影レンズ201から第2の自動焦点調節手段を構成している。
さらにシステムコントローラ120には、動作表示回路123と、撮影モード選択ボタン130と、メイン電子ダイヤル131と、決定SW132と、測距点選択ボタン133(測距点選択手段に相当する)と、AFモード選択ボタン134が接続されている。また、測光モード選択ボタン135と、測光・測距などの撮影準備動作を開始させるためのレリーズSW1(136)と、撮像動作を開始させるためのレリーズSW2(137)と、ファインダーモード選択SW138とが接続されている。動作表示回路123は、デジタルカメラの動作モードの情報や露出情報(シャッタ秒時、絞り値等)などを外部液晶表示装置124や内部液晶表示装置125に表示させる。撮影モード選択ボタン130は、ユーザが所望の動作をデジタルカメラに実行させるべくモードを設定するボタンである。測距点選択ボタン133は、AFセンサユニット104が持つ複数の焦点検出位置から使用する焦点検出位置を選択するためのボタンである。レリーズSW1(136)は、測光・測距などの撮影準備動作を開始させるためのスイッチであり、レリーズSW2(137)は、撮像動作を開始させるためのスイッチである。
なお、外部液晶表示装置124と内部液晶表示装置125とが動作表示手段に相当し、さらに、外部液晶表示装置124は外部表示手段、内部液晶表示装置125は内部表示手段にそれぞれ相当する。さらに、動作表示回路123とシステムコントローラ120とから表示制御手段を構成している。
また、ファインダーモード選択SW138は、光学ファインダーモードと、ライブビュー表示モードとを切り替えるファインダーモード選択手段に相当する。光学ファインダーモードでは、接眼レンズ106を通過する光束を確認することを可能とし、ライブビュー表示モードでは、イメージセンサ112で受光した象信号を、逐次、画像表示回路118によって表示する。
さらに、デジタルカメラ100は、ストロボ装置300が不図示のマウント機構を介し着脱可能に取り付けられる。マウント部には、電気的接点群310を有している。接点群310はカメラ本体100とストロボ装置300との間で制御信号、状態信号、データ信号などを伝え合うと共に、発光タイミングを制御するX端子(発光端子)を備える。さらに、ストロボ装置300が接続されるとシステムコントローラ120へ信号を送信する機能も備えている。これによりデジタルカメラ100とストロボ装置300の間で通信を行いストロボの発光制御を行うことが可能となる。また、接点群310は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。
ストロボ装置300は、キセノン(Xe)管301、反射笠302、Xe管301の発光を制御するIGBTなどで構成された発光制御回路303、Xe管301に給電するために300V程度の電圧を発生する充電回路304を備える。さらに、充電回路304に給電する電池などの電源305、ストロボの発光、充電などを制御するとともに、カメラ側のシステムコントローラ120と通信を制御するストロボ制御マイコン306も備える。
図2は、撮像素子のブロック図を示している。なお、図2のブロック図は、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。図2において、201は、光電変換部(以下、PDmnと略す。mは、X方向アドレスであり、m=0,1,…,m−1、nは、Y方向アドレスであり、n=0,1,…,n−1である。)である。光電変換部201は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本実施形態の撮像素子は、m×nの光電変換部が2次元状に配置されている。符号は、煩雑になるので、左上の光電変換部PD00付近のみに付記した。
202は、光電変換部PDmnの出力を選択するスイッチであり、垂直走査回路208により、一行ごとに選択される。203は、光電変換部PDmnの出力を一時的に記憶するためのラインメモリであり、垂直走査回路により選択された、一行分の光電変換部の出力信号を記憶するものである。通常は、コンデンサが使用される。204は、水平出力線に接続されて、水平出力線を所定の電位VHRSTにリセットするためのスイッチであり、信号HRSTにより制御される。
205は、ラインメモリ203に記憶された光電変換部PDmnの出力を水平出力線に順次出力するためのスイッチであり、H0からHm−1のスイッチを後述の水平走査回路206により、順次走査することにより、一行分の光電変換の出力信号が読み出される。
206は、水平走査回路であり、ラインメモリに記憶された光電変換部の出力を順次走査して、水平出力線に出力させる。信号PHSTは、水平走査回路のデータ入力、PH1、PH2は、シフトクロック入力であり、PH1=Hでデータがセットされ、PH2でデータがラッチされる構成となっている。そして、PH1、PH2にシフトクロックを入力することにより、PHSTを順次シフトさせて、H0からHm−1のスイッチを順次オンさせることができる。SKIPは、間引き読み出し時に設定を行なわせる制御端子入力である。SKIP端子をHレベルに設定することにより、水平走査回路を所定間隔でスキップさせることが可能になる。
208は、垂直走査回路であり、順次走査して、V0からVn−1を出力することにより、光電変換部PDmnの選択スイッチ202を選択することができる。制御信号は、水平走査回路と同様に、データ入力PVST、シフトクロックPV1、PV2、間引き読み設定SKIPにより制御される。動作に関しては、水平走査回路と同様であるので詳細説明は省略する。また、図中では、前記の制御信号は、不図示とした。
図3、図4、及び図5は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態においては、2×2の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
図3に撮像用画素の配置と構造を示す。図3(a)は2×2の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にG画素が、他の2画素にRとBの画素が配置される。そしてこの2行×2列の構造が繰り返し配置される。
図3(a)の断面A−Aを図3(b)に示す。MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(赤)のカラーフィルタ、CFGはG(緑)のカラーフィルタである。PDはC−MOSセンサの光電変換部を模式的に示したもの、CLはC−MOSセンサ内の各種信号を伝達する信号線を形成するための配線層である。TLは撮影光学系を模式的に示したものである。
ここで、撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図3(b)ではR画素の入射光束について説明したが、G画素及びB(青)画素も同一の構造となっている。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。
図4は、撮影光学系の水平方向(横方向)に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで水平方向あるいは横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図4(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。記録もしくは観賞のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方でRもしくはB画素は、色情報(色差情報)を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像用画素として残し、RとBの画素を焦点検出用画素に置き換える。これを図4(a)においてSHA及びSHBで示す。
図4(a)における断面A−Aを図4(b)に示す。マイクロレンズMLと、光電変換部PDは図3(b)に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜CFW(White)が配置される。また、撮像素子で瞳分割を行なうため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏倚している。具体的には、画素SHAの開口部OPHAは右側に偏倚しているため、撮影光学系TLの左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SHBの開口部OPHBは左側に偏倚しているため、撮影光学系TLの右側の射出瞳EPHBを通過した光束を受光する。よって、画素SHAを水平方向に規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、画素SHBも水平方向に規則的に配列し、これらの画素群で取得した被写体像をB像とすると、A像とB像の相対位置を検出し、像のズレ量に対して変換係数を乗じることで被写体像のピントずれ量(デフォーカス量)を算出できる。
なお、画素SHA及びSHBでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるよう、撮影光学系の垂直方向(縦方向)にも瞳分割を行なう画素も備えている。
図5は、撮影光学系の垂直方向(換言すると上下方向もしくは縦方向)に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで垂直方向あるいは上下あるいは縦横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。図5(a)は、焦点検出用画素を含む2行×2列の画素の平面図で、図4(a)と同様に、G画素は撮像用画素として残し、RとBの画素を焦点検出用画素としている。これを図5(a)においてSVC及びSVDで示す。
図5(a)の断面A−Aを図5(b)に示すが、図4(b)の画素が横方向に瞳分離する構造であるのに対して、図5(b)の画素は瞳分離方向が縦方向になっているだけで、画素の構造としては変わらない。すなわち、画素SVCの開口部OPVCは下側に偏倚しているため、撮影光学系TLの上側の射出瞳EPVCを通過した光束を受光する。同様に、画素SVDの開口部OPVDは上側に偏倚しているため、撮影光学系TLの下側の射出瞳EPVDを通過した光束を受光する。よって、画素SVCを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をC像とする。また、画素SVDも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をD像とすると、C像とD像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)が検出できる。
図6は、撮像用画素および焦点検出用画素の配置を示した図である。図6において、Gは、緑フィルタを塗布された画素、Rは、赤フィルタを塗布された画素、Bは、青フィルタを塗布された画素である。図中のSHAは、画素部の開口を水平方向に偏倚させて、形成された焦点検出用の画素であり、後述のSHB画素群との水平方向の像ずれ量を検出するための基準画素群である。また、SHBは、画素の開口部をSHA画素とは、逆方向に偏倚させて形成された画素であり、SHA画素群との水平方向の像ずれ量を検出するための参照画素群である。SHA、SHB画素の白抜き部分が、偏倚した画素の開口位置を示している。
ここで、像ズレ量からデフォーカス量を算出するための変換係数の求め方について説明する。変換係数は結像光学系の口径情報、及び焦点検出用画素の感度分布に基づいて算出することができる。イメージセンサ112には撮影レンズTLのレンズ保持枠や絞り202などのいくつかの構成部材によって制限された光束が入射する。図7は撮影光学系のケラレにより、焦点検出に用いる光束が限定されている様子を示す図である。図7はイメージセンサの中央近傍の画素に対して、射出瞳面701の位置にある結像光学系の絞り702によって光束が限定されている様子を示している。図7(a)において、703、704はイメージセンサ(703は予定結像面位置)、705は光軸、706はイメージセンサ上での光軸位置、707、708は絞りによって光束が限定された場合の光束、709、710は光束が限定されていない場合の光束を示している。光束707、708に対する焦点検出用光束を711、712、焦点検出用光束の重心位置を715、716で示す。同様に、光束709、710に対する焦点検出用光束を713、714、焦点検出用光束の重心位置を717、718で示す。
図7(b)はイメージセンサの中央の焦点検出用画素の射出瞳面1でのケラレによる重心位置の変化を示した図である。図7(b)において、723、724はイメージセンサの中央の画素に対して、限定された光束707、708、及び限定されていない光束709、710の瞳領域を示し、725、726は焦点検出用画素SHA、SHBの入射角特性を示している。焦点検出用画素SHA、SHBには、721、722で示した形状の内側を透過した光束が723、724で図示した感度分布で入射する。そのため、723、724で示した形状の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、焦点検出に用いる光束が限定されている場合と、限定されていない場合の重心間隔を求めることができる。焦点検出用画素の感度分布情報、及び結像光学系の口径情報を測定及び計算から求めて記憶しておくことで、像ズレ量からデフォーカス量を算出するための変換係数を求めることができる。
図7(a)においてデフォーカス量719をDEF、イメージセンサから射出瞳面701までの距離720をL、焦点検出に用いる光束が限定されている場合と、限定されていない場合の重心間隔をそれぞれG1(715,716間距離)、G2(717、718間距離)、像ずれ量をPRED1(721)、PRED2(722)、像ずれ量をデフォーカス量に変換する変換係数をK1、K2とした場合、以下の式によってデフォーカス量が求まる。
DEF=K1×PRED1=K2×PRED2
像ずれ量をデフォーカス量に変換する変換係数K1、K2はそれぞれ以下の式によって求まる。
K1 = L/G1
K2 = L/G2
したがって、絞りを変化させることにより、G値が変化し、デフォーカス検出精度が変わってしまうことになる。
図8は、射出瞳上に形成される絞りの有効径Dおよび絞りにより変化する変換係数KのうちGの変化(絞りが変化しても、Lは変化しない)を示した図である。図8において、縦軸は、有効径DおよびGの相対値を示している。図中の点線が有効径D、実線がGの相対変化をそれぞれ表わしている。基準となる絞りの大きさは、図7の724の絞り値であり、たとえばF5.6の絞りに相当する。また、図7の723の絞りは、たとえばF11に相当する。横軸は、F値(FNo)である。図より有効径Dは、FNoに反比例していることがわかる。また、Gは、724よりも絞りを明るくしても、焦点検出用画素の感度分布により規制され、1以上に大きくなることはない。また、724よりも暗い絞り値では、焦点検出用画素の略楕円形状の感度分布が、円形の絞りによりケラレるために、Gの変化は、有効径の減少よりも、大きな減少を示す。
通常、カメラなどの撮像装置では、許容錯乱円をδとすると、これを満足するために必要なデフォーカス検出精度DEFは、
DEF=Fδ
となり、F(=D/L)を絞ることによって必要な検出デフォーカスの精度は、大きくてもよいことになる。すなわち、Gの値を有効径Dで除算した結果が、1以上であれば、デフォーカス検出精度は、悪化しないことになる。図8の一点鎖線は、Gの値を有効径Dで除算したものである。図より明らかなように、724よりも絞りを明るくしていくごとに、724よりも絞りを暗くしていくごとに、デフォーカス検出精度が悪化していくことがわかる。したがって、デフォーカス検出精度を悪化させないためには、焦点検出用画素のSNを向上させて、Gの変化による精度悪化分を補う必要がある。
図9は、焦点検出用画素のSNを向上させるためのフレーム加算動作を説明する図である。本実施形態では、レンズが合焦位置に移動する間もオーバーラップして焦点検出動作を行なえるものとして、図9では時間が経過するごとにレンズが合焦位置に近づいている様子を示している。図9において、最上部に画像信号の読出しの時間経過を示す。画像信号の読出しの所定周期をTs、現フレームの読み出しサイクルをnと表し、現フレームの時刻をnTsとしている。各フレームで読み出された最新の画像データにより表示がリフレッシュされる。各フレームで読み出された焦点検出用画素の画像データは内部メモリにスタックして記憶される。画像信号の読出しn回目に読み出された焦点検出用画素の画像信号は、焦点検出用画素信号a(n)として記憶される。焦点検出領域で得られる画像データは前述したようにSHA、SHBの各画素群によって1対の画素データが得られる。画像データの加算処理を施す上では、各画像データの最大値と最小値の差分(ピーク−ボトム値:以下PB値と称す)が小さい方の像によって加算フレーム数を制御する。そのため、ここでは、PB値の小さい方の画像データをa(n)として説明をする。PB値の小さい方の画像データから画像データの加算数(以下、フレーム加算数と称す)が決定した場合、PB値の大きい方の画像データでも同数の画像データを加算する。
加算処理の方法としては、まず、現フレームの焦点検出用画素の画像データのPB値としきい値PBthを比較し、これを超えている場合は焦点検出用画素信号を加算画素信号(加算信号)とする。図9においては、時刻nTsで示されており、焦点検出用画素信号a(n)のPB値がしきい値PBthを超えているため、a(n)を加算画素信号A(n)としている。
また、最新フレームの焦点検出用画素信号がPBthを超えていない場合は、過去フレームで取得した焦点検出用画素の画像データを順に加算していき、加算画素信号のPB値がPBthを超えた時点で加算処理を終了し、加算結果を加算画素信号とする。図9においては、時刻(n−2)Tsで示されている。時刻(n−1)Tsでは焦点検出用画素信号b(n−1)のPB値がしきい値PBthを超えておらず、前フレームで取得した焦点検出用画素信号c(n−2)をb(n−1)に加算すると、加算画素信号のPB値はしきい値PBthを超える。そのため、b(n−1)+c(n−2)を加算画素信号B(n−1)としている。
また、フレーム加算数には上限を設け、上限以上を必要とする場合は上限までの加算データを加算画素信号とする。図9においては、フレーム加算数の上限を3としており、時刻(n−2)Tsで示されている。以上が、加算処理の方法である。
以上、説明したように焦点検出用画素を複数フレームにわたって加算することにより、焦点検出用画素のSNを向上することが可能である。さらに、絞りの変化による検出精度の悪化を防止するために、撮影レンズの絞りに応じて、フレーム加算の閾値PBthを設定(閾値設定)すれば、検出精度の悪化を防止することが可能である。たとえば、F5.6のときの閾値レベルに対して、F/Gの二乗を乗算して閾値を設定すればよい。F/Gの二乗を乗算するのは、SN比は、信号量Sのルートで改善されるという特性のためである。また、F、Gは、それぞれフレーム加算により蓄積中の撮影レンズのF値およびそのときの焦点検出用画素の重心間隔である。
このように閾値を設定することで、撮影レンズの絞り値にかかわらず、デフォーカス検出精度を維持することができる。また、撮影レンズのF値に応じて、最適なフレーム加算枚数を設定することが可能となり、いたずらに測距時間を長くすることなく低輝度被写体の焦点検出精度の向上を図ることができる。
図10はイメージセンサの中央から像高を持った位置の画素に対して、レンズ保持枠および絞りによって光束が限定されている様子を示している。また、図7と同一の構成要素には、同一の符号を付与してある。図10(a)において、703、704はイメージセンサ、705は光軸、1001はイメージセンサ上での光軸位置である。また、1002、1003はイメージセンサに最も近い側にあるレンズ保持枠730と、被写体に最も近い側にあるレンズの保持枠731によって光束が限定された場合の光束を示している。光束1002、1003に対する焦点検出用光束を1004、1005、焦点検出用光束の重心位置を1006、1007で示す。
図10(b)はイメージセンサの中央から像高を持った位置の焦点検出用画素の射出瞳面1でのケラレによる重心位置を示した図である。図10(b)において、1008はイメージセンサの中央から像高を持った画素に対して、限定された光束1002、1003の瞳領域を示し、1009、1010は焦点検出用画素SHA、SHBの入射角特性を示している。焦点検出用画素SHA、SHBには、1008で示した形状の内側を透過した光束が1009、1010で図示した感度分布で入射する。そのため、1008で示した形状の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、焦点検出に用いる光束がレンズの保持枠によって限定されている場合の重心間隔を求めることができる。焦点検出用画素の感度分布情報、及び結像光学系の口径情報を測定及び計算から求めて記憶しておくことで、像ズレ量からデフォーカス量を算出するための変換係数を求めることができる。
また、図10(b)に示された、723、724は、図7で説明した702の絞りにより限定される光束の瞳領域を示している。像高の高い位置の画素から絞りを見た場合、円形の絞りは略楕円のような形状を示している。図より明らかなように、像高を持った位置の画素は、所定以上の絞りよりも明るい絞りでは、レンズ保持枠により、所定よりも暗い絞りでは、絞りにより光束が限定されることがわかる。どちらの要因が支配的であるかは、レンズ保持枠の位置や大きさ、撮影レンズの入射瞳の大きさ位置により決定され、一眼レフなどのようにレンズ交換式のシステムでは、レンズごとに、設定する必要がある。また、ズームレンズのような撮影レンズでは、ズーム位置ごとに設定する必要があるのは言うまでもない。
図10(a)において、レンズ保持枠により光束が限定された場合、デフォーカス量719をDEF、イメージセンサ703の撮像面から射出瞳面701までの距離720をL、焦点検出に用いる光束がレンズの保持枠によって限定されている場合の重心間隔をそれぞれG3(1006,1007間距離)、像ずれ量をPRED3(1011)、像ずれ量をデフォーカス量に変換する変換係数をK3とした場合、以下の式によってデフォーカス量が求まる。
DEF = K3×PRED3
像ずれ量をデフォーカス量に変換する変換係数K3は以下の式によって求まる。
K3 = L/G3
また、絞りが所定よりも絞られた場合には、絞りにより光束が限定され、像高位置により、重心間隔は、光軸中心よりも短くなる。像ずれ量をPRED4、像ずれ量をデフォーカス量に変換する変換係数をK4とした場合、以下の式によってデフォーカス量が求まる。
DEF = K4×PRED4
像ずれ量をデフォーカス量に変換する変換係数K4は以下の式によって求まる。
K4 = L/G4
像高位置が高くなると、絞り値のほかに、レンズ保持枠も加味して、フレーム加算の閾値を設定して焦点検出精度の悪化を防止する必要がある。また、同一絞りであっても、像高位置で重心間隔が異なるので、これも考慮して閾値を設定する必要がある。設定に関しては、図7で説明した方法と同様の考え方で設定可能なので、説明は省略する。
さらに、近年の撮像素子は、ISO感度が、ますます向上し、ISO12800を超える設定が可能である。ISO感度を高感度に設定して撮影する場合、画素のSN自体は、悪化するので、焦点検出精度は落ちていく。したがって、前述した口径情報のほかに、ISO感度も考慮して、閾値を設定することが望ましい。すなわち、ISOが、1段あがれば、閾値を2倍に設定し、フレーム加算数を2倍にすれば、焦点検出精度の悪化を防止可能なことはいうまでもない。