図1は本発明の実施例1におけるカメラの構成図であり、撮像素子を有するカメラ本体(撮像装置)と撮影光学系(レンズ装置)とが一体的に構成されたカメラ100を示している。ただし本実施例はこれに限定されるものではなく、撮影光学系(レンズ装置)がカメラ本体(撮像装置)に対して着脱可能に構成されたカメラシステムについても適用可能である。
図1において、101は、被写体像を形成する撮影光学系の先端に配置された第1レンズ群であり、光軸方向に進退可能に保持される。102は絞り兼用シャッタであり、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時には露光秒時調節用シャッタとしての機能も備える。103は第2レンズ群である。絞り兼用シャッタ102及び第2レンズ群103は一体的に光軸方向に進退可能に構成され、第1レンズ群101の進退動作と連動して変倍作用(ズーム機能)をなす。
105は第3レンズ群であり、光軸方向の進退動作により焦点調節を行う。106は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。107は、C−MOSセンサとその周辺回路で構成された撮像素子である。撮像素子107としては、例えば、横方向m画素、縦方向n画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された2次元単板カラーセンサが用いられる。後述のように、撮像素子107は、撮像画素および焦点検出画素を備え、被写体像を光電変換する。
111はズームアクチュエータであり、不図示のカム筒を回動することで、第1レンズ群101乃至第3レンズ群103を光軸方向に進退駆動し、変倍操作を行う。112は絞りシャッタアクチュエータであり、絞り兼用シャッタ102の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。114はフォーカスアクチュエータであり、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。
115は撮影時の被写体照明用電子フラッシュであり、キセノン管を用いた閃光照明装置が適して用いられるが、これに限定されるものではなく、例えば連続発光するLEDを備えた照明装置を用いてもよい。116はAF補助光手段であり、所定の開口パターンを有するマスクの像を、投光レンズを介して被写界に投影し、暗い被写体又は低コントラスト被写体に対する焦点検出能力を向上させる。
121はCPU(カメラ制御部)であり、カメラ本体の種々の制御を司るカメラ内CPUである。CPU121は、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有し、ROMに記憶された所定のプログラムに基づいて、カメラ100の各種回路を駆動し、AF、撮影、画像処理、記録等の一連の動作を実行する。
122は電子フラッシュ制御回路であり、撮影動作に同期して照明手段115を点灯制御する。123は補助光駆動回路であり、焦点検出動作に同期してAF補助光手段116を点灯制御する。124は撮像素子駆動回路であり、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換してCPU121に送信する。125は画像処理回路であり、撮像素子107により取得された画像のγ変換、カラー補間、JPEG圧縮等の処理を行う。
126はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。128は絞りシャッタ駆動回路であり、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路であり、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
131はLCD等の表示器であり、カメラ100の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。132は操作スイッチ群であり、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。133は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。
図2は、撮像素子107のブロック図を示している。なお、図2のブロック図は、画像信号の読み出し動作の説明に必要な最低限の構成を示し、画素リセット信号などが省略されている。図2において、201は、光電変換部(以下、「PDmn」ともいう。mは、X方向アドレスであり、m=0、1、…、m−1、nは、Y方向アドレスであり、n=0、1、…、n−1である。)であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本実施例の撮像素子107は、m×nの光電変換部を2次元上に配置して構成されている。符号は、煩雑になるため、左上の光電変換部PD00付近のみに付記している。
202は、光電変換部201(PDmn)の出力を選択するスイッチであり、垂直走査回路208により、一行ごとに選択される。203は、光電変換部201(PDmn)の出力を一時的に記憶するためのラインメモリ(MEM)であり、垂直走査回路208により選択された、一行分の光電変換部201(PDmn)の出力を記憶する。ラインメモリ203としては、通常、コンデンサが用いられる。
204は、水平出力線に接続されて、水平出力線を所定の電位VHRSTにリセットするためのスイッチであり、信号HRSTにより制御される。205は、ラインメモリ203に記憶された光電変換部201(PDmn)の出力を水平出力線に順次出力するためのスイッチ(H0〜Hm−1)である。スイッチ205(H0〜Hm−1)を後述の水平走査回路206で順次走査することにより、一行分の光電変換の出力が読み出される。
206は水平走査回路であり、ラインメモリ203に記憶された光電変換部201の出力を順次操作して、水平出力線に出力させる。信号PHSTは、水平走査回路206のデータ入力、PH1、PH2はシフトクロック入力であり、PH1=Hでデータがセットされ、PH2でデータがラッチされる構成となっている。シフトクロック入力PH1、PH2にシフトクロックを入力することにより、信号PHSTを順次シフトさせて、スイッチ205(H0〜Hm−1)を順次オンさせることができる。信号SKIPは、間引き読み出し時に設定を行わせる制御入力信号である。信号SKIPをHレベルに設定することにより、水平走査回路206を所定間隔でスキップさせることが可能になる。207は水平出力線の信号を増幅して端子VOUTに出力する増幅器AMPである。
208は垂直走査回路であり、順次走査して、制御信号V0〜Vn−1を出力することにより、光電変換部201(PDmn)の選択スイッチ202を選択することができる。制御信号は、水平走査回路206の場合と同様に、データ入力である信号PVST、シフトクロックPV1、PV2、及び、間引き読み設定を行う信号SKIPにより制御される。動作の詳細は、水平走査回路206と同様であるため、その説明は省略する。
図3乃至図5は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施例においては、2×2の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列が採用されている。そしてベイヤー配列の間に、後述する構造を有する焦点検出用画素が所定の規則で分散配置されている。
図3は、撮像用画素の配置および構造を示す。図3(a)は、2行×2列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向にG画素が、他の2画素にRとBの画素が配置されている。そして、この2行×2列の構造が繰り返し配置される。
図3(b)は、図3(a)の断面A−Aを示す断面図である。MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(Red)のカラーフィルタ、CFGはG(Green)のカラーフィルタである。PDはC−MOSセンサの光電変換部を模式的に示したものであり、CLはC−MOSセンサ内の各種信号を伝達する信号線を形成するための配線層である。TLは、撮影光学系を模式的に示したものである。
撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部PDの有効面積は大面積であるように設計される。また、図3(b)ではG画素の入射光束について説明したが、R画素及びB(Blue)画素も同一の構造を有する。従って、RGBの各々の撮像用画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込むことで画像信号のS/Nを向上させている。
図4は、撮影光学系の水平方向(横方向)に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで水平方向(横方向)とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図4(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。記録又は観賞のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方、R画素、B画素は、色情報(色差情報)を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施例においては、2行×2列の画素のうち、G画素は撮像用画素として残し、RとBの画素を焦点検出用画素に置き換える。これを図4(a)においてSHA及びSHBで示す。
図4(b)は、図4(a)における断面A−Aを示す断面図である。マイクロレンズMLと光電変換部PDは、図3(b)に示される撮像用画素と同一構造である。本実施例においては、焦点検出用画素の信号は画像創生に用いられないため、色分離用カラーフィルタの代わりに透明膜CFW(White)が配置される。また、撮像素子で瞳分割を行うため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏倚している。具体的には、画素SHAの開口部OPHAは右側に偏倚しているため、撮影光学系TLの左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SHBの開口部OPHBは左側に偏倚しているため、撮影光学系TLの右側の射出瞳EPHBを通過した光束を受光する。画素SHAを水平方向に規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、画素SHBも水平方向に規則的に配列し、これらの画素群で取得した被写体像をB像とする。そしてA像とB像の相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)を検出することができる。
なお、画素SHA及びSHBでは、撮影画面の横方向に輝度分布を有する被写体、例えば縦線に対しては焦点検出可能であるが、縦方向に輝度分布を有する横線に対しては焦点検出不能である。そこで本実施例では、後者についても焦点検出できるように、撮影光学系の垂直方向(縦方向)に瞳分割を行う画素も備えている。
図5は、撮影光学系の垂直方向(換言すると上下方向(縦方向))に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで垂直方向(上下方向あるいは縦横方向)とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。図5(a)は、焦点検出用画素を含む2行×2列の画素の平面図であり、図4(a)と同様に、G画素は撮像用画素として残し、R画素とB画素を焦点検出用画素としている。これを図4(a)においてSVC及びSVDで示す。
図5(b)は、図5(a)の断面A−Aを示す断面図である。図4(b)の画素が横方向に瞳分離させる構造であるのに対して、図5(b)の画素は瞳分離方向が縦方向になっている。図5(b)のそれ以外の画素構造は図4(b)の構造と同様である。すなわち、画素SVCの開口部OPVCは下側に偏倚しているため、撮影光学系TLの上側の射出瞳EPVCを通過した光束を受光する。同様に、画素SVDの開口部OPVDは上側に偏倚しているため、撮影光学系TLの下側の射出瞳EPVDを通過した光束を受光する。画素SVCを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をC像とする。また、画素SVDも垂直方向規則的に配列し、これらの画素群で取得した被写体像をD像とする。そしてC像とD像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)を検出することができる。
続いて、像ずれ量からデフォーカス量を算出するための変換係数を得る方法について説明する。変換係数は、結像光学系の口径情報及び焦点検出画素の感度分布に基づいて算出される。イメージセンサ(撮像素子107)には、撮影レンズTLのレンズ保持枠や絞り102などのいくつかの構成部材によって制限された光束が入射する。図6および図7は、撮影光学系のケラレにより、焦点検出用の光束が制限されている様子を示す図である。図6は、イメージセンサの中央近傍の画素に対して、射出瞳面601の位置にある結像光学系の絞り602によって光束が制限されている様子を示している。図6(a)において、603、604はイメージセンサ(603は、予定結像面位置におけるイメージセンサ)、605は光軸、606はイメージセンサ603上での光軸の位置である。607、608は絞り602によって光束が限定された場合の光束、609、610は絞り602により制限されていない光束である。611、612はそれぞれ、光束607、608に対する焦点検出用光束である。615、616はそれぞれ、焦点検出用光束611、612の重心位置である。同様に、613、614はそれぞれ、光束609、610に対する焦点検出用光束である。617、618はそれぞれ、焦点検出用光束613、614の重心位置である。630はイメージセンサに最も近い側にあるレンズ保持枠、631は被写体に最も近い側にあるレンズ保持枠である。
図6(b)は、イメージセンサの中央の焦点検出用画素の射出瞳面601でのケラレによる重心位置の変化を説明する図である。図6(b)において、623、624はそれぞれ、イメージセンサ604の中央の画素に対して制限された光束607、608、および、制限されていない光束609、610の瞳領域を示す。625、626はそれぞれ、焦点検出用画素SHA、SHBの入射角特性を示す。焦点検出用画素SHA、SHBには、瞳領域623、624の内側を透過した光束が入射角特性625、626で示される感度分布で入射する。このため、瞳領域623、624の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、焦点検出用光束が制限されている場合と、制限されていない場合の重心間隔を算出することができる。焦点検出用画素の感度分布情報および結像光学系の口径情報を測定及び計算から求めて予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。
図6(a)において、デフォーカス量619をDEF、イメージセンサ603から射出瞳面601までの距離620をLとする。また、焦点検出用光束が制限されている場合と制限されていない場合の重心間隔をそれぞれG1(重心位置615、616間距離)、G2(重心位置617、618間距離)とする。また、像ずれ量621、622をそれぞれPRED1、PRED2、像ずれ量621、622のそれぞれをデフォーカス量DEFに変換する変換係数をK1、K2とする。このとき、以下の式(1)によりデフォーカス量DEFを求めることができる。
DEF=K1×PRED1=K2×PRED2 … (1)
また、像ずれ量621、622をデフォーカス量DEFに変換する変換係数K1、K2は、それぞれ以下の式(2−a)、(2−b)により求められる。
K1=L/G1 … (2−a)
K2=L/G2 … (2−b)
焦点検出位置が光軸近傍にない場合、射出瞳面601以外の位置にある絞りの射出瞳や、絞りの射出瞳よりF値が明るい場合でも結像光学系の絞り以外のレンズの保持枠に対応した射出瞳により、焦点検出用光束のケラレが発生する。
図7は、イメージセンサの中央から像高を有する位置の画素に対して、レンズ保持枠によって光束が制限されている様子を示している。図7(a)において、703、704はイメージセンサ(703は、予定結像面位置におけるイメージセンサ)、705は光軸、706はイメージセンサ上での光軸位置である。707、708はイメージセンサに最も近い側にあるレンズ保持枠730と、被写体に最も近い側にあるレンズ保持枠731により制限された光束である。711、712はそれぞれ、光束707、708に対する焦点検出用光束、715、716はそれぞれ、焦点検出用光束711、712の重心位置である。
図7(b)は、イメージセンサの中央から像高を有する位置の焦点検出用画素の射出瞳面701において、ケラレによる重心位置を示す図である。図7(b)において、723はイメージセンサ704の中央から像高を有する画素に対して、制限された光束707、708の瞳領域である。725、726は、焦点検出用画素SHA、SHBの入射角特性である。焦点検出用画素SHA、SHBには、瞳領域723の内側を透過した光束が入射角特性725、726の感度分布で入射する。このため、瞳領域723の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、焦点検出用光束がレンズ保持枠によって制限されている場合の重心間隔を求めることができる。焦点検出用画素の感度分布情報および結像光学系の口径情報を測定及び計算から求めて予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。
図7(a)において、デフォーカス量719をDEF、イメージセンサ703から射出瞳面701までの距離720をL、焦点検出用光束がレンズ保持枠によって制限されている場合の重心間隔をG3(重心位置715、716間距離)とする。また、像ずれ量721をPRED3、像ずれ量PRED3をデフォーカス量DEFに変換する変換係数をK3とする。このとき、以下の式(3)によりデフォーカス量DEFを求めることができる。
DEF=K3×PRED3 … (3)
像ずれ量PRED3をデフォーカス量DEFに変換する変換係数K3は、以下の式(4)により求められる。
K3=L/G3 … (4)
本実施例では、イメージセンサ上での焦点検出領域の位置に応じて、レンズ保持枠で光束が制限される様子を示しているが、他にも各レンズ群101、102、103の進退動作に伴う変倍操作やフォーカス位置の変化によっても光束が制限される位置は変化する。光束が制限される位置の変化に伴い、像ずれ量をデフォーカス量に変換する変換係数は変化する。
図8は、撮像用画素および焦点検出用画素の配置図である。図6において、Gは緑フィルターを塗布した画素、Rは赤フィルターを塗布した画素、Bは青フィルターを塗布した画素である。図6中のSHAは、画素部の開口を水平方向に偏倚させて形成された焦点検出用画素であり、後述のSHB画素群との水平方向の像ずれ量を検出するための基準画素群である。またSHBは、画素の開口部をSHA画素と逆方向に偏倚させて形成された画素であり、SHA画素群との水平方向の像ずれ量を検出するための参照画素群である。SHA、SHB画素の白抜き部分は、偏倚した画素の開口位置を示している。
図9は、撮像画面上の焦点検出領域の一例である。図9において、焦点検出領域は図8に示される画素の配置となっている。本実施例では、焦点検出領域を撮像画面上の中央に設定しているが、焦点検出領域を複数領域配置し、それぞれの領域で結像された被写体像から焦点検出画素で像をサンプリングするように構成してもよい。
図10乃至図12は、カメラの焦点調節及び撮影工程を説明するためのフローチャートである。前述の各図も参照しながら、図10乃至図12の制御フローについて説明する。これらの制御は、カメラのCPU121の指令に基づいて実行される。
図10は、ライブビューから動画撮影を行う際のカメラのメインフローである。まずステップS1001において、撮影者はカメラの電源スイッチをオン操作する。この操作により、CPU121はステップS1002において、カメラ内の各アクチュエータや撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うとともに、撮影準備動作を実行する(初期状態検出)。続いてCPU121は、ステップS1003において撮像素子を駆動し、ステップS1004においてライブビューモードにセットすることで撮像素子に周期的な撮像動作を開始させ、表示器131へのライブビュー動画の表示を行う。このとき、CPU121(読み出し手段)は、撮像素子107の焦点検出画素から所定周期で画像信号(一対の像信号)を読み出す。
ステップS1005では、測光センサ(不図示)により測光した被写界輝度に応じて自動的に決定された表示用絞り値、すなわち周期的に画像信号を読み出した場合に画像信号が表示に適したレベルになる絞り値に応じた絞り制御情報をCPU121へ送る。又は、操作部材(不図示)により撮影者が手動で設定した撮影絞り値に応じた絞り制御情報をCPU121へ送るように構成してもよい。この制御情報に基づいて、絞り開口径を撮影絞り値に設定する。また露光時間を適切に設定する。続いてステップS1006では、焦点検出スイッチがオンされたか否かを判定し、オンされていなければ待機し、オンされた場合はステップS1101でライブビュー中の焦点検出動作に関するサブルーチンにジャンプする。
図11は、ライブビュー中の焦点検出のフローを示す。ステップS1102において、CPU121は、現フレームにおける焦点検出画素データ(読み出し手段により読み出された画像信号)および焦点検出画素データの光学情報を内部メモリ(記憶手段)に記憶する。ここで光学情報とは、後述のように、例えばフレームごとの変換係数である。また、光学情報として撮像光学系(絞り、レンズ枠)の口径、焦点距離、フォーカス位置、又は、結像像高位置を内部メモリに記憶してもよい。この場合、後述の変換係数決定手段は、このような光学情報からフレームごとの変換係数を算出する。続いてステップS1103において、CPU121(加算手段)は、内部メモリから焦点検出画素の画像データ(画像信号)を読み出して加算処理を行う。すなわちCPU121は、画像信号のうち時系列的に連続したフレームの複数の信号を加算する。
ここで、焦点検出画素の画像データ(画像信号)の加算処理について、図13を参照して説明する。本実施例では、レンズが合焦位置に移動する間もオーバーラップして焦点検出動作を行うことができるものとして、時間が経過するごとにレンズが合焦位置に近づく様子を示している。図13において、最上部に画像信号の読出しの時間経過が示されている。画像信号の読出しの所定周期をTs、現フレームの読み出しサイクルをnと表し、現フレームの時刻をnTsとしている。各フレームで読み出された最新の画像データにより、表示はリフレッシュされる。各フレームで読み出された焦点検出画素の画像データは、内部メモリにスタックして記憶される。画像信号の読出しn回目に読み出された焦点検出画素の画像信号は、焦点検出画素信号a(n)として記憶される。
加算処理の方法としては、まず、現フレームの焦点検出画素の画像データの最大値と最小値の差分(ピーク−ボトム値:以下「PB値」と称す)としきい値PBthを比較し、PB値がしきい値PBthを超えている場合には焦点検出画素信号を加算画素信号とする。図13においては、時刻nTsで示されており、焦点検出画素信号a(n)のPB値がしきい値PBthを超えているため、a(n)を加算画素信号A(n)としている。
また、最新フレームの焦点検出画素信号がしきい値PBthを超えていない場合、過去フレームで取得した焦点検出画素の画像データを順に加算し、加算画素信号のPB値がしきい値PBthを超えた時点で加算処理を終了し、加算結果を加算画素信号とする。図13においては、時刻(n−2)Tsで示されている。時刻(n−1)Tsでは、焦点検出画素信号b(n−1)のPB値がしきい値PBthを超えておらず、前フレームで取得した焦点検出画素信号c(n−2)をb(n−1)に加算すると、加算画素信号のPB値はしきい値PBthを超える。このため、b(n−1)+c(n−2)を加算画素信号B(n−1)としている。
このように、CPU121(加算手段)は、所定のフレームにおける画像信号の最大値と最小値との差分が所定のしきい値を超えていない場合、所定のフレームにおける画像信号に直前のフレームにおける画像信号を加算することにより加算結果を算出する。一方、この差分が所定のしきい値以上である場合、所定のフレームにおける画像信号を加算結果とする。
また、現フレームの画像データに加算する過去フレームの画像データの数(以下、「フレーム加算数」という。)には上限が設けられ、上限以上を必要とする場合には上限までの加算データを加算画素信号とする。図13においては、フレーム加算数の上限を3としており、時刻(n−2)Tsで示されている。以上が、加算処理の方法である。
次に、CPU121(変換係数決定手段)は、図11中のステップS1104において、加算手段により得られた加算フレームの一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を算出する。このときCPU121は、時系列的に連続した光学情報に基づいて加算フレームの変換係数を決定する。この変換係数決定方法については後述する。またステップ1105において、CPU121は、ステップS1103で加算された画像データに基づいて相関演算処理を行い、ステップS1106において相関の信頼性判定を行う。続いてCPU121(焦点検出手段)は、ステップS1107において相関演算処理により得られた像ずれ量に変換係数を乗じることで、デフォーカス量を算出する。このように焦点検出手段としてのCPU121は、加算手段による加算結果に基づいて焦点検出を行う。
ここで、焦点検出画素の画像データに時系列的な加算処理を施す場合の変換係数の算出方法について説明する。1フレームの焦点検出画素の画像データからデフォーカス量を算出する場合の変換係数の算出方法に関しては前述のとおりである。以下、本実施例に好適な処理として、焦点検出画素の画像データを時系列的に加算している途中で絞りが変更された場合など、加算フレームごとに変換係数が変化した場合の変換係数算出処理について説明する。
一例として、時刻mTs、フレーム加算数3で加算処理を施した1対の画像データのうち、片方の画像データをX(m)とする。そして、X(m)を構成する画像信号のうち、現フレームの画像データをx(m)、1つ前のフレームで取得した画像データをy(m−1)、2つ前のフレームで取得した画像データをz(m−2)とした場合を考える。画像データx(m)、y(m−1)、z(m−2)を取得したタイミングではそれぞれ異なる絞りで撮影されるものとして、それぞれのフレームにおける変換係数をKm、Km−1、Km−2とする。この場合、加算処理を施した1対の画像データに対する変換係数として、時刻mTsにおける変換係数Kmを用いると、変換係数の異なる時刻mTs以外のタイミングで得られた画像データを加算することで算出されるデフォーカス量には、誤差が生じる。このため、時刻mTsで使用する変換係数Km’(加算フレームの変換係数)として、以下の式(5)で表されるように、フレームごとの変換係数の平均値を用いる。このように加算フレームの変換係数を決定することで、デフォーカス量の誤差は改善される。
Km’=(Km+Km−1+Km−2)/3 … (5)
本実施例においては、周期的に読み出される焦点検出用画素の画像データと変換係数をフレーム毎にそれぞれ記憶しておき、像ずれ量をデフォーカス量に変換する際に、加算画像データ(加算フレーム)に対応した変換係数を算出する。なお本実施例において、加算画像データの変換係数を算出するために周期的に記憶される値(光学情報)として、フレーム毎の変換係数の代わりに、フレーム毎の焦点検出瞳の重心間隔またはレンズの口径情報を用い、後で変換係数を算出するように構成してもよい。また、画像データX(m)を構成する各フレームの画像データの像ずれ量への寄与率を考慮して所定の重み付けを行ってもよい。画像データx(m)、y(m−1)、z(m−2)のPB値をそれぞれPBx、PBy、PBzとした場合、変換係数Km’は以下の式(6)を用いて算出される。
Km’=(Km×PBx+Km−1×PBy+Km−2×PBz)/(PBx+PBy+PBz) … (6)
本実施例では、フレーム加算数を3とした場合を例として説明したが、これに限定されるものではなく、フレーム加算数に応じて同様の処理を施すことで変換係数を算出することができる。また本実施例では、絞り(撮像光学系の口径)の変化に応じて変換係数を変更することを説明しているが、これに限定されるものではない。前述のとおり、変換係数は、絞りの変化以外にも変換係数が変化する場合に対して同様の処理を施すことで算出可能である。
図11中のステップS1107において、CPU121は、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを判定する。合焦近傍でないと判定された場合にはステップS1109へ進み、CPU121(レンズ制御手段)は、フォーカスレンズ駆動を行う。具体的には、レンズ制御手段としてのCPU121は、加算手段による加算回数および焦点検出手段の結果に基づいてレンズ(第3レンズ群105)の駆動速度(フォーカス駆動回路126、フォーカスアクチュエータ114の動作)を制御しながらレンズを駆動する。レンズ制御手段は、後述のように、加算回数が増加した場合にレンズの駆動速度を減少させるように制御する。一方、ステップS1108において合焦近傍であると判定された場合にはステップS1110に進み、合焦表示を行い、リターンする(ステップS1111)。
次に図10において、ステップS1007に進み、動画撮影開始スイッチがオンされたか否かを判定する。オンされていない場合にはステップS1101に戻り、再度焦点検出サブルーチン(ステップS1101)にジャンプする。動画撮影開始スイッチがオンされた場合にはステップS1201に進み、動画撮影サブルーチンにジャンプする。
図12は動画撮影のフローを示す。ステップS1201にて動画撮影シーケンスが開始されると、ステップS1202において撮像素子107から画像読み出しが行われる。続いてステップS1101に進み、焦点検出サブルーチンが実行される。次にステップS1203において、測光処理、及び、絞り、露光時間の制御が行われる。測光処理等の終了後、ステップS1204において、記憶しているフォーカスレンズ位置が更新される。続いてステップS1205にて、ステップS1202で撮像素子107から読み出された画像において、焦点検出画素位置の画像データを周辺の撮像画素から補間した後、現像処理を行う。次にステップS1206にて、動画記録処理が行われる。
次に、ステップS1207に進み、動画記録が終了したか否かを判定する。その結果、動画記録が終了していない場合には、ステップS1202に戻り、画像読み出しが再び行われる。またステップS1207にて動画記録が終了した場合にはステップS1208に進み、動画撮影シーケンスが終了し、リターンする。その後、図10のメインフローに戻り、ステップS1008にて一連の撮影動作を終了する。
本実施例によれば、フレームごとの光学情報(変換係数)に基づいて加算フレームの変換係数が適切に決定されるため、デフォーカス量の演算精度を向上させた撮像装置およびカメラシステムを提供することができる。