以下、本発明の実施例について、図面を参照しながら詳細に説明する。
まず、図1および図2を参照して、本実施例における撮像システム(デジタルカメラ)の構成について説明する。図1は、撮像システム10の概略構成図である。図2は、撮像システム10の電気回路を示すブロック図である。本実施例において、撮像システム10は、カメラ本体100(撮像装置)と、カメラ本体100に着脱可能な撮影レンズ200(撮影レンズ200を備えたレンズ装置)とを備えて構成される。すなわち撮像システム10は、カメラ本体100に対してカメラ側マウント108およびレンズ側マウント208を介して、撮影レンズ200が着脱可能な一眼レフタイプのデジタルカメラシステムである。カメラ本体100は、カメラ本体100の全体を制御するカメラCPU150(制御手段)を備えている。カメラCPU150は、例えば後述のように、第1の撮像素子300および第2の撮像素子400を制御する。また撮影レンズ200は、レンズCPU250を備えている。カメラCPU150およびレンズCPU250は、カメラ側マウントおよびレンズ側マウントの近傍に設けられた電気接点を介して、電気的に接続されている。ただし本実施例は、これに限定されるものではなく、カメラ本体100と撮影レンズ200とが一体的に構成された撮像装置にも適用可能である。
撮影レンズ200は、複数のレンズ群203および絞り204を備えて構成されている。フォーカスレンズ駆動回路251は、複数のレンズ群203に対して焦点調節駆動を行う。絞り駆動回路252は、絞り204に対して所定の絞り駆動を行う。撮影レンズ200を透過した被写体光(光路OP)は、カメラ本体100の撮影光路中に設けられたハーフミラー101(光路を分割する光路分割手段)により(光路OP1、OP2に)分割される。
本実施例のカメラ本体100において、撮影レンズ200を透過した被写体光のうち、ハーフミラー101で反射した光路OP1の予定結像面には、第1の撮像素子300が配置されている。第1の撮像素子300は、複数の撮影画素(第1の撮影画素群)に加えて、撮影レンズ200の焦点状態を検出するための複数の焦点検出画素(第1の焦点検出画素群)を含み、第1の撮像素子駆動回路153により駆動制御される。第1の撮像素子300の構成については後述する。またカメラ本体100において、ハーフミラー101からの反射光を受光する第1の撮像素子300とハーフミラー101との間には、シャッター機構105が設けられている。シャッター機構105は、第1の撮像素子300への入射光の露出時間を制御するために設けられており、シャッター駆動回路157より駆動制御される。
また、撮影レンズ200を透過した被写体光のうち、ハーフミラー101を透過した光路OP2の予定結像面には、第2の撮像素子400が配置されている。第2の撮像素子400は、複数の撮影画素(第2の撮影画素群)に加えて、撮影レンズ200の焦点状態を検出するための複数の焦点検出画素(第2の焦点検出画素群)を含み、第2の撮像素子駆動回路154により駆動制御される。なお、第2の撮像素子400の構成については後述する。
第1の撮像素子300または第2の撮像素子400から得られた画像信号は、画像処理回路159(画像処理手段)により所定の画像処理が行われる。画像処理により得られた画像(表示用画像)は、第1の液晶表示素子駆動回路155または第2の液晶表示素子駆動回路156により、第1の液晶表示素子102または第2の液晶表示素子103に表示される。第1の液晶表示素子102は、カメラ本体100の背面に設けられ、カメラ本体100を撮影者の体から離して撮影する場合に利用される。一方、第2の液晶表示素子103は、カメラ本体100の内部に設けられ、第2の液晶表示素子103に表示される被写体像が接眼レンズ104を介して不図示の撮影者の目に導かれるように構成されている。第1の撮像素子300または第2の撮像素子400で得られた画像信号は、画像処理回路159により記録用画像に画像処理され、メモリ回路158に記録される。
カメラ本体100には、動画撮影を指示する第1の操作スイッチ151、および、静止画撮影を指示する第2の操作スイッチ152が設けられている。本実施例において、光分割手段であるハーフミラー101の反射率は、透過率より大きくなるように設定されている。例えば、ハーフミラー101の反射率は70%、透過率は30%に設定されているが、これに限定されるものではない。
次に、図3Aを参照して、本実施例における第1の撮像素子300の構成について説明する。図3Aは第1の撮像素子300の部分平面図である。第1の撮像素子300は、静止画を撮影するための撮像素子であり、CMOSセンサなどを備えて構成されている。第1の撮像素子300は、高解像度の画像を得るために画素ピッチは例えば3μmであり、3000万画素以上の画素数を備えて構成されている。後述のように、第1の撮像素子300の画素ピッチは、第2の撮像素子400の画素ピッチよりも小さい。また第1の撮像素子300は、第2の撮像素子400による動画撮影の際に撮影レンズ200の焦点状態を検出する複数の焦点検出画素(第1の焦点検出画素群)を有する。後述のように、本実施例では、第1の撮像素子300における第1の焦点検出画素群の画素密度は、第2の撮像素子400における第2の焦点検出画素群の画素密度よりも低い。
第1の撮像素子300のカラーフィルタはベイヤー配列であり、画素301R、301G、301Bにおける「R」「G」「B」のそれぞれの文字は、各画素のカラーフィルタの色相を表している。「R」画素は赤の成分の光を透過し、「G」画素は緑の成分の光を透過し、「B」画素は青の成分の光を透過する。
また図3Aにおいて、301G_α、301G_βは、第1の撮像素子300の焦点検出画素(第1の焦点検出画素群)である。本実施例において、8×8画素(撮影画素)において2つの焦点検出画素が含まれる。第2の撮像素子400を用いた動画撮影中に、図3A中のx方向に8画素の周期で配列した焦点検出画素301G_α、301G_βにて生成される画像に基づいて、撮影レンズ200の焦点状態が検出される。
続いて図4Aを参照して、第1の撮像素子300の焦点検出画素301G_α、および、それに隣接する画素301Bの断面構造について説明する。図4Aは、第1の撮像素子300の部分断面図であり、焦点検出画素301G_αとそれに隣接する画素301B(撮影画素)の断面構造(図3A中のA−A断面)を示している。
第1の撮像素子300において、シリコン基板310の上に設けられた半導体領域311の内部には、光電変換部312_1、312_2が形成されている。光電変換部312_1、312_2で発生した信号電荷は、光電変換部312の一部を覆うように形成された転送電極により、不図示のフローティングディフュージョン部へ転送される。
図4A中の左側における焦点検出画素301G_αの光電変換部312_1上には、入射光を制限するための遮光部370_1、370_2が形成されている。第1の撮像素子300は、静止画を撮影するための撮像素子であり、焦点検出画素301G_αも画像情報として利用される。このため、焦点検出画素301G_αの光電変換部312_1上の遮光部370_1、370_2による遮光領域は、光電変換領域の半分より小さくなるように構成されている。
フローティングディフュージョン部へ転送された信号電荷は、電極331および電極332を介して外部に出力される。光電変換部312_1と電極331との間には、層間絶縁膜321が形成されている。また、電極331と電極332との間には、層間絶縁膜322が形成されている。また、電極332と電極333との間には、層間絶縁膜323が形成されている。また、電極333の光入射側には、層間絶縁膜324、パッシべーション膜340、および、平坦化層325が形成されている。平坦化層325の光入射側には、カラーフィルタ層350_1、平坦化層326、および、マイクロレンズ360が形成されている。ここで、マイクロレンズ360のパワーは、撮影レンズ200の瞳と光電変換部312_1とが共役関係になるように設定されている。ここで共役関係とは厳密な共役関係だけでなく実質的に共役であると評価される関係(略共役関係)を含む意味である。図4Aは、第1の撮像素子300の中央に位置する画素の断面図を示しており、マイクロレンズ360は各画素の略中心に配置されている。
続いて、図5を参照して、焦点検出画素の撮影レンズ200の瞳上での受光分布について説明する。図5(a)は、焦点検出画素301G_αの撮影レンズ200の瞳上での受光分布の説明図であり、焦点検出画素301G_αは撮影レンズ200の瞳上で約2/3の面積を受光するように構成されている。このように本実施例において、第1の焦点検出画素群の瞳の受光可能面積は、撮影レンズ200の瞳面積の半分よりも広い。また本実施例において、後述のように、第1の焦点検出画素群の瞳の受光可能面積は、第2の焦点検出画素群の瞳の受光可能面積よりも広い。
図5(a)において、黒枠500が撮影レンズ200の全瞳領域を示し、白黒の濃淡が受光可能な光量を示している。黒枠500中の白い領域は、光電変換部312_1の受光光量が高い領域を示している。ここで、図5に示される受光分布は、撮影レンズ200による口径蝕(けられ)がない場合の例を示している。また、焦点検出画素301G_αの受光領域の重心G1は、撮影レンズ200の光軸Oから+x方向に距離xg1だけ離れた位置となるよう構成されている。
このように、第1の撮像素子300の第1の撮像画素群は、撮影レンズ200の瞳の全領域を受光する画素群である。また第1の撮像素子300の第1の焦点検出画素群は、第1の基線長を有し、撮影レンズ200の瞳の一部の領域を受光する画素群である。
一方、第2の撮像素子400による動画撮影中に撮影レンズ200の焦点状態を検出するための対となる焦点検出画素301G_βの受光領域は、焦点検出画素301G_αの受光領域に対して光軸対称となるように構成されている。図5(b)は、焦点検出画素301G_βの撮影レンズ200の瞳上での受光分布の説明図であり、焦点検出画素301G_βは撮影レンズ200の瞳上で約2/3の面積を受光するように構成されている。焦点検出画素301G_βの受光領域の重心G2は、撮影レンズ200の光軸Oから−x方向に距離xg1だけ離れた位置となるように構成されている。このように、撮影レンズ200の瞳上での焦点検出画素301G_αの受光領域の重心と焦点検出画素301G_βの受光領域との重心との間隔(重心間隔)は短い。このため、いわゆる基線長(第1の基線長)が短くなり、デフォーカス量が大きい場合でも焦点検出が可能となる。
図4A中の右側における画素301Bは、通常撮影時に使用される画素であり、撮影レンズ200の全瞳領域を受光可能に構成されている。画素301Bの構造(画素構造)は、焦点検出画素301G_αと略同一である。ただし、画素301Bにおいて、光電変換部312_2の光入射部の周辺部に迷光防止用の遮光部370_0が設けられており、光電変換部312_2上には入射光を遮る遮光部は設けられていない。
一方、第2の撮像素子400は、動画撮影用の撮像素子であり、動画撮影に必要な解像度の画像を得るため、画素ピッチは例えば5μmであり、1000万画素以上の画素数を備えて構成されている。このように、第2の撮像素子400の画素ピッチは、第1の撮像素子300の画素ピッチよりも大きい。また第2の撮像素子400は、複数の撮影画素(第2の撮影画素群)に加えて、複数の焦点検出画素(第2の焦点検出画素群)を含む。複数の焦点検出画素(第2の焦点検出画素群)は、第1の撮像素子300により静止画を撮影する際に撮影レンズ200の焦点状態を検出するために用いられる。本実施例では、第1の撮像素子400における第2の焦点検出画素群の画素密度は、第1の撮像素子300における第1の焦点検出画素群の画素密度よりも高い。
次に、図3Bを参照して、本実施例における第2の撮像素子400の構成について説明する。図3Bは第2の撮像素子400の部分平面図である。第2の撮像素子400のカラーフィルタはベイヤー配列であり、図3B中の画素401R、401G、401Bにおける「R」「G」「B」の文字は、各画素のカラーフィルタの色相を表している。
図3Bにおいて、401G_α、401G_βは、第2の撮像素子400の焦点検出画素(第2の焦点検出画素群)であり、第1の撮像素子300による静止画撮影時に十分な焦点検出精度を得るため、本実施例では4×4画素の中に4つの焦点検出画素が含まれる。本実施例において、第1の撮像素子300により静止画を撮影する際に、図3B中のx方向に4画素周期で配列された焦点検出画素401G_α、401G_βにより生成される画像に基づいて、撮影レンズ200の焦点状態が検出される。
続いて図4Bを参照して、第2の撮像素子400の焦点検出画素401G_α、および、それに隣接する画素401B(撮影画素)の断面構造について説明する。図4Bは、第2の撮像素子400の部分断面図であり、焦点検出画素401G_αとそれに隣接する画素401Bの断面構造(図3B中のB−B断面)を示している。なお、図4B中の410、411、412_1、412_2、421〜426、431〜433は、それぞれ、図4中の310、311、312_1、312_2、321〜326、331〜333に対応する。また、図4B中の440、450_1、450_2、460、470_0〜470_2は、それぞれ、図4A中の340、350_1、350_2、360、370_0〜370_2に対応する。このように、第2の撮像素子400の基本構造は第1の撮像素子300と共通するため、詳細な説明は省略する。
図4Bの左側における焦点検出画素401G_αの光電変換部412_1上には、入射光を制限する遮光部470_1、470_2が形成されている。第1の撮像素子300で静止画を撮影する際に撮影レンズ200の焦点状態の検出精度を確保するため、焦点検出画素401G_αの光電変換部412_1上の遮光部470_1、470_2による遮光領域は、光電変換領域の半分よりも大きく構成されている。
図5(c)は、焦点検出画素401G_αの撮影レンズ200の瞳上での受光分布の説明図であり、焦点検出画素401G_αは撮影レンズ200の瞳上で約1/3の面積を受光するように構成されている。図5(c)において、黒枠500は撮影レンズ200の全瞳領域を示し、白黒の濃淡が受光可能な光量を示している。黒枠500中の白い領域は、光電変換部412_1の受光光量が高い領域を示している。また、焦点検出画素401G_αの受光領域の重心G3は、撮影レンズ200の光軸から+x方向に距離xg2だけ離れた位置にあるように構成されている。
一方、第1の撮像素子300にて静止画を撮影する際に撮影レンズ200の焦点状態を検出するための対となる焦点検出画素401G_βの受光領域は、焦点検出画素401G_αの受光領域に対して光軸対称であるように構成されている。図5(d)は、焦点検出画素401G_βの撮影レンズ200の瞳上での受光分布の説明図であり、焦点検出画素401G_βは撮影レンズ200の瞳上で約1/3の面積を受光するように構成されている。焦点検出画素401G_βの受光領域の重心G4は、撮影レンズ200の光軸から−x方向に距離xg2だけ離れた位置にあるように構成されている。
このように、撮影レンズ200の瞳上での焦点検出画素401G_αの受光領域の重心と焦点検出画素401G_βの受光領域との重心との間隔(重心間隔)は長い。このため、いわゆる基線長(第2の基線長)が長くなり、高い焦点検出精度を得ることが可能となる。
また、図4Bの右側に示される画素401Bは、通常撮影時に使用される画素であり、撮影レンズ200の全瞳領域を受光可能に構成されている。画素401Bの構造(画素構造)は、基本的に、焦点検出画素401G_αと同様である。ただし画素401Bにおいて、光電変換部412_2の光入射部の周辺部に迷光防止用の遮光部470_0が設けられおり、光電変換部412_2上には入射光を遮る遮光部は設けられていない。
このように第2の撮像素子400の第2の撮像画素群は、撮影レンズ200の瞳の全領域を受光する画素群である。また第2の撮像素子400の第2の焦点検出画素群は、第1の基線長よりも長い第2の基線長を有し、撮影レンズ200の瞳の一部の領域を受光する画素群である。
次に、図6Aを参照して、本実施例における撮像システム10の動作(撮像装置の制御方法)について説明する。図6Aは、撮像システム10の動作を示すフローチャートである。図6Aの各ステップは、カメラCPU150またはレンズCPU250の指令に基づいて実行される。
まずステップS100において、カメラ本体100の電源(不図示)がオンすると、ステップS101において、カメラ本体100を制御するカメラCPU150は、動画撮影を指示する第1の操作スイッチ151の状態を判定する。すなわちカメラCPU150は、撮影モードが動画撮影モード(第1の撮影モード)に設定されているか否かを判定する。ステップS101にて第1の操作スイッチ151がオンになって動画撮影が指示された場合、カメラCPU150は、第1の撮像素子300を用いて撮影レンズ200の焦点状態を検出する。このためカメラCPU150は、シャッター駆動回路157を介してシャッター機構105を開口状態に設定する。
続いてステップS114において、カメラCPU150は、第1の撮像素子駆動回路153を介して第1の撮像素子300の焦点検出画素301G_α、301G_β(AF画素)を制御する。そしてステップS115において、カメラCPU150は、第1の撮像素子300の焦点検出画素301G_α、301G_βの画像信号(AF信号)を読み出す。またステップS116において、カメラCPU150は、撮影レンズ200の焦点状態を検出してデフォーカス量を算出する。
続いてステップS117において、カメラCPU150は、撮影レンズ200が合焦状態であるか否かを判定する。撮影レンズ200が合焦していない場合、ステップS118において、カメラCPU150は、レンズ駆動を行う。より具体的には、カメラCPU150は、ステップS116にて算出されたデフォーカス量をレンズCPU250に送信する。そしてレンズCPU250は、デフォーカス量をレンズ駆動量に変換し、フォーカスレンズ駆動回路251を介してレンズ群203を所望の方向に駆動する(レンズ駆動)。
ステップS119において、カメラCPU150は、撮影レンズ200の焦点調節を行うとともに、第2の撮像素子駆動回路154を介して第2の撮像素子400を用いて画像(動画)を撮影する。なお、第2の撮像素子400から通常の画像を読み出す方法については後述する。第2の撮像素子400を用いて撮影された画像は、画像処理回路159で表示用画像に処理される。そしてステップS120において、第1の液晶表示素子駆動回路155および第2の液晶表示素子駆動回路156を介して、第1の液晶表示素子102および第2の液晶表示素子103に表示される。続いてステップS121において、画像処理回路159は、撮影画像を記録用画像に処理する。そしてステップS122において、カメラCPU150は、記録用画像をメモリ回路158に記録する。なお、記録用画像は、内部メモリまたは取り外し可能な記録メディアに記録される。そして、引き続きカメラCPU150は、動画撮影を指示する第1の操作スイッチ151の状態を判定し、第1の操作スイッチ151がオン状態の場合、動画撮影の一連のシーケンス(ステップS114〜S122)を繰り返す。
このように本実施例の撮像システム10は、第2の撮像素子400による動画撮影中に第1の撮像素子300を用いて撮影レンズ200の焦点状態を検出し続ける。このため、移動被写体などに高速に追従可能な焦点調節が可能である。
一方、ステップS101にて動画撮影を指示する第1の操作スイッチ151がオフ状態の場合、カメラCPU150は、撮影モードが静止画撮影モード(第2の撮影モード)に設定されていると判定する。そしてカメラCPU150は、第2の撮像素子400を用いて被写体光を受光し、撮影レンズ200の焦点状態を検出するための準備を行う。続いてステップS102において、カメラCPU150は、第2の撮像素子駆動回路154を介して第2の撮像素子400の焦点検出画素401G_α、401G_β(AF画素)を制御する。
続いてステップS103において、カメラCPU150は、静止画撮影を指示する第2の操作スイッチ152の状態を判定する。第2の操作スイッチ152により静止画撮影の前段操作(SW−1)が実行されていない場合、カメラCPU150は待機する(ステップS101に戻る)。一方、第2の操作スイッチ152により静止画撮影の前段操作(SW−1)が実行されると、ステップS104において、カメラCPU150は、第2の撮像素子400の焦点検出画素401G_α、401G_βの画像信号(AF信号)を読み出す。そしてステップS105において、カメラCPU150は、撮影レンズ200の焦点状態を検出し、デフォーカス量を算出する。なお、第2の撮像素子400から焦点検出画素401G_α、401G_βの画像信号を読み出す方法についは後述する。
続いてステップS106において、カメラCPU150は、撮影レンズ200が合焦状態であるか否かを判定する。撮影レンズ200が合焦状態でない場合、ステップS107においてカメラCPU150はレンズ駆動を行う。より具体的には、カメラCPU150は、ステップS105にて算出されたデフォーカス量をレンズCPU250に送信する。そしてレンズCPU250は、デフォーカス量をレンズ駆動量に変換し、フォーカスレンズ駆動回路251を介してレンズ群203を所望の方向に駆動する。
続いてステップS108において、カメラCPU150は、静止画撮影を指示する第2の操作スイッチ152の状態を判定する。第2の操作スイッチ152により静止画撮影の後段操作(SW−2)が実行されていない場合、カメラCPU150は待機する(ステップS101に戻る)。一方、第2の操作スイッチ152により静止画撮影のため後段操作(SW−2)が実行された場合、ステップS109において、カメラCPU150は、第1の撮像素子駆動回路153を介して第1の撮像素子300を駆動することにより被写体の撮影を行う。このときカメラCPU150は、第1の撮像素子300の露光時間が所定時間となるように、シャッター駆動回路157を介してシャッター機構105を開口制御する。
第1の撮像素子300を用いて撮影された画像は、画像処理回路159で表示用画像に処理される。そしてステップS110において、表示用画像は、第1の液晶表示素子駆動回路155および第2の液晶表示素子駆動回路156を介して第1の液晶表示素子102および第2の液晶表示素子103に表示される。
続いてステップS200において、画像処理回路159は、撮影画像を記録用画像に処理される。ここで、図6Bを参照して、ステップS200の画像処理について説明する。図6Bは、画像処理回路159の動作、すなわち、静止画撮影時の焦点検出画素から得られた画像信号に対する画像処理(ステップS200)を示すフローチャートである。図6Bの各ステップは、主に、カメラCPU150の指令に基づいて画像処理回路159により実行される。
まずステップS201において、カメラCPU150は、撮影画像を複数の領域に分割し、複数の分割領域の各領域に対して合焦状態であるか非合焦状態であるかを判定する。本実施例において、撮影画像の各領域が合焦状態であるか非合焦状態であるかは、第2の撮像素子400の焦点検出画素の画像信号(AF信号)を用いて判定することができる。または、第1の撮像素子300にて撮影された画像のコントラストから判定してもよい。
ステップS201にて着目領域が合焦状態である場合、ステップS203に進む。ステップS203において、画像処理回路159は、焦点検出画素301G_α、301G_βの撮影レンズ200の瞳上での受光面積を考慮して、受光領域がけられている分を光量補正し(けられ補正処理を行い)、通常の画像信号として処理する。
一方、着目領域が非合焦状態である場合、ステップS202に進む。このとき、焦点検出画素301G_α、301G_βの画像信号(AF信号)を補正して画像処理を行うと、生成された画像は、焦点検出画素の撮影レンズ200の瞳上での受光分布形状が反映された画像となり、画像のぼけの状態が不自然になる。そこで本実施例では、注目領域が非合焦状態である場合、画像処理回路159は、焦点検出画素301G_α、301G_βの各々の周辺、例えば上下左右に位置する画素301G(通常画素)を加算平均し、通常の画像信号として処理する。その結果、撮影画像がぼけた領域においても焦点検出画素による画像の劣化を防止することができる。
このように、カメラ本体100は、好ましくは、第2の画像の画像処理を行う画像処理回路159を有する。そして画像処理回路159は、カメラCPU150による合焦判定結果に応じて、画像処理を変更する。具体的には、画像処理回路159は、カメラCPU150が合焦状態であると判定した場合、焦点検出画素群(第1の焦点検出画素群)からの信号に対して、けられ補正処理を行う。一方、カメラCPU150が非合焦状態であると判定した場合、焦点検出画素群の周辺画素(周辺撮影画素)の加算平均処理を行う。
ステップS204において画像処理のステップS200が終了すると、図6AのステップS112に進む。ステップS112において、画像処理回路159により所定の方法で画像処理された画像は、メモリ回路158に記録される。ここで、画像は、内部メモリまたは取り外し可能な記録メディアに記録される。そしてステップS113において、一連のカメラ撮影動作を終了する。
このように、カメラCPU150(制御手段)は、撮影モードが第1の撮影モード(動画撮影モード)に設定されている場合、第1の撮像素子300を用いて焦点検出を行い、第2の撮像素子400を用いて画像(第1の画像)を生成する。またカメラCPU150は、撮影モードが第2の撮影モード(静止画撮影モード)に設定されている場合、第2の撮像素子400を用いて焦点検出を行い、第1の撮像素子300を用いて画像(第2の画像)を生成する。本実施例によれば、第1の撮像素子300による静止画撮影準備中に第2の撮像素子400を用いて撮影レンズ200の焦点状態を検出し続ける。このため、移動被写体などに高速に追従可能な焦点調節が可能となる。
次に、図7、図8A、および図8Bを参照して、本実施例における第2の撮像素子400の画像信号(AF信号)の読み出し方法について説明する。図7は、第2の撮像素子400の回路構成図である。図7は、図3Bの第2の撮像素子400の平面図に示される2×4画素分の回路構成を示している。図7において、1ライン目の左側の画素、2ライン目の右側の画素は焦点検出画素を示し、その他の画素は通常画素を示している。
図7の回路構成図において、480は転送スイッチMOSトランジスタである。481は、フローティングディフュージョン部(FD部)などを所定電位にリセットするリセット用MOSトランジスタである。482は、転送スイッチMOSトランジスタ480により転送された電荷に基づく増幅信号を得るためのソースフォロワアンプMOSトランジスタである。483は、ソースフォロワアンプMOSトランジスタ482で得られる増幅信号の読み出し対象の画素を選択する水平選択スイッチMOSトランジスタである。484は、ソースフォロワアンプMOSトランジスタ482とともにソースフォロワを構成する負荷MOSトランジスタであり、制御線φLにより制御される。485は画素の暗出力を転送する暗出力転送MOSトランジスタ、486は画素の明出力を転送する明出力転送MOSトランジスタである。487は暗出力転送MOSトランジスタ485により転送された暗出力を蓄積する暗出力蓄積容量(CTN)、488は明出力転送MOSトランジスタ486により転送された明出力を蓄積する明出力蓄積容量(CTS)である。489は、暗出力蓄積容量487および明出力蓄積容量488に蓄積されている各出力を水平出力線へ転送する水平転送MOSトランジスタである。489は、水平出力線を所定電位にリセットする水平出力線リセットMOSトランジスタである。491は、水平出力線相互に転送された信号の差分を増幅して出力する差動出力アンプである。492は、水平転送MOSトランジスタ489のオン/オフを制御する水平走査回路である。493は、転送スイッチMOSトランジスタ480などのオン/オフを制御する垂直走査回路である。
本実施例の第2の撮像素子400は、通常画素の転送スイッチMOSトランジスタ480を制御する制御線φTx、および、焦点検出画素の転送スイッチMOSトランジスタ480_afを制御する制御線φTafを有する。また、奇数ラインと偶数ラインとで、水平方向(x方向)の同じ場所に位置する画素の光電変換部412からの信号は、共通のFD部に転送されるように構成されている。
図8Aおよび図8Bは、図7に示される第2の撮像素子400の回路の動作を示すタイミングチャートである。図8Aは通常の撮影画像を取得する場合のタイミングチャート、図8Bは焦点検出用の画像を取得する場合のタイミングチャートをそれぞれ示している。
図8Aを参照して、通常の撮影画像を読み出す際の具体的な動作について説明する。まずカメラCPU150(第2の撮像素子駆動回路154)は、垂直走査回路493からのタイミング出力に応じて、制御パルスΦS0をハイレベルに切り換える。これにより、水平選択スイッチMOSトランジスタ483はオンになり、最初の奇数ラインおよび偶数ラインの画素部が選択される。続いてカメラCPU150は、制御パルスΦR0をローレベルに切り換え、FD部のリセットを止めてFD部をフローティング状態にする。これにより、ソースフォロワアンプMOSトランジスタ482のゲート−ソース間をスルーとしてから、所定時間後に、制御パルスΦTNを一時的にハイレベルに切り換え、FD部の暗電圧をソースフォロワ動作で暗出力蓄積容量487に出力する。
次に、最初の奇数ラインの通常画素の光電変換部412からの電荷の出力を行うため、制御パルスΦTXo0を一時的にハイレベルに切り換え、転送スイッチMOSトランジスタ480を導通する。このとき、図7において、最初の奇数ラインの右側の画素の光電変換部412_2で変換された電荷は、FD部に転送される。光電変換部412_2からの電荷がFD部に転送されることにより、FD部の電位が光に応じて変化する。このとき、ソースフォロワアンプMOSトランジスタ482がフローティング状態であるため、FD部の電位を、制御パルスΦTSを一時的にハイレベルに切り換えることにより、明出力蓄積容量488に出力する。この時点で、最初の奇数ラインの通常画素の暗出力および明出力は、それぞれ、暗出力蓄積容量487および明出力蓄積容量488に蓄積されている。更に、制御パルスΦHCを一時的にハイレベルに切り換え、水平出力線リセットMOSトランジスタ490を導通して水平出力線をリセットする。
そして、水平転送期間において水平走査回路492からの水平転送MOSトランジスタ489への走査タイミング信号により、水平出力線に最初の奇数ラインの通常画素の暗出力と明出力とが出力される。このとき、暗出力蓄積容量487および明出力蓄積容量488からの信号を、差動増幅器491により差動増幅して電圧Voutを出力するため、画素のランダムノイズや固定パターンノイズを除去したS/Nの良好な信号が得られる。
次に、カメラCPU150は、制御パルスΦR0を一旦ハイレベルに切り換え、最初の偶数ラインの信号を読み出す。まず、制御パルスΦR0をローレベルに切り換え、FD部のリセットを止めFD部をフローティング状態とする。これにより、ソースフォロワアンプMOSトランジスタ482のゲート−ソース間をスルーとしてから、所定時間後に、制御パルスΦTNを一時的にハイレベルに切り換え、FD部の暗電圧をソースフォロワ動作で暗出力蓄積容量487に出力する。
次に、最初の偶数ラインの通常画素の光電変換部412からの電荷の出力を行うため、制御パルスΦTXe0を一時的にハイレベルに切り換え、転送スイッチMOSトランジスタ480を導通する。このとき、図7において、最初の偶数ラインの左側の画素の光電変換部412_1で変換された電荷は、FD部に転送される。光電変換部412_1からの電荷がFD部に転送されることにより、FD部の電位が光に応じて変化する。このとき、ソースフォロワアンプMOSトランジスタ482がフローティング状態であるため、FD部の電位を、制御パルスΦTSを一時的にハイレベルに切り換えることにより、明出力蓄積容量488に出力する。
この時点で、最初の偶数ラインの通常画素の暗出力および明出力は、それぞれ、暗出力蓄積容量487および明出力蓄積容量488に蓄積されている。更に、制御パルスΦHCを一時的にハイレベルに切り換え、水平出力線リセットMOSトランジスタ490を導通して、水平出力線をリセットする。そして、水平転送期間において水平走査回路492からの水平転送MOSトランジスタ489への走査タイミング信号により、水平出力線に最初の奇数ラインの通常画素の暗出力と明出力とが出力される。
このとき、暗出力蓄積容量487および明出力蓄積容量488からの信号を差動増幅器491により差動増幅して電圧Voutが出力される。このため、画素のランダムノイズや固定パターンノイズを除去したS/Nの良好な信号が得られる。同様にして、2番目以降の奇数ラインと偶数ラインの通常画素の信号も順次読み出され、全ての通常画素の信号が読み出される。
次に、図8Bを参照して、第2の撮像素子400における焦点検出画素401G_α、401G_βの画像信号の読み出し方法について説明する。第2の撮像素子400は、4×4画素に4つの焦点検出画素を有し、4×4画素中において焦点検出画素は水平方向(x方向)に重ならないように配列されている。このため、焦点検出画素を読み出す場合、4ラインの焦点検出画素を同時に読み出すように構成されている。その結果、焦点検出画素の読み出し速度が速くなり、焦点検出スピードも速くなる。
まずカメラCPU150は、垂直走査回路493からのタイミング出力に応じて、制御パルスΦS0をハイレベルに切り換え、水平選択スイッチMOSトランジスタ483をオンして、最初の奇数ラインと偶数ラインの画素部を選択する。続いて、制御パルスΦR0をローレベルに切り換え、FD部のリセットを止めFD部をフローティング状態とする。これにより、ソースフォロワアンプMOSトランジスタ482のゲート−ソース間をスルーとしてから、所定時間後に、制御パルスΦTNを一時的にハイレベルに切り換え、FD部の暗電圧をソースフォロワ動作で暗出力蓄積容量487に出力する。
次に、最初の4ラインの焦点検出画素の光電変換部412からの電荷の出力を行うため、制御パルスΦTafo0、ΦTafe0、ΦTafo1、ΦTafe1を一時的にハイレベルに切り換え、転送スイッチMOSトランジスタ480を導通する。このとき、図7において、最初の奇数ラインの左側の焦点検出画素の光電変換部412_1と、最初の偶数ラインの右側の焦点検出画素の光電変換部412_2とで変換された電荷は、FD部に転送される。図7には、2番目の奇数ラインと偶数ラインの焦点検出画素は示されていないが、同様に光電変換部412で変換された電荷はFD部に転送される。
光電変換部412からの電荷がFD部に転送されることにより、FD部の電位が光に応じて変化する。このとき、ソースフォロワアンプMOSトランジスタ482がフローティング状態であるため、FD部の電位を、制御パルスΦTSを一時的にハイレベルに切り換えることにより、明出力蓄積容量488に出力する。
この時点で、最初の4ラインの焦点検出画素の暗出力および明出力は、それぞれ、暗出力蓄積容量487および明出力蓄積容量488に蓄積されている。更に、制御パルスΦHCを一時的にハイレベルに切り換え、水平出力線リセットMOSトランジスタ490を導通して水平出力線をリセットする。そして、水平転送期間において、水平走査回路492からの水平転送MOSトランジスタ489への走査タイミング信号により、水平出力線に最初の4ラインの焦点検出画素の暗出力と明出力とが出力される。このとき、暗出力蓄積容量487および明出力蓄積容量488からの信号を差動増幅器491により差動増幅し、電圧Voutが出力される。このため、画素のランダムノイズや固定パターンノイズを除去したS/Nの良好な焦点検出用画像信号が得られる。
以上のように、本実施例では、4ラインの焦点検出画素群の画像信号を同時に読み出すように構成されているため、焦点検出の高速化を図ることができる。また本実施例では、第1の撮像素子300で静止画を撮影する際には通常画素(撮影画素)および焦点検出画素の両方を読み出すように構成している。
また本実施例において、ハーフミラーで光路分割を行い、動画撮影時に撮影レンズの焦点状態を検出する第1の撮像素子と静止画撮影時に撮影レンズの焦点状態を検出する第2の撮像素子とを有する撮像装置について説明している。本実施例では、静止画を撮影する第1の光学系とその予定結像面に配設される第1の撮像素子と動画を撮影する第2の光学系とその予定結像面に配設される第2の撮像素子とを有する撮像装置を適用することもできる。このような撮像装置において、第1の撮像素子で第2の光学系の焦点検出を行い第2の撮像素子で第1の光学系の焦点検出を行うように構成してもよい。
[その他の実施形態]
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
本実施例によれば、動画や静止画を撮影する際において、撮影レンズの焦点状態を高速に検出するとともに、撮影画像の画質の劣化を防止することができる。このため本実施例によれば、高速に焦点検出可能であって、かつ、画質の劣化を低減可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。