−−−第1の実施の形態−−−
第1の実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図1は第1の実施の形態のデジタルスチルカメラ201の構成を示す横断面図である。本実施の形態のデジタルスチルカメラ201は、交換レンズ202とカメラボディ203とから構成され、交換レンズ202がマウント部204を介してカメラボディ203に装着される。カメラボディ203にはマウント部204を介して種々の撮影光学系を有する交換レンズ202が装着可能である。
交換レンズ202は、レンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御装置206などを有する。レンズ駆動制御装置206は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置206は、フォーカシング用レンズ210の焦点調節と絞り211の開口径調節のための駆動制御、ならびにズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出などを行う。また、後述するボディ駆動制御装置214との通信によりレンズ情報の送信およびカメラ情報(デフォーカス量や絞り値など)の受信を行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
カメラボディ203は、撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219などを備えている。撮像素子212には、画素が二次元状に配置される。この撮像素子212については詳細を後述する。
ボディ駆動制御装置214は、マイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置214は、撮像素子212の駆動制御と、画素信号の読み出しと、画素信号に基づく焦点検出演算および交換レンズ202の焦点調節とを繰り返し行うとともに、画素信号に基づく画像データに生成処理および記録、カメラの動作制御などを行う。また、ボディ駆動制御装置214は電気接点213を介してレンズ駆動制御装置206との通信を行い、レンズ情報の受信およびカメラ情報の送信を行う。
液晶表示素子216は電気的なビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は撮像素子212から読み出された画像データに基づき、スルー画像を液晶表示素子216に表示し、撮影者は接眼レンズ217を介してスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像データを記憶する画像ストレージである。
交換レンズ202を通過した光束により、撮像素子212の撮像面上に被写体像が形成される。この被写体像は撮像素子212により光電変換され、画素の出力信号がボディ駆動制御装置214へ送られる。
ボディ駆動制御装置214は、図14を用いて後述するように、撮像制御機能および焦点検出制御機能を有する。ボディ駆動制御装置214は、撮像素子212の画素の出力信号(焦点検出信号)に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212の画素の出力信号(撮像信号)を処理して画像データを生成し、メモリカード219に格納するとともに、液晶表示素子駆動回路215へ送り、スルー画像を液晶表示素子216に表示させる。さらに、ボディ駆動制御装置214は、レンズ駆動制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
レンズ駆動制御装置206は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置と絞り211の絞り値とを検出し、これらのレンズ位置と絞り値とに応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値とに応じたレンズ情報(F値、射出瞳距離情報など)を選択する。
レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ210を合焦位置へ駆動する。また、レンズ駆動制御装置206は受信した絞り値に応じて絞り211を駆動する。
焦点検出エリア選択用の操作部材220は、撮影画面上で焦点検出を行う位置をユーザーが指定するために用いられる。
図2は、撮像素子212の撮像面に規定される撮影画面100の正面図であり、矩形領域の撮影画面100に後述する画素が2次元的に配置されている。矩形の撮影画面100上の中央は交換レンズ202の光軸上に位置し、その位置を中心とする水平方向をX方向、垂直方向をY方向とする。撮影画面100の中心191は、撮影光学系の光軸と一致している。
図3は、撮影画面100上での撮像素子212の詳細な構成を示す正面図であり、図2の一部の領域180を拡大した場合の画素配列の詳細を示す。図3に示すように撮像素子212には3種類の画素311a、画素311b、画素311cが二次元正方格子状(行列状)に稠密に配列される。矩形で示す各画素は、矩形のマイクロレンズ10と、受光領域が左右水平方向に分離された一対の光電変換部15および16とを含む。すなわち、一対の光電変換部の並び方向は水平方向(行方向)である。Aグループに属する画素311aは水平方向の行に配列され、その行の位置は3の倍数、すなわち3n(nは整数)である。Bグループに属する画素311bは水平方向の行に配列され、その行の位置は3の倍数に1を加えた値、すなわち3n+1である。Cグループに属する画素311cは水平方向の行に配列され、その行の位置は3の倍数に2を加えた値、すなわち3n+2である。
図3には、各画素に設けられる色フィルタの配置が示されている。その色フィルタには赤フィルタ(R)、緑フィルタ(G)、青フィルタ(B)の相異なる分光感度特性を有する3種類の色フィルタが含まれ、これら3種類の色フィルタを有する3種類の画素がベイヤー配列の配置規則によって配置されている。
画素311aに入射した光束は、マイクロレンズ10により一対の光電変換部15,16上に集光される。
ここで画素311aの詳細構造を、図8を用いて説明する。
図4は、図2に示す撮影画面100の中心191近傍において水平方向(X方向)の直線で画素配列の断面をとった場合の画素311aの断面図である。画素311aでは光電変換部15,16の上に近接した面41に遮光マスク30が形成される。光電変換部15,16は、遮光マスク30の開口部30dで制限された光を受光する。一対の光電変換部15,16は素子分離領域17を境界領域として半導体回路基板29上に形成される。画面100の水平方向(図4における横方向)において素子分離領域17の中心を通る軸43の位置とマイクロレンズ10の光軸42の位置とは一致している。
開口部30dは略正方形であり、その中心は軸43と一致している。遮光マスク30の上には平坦化層31が形成され、その上に色フィルタ34が形成される。色フィルタ34の上には平坦化層32が形成され、その上にマイクロレンズ10がオンチップレンズとして形成される。マイクロレンズ10により、一対の光電変換部15,16が配置された面40は撮像面から所定距離離れた瞳面(以下測距瞳面Aと称する)と共役な関係になっている。
半導体回路基板29上に形成された光電変換部15,16は、半導体基板表面40への入射光を受講し、光電変換により受光量に応じた量の電荷を発生する。この電荷は電気信号として撮像素子212の外部に読み出される。一対の光電変換素子15および16の並び方向は水平方向であり、後述する測距瞳面において一対の光束が通過する領域の並び方向と等しい。光電変換素子15はその一対の光束の一方を受光し、光電変換素子16はその一対の光束の他方を受光する。半導体基板表面40と遮光マスク30との間には平坦化層31と同じ材質が充填される。
図5は、図2の撮影画面100の中心191から水平方向に距離Xaだけ離れた位置192の近傍において水平方向(X方向)の直線で画素配列の断面をとった場合の画素311aの断面図であり、図4と同じ符号で示す構成と同一の構成については図4と同じ符号で示すこととし、説明を省略する。図5において図4と異なる点は、画面100の水平方向(図4における横方向)において素子分離領域17の中心位置を通る軸43の位置がマイクロレンズ10の光軸42の位置より画面100の中心191から離れる方向(図5においては右方向)にΔPaだけ偏位している点である。図4と同様に、マイクロレンズ10により、一対の光電変換部15,16が配置された面40は測距瞳面Aと共役な関係になっている。図4と比較して、図5においては、光電変換部15,16が受光する光束はマイクロレンズ10の光軸42に対して画面100の中心191の方向に傾いた光束となっている。
図4の構成において光電変換部15,16が受光する光束が測距瞳面Aにおいて通る一対の領域と、図5の構成において光電変換部15,16が受光する光束が測距瞳面Aにおいて通る一対の領域とが一致する。
図4、図5は特定の位置に配置された画素311aについての説明である。一般的に画素311aは、撮影画面中心からその画素位置までの水平方向(測距瞳面Aにおいて一対の光電変換部15,16が受光する一対の光束が通過する領域の並び方向)の距離に応じて、図5におけるマイクロレンズ10の光軸42に対する素子分離領域17の中心位置を通る軸43の偏位量ΔPaが定められる。例えば図2において撮影画面100の中心191から水平方向に距離Xbだけ離れた位置193の近傍に配置された画素311aにおける偏位量ΔPaは、位置193よりも中心191に近い位置192の近傍に配置された画素311aにおける偏位量ΔPaよりも大きな量となる。また図2において撮影画面100のY軸より左側に配置された画素311aにおいては、偏位量ΔPaの方向、すなわち光軸42に対する軸43の偏位方向は、図5とは逆に左方向になる。撮影画面100から測距瞳面Aまでの距離da、マイクロレンズ10の主点から一対の光電変換部が配置された面40までの距離ds、撮影画面中心から画素位置までの水平方向の距離Dにより、偏位量ΔPaは概略的にds×D/daで表される。
以上のような構成により、グループAに属するすべての画素311aにおいて光電変換部15,16が受光する一対の光束は測距瞳面Aにおいて同一の一対の領域を通過することになる。
図6,図7は、図4,5に示す構造の画素311aの光電変換部15,16が受光する光束の様子を説明するための模式図であって、図2における水平方向(一対の光電変換部15および16の並び方向)の直線で光学系および画素配列の断面をとって示している。なお図においては画素の構造を簡略化して示している。
図6,図7において撮像素子上212に配列された画素311aの光電変換部15,16は、それらに近接して配置された遮光マスク開口30dの半分ずつの領域を通過した光束をそれぞれ受光する。遮光マスク開口30dにおいて光電変換部16が受光する光束が通る領域の形状は、マイクロレンズ10によりマイクロレンズ10から測距瞳距離daだけ離間した測距瞳面90(測距瞳面A)上のすべての画素311aの光電変換部16に共通した領域96に投影される。同じく遮光マスク開口30dにおいて光電変換部15が受光する光束が通る領域の形状は、マイクロレンズ10によりマイクロレンズ10から測距瞳距離daだけ離間した測距瞳面90上のすべての光電変換部15に共通した領域95に投影される。一対の領域95,96を測距瞳と呼び、これがいわゆる瞳分割方式の焦点検出における分割瞳に相当する。
従って各画素311aの光電変換部15は、測距瞳95と各画素のマイクロレンズ10とを通過する光束85を受光し、該光束85によって各マイクロレンズ10上に形成される像の強度に対応した信号を出力する。また各画素311aの光電変換部16は、測距瞳96と各画素のマイクロレンズ10とを通過する光束86を受光し、該光束86によって各マイクロレンズ10上に形成される像の強度に対応した信号を出力する。
実際は、測距瞳面90において、光束は交換レンズの絞り開口により制限されており、最も明るい絞り開口径の場合においても、その開口径は測距瞳95、96を足し合わせた領域よりも小さくなるように設定される。また図6、図7において、軸91は撮影画面100の中心を通る撮像画面に対する法線であって、撮影光学系の光軸に一致している。測距瞳95,96の形状は測距瞳面90において光軸91を通る直線92を対称軸とした対称形となっている。
画素311b、画素311cの構造も基本的に図3から図5に示した画素311aと同じであるが、次の点が異なる。撮影画面中心から各画素位置までの水平方向(一対の光電変換部が受光する一対の光束が通過する領域の並び方向と平行な方向)の距離に応じて定められる偏位量(マイクロレンズ10の光軸42に対する素子分離領域17の中心位置を通る軸43の偏位量)が、画素311aの偏位量ΔPaとは異なる。すなわち、画素311bの場合の偏位量ΔPb、画素311cの場合の偏位量ΔPcを、画素311aの偏位量ΔPaと異ならせる。
例えば撮影画面中心から各画素位置(画素311a、画素311b、画素311c)までの水平方向の距離が同一の場合、画素311bの偏位量ΔPbは画素311a偏位量ΔPaより大きくし、画素311cの偏位量ΔPcは画素311a偏位量ΔPaより小さくする。
このように画素311b、画素311cの偏位量を設定することにより、すべての画素311bに共通する測距瞳面Bまでの距離dbは上述した距離daよりも小さくなるとともに、すべての画素311cに共通する測距瞳面Cまでの距離dcは上述した距離daよりも大きくなる。
撮影画面100から測距瞳面B、測距瞳面Cまでの距離db、dc、マイクロレンズ10の主点から一対の光電変換部が配置された面40までの距離ds、撮影画面中心から画素位置までの水平方向の距離Dにより、概略的に、偏位量ΔPbはds×D/db、偏位量ΔPcはds×D/dbで表される。
図8はAグループに属する画素311a、Bグループに属する画素311b、Cグループに属する画素311cが受光する光束とそれぞれの測距瞳距離da,db,dcとの関係を示した図であり、図2における水平方向の直線で光学系および撮像素子の断面をとって示した図である。図8では、撮像素子上において各画素は同一の像高(像高位置は任意)に配置されているとして示されている。
画素311aの一対の光電変換部は、撮像素子212の撮像面から光軸91の方向に測距瞳距離daだけ離れた瞳面において光軸対称な一対の領域95,96を通過する一対の光束(実線)を受光する。
画素311bの一対の光電変換部は、撮像素子212の撮像面から光軸91の方向に測距瞳距離dbだけ離れた瞳面において光軸対称な一対の領域195,196を通過する一対の光束(実線)を受光する。
画素311cの一対の光電変換部は、撮像素子212の撮像面から光軸91の方向に測距瞳距離dcだけ離れた瞳面において光軸対称な一対の領域295,296を通過する一対の光束(実線)を受光する。
特開2009−282018号公報に開示されているように、測距瞳面と交換レンズの絞り開口(射出瞳面)とが一致していない場合、一対の焦点検出光束のケラレのアンバランスが生じる。本実施の形態においては、焦点検出を行う場合、上記3つの測距瞳距離の中から交換レンズの射出瞳の撮像面100からの距離に最も近い測距瞳距離を選択する。これにより交換レンズの射出瞳による一対の焦点検出光束のケラレのアンバランスが小さくなり、高精度な焦点検出が可能になる。
選択された測距瞳距離を有するグループに属する画素の一対の光電変換部の出力を一対の測距瞳に対応した一対の出力データにまとめることによって、一対の測距瞳のそれぞれを通過する一対の焦点検出光束が画素配列上(水平方向)に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式による一対の像の像ズレ量が検出される。さらに、像ズレ量に対して一対の測距瞳の重心間隔と測距瞳距離との比例関係に応じた変換演算を行うことによって、焦点検出位置(垂直方向)における予定結像面と現在の結像面との偏差(デフォーカス量)が算出される。
また3つのグループに属する各画素の一対の光電変換部の出力を加算することにより、一対の光電変換部の代わりに1つの光電変換部を有する通常の撮像画素と同様に、撮影光束全体を受光した場合と同等な出力が得られ、これにより劣化の少ない高品質な画像情報を得ることができる。
図9は撮像素子212の回路構成概念図であって、撮像素子はCMOSイメージセンサーとして構成される。撮像素子212の回路構成を、水平方向4画素×垂直方向4画素のレイアウトに簡略化して説明する。
図9において、1行目と4行目に破線110、113で囲んだ画素311aが配列され、2行目には破線111で囲んだ画素311bが配列され、3行目には破線112で囲んだ画素311cが配列される。
同一行、例えば第n行の画素には、垂直走査回路503から各画素の動作を制御するために、共通の制御信号φSn、φRn、φPn、φQnが供給される。各列の画素の出力は、列毎に共通な垂直信号線501に接続されている。各垂直信号線501は相関二重サンプリング回路(CDS回路)502に入力され、各列毎にサンプルホールドと差分処理とが行われる。CDS回路502の動作は垂直走査回路503から出力される制御信号φC1、φC2により制御される。
CDS回路502の各列毎の出力信号は、水平走査回路504から出力される制御信号φH1〜φH4により、順次出力回路330に転送され、出力回路330で設定された増幅度で増幅されて撮像素子212の外部に出力される。
図10は各画素(図9の破線110、111,112,113の部分)の詳細回路図である。各画素が有する一対の光電変換部は一対のフォトダイオードPD1,PD2で構成される。一対のフォトダイオードPD1、PD2は、それぞれ転送MOSトランジスタ513,514を介して浮遊拡散層(フローティングディフュージョン)FDに接続されている。転送MOSトランジスタ513,514をそれぞれ制御信号φPn、φQnによってONすることにより、一対のフォトダイオードPD1、PD2で生成され、蓄積された電荷が浮遊拡散層FDに転送される。浮遊拡散層FDは増幅MOSトランジスタAMPのゲートに接続されており、増幅MOSトランジスタAMPは浮遊拡散層FDに蓄積された電荷の量に応じた信号を発生する。
浮遊拡散層FDは、リセットMOSトランジスタ510を介し、電源電圧Vddに接続されている。制御信号φRnによりリセットMOSトランジスタ510がONすることにより、浮遊拡散層FDに溜まった電荷がクリアされリセット状態となる。
増幅MOSトランジスタAMPの出力は、行選択MOSトランジスタ512を介して垂直出力線501に接続されている。制御信号φSnにより行選択MOSトランジスタ512がONすることにより、増幅MOSトランジスタAMPの出力が垂直出力線501に出力される。
図10において、制御信号φPnにより転送MOSトランジスタ513をONすることにより、フォトダイオードPD1に蓄積された電荷量に対応した信号が増幅MOSトランジスタAMPから出力される。そのままの状態で次に制御信号φQnにより転送MOSトランジスタ514をONすることにより、浮遊拡散層FDにおいてフォトダイオードPD1およびPD2に蓄積された電荷量が加算され、加算された電荷量に対応し信号が増幅MOSトランジスタAMPから出力される。
図11は、図9のCDS回路502の各列毎の詳細回路構成を示す。垂直出力線501はサンプル&ホールド回路521(画素のリセットレベル保持用)、サンプル&ホールド回路522(画素の信号レベル保持用)に入力される。垂直出力線501上の信号は制御信号φC1、φC2がONすることにより、サンプル&ホールド回路521、サンプル&ホールド回路522にサンプルホールドされる。差分回路523は、サンプル&ホールド回路522にサンプルホールドされた信号から、サンプル&ホールド回路521にサンプルホールドされた信号を差し引いて出力する。
撮像素子212の動作には2つの動作モード、すなわち第1読み出しモードと第2読み出しモードとがある。第1読み出しモードにおいては、撮像によって生成された画像を記録するための通常の画素信号出力動作、すなわち全画素からフォトダイオードPD1およびPD2の加算出力信号を読み出す動作を行う。第2読み出しモードにおいては、液晶表示素子216に画像を表示するために全画素からフォトダイオードPD1およびPD2の加算出力信号を読み出すとともに、焦点検出を行うためにフォトダイオードPD1の単独出力信号を読み出す動作を行う。撮像素子は、ボディ駆動制御装置214からの制御信号に応じて第1読み出しモードと第2読み出しモードとを切り替えるとともに、垂直走査回路503、水平走査回路504は読み出しモードに応じて上述した各種制御信号のタイミングを変更する。
図12は第1読み出しモードにおける図9に示す撮像素子の動作タイミングチャートである。時刻t0において、1行目の画素は垂直走査回路503が発する制御信号φS1により選択される。制御信号φR1は時刻t0にONとなり、1行目の画素の浮遊拡散層FDはリセットレベルにリセットされる。時刻t1に制御信号φR1がOFFするとともに、制御信号φC1がONし、各列の画素のリセットレベルが各列毎にCDS回路502によりサンプルホールドされる。制御信号φC1がOFFした後、時刻t2に制御信号φP1、φQ1が同時にONとなり、浮遊拡散層FDにてフォトダイオードPD1、PD2に蓄積された電荷が加算され、加算された電荷量に応じた電気信号が垂直信号線501に出力される。時刻t3に制御信号φP1、φQ1が同時にOFFとなるとともに、制御信号φC2がONし、各列の画素の加算信号レベルが各列毎にCDS回路502によりサンプルホールドされる。CDS回路502はこの時点において、加算信号レベルからリセットレベルを差し引いた信号を出力する。制御信号φC2がOFFした後、時刻t4に制御信号φS1がOFFするとともに、CDS回路502の各列毎の加算信号が水平走査回路504から順次発せられる走査信号φH1〜φH4にしたがって出力回路330に転送され、出力回路330で設定された増幅度で増幅されて撮像素子212の外部に出力される。
1行目の画素の加算信号の出力回路330からの出力が終了した時刻t5の時点で、2行目の画素は垂直走査回路503が発する制御信号φS2により選択され、上述の動作と同様にして2行目の画素の加算信号の出力回路330からの出力が行われる。続いて3行目、4行目の加算信号の出力回路330からの出力が行われる。全ての画素の加算信号の出力が終了すると、再び1行目に戻って上記動作が周期的に繰り返される。
図13は、第2読み出しモードにおける図9に示す撮像素子の動作タイミングチャートである。3行目の画素(グループCに属する画素311c)のみ加算信号出力に加えて、焦点検出用にフォトダイオードPD1の単独信号を出力する場合について説明する。
1行目、2行目の画素の加算信号の出力は図12のタイミングチャートと同様な動作で行われる。2行目の画素の加算信号の出力回路330からの出力が終了した時刻t10の時点で、3行目の画素は垂直走査回路503が発する制御信号φS3により選択される。制御信号φR3は時刻t10にONとなり、3行目の画素の浮遊拡散層FDはリセットレベルにリセットされる。時刻t11に制御信号φR3がOFFするとともに、制御信号φC1がONし、各列の画素のリセットレベルが各列毎にCDS回路502によりサンプルホールドされる。制御信号φC1がOFFした後、時刻t12に制御信号φP3がONとなり、浮遊拡散層FDにてフォトダイオードPD1に蓄積された電荷が転送され、転送された電荷量に応じた電気信号が垂直信号線501に出力される。時刻t13に制御信号φP3がOFFとなるとともに、制御信号φC2がONし、各列の画素のフォトダイオードPD1に蓄積された電荷量に応じた信号レベルが各列毎にCDS回路502によりサンプルホールドされる。CDS回路502はこの時点において、フォトダイオードPD1に蓄積された電荷量に応じた信号レベルからリセットレベルを差し引いた信号を出力する。制御信号φC2がOFFした後、時刻t14以降CDS回路502の各列毎の出力が、水平走査回路504から順次発せられる走査信号φH1〜φH4にしたがって出力回路330に転送され、出力回路330で設定された増幅度で増幅されて撮像素子212の外部に出力される。
3行目の画素のフォトダイオードPD1に蓄積された電荷量に応じた単独信号の出力回路330からの出力が終了した時点(時刻t15)に制御信号φQ3がONとなり、浮遊拡散層FDにてフォトダイオードPD1に蓄積された電荷とフォトダイオードPD2に蓄積された電荷とが加算され、加算された電荷量に応じた電気信号が垂直信号線501に出力される。時刻t16に制御信号φQ3がOFFとなるとともに、制御信号φC2がONし、各列の画素の加算信号レベルが各列毎にCDS回路502によりサンプルホールドされる。CDS回路502はこの時点において、加算信号レベルからリセットレベルを差し引いた信号を出力する。制御信号φC2がOFFした後、時刻t17以降CDS回路502の各列毎の出力が、水平走査回路504から順次発せられる走査信号φH1〜φH4にしたがって出力回路330に転送され、出力回路330で設定された増幅度で増幅されて撮像素子212の外部に出力される。
3行目の画素の加算信号の出力が終了すると、4行目の画素の加算信号の出力が図12のタイミングチャートと同様な動作で行われる。全ての画素の加算出力信号と3行目の単独信号の出力とが終了すると、再び1行目に戻って上記動作が周期的に繰り返される。
図13のタイミングチャートでは、3行目の画素(グループCに属する画素311c)のみ、加算信号出力に加えて、焦点検出用にフォトダイオードPD1の単独信号を出力するとして説明した。しかし、単独信号を出力する画素行はボディ駆動制御装置214からの選択信号に応じて変更可能であり、他の単独信号を出力する画素行に対応するグループAまたはBが、ボディ駆動制御装置214からの選択信号に応じて選択され得る。グループAが選択されるとグループAに属する画素311aのフォトダイオードPD1の単独信号が出力される。グループBが選択されるとグループBに属する画素311bのフォトダイオードPD1の単独信号が出力される。垂直走査回路503、水平走査回路504は選択された画素行に応じて上述した各種制御信号のタイミングを変更することができる。
図14は、本実施の形態のデジタルスチルカメラ201の撮像動作を示すフローチャートである。図14に示す各処理ステップは、ボディ駆動制御装置214によって実行される。ボディ駆動制御装置214により、ステップS100でデジタルスチルカメラ201の電源がオンされると、撮像素子212は一定周期で撮像動作を繰り返す(例えば1秒間に60フレームを出力する)動作を開始する。ステップS110において、操作部材220の操作により選択された撮影画面上における焦点検出位置の垂直方向の位置に応じて、連続した3行にわたる一組の画素群(画素311a、画素311b、画素311c)が選択される。さらに交換レンズとの通信によって得られる交換レンズの射出瞳距離に応じて、連続した3行にわたる一組の画素群(画素311a、画素311b、画素311c)のうちの1行が選択される。
図15は、射出瞳距離に応じて3つのグループに属する画素(画素311a、画素311b、画素311c)のうちどの画素が選択されるのかを説明するための図である。ボディ駆動制御装置214には、後述する距離d1(da>d1≧db)、距離d2(dc>d2≧da)と、測距瞳距離da、dbおよびdcとグループA、BおよびCとの対応関係ならびにグループA、BおよびCとそれぞれのグループに属する画素311a、311bおよび311cとの対応関係に関する属性情報が予め記憶されている。ボディ駆動制御装置214は、上述した予め記憶している情報に基づいて、交換レンズの射出瞳距離が距離d1より小さい場合にはグループBに属する画素311bの行を選択し、交換レンズの射出瞳距離が距離d1より大きく距離d2より小さい場合にはグループAに属する画素311aの行を選択し、交換レンズの射出瞳距離が距離d2より大きい場合にはグループCに属する画素311cの行を選択する。
距離d1は、撮影画面中心から画素までの水平方向の距離が同一とした場合、グループAに属する画素311aの受光する一対の焦点検出光束において射出瞳によって生じるアンバランス量と、グループBに属する画素311bの受光する一対の焦点検出光束において射出瞳によって生じるアンバランス量とが等しくなる距離として定められる。具体的には図15において、撮影画面中心から画素311aまでの水平方向(一対の光電変換部が受光する一対の光束が通過する領域の並び方向)の距離をD、撮影画面中心から画素311bまでの水平方向(一対の光電変換部が受光する一対の光束が通過する領域の並び方向)の距離を(−D)とし、各画素から測距瞳面A、測距瞳面Bの中心に向かう線が交わる距離をd1とすることにより、上記条件が満足される。距離d1は測距瞳面Aと測距瞳面Bとをda:dbに内分する距離となり、d1=2×da×db/(da+db)となる。
同様にして距離d2は測距瞳面Aと測距瞳面Cとをda:dcに内分する距離となり、d2=2×da×dc/(da+dc)となる。
ステップS115において、第2読み出しモードで1フレーム分のデータを読み出す。なお第2読み出しモードにおける単独信号の読み出し行は、ステップS110で選択された行である。選択された焦点検出エリアに対応する行に配置された画素から単独信号が読み出されるとともに、全画素から加算信号が読み出される。読み出された単独信号および加算信号は、ボディ駆動制御装置214の内部に記憶される。
続くステップS120では第2読み出しモードで読み出した加算信号を表示データとして表示画像を生成し、液晶表示素子216にライブビュー表示出力させる。ステップS130では、第2読み出しモードで読み出して記憶された加算信号(フォトダイオードPD1の信号+フォトダイオードPD2の信号)から、第2読み出しモードで読み出した単独信号(フォトダイオードPD1の信号)を差し引いて、フォトダイオードPD2に蓄積された電荷量に対応する単独信号(フォトダイオードPD2の信号)を生成する。
ステップS140では、ステップS110で読み出されて記憶された単独信号(フォトダイオードPD1の信号)とステップS130で生成された単独信号(フォトダイオードPD2の信号)とから形成される一対の画素信号のうち、選択された焦点検出エリアの画面中の水平方向の範囲に対応した列に配置された画素の一対の画素信号(フォトダイオードPD1の信号およびフォトダイオードPD2の信号)の位相差を算出することにより、撮影光学系の焦点調節状態を検出する。すなわち、焦点検出を行い、デフォーカス量を算出する。デフォーカス量の信頼性が低い場合またはデフォーカス量の算出が不能であった場合は焦点検出不能となる。
ステップS150で、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップS160へ進み、デフォーカス量をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシング用レンズ210を合焦位置に駆動させる。その後、ステップS110へ戻って上述した動作を繰り返す。
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置206へスキャン駆動命令を送信し、交換レンズ202のフォーカシング用レンズ210を無限から至近までの間でスキャン駆動させる。その後、ステップS110へ戻って上述した動作を繰り返す。
ステップS150で合焦近傍であると判定された場合はステップS170へ進み、シャッターボタン(不図示)の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップS110へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップS180へ進み、レンズ駆動制御装置206へ絞り調整命令を送信し、交換レンズ202の絞り値を制御F値(撮影者により設定されたF値または自動設定されたF値)にする。絞り制御が終了した時点で、撮像素子212に被写体輝度に応じた露光時間による撮像動作を行わせ、撮像素子212の全画素から第1読み出しモードにて加算信号を読み出し、該加算信号に所定の画像処理を施して画像データを生成する。
続くステップS190では、生成された画像データをメモリカード219に出力して記憶させ、ステップS110へ戻って上述した動作を繰り返す。さらにステップS190では、生成された画像データを液晶表示素子216にライブビュー表示出力させてもよい。
次に図14のステップS140におけるデフォーカス量の算出、およびその算出に用いられる一般的な像ズレ検出演算処理(相関演算処理)の詳細は、特開2010−129783号公報に開示されており、その像ズレ量に変換係数を乗じてデフォーカス量が算出される。第2読み出しモードにて読み出された行には例えば緑画素と赤画素とが配置されていたとすると、緑画素のデータおよび赤画素のデータからそれぞれデフォーカス量が算出される。なお上記変換係数は、測距瞳の重心間隔が絞り開口径に応じて変化するために、絞り開口径(F値)に応じて変化する。
緑画素の出力信号に基づきデフォーカス量が算出され、同様にして赤画素の出力信号に基づきデフォーカス量が算出されるので、両者を平均して、選択された焦点検出エリアの最終的なデフォーカス量とする。
本実施の形態においては、交換レンズの射出瞳距離に応じて焦点検出に最適な画素、すなわち射出瞳により生じる一対の焦点検出光束のアンバランスが最小となる画素が選択される。したがって、焦点検出精度が向上するとともに、画素位置の画像データが該画素位置に配置された画素の一対の光電変換部の信号を加算するだけで簡易かつ高精度に得られるので、従来技術に比較して画像の品質も向上する。
第2読み出しモードでは、1フレームの画素信号読み出し動作で、全画素の一対の光電変換部からの信号を加算して信号を読み出すとともに、焦点検出に用いる行に配置された画素のみ一対の光電変換部の一方の信号を独立に読み出すことができる。したがって、従来技術に比較して、各画素が一対の光電変換部を有することによる読み出し信号数の増加は最小限ですみ、かつ1フレームの読み出しで焦点検出と画像表示・記録とを行うので、焦点検出や画像表示・記録のレスポンスも低下しない。
また、撮像素子内部で一対の光電変換部の信号を加算しているので、撮像素子の外部で一対の光電変換部からの信号を加算するための構成や負荷が不要であり、簡易な構成で遅れのない迅速な表示や記録が可能になる。
また、画素の一対の光電変換部の信号だけを用い、該画素位置での画像データを高精度に求めることができる。すなわち、隣接する画素の信号による補間処理が必要無いので、焦点検出に用いる信号を生成する画素をきわめて近接または隣接して配置することができる。したがって、グループ選択に応じて異なる画素を焦点検出に用いる際に生じる垂直方向の焦点検出位置の移動を最小にすることができる。
−−−変形例−−−
(1) 上述した実施の形態では、交換レンズの射出瞳距離に応じて1つのグループが選択されるとともに、選択された焦点検出エリアの位置に応じて該グループに属する1つの行が選択され、第2読み出しモードにより、その行において単独信号の読み出しが付加的に行われている。しかし、もちろん選択されたグループに属する近接した複数の行を選択するとともに、該複数の行において単独信号の読み出しを行うようにしてもよい。
例えば焦点検出エリアの範囲が垂直方向に比較的広い場合には、焦点検出エリアの撮影画面中の垂直方向の範囲における同一グループの複数の行を選択して、該複数の行において単独信号の読み出しを行う。
(2) 上述した実施の形態では、第2読み出しモードにおいて、選択された行に属するすべての画素において単独信号の読み出しが行われている。しかし、水平走査回路からの制御信号を制限することにより、その行に属する一部の画素のみにおいて単独信号の読み出しを行うようにしても良い。
例えば、単独信号を読み出す際に、選択された焦点検出エリアの画面中の水平方向の範囲に対応した画素列を構成する画素にのみ水平走査回路から制御信号を加えることにより、一部の画素のみにおいて単独信号の読み出しを行うことができ、全体としての読み出し時間をさらに短縮することができる。
(3) 上述した実施の形態では、第2読み出しモードにおいて、水平方向に並んだ一対の光電変換部を含む画素が水平方向に配置された行から単独信号の読み出しが行われている。しかし、垂直方向に並んだ一対の光電変換部を含む画素が垂直方向に配置された列から単独信号の読み出しを行っても良い。
例えばすべての行において、特定の列の画素のみ単独信号の読み出しが行われるように、垂直走査回路および水平走査回路から出される制御信号のタイミングを変更することができる。このようにすれば画像のコントラストが垂直方向のみに変化している場合においても焦点検出が可能となる。
(4) 上述した実施の形態においては、撮像素子のすべての画素が一対の光電変換部を有するとして説明を行ったが、本発明はそれに限定されることなく、撮像素子の一部の画素が一対の光電変換部を有する構成にも適用可能である。
図16は、本変形例における撮像素子212の撮像面に規定される撮影画面100(交換レンズ202の撮影画面)上における焦点検出エリアの配置を示す正面図である。図16は、撮像素子212上における一対の光電変換部を含む焦点検出画素の配列を用いた焦点検出において、撮影画面上で像がサンプリングされる領域(焦点検出エリア、焦点検出位置)を示した一例である。この例では、矩形の撮影画面100上の中央(光軸上)および上下左右の5箇所に焦点検出エリア101〜105が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア101、102、103、104、105においては焦点検出画素が水平方向に配列される。
図17は撮像素子212の詳細な構成を示す正面図であり、図16における焦点検出エリア101、102、103、104、105のうちの任意の焦点検出エリアの近傍を拡大した画素配列の詳細を示す。撮像素子212には周知の撮像画素310が二次元正方格子状に稠密に配列される。各撮像画素310は、1つの光電変換部11を有している。光電変換部11が受光する光束が通る領域の形状は、図6および図7に示す一対の領域95および96の両方を合わせた領域の形状、すなわち交換レンズ202の射出瞳の形状に相当する。撮像画素310は赤画素(R)、緑画素(G)、青画素(B)からなり、ベイヤー配列の配置規則によって配置されている。焦点検出用に、撮像画素と同一の画素サイズを有するAグループに属する焦点検出画素311aが、本来緑画素と赤画素とが連続的に配置されるべき水平行に直線状に連続して水平方向に配列され、Bグループに属する焦点検出画素311bが、焦点検出画素311aの配列した行に隣接して上記本来緑画素と青画素とが連続的に配置されるべき水平行に直線状に連続して水平方向に配列され、Cグループに属する焦点検出画素311cが、焦点検出画素311bの配列した行に隣接して上記本来緑画素と赤画素とが連続的に配置されるべき水平行に直線状に連続して水平方向に配列される。焦点検出画素311a、311b、311cには本来その位置に配置されるべき撮像画素と同じ色配列による色フィルタが設けられている。
上記のような構成の撮像素子において、射出瞳距離に応じて1つのグループが選択され、その選択されたグループに従って、ユーザーにより選択された焦点検出エリアの位置に対応した位置に配置された3行(焦点検出画素311a、311b、311c)の中の1行が選択される。第2読み出しモードにおいて、選択された行に配置された焦点検出画素から単独信号の読み出しと加算信号の読み出しとが行われ、選択されなかった行の焦点検出画素から加算信号の読み出しのみが行われる。また撮像画素が配置された行からは通常の信号の読み出しが行われる。このような構成においては、焦点検出エリアに対応する画素以外は通常の撮像画素を用いることが出来るので、撮像素子の構造を簡素化できる。
(5) 上述した実施の形態においては、画素の一対の光電変換部の信号を加算した信号により画像信号を生成しているので、従来技術よりも画像信号の品質が向上している。図4、図5に例示したように一対の光電変換部の間に光感度がない素子分離領域があるため、交換レンズの絞り開口F値が大きくなると、加算信号と、素子分離領域の無い1つの光電変換部を有する本来の撮像画素の信号(実撮像出力)との差が大きくなる。これを考慮して加算信号を補正することにより、より高精度な画像信号を得ることができる。
図18は、図2における撮影画面100の中心191近傍に配置された画素311aを例にとり、一対の光電変換部15,16に入射する光束の範囲を示した正面図である。画素の一対の光電変換部15,16上にはマイクロレンズ10により、交換レンズ202である光学系の射出瞳の像が円形で形成される。円形の射出瞳の像の中心位置Cは、光電変換素子15、16の重心位置に相当する素子分離領域17の中央位置Gと一致している。
撮影光学系のF値が小さい場合、射出瞳の像は円51で表される。円51の内部に光束が入射し、そのうち素子分離領域17に入射する光束の量は全体の光束の量に比較して小さいので、一対の光電変換部15、16の出力を加算した加算信号出力と実撮像出力との偏差は小さい。
撮影光学系のF値が中程度の場合、射出瞳の像は円52で表される。円52の内部に光束が入射し、そのうち素子分離領域17に入射する光束の量は全体の光束の量に比較して大きくなるので、一対の光電変換部15、16の出力を加算した加算信号出力と実撮像出力との偏差は大きくなる。
撮影光学系のF値がさらに大きくなった場合、射出瞳の像は円53で表される。円53の内部に光束が入射し、そのうち素子分離領域17に入射する光束の量は全体の光束の量に比較してさらに大きくなるので、一対の光電変換部15、16の出力を加算した加算信号出力と実撮像出力との偏差はさらに大きくなる。
上記のような素子分離領域の存在によって発生する偏差を補正するために、一対の光電変換部の出力を加算して得られる加算信号に対し、撮影光学系のF値に対応した補正係数を乗ずることにより加算信号を補正して撮像出力に換算する算出を行う。こうすることにより、撮像出力と実撮像出力との偏差が生じないようにする。
図19は図18に説明した撮影絞りのF値と補正係数との関係を示した図である。実線61で表されるように、補正係数の値はF値が小さい場合はほぼ1であるが、F値が大きくなるにつれて1より大きな値に変化していく。補正係数の値は、実撮像出力と加算信号との比を測定することによって得られる実測値でもよいし、実撮像出力と加算信号との比を設計データに基づき計算で求めることによって得られる設計値であってもよい。実撮像出力と加算信号との比は、例えば図18に示した射出瞳の像を表す円51、52または53の面積値と、その面積値からその円と素子分離領域17との重なり部分の面積値を差し引いた値との比である。
図19に示すF値と補正係数との関係に基づくルックアップテーブルを、例えばボディ駆動制御装置214が有するメモリに記憶させる。撮像時のF値情報を交換レンズとの通信により取得し、該F値に応じた補正係数を図19に示すF値と補正係数との関係に基づくルックアップテーブルを参照して選択し、該補正係数を一対の光電変換部の出力を加算して得られる加算信号に乗ずる補正により、実撮像出力との偏差が少ない高品質な撮像出力を得ることができる。
図20は、図2における撮影画面100の中心191から水平右方向に離れた位置に配置された画素311aを例にとり、一対の光電変換部15,16に入射する光束の範囲を示した正面図である。交換レンズ202の射出瞳距離dn1が測距瞳距離daより短い場合を示している。画素の一対の光電変換部15,16上には、マイクロレンズ10により交換レンズ202である光学系の射出瞳の像が円形で概略形成されることになる。一対の光束が非対称に制限されるので、射出瞳の円形の像の中心位置Cが光電変換部15,16の重心位置に相当するである素子分離領域17の中央位置Gからずれる。
このズレ量は、撮影画面100の中心191から画素までの水平方向の距離(像高)、測距瞳距離と射出瞳距離との関係によって変化する。図20において、撮影光学系のF値が小さい場合、射出瞳の像は円51で表される。円51の内部に光束が入射し、そのうち素子分離領域17に入射する光束の量は全体の光束の量に比較して小さいので、一対の光電変換部15、16の出力を加算した加算信号と実撮像出力との偏差は小さい。
撮影光学系のF値が中程度の場合、射出瞳の像は円52で表される。円52の内部に光束が入射し、そのうち素子分離領域17に入射する光束の量は全体の光束の量に比較して大きくなるので、一対の光電変換部15、16の出力を加算した加算信号と実撮像出力との偏差は大きくなる。
撮影光学系のF値がさらに大きくなった場合、射出瞳の像は円53で表される。円53の内部に光束が入射し、そのうち素子分離領域17に入射する光束の量は全体の光束の量に比較してさらに大きくなるので、一対の光電変換部15、16の出力を加算した加算信号と実撮像出力との偏差はさらに大きくなる。
図18と図20とを比較すると、図20においては、素子分離領域17の中央位置Gと射出瞳の円形の像の中心位置Cとがずれるので、素子分離領域17上に入射する光束の量は図20のほうが少なくなる。
上記のような現象によって生じる一対の光電変換部の加算信号と実撮像出力との偏差を補正する。一対の光電変換部15、16の出力を加算して得られた加算信号に対し、撮影光学系のF値、射出瞳距離および画素の像高に対応した補正係数を乗じて補正することにより、撮像出力に換算する算出を行う。こうすることにより、撮像出力と実撮像出力との偏差が生じないようにする。
図21は、上述したように撮影絞りのF値と射出瞳距離と画素の像高とに応じて一対の光電変換部の加算信号と実撮像出力との間に生じる誤差を補正するための補正係数とF値との関係を示した図である。補正係数の値は、F値が小さい場合はほぼ1であるが、F値が大きくなるにつれて1より大きな値に変化していく。実線61は、射出瞳距離が測距瞳距離と等しい場合のF値と補正係数との関係を表し、図19の補正係数を表す実線61と同一となる。
破線62は、所定の像高I1における射出瞳距離が測距瞳距離と異なる場合のF値と補正係数との関係を表し、補正係数はF値が大きくなるにつれて実線61より小さな値となる。点線63は、所定の像高I1よりも大きな所定の像高I2における、破線62と同じ射出瞳距離の場合のF値と補正係数との関係であって、F値が大きくなるにつれて破線62より小さな値となる。
図21においては代表的な射出瞳距離における3種類の像高に対する補正係数しか示されていないが、任意の射出瞳距離および像高に応じて補正係数を定めることができる。従って、撮像時のF値と射出瞳距離と像高とに応じた補正係数を選択し、該補正係数を一対の光電変換部15、16の出力を加算して得られた加算信号に乗ずることにより算出される撮像出力と実撮像出力との偏差が少ない高品質な撮像出力を得ることができる。
(6) 撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。