一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図1は一実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルスチルカメラ201は、交換レンズ202とカメラボディ203とから構成され、交換レンズ202がマウント部204を介してカメラボディ203に装着される。カメラボディ203にはマウント部204を介して種々の撮影光学系を有する交換レンズ202が装着可能である。
交換レンズ202は、レンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御装置206などを備えている。レンズ駆動制御装置206は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置206は、フォーカシング用レンズ210の焦点調節と絞り211の開口径調節のための駆動制御や、ズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出などを行う。また、後述するボディ駆動制御装置214との通信によりレンズ情報の送信とカメラ情報(デフォーカス量や絞り値など)の受信を行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
カメラボディ203は、撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219などを備えている。撮像素子212には、撮像画素が二次元状に配置されるとともに、焦点検出位置(焦点検出エリア)に対応した部分に焦点検出画素が組み込まれている。この撮像素子212については詳細を後述する。
ボディ駆動制御装置214は、マイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置214は、撮像素子212の駆動制御と、画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と、交換レンズ202の焦点調節とを繰り返し行うとともに、画像信号の処理と記録、デジタルスチルカメラ201の動作制御などを行う。また、ボディ駆動制御装置214は電気接点213を介してレンズ駆動制御装置206と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
液晶表示素子216は電気的なビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は撮像素子212によるスルー画像を液晶表示素子216に表示し、撮影者は接眼レンズ217を介してスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像を記憶する画像ストレージである。
交換レンズ202を通過した光束により、撮像素子212の受光面上に被写体像が形成される。この被写体像は撮像素子212により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置214へ送られる。
ボディ駆動制御装置214は、撮像素子212の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212からの画像信号を処理して画像データを生成し、メモリカード219に格納するとともに、撮像素子212からのスルー画像信号を液晶表示素子駆動回路215へ送り、スルー画像を液晶表示素子216に表示させる。さらに、ボディ駆動制御装置214は、レンズ駆動制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
レンズ駆動制御装置206は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置と絞り211の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ210を合焦位置へ駆動する。また、レンズ駆動制御装置206は受信した絞り値に応じて絞り211を駆動する。
図2は、交換レンズ202の撮影画面上における焦点検出位置(焦点検出エリア)を示す図であり、後述する撮像素子212上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域(焦点検出エリア、焦点検出位置)の一例を示す。この例では、矩形の撮影画面100上の中央(光軸上)および上下左右の5箇所に焦点検出エリア101〜105が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア101、102、103においては焦点検出画素が水平方向に配列され、焦点検出エリア104、105においては焦点検出画素が垂直方向に配列される。
図3、図4は撮像素子212の詳細な構成を示す正面図である。図3は、図2における焦点検出エリア101、102、103の近傍を拡大した画素配列の詳細を示し、図4は、図2における焦点検出エリア104、105の近傍を拡大した画素配列の詳細を示す。撮像素子212には撮像画素310が二次元正方格子状に稠密に配列される。撮像画素310は赤画素(R)、緑画素(G)、青画素(B)からなり、ベイヤー配列の配置規則によって配置されている。図4においては、垂直方向の焦点検出用に撮像画素310と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素313、314が交互に、本来緑画素と青画素とが連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく、図3においては、水平方向の焦点検出用に撮像画素と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素315、316が交互に、本来緑画素と青画素とが連続的に配置されるべき水平方向の直線上に連続して配列される。
図5は、撮像画素310および焦点検出画素313、314、315、316のマイクロレンズ10の形状を示す図である。撮像画素310および焦点検出画素313、314、315、316のマイクロレンズ10の形状は、元々、画素サイズより大きな円形のマイクロレンズ9から画素サイズに対応した正方形の形状で切り出した形状をしている。マイクロレンズ10の光軸を通る対角線の方向の断面と、マイクロレンズ10の光軸を通る水平線の方向の断面とは、それぞれ図5に(a)、(b)で示す形状になっている。
撮像画素310は、図6に示すように矩形のマイクロレンズ10、後述の遮光マスクで受光領域を正方形に制限された光電変換部11、および色フィルタ(不図示)から構成される。色フィルタは赤(R)、緑(G)、青(B)の3種類からなり、それぞれの分光感度は図8に示す特性を有している。撮像素子212には、各色フィルタを備えた撮像画素310がベイヤー配列されている。
焦点検出画素313、314、315、316には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられており、その白色フィルタの分光感度特性は図9に示す特性となる。つまり、図8に示す緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、そのような分光感度特性に対応する光波長領域は、緑画素、赤画素および青画素が高い分光感度を示す光波長領域を包括している。
図7は焦点検出画素313、314、315、316の正面図である。焦点検出画素313は、図7(a)に示すように矩形のマイクロレンズ10と後述の遮光マスクで受光領域を正方形の上半分(正方形を水平線で2等分した場合の上半分)に制限された光電変換部13、および白色フィルタ(不図示)とから構成される。
また、焦点検出画素314は、図7(b)に示すように矩形のマイクロレンズ10と後述の遮光マスクで受光領域を正方形の下半分(正方形を水平線で2等分した場合の下半分)に制限された光電変換部14、および白色フィルタ(不図示)とから構成される。
焦点検出画素313と焦点検出画素314とをマイクロレンズ10を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部13と14が垂直方向に並んでいる。
また図7(a)、(b)において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分(破線部分)を加えると、撮像画素310の受光領域と同じサイズの正方形となる。
焦点検出画素315は、図7(c)に示すように、矩形のマイクロレンズ10と後述の遮光マスクで受光領域を正方形の左半分(正方形を垂直線で2等分した場合の左半分)に制限された光電変換部15、および白色フィルタ(不図示)とから構成される。
また、焦点検出画素316は、図7(d)に示すように、矩形のマイクロレンズ10と後述の遮光マスクで受光領域を正方形の右半分(正方形を垂直線で2等分した場合の右半分)に制限された光電変換部16、および白色フィルタ(不図示)とから構成される。
焦点検出画素315の正面図と焦点検出画素316の正面図とをマイクロレンズ10を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部15と16が水平方向に並んでいる。
また図7(c)、(d)において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分(破線部分)を加えると、撮像画素310の受光領域と同じサイズの正方形となる。
図10は、垂直方向の直線で撮像画素配列の断面をとった場合の撮像画素310の断面図である。撮像画素310では撮像用の光電変換部11の上に近接して遮光マスク30が形成され、光電変換部11は、遮光マスク30の開口部30aを通過した光を受光する。遮光マスク30の上には平坦化層31が形成され、その上に色フィルタ38が形成される。色フィルタ38の上には平坦化層32が形成され、その上にマイクロレンズ10が形成される。マイクロレンズ10により開口部30aの形状が前方に投影される。光電変換部11は半導体回路基板29上に形成される。
図11は、垂直方向の直線で焦点検出画素313、314からなる焦点検出画素配列の断面をとった場合の焦点検出画素313、314の断面図である。焦点検出画素313、314では焦点検出用の光電変換部13、14の上に近接して遮光マスク30が形成され、光電変換部13、14は遮光マスク30の開口部30b、30cを通過した光を受光する。遮光マスク30の上には平坦化層31が形成され、その上に白色フィルタ34が形成される。白色フィルタ34の上には平坦化層32が形成され、その上にマイクロレンズ10が形成される。マイクロレンズ10により開口部30b、30cの形状が前方に投影される。光電変換部13、14は半導体回路基板29上に形成される。
焦点検出画素315、316の構造も焦点検出画素313、314の構造を90度回転しただけであって、基本的に図11に示す焦点検出画素の構造と同様である。
図12は、図3、図4、図10に示す撮像画素310が受光する撮影光束の様子を説明するための図であって、垂直方向の直線で撮像画素配列の断面をとっている。
撮像素子212上に配列された全ての撮像画素310の光電変換部11は、光電変換部11に近接して配置された前記遮光マスク30の開口部30aを通過した光束を受光する。遮光マスク30の開口部30aの形状は、各撮像画素310のマイクロレンズ10によりマイクロレンズ10から測距瞳距離dだけ離間した射出瞳90上の全撮像画素共通な領域95に投影される。
従って各撮像画素310の光電変換部11は、領域95と各撮像画素310のマイクロレンズ10を通過する撮影光束71を受光し、領域95を通過して各撮像画素310のマイクロレンズ10へ向う撮影光束71によって各マイクロレンズ10上に形成される像の強度に対応した信号を出力する。
図13は、図4、図11に示す焦点検出画素313、314が受光する焦点検出光束の様子を図12と比較して説明するための図であって、垂直方向の直線で焦点検出画素配列の断面をとっている。
撮像素子212上に配列された全ての焦点検出画素の光電変換部13、14は、光電変換部13、14に近接して配置された前記遮光マスク30の開口部30b、30cを通過した光束を受光する。遮光マスク30の開口部30bの形状は、各焦点検出画素313のマイクロレンズ10によりマイクロレンズ10から測距瞳距離dだけ離間した射出瞳90上の焦点検出画素313に全てに共通した領域93に投影される。同じく、遮光マスク30の開口部30cの形状は、各焦点検出画素314のマイクロレンズ10により、マイクロレンズ10から測距瞳距離dだけ離間した射出瞳90上の焦点検出画素314に全てに共通した領域94に投影される。一対の領域93、94を測距瞳と呼ぶ。
従って各焦点検出画素313の光電変換部13は、測距瞳93と各撮像画素310のマイクロレンズ10を通過する焦点検出光束73を受光し、測距瞳93を通過して各撮像画素310のマイクロレンズ10へ向う焦点検出光束73によって各マイクロレンズ10上に形成される像の強度に対応した信号を出力する。また、各焦点検出画素314の光電変換部14は、測距瞳94と各撮像画素310のマイクロレンズ10を通過する焦点検出光束74を受光し、測距瞳94を通過して各撮像画素310のマイクロレンズ10へ向う焦点検出光束74によって各マイクロレンズ10上に形成される像の強度に対応した信号を出力する。
一対の焦点検出画素313、314が受光する焦点検出光束73,74が通過する射出瞳90上の測距瞳93と94を統合した領域は、撮像画素310が受光する撮影光束71が通過する射出瞳90上の領域95と一致する。射出瞳90上において焦点検出光束73、74は撮影光束71に対して相補的な関係になっている。
上述した一対の焦点検出画素313、314を交互にかつ直線状に多数配置する。各焦点検出画素313、314の光電変換部13、14の出力を測距瞳93および測距瞳94に対応した一対の出力グループにまとめることによって、測距瞳93と測距瞳94をそれぞれ通過する一対の光束が焦点検出画素配列上(垂直方向)に形成する一対の像の強度分布に関する情報が得られる。この情報に対して、後述する像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置(垂直方向)における予定結像面と結像面の偏差(デフォーカス量)が算出される。
焦点検出画素315、316が受光する焦点検出光束も焦点検出画素313、314の受光する一対の焦点検出光束73、74を90度回転しただけであって、基本的に図13に示す焦点検出光束73、74と同様であり、測距瞳93、94を90度回転した一対の測距瞳が設定される。一対の焦点検出画素315、316を交互にかつ直線状に多数配置する。各焦点検出画素315、316の光電変換部15、16の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上(水平方向)に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置(水平方向)における予定結像面と結像面の偏差(デフォーカス量)が算出される。
撮像素子212はCMOSイメージセンサーとして構成される。図14は撮像素子212の回路構成概念図を示す。
撮像素子212の回路構成を、水平方向8画素×垂直方向4画素のレイアウトに簡略化して説明する。図14は、図2の水平方向の焦点検出エリア101、102、103に対応して描かれており、水平方向に焦点検出画素315、316が同一の行に配置されている。垂直方向の焦点検出エリア104、105には、焦点検出画素313、314が、垂直方向に配置され、かつ互いに異なる行に配置される。
2行目には、焦点検出画素315、316が配置されている。図14では、“○”で示す中央の4つの焦点検出画素315、316が、複数の焦点検出画素を代表して示されており、左右の2つずつの撮像画素310(“□”で示す)が、焦点検出画素の左右に配置された複数の撮像画素を代表して示されている。
1行目、3行目、4行目には、撮像画素310のみが配置されている。図14では、1行目、3行目、4行目の撮像画素310が、焦点検出画素が配置された行の上下の複数の撮像画素のみからなる行を代表して示されている。
図14において、ラインメモリ320は、1行分の画素の画素信号をサンプルホールドして一時的に保持するバッファであり、垂直信号線501に出力されている同一行の画素信号を垂直走査回路が発する制御信号ΦH1に基づいてサンプルホールドする。なお、ラインメモリ320に保持される画素信号は、制御信号ΦS1〜ΦS4の立ち上がりに同期してリセットされる。
撮像画素310および焦点検出画素315、316からの画素信号の出力は、垂直走査回路が発生する制御信号(ΦS1〜ΦS4)により行ごとに独立に制御される。制御信号(ΦS1〜ΦS4)により選択された行の画素の画素信号は、垂直信号線501に出力される。
ラインメモリ320に保持された画素信号は、水平走査回路が発生する制御信号(ΦV1〜ΦV8)により、順次、出力回路330に転送され、出力回路330において、設定された増幅度で増幅されて外部に出力される。
撮像画素310および焦点検出画素315、316は、画素信号がサンプルホールドされた後、垂直走査回路が発生する制御信号(ΦR1〜ΦR4)によりリセットされ、制御信号ΦR1〜ΦR4の立ち下がりで次回の画素信号出力のための電荷蓄積を開始する。
制御信号φSyncは垂直同期信号であって、フレーム毎に外部に出力される。また、制御信号ΦS1〜ΦS4、制御信号ΦR1〜ΦR4も外部に出力される。
図15は、図14に示す撮像素子212の撮像画素310および焦点検出画素315、316の詳細回路図である。光電変換部はフォトダイオード(PD)で構成される。PDで蓄積された電荷は浮遊拡散層(フローティングディフュージョン:FD)に蓄積される。FDは増幅MOSトランジスタ(AMP)のゲートに接続されており、AMPはFDに蓄積された電荷の量に応じた信号を発生する。
FD部は、リセットMOSトランジスタ510を介し、電源電圧Vddに接続されている。制御信号ΦRn(ΦR1〜ΦR3)によりリセットMOSトランジスタ510がONとなると、FDおよびPDに溜まった電荷がクリアされ、リセット状態となる。
AMPの出力は、行選択MOSトランジスタ512を介して垂直出力線501に接続されている。制御信号ΦSn(ΦS1〜ΦS3)により行選択MOSトランジスタ512がONとなると、AMPの出力が垂直出力線501に出力される。
図16は、図14に示す撮像素子212の動作タイミングチャートである。CMOSイメージセンサーにおいては、いわゆるローリングシャッタ動作により、画素の駆動読み出し、すなわちリセット、露光および画素信号の読み出しが以下のように各行毎に順次行われる。撮像素子212からの全画素の信号の出力(1フレーム分の画像信号の出力)に同期して、垂直同期信号φSyncが発せられる。
1行目の撮像画素310は、垂直同期信号φSyncに同期して垂直走査回路が発する制御信号ΦS1により選択され、選択された撮像画素310の画素信号は垂直信号線501に出力される。制御信号ΦS1と同期して発せられる制御信号ΦH1により垂直信号線501に出力された1行目の画素信号は、ラインメモリ320に一時的に保持される。ラインメモリ320に保持された1行目の撮像画素310の画素信号は、水平走査回路から順次発せられる制御信号ΦV1〜ΦV8にしたがって出力回路330に転送され、出力回路330において、設定された増幅度で増幅されて外部に出力される。
1行目の撮像画素310の画素信号のラインメモリ320への転送が終了した時点で、リセット回路より発せられる制御信号ΦR1により1行目の撮像画素310がリセットされ、制御信号ΦR1の立ち下がりで1行目の撮像画素310の次の電荷蓄積が開始される。
1行目の撮像画素310の画素信号の、出力回路330からの出力が終了した時点で、2行目の撮像画素310および焦点検出画素315、316は、垂直走査回路が発する制御信号ΦS2により選択され、選択された撮像画素310の画素信号は垂直信号線501に出力される。
以下、同様にして2行目の撮像画素310および焦点検出画素315、316の画素信号の保持および撮像画素310のリセット、画素信号の出力および次の電荷蓄積の開始が行われる。続いて3行目、4行目の撮像画素310の画素信号の保持および撮像画素310のリセット、撮像画素310の画素信号の出力および次の電荷蓄積の開始が行われる。全ての画素の画素信号の出力が終了すると、再び1行目に戻って上記動作が周期的に繰り返される。
n行目の撮像画素310および焦点検出画素315、316のリセット動作は、制御信号φRnの立ち上がりから立ち下がりまでの時間に行われ、n行目の撮像画素310および焦点検出画素315、316の露光動作は、制御信号φRnの立ち下がりから、制御信号φSnの立ち上がりまでの時間(露光時間、蓄積時間)に行われ、n行目の撮像画素310および焦点検出画素315、316の信号読み出し動作は、制御信号φSnの立ち上がりから制御信号φSn+1の立ち上がりまでの時間に行われる。
図17は、デジタルスチルカメラ201の撮像動作を示すフローチャートである。ボディ駆動制御装置214は、ステップS100でデジタルスチルカメラ201の電源がオンされると、ステップS110以降の撮像動作を開始する。ステップS110において、撮像素子212は、一定周期で撮像動作を繰り返す動作モード(例えば1秒間に60フレームを出力する)に設定される。そして1フレーム分の全画素データを読み出す。続くステップS120では、撮像画素310のデータから一部を間引きしたデータを液晶表示素子216に表示(ライブビュー表示)させる。ステップS130では焦点検出画素313、314、315、316のデータに基づき5つの焦点検出エリア101〜105において焦点検出を行い、最終的に1つのデフォーカス量を算出する。デフォーカス量の信頼性が低い場合、またはデフォーカス量の算出が不能であった場合は、焦点検出不能となる。ステップS130におけるデフォーカス量の算出処理の詳細については後述する。
ステップS140で、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合は、ステップS150へ進み、デフォーカス量をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシング用レンズ210を合焦位置に駆動させる。その後、ステップS110へ戻って上述した動作を繰り返す。
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置206へスキャン駆動命令を送信し、交換レンズ202のフォーカシング用レンズ210を無限から至近までの間でスキャン駆動させる。その後、ステップS110へ戻って上述した動作を繰り返す。
ステップS140で合焦近傍であると判定された場合はステップS160へ進み、シャッターボタン(不図示)の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップS110へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップS170へ進み、レンズ駆動制御装置206へ絞り調整命令を送信し、交換レンズ202の絞り値を制御F値(撮影者または自動により設定されたF値)にする。絞り制御が終了した時点で、撮像素子212に被写体輝度に応じた露光時間による撮像動作を行わせ、撮像素子212の撮像画素310および全ての焦点検出画素313、314、315、316から画像データを読み出す。
ステップS180において、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素313、314、315、316の周囲の撮像画素310のデータと焦点検出画素313、314、315、316のデータに基づいて画素補間する。続くステップS190では、撮像画素310のデータおよび補間された仮想的な撮像画素のデータからなる画像データをメモリカード219に記憶し、ステップS110へ戻って上述した動作を繰り返す。
またボディ駆動制御装置214は、測光センサー(不図示)の出力に応じてリアルタイムに被写体輝度を検出する。その検出結果に応じて、画素信号が適切なレベルになるように、ライブビュー表示の動作期間中(ステップS110〜ステップS160までのループ動作)も並行して、レンズ駆動制御装置206へ絞り調整命令を送信し、絞り開口径の調整を行う。従って1フレーム分の露光期間中においても絞り開口径が変化する場合がある。
次に、図17のステップS130で用いられる一般的な像ズレ検出演算処理(相関演算処理、位相差検出処理)の詳細について説明する。簡単のため1つの焦点検出エリアの焦点検出画素配列に対する処理を記載するが、他の焦点検出エリアにおける処理も同様である。
焦点検出画素313、314、または焦点検出画素315、316が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
焦点検出画素列から読み出された一対のデータ列(A11〜A1M、A21〜A2M:Mはデータ数)に対し、特開2007−333720号公報に開示された相関演算式(1)を用い、相関量C(k)を演算する。
C(k)=Σ|A1n×A2n+1+k−A2n+k×A1n+1| (1)
式(1)において、Σ演算はnについて累積されるが、nのとる範囲は、像ずらし量kに応じてA1n、A1n+1、A2n+k、A2n+1+kのデータが存在する範囲に限定される。像ずらし量kは整数であり、データ列のデータ間隔を単位とした相対的ずらし量である。
式(1)の演算結果は、図18(a)に示すように、一対のデータの相関が高いシフト量(図18(a)ではk=kj=2)において相関量C(k)が極小(小さいほど相関度が高い)になる。
式(2)〜(5)による3点内挿の手法を用いて連続的な相関量に対する極小値C(ks)を与えるずらし量ksを求める。
ks=kj+D/SLOP (2)
C(ks)= C(kj)−|D| (3)
D={C(kj−1)-C(kj+1)}/2 (4)
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)}
(5)
式(2)で算出されたずらし量ksの信頼性があるかどうかは、以下のようにして判定される。図18(b)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値C(ks)の値が大きくなる。したがって、C(ks)が所定の閾値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ksをキャンセルする。
あるいは、C(ks)をデータのコントラストで規格化するために、コントラストに比例した値となるSLOPでC(ks)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ksをキャンセルする。
あるいはまた、コントラストに比例した値となるSLOPが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ksをキャンセルする。
図18(c)に示すように、一対のデータの相関度が低く、ずらし量の範囲kmin〜kmaxの間で相関量C(k)の落ち込みがない場合は、極小値C(ks)を求めることができず、このような場合は焦点検出不能と判定する。
算出されたずらし量ksの信頼性があると判定された場合は、式(6)により像ズレ量shftに換算される。式(6)において、PYは焦点検出画素313、314、または焦点検出画素315、316の画素ピッチの2倍(検出ピッチ)である。
shft=PY×ks (6)
式(6)で算出された像ズレ量に所定の変換係数Kdを乗じてデフォーカス量defへ変換する。なお、変換係数Kdは、焦点検出画素313、314、または焦点検出画素315、316が受光する一対の光束の開き角に対応しており、測距瞳距離dを一対の測距瞳の重心間隔で除算した値である。なお、変換係数Kdは、測距瞳の重心間隔が絞り開口径に応じて変化するため、絞り開口径に応じて変化する。
def=Kd×shft (7)
図19は像ズレ量(光学系の光軸に垂直な方向における一対の像の相対的な偏位量)をデフォーカス量(光学系の光軸方向における基準面となる撮像面に対する実際の像面の偏位量)に変換する場合の説明図である。
符号110は撮像面、符号140は像面、符号125は絞り面、符号91は光軸を表す。符号defはデフォーカス量(撮像面110から像面140までの距離)、距離POは撮像面110から絞り面125までの距離を表す。位置G1および位置G2は絞りF値がFcの場合の一対の焦点検出光束73、74のそれぞれの中心光束が絞り面と交差する位置、位置G3および位置G4は絞りF値がFd(<Fc)の場合の一対の焦点検出光束73、74のそれぞれの中心光束が絞り面と交差する位置を表す。距離Q1は位置G1と位置G2との間の距離、距離Q2は位置G3と位置G4との間の距離、符号S1は絞りF値がFcの場合の一対の像の像ズレ量、符号S2は絞りF値がFdの場合の一対の像の像ズレ量を表す。角度θ1は絞りF値がFcの場合の一対の焦点検出光束73、74の中心光束の開き角、角度θ2は絞りF値がFdの場合の一対の焦点検出光束73、74の中心光束の開き角であるとする。なお、距離POは交換レンズ202の種類に応じて変化するが、その平均的な距離は図13の測距瞳距離dに略等しく設定される。デフォーカス量defが距離POに比較して小さい場合(すなわち、PO−def≒POと近似できる場合)には、絞りF値がFcの場合のデフォーカス量defは式(8)で算出される。
def=S1/(2・tan(θ1/2))=S1・PO/Q1 (8)
従って、絞りF値がFcの場合の変換係数Kd1は式(9)で表される。
Kd1=1/(2・tan(θ1/2))=PO/Q1 (9)
同様に絞りF値がFd(>Fc)の場合のデフォーカス量defおよび変換係数Kd2は式(10)、(11)で算出される。
def=S2/(2・tan(θ2/2))=S2・PO/Q2 (10)
Kd2=1/(2・tan(θ2/2))=PO/Q2 (11)
交換レンズ202側には絞りF値に応じた変換係数Kdがレンズ情報として記憶されており、ある絞りF値で算出された像ズレ量shftをデフォーカス量defに変換する場合には、その絞りF値に対応する変換係数Kdが用いられることになる。
図20を用いて、図17のステップS130の処理の詳細を説明する。上述したように、撮像素子の1フレーム分の動作中においても絞り開口径が変化する可能性がある。CMOSイメージセンサーにおいては、ローリングシャッタ動作中に絞り開口径が変化すると、露光タイミングが行毎に異なるため、焦点検出に不具合が発生する虞がある。
そのため、まずステップS200で、それ以降に用いられる焦点検出画素313、314、315、316のデータを取得した時の露光期間中に絞り開口径が変化したか否かをチェックする。図21は、横軸に時間経過をとり、上段に絞り開口径の状態、下段に撮像素子の動作を並列して示した動作タイミングチャートである。この図21において、絞り開口径は約2フレーム(フレームAおよびB)に渡って時刻t1のF1.4から時刻t2のF5.6まで変化している。
撮像素子212は、フレーム単位で全画素の駆動読み出し、すなわち全画素のリセット、露光、および画素信号読み出しを図21に示すように行毎に順次行う。この図21においては行数を10とし、5行目(図21に“R”で示す)に水平方向の焦点検出画素315、316から構成される焦点検出エリアが配置されており、1〜10行目に垂直方向の焦点検出画素313、314から構成される焦点検出エリアが配置されている。
レンズ駆動制御装置206は、ボディ駆動制御装置214の指令に応じて図21のように絞り開口径を変化させるが、絞り開口径の値をリアルタイムに検出し、絞り開口径の値をボディ駆動制御装置214にフィードバックしている。従って、ボディ駆動制御装置214は、レンズ駆動制御装置206から出力される絞り開口径の値を撮像動作中もモニターし、1フレーム期間中に絞り開口径の値が所定値以上変化した場合は露光期間中に絞り開口径の変化があったと判定する。例えば、フレームAの期間中(時刻t3〜t4)に読み出される焦点検出画素データを用いて焦点検出を行うとき、時刻t3における絞り開口径と時刻t4における絞り開口径の差が所定値以上であった場合は絞り開口径変化ありと判定する。
ステップS200において、絞り開口径の変化がないと判定された場合は、ステップS210において、5つの焦点検出エリア101〜105の全てにおけるデフォーカス量defを算出し、信頼性のあるデフォーカス量の中で最も近距離を示すデフォーカス量を最終的なデフォーカス量として採用し、図17のステップS140に処理を進める。
デフォーカス量defを算出する際の変換係数Kdは、時刻t3または時刻t4における絞り開口径に対応した変換係数Kdを用いる。
ステップS200において、絞り開口径の変化があると判定された場合は、ステップS220において、垂直方向に焦点検出画素313、314が配置された2つの焦点検出エリア104、105でのデフォーカス量defの算出を禁止し、水平方向に焦点検出画素315、316が配置された3つの焦点検出エリア101〜103のみでデフォーカス量defを算出する。垂直方向に焦点検出画素313、314が配置されている場合、絞り開口径が変化すると行毎に露光タイミングと露光量が異なるとともに、変換係数Kdも行毎に相違するので、像ズレ検出やデフォーカス量算出時の変換の誤差が大きくなってしまう。これを防止するため、絞り開口径が変化する場合には、垂直方向の焦点検出エリア104、105でのデフォーカス量defの算出を禁止している。一方、水平方向に焦点検出画素315、316が配置されている場合、同一行においては絞り開口径が変化しても露光タイミングと露光量が同一となるので、正確な焦点検出が可能である。しかし、行毎に絞り開口径が異なるので、水平方向の焦点検出画素315、316が配置された3つの焦点検出エリアが位置する各行の露光時間の中点における絞り開口径をおのおの検出して、検出した絞り開口径に応じた変換係数Kdに応じて水平方向の3つの焦点検出エリア101〜103における像ズレ量shftをデフォーカス量defにそれぞれ変換する。
例えば、図21において、撮像素子212の5行目に配置された焦点検出画素315、316の焦点検出画素データに基づく像ズレ量shftをデフォーカス量defに変換する場合について説明する。フレームAで取得された焦点検出画素データに基づく像ズレ量shftは、フレームAの5行目の露光時間の中点の時刻taに検出された絞り開口径Faに応じた変換係数Kdを用いてデフォーカス量defに変化される。また、フレームBで取得された焦点検出画素データに基づく像ズレ量shftは、フレームBの5行目の露光時間の中点の時刻tbに検出された絞り開口径Fbに応じた変換係数を用いてデフォーカス量defに変化される。このようにすれば、異なる行に水平方向に配置された焦点検出画素315、316の焦点検出画素データに基づいて、正確なデフォーカス量defを算出することが可能になる。
ステップS220において、上記のようにして水平方向の3つの焦点検出エリア101〜103のみにおいてデフォーカス量defを算出し、信頼性のあるデフォーカス量の中で最も近距離を示すデフォーカス量を最終的なデフォーカス量として採用し、処理を図17のステップS140に進める。
以上説明した実施形態においては、水平方向(同一行)および垂直方向(同一列)に焦点検出画素を配置したCMOSイメージセンサーのローリングシャッタ動作中の絞り開口径の変化を検知し、絞り開口径の変化があった場合には垂直方向に配置された焦点検出画素の信号に基づく焦点検出を禁止しているので、絞り開口径の変化によって生ずる焦点検出の誤動作を防止できる。また、絞り開口径の変化があった場合には、水平方向に配置された焦点検出画素の信号に基づく像ズレ量を、該焦点検出画素の信号が取得された露光タイミングにおける絞り開口径に応じた変換係数を用いてデフォーカス量に変換しているので、絞り開口径の変化によらず正確なデフォーカス量を算出することが可能になる。
−変形例−
<1つの焦点検出画素に一対の受光領域を備える>
図3、図4に示す撮像素子212の部分拡大図では、各画素に1つの光電変換部を有する一対の焦点検出画素313、314および一対の焦点検出画素315、316を備える例を示したが、ひとつの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図22、図23は、図3、図4に対応した撮像素子212の部分拡大図であり、焦点検出画素311および312は一対の光電変換部を備える。
図24(a)に示す焦点検出画素311は、図7(a)、(b)に示す焦点検出画素313と焦点検出画素314のペアに相当した機能を果たし、図24(b)に示す焦点検出画素312は、図7(c)、(d)に示す焦点検出画素315と焦点検出画素316のペアに相当した機能を果たす。焦点検出画素311、312は、図24(a)、(b)に示すようにマイクロレンズ10と一対の光電変換部13、14および一対の光電変換部15、16から構成される。焦点検出画素311、312には白色フィルタが配置されており、その分光感度特性は、光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ(不図示)の分光感度特性とを総合した分光感度特性(図9参照)となる。つまり、図8に示す緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、その焦点検出画素311、312が高い分光感度を示す光波長領域は、緑画素、赤画素および青画素が高い分光感度を示す光波長領域を包括している。
図25は、図24(a)に示した焦点検出画素311の断面図であって、光電変換部13、14の上に近接して遮光マスク30が形成され、光電変換部13、14は、遮光マスク30の開口部30dを通過した光を受光する。遮光マスク30の上には平坦化層31が形成され、その上に白色フィルタ34が形成される。白色フィルタ34の上には平坦化層32が形成され、その上にマイクロレンズ10が形成される。マイクロレンズ10により開口部30dに制限された光電変換部13、14の形状が前方に投影されて、一対の測距瞳を形成する。光電変換部13、14は半導体回路基板29上に形成される。
焦点検出画素312の構造も焦点検出画素311の構造を90度回転しただけであって、基本的に図25に示す焦点検出画素の構造と同様である。
<斜め45度方向の焦点検出画素配置>
図26は、交換レンズ202の撮影画面上における焦点検出位置(焦点検出エリア)を示す図であり、撮像素子212上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域(焦点検出エリア、焦点検出位置)の一例を示す。この例では、矩形の撮影画面100上の中央および上下左右の5箇所に焦点検出エリア101〜105、ならびに撮影画面100の対角線方向に焦点検出エリア106〜109が配置される。焦点検出エリア106〜109においては、長方形で示す焦点検出エリアの長手方向に、焦点検出画素が斜め右上がり45度方向または斜め左上がり45度方向に直線的に配列される。
図27、図28は撮像素子212の詳細な構成を示す正面図であり、撮像素子212上の焦点検出エリア106、108および焦点検出エリア107、109の近傍を拡大して示す。撮像素子212には撮像画素310が二次元正方格子状に稠密に配列される。撮像画素310は、赤画素(R)、緑画素(G)、青画素(B)からなり、ベイヤー配列の配置規則によって配置されている。焦点検出エリア106、108に対応する位置には、撮像画素310と同一の画素サイズを有し、白色フィルタを備えた焦点検出画素323、324が、交互に本来緑画素が連続的に配置されるべき斜め右上がり45度方向の直線上に連続して配列される。これとともに、焦点検出エリア107、109に対応する位置には、撮像画素310と同一の画素サイズを有し、白色フィルタを備えた焦点検出画素325、326が、交互に本来緑画素が連続的に配置されるべき斜め左上がり45度方向の直線上に連続して配列される。焦点検出画素323、324および焦点検出画素325、326は、本来緑画素が配置される画素位置に配置される。
焦点検出画素323は、図29(a)に示すように、矩形のマイクロレンズ10、遮光マスク30で受光領域を正方形の半分(正方形を左上がり45度方向の対角線で2等分した場合の右上半分)に制限された光電変換部23、および白色フィルタ(不図示)から構成される。
また、焦点検出画素324は、図29(b)に示すように、矩形のマイクロレンズ10、遮光マスク30で受光領域を正方形の半分(正方形を左上がり45度方向の対角線で2等分した場合の左下半分)に制限された光電変換部24、および白色フィルタ(不図示)から構成される。
焦点検出画素323と焦点検出画素324とをマイクロレンズ10を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部23と24とが右上がり斜め45度方向に並んでいる。
また図29(a)、(b)において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分(破線部分)を加えると、撮像画素310の受光領域と同じサイズの正方形となる。
焦点検出画素325は、図29(c)に示すように、矩形のマイクロレンズ10、遮光マスク30で受光領域を正方形の半分(正方形を右上がり45度方向の対角線で2等分した場合の左上半分)に制限された光電変換部25、および白色フィルタ(不図示)から構成される。
また、焦点検出画素326は、図29(d)に示すように矩形のマイクロレンズ10、遮光マスクで受光領域を正方形の半分(正方形を右上がり45度方向の対角線で2等分した場合の右下半分)に制限された光電変換部26、および白色フィルタ(不図示)から構成される。
焦点検出画素325と焦点検出画素326とをマイクロレンズ10を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部25と26とが左上がり斜め45度方向に並んでいる。
また、図29(c)、(d)において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分(破線部分)を加えると、撮像画素の受光領域と同じサイズの正方形となる。
図26に示すような焦点検出エリアの配置を有する撮像素子212においては、CMOSイメージセンサーのローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合には垂直方向に配置された焦点検出エリア104、105に属する焦点検出画素313、314の画素信号に基づく焦点検出を禁止する。それとともに、さらに斜め方向に配置された焦点検出エリア106〜109に属する焦点検出画素323〜326の画素信号に基づく焦点検出も禁止する。これは、斜め方向に配置された焦点検出エリア106〜109に属する焦点検出画素323〜326は互いに異なる行に配置されているために、ローリングシャッタ動作中に絞り変化が発生すると、焦点検出画素間で露光タイミング、露光量が相違して正確な焦点検出を行うことが困難になるからである。
上述した実施形態においては、CMOSイメージセンサー(撮像素子212)のローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合には、互いに異なる行に配置された焦点検出画素313、314、323〜326の画素信号に基づく焦点検出を禁止した。しかし、水平方向の同一行に配置された焦点検出画素315、316の信号に基づく焦点検出に比して、互いに異なる行に配置された焦点検出画素313、314、323〜326の画素信号に基づく焦点検出の優先順位を下げるようにしてもよい。すなわち、水平方向の同一行に配置された焦点検出画素315、316の画素信号に基づく焦点検出の信頼性が著しく低い場合や、焦点検出が不能になった場合に限って、互いに異なる行に配置された焦点検出画素313、314、323〜326の画素信号に基づく焦点検出を認めるようにしてもよい。
上述した実施形態においては、焦点検出画素が垂直方向および水平方向に配置されたCMOSイメージセンサー(撮像素子212)のローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合には互いに異なる行に配置された焦点検出画素313、314、323〜326の画素信号に基づく焦点検出を禁止した。また、水平方向の同一行に配置された焦点検出画素315、316の画素信号に基づく焦点検出においては、その行の露光タイミングと同期して絞り開口径を検出し、該絞り開口径に応じた変換係数Kdで像ズレ量shftをデフォーカス量defに変換することにより、正確な焦点検出を可能にした。しかし、水平方向の同一行にのみ配置された1つの焦点検出エリアに属する焦点検出画素315、316が、CMOSイメージセンサーのローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合に、以下のような焦点検出を行っても良い。すなわち、水平方向の同一行に配置された焦点検出画素315、316の画素信号に基づく焦点検出において、その行の露光タイミングと同期して絞り開口径を検出し、該絞り開口径に応じた変換係数Kdで像ズレ量shftをデフォーカス量defに変換することにより、正確な焦点検出を達成することもできる。
上述した実施形態においては、焦点検出画素として瞳分割型の焦点検出画素の例を示したが、焦点検出画素はこれに限定されることなく、他の焦点検出方式を用いる焦点検出画素に対しても本発明を適用することができる。たとえば他の焦点検出方式として像のコントラストを検出する方式において、焦点検出画素は撮像素子と同一であってもよく、行方向および列方向のコントラストを検出する場合には、上述した瞳分割型の焦点検出画素を用いた場合と同様の問題が生ずる。
すなわち、ローリングシャッタ動作中に絞り開口径が変化した場合には、列方向に配置された焦点検出画素(撮像画素と同一)は、異なる露光タイミングで異なる露光量となるので、正確なコントラスト評価値を算出することができなくなる。一方、行方向に配置された焦点検出画素(撮像画素と同一)は、異同一露光タイミングで同一露光量となるので、正確なコントラスト評価値を算出することができ、算出されたコントラスト値を絞り開口径(露光量)で規格化すれば、異なるフレームで得られたコントラスト評価値の比較評価も可能になる。したがって、上述した実施形態と同様に、ローリングシャッタ動作中に絞り開口径が変化した場合には、列方向に配置された焦点検出画素の画素信号に基づくコントラスト評価値の算出を禁止し、行方向に配置された焦点検出画素の画素信号に基づくコントラスト評価値を算出することにより、ローリングシャッタ動作中に絞り開口径が変化することによって生ずる焦点検出動作の不具合を防止することができる。
上述した実施形態においては、CMOSイメージセンサー(撮像素子212)のローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合には、互いに異なる行に配置された焦点検出画素の画素信号に基づく焦点検出を禁止した。しかし、このような場合に焦点検出演算を禁止せずに行い、焦点検出結果に基づく焦点調節動作(レンズ駆動)を禁止するようにしてもよい。
上述した実施形態においては、ライブビュー表示動作におけるCMOSイメージセンサー(撮像素子212)のローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合には、互いに異なる行に配置された焦点検出画素の画素信号に基づく焦点検出を禁止した。しかし、連続撮影動作において駒間に焦点検出動作と絞り制御を同時に行うような場合には、連続撮影動作の駒間におけるCMOSイメージセンサーのローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合には、互いに異なる行に配置された焦点検出画素の画素信号に基づく焦点検出を禁止してもよい。
上述した実施形態においては、静止画撮影のライブビュー表示動作におけるCMOSイメージセンサー(撮像素子212)のローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合には、互いに異なる行に配置された焦点検出画素の画素信号に基づく焦点検出を禁止した。しかし、動画撮影中において焦点検出動作と絞り制御を並行して行うような場合には、動画撮影時におけるCMOSイメージセンサーのローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合には、互いに異なる行に配置された焦点検出画素の画素信号に基づく焦点検出を禁止してもよい。
上述した実施形態においては、CMOSイメージセンサー(撮像素子212)のローリングシャッタ動作中に絞り開口径の変化を検知し、絞り開口径の変化があった場合には、互いに異なる行に配置された焦点検出画素の信号に基づく焦点検出を禁止した。しかし、撮像素子212の露光量を調整するために撮影光学系の光路中にND(ニュートラルデンシティ)フィルタを機械的に挿入退避するような場合においても、互いに異なる行に配置された焦点検出画素は、異なる露光タイミングで異なる露光量となるので、正確な焦点検出を行うことができなくなる。したがって、上述した実施形態と同様に、ローリングシャッタ動作中にNDフィルタが挿入退避されることにより露光量の変化が生じた場合には、互いに異なる行に配置された焦点検出画素の画素信号に基づく焦点検出を禁止することにより、焦点検出動作の不具合を防止することができる。
上述した実施形態における撮像素子212では、焦点検出画素313〜316、323〜326が白色フィルタを備えた例を示したが、撮像画素310と同じ色フィルタ(例えば緑フィルタ)を備えるようにした場合にも本発明を適用することができる。
上述した実施形態における撮像素子212では、撮像画素310がベイヤー配列の色フィルタを備えた例を示した。しかし、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ(緑:G、イエロー:Ye、マゼンタ:Mg,シアン:Cy)の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも適用することができる。
上述した実施形態においては、撮像素子212と撮影光学系との間に光学要素を何も配置していないが、適宜必要な光学要素を挿入することが可能である。例えば、赤外カットフィルタや光学的ローパスフィルタ、ハーフミラーなどを設置してもよい。
なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。