一実施の形態の撮像素子および撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。図1は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ201は交換レンズ202とカメラボディ203から構成され、交換レンズ202がマウント部204を介してカメラボディ203に装着される。カメラボディ203にはマウント部204を介して種々の撮影光学系を有する交換レンズ202が装着可能である。
交換レンズ202はレンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御装置206などを備えている。レンズ駆動制御装置206は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ210の焦点調節と絞り211の開口径調節のための駆動制御や、ズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出などを行う他、後述するボディ駆動制御装置214との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
カメラボディ203は撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219などを備えている。撮像素子212には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子212については詳細を後述する。
ボディ駆動制御装置214はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子212の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ202の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置214は電気接点213を介してレンズ駆動制御装置206と通信を行い、レンズ情報の受信とカメラ情報(デフォーカス量や絞り値など)の送信を行う。
液晶表示素子216は電気的なビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は撮像素子212によるスルー画像を液晶表示素子216に表示し、撮影者は接眼レンズ217を介してスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像を記憶する画像ストレージである。
交換レンズ202を通過した光束により、撮像素子212の受光面上に被写体像が形成される。この被写体像は撮像素子212により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置214へ送られる。
ボディ駆動制御装置214は、撮像素子212の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212からの画像信号を処理して画像を生成し、メモリカード219に格納するとともに、撮像素子212からのスルー画像信号を液晶表示素子駆動回路215へ送り、スルー画像を液晶表示素子216に表示させる。さらに、ボディ駆動制御装置214は、レンズ駆動制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
レンズ駆動制御装置206は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置と絞り211の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ210を合焦位置へ駆動する。また、レンズ駆動制御装置206は受信した絞り値に応じて絞り211を駆動する。
図2は、交換レンズ202の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子212上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域、すなわち焦点検出エリア、焦点検出位置の一例を示す。この例では、矩形の撮影画面100上の中央および上下の3箇所に焦点検出エリア101、102、103が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。
図3は撮像素子212の詳細な構成を示す正面図であり、撮像素子212上の焦点検出エリア101(、102、103)の近傍を拡大して示す。撮像素子212には撮像画素310が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア101に対応する位置には焦点検出用の焦点検出画素312、313が垂直方向の直線上に隣接して交互に配列される。一方、焦点検出エリア102、103に対応する位置には、焦点検出用の焦点検出画素322,323が垂直方向の直線上に隣接して交互に配列される。
撮像画素310は、図4に示すようにマイクロレンズ10、光電変換部11、および色フィルター(不図示)から構成される。色フィルターは赤(R)、緑(G)、青(B)の3種類からなり、それぞれの分光感度は図6に示す特性になっている。撮像素子212には、各色フィルターを備えた撮像画素310がベイヤー配列されている。
図5(a)に示すように、焦点検出画素312はマイクロレンズ10と光電変換部12とから構成され、光電変換部12の形状は矩形である。同様に、焦点検出画素313はマイクロレンズ10と光電変換部13とから構成され、光電変換部13の形状は矩形である。図8(a)に示すように、焦点検出画素312と焦点検出画素313とをマイクロレンズ10を重ね合わせて表示すると、光電変換部12と13が垂直方向に並んでおり、矩形の光電変換部12の下辺と矩形の光電変換部13の上辺が重なって光電変換部12と13が接している。焦点検出画素312と焦点検出画素313は、焦点検出エリア101において垂直方向(光電変換部12と13の並び方向)に交互に配置される。
図5(b)に示すように、焦点検出画素322はマイクロレンズ10と光電変換部22とから構成され、光電変換部22の形状は矩形である。同様に、焦点検出画素323はマイクロレンズ10と光電変換部23とから構成され、光電変換部23の形状は矩形である。図8(b)に示すように、焦点検出画素322と焦点検出画素323とをマイクロレンズ10を重ね合わせて表示すると、光電変換部22と23は垂直方向に並んでおり、矩形の光電変換部22の下辺は矩形の光電変換部23の上辺より下方に来ており、光電変換部22と23は互いに重なり合って隣接している。焦点検出画素322と焦点検出画素323は、焦点検出エリア102,103において垂直方向(光電変換部22と23の並び方向)に交互に配置される。
つまり、焦点検出画素322の光電変換部22と焦点検出画素323の光電変換部23との間隔は、焦点検出画素312の光電変換部12と焦点検出画素313の光電変換部13との間隔より狭くなっている。
焦点検出画素312、313、322、323には光量をかせぐために色フィルターが設けられておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター(不図示)の分光特性とを総合した分光特性(図7参照)となる。つまり、図6に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
焦点検出用の焦点検出画素312、313、322、323は、撮像画素310のBとGが配置されるべき列に配置されている。焦点検出用の焦点検出画素312、313、322、323が、撮像画素310のBとGが配置されるべき列に配置されているのは、画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。
撮像画素310の光電変換部11は、マイクロレンズ10によって最も明るい交換レンズの射出瞳径(例えばF1.0)を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素312、313の光電変換部12、13、および焦点検出画素322、323の光電変換部22、23は、マイクロレンズ10によって交換レンズの射出瞳の所定の領域(例えばF2.8)を通過する光束をすべて受光するような形状に設計される。
図9は撮像画素310の断面図である。撮像画素310では撮像用の光電変換部11の前方にマイクロレンズ10が配置され、マイクロレンズ10により光電変換部11の形状が前方に投影される。光電変換部11は半導体回路基板29上に形成される。なお、不図示の色フィルターはマイクロレンズ10と光電変換部11の中間に配置される。
図10(a)は焦点検出画素312の断面図である。画面中央の焦点検出エリア101に配置された焦点検出画素312において、光電変換部12の前方にマイクロレンズ10が配置され、マイクロレンズ10により光電変換部12の形状が前方に投影される。光電変換部12は半導体回路基板29上に形成されるとともに、その上にマイクロレンズ10が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。
図10(b)は焦点検出画素313の断面図である。画面中央の焦点検出エリア101に配置された焦点検出画素313において、光電変換部13の前方にマイクロレンズ10が配置され、マイクロレンズ10により光電変換部13の形状が前方に投影される。光電変換部13は半導体回路基板29上に形成されるとともに、その上にマイクロレンズ10が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。
図11は、焦点検出画素312と313の断面を重ね合わせた図である。光電変換部12と13はマイクロレンズ10の光軸300に対して略対象位置に配置されるとともに、焦点検出画素312,313の断面図をマイクロレンズ10の光軸300を基準に重ね合わせると、光電変換部12の下端と光電変換部13の上端が接している。したがって、光電変換部12を投影する光束112と光電変換部13を投影する光束113は互いに接しており、一対の光束の全体としての投影方向301はおおよそマイクロレンズの光軸300の方向と一致する。換言すれば、光電変換部12は光束112を受光するとともに、光電変換部13は光束113を受光する。
図12(a)は、撮影画面周辺に配置された焦点検出画素322の断面図である。画面周辺の焦点検出エリア102に配置された焦点検出画素322において、光電変換部22の前方にマイクロレンズ10が配置され、マイクロレンズ10により光電変換部22の形状が前方に投影される。光電変換部22は半導体回路基板29上に形成されるとともに、その上にマイクロレンズ10が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。
図12(b)は、撮影画面周辺に配置された焦点検出画素323の断面図である。画面周辺の焦点検出エリア102に配置された焦点検出画素323において、光電変換部23の前方にマイクロレンズ10が配置され、マイクロレンズ10により光電変換部23の形状が前方に投影される。光電変換部23は半導体回路基板29上に形成されるとともに、その上にマイクロレンズ10が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。
図13は、焦点検出画素322と323の断面を重ね合わせた図である。光電変換部22と23はマイクロレンズ10の光軸300に対して非対称位置(全体として上方向)に配置されるとともに、焦点検出画素322,323の断面図をマイクロレンズ10の光軸300を基準に重ね合わせると、光電変換部22の下部と光電変換部23の上部が重なり合っている。したがって、光電変換部22を投影する光束122と光電変換部23を投影する光束123は互いに一部が重なり合うとともに、一対の光束の全体としての投影方向302はおおよそマイクロレンズの光軸300と異なる方向(図13においては光軸300より下方向)に向かっている。換言すれば、光電変換部22は光束122を受光するとともに、光電変換部23は光束123を受光することになる。
図14は、撮影画面中央におけるマイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。90は交換レンズの予定結像面に配置されたマイクロレンズの前方dの距離に設定された瞳面(以下では測距瞳面と呼ぶ)であり、距離dはマイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離(以下では測距瞳距離と呼ぶ)である。91は交換レンズの光軸、10a〜10dはマイクロレンズ、12a、12b、13a、13bは光電変換部、312a、312b、313a、313bは焦点検出画素、72、73、82、83は焦点検出用光束である。92はマイクロレンズ10a10cにより投影された光電変換部12a、12bの領域であり、以下では測距瞳と呼ぶ。93はマイクロレンズ10b、10dにより投影された光電変換部13a、13bの領域であり、以下では測距瞳と呼ぶ。
図14においては、撮影光軸91に隣接する4つの焦点検出画素(画素312a、313a、312b、313b)を模式的に例示しているが、焦点検出エリア101のその他の焦点検出画素においても、光電変換部はそれぞれ対応した測距瞳92、93から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向すなわち一対の光電変換部の並び方向と一致している。
マイクロレンズ10a〜10dは交換レンズの予定結像面近傍に配置されており、マイクロレンズ10a〜10dによりその背後に配置された光電変換部12a、13a、12b、13bの形状がマイクロレンズ10a〜10dから測距瞳距離dだけ離間した測距瞳面90上に投影され、その投影形状は測距瞳92、93を形成する。すなわち、投影距離dにある測距瞳面90上で各焦点検出画素の光電変換部の投影形状(測距瞳92、93)が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。
光電変換部12aは、測距瞳92を通過してマイクロレンズ10aに向かう光束72によりマイクロレンズ10a上に形成される像の強度に対応した信号を出力する。光電変換部12bは、測距瞳92を通過してマイクロレンズ10cに向かう光束82によりマイクロレンズ10c上に形成される像の強度に対応した信号を出力する。また、光電変換部13aは、測距瞳93を通過してマイクロレンズ10bに向かう光束73によりマイクロレンズ10b上に形成される像の強度に対応した信号を出力する。光電変換部13bは、測距瞳93を通過してマイクロレンズ10dに向かう光束83によりマイクロレンズ10d上に形成される像の強度に対応した信号を出力する。
上述したような2種類の焦点検出画素を直線上に多数配置し、各画素の光電変換部の出力を測距瞳92と測距瞳93に対応した出力グループにまとめることによって、測距瞳92と測距瞳93をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面(予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面)の偏差(デフォーカス量)が算出される。
図15は、撮影画面周辺(焦点検出エリア102)におけるマイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。90は、交換レンズの予定結像面に配置されたマイクロレンズの前方dの距離に設定された瞳面(以下では測距瞳面と呼ぶ)であり、距離dはマイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離(以下では測距瞳距離と呼ぶ)である。
また、91は交換レンズの光軸、10e〜10hは隣接して配置されたマイクロレンズ、22a、22b、23a、23bは光電変換部、322a、322b、323a、323bは焦点検出画素、172、173、182、183は焦点検出用光束、192はマイクロレンズ10e、10gにより測距瞳面90に投影された光電変換部22a、22bの領域であり、以下では測距瞳と呼ぶ。193はマイクロレンズ10f、10hにより測距瞳面90に投影された光電変換部23a、23bの領域であり、以下では測距瞳と呼ぶ。測距瞳192と193は光軸91近傍で重畳している。
図15においては、焦点検出エリア102内の隣接する4焦点検出画素(焦点検出画素322a、322b、323a、323b)を模式的に例示しているが、焦点検出エリア102内のその他の焦点検出画素においても、光電変換部はそれぞれ対応した測距瞳192、193から各マイクロレンズに到来する光束を受光する。このために画面周辺にある焦点検出画素においては、マイクロレンズの光軸に対し、光電変換部の位置が非対称に配置されることによって、マイクロレンズの光軸より交換レンズの光軸91側に寄った光束を受光している。焦点検出画素の配列方向は一対の測距瞳の並び方向すなわち一対の光電変換部の並び方向と一致している。
マイクロレンズ10e〜10hは交換レンズの予定結像面近傍に配置されており、マイクロレンズ10e〜10hによりその背後に配置された光電変換部22a、23a、22b、23bの形状がマイクロレンズ10e〜10hから測距瞳距離dだけ離間した測距瞳面90上に投影され、その投影形状は測距瞳192、193を形成する。すなわち、投影距離dにある測距瞳面90上で焦点検出画素の光電変換部の投影形状(測距瞳192、193)が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。
光電変換部22aは、測距瞳192を通過してマイクロレンズ10eに向かう光束172を受光し、光束172によりマイクロレンズ10e上に形成される像の強度に対応した信号を出力する。光電変換部22bは、測距瞳192を通過してマイクロレンズ10gに向かう光束182を受光し、光束182によりマイクロレンズ10g上に形成される像の強度に対応した信号を出力する。また、光電変換部23aは、測距瞳193を通過してマイクロレンズ10fに向かう光束173を受光し、光束173によりマイクロレンズ10f上に形成される像の強度に対応した信号を出力する。光電変換部23bは、測距瞳193を通過してマイクロレンズ10hに向かう光束183を受光し、光束183によりマイクロレンズ10h上に形成される像の強度に対応した信号を出力する。
上記のような2種類の焦点検出画素を直線上に多数配置し、各画素の光電変換部の出力を測距瞳192および測距瞳193に対応した出力グループにまとめることによって、測距瞳192と測距瞳193をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。この像ズレ量に一対の測距瞳の重心間隔の開き角に応じた変換演算を行うことによって、予定結像面に対する現在の結像面(予定結像面上のマイクロレンズの位置に対応した焦点検出位置における結像面)の偏差(デフォーカス量)が算出される。
なお、焦点検出エリア103の焦点検出画素の配列は、撮影画面中心を通る水平軸を対称軸として焦点検出エリア102の焦点検出画素の配列を対象に配置したものとなっており、焦点検出エリア103の焦点検出画素も測距瞳192、193を通る光束を受光する。
図16は撮像画素と測距瞳面との関係を示す図である。図において、70はマイクロレンズ、71は撮像画素の光電変換部、81は撮像光束、94はマイクロレンズ10により投影された光電変換部11の領域である。なお、便宜的に光軸91上にある撮像画素、すなわちマイクロレンズ70と光電変換部71からなる撮像画素を模式的に例示しているが、その他の撮像画素においても光電変換部はそれぞれ領域94から各マイクロレンズに到来する光束を受光する。
マイクロレンズ70は光学系の予定結像面近傍に配置されており、光軸91上に配置されたマイクロレンズ70によりその背後に配置された光電変換部71の形状がマイクロレンズ70から投影距離dだけ離間した測距瞳面90上に投影され、その投影形状は領域94を形成する。光電変換部71は、領域94を通過してマイクロレンズ70に向かう光束81を受光し、光束81によりマイクロレンズ10上に形成される像の強度に対応した信号を出力する。上記のような撮像画素を二次元状に多数配置することにより、各画素の光電変換部の出力に基づいて画像情報が得られる。
図17は測距瞳面における投影関係を示す正面図である。画面中央の焦点検出エリア101に配置された焦点検出画素において、光電変換部をマイクロレンズにより測距瞳面90に投影した測距瞳92、93は、撮像画素から光電変換部をマイクロレンズにより測距瞳面90に投影した領域94の内部に包含される。測距瞳92、93は、互いに光軸に直交する水平線を境界にして接している。
図18は測距瞳面における投影関係を示す正面図である。撮影画面周辺の焦点検出エリア102、103に配置された焦点検出画素において、光電変換部をマイクロレンズにより測距瞳面90に投影した測距瞳192、193は、撮像画素から光電変換部をマイクロレンズにより測距瞳面90に投影した領域94の内部に包含される。測距瞳192,193は、光軸に直交する水平線を中心とした重複部(重なり部)195を有する。
図19は光学系の射出瞳と測距瞳との関係を示す図である。図(a)において、面PFは撮像素子(焦点検出素子)が配置される光学系の予定焦点面である。また、面PAは測距瞳面であり、予定焦点面PFから距離dだけ離れている。さらに、面PLはある交換レンズの光学系の射出瞳面であり、予定焦点面PFから距離fだけ離れている。91は光学系の光軸であり、位置ACは予定焦点面PFと光学系の光軸91とが交わる点(画面中心)、また位置AEは予定焦点面PF上で画面中心ACから距離Sだけ離れた画面周辺の位置である。
線402、403は、光学系の開放F値(交換レンズ全体の平均的な開放F値より暗い)を示す境界線(画面中央から開放F値を見込む線)であり、測距瞳距離dと光学系の射出瞳距離fとが一致する場合には、測距瞳面PAにおける領域170を通る光束が開放F値の絞りを通過する光束となる。
図19(a)は、画面中央の焦点検出エリア101の焦点検出画素が受光する一対の焦点検出用光束と、画面周辺の焦点検出エリア102の焦点検出画素が受光する一対の焦点検出用光束と、光学系の射出瞳との関係を示す図である。画面中央の位置ACに配置された焦点検出画素が受光する一対の焦点検出用光束(光軸91と境界線412の間の光束および光軸91と境界線413の間の光束)が射出瞳面PAにおいて通過する領域=測距瞳92、93は、図19(b)に示すように光軸91を通る水平線で領域170を2等分しており、一対の測距瞳92、93は重なる部分はない。
画面周辺の位置AEに配置された焦点検出画素が受光する一対の焦点検出用光束(境界線422、432の間の光束および境界線423、433の間の光束)が測距瞳面PAにおいて通過する領域=測距瞳192、193は、図19(c)に示すように領域170上で対照的な領域となっており、光軸91を通る水平線を中心とした重複部(重なり部)195を有する。
位置ACにおいて測距瞳92を通る光束を受光する焦点検出画素は、図19(a)において外側を線412、内側を光軸91で示した範囲内の光束を受光することになる。位置ACにおいて測距瞳93を通る光束を受光する焦点検出画素は、図19(a)において外側を線413、内側を光軸91で示した範囲内の光束を受光することになる。また、位置AEにおいて測距瞳192を通る光束を受光する焦点検出画素は、図19(a)において外側を線422、内側を線432で示した範囲内の光束を受光することになる。位置AEにおいて測距瞳193を通る光束を受光する焦点検出画素は、図19(a)において外側を線423、内側を線433で示した範囲内の光束を受光することになる。
位置ACの焦点検出画素は光軸91を中心とした焦点検出用光束を受光し、位置AEの焦点検出画素は測距瞳面PAにおいて光軸91と交差する軸191を中心とした焦点検出用光束を受光する。
光学系の射出瞳距離fが測距瞳距離dと一致する場合には、図19(b)に示すように測距瞳面PAにおける光学系の開放F値を示す円170の内部かつ一対の測距瞳92、93を通過する光束が、位置ACに配列された焦点検出画素に受光されることになり、光学系の開放F値を示す円170の内部かつ一対の測距瞳192、193を通過する光束が、位置AEに配列された焦点検出画素に受光されることになる。
領域170の内部における一対の測距瞳92、93の重心間の距離G1を位置ACから臨む角度は、領域170の内部における一対の測距瞳192、193の重心間の距離G2を位置ACから臨む角度より大きくなる。このことは後述する像ズレ検出演算処理により求められた像ズレ量をデフォーカス量に変換する際の変換係数が、画面周辺より画面中央の方が小さくなり、したがって画面周辺より画面中央において焦点検出精度が高いことを意味している。
光学系の射出瞳距離fが測距瞳距離dと異なる場合(図19(a)においてはd>f)には、射出瞳距離fと測距瞳距離dとの相違が大きくなるにつれ軸191が次第に光軸91から離れていくので、画面周辺の焦点検出画素が受光する焦点検出用光束は、光学系の射出瞳による口径蝕(ケラレ)を受けやすくなる。
さらに、焦点検出画素を構成するマイクロレンズと光電変換部との相対的な位置の製造誤差に起因する光電変換部の投影方向の角度誤差、すなわち画面中央においては光軸91の方向の角度誤差、画面周辺においては軸191の方向の角度誤差が加わった場合には、画面中央の焦点検出画素が受光する一対の焦点検出用光束の口径蝕によるバランスの崩れは少ないが、画面周辺の焦点検出画素が受光する一対の焦点検出用光束の口径蝕によるバランス崩れは大きくなる。
このような光学系の射出瞳距離fが測距瞳距離dと異なる場合において、光電変換部の投影方向の角度誤差による一対の焦点検出用光束の口径蝕によるバランス崩れを軽減するために、画面周辺の焦点検出画素においてはその一対の測距瞳を一部重複させているのである。
図20を用いて一対の焦点検出用光束を重複させることの効果について説明する。図20は、光学系の射出瞳距離fが測距瞳距離dと異なる場合であって、図19(a)に示す射出瞳面PLにおいて線402、403の間にある開放F値内の領域180と測距瞳92、93および測距瞳192、193を通り画面中央の位置ACおよび画面周辺の位置AEに向かう一対の焦点検出用光束の関係を示す図である。このような状態では測距瞳92、93および測距瞳192,193を通り画面中央および画面周辺に向かう焦点検出用光束のうち領域180を通過した光束だけが、焦点検出画素に受光されることになる。
図20(a)に示すように、光電変換部の投影方向の角度誤差がない場合には、射出瞳92、93を通り画面中央の焦点検出画素に向かう一対の焦点検出用光束の射出瞳面PLにおける断面領域は領域592、593となり、光軸91を通る水平線で領域180を2等分しており、一対の測距瞳92、93は重なる部分はない。また、図20(c)に示すように、測距瞳192、193を通り画面周辺の焦点検出画素へ向かう一対の焦点検出用光束の射出瞳面PLにおける断面領域は領域792、793となり、領域180に対し非対照的な領域となっており、その重複部分795の中に領域180が含まれるので、一対の焦点検出用光束はバランスは崩れているが焦点検出可能なレベルである。
図20(b)に示すように、仮に重複部分を持たない一対の測距瞳92,93を通る一対の焦点検出用光束を画面周辺の焦点検出画素で受光するとした場合には、測距瞳92、93を通り画面周辺の焦点検出画素に向かう一対の焦点検出用光束の射出瞳面PLにおける断面領域は領域692、693となり、領域180に対し非対照的な領域となっており、領域180内において一対の測距瞳92、93は重なる部分はなく、一対の焦点検出用光束のバランス崩れは非常に大きなものとなる。
次に、図20(d)に示すように、光電変換部の投影方向の角度誤差がある場合(図19(a)において一対の焦点検出用光束の中心軸91、191が上方向に振れた場合)には、画面中央の焦点検出画素に向かう一対の焦点検出用光束の射出瞳面PLにおける断面領域は領域592’、593’となり、領域180に対し非対象的な領域となるが、一対の焦点検出用光束のバランス崩れは少なく焦点検出可能である。また、図20(f)に示すように、画面周辺の焦点検出画素に向かう一対の焦点検出用光束の射出瞳面PLにおける断面領域は領域792’、793’となり、領域180に対し非対称的な領域となっており、その重複部分795’の中に依然として領域180が含まれるので、一対の焦点検出用光束のバランス崩れはあるが焦点検出可能なレベルである。
図20(e)に示すように、仮に重複部分を持たない一対の測距瞳を通る一対の焦点検出用光束を画面周辺の焦点検出画素で受光するとした場合には、画面周辺の焦点検出画素に向かう一対の焦点検出用光束の射出瞳面PLにおける断面領域は領域692’、693’となり、一方の領域692’には領域180が含まれず、一対の焦点検出用光束のバランスは完全に崩れてしまい、焦点検出が不能になってしまう。
図20においては射出瞳距離fが測距瞳距離dより短い光学系の場合について説明したが、射出瞳距離fが測距瞳距離dより長い光学系の場合についても測距瞳を一部重ね合わせることによって、一対の焦点検出用光束を重複させて画面周辺での光電変換部の投影方向の角度誤差の影響を軽減することができる。
図21は、一実施の形態のデジタルスチルカメラ(撮像装置)の撮像動作を示すフローチャートである。ボディ駆動制御装置214は、ステップ100でカメラの電源がオンされると、ステップ110以降の撮像動作を開始する。ステップ110において被写界輝度に応じて撮像素子212の露光時間を制御する。続くステップ120で撮像素子212から撮像画素と焦点検出画素のデータを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材(不図示)を用いて焦点検出エリア101〜103の内のいずれかを予め選択しているものとする。
ステップ130で撮像画素のデータを電子ビューファインダーに表示させる。次に、ステップ140で、選択された焦点検出エリアの焦点検出画素の一対の像データに基づいて後述する像ズレ検出演算処理(相関演算処理)を行い、デフォーカス量を算出する。ステップ150で合焦近傍か否か、つまりデフォーカス量の絶対値が合焦判定しきい値以内にあるか否かを調べる。合焦近傍でないと判定した場合はステップ160へ進み、デフォーカス量をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシングレンズ210を合焦位置へ駆動させ、ステップ110へ戻って上述した動作を繰り返す。
なお、焦点検出不能な場合もこのステップ160へ分岐し、レンズ駆動制御装置206へスキャン駆動命令を送信し、交換レンズ202のフォーカシングレンズ210を無限から至近までの間でスキャン駆動させ、ステップ110へ戻って上述した動作を繰り返す。
一方、合焦近傍であると判定した場合はステップ170へ進み、シャッターボタン(不図示)が操作されてシャッターレリーズがなされたか否かを確認し、シャッターレリーズがなされていないときはステップ110へ戻って上述した動作を繰り返す。シャッターレリーズがなされたときはステップ180へ進み、被写体輝度に応じて撮影パラメーターを決定し、レンズ駆動制御装置206へ絞り制御情報を送信し、交換レンズ202の絞り値を撮影絞り値に設定させる。絞り制御が終了した時点で、決定された電荷蓄積時間に応じて撮像素子212の露光を行う。
ステップ190において、撮像素子212から撮像画素のデータを読み出す。続くステップ200では、焦点検出画素の周囲にある撮像画素のデータに基づいて焦点検出画素位置の画像データを補間して求め、画面全体の画像データを生成する。ステップ210で、画像データをメモリカード219に保存し、ステップ110へ戻って上述した動作を繰り返す。
ここで、図21のステップ130における像ズレ検出演算処理(相関演算処理)の詳細を説明する。焦点検出画素が検出する一対の像は光量バランスが崩れている可能性があるので、光量バランス崩れに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素列から読み出された一対のデータ列(α1〜αM、β1〜βM:Mはデータ数)に対し、下記(1)式に示す高周波カットフィルター処理を行い、第1データ列A1〜ANと第2データ列B1〜BNを生成することによって、データ列から相関処理に悪影響を及ぼすノイズ成分や高周波成分を除去する。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことが解っている場合などには、この高周波除去のためのフィルター処理を省略することもできる。
An=αn+2・αn+1+αn+2,
Bn=βn+2・βn+1+βn+2 ・・・(1)
(1)式において、n=1〜Nである。
データ列An、Bnに対し(2)式に示す相関演算を行って相関量C(k)を演算する。
C(k)=Σ|An・Bn+1+k−Bn+k・An+1| ・・・(2)
(2)式において、Σ演算はnについて累積され、nのとる範囲は像ずらし量kに応じてAn、An+1、Bn+k、Bn+1+kのデータが存在する範囲に限定される。像ずらし量kは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
(2)式の演算結果は、図22(a)に示すように、一対のデータの相関が高いシフト量(図22(a)ではk=kj=2)において相関量C(k)が極小(小さいほど相関度が高い)になる。次に、下記(3)式〜(6)式に示す3点内挿の手法を用い、連続的な相関量に対する極小値C(x)を与えるシフト量xを求める。
x=kj+D/SLOP ・・・(3),
C(x)= C(kj)-|D| ・・・(4),
D={C(kj-1)−C(k j+1)}/2 ・・・(5),
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)} ・・・(6)
(3)式で算出されたずらし量xの信頼性があるかどうかは、以下のようにして判定される。図22(b)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値C(x)の値が大きくなる。したがって、C(x)が所定のしきい値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量xをキャンセルする。あるいは、C(x)をデータのコントラストで規格化するために、コントラストに比例した値となるSLOPでC(x)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量xをキャンセルする。あるいはまた、コントラストに比例した値となるSLOPが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量xをキャンセルする。図22(c)に示すように、一対のデータの相関度が低く、シフト範囲kmin〜kmaxの間で相関量C(k)の落ち込みがない場合は、極小値C(x)を求めることができず、このような場合は焦点検出不能と判定する。
なお、相関演算式としては上記(2)式に限定されず、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れていても像ズレ検出精度を維持できるタイプの相関演算式ならばどのような式でもよい。
算出されたずらし量xの信頼性があると判定された場合は、被写体像の予定結像面に対するデフォーカス量DEFを(7)式により求めることができる。
DEF=FA・PY・x ・・・(7)
(7)式において、PYは検出ピッチ(焦点検出画素のピッチ)であり、FAは変換係数である。
なお、(7)式における変換係数FAは図19(a)、(b)に示す重心間隔G1、G2を焦点検出画素から見込んだ開き角度に対応した係数であり、焦点検出エリア101の変換係数と焦点検出エリア102、103の変換係数は異なっている。
以上説明したように、一実施の形態では、光電変換部の投影方向の角度誤差の影響が少ない画面中央に配置される焦点検出画素に対しては、測距瞳を重畳させずに重心間隔を広くしているので、焦点検出精度を高くできるとともに、光電変換部の投影方向の角度誤差の影響を受けやすい画面周辺に配置される焦点検出画素に対しては測距瞳を重畳させることにより、光電変換部の投影方向の角度誤差が生じた場合においても焦点検出を可能にしている。
なお、以上の説明では画面中央に配置される焦点検出画素に対しては測距瞳を重畳させず、画面周辺に配置される焦点検出画素に対しては測距瞳を重畳させるとして説明したが、画面中央および画面周辺に配置される焦点検出画素に対して両方とも測距瞳を重畳させるとともに、画面周辺に配置される焦点検出画素の測距瞳の重畳量を画面中央に配置される焦点検出画素の測距瞳の重畳量より大きくするようにしてもよい。
《その他の実施の形態》
上述した一実施の形態では、焦点検出画素が受光する一対の焦点検出用光束の光学的特性として一対の焦点検出用光束の重畳量を、画面中央と画面周辺とで異ならせることによって、焦点検出精度と角度誤差に起因する口径蝕の影響の軽減効果のバランスをとる例を示したが、画面中央と画面周辺とで異ならせる一対の焦点検出用光束の光学的特性としては、一対の焦点検出用光束の重畳量に限定されず、その他の光学的特性であってもよい。
例えば図23に示すように、画面中央と画面周辺とで測距瞳距離を異ならせるようにしてもよい。図23において、この焦点検出画素で検出可能な最も暗い交換レンズの開放F値をF5.6としている。交換レンズシステムにおいて、各交換レンズの射出瞳の距離は最短dminから最長dmaxの間に略一様に分布している。
予定焦点面PFにおいて画面中央近傍の位置ABでは、測距瞳距離d=(dmin+dmax)/2において焦点検出用光束の中心軸391と光軸91とが交差するように焦点検出画素のマイクロレンズと光電変換部の相対的な位置を設定している。また、画面周辺の位置ACにおいては、測距瞳距離dより短い測距瞳距離dpにおいて焦点検出用光束の中心軸291と光軸91とが交差するように焦点検出画素のマイクロレンズと光電変換部の相対的な位置を設定している。
図23において、測距瞳距離dpは、F5.6の開口光束の上側の境界線432が最短射出瞳距離dminの射出瞳面と交わる点と、F5.6の開口光束の下側の境界線433が最長射出瞳距離dmaxの射出瞳面と交わる点とを結んだ線が光軸91と交わる位置の距離である。画面周辺の焦点検出画素においてはこの点に向かって投影軸291が設定される。投影軸に上方向の角度誤差が加わった場合の投影軸をそれぞれ291’、391’で示す。
このように、画面周辺においては測距瞳距離をdpとすれば、最短射出瞳距離の光学系および最長射出瞳距離の光学系に対し、最短射出瞳面および最長射出瞳面における角度誤差の影響によるマージン(投影軸291から境界線432、433までの距離と光軸91から境界線432、433までの距離の割合)が一致するので、測距瞳距離をdとした場合には焦点検出用光束の口径蝕のために焦点検出が厳しくなるような開放F値5.6で射出瞳距離が短い交換レンズに対しても焦点検出を可能にすることができる。
例えば画面周辺において測距瞳距離をdとした場合には、図23において最短射出瞳面において一方の焦点検出用光束が完全に口径蝕により遮られてしまう。一方、画面中央近傍においては、各交換レンズの射出瞳距離の平均値dに測距瞳距離を設定したので、焦点検出用光束のバランスを平均的に最も良好にすることができる。すなわち、複数の交換レンズに対して平均的に最も焦点検出精度を高くすることができる。
焦点検出用光束の重畳量や焦点検出用光束の中心軸などの光学特性は、マイクロレンズの光学特性(焦点距離、屈折率、曲率)や光電変換部の特性(サイズ)や、マイクロレンズと光電変換部の相対的位置関係(マイクロレンズの光軸と垂直な面内での光電変換部の位置、マイクロレンズと光電変換部の間の距離)を変更することにより変えることができる。
図24は変形例の撮像素子212Aの詳細な構成を示す正面図であり、撮像素子212A上の焦点検出エリア101、102、103の近傍を拡大して示す。図3に示す撮像素子212では、焦点検出画素は図5(a)、(b)に示す一対の焦点検出画素によって構成されていた。これに対し図24に示す撮像素子212Aでは、焦点検出画素は1つのマイクロレンズのもとに一対の光電変換部を備えた画素構造を有する。
撮像素子212Aは、撮像用の撮像画素310と焦点検出用の焦点検出画素311から構成される。図25に示すように、焦点検出画素311は、マイクロレンズ10と一対の光電変換部32、33から構成される。光電変換部32,33は、マイクロレンズ10により交換レンズの射出瞳の所定の領域(例えばF2.8)を通過する光束をすべて受光するような形状に設計される。光電変換部32と33は、上下垂直方向に並んでおり、焦点検出エリア101に配置された焦点検出画素においては、光電変換部32と光電変換部33の感度分布は分離しており、焦点検出エリア102、103に配置された焦点検出画素においては、光電変換部32の下側の一部と光電変換部33の上側の一部は感度分布が重なった領域を有する。焦点検出画素311は垂直方向(光電変換部32と33の並び方向)に配置される。
図26は、図25に示す焦点検出画素の瞳分割方式による焦点検出を説明するための図である。基本的な焦点検出原理は図14で説明した原理と同じであり、相違点を中心に説明する。ここでは、焦点検出エリア101の焦点検出画素について説明するが、他の焦点検出エリア102,103の焦点検出画素についても同様である。また、光軸91上にある焦点検出画素(マイクロレンズ10と一対の光電変換部32、33からなる)と隣接する焦点検出画素を模式的に例示しているが、その他の焦点検出画素においても一対の光電変換部はそれぞれ一対の測距瞳から各マイクロレンズに到来する光束を受光する。
焦点検出画素の配列方向は一対の測距瞳892、893の並び方向、すなわち一対の光電変換部の並び方向と一致させる。マイクロレンズ10は光学系の予定結像面近傍に配置されており、光軸91上に配置されたマイクロレンズ10によりその背後に配置された一対の光電変換部32,33の形状がマイクロレンズ10から投影距離dだけ離間した射出瞳面90上に投影され、その投影形状は測距瞳892、893を形成する。光電変換部32は、測距瞳892を通過してマイクロレンズ10に向かう焦点検出用光束42によりマイクロレンズ10上に形成される像の強度に対応した信号を出力する。また、光電変換部33は、測距瞳893を通過してマイクロレンズ10に向かう焦点検出用光束43によりマイクロレンズ10上に形成される像の強度に対応した信号を出力する。
このような焦点検出画素を直線上に多数配置し、各画素の一対の光電変換部の出力を測距瞳892と測距瞳893に対応した出力グループにまとめることによって、測距瞳892と測距瞳893をそれぞれ通過する焦点検出用光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。
図27は、焦点検出画素の詳細構造を示す断面と感度分布を示す図である。図27(a)は、1つのマイクロレンズの背後に一対の光電変換部を有する焦点検出画素の詳細な構造を示す断面図である。マイクロレンズ10により焦点検出用光束は半導体基板29上に集光される。半導体基板29上に開口部を有する酸化膜30が形成され、受光領域以外を遮光している。半導体基板29はp型半導体となっており、受光領域には一対のn型領域32、33が形成されている。焦点検出エリア101の焦点検出画素においては一対のn型領域32、33の間の領域36には分離領域(遮光膜など)を設け、焦点検出エリア102、103の焦点検出画素においては一対のn型領域32、33の間の領域36には分離領域を設けずにそのままp型領域になっている。
このような構造においてn型領域32、33とp型基板によりPN接合が形成され、一対の光電変換部(フォトダイオード)を構成している。領域36がp型領域の場合は、この領域に入射する光束によって発生する電荷は拡散によってn型領域32またはn型領域33に流入する。その結果、n型領域32およびn型領域33の光感度分布34、35は領域36で重なり合うようにする。
図27(b)は焦点検出エリア102、103の焦点検出画素の一対のn型領域32、33の感度分布34、35を示しており、領域36において感度分布が重畳している。一方、領域36に分離領域が形成されている場合には、この領域に入射する光束よって電荷が発生せず、その結果n型領域32およびn型領域33の光感度分布34、35は領域36で重なり合わない。
図27(c)は焦点検出エリア101の焦点検出画素の一対のn型領域32、333の感度分布34、35を示しており、領域36において感度分布が重畳していない。
上述したように、一対の光電変換部の感度を一部重なり合わせることによって、画面周辺に配置された焦点検出画素において受光する一対の焦点検出用光束の一部を重畳することができる。
図28は撮像装置の構成の他の一例を示す。なお、図1に示す撮像装置201と同様な機器に対しては同一の符号を付して説明する。図1に示す撮像装置201では、撮像素子212を焦点検出用と撮像用に兼用する例を示したが、図28に示す変形例の撮像装置201Aでは、撮像素子212を撮像専用とし、本発明に係わる焦点検出専用の撮像素子211を別個に設けている。撮像素子211には焦点検出画素が二次元的に配置されている。図28において、カメラボディ203には撮影光束を分離するハーフミラー221が配置されており、透過側に撮像専用の撮像素子212が配置され、反射側に焦点検出専用の撮像素子211が配置される。
撮影前は焦点検出用撮像素子211の出力に応じて焦点検出が行われる。レリーズ時は撮像専用の撮像素子212の出力に応じた画像データが生成される。ハーフミラー221を全反射ミラーとし、撮影時は撮影光路から待避するようにしてもよい。焦点検出専用の撮像素子211と撮像専用の撮像素子212の配置を逆にし、反射側に撮像専用の撮像素子212を配置し、透過側に焦点検出兼電子ビューファインダー表示用の撮像素子211を配置してもよい。
上述した撮像装置201Aにおいても、焦点検出用撮像素子211の画面中央に配置された焦点検出画素と画面周辺に配置された焦点検出画素の構成を異ならせることによって、画面中央に配置された焦点検出画素が受光する一対の焦点検出用光束の光学特性が高精度な焦点検出に適するようにし、画面周辺に配置された焦点検出画素が受光する一対の焦点検出用光束の光学特性が焦点検出画素の製造誤差および口径蝕に対して有利に働くようにすることができる。
なお、焦点検出エリアの数、位置については図2に示す数と配置に限定されない。撮影画面内の複数の任意の位置に焦点検出画素を水平または垂直に配列することによって、複数の焦点検出エリアを配置することができる。
また、図3および図24に示す撮像素子では、焦点検出エリアに焦点検出画素を隙間なく配置した例を示したが、数画素おきに焦点検出画素を配置してもよい。焦点検出画素のピッチを大きくすることによって焦点検出精度が多少低下するが、焦点検出画素の密度が低くなるので画像データ補間後の画像品質が向上する。
さらに、図3および図24に示す撮像素子では、撮像画素および焦点検出画素が稠密正方格子配列に配置された例を示したが、稠密六方格子配列に配置してもよい。
図3および図24に示す撮像素子では、撮像画素がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配置は上述した一実施の形態の超せと配列に限定されず、補色フィルター(緑:G、イエロー:Ye、マゼンタ:Mg,シアン:Cy)の配列を採用してもよい。焦点検出画素はシアンとマゼンダ(出力誤差が比較的目立たない青成分を含む)が配置されるべき画素位置に配置される。
上述した一実施の形態では、焦点検出画素の分光感度を図7に示すような白色に近いものとした例を示したが、焦点検出画素の感度を図6に示す分光感度の中の1つとしてもよい。また、異なる分光感度を有する焦点検出画素を1つの撮像素子の中に共存させるようにしてもよい。
図3および図24では、焦点検出画素の光電変換部の形状を矩形にした例を示したが、光電変換部の形状は矩形に限定されず、他の形状としてもよい。例えば楕円形や半円形、あるいは多角形にしてもよい。
撮像素子はCCDイメージセンサーであってもよいし、CMOSイメージセンサーであってもよい。
なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置などにも適用できる。カメラ以外の焦点検出装置や測距装置、さらにはステレオ測距装置にも適用できる。
10;マイクロレンズ、11,12,13,22,23,32,33;光電変換部、201、201A;撮像装置、202;交換レンズ、212,212A;撮像素子、214;ボディ駆動制御装置、310;撮像画素、311,312,313,322,323;焦点検出画素