本願発明の焦点検出装置とその焦点検出装置を装備した撮像装置として、デジタルスチルカメラを例にあげて説明する。
図1は一実施の形態のデジタルスチルカメラの構成を示す。デジタルスチルカメラ201は交換レンズ202とカメラボディ203から構成され、交換レズ202はマウント部204を介してカメラボディ203に装着される。
交換レンズ202は対物レンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御回路206を備えている。レンズ駆動制御回路206は不図示のCPUと駆動回路を備え、フォーカシング用レンズ210と絞り211の駆動制御、ズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出、後述のボディCPU214との通信によりレンズ情報および焦点調節情報の送受信などを行う。
一方、カメラボディ203はハーフミラー205、焦点検出センサー207、撮像素子212、ボディCPU214、LCDドライバー215、LCD216、接眼レンズ217、メモリカード219、駆動制御回路220、外部操作部材221などを備えている。
ハーフミラー205は交換レンズ202の光軸上に配置され、光路を反射側と透過側に分離する。ハーフミラー205にはハーフミラー機能を実現する反射膜が所定の厚さをもったガラス板の表面に形成されており、裏面には反射防止膜が形成されている。焦点検出センサー207はハーフミラー205の透過側の交換レンズ202の予定焦点面(予定結像面)に配置され、交換レンズ202の焦点検出機能を有する。焦点検出センサー207には、複数の焦点検出位置で焦点検出を行うために複数組の再結像方式の焦点検出ユニット(不図示)が組込まれている。
撮像素子212はハーフミラー205の反射側の交換レンズ202の予定焦点面に配置され、交換レンズ220の焦点検出機能と撮像機能を有する。撮像素子212には二次元状に撮像用画素が配置されており、その中の複数の焦点検出位置に対応した部分に焦点検出用画素列が組込まれている。
この明細書では、焦点検出センサー207による焦点検出結果に基づくフォーカシング用レンズ210の焦点調節を、焦点検出専用センサーによる焦点調節として“専用AF”または“再結像方式AF”と呼ぶ。一方、撮像素子212の焦点検出用画素列による焦点検出結果に基づくフォーカシング用レンズ210の焦点調節を、撮像素子による焦点調節として“撮像素子AF”または“マイクロレンズ方式AF”と呼ぶ。
ボディCPU214は、撮像素子212と焦点検出センサー207からの出力の読み出し制御、レンズ駆動制御回路206との通信(レンズ情報/焦点調節情報の送受信)、交換レンズ202の焦点調節時における撮像素子212と焦点検出センサー207の切り換え制御、交換レンズ202の焦点検出および焦点調節調節制御、撮像時の撮像制御、デジタルスチルカメラ全体の動作制御などを行う。ボディCPU214とレンズ駆動制御回路206はマウント部204に設けられた電気接点部213を介してレンズ情報、フォーカシングレンズ駆動のためのデフォーカス量などの各種情報の授受を行う。
LCD216は液晶ビューファインダー(EVF:電子ビューファインダー)として機能し、LCDドライバー215はLCD216を駆動して撮像画像や撮像条件などの各種情報を表示する。撮影者はそれらの情報を接眼レンズ217を介して視認することができる。メモリカード219は画像信号を格納記憶するための画像ストレージである。また、駆動制御回路220にはタイマーなどのカメラの制御回路が含まれ、外部操作部材221にはシャッターボタンなどのデジタルカメラの種々の操作および設定のために用いる操作部材が含まれる。
交換レンズ202を通過しハーフミラー205で反射され、撮像素子212上に形成された被写体像は撮像素子212により光電変換され、その出力はボディCPU214に送られる。一方、交換レンズ202を通過し、さらにハーフミラー205を透過して焦点検出センサー207上に形成された被写体像は、焦点検出センサー207に内蔵されたイメージセンサにより光電変換され、その出力はボディCPU214へ送られる。
ボディCPU214は、撮像素子212の焦点検出用画素列の出力および焦点検出センサー207の出力に基づいて焦点検出演算を行い、交換レンズ202が撮像素子212上に形成する像の焦点調節状態すなわちデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御回路206へ送る。また、ボディCPU214は撮像用画素の出力に基づき生成した画像信号をメモリカード219へ格納するとともに、撮像用画素および焦点検出用画素の出力に基づいて被写界の測光を行い、輝度を演算する。さらに、ボディCPU214は画像信号をLCDドライバー215に送り、画像をLCD216に表示させる。さらにまた、ボディCPU214は駆動制御回路220からの信号を受けて各種制御の切り換えや起動を行うとともに、外部操作部材221の切り換えや操作状態に応じて各種制御の切り換えや起動を行う。
レンズ駆動制御回路206のCPU(不図示)は、レンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態などに応じて変更する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置および絞り211の位置をモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。また、レンズ駆動制御回路206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、このレンズ駆動量に基づきフォーカシング用レンズ210を合焦点へ駆動する。
図1に示す一実施の形態の構成では、撮像素子212をハーフミラー205の反射側に、透過側に焦点検出センサー207をそれぞれ配置したので、次のような効果を得ることができる。すなわち、撮像の都度ハーフミラー205を退避する必要がないので撮像におけるレスポンスが速く、シャッターチャンスを確実に捉えることができる。また、ハーフミラー205の透過による撮像画像の収差劣化がなく、透過側に比較して高品質な画像を撮像することができる。さらに、撮像中に並行して専用AFで焦点調節が可能である。
図2は撮像素子212の詳細な構成を示す正面図である。図2(a)に示すように撮像素子212は撮像用画素310が二次元状に配列されており、図11(b)P11〜P15に示す5箇所の焦点検出位置に対応する部分には焦点検出用画素311が図のように配列されている。撮像用画素310は図2(b)に示すようにマイクロレンズ10と撮像用の光電変換部11を備え、焦点検出用画素311は図2(c)に示すようにマイクロレンズ10と焦点検出用の一対の光電変換部12、13を備えている。
図3は撮像用画素310の断面図である。撮像用画素310において、撮像用の光電変換部11の前方にマイクロレンズ10が配置され、マイクロレンズ10により光電変換部11が前方に投影される。光電変換部11は半導体回路基板29上に形成される。
図4は焦点検出用画素311の断面図である。焦点検出用画素311において、焦点検出用の光電変換部12、13の前方にマイクロレンズ10が配置され、マイクロレンズ10により光電変換部12、13が前方に投影される。光電変換部12、13は同一の半導体回路基板29上に形成される。なお、撮像用画素310および焦点検出用画素311の前方に配置されるマイクロレンズ10は、交換レンズ202の予定焦点面に配置される。
図5はマイクロレンズ方式による瞳分割型位相差検出方法を説明する図である。なお、図5では一部の焦点検出用画素311(マイクロレンズ50、60と二対の光電変換部52,53、62,63)を示す。90は交換レンズ202の予定焦点面に配置されたマイクロレンズ50、60の前方d4の距離に設定した射出瞳である。なお、距離d4はマイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、交換レンズ202の予定焦点面と射出瞳との間の距離をこの明細書では測距瞳距離と呼ぶ。
91は交換レンズ202の光軸である。92はマイクロレンズ50、60により投影された光電変換部52、62の領域(測距瞳)であり、93はマイクロレンズ50、60により投影された光電変換部53、63の領域(測距瞳)である。一対の測距瞳領域93、94を通過した被写体からの二対の焦点検出用光束72,73、82,83は、マイクロレンズ50、60を介して二対の光電変換部52,53、62,63に到達する。
図5では、光軸91上にある焦点検出用画素311(マイクロレンズ50と一対の光電変換部52,53からなる)と、光軸外にある焦点検出用画素311(マイクロレンズ60と一対の光電変換部62,63からなる)を模式的に例示しているが、その他の焦点検出用画素311においても一対の測距瞳から各マイクロレンズに到来する焦点検出用光束を一対の光電変換部でそれぞれ受光する。なお、焦点検出用画素311の配列方向は一対の測距瞳の分割方向と一致させる。
マイクロレンズ50、60は光学系202予定焦点面近傍に配置されており、光軸91上に配置されたマイクロレンズ50によりその背後に配置された一対の光電変換部52、53の形状がマイクロレンズ50、60から投影距離d4だけ離間した射出瞳90上に投影され、その投影形状は測距瞳92、93を形成する。
一方、光軸91から離間して配置されたマイクロレンズ60によりその背後に配置された一対の光電変換部62、63の形状が投影距離d4だけ離間した射出瞳90上に投影され、その投影形状は測距瞳92,93を形成する。すなわち、測距瞳距離d4にある射出瞳90上で各画素の光電変換部の投影形状(測距瞳92、93)が一致するように各画素の投影方向が決定されている。
光電変換部52は測距瞳92を通過し、マイクロレンズ50に向う焦点検出光束72によってマイクロレンズ50上に形成される像の強度に対応した信号を出力する。また、光電変換部53は測距瞳93を通過し、マイクロレンズ50に向う焦点検出光束73によってマイクロレンズ50上に形成される像の強度に対応した信号を出力する。
一方、光電変換部62は測距瞳92を通過し、マイクロレンズ60に向う焦点検出光束82によってマイクロレンズ60上に形成される像の強度に対応した信号を出力する。また、光電変換部63は測距瞳93を通過し、マイクロレンズ60に向う焦点検出光束83によってマイクロレンズ60上に形成される像の強度に対応した信号を出力する。
このような焦点検出用画素311をアレイ状に多数配置し、その背後に配置した一対の光電変換部12、13の出力を測距瞳92および測距瞳93に対応した出力グループにまとめることによって、測距瞳92と測距瞳93をそれぞれ通過する焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。そして、これらの情報に対して後述する像ズレ検出演算処理(相関処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式(マイクロレンズ方式)で一対の像の像ズレ量を検出することができる。
さらに、像ズレ量に所定の変換係数を乗ずることによって、予定焦点面に対する現在の結像面の偏差(デフォーカス量)を算出することができる。なお、デフォーカス量は焦点検出位置ごとに異なる。また、デフォーカス量(像ズレ量)の検出精度は、像ズレ量の検出ピッチ、マイクロレンズ方式の場合はマイクロレンズの配列ピッチにより決まる。
図6は、射出瞳面90における焦点検出用画素311の一対の光電変換部12、13の投影領域(測距瞳)の関係を示す正面図である。焦点検出用画素311の一対の光電変換部12、13をマイクロレンズ10により射出瞳面90に投影した測距瞳92、93(実線)の外接円94は、予定焦点面から見た場合に所定の開口F値となる。この明細書ではこの開口F値を測距瞳F値という。一般に、交換レンズ202の絞り開口の開放F値が測距瞳F値より明るい場合には、焦点検出光束が交換レンズ202の絞り開口によって遮光されることがないので、高精度な焦点検出が可能になる。
交換レンズ202の絞り開口に対応する射出瞳の距離が測距瞳距離と一致していない場合は、画面周辺の位置で焦点検出を行う際に、交換レンズ202の絞り開口の開放F値が測距瞳F値より明るくても画面周辺の画素では焦点検出光束が部分的に遮光されることがあり、焦点検出精度が悪化する。図6において点95、96は測距瞳92、93の並び方向(x方向)の重心位置であり、予定焦点面上の焦点検出位置からこの重心位置95,96を睨む開き角の大きさに応じて像ズレ量をデフォーカス量に変換するために用いられる変換係数の値が決定される。開き角が大きいほど焦点検出精度が上がり、開き角が小さいほどデフォーカス量の検出範囲が広がる。
なお、図6では図11(b)の焦点検出位置P11、P12、P13に対応した測距瞳を示しているが、焦点検出位置P14、P15に対応する測距瞳は図6を90度回転したものとなり、測距瞳の外接円(測距瞳F値)は変化しない。
図7は撮像素子212の回路構成を示す。撮像素子212は光電変換部から出力信号を読み出すための読出し回路を備えている。26は撮像用画素310の光電変換部(図2、図3の11に相当)であり、27、28は焦点検出用画素311の一対の光電変換部(図2、図4の12、13に相当)である。垂直転送レジスタ20は各光電変換部26、27、28に対応して設置された転送MOSスイッチ24をオン、オフし、一行の画素ごとに光電変換部26〜28の出力を転送MOSスイッチ25に転送する。
水平転送レジスタ21は転送MOSスイッチ25を順次オン、オフし、転送MOSスイッチ24から転送された出力を順次増幅アンプ23へ転送する。増幅アンプ23は転送MOSスイッチから転送された出力を増幅して撮像素子212の外部へ出力する。これらの光電変換部、転送MOSスイッチ、レジスタ、増幅アンプは半導体基板29上に形成される
撮像素子212をCCDイメージセンサではなくMOSイメージセンサとして構成することによって、製造コストを下げることができる。焦点検出用画素もMOSイメージセンサとして構成されるため、選択された焦点検出位置に対応する焦点検出用画素だけを高速に読み出すことが可能になる。
図8は、図1に対応した焦点検出センサー207の詳細な構成を示す。図8により再結像方式による焦点検出方法について説明する。図において、91は交換レンズ202の光軸、110、120はコンデンサレンズ、111、121は絞りマスク、112,113、122,123は絞り開口、114,115、124,125は再結像レンズ、 116、126は焦点検出用のイメージセンサ(CCD)、132,133、142,143は焦点検出用光束である。
101は交換レンズ202の予定焦点面の前方d5の距離に設定した射出瞳である。距離d5は、コンデンサレンズ110、120の焦点距離と、コンデンサレンズ110、120と絞り開口112,113、122,123の間の距離などに応じて決まる距離であって、測距瞳距離と呼ぶ。102はコンデンサレンズ110、120により投影された絞り開口112、122の領域(測距瞳)、103はコンデンサレンズ110、120により投影された絞り開口113、123の領域(測距瞳)である。コンデンサレンズ110、絞りマスク111、絞り開口112,113、再結像レンズ114、115、イメージセンサ116が一つの位置で焦点検出を行う再結像方式の瞳分割位相差検出の焦点検出ユニットを構成する。
図8では、光軸91上にある焦点検出ユニットと光軸91外にある焦点検出ユニットを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図11(a)に示すように5箇所の焦点検出位置P1〜P5で再結像方式の瞳分割方位相差検出で焦点検出を行う専用AFを実現することができる。光軸91上の焦点検出ユニットは、交換レンズ202の予定焦点面近傍に配置されたコンデンサレンズ110、その背後に配置されたイメージサンサー116、コンデンサレンズ110とイメージサンサー116の間に配置されて予定焦点面近傍に結像された1次像をイメージセンサー116上に再結像する一対の再結像レンズ114、115、一対の再結像レンズの近傍(図では前面)に配置された一対の絞り開口112、113を有する絞りマスク11を備えている。
イメージセンサー116は複数の光電変換部が直線に沿って密に配置されたラインセンサーであって、光電変換部の配置方向は一対の測距瞳の分割方向(=絞り開口の並び方向)と一致させる。イメージセンサー116上に再結像された一対の像の光強度分布に対応した情報がイメージセンサー116から出力され、この情報に対して後述する像ズレ検出演算処理(相関処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式(再結像方式)で一対の像の像ズレ量を検出することができる。そして、像ズレ量に所定の変換係数を乗ずることによって、予定焦点面に対する現在の結像面の偏差(デフォーカス量)を算出できる。
イメージセンサー116は再結像レンズ114、115により予定焦点面上に投影されており、デフォーカス量(像ズレ量)の検出精度は、像ズレ量の検出ピッチ(再結像方式の場合は予定焦点面上に投影された光電変換部の配列ピッチ)により決まる。コンデンサレンズ110は絞りマスク111の絞り開口112、113を射出瞳101上に領域102、103として投影している。これらの領域102、103を測距瞳と呼ぶ。すなわち、イメージセンサ116上に再結像される一対の像は射出瞳101上の一対の測距瞳102,103を通過する光束によって形成される。射出瞳101上の一対の測距瞳102、103を通過する光束132、133を焦点検出用光束と呼ぶ。
図9は再結像方式における射出瞳面上の測距瞳を示す図である。一対の絞り開口をコンデンサレンズにより射出瞳面101に投影した測距瞳102、103(実線)の外接円84は、予定焦点面から見た場合に所定の開口F値(測距瞳F値)となる。この再結像方式の測距瞳F値は図6に示すマイクロレンズ方式の測距瞳F値より暗く(F値としては大きく)設定される。
点85、86は測距瞳102、103の並び方向(x方向)の重心位置であり、予定焦点面の焦点検出位置からこの重心位置85,86を睨む開き角の大きさに応じて像ズレ量をデフォーカス量に変換するために用いられる変換係数の値が決定される。再結像方式の開き角は図6に示すマイクロレンズ方式の開き角より小さく設定され、大きなデフォーカス量を検出可能としている。なお、図9では図11(a)の焦点検出位置P1、P2、P3に対応した測距瞳を示しているが、焦点検出位置P4、P5に対応する測距瞳は図9を90度回転したものとなり、測距瞳の外接円(測距瞳F値)は変化しない。
図10は、専用AFで用いる焦点検出センサー207のイメージセンサ(CCD)の回路構成を示す。30、31は1つの焦点検出位置に対応した一対の光電変換部の配列、32は一対の光電変換部の配列30、31からの出力を転送するCCD転送レジスター、33はCCD転送レジスター32から転送された出力を増幅して外部に出力する増幅アンプである。CCDイメージセンサー117には、図11(a)の5カ所の焦点検出位置に対応して、一対の光電変換部の配列、CCD転送レジスター、増幅アンプからなる組が5組形成されている。
各組の光電変換部の電荷蓄積時間制御、出力転送および増幅は完全に独立に動作制御することが可能である。複数の焦点検出位置に対応した光電変換部の動作制御を独立に行えるため、複数の焦点検出位置の輝度が著しく異なっている場合でも、輝度に応じた電荷蓄積時間制御を独立に行うことによって、適切なレベルの出力を得ることができ、すべての焦点検出位置で同時に焦点検出を行う動作に適している。
図11は、交換レンズ202の予定焦点面上に設定した撮像画面100内の焦点検出位置を示す。図11(a)は再結像方式の瞳分割型位相差検出の焦点検出センサー207が焦点検出を行う際に、撮像画面100内で像をサンプリングする領域(焦点検出エリア)を示す。再結像方式では、イメージセンサーの光電変換部の配列が画面100に投影され、その投影領域が焦点検出エリアとなる。したがって、焦点検出エリアの長さおよび幅とサンプリングピッチは、光電変換部のサイズ、配列長、配列ピッチおよび再結像レンズの投影倍率によって決まる。
図11(b)はマイクロレンズ方式で焦点検出する際に、撮像画面100内で像をサンプリングする領域(焦点検出エリア)を示す。マイクロレンズ方式では、画面100のマイクロレンズの配列が焦点検出エリアとなり、焦点検出エリアの長さおよび幅とサンプリングピッチはマイクロレンズのサイズ、配列長、配列ピッチによって決まる。
図11(c)は再結像方式(専用AF)とマイクロレンズ方式(撮像素子AF)の焦点検出エリアを重ね合わせて示したものである。5カ所の焦点検出エリアは互いに重なっている。再結像方式の焦点検出エリアの長さを、マイクロレンズ方式の焦点検出エリアの長さより長く設定することによって、像ズレ演算の際のシフト量を大きく取ることができ、デフォーカス量の検出範囲を広くすることができる。マイクロレンズ方式の場合は、焦点検出エリアを長くすると、焦点検出用画素数を増加する必要があり、撮像時の画像品質が劣化してしまう。
また、再結像方式(専用AF)の焦点検出エリアの幅を、マイクロレンズ方式(撮像素子AF)の焦点検出エリアの幅より広くすることによって、低輝度時の出力低下や電荷蓄積時間の増加に伴うレスポンス低下を防止することができる。マイクロレンズ方式の場合は、焦点検出エリアの幅を広くすると、焦点検出用画素数を増したり焦点検出用画素サイズを大きくする必要があり、撮像時の画像品質が劣化してしまう。
再結像方式(専用AF)の焦点検出エリアの検出ピッチを、マイクロレンズ方式(撮像素子AF)の焦点検出エリアの検出ピッチより細かくすることによって、像ズレ量の検出精度(焦点検出精度)を向上させることができる。逆に、焦点検出エリアの検出ピッチを粗くすることによって、低輝度時の出力低下や電荷蓄積時間の増加に伴うレスポンス低下を防止することができるとともに、出力数を縮小し、像ズレ演算時間を短縮することによりレスポンス低下を防止することができる。マイクロレンズ方式(撮像素子AF)の場合は、焦点検出用画素のピッチを撮像用画素の配列ピッチに揃えたほうが有利であり、焦点検出用画素のピッチを粗くするのは困難である。
再結像方式の焦点検出センサー207によるAF(専用AF)と、マイクロレンズ方式によるAF(撮像素子AF)の特性を表1に整理する。
AFユニットのサイズにおいて、専用AFは、再結像するための空間を必要とするので撮像素子AFより大きく、特に光軸方向の厚さが必要である。これに対し撮像素子AFは、マイクロレンズの直後に光電変換部を配置するので専用AFより小さく、特に光軸方向の厚さを薄くできる。焦点検出輝度範囲において、専用AFは、光電変換部のサイズを大きく設定できるので低輝度から高輝度まで対応できる。これに対し撮像素子AFは、撮像素子中に埋め込むために光電変換部のサイズを大きくできないから、低輝度への対応が難しい。
デフォーカス量検出範囲において、専用AFは、焦点検出エリア長が長く測距瞳の重心の開き角が小さいので大デフォーカス量を検出でき、デフォーカス量検出範囲が広い。これに対し撮像素子AFは、焦点検出エリア長が短く測距瞳の重心の開き角が大きいのでデフォーカス量検出範囲が狭い。焦点検出精度(デフォーカス量の検出精度)において、専用AFは、予定焦点面上の検出ピッチが粗く測距瞳の重心の開き角が小さいので、撮像素子AFほど高精度にはできない。これに対し撮像素子AFは、予定焦点面上の検出ピッチが細かく測距瞳の重心の開き角が大きいので高精度である。
マルチAFエリア制御(複数の焦点検出位置に対応する光電変換部の群の電荷蓄積時間の独立制御と出力の独立読出し)において、専用AFは、各焦点検出位置に対応して光電変換部の群とこの出力を読み出すCCDレジスタを独立に設けているので、電荷蓄積時間の独立制御と出力の独立読出しが容易である。これに対し撮像素子AFは、撮像素子の一部として各焦点検出位置に対応する光電変換部の群と読出し回路を設けているので、電荷蓄積時間の独立制御と出力の独立読出しが困難である。
AFエリアの高密度配置において、専用AFは、各焦点検出位置に対応して再結像光学系を設けなければならないので、焦点検出位置を近接して多数設けるのは困難である。これに対し撮像素子AFは、撮像素子面上での焦点検出用画素を配置するだけで近接した焦点検出位置に対応したAFエリアを設定することは容易である。
検出ピッチにおいて、専用AFは、低輝度での焦点検出を可能にするために光電変換部のサイズを大きくしているので、撮像素子AFほど検出ピッチを細かくすることができない。これに対し撮像素子AFは、撮像用画素と同じサイズに焦点検出用画素を設定できるので検出ピッチを細かくすることができる。
ピンポイント検出(極めて小さな像部分での焦点検出、例:人物の目の部分)において、専用AFは、光電変換部のサイズが大きく、像ズレ検出を行うのに十分な光電変換部の数を確保すると、ある程度の大きさを持つ領域が必要なのでピンポイント検出には向いていない。これに対し撮像素子AFは、焦点検出用画素のサイズが小さく、像ズレ検出を行うのに十分な光電変換部の数を確保しても領域を小さくできるので、ピンポイント検出に向いている。
撮像との連動において、専用AFは、撮像素子とは別個に構成されているので、撮像素子上のデフォーカス量を算出するためには相対的な配置誤差のオフセット調整(機械的またはソフト的)が必要である。これに対し撮像素子AFは、撮像素子上に焦点検出用画素が設けられているのでオフセット調整が不要である。
被写体移動への対応において、専用AFは、複数のAFエリアで同時に独立して焦点検出を行うことができるので、撮像画面100内を時間の経過に応じて移動するような被写体に対しても確実に焦点検出することができる。これに対し撮像素子AFは、複数のAFエリアの焦点検出を同時に行うことが専用AFに比較して難しいので、移動する被写体に対しては向いていない。
図12は、図1に示すデジタルスチルカメラ(撮像装置)の動作を示すフローチャートである。ボディCPU214は、カメラの電源が投入されるとこの動作を繰り返し実行する。ステップ100においてカメラに電源が投入されると撮像動作を開始し、ステップ110へ進む。ステップ110で専用AFの全AFエリアで焦点検出動作を行い、データを読み出す。続くステップ120で各AFエリアに対応した一対の像データに基づいて像ズレ検出演算処理を行い、像ズレ量を演算する。
図13は像ズレ量検出動作を示すフローチャートである。ステップ300において像ズレ量検出の動作を開始し、続くステップ310で定められたシフト範囲で一対のデータに相関シフト演算を施す。ステップ320では3点内挿演算が適応できる極小点があるか調べ、極小点がない場合は、ステップ360で像ズレ検出不能(焦点検出不能)と判定してステップ370からリターンする。
一方、ステップ320で極小点があった場合はステップ330へ進み、一番相関が高い相関量の近傍で最大相関量を内挿する。ステップ340では最大相関量の信頼性を判定し、信頼性がない場合はステップ360で像ズレ検出不能(焦点検出不能)と判定してステップ370からリターンする。ステップ340で信頼性ありと判定された場合はステップ350へ進み、最大相関量を与えるシフト量を像ズレ量としてステップ370からリターンする。
図12のステップ130において各AFエリアに対応した像ズレ量をデフォーカス量に変換する。図14は像ズレ量をデフォーカス量へ変換する動作を示すフローチャートである。ステップ400においてデフォーカス量変換の動作を開始してステップ410へ進み、像ズレ量が検出不能であるか調べ、不能場合はステップ450からリターンする。
ステップ410で像ズレ量が検出可能と判断された場合はステップ420へ進み、像ズレ量に所定の変換係数(再結像方式の場合とマイクロレンズ方式の場合で異なる)を乗じてデフォーカス量を算出する。ステップ430において像ズレ量が専用AFで算出されたものか否かを判定し、専用AFでなく撮像素子AFの場合はステップ450からリターンする。一方、専用AFで算出されたものである場合はステップ440へ進み、算出されたデフォーカス量にオフセット量を加えてステップ450からリターンする。
ここで、オフセット量は専用AFと撮像素子AFの差であって、予め測定して記憶されたオフセット量を用いるか、あるいは専用AFで合焦させた後に撮像素子AFで焦点検出を行って検出されたデフォーカス量をオフセット量とし、それ以後の専用AFにおいてオフセット量としてフィードバックする。
ふたたび図2に戻り説明を続ける。ステップ140において各AFエリアのデフォーカス量に基づき、どのAFエリアで被写体を捕捉しているかを判定する。例えば、一般に被写体は撮像画面100の中で最も至近距離にある物体となる確率が高いので、最も至近側を示すデフォーカス量を算出したAFエリアを、被写体捕捉エリアと認定する。
ここで、あるAFエリアを例に上げて像ズレ検出演算処理(相関アルゴリズム)について説明する。あるAFエリアに対応する一対のデータをそれぞれei,fi(ただしi=1〜m)とすると、まず(1)式に示す差分型相関アルゴリズムによって相関量C(L)を求める。
C(L)=Σ|e(i+L)−f(i)| ・・・(1)
(1)式において、Lは整数であり、一対のデータのピッチを単位とした相対的シフト量である。また、Lのとる範囲はLmin〜Lmax(図では−5〜+5)である。さらに、パラメータiのとる範囲はpからqまでであり、1≦p<q≦mの条件を満足するように定められる。さらにまた、pとqの値によって焦点検出領域の大きさが設定される。
(1)式の演算結果は、図16(a)に示すように、一対のデータの相関が高いシフト量L=kj(図16(a)ではkj=2)において相関量C(L)が最小になる。次に、(2)〜(5)式による3点内挿の手法を用いて連続的な相関量に対する最小値C(L)min=C(x)を与えるシフト量xを求める。
x=kj+D/SLOP ・・・(2)、
C(x)= C(kj)−|D| ・・・(3)、
D={C(kj-1)-C(k j+1)}/2 ・・・(4)、
SLOP=MAX{C(kj+1)-C(k j),C(kj-1)−C(k j)} ・・・(5)
また、算出したシフト量xに基づいて被写体像面の予定焦点面に対するデフォーカス量DEFを(6)式により求めることができる。
DEF=KX・PY・x ・・・(6)
(6)式において、PYは検出ピッチであり、KXは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。
算出されたデフォーカス量DEFに信頼性があるかどうかは、以下のようにして判定する。図16(b)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の最小値C(X)の値が大きくなる。したがって、C(X)が所定値以上の場合は信頼性が低いと判定する。あるいは、C(X)をデータのコントラストで規格化するために、コントラストに比例した値となるSLOPでC(X)を徐した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるSLOPが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量DEFの信頼性が低いと判定する。
なお、図16(c)に示すように、一対のデータの相関度が低く、シフト範囲Lmin〜Lmaxの間で相関量C(L)の落ち込みがない場合は、最小値C(X)を求めることができず、このような場合は焦点検出不能と判定する。
図15は、図2のステップ140における被写体捕捉AFエリアの認定動作を示すフローチャートである。ステップ500において被写体捕捉AFエリア認定の動作を開始し、ステップ510ですべてのAFエリアで焦点検出不能か否か調べる。焦点検出不能な場合は像ズレ量が検出不能であるか調べ、不能な場合はステップ530で中央AFエリア(撮像画面100の中央のAFエリア)を便宜的に被写体捕捉AFエリアと認定し、ステップ540からリターンする。
一方、ステップ510で焦点検出が可能な場合ステップ520へ進み、AFエリアが少なくとも1つ以上あると判断された場合は、最至近を示すデフォーカス量を算出したAFエリアを被写体捕捉AFエリアと認定し、ステップ540からリターンする。
図12に戻り、ステップ150で被写体捕捉AFエリアのデフォーカス量の絶対値が所定値以内であるか調べる。所定値は専用AFにおける合焦近傍か否かを判定するために予め定められた値であり、所定値以内の場合は合焦近傍にあるとみなされる。なお、すべてのAFエリアで焦点検出不能(像ズレ検出不能)な場合はステップ170へ進む。合焦近傍にないと判定した場合はステップ160へ進み、デフォーカス量をレンズ駆動制御回路206へ送信し、交換レンズ202のフォーカシング用レンズ210を合焦位置に駆動させ、ステップ110へ戻って上記動作を繰り返す。
一方、合焦近傍にあると判定した場合はステップ170へ進み、シャッターレリーズがなされたか否かを判定し、なされていないと判定された場合はステップ110へ戻って上記動作を繰り返す。シャッターレリーズがなされたと判定された場合はステップ180へ進み、認定された被写体捕捉AFエリアに対応した撮像素子AFの焦点検出用画素からデータを読み出す。続くステップ190で被写体捕捉AFエリアに対応した一対の像データに基づいて像ズレ検出演算処理を行い、像ズレ量を演算する。
ステップ200において被写体捕捉AFエリアに対応した像ズレ量をデフォーカス量に変換する。続くステップ210では被写体捕捉AFエリアのデフォーカス量の絶対値が所定値以内であるか調べる。所定値は撮像素子AFおいて合焦か否かを判定するために定められた値(専用AFに対して定められた合焦近傍か否かを判定するための上記所定値よりも小さい値)であり、所定値以内の場合は合焦状態にあるとみなされステップ230へ進む。なお、すべての被写体捕捉AFエリアで焦点検出不能(像ズレ検出不能)な場合はステップ230へ進む。
合焦でないと判定した場合はステップ220へ進み、デフォーカス量をレンズ駆動制御回路206へ送信し、交換レンズ202のフォーカシングレンズ210を合焦位置に駆動させ、ステップ230へ進む。ステップ230では撮像素子の撮像用画素から画像信号を読み出し、続くステップ240で画像信号をメモリーカード219に保存し、ステップ110へ戻って上記動作を繰り返す。
表2に、デジタルカメラ内の再結像方式を用いた焦点検出センサ(専用AF)とマイクロレンズ方式を用いた撮像素子(撮像素子AF)の配置例を比較して示す。
配置例(1)は図1に示す配置であり、撮像光学系の光路中に固定ハーフミラーを配置し、反射側に撮像素子AFを配置し、透過側に専用AFを配置したものである。この配置例の特徴は、ハーフミラーが固定されており、撮像の際にハーフミラーを待避する必要がないので、レリーズタイムラグが少ない撮像ができる。また、撮像素子はハーフミラーの反射光で撮像するので、ハーフミラーを構成するガラスを透過することによる画像劣化がない。さらに、撮像素子の撮像動作と平行して専用AFを動作させて焦点調節を行うこともできる。
配置例(2)は図18に示す配置例であり、撮像光学系の光路中に固定ハーフミラーを配置し、配置例(1)とは逆に反射側に専用AFを配置するとともに、透過側に撮像素子AFを配置したものである。図18において、図1に示す機器と同様な機器に対しては同一の符号を付して説明する。この配置例の特徴は、ハーフミラーが固定されており、撮像の際にハーフミラーを待避する必要がないので、レリーズタイムラグが少ない撮像ができる。また、光軸方向に撮像素子が配置されるので、カメラボディ203の光軸方向の厚みを薄くすることができ、コンパクトなカメラボディ203を提供することができる。さらに、撮像素子の撮像動作と平行して専用AFを動作させて焦点調節を行うこともできる。
配置例(3)は図19に示す配置例であり、撮像光学系の光路中にメインミラー230(可動式ハーフミラー)を配置し、反射側の光路に配置されたペンタプリズム232と接眼レンズ217により構成される光学ファインダーに反射光を導くものである。図19において、図1に示す機器と同様な機器に対しては同一の符号を付して相違点を中心に説明する。
メインミラー230を透過した光束は背後に配置されたサブミラー231(可動式全反射ミラー)で反射され、撮像光路外に配置された焦点検出専用センサ207に導かれ、焦点検出専用センサ207により焦点検出が行われる。撮像指示があるとメインミラー230とサブミラー231が撮像光路から待避し、撮像素子が光束を受光し、撮像素子による焦点検出と撮像が行われる。この配置例の特徴は、撮像時にミラーが撮像光路から待避し、撮像素子が直接撮像光束を受光するので、高品質な画像を得ることができる。また、光束を専用AFと撮像素子AFに分割しないので、低輝度時の光量確保に有利である。
配置例(4)は図20に示す配置例であり、外光式測距装置240(反射光受光式アクティブAF、像ズレ検出式パッシブAF、超音波または光波によるTIME OF FLIGHT方式のアクティブAFなど)を専用AFとして用いた配置例である。図20において、図1に示す機器と同様な機器に対しては同一の符号を付して説明する。撮像素子AF212は常時交換レンズ202からの光束を受光する。
レリーズ以前は専用AFにより焦点調節を行い、レリーズ以後は撮像素子AFで焦点調節を行ってから撮像することにより、低輝度時、大デフォーカス時およびマルチAFエリア動作時も焦点検出可能になるとともに、撮像時に高精度な合焦を達成することができる。この配置例の特徴は、撮像の際にハーフミラーを待避する必要がないので、レリーズタイムラグが少ない撮像ができる。また、撮像時に撮像光路中に余計な光学要素がなく、撮像素子が直接撮像光束を受光するので、高品質な画像を得ることができる。さらに、光束を専用AFと撮像素子AFに分割しないので、低輝度時の光量確保に有利である。さらにまた、撮像素子で撮像動作と平行して専用AFを動作させて焦点調節を行うこともできる。
表3は専用AFと撮像素子AFの仕様設定の比較表である。
専用AF(再結像方式)と撮像素子AF(マイクロレンズ方式)の使用状況を考慮して、適切にそれぞれの仕様を適切に設定することによって、全体としてバランスの取れた焦点調節を達成することができる。
測距瞳距離(1)において、一般的にデフォーカス量が大きい長焦点レンズではその射出瞳距離も長くなる。交換レンズの射出瞳距離と測距瞳距離は揃っていたほうが、焦点検出光束のケラレに対して有利なので、専用AFは大デフォーカス検出を重点にして測距瞳距離を長くする。撮像素子AFはデフォーカス量の小さな短焦点レンズの焦点検出用に測距瞳距離を短くする。また、測距瞳距離(2)において、専用AFと撮像素子AFの測距瞳距離を揃えることにより、測距瞳距離の違いが焦点検出結果に与える影響(焦点検出光束のケラレによって生じる焦点検出精度の悪化)の程度を揃えることができ、どちらの方式のAFを用いても同じような結果を得ることができる。
測距瞳F値(1)において、専用AFの測距瞳F値を大きくし、開放F値が大きい暗いレンズのまで対応できるとともに、大デフォーカス量まで検出できるように暗くする。一方、撮像素子AFの測距瞳F値を小さくし、開放F値が小さい明るいレンズの高精度焦点検出用に明るくするとともに、合焦近傍のみの小デフォーカス量の検出に適合させる。
また、測距瞳F値(2)において、専用AFと撮像素子AFの測距瞳F値を揃えることによって、撮像画面100において交換レンズ202の光軸から専用AFの焦点検出位置と撮像素子AFの焦点検出位置までの距離が等しい場合に、測距瞳F値の違いが焦点検出結果に与える影響(焦点検出光束のケラレによって生じる焦点検出精度の悪化)の程度を揃えることができ、どちらの方式のAFを用いても同じような結果を得ることができる。
さらに、測距瞳F値(3)において、専用AFの測距瞳F値を小さくして明るくし、低輝度の検出能力を向上させる。一方、撮像素子AFの測距瞳F値を大きくして暗くし、超高輝度の焦点検出能力(極端に短い電荷蓄積時間の制御)に適合させる。
測距瞳重心間隔(1)において、専用AFの測距瞳重心間隔(開き角)を小さくして大デフォーカス量まで検出できるようにし、撮像素子AFの測距瞳重心間隔(開き角)を大きくして、合焦近傍での高精度な焦点検出を行う。また、測距瞳重心間隔(2)において、専用AFと撮像素子AFの測距瞳重心間隔(開き角)を揃えることによって、測距瞳重心間隔(開き角)の違いが焦点検出結果に与える影響の程度を揃えることができ、どちらの方式のAFを用いても同じような結果を得ることができる。
AFエリア位置(1)において、専用AFと撮像素子AFのAFエリアの位置を揃えることによって、同じAFエリアに対して状況に応じて2つの方式を切換えて仕様することができる。また、AFエリア位置(2)において、専用AFと撮像素子AFのAFエリアの位置を異ならせることにより、より撮像画面100内により多くのAFエリアを配置することができる。例えば、撮像画面100の中心付近に撮像素子AFによって密にAFエリアを設定し、撮像画面100の周辺は専用AFのAFエリアを疎に配置する。
AFエリア数(1)において、専用AFと撮像素子AFでAFエリアの位置とAFエリアの数を揃えることによって、すべてのAFエリアに対して状況に応じて2つの方式を切換えて使用することができる。また、AFエリア数(2)において、専用AFはマルチAFエリアの焦点検出に特化してAFエリアの数を多くし、撮像素子AFは少数のAFエリアにして、1点のAFエリアの高精度焦点検出に特化する。
検出ピッチ(1)において、専用AFは検出ピッチ(サンプリングピッチ)を粗くすることによって、大デフォーカス量検出をするためにAFエリア長を長くしてもデータ数が増大せず、よって演算時間の増大を防止し、レスポンスの低下を防ぐ。撮像素子AFは高精度な像ズレ検出を行うために、検出ピッチを細かくする。また、検出ピッチ(2)において、専用AFと撮像素子AFの検出ピッチを揃えることによって、検出ピッチの違いが焦点検出結果に与える影響(像ズレ検出の誤差、被写体パターンの選択性等)の程度を揃えることができ、どちらの方式のAFを用いても同じような結果を得ることができる。
AFエリアの長さ(1)において、専用AFはAFエリアの長さを長くして大デフォーカス量検出のための像ずらし範囲を確保するとともに、被写体の捕捉性を高め、撮像素子AFはAFエリアの長さを短くして、合焦近傍の像ズラシ量が少ない状況に対応させるとともに、ピンポイントの焦点検出を可能にする。また、AFエリアの長さ(2)において、専用AFと撮像素子AFのAFエリアの長さを揃えることによって、AFエリアの長さの違いが焦点検出結果に与える影響(像ズレ検出の誤差、被写体パターンの選択性等)の程度を揃えることができ、どちらの方式のAFを用いても同じような結果を得ることができる。
AFエリアの幅(1)において、専用AFはAFエリアの幅を広くして低輝度時の光量を確保し、撮像素子AFはAFエリアの幅を狭くして、より細かな被写体パターンまで検出可能とする。また、AFエリアの幅(2)において、専用AFと撮像素子AFのAFエリアの幅を揃えることによって、AFエリアの幅の違いが焦点検出結果に与える影響(像ズレ検出の誤差、被写体パターンの選択性等)の程度を揃えることができ、どちらの方式のAFを用いても同じような結果を得ることができる。
色分解フィルタ(1)において、専用AFと撮像素子AFには色分解フィルタを用いないことによって、色分解フィルタが焦点検出結果に与える影響(被写体パターンの選択性等)をなくすことができ、どちらの方式のAFを用いても同じような結果を得ることができる。
また、色分解フィルタ(2)において、専用AFの光電変換部には色分解フィルタ(RGBの色フィルタ)を配置せずに低輝度時の光量を確保するとともに、撮像素子AFの焦点検出用画素には色分解フィルタを配置して、焦点検出用画素の位置の画像信号を周囲の撮像用画素の出力から補間する際に色フィルタ付き焦点検出用画素の出力も用いて画像品質を向上させるとともに、色別に焦点検出を行うことによって色相の変化はあっても輝度変化がない被写体に対しても焦点検出ができるようにする。
赤外カット波長(1)において、専用AFと撮像素子AFの入射側に備える赤外カットフィルタのカット波長を揃えることにより、被写体から到来する光束に含まれる赤外成分が焦点検出結果に与える影響(赤外収差)をなくすことができ、どちらの方式のAFを用いても同じような結果を得ることができる。
赤外カット波長(2)において、専用AFの入射側に備える赤外カットフィルタのカット波長をAF補助光(低輝度時に光量アップのために被写体に照射される。発光エネルギーの大きな長波長(赤〜赤外)の光が用いられる)を含むようにして、低輝度時の焦点検出性能を確保するとともに、撮像素子AFの入射側に備える赤外カットフィルタのカット波長は撮像用の画素の赤外カット特性に合わせ、赤外収差の誤差を防止し、焦点検出用画素の出力を画像信号としても使用可能にする。
図17は焦点検出動作を示すフローチャートである。図12に示すフローチャートでは焦点調節の粗調節において専用AFを用いるとともに、微調節において撮像素子AFを用いているが、一般的にこの焦点検出動作を示すと図17に示すフローチャートになる。ステップ900において電源がONされる。ステップ910では状況に応じて専用AFと撮像素子AFの切り換え判定を行う。ステップ910で専用AFを用いると判定された場合はステップ920へ進み、専用AFを用いて焦点調節を行った後、ステップ910へ戻る。ステップ910で撮像素子AFを用いると判定された場合はステップ930へ進み、撮像素子AFを用いて焦点調節を行った後、ステップ910へ戻る。
ステップ910における切換え判定は、撮像装置の焦点調節動作が全体として最適に行われるように、専用AF(再結像方式)と撮像素子AF(マイクロレンズ方式)の特質を生かして切り換えるようにする。例えば表4に示す判定項目(判定条件)に基づいて行われる。
専用AF(再結像方式)と撮像素子AF(マイクロレンズ方式)を撮像装置の使用状況を考慮して適切に切り換えることによって、全体としてバランスの取れた焦点調節を達成することができる。
シャッターレリーズ(撮像指令)の有無において、シャッターボタンのレリーズ操作以前は次の要求が高いので専用AFを用いる。(1)構図変更などにより大きくボケている被写体に対しても焦点調節を行う。(2)複数の物体が撮像画面100内にある場合でも、被写体である可能性の高い物体に対して焦点調節を行う。(3)精度よりレスポンスを重視した焦点調節を行う。(4)低輝度時でも焦点調節が可能である。一方、シャッターボタンのレリーズ操作以後は、撮像直前の高精度な焦点調節を達成するという要求が高いので撮像素子AFを用いる。
デフォーカス量において、デフォーカス量が大きい状態では、大きなデフォーカス量の検出もできる専用AFを用いてレンズを合焦近傍まで焦点調節させ、合焦近傍になってデフォーカス量が小さくなると、高精度な焦点調節が可能な撮像素子AFに切り換える。
連写と単写(1)において、撮像装置が連続撮影(短時間のインターバルで連続的に撮影を行う)中には、被写体が移動している可能性が高いので、移動被写体に対して高レスポンスな焦点調節が可能な専用AFを用い、単独撮影(1回のレリーズ操作で1回の撮影を行う)中には、静止被写体を撮像している状況が多いので、静止被写体に対して高精度な焦点調節が可能な撮像素子AFを用いる。
連写と単写(2)において、表2の(3)のシステムを用いる場合には、専用AFを用いると焦点検出動作と撮像動作を行うためにミラーの挿入と待避を行わなければならず、高速な連続撮影ができない。そこで、連続撮影中には焦点検出と撮像を行う際にミラー動作が不要な撮像素子AFを用い、単独撮影中には低輝度や大デフォーカスに有利な専用AFを用いる。
動画と静止画(1)において、撮像装置が動画撮影(ビデオ撮影)中あるいは動画撮影モードの場合には、撮影対象が移動被写体である可能性が高いので、移動被写体に対して高レスポンスな焦点調節が可能な専用AFを用い、静止画撮影(スチル撮影)中あるいはスチル撮影モードの場合には、撮影対象が静止被写体である可能性が高いので、静止被写体に対して高精度な焦点調節が可能な撮像素子AFを用いる。
動画と静止画(2)において、表2の(3)のシステムを用いる場合には、専用AFを用いると焦点検出動作と撮像動作を行うためにミラーの挿入と待避を行わなければならず、動画撮影ができない。そこで、動画撮影(ビデオ撮影)中あるいは動画撮影モードの場合には、ミラー動作が不要な撮像素子AFを用い、静止画撮影(スチル撮影)中あるいはスチル撮影モードの場合には、低輝度や大デフォーカスに有利な専用AFを用いる。
輝度において、被写界の輝度が所定値より低い場合には、低輝度に強い専用AFを用い、輝度が所定値より高い場合には高精度な焦点調節が可能な撮像素子AFを用いる。なお、被写界の輝度は撮像素子212の出力に基づいてボディCPU214で演算するが、もちろん専用の測光素子と測光回路を設けて被写界の輝度を検出するようにしてもよい。
被写体の移動と静止において、焦点検出結果(デフォーカス量)の時系列的な変化から、被写体が移動しているのか静止しているのかを判定することができる。そこで、被写体が移動していると判定された場合には、移動被写体に対して高レスポンスな焦点調節が可能な専用AFを用い、被写体が移動していると判定された場合には、静止被写体に対して高精度な焦点調節が可能な撮像素子AFを用いる。
AFエリアモードにおいて、AFエリアモード選択操作部材(不図示)によって複数の焦点検出位置で同時に焦点検出を行わせるマルチAFエリアモードが選択されている場合には、複数の焦点検出位置で同時に焦点検出が容易で高レスポンスな焦点調節が可能な専用AFを用い、1つの焦点検出位置で焦点検出を行わせるシングルAFエリアモードが選択されている場合には、高精度な焦点調節が可能な撮像素子AFを用いる。
AFエリア位置(1)において、撮像画面100の周辺のAFエリアが選択されている場合には、レンズの収差により画面周辺では高い画質が望めないので、焦点調節に精度よりもレスポンスを重視して専用AFを選択し、画面中央のAFエリアが選択されている場合には、画質を最大にするために、高精度な焦点調節が可能な撮像素子AFを選択する。
AFエリア位置(2)において、専用AFのAFエリア位置と撮像素子AFのAFエリア位置とが別個の位置にある場合には、ユーザーが撮像画面100内で指定した位置に最も近い位置にあるAFエリアのAF方式(専用AF/撮像素子AF)を用いる。
AFモードにおいて、AFモード選択操作部材(不図示)によって移動被写体への合焦を継続させるためにいったん合焦後も焦点調節動作を継続するコンティニュアスAFモードが選択されている場合には、移動被写体に対しての焦点調節性能が高くかつ高レスポンスな焦点調節が可能な専用AFを用い、いったん合焦後は焦点調節動作をロックすることによって、静止被写体に対して安定かつ確実な焦点検出を行わせるワンショットAFモードが選択されている場合には、高精度な焦点調節が可能な撮像素子AFを用いる。
AF補助光の有無において、低輝度時に被写体に対してAF補助光を照射して焦点検出を行わせる場合には、より低輝度に強い専用AFを用い、AF補助光を照射しないで焦点検出を行う場合には、高精度な焦点調節が可能な撮像素子AFを用いる。
AFとMFにおいて、焦点検出結果に応じてレンズを駆動することによって、自動的に焦点調節を行うAFモード(自動焦点調節モード)が選択されている場合には、移動被写体に対して高レスポンスな焦点調節が可能な専用AFを用い、専用AFの焦点検出結果に応じたピント表示を行い、その表示に応じてユーザーが手動でレンズの焦点調節を行うMFモード(手動焦点調節モード;自動焦点調節禁止モード)が選択されている場合には、クリティカルで高精度な焦点検出が可能な撮像素子AFを用いる。
表示において、焦点調節動作に平行して電子ビューファインダーで画像表示を行う際(表2の(1)、(2)および(4)のシステム)、縮小の表示倍率が選択された場合は焦点調節動作のレスポンスを重視して専用AFを用い、拡大の表示倍率が選択された場合は合焦精度を重視して撮像素子AFを用いる。なお、画像の表示倍率を選択するための操作部材を設け、拡大または縮小の表示倍率を選択可能とすればよい。
レンズ開放F値において、装着された交換レンズの絞り開放F値が暗い場合は、焦点検出光束がけられることによって焦点検出精度が低下することを防止するために、測距瞳F値が暗い専用AFを用い、装着された交換レンズの絞り開放F値が明るい場合は、測距瞳F値が明るく高精度な焦点検出が可能な撮像素子AFを用いる。なお、交換レンズの絞り開放F値などの情報は、レンズ駆動制御回路206からボディCPU214へ伝送される。
レンズ焦点距離において、装着された交換レンズの焦点距離が長い場合は、測距瞳距離が長くデフォーカス量の検出範囲が広い専用AFを用い、装着された交換レンズの焦点距離が短い場合は、測距瞳距離が短く焦点検出精度が高い撮像素子AFを用いる。なお、交換レンズの焦点距離などの情報は、レンズ駆動制御回路206からボディCPU214へ伝送される。
交換レンズの絞り制御F値において、撮像時の絞りF値(制御F値)が暗い場合には、焦点深度が深くために高い焦点調節精度は不要なので、焦点調節動作のレスポンスを重視して専用AFを用い、制御F値が明るい場合は、高い焦点検出精度が要求されるので撮像素子AFを用いる。なお、交換レンズの絞り制御F値は、ボディCPU214における露出制御演算により求められる。
シャッター速度において、撮像時のシャッター速度(露光時間)が速い(長い)場合には、被写界が暗いので焦点調節動作のレスポンスを確保するために専用AFを用い、撮像時のシャッター速度(露光時間)が遅い(短い)場合には、焦点調節精度を重視して撮像素子AFを用いる。なお、シャッター速度はボディCPU214の露出制御演算により求められる。
感度において、撮像時の感度(撮像素子の撮像用画素出力の増幅度)が高い場合には、被写界が暗いので焦点調節動作のレスポンスを確保するために専用AFを用い、撮像時の感度が低い場合には、焦点調節精度を重視して撮像素子AFを用いる。なお、撮像感度は感度設定操作部材(不図示)により設定され、設定された撮像感度に応じて撮像素子の撮像用画素出力の増幅度を選択する。
ストロボ(被写体照明)の有無において、撮像時に被写体に対して照明光を照射して撮像を行わせるストロボ撮影時には、より低輝度に強い専用AFを用い、照明光を照射しないで撮像を行う場合には、高精度な焦点調節が可能な撮像素子AFを用いる。また、ストロボ撮影の許可または禁止を設定するストロボ撮影選択部材によってストロボ撮影が禁止されている場合は撮像素子AFを用い、許可されている場合は専用AFを用いる。
セルフタイマー撮影において、撮影モード選択操作部材(不図示)によって撮像指示から所定時間後に撮像を実行するセルフタイマー撮影モードが選択されている場合は、被写体が静止被写体である可能性が高いので、高精度な焦点調節が可能な撮像素子AFを用い、セルフタイマー撮影モードが選択されていない場合は、被写体が移動被写体である可能性が高いので、移動被写体の焦点調節に適した専用AFを用いる。
手持ち撮影と固定撮影において、三脚などを使用した固定撮影時には、被写体が静止被写体である可能性が高いので、高精度な焦点調節が可能な撮像素子AFを用い、手持ち撮影時には、被写体が移動被写体である可能性が高いので、移動被写体の焦点調節に適した専用AFを用いる。なお、撮像装置が固定されているか否かは、三脚の取付けを検知したり、撮像装置に内蔵した角速度センサーや加速度センサーの出力に応じて判定する。
撮影モードにおいて、撮影対象に合わせて撮像時の撮像条件(絞り値、シャッター速度、感度)をセットで設定する撮影モードにおいて、撮影モード選択操作部材(不図示)により移動被写体を撮像するのに適したスポーツモードが選択された場合には、移動被写体の焦点調節に適した専用AFを用い、静止被写体を撮像するのに適したポートレートモードが選択された場合には、高精度な焦点調節が可能な撮像素子AFを用いる。
表5は専用AFと撮像素子AFのAFアルゴリズムパラメータの比較表である。
専用AFと撮像素子AFでは同じ像ズレ検出アルゴリズム((1)〜(6)式など)を用いているが、パラメータをうまく設定することにより、撮像装置全体としての焦点調節動作のパフォーマンスを向上させることができる。
デフォーカス量の検出範囲において、(1)式の像ズラシ限界(p,q)によりデフォーカス量の検出範囲が決まる。専用AFでは広い範囲まで検出可能にするために、pをより小さくqをより大きくする。撮像素子AFは合焦近傍で使用されるので、pを大きくqを小さくして像ズラシ範囲を狭め、検出範囲を狭くして演算時間を短縮する。
像ズレ検出不能判定のしきい値において、(3)の最小相関量C(x)がしきい値以上の場合に信頼性がないと判定するが、このしきい値を専用AFより撮像素子AFの方が厳しくなるように設定する。つまり、専用AFに対するしきい値を撮像素子AFに対するしきい値よりも大きい値にする。このようにすればより高精度な焦点検出を行うことができる。なお、最小相関量C(x)の値は相関演算に使用するデータ数にも依存するので、最小相関量C(x)の値は相関演算に使用するデータ数で規格化して用いる。(5)式のパラメータSLOPがしきい値以下の場合の信頼性がないと判定するが、このしきい値を専用AFより撮像素子AFのほうが厳しくなるように設定する。このようにすればより高精度な焦点検出を行うことができる。なお、パラメータSLOPの値は相関演算に使用するデータ数にも依存するので、パラメータSLOPの値は相関演算に使用するデータ数で規格化して用いる。
合焦認定幅において、合焦認定幅とは図12に示すフローチャートのステップ150とステップ210で合焦とみなされるデフォーカス量の範囲であり、専用AFの場合はこの幅を広めに設定して迅速に合焦近傍にレンズを駆動してシャッターレリーズを受付可能にし、撮像素子AFの場合は撮像時に高精度の合焦が達成されるように合焦認定幅を狭くする。
合焦エリアにおいて、合焦エリアとは図12に示すフローチャートのステップ140の被写体補足エリアの認定のことであり、専用AFの場合は複数の焦点検出位置で同時に焦点検出を行うことに適しているので、焦点検出の初期段階において専用AFにより複数のAFエリアで焦点検出を行い、得られた複数のデフォーカス量に所定のアルゴリズムを施して、被写体を捕捉していると思われるAFエリアを認定する。撮像素子AFの場合は、複数の焦点検出位置で同時に焦点検出を行うことに適していないので、専用AFにより選択されたAFエリアにおいて高精度な焦点検出を行う。
オフセット量において、オフセット量とは図14に示すステップ440で説明したように、算出されたデフォーカス量に対する微調整量である。撮像素子AFの場合は、焦点検出用画素と撮像用画素が同一の撮像素子基板上に配置されているために、検出されたデフォーカス量は直接撮像素子上の像の焦点調節状態に対応している。専用AFの場合は撮像素子と別個なユニットとしてカメラボディ内に組み込まれているために、最終的に撮像素子上で合焦を達成するためには、オフセット量を加えることが必要となる。
なお、撮像素子AFと専用AFの測距F値が異なっている場合は、撮影光学系の光学特性(球面収差等)によって撮像素子AFと専用AFの合焦位置が変化し、結果的にオフセット量も変化する。このような場合には、オフセット量をレンズ情報に含まれる光学特性データに基づいて変更する。
また、同様に、交換レンズの開放F値が撮像素子AFまたは専用AFの測距F値より暗い場合には焦点検出光束にケラレが生じ、撮像素子AFと専用AFの合焦位置が変化し、結果的にオフセット量も変化する。このような場合には、オフセット量をレンズ情報に含まれる開放F値に基づいて変更する。
さらに、定期的に同一の被写体に対して専用AFと撮像素子AFで同時に焦点検出を行い、算出された両者のデフォーカス量の差を新たなオフセット量として更新するようにしてもよい。このようにすれば、撮像素子AFや専用AFの位置が湿度や温度などの環境に応じて変化したり、光束切替手段であるサブミラー等の可動部材の機械的磨耗等により経時的にで変化する場合にも対応できる。
表5においては、焦点調節の初期段階において専用AFを用い、焦点調節の最終段階で撮像素子AFを用いる際に、焦点調節動作が全体として高レスポンスと高精度で行われるように専用AFと撮像素子AFのAFアルゴリズムパラメータを異ならせている。専用AFと撮像素子AFの焦点検出位置が異なる場合は、どの焦点検出位置(AFエリア)を選択しても、焦点検出性能が大きく変化しないように、表5で示したパラメータを揃えておく。
その他の変形例について説明する。ハーフミラーにおいて、図1および図18に示すハーフミラーはガラス板に半透膜を形成したものに限定されず、光を分割する光分割手段であればかまわない。例えば、二つの三角プリズムブロックを斜面部で張り合わせ、張り合わせ面にハーフミラー機能を有する多層膜を形成するようにしてもよい。このようにすればガラス板の場合に生ずる裏面反射を防止でき、焦点検出性能、画像品質が向上する。また、薄膜上のペリクルミラーによりハーフミラーを構成してもよい。このようにすればガラス板の場合に生ずる裏面反射を防止でき、焦点検出性能、画像品質が向上する。
さらに、光量を分割する代わりに、波長分割を行う分光ミラーを採用してもよい。例えば撮像素子AFが可視光を受光し、専用AFが赤外光を受光するような分光ミラーを利用することができる。このようにすれば、撮像時の光量をかせぐことができる。入射光を円偏光フィルターを配置し、円偏光フィルターを通過した光のうち特定の方向に偏光した光を選択的に透過または反射する偏光ハーフミラーを用いてもよい。このようにすれば、多層膜によってハーフミラーを形成する場合に生ずる、波長による透過率および反射率の変動を防止することができる。
撮像兼焦点検出装置において、撮像兼焦点検出装置は交換レンズ+カメラボディから構成されるデジタルスチルカメラに限定されない。レンズ一体型のデジタルスチルカメラやビデオカメラにも適用できる。携帯電話等に内蔵される小型カメラモジュール等にも適用できる。
以上説明したように、一実施の形態によれば、撮像機能と瞳分割位相差検出方式の焦点検出機能を有する撮像兼焦点検出手段と、瞳分割位相差検出方式の焦点検出機能を有する焦点検出手段とを設け、撮影条件に応じていずれかを選択するようにしたので、撮影条件に適した焦点検出手段の検出結果によって応答性の高い高精度な焦点調節を実現できる。
撮像兼焦点検出手段が瞳分割位相差方式の焦点検出機能を備えているので、撮像兼焦点検出手段の焦点検出機能を用いる場合でも、応答性の高い焦点調節を達成することができ、移動被写体に対しても高精度な焦点調節を行うことができる。
また、焦点検出手段の焦点検出機能と撮像兼焦点検出手段の焦点検出機能とが同じ瞳分割位相差検出方式を用いているので、瞳分割位相差検出方式の構成や瞳分割位相差検出アルゴリズムの各種パラメータをそれぞれの焦点検出機能が使用される状況に応じて設定することによって、互いの焦点検出機能の性能を補完することができ、焦点検出機能を状況に応じて切り換えて全体として焦点検出のパフォーマンスを向上させることができる。
さらに、焦点検出手段の焦点検出機能と撮像兼焦点検出手段の焦点検出機能とが同じ瞳分割位相差検出方式を用いているので、瞳分割位相差検出方式の構成や瞳分割位相差検出アルゴリズムの各種パラメータを揃えることによって、焦点検出結果の一致性を向上させ、切り換え時の不自然な動作を防止することができる。
一実施の形態によれば、撮像光学系の光路を撮像兼焦点検出手段の方向と焦点検出手段の方向とに分割または切り換えを行う光路変更手段を設けたので、瞳分割位相差方式の焦点検出手段の焦点検出機能と撮像兼焦点検出手段の瞳分割位相差方式の焦点検出機能とを状況に応じて切り換えて用いることができる。またその際、同じ原理に基づく焦点検出を行うので、焦点検出結果の著しい相違がなく、円滑で自然な切り換えが可能である。
一実施の形態によれば、撮像兼焦点検出手段は撮像用画素と焦点検出用画素とを同一の基板上に配置した撮像素子を備え、また、焦点検出用画素は1個のマイクロレンズに対して一対の光電変換部を有するようにした。
これにより、焦点検出手段の瞳分割位相差検出方式を再結像方式、撮像兼焦点検出の瞳分割焦点検出方式をマイクロレンズ方式で実現できるため、それぞれの方式の長所を生かして全体として最適な焦点検出システムを実現することができる。
また、撮像兼焦点検出手段の焦点検出方式をマイクロレンズ方式で実現するため、撮像兼焦点検出手段をコンパクトに構成できるとともに、最終的に撮像面と同一な面上で焦点検出ができるため、撮像兼焦点検出手段と焦点検出手段との位置合わせ誤差や、撮像兼焦点検出手段自身の配置誤差を除去した上で、高精度な焦点検出を行うことができる。
10,50,60・・マイクロレンズ、12,13,52,53,62,63・・光電変換部、29・・半導体回路基板、205・・ハーフミラー、206・・レンズ駆動制御回路、207・・焦点検出センサー、202・・交換レンズ、210・・フォーカシングレンズ、212・・撮像素子、214・・ボディCPU、231・・サブミラー、240・・外光式測距装置、310・・撮像用画素、311・・焦点検出用画素