JP6053347B2 - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Description

本発明は、電子カメラ等の撮像装置に関し、特にオートフォーカス機能を備えた撮像装置およびその制御方法に関する。

マイクロレンズおよびその光軸に対して光電変換部の相対位置を偏位させた画素を２次元的に多数配置した撮像素子が焦点検出素子の機能も兼ねている固体撮像装置が特許文献１に開示されている。特許文献１の固体撮像装置では、通常の撮影をするときは、マイクロレンズに対する相対偏位方向が異なる画素の信号を加算することにより画像を生成している。一方、撮影レンズの焦点位置を算出する時は、マイクロレンズに対する光電変換部の相対偏位方向が互いに異なる画素列のそれぞれで生成される一対の画像信号を用いて相関演算を行うことにより、撮影レンズの焦点位置を算出している。

ところで、撮影時においては、焦点検出用画素群に向かう光束の一部が撮影光学系（レンズ、絞り等の光学素子やこれを保持する鏡筒を含む）によって遮られる、いわゆるケラレが発生している場合がある。ケラレの発生は、生成された一対の画像信号のうち少なくとも一方に、光量の低下による画像信号の強度むら（焦点検出用画素ごとの受光感度のむら：以下、シェーディングという）を生じさせる。このようなケラレによる画像信号レベルの低下やシェーディングは、生成された一対の画像信号の一致度を低下させ、焦点検出の精度を低下させることがある。

そこで、特許文献２では、撮影光学系の異なる射出瞳領域を通過した光束を受光する画素群から得た一対の画像信号のシェーディングを、撮像画素信号に基づいて補正する技術が開示されている。

また、特許文献３では、撮像素子の像高と歪曲収差量とのプロットを記憶し、その値から近似関数を導出することにより、データの必要量を抑えた歪曲左右差補正を行う技術が開示されている。

特開平０４−２６７２１１号公報 特開２０１１−１１４５５３号公報 特開２００８−２５２５２２号公報

良好な焦点検出を行うためにはシェーディングの補正を高精度に行う必要がある。しかし、高精度にシェーディング補正を行うと、演算規模が大きくなり、演算処理に時間がかかるという課題がある。

そこで本発明の目的は、演算規模を低減して高精度なシェーディング補正が可能な撮像装置を実現させることである。

実施形態の一観点によれば、結像光学系の互いに異なる射出瞳領域を通過した光をそれぞれ光電変換して得られる画像信号を出力する撮像手段と、前記互いに異なる射出瞳領域を通過した光に対応する２像の像ずれ量を検出する複数の焦点検出領域のうちの一の焦点検出領域を、前記撮像手段の撮像領域に設定する設定手段と、前記撮像手段の前記撮像領域に対して少なくとも像ずれ量検出方向に複数設定された所定領域の各々と対応する近似関数の係数を記憶する記憶手段と、前記設定手段により設定された前記一の焦点検出領域が位置する前記所定領域に対応して記憶されている前記近似関数の係数を前記記憶手段から取得して、前記一の焦点検出領域における近似関数を取得し、取得した前記近似関数に従って補正値を算出する補正値算出手段と、前記撮像手段で得られた画像信号を前記補正値算出手段で算出された前記補正値を用いて補正した画像信号を用いて焦点検出を行う焦点検出手段とを備えることを特徴とする撮像装置が提供される。
実施形態の他の観点によれば、マイクロレンズと、前記マイクロレンズの光軸に対して像ずれ量検出方向に偏心して配置され、前記マイクロレンズを透過した光を光電変換する光電変換手段と、を備える画素を複数有し、前記光電変換により得られる画像信号を出力する撮像手段と、前記像ずれ量検出方向において互いに異なる方向に偏心して配置された光電変換手段に入射した光に対応する２像の像ずれ量を検出する複数の焦点検出領域のうちの一の焦点検出領域を、前記撮像手段の撮像領域に設定する設定手段と、前記撮像手段の前記撮像領域に対して少なくとも前記像ずれ量検出方向に複数設定された所定領域の各々と対応する近似関数の係数を記憶する記憶手段と、前記設定手段により設定された前記一の焦点検出領域が位置する前記所定領域に対応して記憶されている前記近似関数の係数を前記記憶手段から取得して、前記一の焦点検出領域における近似関数を取得し、取得した前記近似関数に従って補正値を算出する補正値算出手段と、前記撮像手段で得られた画像信号を前記補正値算出手段で算出された前記補正値を用いて補正した画像信号を用いて焦点検出を行う焦点検出手段とを備えることを特徴とする撮像装置が提供される。

本発明によれば、撮像範囲の分割された所定領域毎に適切な補正値算出係数を記憶させることで低次の近似関数で高次の近似関数と同程度の近似精度を実現出来るので、低減された演算規模で高精度な焦点検出を可能とする撮像装置の実現で可能となる。

本発明の実施形態に係わる撮像装置の構成図である。 図１の撮像装置で使用される撮像素子の画素の構造を示す図である。 瞳分割の概念を説明する図である。 シェーディングの発生原理を概念的に示す図である。 補正値の近似精度が近似次数により変化することを示す図である。 本発明の第１の実施例において分割領域に応じた補正値算出係数を記憶する場合の焦点検出方向での分割方法を説明するための図である。 本発明の第１の実施例において分割領域に応じた補正値算出係数を記憶する場合の撮像素子全域の分割例を示す図である。 本発明の第１の実施例に係わる焦点検出構成の概念図である。 本発明の第１の実施例に係わる焦点検出動作のフローチャートを示す図である。 本発明の第２の実施例に従って補正値算出係数を焦点検出領域に限定して再導出する場合の概念図である。 本発明の第２の実施例に係わる焦点検出動作のフローチャートを示す図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。
〔第の実施例〕
本発明の第１の実施例について、図１〜図９を用いて説明する。
焦点検出装置の構成
図１は本実施例を適用した焦点検出装置を有する撮像装置の構成図を示している。

図１において、１０１は撮影レンズ（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。

１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。

１０３は撮影レンズの第２レンズ群である。絞り兼用シャッタ１０２と第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍作用(ズーム機能)をなす。

１０５は撮影レンズの第３レンズ群で、焦点ずれ量の調節を行なうために光軸方向に進退可能に保持されている。

１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。

１０７はＣ−ＭＯＳセンサーとその周辺回路で構成された撮像素子（撮像手段）である。該撮像素子は、横方向ｍ画素、縦方向ｎ画素の受光ピクセル配列上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサである。

１１０はレンズＲＯＭで、交換式レンズ毎に焦点検出等で必要なレンズ情報が記憶されており、ＣＰＵ１２１と通信する。レンズ情報の一部である射出瞳距離はレンズＲＯＭに記憶されている。

１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。

１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点ずれ量の調節を行なう。

１２１はＣＰＵで、焦点検出装置本体の種々の制御を司る。ＣＰＵ１２１は演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有している。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、焦点検出装置が有する各種回路を駆動し、焦点検出、撮影、画像処理と記録等の一連の動作を実行する。例えば、後述する補正値算出部１２１ａ、補正値算出係数記憶部１２１ｂ、焦点検出領域設定部１２１ｃ、焦点検出部１２１ｄの機能は、ＣＰＵ１２１の演算処理によって実現される。

１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。

１２６はフォーカス駆動回路（駆動手段）で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点ずれ量の調節を行なう。

１２８は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。

１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

撮像素子の構造
撮像素子１０７の画素配列の概略図を図２（ａ）に示す。本実施例に係わる撮像素子１０７は２次元ＣＭＯＳセンサー（撮像素子）であり、図２（ａ）はその画素配列を、４行×４列の画素範囲で示したものである。図２（ａ）に示した２行×２列の画素群２１０は、対角２画素にＧの分光感度を有する画素２１０Ｇを配置し、他の２画素にＲの分光感度を有する画素２１０ＲとＢの分光感度を有する画素２１０Ｂを配置したベイヤー配列が採用されている。画素２１０Ｒ、２１０Ｇ、２１０Ｂは、それぞれ、瞳分割用の２つの副画素２０１ａ、２０１ｂから構成されている。そのため、本撮像素子１０７は、どの画素においても、撮像素子としてだけでなく焦点検出素子としても使用できる。図２（ｂ）は図２（ａ）に示した撮像素子の内の２１０Ｇを拡大して示したものであり、図２（ｃ）は図２（ｂ）のａ-ａで撮像素子２１０Ｇを切った断面図である。

本実施例では、撮像領域の全ての画素が瞳分割用の副画素が配置され焦点検出画素として使用できる場合について説明するが、瞳分割可能で焦点検出画素として使用できる画素の割合に関しては、センサー面の一部にだけの配置とすることも可能である。

撮像素子の瞳分割状況の概念
図３は１つの画素による瞳分割を概念的に示したものである。図３に示すように、１つの画素の中には、ｐ型層３００に包含されるようにｎ型層３０１ａ、３０１ｂが形成され、２つの副画素（光電変換手段）が構成されている。２つの副画素は、それぞれマイクロレンズ３０３の光軸に対して+ｘ、−ｘ方向に偏心している。そのため、１つのマイクロレンズ３０３を用いて瞳分割を行うことができる。３０２ａは画像信号Ａの瞳、３０２ｂは画像信号Ｂの瞳をそれぞれ表わしている。

ここで、副画素３０１ａを図２（ａ）に示すようにｘ方向に規則的に配列し、これらの副画素３０１ａで取得した第１の画像信号を画像信号Ａ（結像光学系の異なる射出瞳領域を通過した対の光束から得られる画像信号の一方）とする。また、副画素３０１ｂも図２（ａ）に示すようにｘ方向に規則的に配列し、これらの副画素群３０１ｂで取得した第２の画像信号を画像信号Ｂ（結像光学系の異なる射出瞳領域を通過した対の光束から得られる画像信号の他方）とする。すると、画像信号Ａと画像信号Ｂの相対的な像ずれ量から相関演算を用いてデフォーカス量を算出することで、撮影レンズの焦点位置が算出できる。これに基づいて、撮影レンズの焦点ずれ量を調節する。なお、ここではｘ方向に輝度分布を有した被写体に対応した構成について説明したが、同様の構成をｙ方向にも展開することでｙ方向に輝度分布を有した被写体にも対応した構成をとることが可能である。

また、本実施例では瞳分割をするために１画素中に偏芯させた副画素を２つ１次元方向のみに分割配置した例を示したが、瞳分割方法に関しては、ｘ、ｙ方向の２次元方向に分割した副画素を形成しても良い。

また、本実施例では瞳分割をするために１マイクロレンズあたり複数の副画素が配置された例を示したが、瞳分割方法に関しては１マイクロレンズあたり偏芯させた画素を１つ配置し、偏芯の異なる画素を用いて瞳分割し、焦点検出を行っても良い。

シェーディング
図４はシェーディングの発生原理と発生するシェーディングを説明するための図である。同図において、４０１ａは画像信号Ａの瞳強度分布、４０１ｂは画像信号Ｂの瞳強度分布、４０２は絞り枠、４０３は各像高の画素を示す。また、４０４ａは図４（ａ）の状態における画像信号Ａのシェーディング、４０４ｂは図４（ａ）の状態における画像信号Ｂのシェーディングをそれぞれ示している。

図４（ａ）のような場合、像高が-ｘ１の画素４０３は絞り枠４０２を通して瞳座標上の+ｘ2の場所の瞳を見ることになる。そのため、図４（ａ）の瞳強度分布４０１ａと瞳強度分布４０１ｂを見れば分かるように画像信号Ａと画像信号Ｂの感度を比較した場合、画像信号Ｂの方の感度が良いことが分かる。逆に、像高が+ｘ1の撮像素子４０３では絞り枠４０２を通して瞳座標上の-ｘ2の場所の瞳を見ることになるため、画像信号Ａと画像信号Ｂの感度を比較した場合、画像信号Ａの方が感度が良くなる。

上記のような理由のため、図４（ａ）のような状態におけるシェーディングは図４（ｂ）のようになる。シェーディングは図４（ａ）を見れば分かるように、絞り枠４０２の位置や大きさに応じて変化する性質があるため、射出瞳距離と絞り値が変わるとシェーディングも変化する。

また、絞り枠４０２以外にもシェーディングが変化する要因として瞳位置のずれが挙げられる。撮像素子の製造公差を考慮した際には、光電変換部である副画素２０１ａ、２０１ｂとマイクロレンズ２０２の位置関係が並進方向や光軸方向にずれる等の問題がある。すると、瞳位置も並進方向や光軸方向にずれてしまうため、瞳分割領域は設定した瞳位置から並進方向や光軸方向にずれてしまう。

シェーディング補正の近似精度
図４（ｂ）を見れば分かるように、シェーディングは像高に応じて連続的に変化する値であるため像高関数として表現することが出来る。そのため、シェーディングの補正値も像高関数として表現が可能である。前述したように、シェーディングは像高によって変化する上に、絞り値と射出瞳距離の組合せによって変化する。そのため、レンズ交換式のカメラ等でシェーディング補正を行う場合、全ての補正値を記憶させようとすると膨大な記憶容量が必要となってしまう。この解決策の１つとしては、予め各条件（絞り値と射出瞳距離情報の組合せ）毎にシェーディングの補正値を算出してその近似関数を求め、近似関数の係数のみを記憶する手法をとることが可能である。本実施例はこの近似関数の係数を記憶する手法に従って近似関数を記憶する。

図５は一対の画像信号Ａ、Ｂのうちの片方のシェーディングの補正値を像高関数として表現した際の近似次数と近似精度の関係を示している。同図において、５００は近似を行う前のシェーディングの補正値の生データ、５０１は生データ５００を１次近似して算出したシェーディングの補正値である。また、５０２は生データ５００を２次近似して算出したシェーディングの補正値、５０３は生データ５００を３次近似して算出したシェーディングの補正値である。なお、生データ５００は、上述のように、絞り値と射出瞳距離情報の組合せ毎に算出された補正値であり、従って近似による補正値も絞り値と射出瞳距離情報の組合せを反映している。

図５を見れば分かるように、近似次数を大きくすればそれだけ生データに対する近似精度が良くなるため、高精度なシェーディングの補正を行うことが出来る。しかしながら、次数が大きいとそれだけ演算量が増えてしまうため、補正を行うための回路規模が大きくなってしまいコストアップにつながってしまう。式（１）、（２）に２次近似式の場合の、また式（３）、（４）に３次近似式の場合の画像信号Ａ，Ｂのシェーディングの補正値ＳＡ（ｘ）、ＳＢ（ｘ）の算出式を示す。

ここで、Ｓ０Ａ、Ｓ１Ａ、Ｓ２Ａ、Ｓ３Ａ、Ｓ４Ａ、Ｓ５Ａは、Ａ像用のシェーディングの補正値を算出するための近似関数の係数であり、Ｓ０Ｂ、Ｓ１Ｂ、Ｓ２Ｂ、Ｓ３Ｂ、Ｓ４Ｂ、Ｓ５Ｂは、Ｂ像用のシェーディングの補正値を算出するための近似関数の係数である。なお、本実施例の撮像素子の構造の場合は、ｙ方向は原点に対して略対称形になるため、近似関数はｙについて偶関数としての対称性を有する。

式（１）、（３）を比較すれば分かるように、２次から３次に近似次数を増やした場合は乗算の回数が２倍以上になり、演算に必要な回路規模が飛躍的に大きくなってしまうとともに演算時間も増えてしまう。

焦点検出を行う際には、補正精度が良ければそれだけ焦点検出精度も良くなるため出来る限り補正精度は良くする必要がある。しかしながら、補正精度を上げるためには近似次数を上げる必要があり、演算規模が増えてしまうためコストアップにつながってしまう。また、演算規模が増えると演算時間も増えて焦点検出時間も増大してしまうため、補正精度と演算規模はトレードオフの関係になってしまう。

補正値算出係数の像高分割
そこで、演算規模を増やさずに補正精度を上げる手法としては、近似領域を分割して低次の関数で近似する手法が考えられる。近似領域を限定すれば、部分的には補正に有効な近似精度を得ることが出来るためである。本実施例では、近似の有効範囲を限定することで３次の近似関数と同程度の補正精度を２次の近似関数で実現する場合を示す。

図６は像高領域を複数の近似領域に分割し、それぞれの領域において２次の関数で近似した場合を示している。６００は１つの関数で補正を十分な精度で行うことが出来る領域ｐ、６０１は焦点検出を行う領域（視野長）ｑ、６０２は焦点検出領域の中心が補正値適用可能領域６００の中で設定できる領域ｒ、６０３は近似関数が十分な精度で補正が出来る領域が重複した領域である。また、６０４は補正値の近似前データ、６０５は像高ｘが負の領域で近似した場合の補正値、６０６は像高ｘが中央の領域で近似した場合の補正値、６０７は像高ｘが正の領域で近似した場合の補正値である。６０８は補正を行う全領域Ｌ、６０９は焦点検出視野の中心がこの領域内に設定されると１つの関数では補正を十分な精度で行うことが出来ない領域である。

近似領域を分割して近似する際に気を付けるべき点としては、重複領域６０３を視野長６０１以上に大きく設定する必要があることである。図６（ａ）では重複領域６０３が十分に確保されているため焦点検出視野の中心がどの像高にあっても１つの関数を用いて十分な補正精度を出すことが可能である。これに対して、図６（ｂ）では重複領域が小さいため、６０９の領域内に焦点検出視野の中心が設定された場合、１つの関数では十分な補正精度を確保できない。仮に、焦点検出領域を分割して２種類の関数を用いて補正値を算出した場合、不連続関数となってしまう。補正値に不連続点が存在する状態で画像信号を補正すると、実際には存在しないエッジが出来てしまい、焦点検出精度を低下させる要因になってしまう。よって、重複領域６０３を視野長６０１以上に大きく設定する必要がある。

像高分割数Ｎを決定する際には、焦点検出視野中心の設定可能領域６０２（＝ｒ）が補正領域６０８（＝Ｌ）内において全て設定されるようにすれば良いので、下記条件を満たすように分割数Ｎを設定すれば良い。

図７は上式（５）、（６）を満たすように領域分割して補正値算出係数を記憶し、補正値を算出した場合を示したものである。７００は、焦点検出領域の中心がこの領域内に入った時は同じ補正値算出係数が適応される領域、７０１は対応した７００の領域の補正値算出係数を用いて算出された補正値の適応領域、７０２は焦点検出領域、をそれぞれ表わしている。

図７に関して、ｘ方向は上述したように補正値に関しては補正値算出係数適応領域７００ａで算出された補正値適応領域７０１ａと、補正値算出係数適応領域７００ｂで算出された補正値適応領域７０１ｂは、焦点検出領域より大きい領域で重複するよう設定されている。対してｙ方向は、本実施例では焦点検出方向はｘ方向のみを想定しているため重複して補正値を算出する必要が無い。そのため、ｙ方向では補正値適応領域７０１で重複した領域を設定していない。また、ｙ方向に関してはｘ方向に対して同じ補正値算出係数を兼用する領域が狭いため、予め補正値算出係数を算出する際にｙ方向のシェーディングの影響を考慮しておくことで、補正値を算出する際の演算量を式（７）のように減らすことが出来る。

ここで、Ｓ０Ａ’、Ｓ１Ａ’、Ｓ２Ａ’、 Ｓ０Ｂ’、Ｓ１Ｂ’、Ｓ２Ｂ’はｙ方向のシェーディング変化の影響を予め考慮して算出された近似関数の係数である。

上記のように、適切に領域毎で補正値算出係数を記憶し、設定された焦点検出領域において有効な補正値算出係数に基づいて補正値を算出することで式（３）、（４）で示した３次関数と同等の補正精度を式（７）、（８）で示した２次関数で実現することが出来る。これによって、乗算の回数を１１回から３回と大幅に削減でき、演算規模を低減できる。

また、補正値算出の演算規模が低減することによって演算時間の低減が見込まれ、焦点検出の高速化も期待できる。

補正値算出係数適応範囲のｘ方向の設定方法に関しては、重複領域が視野長以上に確保できるのであれば均等でも不均等でもどちらでも良い。ｙ方向に関しても必ずしも領域の大きさを均等にする必要は無い。

ここで、像高分割数Ｎの決定方法の補足としては、像高分割数を増やせば当然記憶するデータ容量は増加することになる。よって、最終的な像高分割数は補正精度と記憶量を加味して決定する必要がある。

焦点検出フロー
図８は本実施例に係わる焦点検出構成を概念的に示す図である。本構成は、ＣＰＵ１２１がＲＯＭに記憶された所定のプログラムに基づいた処理を実行することで実現される。

まず、撮影素子１０７が撮影を行い、取得した画像信号を焦点検出手段に送る。次に、補正値算出部１２１ａが焦点検出領域選択部１２１ｃが撮像領域において選択した焦点検出領域の位置に応じて適切な補正値算出係数を補正値算出係数記憶部１２１ｂから取得し、補正値を算出して焦点検出部位１２１ｄに送る。この時の焦点検出領域の設定方法としては、予めユーザーが任意に設定しても良いし、被写体認識等でカメラが自動設定を行っても良い。また、補正値算出係数を選択する際には、絞り情報と射出瞳距離情報が考慮されている。焦点検出部１２１ｄは受け取った画像信号と補正値を用いて焦点検出を行う。これが本実施例の焦点検出構成の概要である。

図９は本実施例に係わる焦点検出動作を図８の焦点検出構成で行なうときのフローチャートを示す。

まずステップ９０１で撮像素子１０７が画像信号を取得する。次に、ステップ９０２では取得した画像信号のどの領域について焦点検出を行うかを判定する。ステップ９０３では焦点検出領域の判定結果を基に適切な補正値算出係数を選択する。ステップ９０４では選択された補正値算出係数を用いて補正値を算出する。ステップ９０５では算出された補正値と、撮像素子１０７から出力された画像信号を用いて焦点検出を行う。ステップ９０１からステップ９０５を１回以上行い、ステップ９０６では焦点検出が終了したかどうかを判定し、終了と判定されれば焦点検出動作を終了する。

以上のように本実施例によれば、分割領域毎に限定された近似関数（係数）を記憶させることで、低次の近似関数で高次の近似関数と同程度の近似精度で補正値を算出して高精度な補正が可能となる。

〔第２の実施例〕
本発明の第２の実施例を、図１０〜図１１を用いて説明する。本実施例に係わる撮像装置の構成は、第１の実施例と同様であるので、ここでの説明は必要のない限り省略する。また、図８の焦点検出構成も同様であるが、以下で説明するように、本実施例では第１の実施例とは異なるフローチャートに従った動作を行なう。

第１の実施例では、撮像範囲の分割領域ことに限定された低次の近似関数を求めて（その係数として）記憶していたが、本実施例では高次の近似関数を記憶しておき、設定された焦点検出領域の範囲に限定してより低次の近似関数を求める構成をとる。
高次から低次の関数を再導出
図１０は、焦点検出領域に限定して高次の近似関数から低次の関数を再導出するときのこれら２つの近似関数の関係を示している。

同図において、１０００は補正を行う全領域、１００１は焦点検出領域、１００２は高次の近似関数、１００３は焦点検出領域に限定して再導出された低次の近似関数である。

全補正領域１０００を、１つの関数で十分な近似精度得るには高次の関数を必要とする場合においても、近似領域を限定すれば低次の関数で十分な近似精度を得ることが出来る。そこで、本実施例では、補正値算出係数は高次の関数のものを記憶させておき、焦点検出領域が分かればその領域に限定して高次の関数から低次の関数の補正値算出係数をテーラー展開等で再導出することで十分な近似精度の補正値を低次の関数で算出する。式（９）、（１０）はもとの高次の近似関数（次数がｎ＋１次以上）から焦点検出領域の中心像高が（ｘ_ａ，ｙ_ａ）の時におけるｎ次関数を導出する際の算出式になる。

ここで、ＳＡ’はＡ像用補正値ＳＡから再導出された補正値、ＳＢ’はＢ像用補正値ＳＢから再導出された補正値である。また、ＳＡ^（ｎ）（ｘ-ｘ_ａ，ｙ_ａ）は焦点検出領域の中心像高が（ｘ_ａ，ｙ_ａ）の時におけるＳＡ（ｘ）のｎ次導関数、ＳＢ^（ｎ）（ｘ-ｘ_ａ，ｙ_ａ）は焦点検出領域の中心像高が（ｘ_ａ，ｙ_ａ）の時におけるＳＢ（ｘ）のｎ次導関数である。

式（９）、（１０）で高次から低次の関数を再導出する際にｙを定数として扱い、ｘ方向のみの１次元のテーラー展開で近似関数を求めた。この理由は、ｙ方向の焦点検出領域の大きさが小さいことと、本実施例における撮像素子の構造ではｙ方向には瞳分割を行わず、副画素とマイクロレンズの位置関係はｘ方向のようにな偏芯がないので、シェーディングの変化も少ないことである。そのため、本実施例では演算量を低減するためにｙ方向は焦点検出領域の代表値を用いて算出した。なお、さらに高精度に算出するために、ｘ、ｙの２次元のテーラー展開を行っても良い。

また、撮像素子の瞳分割をｘ、ｙ方向の２次元で行ない、横目と縦目の両方で焦点検出を行う場合でも、テーラー展開等で焦点検出方向だけの１次元で近似関数の次数を下げて導出すれば演算量を削減することが出来る。当然、高精度に算出するために２次元で考えて再導出しても良い。

第１の実施例の場合と比較し、本実施例では補正値算出係数を再導出する分、演算量は多少増えてしまう。しかしながら再導出後は第１の実施例と同様の演算量にすることが可能なため、大幅な削減が可能となる。また、本実施例では補正値算出係数を撮像素子の領域毎で分割して記憶する必要が無いため、記憶容量については第１の実施例と比較して有利である。特に、焦点検出をｘ方向とｙ方向の２次元で行いたい場合には有利である。

焦点検出フロー
本実施例の焦点検出構成を図８を用いて説明する。本構成も第１の実施例と同様に、ＣＰＵ１２１がＲＯＭに記憶された所定のプログラムに基づいた処理を実行することで実現される。

まず、撮影手段１０７が撮影を行い、取得した画像信号を焦点検出部１２１ｄに送る。次に、補正値算出部１２１ａが焦点検出領域部１２１ｃが設定した焦点検出領域の位置に合わせて、補正値算出係数記憶部１２１ｂから補正値算出係数を取得し、その値を用いて補正値算出係数を再導出し、補正値を演算して焦点検出部１２１ｄに送る。この時の焦点検出領域の設定方法としては、予めユーザーが任意に設定しても良いし、被写体認識等でカメラが自動設定を行っても良い。また、補正値算出係数を選択する際には、絞り情報と射出瞳距離情報が考慮されている。焦点検出部１２１ｄは受け取った画像信号と補正値を用いて焦点検出を行う。これが本実施例に係わる焦点検出構成の概要である。

図１１は本実施例に係わる焦点検出動作を図８の焦点検出構成で行なうときのフローチャートである。まずステップ１１０１で撮像素子１０７が画像信号を取得する。次に、ステップ１１０２で、取得した画像信号のどの領域に対して焦点検出を行うかを判定する。ステップ１１０３では、補正値算出係数記憶部１２１ｂから高次の近似関数を取得し、焦点検出領域の判定結果に基づいて低次の近似関数の補正値算出係数を再導出する。ステップ１１０４では、再導出された補正値算出係数を用いて補正値を算出する。ステップ１１０５では算出された補正値と、撮像素子１０７から出力された画像信号を用いて焦点検出を行う。ステップ１１０１からステップ１１０５を１回以上行い、ステップ１１０６では焦点検出が終了かどうかを判定し、終了と判定されれば焦点検出が終わる。

以上のように本実施例によっても、低次の近似関数で高次の近似関数と同程度の近似精度で補正値を算出することで、高精度な補正が可能となる。

図９および１１に示した各処理は、上述のように各処理の機能を実現する為のプログラムを不図示のメモリから読み出してＣＰＵ１２１などが実行することによりその機能を実現させるものである。

しかし、本発明は上述した構成に限定されるものではなく、図９および１１に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、コンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。例えば、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せにより構成された記録媒体である。

また、図９および１１に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた場合も含む。この場合、書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。このように、一定時間プログラムを保持しているものも「コンピュータ読み取り可能な記録媒体」に含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (12)

1. 結像光学系の互いに異なる射出瞳領域を通過した光をそれぞれ光電変換して得られる画像信号を出力する撮像手段と、
   前記互いに異なる射出瞳領域を通過した光に対応する２像の像ずれ量を検出する複数の焦点検出領域のうちの一の焦点検出領域を、前記撮像手段の撮像領域に設定する設定手段と、
   前記撮像手段の前記撮像領域に対して少なくとも像ずれ量検出方向に複数設定された所定領域の各々と対応する近似関数の係数を記憶する記憶手段と、
   前記設定手段により設定された前記一の焦点検出領域が位置する前記所定領域に対応して記憶されている前記近似関数の係数を前記記憶手段から取得して、前記一の焦点検出領域における近似関数を取得し、取得した前記近似関数に従って補正値を算出する補正値算出手段と、
   前記撮像手段で得られた画像信号を、前記補正値算出手段で算出された前記補正値を用いて補正した画像信号を用いて焦点検出を行う焦点検出手段と
   を備えることを特徴とする撮像装置。
2. マイクロレンズと、前記マイクロレンズの光軸に対して像ずれ量検出方向に偏心して配置され、前記マイクロレンズを透過した光を光電変換する光電変換手段と、を備える画素を複数有し、前記光電変換により得られる画像信号を出力する撮像手段と、
   前記像ずれ量検出方向において互いに異なる方向に偏心して配置された光電変換手段に入射した光に対応する２像の像ずれ量を検出する複数の焦点検出領域のうちの一の焦点検出領域を、前記撮像手段の撮像領域に設定する設定手段と、
   前記撮像手段の前記撮像領域に対して少なくとも前記像ずれ量検出方向に複数設定された所定領域の各々と対応する近似関数の係数を記憶する記憶手段と、
   前記設定手段により設定された前記一の焦点検出領域が位置する前記所定領域に対応して記憶されている前記近似関数の係数を前記記憶手段から取得して、前記一の焦点検出領域における近似関数を取得し、取得した前記近似関数に従って補正値を算出する補正値算出手段と、
   前記撮像手段で得られた画像信号を、前記補正値算出手段で算出された前記補正値を用いて補正した画像信号を用いて焦点検出を行う焦点検出手段と
   を備えることを特徴とする撮像装置。
3. 前記撮像領域は、前記所定領域の各々と対応する前記近似関数の係数の有効範囲が重複し、かつ、前記有効範囲が重複する領域の前記像ずれ量検出方向における長さが、前記一の焦点検出領域の前記像ずれ量検出方向における長さよりも長くなるように設定されていることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像領域は少なくとも一つの前記像ずれ量検出方向を含む２次元方向に設定され、前記近似関数の係数の前記有効範囲の重複は、前記像ずれ量検出方向に設定された各々の前記所定領域の重複であることを特徴とする請求項３に記載の撮像装置。
5. 前記補正値算出手段により取得される前記近似関数は、前記撮像手段により得られた画像信号の前記補正値を算出するための近似関数であり、前記補正値の前記像ずれ量検出方向における座標を変数とする２次関数であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記記憶手段に係数が記憶されている前記近似関数は、絞り値と射出瞳距離に応じて異なる値を持つ近似なしの補正値に対する近似関数であり、前記撮像手段の画素の構造に対応した対称性を有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記補正値はシェーディングの補正値であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. １つの前記焦点検出領域からの画像信号に対する前記補正値は、前記補正値算出手段により取得された１つの前記近似関数を用いて取得されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. １つの前記マイクロレンズに対して前記光電変換手段が複数配置されていることを特徴とする請求項２に記載の撮像装置。
10. 前記焦点検出手段は、異なる前記マイクロレンズを透過した光に基づく画像信号の相関演算を行うことを特徴とする請求項２に記載の撮像装置。
11. 結像光学系の互いに異なる射出瞳領域を通過した光をそれぞれ光電変換して得られる画像信号を出力する撮像手段を有する撮像装置の制御方法であって、
    前記互いに異なる射出瞳領域を通過した光に対応する２像の像ずれ量を検出する複数の焦点検出領域のうちの一の焦点検出領域を、前記撮像手段の撮像領域に設定する設定ステップと、
    前記撮像手段の前記撮像領域に対して少なくとも像ずれ量検出方向に複数設定された所定領域の各々と対応する近似関数の係数を記憶する記憶ステップと、
    前記設定ステップで設定された前記一の焦点検出領域が位置する前記所定領域に対応して記憶されている前記近似関数の係数を取得して、前記一の焦点検出領域における近似関数を取得し、取得した前記近似関数に従って補正値を算出する補正値算出ステップと、
    前記撮像手段で得られた画像信号を、前記補正値算出ステップで算出された前記補正値を用いて補正した画像信号を用いて焦点検出を行う焦点検出ステップと
    を備えることを特徴とする撮像装置の制御方法。
12. マイクロレンズと、前記マイクロレンズの光軸に対して像ずれ量検出方向に偏心して配置され、前記マイクロレンズを透過した光を光電変換する光電変換手段と、を備える画素を複数有し、前記光電変換により得られる画像信号を出力する撮像手段を有する撮像装置の制御方法であって、
    前記像ずれ量検出方向において互いに異なる方向に偏心して配置された光電変換手段に入射した光に対応する２像の像ずれ量を検出する複数の焦点検出領域のうちの一の焦点検出領域を、前記撮像手段の撮像領域に設定する設定ステップと、
    前記撮像手段の前記撮像領域に対して少なくとも前記像ずれ量検出方向に複数設定された所定領域の各々と対応する近似関数の係数を記憶する記憶ステップと、
    前記設定ステップで設定された前記一の焦点検出領域が位置する前記所定領域に対応して記憶されている前記近似関数の係数を取得して、前記一の焦点検出領域における近似関数を取得し、取得した前記近似関数に従って補正値を算出する補正値算出ステップと、
    前記撮像手段で得られた画像信号を、前記補正値算出ステップで算出された前記補正値を用いて補正した画像信号を用いて焦点検出を行う焦点検出ステップと
    を備えることを特徴とする撮像装置の制御方法。