JP5850648B2 - 撮像装置 - Google Patents

Description

本発明は、２次元に構成された多数の光電変換素子で動画もしくは静止画を撮像可能な撮像素子を備え、この撮像素子を用いて位相差式焦点検出を行なう撮像装置に関する。

動画や静止画が記録可能な電子カメラにおいて、画像記録用の撮像素子を用いて位相差検出方式の焦点検出を実現する技術が提案されている。位相差検出方式では、撮影光学系の射出瞳を通過した光束を２分割し、２分割した光束を１組の焦点検出用受光素子群で受光する。そして、その受光量に応じて出力される１対２像の信号波形のずれ量、すなわち、光束の瞳分割方向に生ずる相対的位置ずれ量を検出することで、撮影光学系の焦点ずれ量（デフォーカス量）を求めるものである。

この位相差検出方式を実現するための構成として、焦点検出専用の光学系と受光センサを用いた方式と、画像記録用の撮像素子で焦点検出を行なう方式がある。前者の例として、ＡＦ一眼レフカメラに採用されている二次結像位相差検出方式が挙げられる。これは、撮影光学系の予定結像面に瞳分割用のフィールドレンズと二次結像レンズを配し、その後方に配置した受光センサに１対２像を結像させ、焦点検出用信号を得るものである。また後者の例として、撮像素子の各画素に搭載されたオンチップマイクロレンズで瞳分割を行なう方式が提案されている。

後者の方式では、二次結像方式に用いられる焦点検出専用の機構が不要なため、機器の小型化、低価格化に有利である。また、撮像と焦点検出が同時に行なえるため、特に動画撮影に適している。一方で、この方式は種々の理由により１対の焦点検出信号に歪みが生じ易く、焦点検出専用の機構を用いた方式に対して焦点検出誤差が大きいという問題がある。その焦点検出信号が歪む一つの原因として、隣接画素間での出力干渉、いわゆるクロストークが挙げられる。また他の原因として、焦点検出光束が撮影光学系の射出瞳でけられ、像が歪むことが挙げられる。そこで、上記クロストークや光束ケラレによる像歪みの影響を軽減するため、以下のような技術が提案されている。

例えば特開２００９−１２２５２４号公報（特許文献１）では、焦点検出用画素とその周囲画素間のクロストーク率を予め測定し、焦点検出信号にクロストーク補正を施すことで、焦点検出信号に生じた歪みを補正している。

また特開２０１０−１１７６７９号公報（特許文献２）では、焦点検出用画素の受光特性と撮影光学系の射出瞳情報から、像歪み特性を表わす線像分布関数を算出する。そして、この線像分布関数から、像歪みを解消するための修正フィルタを創生し、焦点検出信号にこのフィルタを畳み込み積分することで、像歪みを解消している。

特開２００９−１２２５２４号公報 特開２０１０−１１７６７９号公報

しかしながら上記公知技術には、以下のような欠点があった。特許文献１に開示された技術では、焦点検出用光束がケラレることによる像歪みが解消されないため、１対２像の一致度が低下する。その結果、相関演算時の２像の横ずれ量検出誤差が発生し、焦点検出誤差が生ずる。

特許文献２に開示された技術では、線像分布関数にもクロストークの影響による歪みが発生するはずであるが、線像分布関数の歪みを解消する技術は開示されていない。そこで焦点検出用像信号の歪みを解消する修正フィルタにも誤差を生じ、その結果焦点検出精度を低下させるという懸念がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像用画素の間に焦点検出用画素が配置された撮像素子を用いて位相差方式の焦点検出を行う場合の、検出精度を向上させることである。

本発明に係わる撮像装置は、撮影光学系の射出瞳を分割し、該分割された領域からの光束を用いて位相差式の焦点検出を行なうための焦点検出用画素群と、該焦点検出用画素群が配置された撮像領域の外側に配置され、前記焦点検出用画素群に対する隣接画素からのクロストーク成分を検出するための複数のクロストーク検出領域と、を備えた撮像素子と、前記焦点検出用画素群に対する隣接画素からのクロストーク成分を、前記複数のクロストーク検出領域における複数の検出値を用いて算出する算出手段と、前記焦点検出用画素群における隣接画素からのクロストーク成分を補正した所定の信号を算出するとともに、該所定の信号により補正された焦点検出用の像信号を用いて焦点検出演算を行なう演算手段と、を備えることを特徴とする。

本発明によれば、撮像用画素の間に焦点検出用画素が配置された撮像素子を用いて位相差方式の焦点検出を行う場合の、検出精度を向上させることが可能となる。

本発明の第１の実施形態における撮像装置の構成図。 本発明の第１の実施形態における撮像素子の領域説明図。 撮像素子の撮像領域での画素配置図。 撮像用画素と撮影光学系の射出瞳の共役関係について説明する図。 焦点検出用画素と撮影光学系の射出瞳の共役関係について説明する図。 撮像素子のクロストーク情報取得領域での画素配置図。 クロストーク情報取得用画素と撮影光学系の射出瞳の共役関係について説明する図。 像信号におけるクロストーク測定方法と測定結果を示す図。 瞳強度分布を測定する装置の概略構成図。 瞳強度分布のクロストークとその補正原理を説明する図。 瞳強度分布とその射影を説明する図。 デフォーカス時の線像分布波形を説明する図。 焦点検出用像信号における各種補正を施す前後の波形を示した図。 撮像素子における読み出し回路の構成図。 焦点検出時の画像と焦点検出信号、デフォーカスマップを説明する図。 第１の実施形態における像信号のクロストークを取得するためのフロー図。 第１の実施形態における瞳強度分布のクロストークを取得するためのフロー図。 撮像装置のメイン制御フロー図。 第１の実施形態における焦点検出サブルーチンのフロー図。 第２の実施形態における撮像装置の構成図。 第２の実施形態における撮像素子の領域説明図。 第２の実施形態における像信号のクロストークを取得するためのフロー図。 第２の実施形態における瞳強度分布のクロストークを取得するためのフロー図。 第２の実施形態における焦点検出サブルーチンのフロー図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る撮像装置１００の構成図で、撮像素子を有したカメラ本体と撮影光学系が一体となった電子カメラを示しており、動画及び静止画が記録可能である。図１において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に移動可能に保持される。１０２は絞りで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。そして絞り１０２及び第２レンズ群１０３は一体となって光軸方向に駆動され、第１レンズ群１０１の移動動作との連動により、変倍作用（ズーム機能）をなす。

１０５は第３レンズ群で、光軸方向の移動により焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。撮像素子１０７には、横方向にＭ画素、縦方向にＮ画素の受光ピクセルが正方配置され、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。

１１１はズームアクチュエータで、不図示のカム筒を回動することにより、第１レンズ群１０１乃至第３レンズ群１０５を光軸方向に駆動し、変倍操作を行なう。１１２は絞りアクチュエータで、絞り１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に駆動して焦点調節を行なう。

１１５は無線式通信部で、インターネット等のネットワークを通じてサーバーコンピュータと通信するためのアンテナや信号処理回路で構成される。１１６はカメラの姿勢検知部で、カメラの撮影姿勢、すなわち横位置撮影か縦位置撮影かを判別するための電子水準器が用いられる。

１２１はＣＰＵで、カメラ本体の種々の制御を司るために、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そしてＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。

１２２は通信制御回路で、通信部１１５を介して、カメラから撮影画像をサーバーコンピュータに送信したり、サーバーコンピュータから画像や各種情報を受信する。１２３は姿勢検知回路で、姿勢検知部１１６の出力信号から、カメラの姿勢を判別する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、画像圧縮等の処理を行なう。

１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に駆動して焦点調節を行なう。１２８は絞り駆動回路で、絞りアクチュエータ１１２を駆動制御して絞り１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影時のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像、カメラの姿勢情報等を表示する。１３２は操作スイッチ群で、電源スイッチ、撮影開始スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。

１４１はカメラとは独立した外部ＰＣで、カメラの各種調整工程を実施する際に適宜用いられ、各種工具と連携するためのインターフェイスや調整プログラムが内蔵されている。

図２は本発明の第１の実施形態における撮像素子の画素配列領域を示したもので、撮影光学系側から撮像素子１０７の受光面を見た図である。１０７ｉｍは撮像領域で、撮像用の画素及び焦点検出用の画素がＸ−Ｙ平面上に２次元配置されている。１０７ｃｔはクロストーク情報取得領域で、焦点検出信号用画像信号におけるクロストーク成分、及び後述する瞳強度分布におけるクロストーク情報を得るための画素が配列される。

図３は、図２で説明した撮像領域１０７ｉｍにおける画素配列を示したもので、本願出願人による特開平０９−０４６５９６号報等に開示された技術を用いて製造される。図３は２次元Ｃ−ＭＯＳエリアセンサの縦（Ｙ方向）１４行と横（Ｘ方向）１４列の範囲を、撮影光学系側から観察した状態を示している。

２１１は第１の画素群（撮像用画素群）で、撮像のために使用され、カラーフィルタはベイヤー配列が適用される。すなわち奇数行の画素には、左から順に赤（Ｒｅｄ）と緑１（Ｇｒｅｅｎ）のカラーフィルタが交互に設けられ、それぞれ画素２１１Ｒ及び２１１Ｇ１で示す。また、偶数行の画素には、左から順に緑２（Ｇｒｅｅｎ）と青（Ｂｌｕｅ）のカラーフィルタが交互に設けられ、同じく画素２１１Ｇ２及び２１１Ｂで示す。各画素に備わった円はオンチップマイクロレンズを表わし、その内側に配置された矩形は光電変換部である。なお、緑１と緑２のカラーフィルタの分光透過率特性は同一であるが、画素内部の配線構造は若干異なっており、周囲の画素の配列も異なるため、クロストーク特性も若干異なる。そこで本実施形態では異なる種別の画素として取り扱う。

２２１は第２の画素群で、焦点検出のために用いられ、所定の配列規則に則って第１の画素群の間に離散配置される。第２の画素群２２１（焦点検出用画素群）は、２２１ａ及び２２１ｂの２個で１対をなし、後述する方法にて位相差検出のための瞳分割機能が付与されている。そして、Ｘ軸方向に離間配置された複数の画素２２１ａの出力と、同じ領域での複数の画素２２１ｂの出力から、焦点検出用信号を創生する。

２３１は第３の画素群（焦点検出用画素群）で、同じく焦点検出のために用いられ、所定の配列規則に則って第１の画素群の間に離散配置される。第３の画素群２３１も、２３１ｃ及び２３１ｄの２個で１対をなしている。そして第２の画素群２２１ａ及び２２１ｂが、Ｘ方向の瞳分割を行なうのに対して、第３の画素群２３１ａ及び２３１ｂはＹ方向の瞳分割を行なう。第３の画素群も、Ｙ軸方向に離間配置された複数の画素出力を連結し、焦点検出用信号を創生する。

上記第２及び第３の画素群は、第１の画素群のうち、ＲとＢに置換して配置される。その理由は次のとおりである。記録もしくは観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲもしくはＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態においては、Ｇ画素は撮像用画素として残し、ＲとＢの画素の一部を焦点検出用の第２及び第３の画素群に置き換える。また、第２及び第３の画素群のカラーフィルタは、可視光帯域全域に渡って高透過率を有する材料が用いられる。このフィルタを透明フィルタと呼称する。

図４は、第１の画素群の構造と、撮影光学系の射出瞳に対する光電変換部の共役関係を示した図である。図４（ａ）は第１の画素群の２行×２列部分を取り出した平面図である。図４（ａ）における断面Ａ−Ａを図４（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧ１はＧ１（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤ（Ｐｈｏｔｏ Ｄｉｏｄｅ）は図３で説明したＣ−ＭＯＳセンサの光電変換部を模式的に示したものであり、ＣＬ（Ｃｏｎｔａｃｔ Ｌａｙｅｒ）はＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。

ここで、各画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬ（Ｔａｋｉｎｇ Ｌｅｎｓ）を通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰ（Ｅｘｉｔ Ｐｕｐｉｌ）と光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部ＰＤの有効面積はできる限り大きくなるように設計される。また、図４（ｂ）ではＲ画素の入射光束について説明したが、Ｇ１、Ｇ２及びＢ画素も実質的に同一の構造となっている。従って、第１の画素群のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束（光量子）を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図５は、第２の画素群の構造と、撮影光学系の射出瞳における瞳分割機能を示した図である。図５（ａ）は第２の画素２２１ａ及び２２１ｂを含む２行×２列部分を取り出した平面図である。

図５（ａ）における断面Ａ−Ａを図５（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図４（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。また、撮像素子で瞳分割を行なうため、最下層の配線層ＣＬ１の開口幅はフォトダイオードＰＤの寸法よりも狭く設定されると共に、開口中心はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素２２１ａの開口部ＯＰＨＡは右側に偏倚しているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素２２１ｂの開口部ＯＰＨＢは左側に偏倚しているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素２２１ａをＸ方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素２２１ｂもＸ方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置（Ｘ方向の横ずれ量）を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。

なお、上記第２の画素群２２１ａ及び２２１ｂでは、撮影画面のＸ方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、Ｙ方向に瞳分割を行なう第３の画素群２３１ａ及び２３１ｂを用いることで、Ｙ方向に輝度分布を有した被写体に対しても焦点検出可能としている。第３の画素群の瞳分割原理は、図５（ｂ）のＸ軸とＹ軸とを置き換えて考えればよいので、説明は省略する。

図６は、画素間におけるクロストークの関係と、クロストーク情報を得るための画素配列を説明する図である。図６（ａ）は、図２の撮像領域１０７ｉｍにおける第２の画素群近傍でのクロストーク現象を説明する図である。すべての画素は、周囲に隣接する画素より、光波及び電荷の洩れ込みを受けると共に、自身が受光した光波及び電荷の一部が隣接画素へ漏れ出す。その様子を矢印で示している。なお、クロストークは上下及び左右に隣接した画素間で大きく、斜め方向に隣接した画素間では相対的に小さいことがわかっているので、本実施形態では斜め方向のクロストークは無いと見なして説明する。

ここで、焦点検出信号の歪み原因となるクロストークは、第２の画素２２１ａ及び２２１ｂが周囲の画素から受ける成分である。すなわち、画素２２１ａにおいては、Ｘ方向に隣接した２個のＧ１画素からの洩れ込みと、Ｙ方向に隣接した２個のＧ２画素からの洩れ込みがクロストークの主成分となる。同様に、画素２２１ｂにおいては、Ｘ方向に隣接した２個のＧ２画素からの洩れ込みと、Ｙ方向に隣接した２個のＧ１画素からの洩れ込みがクロストークの主成分となる。すなわち、焦点検出用画素のクロストークの主たる発生元はＧ１及びＧ２の２種類であり、その方向はＸ方向正負とＹ方向正負の４方向である。よって、画素２種類×方向４種類の合計８種類のクロストーク情報が得られれば良い。

図６（ｂ）は、クロストーク情報を得るための画素配列説明図である。縦４行×横６列＝２４画素の領域において、図示のごとく第１の画素２１１Ｇ１及び２１１Ｇ２を各１個、正規の状態で配置する。そしてその他の画素は、オンチップマイクロレンズと光電変換部の間が遮光処理された、遮光画素２１１ＢＬＫとする。これらの画素間のクロストークを矢印で示すが、遮光画素は光学的に遮蔽されているため、クロストークは２個の画素２１１Ｇ１及び２１１Ｇ２から四方に向かう成分のみとなる。

ここで焦点検出信号にクロストーク補正を施すために必要な情報は、前述したように、Ｇ１及びＧ２画素のＸ及びＹ方向のクロストーク情報である。これら８種の情報は、それぞれ次の画素の出力を参照すればよい。まず、画素Ｇ１のＸ方向クロストークは、左右に隣接する画素Ｇ１ｘ＋とＧ１ｘ−の出力から、Ｙ方向クロストークは上下に隣接する画素Ｇ１ｙ＋とＧ１ｙ−の出力から得られる。また、画素Ｇ２のＸ方向クロストークは左右に隣接する画素Ｇ２ｘ＋とＧ２ｘ−の出力から、Ｙ方向クロストークは上下に隣接する画素Ｇ２ｙ＋とＧ２ｙ−の出力から得られる。

図６（ｃ）は、クロストーク情報取得領域における画素配列を示したもので、図６（ｂ）に示した４行×６列＝２４画素の更に外側に、１行及び１列の遮光画素を追加し、クロストーク情報取得画素への洩れ込みが、中央に配置された２個の画素２１１Ｇ１及び２１１Ｇ２を起源とする洩れ込みのみに限定されるようにしたものである。そしてこの６行×８列＝４８画素を最小単位とし、この最小単位を図２における８箇所のクロストーク情報取得領域１０７ｃｔに各々配置する。

図７は、クロストーク情報を取得するための遮光画素の構造と、撮影光学系の射出瞳に対する光電変換部の共役関係を示した図である。図７（ａ）は、図６（ｂ）の画素２１１Ｇ１とこれに隣接する遮光画素を含む２行×２列部分を取り出した平面図である。

図７（ａ）における断面Ａ−Ａを図７（ｂ）に示す。左側の画素２１１Ｇ１における光電変換部と撮影光学系の射出瞳間の共役関係は、図４における画素２１１Ｒと同じである。一方、遮光画素Ｇ１ｘ＋は、最上層の配線層ＣＬ３の開口部が完全に遮蔽され、マイクロレンズから入射した直接光は光電変換部に到達できない。すなわち、画素Ｇ１ｘ＋の出力は、隣接する画素２１１Ｇ１からの光波及び電荷の洩れ成分と見なすことができる。

図８は、像信号におけるクロストーク測定方法と測定結果を示す図である。撮像素子１０７の前方には、射出瞳ＴＬで簡略表記された測定用撮影光学系が配置され、物体側には面光源と拡散板で構成された均一輝度面ＩＬＭが配置される。この測定系において、撮影光学系の絞り値を変えながら、撮像素子に適正露光量を与える。そして図２のクロストーク情報取得領域１０７ｃｔに配置された所定画素に対し、図６（ｂ）で説明したＸ方法及びＹ方向のクロストークを算出する。

図８（ｂ）は撮影光学系の絞り値がＦ２．８の場合、図８（ｃ）はＦ８の場合のクロストーク測定結果の一例である。両図における数値は、中央の撮像用画素の出力を１とした時の、その周辺８画素から出力される信号を示したもので、これらの数値がクロストーク率に相当する。クロストークは隣接画素間での光波及び電荷の洩れに起因するが、画素に入射する光波の入射角特性は、撮影光学系のＦ値と像高に依存するため、クロストーク率もＦ値と像面上の位置により変化する。ここで位置による補正方法を図８（ｄ）にて説明する。

図８（ｄ）は、図２に示したクロストーク情報取得領域１０７ｃｔの配置を示したものである。また、ＡＦＷ１及びＡＦＷ２は、被写体認識等の結果により選択された焦点検出領域である。ここで、クロストーク情報取得領域１０７ｃｔは撮像領域の外側に配置されている。一方で、焦点検出領域は撮像領域内にあり、クロストーク情報取得領域とは位置が異なり、図８（ｂ）に示した１組のクロストーク率をそのまま用いると誤差を生ずる。よって、複数のクロストーク情報取得領域１０７ｃｔにおけるクロストーク率を、着目する焦点検出領域の座標に基づいて補間（内挿演算）することで、任意の焦点検出領域におけるクロストーク率を算出することができる。図８（ｄ）では、３箇所のクロストーク情報取得領域１０７ｃｔの値を用いて、着目する焦点検出領域でのクロストーク率を算出する様子を示しているが、他の補間方法を用いても構わない。

図９は、撮像素子上に配列された各画素の瞳強度分布を測定する装置の概略構成図である。瞳強度分布とは、画素における受光効率の方向依存性を指すが、詳しくは後述する。ＲＥＦは投影平面で、撮像素子１０７からＺ方向（光軸方向）に所定寸法だけ離間した位置に定義された平面であり、撮影光学系の射出瞳ＴＬが位置する面とほぼ等価な面として規定される。ＬＳは光源で、投影平面ＲＥＦ上を、Ｘ方向及びＹ方向に自在に移動できるように構成されている。

この装置において、投影平面ＲＥＦ上に所定ピッチの正方格子を設定し、この格子上の所定座標（Ｘ，Ｙ）に光源ＬＳを駆動する。そして、撮像素子の撮像動作を行なうと、このとき撮像素子１０７の各画素から得られる出力は、撮影光学系の射出瞳面上の所定座標（Ｘ，Ｙ）における、各画素の受光効率の入射方向依存性とみなすことができる。そこで、投影平面ＲＥＦの全面に渡って光源を駆動し、各光源位置における各画素の出力信号を処理することで、射出瞳領域における各画素の受光効率の入射方向依存性分布を得ることができる。

図１０は、図４乃至図７に示した各画素の受光特性を説明する図である。図１０（ａ）は、図５（ａ）に示した４画素のうち、焦点検出用画素２２１ａと撮像用画素２１１Ｇ１を取り出した平面図である。ここで図４（ｂ）及び図５（ｂ）に示したように、各画素の光電変換部ＰＤはオンチップマイクロレンズＭＬにより、撮影光学系の射出瞳面上に投影される。

図１０（ｂ）は、図８に示した投影平面における、各２種類の画素の光電変換部の投影像と、撮影光学系の射出瞳の投影像を示した平面図である。ＥＰ２１１は撮像画素２１１Ｇ１の光電変換部の投影像、ＥＰ２２１ａは焦点検出用画素２２１ａの光電変換部の投影像である。また、ＴＬは撮影光学系の射出瞳の投影像である。

図１０（ｃ）は図１０（ｂ）のＡ−Ａ断面における受光特性で、横軸は投影平面における水平座標、縦軸は光電変換部の受光効率を表わす。図４及び図５において、画素内に配置された光電変換部はオンチップマイクロレンズにより、撮影光学系の射出瞳と共役関係にあると説明した。これは、射出瞳面上における撮影光学系の射出瞳ＴＬと光電変換部の投影像ＥＰの共通領域を通過する光束のみが、光電変換部に到達することを意味する。したがって、上記の投影像は撮影光学系の射出瞳面上、すなわち投影平面ＲＥＦ上に配置された画素固有の開口絞りに相当し、図１０（ｃ）の縦軸は各開口絞りの透過率分布になる。そしてこの透過率分布は光電変換部の光束受光効率と見なすことができる。この光束受光効率の分布特性を便宜上「瞳強度分布」と称することにする。

ここで、オンチップマイクロレンズによる投影性能が幾何光学的に無収差であれば、瞳強度分布はゼロもしくは１のいずれか一方の値のみを有するステップ関数となる。しかしながら、各画素の寸法は数μｍ程度と微小なため、射出瞳面上に投影された光電変換部の像は光の回折により鮮鋭度が低下する。また、通常オンチップマイクロレンズは球面レンズであるため、球面収差によっても投影像の鮮鋭度は低下する。そこで、各画素の瞳強度分布もボケを生じ、ステップ関数の肩部はなまり、基底部は裾を引いた形状となる。例えば撮像画素２１１Ｇ１の光電変換部の中心はマイクロレンズＭＬの光軸と一致しているため、瞳強度分布ＥＰ２１１は中心軸に対してＸ方向に対称であり、その重心も中心軸上に位置する。これに対して焦点検出用画素２２１ａの光電変換部はマイクロレンズの光軸に対して偏倚しているため、瞳強度分布ＥＰ２２１ａの重心も中心軸に対してＸ軸の正方向に偏倚している。そしてその形状は、重心を通る軸に対して左右非対称であり、Ｘ軸の負方向の裾が長くなっている。これは、隣接画素からのクロストークにより、瞳強度分布にも歪みが生じたことが主因である。

図１０（ｄ）は、図６（ｂ）に示した撮像画素２１１Ｇ１と左右に隣接した遮光画素Ｇ１ｘ−およびＧ１ｘ＋の計３画素を取り出した平面図である。

図１０（ｅ）は、投影平面ＲＥＦにおける上記の３画素の光電変換部の投影像を示した平面図である。ＥＰ２１１は撮像画素２１１Ｇ１の光電変換部の投影像であり、１０図（ｂ）に示したＥＰ２１１と同一である。また、遮光画素については、マイクロレンズと光電変換部の間に遮光部材が配置されるため、光電変換部の投影像は存在しない。

図１０（ｆ）は図１０（ｅ）のＡ−Ａ断面における瞳強度分布で、横軸と縦軸は図１０（ｃ）と同一である。ＥＰ２１１は撮像画素２１１Ｇ１の瞳強度分布で、その形状は図１０（ｃ）に示した瞳強度分布ＥＰ２１１と略同一だが、強度は若干小さくなっている。その理由は、図１０（ｃ）の特性は隣接画素からのクロストークを含んだものであるのに対して、図１０（ｆ）では隣接画素が遮光画素のため、クロストークによる漏れ込みが殆ど無いからである。

一方ＣＴｘ−は、遮光画素Ｇ１ｘ−の瞳強度分布である。遮光画素の瞳強度分布は、本来はＸ軸上全域に渡ってゼロのはずであるが、隣接する撮像画素からの光波と電荷の洩れにより、瞳強度分布においてもある値を示す。すなわち、瞳強度分布においても隣接画素間のクロストークが発生し、瞳強度分布ＣＴｘ−は撮像画素２１１Ｇ１がＸ軸上負の方向に隣接する画素に与えるクロストークと見なすことができる。同様にＣＴｘ＋は遮光画素Ｇ１ｘ＋の瞳強度分布であり、撮像画素２１１Ｇ１がＸ軸上正方向に隣接する画素に与えるクロストークとなる。

図１０（ｇ）は、焦点検出用画素の瞳強度分布におけるクロストーク補正前後の特性を説明する図である。ＥＰ２２１ａは、焦点検出用画素２２１ａにおけるクロストーク補正前の瞳強度分布で、図１０（ｃ）に示した波形ＥＰ２２１ａである。ＣＴｘ＋及びＣＴｘ−は、撮像画素から焦点検出用画素へのクロストークで、図１０（ｆ）に示した波形ＣＴｘ＋及びＣＴｘ−である。ＥＰ２２１ａｃｔはクロストーク補正後の瞳強度分布で、波形ＥＰ２２１ａからＣＴｘ＋とＣＴｘ−を減じたものである。このように瞳強度分布にクロストーク補正を施すことで、クロストークに起因する波形歪みが減少し、後述するように瞳強度分布を用いた焦点検出の精度が向上する。

なお、図１０（ｃ）に示した焦点検出用画素の瞳強度分布ＥＰ２２１ａは像高により異なるので、撮影画面上の複数の代表位置ごとに値を記憶しておくのが好ましい。また、図１０（ｆ）に示したクロストーク波形ＣＴｘ＋及びＣＴｘ−は、撮影画面の外側で取得された値である。よって、図１０（ｇ）に示した瞳強度分布のクロストーク補正も、図８（ｄ）に示したように焦点検出用画素の位置に応じた補間を行なう。

図１１は、瞳強度分布から焦点検出用像信号の補正情報を得るための信号処理方法を説明する図である。図１１（ａ）は、投影平面ＲＥＦ上に投影された焦点検出用画素の瞳強度分布と撮影光学系の射出瞳の平面図で、撮影画面中央での状態を示した図である。ＥＰ２２１ａ及びＥＰ２２１ｂは、焦点検出用画素２２１ａ及び２２１ｂについての２次元平面での瞳強度分布を等高線にて示したものである。この値は、図９の装置で測定され、図１０の方法でクロストーク補正された結果を示している。なお、図１０（ｇ）ではクロストーク補正後の瞳強度分布をＥＰ２２１ａｃｔと表記したが、図１１以降は「ｃｔ」の文字を省略する。ＴＬは撮影光学系の射出瞳、すなわち焦点検出光束が通過できる開口である。

図１１（ａ）に示した射出瞳ＴＬ内の瞳強度分布ＥＰ２２１ａ及びＥＰ２２１ｂを、Ｘ軸上に射影したものが図１１（ｂ）のＰＲＪａ及びＰＲＪｂである。この射影は後述する線像分布波形と実質的に等価であり、ケラレによって歪んだ焦点検出像を修正するための像修正フィルタを創生するために用いられる。

一方で、この射影の重心間隔ＸＧは、位相差式焦点検出システムの基線長に相当する。この基線長は、焦点検出用２像の横ずれ量をデフォーカス量に変換する際に用いられるため、後述する焦点検出演算ではこの重心間隔も計算する。また、この射影をＸ軸方向に積分した値、すなわち射影波形の面積は、基準となる均一輝度光源から出射し、撮影光学系の射出瞳を通過して画素に入射する全光量に比例する。すなわち、各画素の射影の積分値はその画素における受光効率と等価であるため、その積分値は焦点検出信号のシェーディング補正のための係数として利用できる。

図１１（ｃ）は、撮影画面上の周辺位置における瞳強度分布と射出瞳の様子を示したもので、焦点検出用画素の瞳強度分布ＥＰ２２１ａ及びＥＰ２２１ｂは実質的に図１１（ａ）と同じである。一方で、撮影光学系の射出瞳ＴＬは口径食のために形状が変化し、Ｘ方向寸法が小さくなっている。また、像面から射出瞳までの距離が標準的な距離からずれていると、その開口中心も瞳強度分布の対称軸から偏心する。

図１１（ｃ）における瞳強度分布の射影を計算したものが図１１（ｄ）である。口径食により、射影ＰＲＪａとＰＲＪｂの形状（幅や最大強度）は異なることがわかる。従って射影の重心間隔ＸＧや、シェーディング補正情報として利用される射影の積分値も異なっている。

図１２は、図１１で説明した射影と、デフォーカス時の線像分布波形の関係について説明したものである。被写体は黒い背景上に描かれた白い細線で、その線幅は実質的にゼロと見なせる値となっている。着目する画素は焦点検出用画素２２１ａで、撮影光学系の射出瞳面にはこの画素の光電変換部の投影像ＥＰ２２１ａが投影されている。この投影像ＥＰ２２１ａは図１１（ａ）に示した瞳強度分布ＥＰ２２１ａに対応し、この瞳強度分布に応じた光束が焦点検出用画素に到達する。この状況は、上記の瞳強度分布と同一特性の透過率分布を有したグラデーションＮＤフィルタが、撮影光学系の射出瞳面に配置されていることと等価である。

細線被写体から射出した光束は撮影光学系の射出瞳面上の領域ＥＰ２２１ａを通過し、像面に収束する。そしてこの結像系において収差及び回折の影響が無いと仮定すると、合焦位置における被写体像は幅がゼロの線像となり、この線像を任意位置で切った断面での照度分布ＬＮａ0は幅がゼロのδ関数となる。一方、デフォーカス量がＤＥＦの前ピン位置では、ボケた線像が投影され、任意位置における照度分布ＬＮａ＋の形状は、図１１（ｂ）に示した射影ＰＲＪａと相似形になる。そして照度分布ＬＮａ＋の幅は、デフォーカス量ＤＥＦに比例することがわかる。後ピン位置でのボケた線像の照度分布ＬＮａ−も同様に求めることができるが、その形状は、図１１（ｂ）の射影ＰＲＪａを左右反転させたものとなる。

すなわち、線像波形ＬＮａ＋もしくはＬＮａ−は、細線被写体とその線像を関係付ける伝達関数であり、この伝達関数は図１１（ｂ）に示した瞳強度分布の射影ＰＲＪａから求まることを示している。ただし、線像波形の幅はデフォーカス量に比例するため、正確な線像を求めるためにはデフォーカス量が既知でなければならない。一方で、焦点検出時にはデフォーカス量が未知であるため、焦点検出開始時には線像波形を求めることができず、焦点検出像の歪み補正もできない。この問題を回避する方法は後述する。

図１３は焦点検出用像信号に各種補正を施す前と、施した後の波形を説明する図である。ここでの被写体は、黒地に２本の白線が印刷されたもので、この２本の白線の反射率が若干異なっているものを想定している。図１３（ａ）は合焦時に撮像用画素が出力する被写体像の波形である。

図１３（ｂ）は、デフォーカス時の１対の焦点検出像で、ＡＦａは画素群２２１ａの出力波形、ＡＦｂは画素群２２１ｂの出力波形である。デフォーカス状態のため、１対２像はＸ軸方法に相対的な横ずれを生じている。そして、この２像が同一形状で、横ずれのみが発生しているならば、公知の相関演算により２像の横ずれ量を正確に算出することができるが、本実施形態に用いられる焦点検出システムでは、主に以下の３つの理由により、２像が歪んでしまう。

第１の理由は口径食による光量差である。被写体が均一輝度の場合、焦点検出用画素に入射する光量は、図１１（ａ）もしくは（ｃ）に示したように、撮影光学系の射出瞳ＴＬ内での各画素の瞳強度分布積分値に比例する。そして、射出瞳ＴＬは口径食の影響により、像高に応じてその位置と面積が変化する。そこで、焦点検出用画素２２１ａと２２１ｂに入射する光量も、像高に応じてそれぞれ異なり、いわゆるシェーディングと呼ばれる光量落ち現象が発生する。よって２像の出力強度は座標依存性を生じ、波形としては異なったものになってしまう。

第２の理由は、像信号におけるクロストークである。ここでは上記シェーディングの影響が無い、すなわち口径食の影響がなく、合焦時には焦点検出用の１対２像は完全に一致すると仮定して考える。合焦時には２像の横ずれが無く、クロストークによる信号変化は２像に対してほぼ同一となるため、２像の一致度は保たれる。一方で、デフォーカス時の２像はＸ軸方向にずれているため、クロストークが焦点検出信号波形ＡＦａ及びＡＦｂに与える影響はそれぞれ異なる。よって、２像の一致度が低下してしまう。

第３の理由は、口径食による像歪みである。図１２で説明したように、被写体と像の関係を規定する伝達関数は、合焦時にはδ関数となるため、焦点検出用画像は被写体と相似形になり、２像は一致する。一方デフォーカス時の像信号波形は、合焦時の波形に線像分布関数を畳み込み積分した形状となっている。そして、焦点検出用画素２２１ａと２２１ｂの線像分布波形は各々異なるため、デフォーカス時の２像も異なる形状となってしまう。

これら３つの原因による焦点検出信号の歪みは、本実施形態においてはそれぞれ以下のように補正する。

まず、口径食による光量差の補正方法について説明する。図１１（ｂ）において、射影波形の積分値は当該画素の受光効率であると説明した。よって、焦点検出に用いる焦点検出用の各画素について、射影の積分値を計算し、その逆数を焦点検出用画素の出力に乗ずる（補正値を算出する）ことで、シェーディング補正が行なわれる。すなわち、受光効率が低い画素は射影の積分値が小さく、その逆数は大きな値となるため、受光効率の差に起因する信号の歪みを補正することができる。

２番目の像信号のクロストークは、焦点検出用画素とこれを取り囲む撮像画素の信号を取り出し、図８（ｂ）もしくは（ｃ）で求めたクロストーク率に基づいた信号の減算処理を行なえばよい。

３番目の口径食による像ひずみは、
ＡＦａ←ＡＦａ＊ＬＮｂ …（１）
ＡＦｂ←ＡＦｂ＊ＬＮａ …（２）
の式にて補正する。ＬＮａ及びＬＮｂは図１２に示した線像、＊は畳み込み演算を表わす。なお、線像ＬＮａ及びＬＮｂは、補正対象となる焦点検出信号のゲインと位相に影響を与えないようにするため、その面積と重心位置はそれぞれ一致するように加工されたものが用いられる。ここで、１対の焦点検出信号に、互いに相手の線像分布波形を畳み込み演算する理由は以下のとおりである。

図１２によると、焦点検出用画素２２１ａが取得した像信号は、理想的な像信号に対して線像ＬＮａが畳み込み積分されたものである。同様に、焦点検出用画素２２１ｂが取得した像信号は、理想的な像信号に対して線像ＬＮｂが畳み込み積分されたものである。そこで、像信号ＡＦａに線像ＬＮｂを畳み込み積分すると、得られた信号は理想的な像信号に対して線像ＬＮａとＬＮｂの両方を畳み込み積分したものに等価である。同様に、像信号ＡＦｂに線像ＬＮａを畳み込み積分すると、得られた信号は理想的な像信号に対して線像ＬＮａとＬＮｂの両方を畳み込み積分したものに等価である。よって、１対２像の歪み特性は同一となり、式（１）及び（２）で補正された２像は形状が同一で横ずれのみが生じていることになる。

ここで、上記の線像ＬＮａ及びＬＮｂは、図１１（ｂ）もしくは（ｄ）の射影と、デフォーカス量からから求めるが、焦点検出時にはデフォーカス量は未知なため、線像を求めることができないという問題がある。この問題を解決する方法は後述のフローチャートにて説明する。

以上の３種類の修正を施すことで、焦点検出用の２像は図１３（ｃ）に示すごとく形状が同一となるように復元され、横ずれのみが残る。よって、修正後の波形に公知の相関演算を適用することで、２像の横ずれ量が正確に算出でき、正確な焦点検出が可能となる。

図１４は本実施形態の撮像素子における読み出し回路の構成を示したものである。１５１は水平走査回路、１５３は垂直走査回路である。そして各画素の境界部には、水平走査ライン１５２と、垂直走査ライン１５４が配線され、各光電変換部はこれらの走査ラインを介して信号が外部に読み出される。

なお、本実施形態の撮像素子は以下の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。第２の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行なうためのモードである。この場合に必要な画素数は全画素よりも少ないため、第１の画素群はＸ方向及びＹ方向ともに所定比率に間引いた画素のみ読み出す。また第２及び第３の画素群はすべて読み出すことで、焦点検出機能は維持される。

図１５は、焦点検出時に取得された画像と焦点検出信号、及び焦点検出結果から得られたデフォーカスマップを説明する図である。図１５（ａ）において、撮像面に形成された被写体像には、中央に近景の人物、左側に中景の樹木、右側に遠景の山並みが写っている。そして図１５における焦点検出信号は、第２の画素群２２２による信号を採用した場合について説明する。

図１５（ａ）においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に第２の画素群２２２による１対の焦点検出用信号ＡＦａ及びＡＦｂが得られる。また、顔以外の領域については、所定ピッチで焦点検出領域が撮影画面全面にわたって設定される。図１５（ａ）の左は木の幹に対応した焦点検出領域とその信号が、右上には山の稜線に対応した焦点検出領域とその信号が示されている。そして、各焦点検出領域において得られた１対の信号はそれぞれ横ずれしているため、公知の相関演算により横ずれ量ｕ（単位をｍｍに換算したもの）を計算する。そして、以下の式（３）を用いてデフォーカス量ＤＥＦ（単位はｍｍ）を算出する。

θ×ＤＥＦ＝ｕ …（３）
上式のθは位相差式焦点検出システムにおける基線長で、図１１（ｂ）もしくは（ｄ）に示した射影の重心間隔ＸＧに相当する。ただし単位をラジアンとするため、上記の重心間隔ＸＧ（単位はｍｍ）を投影平面ＲＥＦまでの距離（単位はｍｍ）で除した値を用いる。

その後、主被写体、図１５においては中央に位置する顔領域について、デフォーカス量がゼロとなるように撮影光学系のフォーカスレンズを駆動し、再度焦点検出を行なう。

以上の焦点調節過程で、撮影画面全面における焦点ずれ情報、いわゆるデフォーカスマップが取得できるが、その一例を図１５（ｂ）に示す。当図では、デフォーカス量を所定の分解能に基づいて整理統合し、デフォーカス量の小さい領域から順に、ＤＥＦ０乃至ＤＥＦ３に統合した例を示す。

なお、デフォーカスマップを作成する場合は撮像領域全域に測距領域を設定する必要があるため、そのデータ分解能を高めるためには焦点検出時間も長くなり、カメラの応答性を低下させる恐れがある。その場合には、撮像時にカメラ内で作成するデフォーカスマップの分解能は粗く、撮影後に外部のコンピュータで高分解能のデフォーカスマップを作成すればよい。

図１６及び図１７は、撮像素子のクロストーク情報を取得するためのフローチャートである。撮像素子を備えたカメラの製造工程において、図８乃至図１０で説明した原理に基づいて２種類のクロストーク情報を取得する。そしてこのフローを実行する際は、図１に示した外部ＰＣ１４１とカメラ内ＣＰＵが連携して各ステップを実行する。

図１６は、画像信号のクロストーク率を取得するためのフローチャートである。図１に示した本実施形態のカメラは、その製造工程において、図８に示した装置を用いてクロストーク情報を取得する。

ステップＳ１７２では絞り値を設定するが、初回の測定では絞り値を開放に設定する。ステップＳ１７３では、設定した絞り値と均一輝度面の輝度設定値より、撮像素子の電荷蓄積量が適正になるように、蓄積時間を設定する。ステップＳ１７４では撮像を行なう。ステップＳ１７５では、クロストーク情報取得領域の各画素の出力を処理し、図８（ｂ）に示したクロストーク率を算出してカメラ内ＣＰＵに記憶する。ステップＳ１７６では絞り値を判断し、全絞り値における測定が完了していなければステップＳ１７２に戻って絞り値を変更し、同様の測定を繰り返す。全絞り値の測定が完了したら、ステップＳ１７６からステップＳ１７７に移行し、画像信号のクロストーク情報取得を完了する。

図１７は瞳強度分布のクロストーク測定フローである。この測定方法は図９に示したように、撮影光学系を不要としているため、測定用の光学系を取り外して行なう。ステップＳ１８２では図９に示した光源ＬＳの位置を制御する。最初は初期位置、例えばＸ、Ｙ座標共に正方向の駆動範囲の最大値に駆動する。ステップＳ１８３では撮像素子の電荷蓄積量が適正になるように、蓄積時間を設定するが、この測定では全測定工程に渡って光源の明るさと蓄積時間は一定として構わない。ステップＳ１８４では撮像を行なう。ステップＳ１８５では瞳強度分布情報を取得すべき画素の画像信号を一時記憶する。ステップＳ１８６では光源ＬＳの全座標における測定が完了したか否かを判定する。そして測定が完了していなければ、ステップＳ１８２に戻って光源ＬＳを次の測定座標に駆動し、同様の測定を繰り返す。

設定した全座標における測定が完了したら、ステップＳ１８６からステップＳ１８７に移行し、所定画素における瞳強度分布を作成して記憶する。これは、ステップＳ１８２乃至ステップＳ１８６で取得した複数組の画像情報から、図１０（ｃ）及び（ｆ）に示したデータ形式に整理する工程である。そして、ステップＳ１８８で瞳強度分布、及びそのクロストーク情報の取得を完了する。

図１８及び図１９は、本実施形態に係わるカメラの焦点調節及び撮影工程を説明するためのフローチャートである。先に説明した図１乃至図１７の各図を参照しながら、図１８以降の制御フローを説明する。

図１８はカメラのメインフローである。撮影者がカメラの電源スイッチをオン操作すると、ステップＳ１０２においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。

ステップＳ１０３では撮影条件の設定受付けを行なう。具体的には、露光調節モード、焦点調節モード、画質（記録画素数や圧縮率）等を撮影者が設定するのを受け付ける。ステップＳ１０４では、撮影光学系のズーム状態、フォーカスレンズ状態、及び絞り状態を検出し、射出瞳の大きさや射出瞳距離等の情報をＲＯＭから読み出す。ステップＳ１０５では撮像素子の撮像動作を行ない、画素信号を読み出す。ステップＳ１０７では読み出した画素信号から表示用縮小画像を創生し、カメラ背面に設けられた表示器１３１に表示する。すると撮影者はこのプレビュー画像を目視して構図決定やズーム操作等を行なう。

ステップＳ１２１では後述する焦点検出サブルーチンを実行する。ステップＳ１５１では、ステップＳ１２１で算出したフォーカスレンズ駆動量が所定値以下か否かを判断する。そしてその駆動量が所定値以下の場合は合焦と判断し、ステップＳ１５３にジャンプする。一方レンズ駆動量が所定値以上の場合はステップＳ１５２でフォーカスレンズを駆動する。

ステップＳ１５３では、撮影スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１８１にジャンプし、オン操作されている場合はステップＳ１６１にて画像記録を実行する。

ステップＳ１８１では、メインスイッチのオフ状態を判別し、ＮＯの場合、すなわちオン状態が維持されている場合はステップＳ１０２に戻り、ステップＳ１０２乃至ステップＳ１６１を繰り返し実行する。ステップＳ１８１にてメインスイッチがオフされていたら、ステップＳ１８２以降を実行する。

ステップＳ１８２では、ステップＳ１６１で記録された画像を、インターネット回線を介してサーバーコンピュータに送信する。するとサーバーコンピュータでは、デフォーカスマップの高精度演算等の、演算規模の大きな処理を実行する。ステップＳ１８３では、サーバーコンピュータで処理した画像を受信する。ステップＳ１８４では、ステップＳ１６１で記録したオリジナル画像に対して、サーバーコンピュータで処理した修正部分を追加したり、置き換え修正を行なう。そしてステップＳ１８５にて撮影を終了する。

図１９は焦点検出サブルーチンのフロー図である。メインフローのステップＳ１２１から当サブルーチンのステップＳ１２１にジャンプすると、ステップＳ１２２において、プレビュー画像から被写体パターンを認識し、顔画像の判別や、撮影画面全体のコントラスト分析等を行なう。ステップＳ１２３では、ステップＳ１２２での認識結果から、焦点を合わせるべき焦点検出領域を決定する。ここで、焦点検出領域は１箇所に限定されるものではなく、複数箇所が選択されても良い。ステップＳ１２４では、決定された焦点検出領域に含まれる焦点検出用画素の信号を抽出し、相関演算用の１対２像を準備する。ステップＳ１２５では、図１６のフローで測定し、記憶された像信号のクロストーク情報と、焦点検出領域の座標から、像信号のクロストーク率を算出する。ステップＳ１２６では、ステップＳ１２４で創生した１対２像に対して、ステップＳ１２５で算出したクロストーク率を用いて、焦点検出用信号のクロストーク補正を行なう。

ステップＳ１２７では、メインフローのステップＳで検出したレンズ状態と、当フローのステップＳ１２３で決定した焦点検出領域の座標から、この座標における撮影光学系の射出瞳の計算を行ない、図１１（ａ）もしくは（ｃ）に示した投影平面ＲＥＦ上における射出瞳ＴＬの形状を算出する。ステップＳ１２８では、焦点検出用画素における瞳強度分布を読み出し、続いてステップＳ１２９では、瞳強度分布のクロストーク情報を読み出す。そしてステップＳ１３０では、これらの情報から焦点検出用画素の瞳強度分布にクロストーク補正を施し、クロストークが除去された瞳強度分布を算出する。ステップＳ１３１では、図１１（ｂ）で説明した、瞳強度分布の射影計算を行ない、ステップＳ１３２では１対２個の射影の重心間隔から、基線長θを計算する。

ステップＳ１３３では、ステップ１３１で求めた射影を積分することにより、シェーディング補正係数を算出する。ステップＳ１３４では、ステップＳ１２６で処理した焦点検出用の像信号に対して、ステップＳ１３３で算出したシェーディング補正係数を乗じて、シェーディング補正を行ない、１対２像の信号強度を揃える。ステップＳ１３５では、公知の相関演算手法を用いて、ステップＳ１３４で求めた１対２像の横ずれ量を計算する。ステップＳ１３６では、ステップＳ１３２で計算した基線長と、ステップＳ１３５で算出された２像の横ずれ量から、デフォーカス量を算出する。

ステップＳ１４１では、デフォーカス量の大きさ判定を行ない、デフォーカス量が所定値以下で実質的に合焦と見なせる場合は、ステップＳ１４２で撮影画面全域のデフォーカスマップ作成を行なう。一方ステップＳ１４１で非合焦と判断されたらステップＳ１４３に移行する。ステップＳ１４３では、ステップＳ１３１で計算した射影と、ステップＳ１３６で算出したデフォーカス量から、図１４で説明した線像分布波形ＬＮａを求め、これを像修正フィルタとする。なお、図１４では焦点検出用画素２２１ａの線像波形のみを示しているが、もう一方の画素２２１ｂの線像波形ＬＮｂも同様に求める。ステップＳ１４４では、ステップＳ１３４で求めたシェーディング補正後の１対２像に、ステップＳ１４３で求めた像修正フィルタを前述の式（１）及び式（２）に従って適用し、像修正を行なう。

ステップＳ１４５では、修正された２像に対して再度相関演算を行ない、ステップＳ１４６でデフォーカス量を算出する。ステップＳ１４７では、前回算出したデフォーカス量に対して、今回算出したデフォーカス量が異なっているか否かを判定する。ここで、像修正が初回の場合は、前回算出したデフォーカス量はステップＳ１３６で算出した、像修正無しでの演算、今回算出したデフォーカス量は像修正ありの演算結果である。そして前者で用いた焦点検出信号には口径食による歪みが乗っており、焦点検出誤差も大きい。一方で、後者で用いた焦点検出信号は口径食による歪みが補正されているため、焦点検出誤差も低減している。そこで、両者の差は所定値以上になり、ステップＳ１４３に戻って像修正フィルタを再度算出する。このとき用いられるデフォーカス量は、ステップＳ１４６で算出された値、すなわち誤差が低減された値を用いることができる。そこで、ステップＳ１４４乃至ステップＳ１４６にて実行される演算は、口径食による歪み補正がより高精度に補正された２像を用いることができるため、焦点検出誤差も低下する。

上記のステップＳ１４３乃至１４７を繰り返し実行すると、像修正の精度が次第に向上し、演算されたデフォーカス量も真の値に漸近する。そして、焦点検出結果の変動が所定値以下に収束したら、ステップＳ１４７からステップＳ１４８に移行し、最後に算出されたデフォーカス量をレンズ駆動量に変換し、ステップＳ１４９にてメインルーチンにリターンする。

以上の第１の実施形態による作用と効果をまとめると以下のようになる。
（１−１）口径食に起因する焦点検出用信号の歪みを補正するための像修正フィルタを創生する際、瞳強度分布におけるクロストークを補正した情報を用いるため、焦点検出用信号の歪み補正精度が向上し、焦点検出精度が向上する。
（１−２）撮像素子の複数の領域にクロストーク情報検出用画素を配置したため、正確なクロストーク情報を入手でき、焦点検出精度が向上する。

（第２の実施形態）
第１の実施形態は、撮影に供する撮像素子に、クロストーク情報取得用画素群が配置されていた。以下に示す第２の実施形態は、計測専用の撮像素子を用いてクロストーク情報を取得し、取得された情報を撮影用の撮像素子に供する実施形態を示す。

図２０は、第２の実施形態に係わる撮像装置の構成を示し、計測用撮像装置２００においては、図１に示した第１の実施形態の撮像装置１００が備える撮像素子１０７の代わりに、画素配列の異なる撮像素子２０７が組み込まれている。そしてＣＰＵ１２１は外部ＰＣ１４１を介して撮影用の撮像装置１００と通信可能な構成になっている。また、撮像装置１００の撮像素子は、クロストーク情報取得用の画素は省略されている。すなわち計測用撮像装置２００はクロストーク情報取得専用カメラとして使用され、取得されたクロストーク情報は、外部ＰＣ１４１を介して撮像装置１００へ転送される。

図２１は撮像素子２０７の画素配列領域を示したもので、第１の実施形態の図２と同様に、撮影光学系側から撮像素子２０７の受光面を見た図である。２０７ｉｍは撮像領域で、図２の１０７ｉｍと同様に撮像及び焦点検出用の画素がＸ−Ｙ平面上に２次元配置されている。そしてその中の特定部分が、クロストーク情報取得領域２０７ｃｔに置き換えられている。このクロストーク情報取得領域２０７ｃｔの画素配列は、第１の実施形態の図６と同様の配列になっている。

図２２及び図２３は、撮像装置２００を用いてクロストーク情報を取得するためのフローチャートである。第２の実施形態においては、撮像装置２００を用いて、第１の実施形態と同様に図８乃至図１０で説明した原理に基づいて２種類のクロストーク情報を取得する。そしてこのフローを実行する際は、取得されたクロストーク情報を図２０に示した外部ＰＣ１４１に一時記憶し、次いで撮影用の撮像装置１００に転送する。

図２２は、画像信号のクロストーク率を取得するためのフローチャートで、第１の実施形態の図１６に示したフローチャートと同一の方法にて情報を取得するが、データの一時記憶と転送のステップが追加されている。図１６と同一内容のステップは同一番号にて示す。

ステップＳ１７２では絞り値を設定するが、初回の測定では絞り値を開放に設定する。ステップＳ１７３では、設定した絞り値と均一輝度面の輝度設定値より、撮像素子の電荷蓄積量が適正になるように、蓄積時間を設定する。ステップＳ１７４では撮像を行なう。ステップＳ１７５では、クロストーク情報取得領域の各画素の出力を処理し、図８（ｂ）に示したクロストーク率を算出してカメラ内ＣＰＵ１２１に記憶する。ステップＳ１７６では絞り値を判断し、全絞り値における測定が完了していなければステップＳ１７２に戻って絞り値を変更し、同様の測定を繰り返す。

全絞り値の測定が完了したら、ステップＳ１７６からステップＳ２７１に移行し、外部ＰＣ１４１を介して撮影用の撮像装置１００にクロストーク情報を転送する。そしてステップＳ１７７に移行し、画像信号のクロストーク情報取得を完了する。

図２３は瞳強度分布のクロストーク測定フローで、第１の実施形態の図１７に示したフローチャートと同一の方法にて情報を取得するが、データの一時記憶と転送のステップが追加されている。図１７と同一内容のステップは同一番号にて示す。

第２の実施形態の測定フローにおいても、図９に示したように撮影光学系を不要としているため、測定用の光学系を取り外して行なう。ステップＳ１８２では図９に示した光源ＬＳの位置を制御する。最初は初期位置、例えばＸ、Ｙ座標共に正方向の駆動範囲の最大値に駆動する。ステップＳ１８３では撮像素子の電荷蓄積量が適正になるように、蓄積時間を設定するが、当測定では全測定工程に渡って光源の明るさと蓄積時間は一定として構わない。ステップＳ１８４では撮像を行なう。ステップＳ１８５では瞳強度分布情報を取得すべき画素の画像信号を一時記憶する。ステップＳ１８６では光源ＬＳの全座標における測定が完了したか否かを判定する。そして測定が完了していなければ、ステップＳ１８２に戻って光源ＬＳを次の測定座標に駆動し、同様の測定を繰り返す。

設定した全座標における測定が完了したら、ステップＳ１８６からステップＳ１８７に移行し、所定画素における瞳強度分布を作成して記憶する。これは、ステップＳ１８２乃至ステップＳ１８６で取得した複数組の画像情報から、図１０（ｃ）及び（ｆ）に示したデータ形式に整理する工程である。続いてステップＳ２８１では焦点検出用画素の瞳強度分布にクロストーク補正を施して図１０（ｇ）の情報を作成する。ステップＳ２８２では、外部ＰＣ１４１を介して撮影用の撮像装置１００にクロストーク情報を転送する。そしてその情報をカメラ内ＣＰＵ１２１に記憶し、ステップＳ１８８で瞳強度分布の測定とクロストーク補正を完了する。

図２２と図２３で取得した２種類のクロストーク情報が撮影用の撮像装置１００に転送されると、撮像装置１００はこのクロストーク情報を用いた焦点検出が可能となる。撮像装置１００の撮影に関するメインフローは第１の実施形態の図１８に示したものと実質的に同一であるため、説明は省略する。

図２４は第２の実施形態における撮像装置１００で焦点検出する際のフローである。第１の実施形態の図１９に示したフローに対して、クロストーク補正を実行する順番が異なっているが、それ以外のステップは実質的に同一であり、同一ステップは同一番号で示している。

メインフローのステップＳ１２１から当サブルーチンのステップＳ１２１にジャンプすると、ステップＳ１２２において、プレビュー画像から被写体パターンを認識し、顔画像の判別や、撮影画面全体のコントラスト分析等を行なう。ステップＳ１２３では、ステップＳ１２２での認識結果から、焦点を合わせるべき焦点検出領域を決定する。ここで、焦点検出領域は１箇所に限定されるものではなく、複数箇所が選択されても良い。ステップＳ１２４では、決定された焦点検出領域に含まれる焦点検出用画素の信号を抽出し、相関演算用の１対２像を準備する。

ステップＳ１２７では、メインフローのステップＳ１０４で検出したレンズ状態と、当フローのステップＳ１２３で決定した焦点検出領域の座標から、当座標における撮影光学系の射出瞳の計算を行ない、図１１（ａ）もしくは（ｃ）に示した投影平面ＲＥＦ上における射出瞳ＴＬの形状を算出する。ステップＳ２２８では、図２３のステップＳ２８１及びステップＳ２８２で取得及び転送記憶された、クロストーク補正済みの瞳強度分布を読み出す。ステップＳ１３１では、図１１（ｂ）で説明した、瞳強度分布の射影計算を行ない、ステップＳ１３２では１対２個の射影の重心間隔から、基線長θを計算する。

ステップＳ１３３では、ステップ１３１で求めた射影を積分することにより、シェーディング補正係数を算出する。ステップＳ１３４では、ステップＳ１２６で処理した焦点検出用の像信号に対して、ステップＳ１３３で算出したシェーディング補正係数を乗じて、シェーディング補正を行ない、１対２像の信号強度を揃える。ステップＳ１３５では、公知の相関演算手法を用いて、ステップＳ１３４で求めた１対２像の横ずれ量を計算する。ステップＳ１３６では、ステップＳ１３２で計算した基線長と、ステップＳ１３５で算出された２像の横ずれ量から、デフォーカス量を算出する。

ステップＳ１４１では、デフォーカス量の大きさ判定を行ない、デフォーカス量が所定値以下で実質的に合焦と見なせる場合は,ステップＳ１４２で撮影画面全域のデフォーカスマップ作成を行なう。一方ステップＳ１４１で非合焦と判断されたらステップＳ２４１に移行する。ステップＳ２４１では、図２２のフローにて取得及び転送記憶された像信号におけるクロストーク率を読み出し、ステップＳ２４２では焦点検出用像信号にクロストーク補正を施す。そしてステップＳ２４３では、ステップＳ１３４と同様のシェーディング補正を行なう。

ステップＳ１４３では、ステップＳ１３１で計算した射影と、ステップＳ１３６で算出したデフォーカス量から、図１４で説明した線像分布波形ＬＮａを求め、これを像修正フィルタとする。なお、図１４では焦点検出用画素２２１ａの線像波形のみを示しているが、もう一方の画素２２１ｂの線像波形ＬＮｂも同様に求める。ステップＳ１４４では、ステップＳ１３４で求めたシェーディング補正後の１対２像に、ステップＳ１４３で求めた像修正フィルタを前述の式（１）及び（２）に従って適用し、像修正を行なう。

ステップＳ１４５では、修正された２像に対して再度相関演算を行ない、ステップＳ１４６でデフォーカス量を算出する。ステップＳ１４７では、前回算出したデフォーカス量に対して、今回算出したデフォーカス量が異なっているか否かを判定する。ここで、像修正が初回の場合は、前回算出したデフォーカス量はステップＳ１３６で算出した、像修正無しでの演算、今回算出したデフォーカス量は像修正ありの演算結果である。そして前者で用いた焦点検出信号には口径食による歪みが乗っており、焦点検出誤差も大きい。一方で、後者で用いた焦点検出信号は口径食による歪みが補正されているため、焦点検出誤差も低減している。そこで、両者の差は所定値以上になるためステップＳ２４１に戻り、ステップＳ１４３にて像修正フィルタを再度算出する。このとき用いられるデフォーカス量は、ステップＳ１４６で算出された値、すなわち誤差が低減された値を用いることができる。そこで、ステップＳ１４４乃至ステップＳ１４６にて実行される演算は、口径食による歪み補正がより高精度に補正された２像を用いることができるため、焦点検出誤差も低下する。

上記ステップＳ２４１乃至１４７を繰り返し実行すると、像修正の精度が次第に向上し、演算されたデフォーカス量も真の値に漸近する。そして、焦点検出結果の変動が所定値以下に収束したら、ステップＳ１４７からステップＳ１４８に移行し、最後に算出されたデフォーカス量をレンズ駆動量に変換し、ステップＳ１４９にてメインルーチンにリターンする。

上記第２の実施形態の焦点検出サブルーチンが第１の実施形態と異なるのは以下の２点である。

１つめの相違点は、初回の焦点検出演算時における、像信号のクロストーク補正の有無である。ステップＳ１２４乃至ステップＳ１３６の焦点検出で用いる焦点検出用の像信号に対して、第１の実施形態ではクロストーク補正を行ない、第２の実施形態ではクロストーク補正を行なわない。その理由は次のとおりである。もし、１回目の焦点検出演算で合焦と判断された場合、１対２像は一致しているので像信号のクロストーク補正は実施する必要がない。一方で、１回目の焦点検出演算で非合焦と判断された場合はクロストーク補正が必要であるが、この時はステップＳ２４１及びステップＳ２４２にて実行される。すなわち、最初のクロストーク補正は不要な場合があるため、必要な時のみこの補正を実施することで、無駄な演算を省略し、第２の実施形態では焦点検出演算を短縮することができる。

２つめの相違点は、瞳強度分布のクロストーク補正の実施タイミングである。第１の実施形態では、図１９の焦点検出サブルーチン内で実施していたが、第２の実施形態においては、図２３の工程内、すなわち瞳強度分布のクロストーク情報取得時にクロストーク補正も行ない、補正後の瞳強度分布を撮像装置１００に記憶させる。従って、第２の実施形態では焦点検出サブルーチン内で実施する必要が無く、焦点検出時間の短縮が図れる。

以上の第２の実施形態によると、
（２−１）クロストーク情報検出のための専用の撮像素子を用いてその情報を取得するため、撮影画面の任意位置におけるクロストーク情報を正確に入手することができ、焦点検出精度が向上する。
（２−２）像信号のクロストーク補正を必要な時のみ実施するため、無駄な演算を回避でき、焦点検出時間が短縮され、応答性のよい焦点検出が可能となる。
という効果がある。

なお、以上説明した第１及び第２の実施形態では、動画や静止画が記録可能な民生用電子カメラにおける実施形態を説明したが、本技術の焦点検出装置は、各種検査カメラ、測量カメラ、監視カメラ、内視鏡カメラ、ロボット用カメラ等に応用しても良い。

Claims (5)

1. 撮影光学系の射出瞳を分割し、該分割された領域からの光束を用いて位相差式の焦点検出を行なうための焦点検出用画素群と、該焦点検出用画素群が配置された撮像領域の外側に配置され、前記焦点検出用画素群に対する隣接画素からのクロストーク成分を検出するための複数のクロストーク検出領域と、を備えた撮像素子と、
   前記焦点検出用画素群に対する隣接画素からのクロストーク成分を、前記複数のクロストーク検出領域における複数の検出値を用いて算出する算出手段と、
   前記焦点検出用画素群における隣接画素からのクロストーク成分を補正した所定の信号を算出するとともに、該所定の信号により補正された焦点検出用の像信号を用いて焦点検出演算を行なう演算手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像素子は、前記撮影光学系により結像された被写体像を撮像する撮像用画素群をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記演算手段は、前記クロストーク成分を補正した後の所定の信号に対して、前記撮影光学系の口径食による前記像信号の歪みを補正するための補正値をさらに算出することを特徴とする請求項１に記載の撮像装置。
4. 前記演算手段は、前記クロストーク成分を補正した後の画素信号に基づいて、位相差式の焦点検出のための基線長に関する情報をさらに算出することを特徴とする請求項１に記載の撮像装置。
5. 前記演算手段は、前記撮像装置とは異なる、前記クロストーク成分を検出するための検出用の撮像装置に配置された他の撮像素子で取得したクロストーク成分の情報を用いて前記クロストーク成分の補正値を算出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

Images