JP6758964B2 - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、デジタルカメラやビデオカメラなどの撮像装置に関する。

特許文献１には、撮影レンズの焦点状態を検出する方式の一つとして、各画素にマイクロレンズが形成された２次元の撮像素子を用いて瞳分割方式の焦点検出を行う焦点検出装置が開示されている。この焦点検出装置では、撮像素子を構成する各画素の光電変換部（ＰＤ）が複数に分割されており、分割されたＰＤがマイクロレンズを介して撮影レンズの瞳の互いに異なる領域を通過した光束を受光するように構成されている。この撮影レンズの瞳の互いに異なる領域を通過した光束を受光したＰＤの１対の出力信号に対して、ずれ量である位相差を算出するための相関演算を行い、その位相差に基づいてデフォーカス量を算出することができる。

特許文献２には、同一マイクロレンズ内の一方の光電変換部（ＰＤ）の電荷量を読み出した後、同一マイクロレンズ内の全てのＰＤの電荷の加算値（加算電荷量）を読み出す撮像装置が開示されている。この撮像装置は、全てのＰＤの加算電荷量と一方のＰＤの電荷量との差分から他方のＰＤの電荷量を生成することにより、撮像用画像信号の特性を保持しながら焦点検出を行う。

特開２００８−５２００９号公報 特開２０１４−１８２３６０号公報

しかしながら、特許文献２に開示された撮像装置において、一方のＰＤと他方のＰＤのそれぞれの電荷量に対応する画素信号の間には、互いに相関があるノイズ（相関ノイズ）が含まれている。このような相関ノイズが含まれた画素信号に基づいて焦点検出を行うと、高精度な焦点検出を行うことができない。

そこで本発明は、高精度な焦点検出を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得する取得手段と、前記第１信号と前記２信号との相関量を演算する相関演算手段と、前記第１信号と前記第２信号との相関ノイズを算出するノイズ算出手段と、前記相関ノイズに応じた基準を用いて前記相関量に関する信頼性を判定する判定手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系の互いに異なる瞳領域を通過する光束を受光する第１光電変換部および第２光電変換部を有する撮像素子と、前記制御装置とを有する。

本発明の他の側面としての制御方法は、撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得するステップと、前記第１信号と前記２信号との相関量を演算するステップと、前記第１信号と前記第２信号との相関ノイズを算出するステップと、前記相関ノイズに応じて前記相関量の信頼性を判定するステップとを有する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、高精度な焦点検出を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施形態における撮像装置のブロック図である。 各実施形態における撮像素子の画素の回路図である。 各実施形態における撮像素子の画素配列図である。 各実施形態における撮像素子の構成図である。 各実施形態における撮像装置の読み出し動作を示すタイミングチャートである。 各実施形態における撮像光学系の射出瞳面と撮像素子の光電変換部との共役関係の説明図である。 各実施形態における焦点検出領域の説明図である。 各実施形態における焦点検出領域内に配置されたＡＦ信号対の説明図である。 各実施形態における焦点調節動作を示すフローチャートである。 第１の実施形態におけるデフォーカス量の算出サブルーチンのフローチャートである。 各実施形態におけるノイズ量の算出サブルーチンのフローチャートである。 第２の実施形態におけるデフォーカス量の算出サブルーチンのフローチャートである。 比較例の構成および動作の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図１１を参照して、比較例の構成、動作、およびそれに伴う問題点について説明する。図１１は、比較例の構成および動作の説明図である。具体的には、比較例として、１つのマイクロレンズに対して複数の光電変換部（ＰＤ）を有し、このようなマイクロレンズが２次元状に配列されている撮像素子を用いて位相差検出方式による焦点検出を行う場合の問題点について説明する。例えば、１つのマイクロレンズに関してＰＤが２つに分割されている場合、一方のＰＤの電荷量に対応する画素信号をＡ像、他方のＰＤの電荷量に対応する画素信号をＢ像、および、全てのＰＤの加算値（加算電荷量）に対応する画素信号をＡ＋Ｂ像とする。

撮像装置（例えば特許文献２に開示されている撮像装置）は、Ａ像を読み出した後にＡ＋Ｂ像を読み出し、Ａ＋Ｂ像からＡ像を減算することでＢ像を生成して、焦点検出の演算を行う。Ａ像とＢ像とを互いに独立に読み出して焦点検出の演算を行うこともできるが、画像（撮影画像）を生成するためにＡ＋Ｂ像も必要となる。その際、Ａ像とＢ像とを加算してＡ＋Ｂ像を生成すると、Ａ像とＢ像とがそれぞれランダムノイズを含むため、Ａ像とＢ像とを加算することによりＡ＋Ｂ像のランダムノイズ量が大きくなってしまう。ランダムノイズ量が大きくなると画質が低下するため、Ａ像とＡ＋Ｂ像とを独立に読み出すように構成することが好ましい。

焦点状態の検出は、Ａ像とＢ像とのずれ量を相関演算から算出し、像ずれ量をフォーカスレンズのデフォーカス量と対応付けることにより行われる。図１１（ａ）は、比較例における撮像素子の画素配列図である。図１１（ａ）において、１０００は１つのマイクロレンズ（同一マイクロレンズ）、１００１はＡ像用ＰＤ（第１光電変換部）、１００２はＢ像用ＰＤ（第２光電変換部）をそれぞれ示している。図１１（ａ）に示されるように、比較例の撮像素子は、１つのマイクロレンズ１０００に対して複数の光電変換部（Ａ像用ＰＤ１００１、Ｂ像用ＰＤ１００２）を有し、マイクロレンズ１０００が２次元状に配列されている。

水平方向に配列された画素（画素列）のそれぞれのＡ像信号およびＢ像信号をＡ（ｎ）、Ｂ（ｎ）とする。ここで、Ｂ像信号Ｂ（ｎ）は、上述したように、Ａ＋Ｂ像信号からＡ像信号Ａ（ｎ）を減算して生成される。相関演算に用いられる相関量ＣＯＲ（ｋ）は、以下の式（１）のように算出される。

式（１）において、ｋは相関演算の際のシフト量であり、−ｋｍａｘ以上かつｋｍａｘ以下の整数である。その後、Ａ像信号とＢ像信号との相関が最大となる場合（すなわち、相関量ＣＯＲが最小となる場合）のシフト量ｋの値を求める。ここで、シフト量ｋは、整数で算出すると分解能が粗くなるため、適宜補間処理、所謂サブピクセル演算を行う。この差異、第１列のＰＤの電荷に対応するＡ像信号をＳ［Ａ（ｌ）］、Ａ＋Ｂ像信号をＳ［Ａ＋Ｂ（ｌ）］とする。また、Ａ像を読み出した際に画素データに重畳される読み出し回路に起因するランダムノイズをＮ［Ａ（ｌ）］、Ａ＋Ｂ像を読み出した際に画素データに重畳される読み出し回路に起因するランダムノイズをＮ［Ａ＋Ｂ（ｌ）］とする。上述した手法に従ってＢ像を生成すると、Ｂ像は以下の式（２）のように表される。

Ｂ像＝（Ａ＋Ｂ）像−Ａ像
＝（Ｓ［Ａ＋Ｂ（ｌ）］＋Ｎ［Ａ＋Ｂ（ｌ）］）−（Ｓ［Ａ（ｌ）］＋Ｎ［Ａ（ｌ）］）
＝Ｓ［Ａ＋Ｂ（ｌ）］−Ｓ［Ａ（ｌ）］＋Ｎ［Ａ＋Ｂ（ｌ）］−Ｎ［Ａ（ｌ）］ … （２）
このとき、０以外のシフト量＝ｓの場合における相関量ＣＯＲ（ｓ）は、以下の式（３）のように表される。

ＣＯＲ（ｓ）＝Σ｜Ａ（ｉ−ｓ）−Ｂ（ｉ＋ｓ）｜
＝Σ｜｛Ｓ［Ａ（ｉ−ｓ）］＋Ｎ［Ａ（ｉ−ｓ）］｝−｛Ｓ［Ａ＋Ｂ（ｉ＋ｓ）］−Ｓ［Ａ（ｉ＋ｓ）］＋Ｎ［Ａ＋Ｂ（ｉ＋ｓ）］−Ｎ［Ａ（ｉ＋ｓ）］｝｜
＝Σ｜Ｓ［Ａ（ｉ−ｓ）］＋Ｓ［Ａ（ｉ＋ｓ）］−Ｓ［Ａ＋Ｂ（ｉ＋ｓ）］＋Ｎ［Ａ（ｉ−ｓ）］＋Ｎ［Ａ（ｉ＋ｓ）］−Ｎ［Ａ＋Ｂ（ｉ＋ｓ）］｜ … （３）
また、シフト量＝０の場合における相関量ＣＯＲ（０）は、以下の式（４）のように表される。

ＣＯＲ（０）＝Σ｜Ａ（ｉ）−Ｂ（ｉ）｜
＝Σ｜Ｓ［Ａ（ｉ）］＋Ｓ［Ａ（ｉ）］−Ｓ［Ａ＋Ｂ（ｉ）］＋Ｎ［Ａ（ｉ）］＋Ｎ［Ａ（ｉ）］−Ｎ［Ａ＋Ｂ（ｉ）］｜
＝Σ｜２×Ｓ［Ａ（ｉ）］−Ｓ［Ａ＋Ｂ（ｉ）］＋２×Ｎ［Ａ（ｉ）］−Ｎ［Ａ＋Ｂ（ｉ）］｜ … （４）
ここで、０以外のシフト量＝ｓおよびシフト量＝０の場合における相関量ＣＯＲに重畳されるランダムノイズ量Ｎｏｉｓｅ（Ｓ）、Ｎｏｉｓｅ（０）は、それぞれ、以下の式（５）、（６）のように表される。

Ｎｏｉｓｅ（Ｓ）＝Σ｜Ｎ［Ａ（ｉ−ｓ）］＋Ｎ［Ａ（ｉ＋ｓ）］−Ｎ［Ａ＋Ｂ（ｉ＋ｓ）］｜ … （５）
Ｎｏｉｓｅ（０）＝Σ｜２×Ｎ［Ａ（ｉ）］−Ｎ［Ａ＋Ｂ（ｉ）］｜ … （６）
Ｎ［Ａ（ｉ−ｓ）］、Ｎ［Ａ（ｉ＋ｓ）］、Ｎ［Ａ＋Ｂ（ｉ＋ｓ）］は、互いに相関のないランダムノイズである。このため、ランダムノイズ量Ｎｏｉｓｅ（ｓ）は、図１１（ｂ）に示されるように、シフト量＝０以外で略一定の値になる。一方、ランダムノイズ量Ｎｏｉｓｅ（０）に関し、Ｎ［Ａ（ｉ）］とＮ［Ａ＋Ｂ（ｉ）］は互いに相関のないランダムノイズである。しかし、Ｎ［Ａ（ｉ）］が２倍となり、積分されるため、ランダムノイズ量Ｎｏｉｓｅ（０）はランダムノイズ量Ｎｏｉｓｅ（ｓ）よりも大きくなる。このため、図１１（ｂ）に示されるように、シフト量＝０の場合にのみランダムノイズに起因する相関量が大きくなる。このように、Ａ＋Ｂ像とＡ像とからＢ像を生成して相関演算を行う場合、Ａ像に重畳されるランダムノイズ量の符号が反転したランダムノイズ量がＢ像に重畳される。このため、シフト量＝０の場合にΣ｜２×Ｎ［Ａ（ｉ）］｜のノイズ量が相関値に重畳され、局所的にピークが発生してしまう。

Ａ像信号とＢ像信号のコントラストが低い被写体の撮影や、低輝度環境下で撮影する場合、信号Ｓに対するノイズＮが相対的に大きくなり、相関量ＣＯＲにおいてはノイズが支配的になる。ノイズの影響がなければ、合焦の際にはシフト量＝０の場合に相関量ＣＯＲが最小となり（図１１（ｃ）の点Ｈ）、この点（点Ｈ）を検出することにより焦点検出が適切に行われる。しかし、相関量ＣＯＲの成分としてノイズが支配的になると、図１１（ｄ）に示されるように、シフト量＝０の場合に相関量ＣＯＲが大きくなる（相関が低くなる）結果が得られる（点Ｉ）。その結果、相関値Ｐ（ｈ）が最小となる複数の点（点Ｊ、点Ｋ）が発生し、それらの点（点Ｊ、点Ｋ）を合焦位置のシフト量であると認識し、結果的に誤った焦点検出やハンチングの要因となる。

上述のＡ像とＢ像で負の相関のあるノイズが発生した場合と同様に、Ａ像とＢ像との間で正の相関のあるノイズが発生した場合にも課題が生じる。例えば、画素ごとの感度の不均一性は、画素ごとの透過率のムラや、読み出し回路などで生じ、Ａ像とＡ＋Ｂ像との間でノイズの発生源を共有する。この際、Ａ像とＡ＋Ｂ像との間において、出力信号量に比例するノイズ成分を有する。

上述と同様に、第ｌ列のＰＤの電荷に対応するＡ像信号をＳ［Ａ（ｌ）］、画素間の出力差を生じるノイズ成分をＮ［Ａ（ｌ）］と表す。この際、Ａ像とＡ＋Ｂ像で正の相関のあるノイズ以外にノイズが生じない場合で、Ａ＋Ｂ像信号Ｓ［Ａ＋Ｂ（ｌ）］を、ｇ×Ｓ［Ａ（ｌ）］（ｇ≧１）のように表すと、Ｎ［Ａ＋Ｂ（ｌ）］は、ｇ×Ｎ［Ａ（ｌ）］と表すことができる。

この際に得られるＢ像は、以下の式（７）のように表すことができる。

Ｂ像＝（Ｓ［Ａ＋Ｂ（ｌ）］＋Ｎ［Ａ＋Ｂ（ｌ）］）−（Ｓ［Ａ（ｌ）］＋Ｎ［Ａ（ｌ）］）
＝（ｇ−１）（Ｓ［Ａ（ｌ）］＋Ｎ［Ａ（ｌ）］） … （７）
同様に相関量の演算を行うと、シフト量＝Ｓおよびシフト量＝０の場合のノイズ量はそれぞれ、以下の式（８）、（９）のように表される。

Ｎｏｉｓｅ（Ｓ）＝Σ｜Ｎ［Ａ（ｉ‐ｓ）］−（ｇ−１）×Ｎ［Ａ（ｉ＋ｓ）］｜ … （８）
Ｎｏｉｓｅ（０）＝Σ｜（２−ｇ）×Ｎ［Ａ（ｉ）］｜ … （９）
Ｎ［Ａ（ｉ‐ｓ）］、Ｎ［Ａ（ｉ＋ｓ）］は、互いに相関のないノイズであって、Ｎ［Ａ（ｌ）］と同じバラつきを有するノイズである。このため、Ｎ［Ａ（ｉ‐ｓ）］−（ｇ−１）×Ｎ［Ａ（ｉ＋ｓ）］は、Ｎ［Ａ（ｌ）］より大きなばらつきを有するノイズとなる。このばらつきを式（８）で積算するＮｏｉｓｅ（Ｓ）に対して、Ｎｏｉｓｅ（０）は、Ｎ［Ａ（ｌ）］のばらつきの積算値であるため、小さくなる頻度が高くなる。

図１１（ｃ）を参照して説明したように、相関量ＣＯＲの極小値を算出することにより、デフォーカス状態を検出する。このため、ノイズによるシフト量＝０の相関量が小さくなることは、検出精度の低下につながる。正の相関のあるノイズが信号量に比例して発生するため、低コントラストで一様に明るい被写体などで、ノイズによる極小値が、本来の被写体信号による極小値に影響を与え、検出精度を損ねる場合がある。また、被写体のパターンが一様である場合、本来、焦点検出は不可能である。しかし、ノイズ成分のみで極小値が発生するため、合焦していると誤って判定する可能性がある。

そこで本発明の各実施形態は、低コントラストの被写体撮影や低輝度環境下で撮影する場合でも、ノイズの影響を適切に把握し、高精度な焦点検出結果を利用して焦点調節を行うことが可能な撮像装置を提供する。以下、各実施形態について説明する。

（第１の実施形態）
図１を参照して、本発明の実施形態１における撮像装置について説明する。図１は、本実施形態における撮像装置１０のブロック図である。撮像装置１０は、撮像素子を有するカメラ１００（撮像装置本体）と、カメラ１００に着脱可能な撮影レンズ３００（交換レンズ、レンズ装置）とを備えて構成されるカメラシステムである。ただし本実施形態はこれに限定されるものではなく、カメラ１００と撮影レンズ３００とが一体的に構成された撮像装置にも適用可能である。

まず、カメラ１００の構成について説明する。カメラ１００は、複数種類の撮影レンズ３００（および、製造番号が異なる同一種類の撮影レンズ）が装着可能である。またカメラ１００は、焦点距離や開放Ｆナンバーが異なる撮影レンズまたはズーム機能を備える撮影レンズなども装着可能であり、同種、異種の撮影レンズにかかわらず交換可能に構成されている。

カメラ１００において、撮影レンズ３００を通過した光束は、カメラマウント１０６を通過し、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者は被写体を光学像として観察しながら撮影することができる。光学ファインダ１０４は、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、および、露出補正表示などの機能を有する。

メインミラー１３０は半透過性のハーフミラーで構成され、メインミラー１３０に入射する光束のうち一部はハーフミラーを通過し、サブミラー１３１で下方へ反射されて焦点検出装置１０５へ入射する。焦点検出装置１０５は、２次結像光学系からなる位相差検出方式ＡＦ機構を採用しており、得られた光学像を電気信号に変換しＡＦ部４２（オートフォーカス部）へ送る。ＡＦ部４２は、この電気信号から位相差検出演算を行う。システム制御回路５０は、ＡＦ部４２の演算結果に基づいて、撮影レンズ３００に設けられた後述のフォーカス制御部３４２に対して、焦点調節処理などの制御を行う。本実施形態において、ＡＦ部４２は、焦点検出結果の補正をも行う。ＡＦ部４２は、位相差演算手段として機能する。

一方、撮影レンズ３００の焦点調節処理が終了し、静止画撮影、電子ファインダ表示、動画撮影を行う場合、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１とを撮影光束外に退避させる。このような構成により、撮影レンズ３００を通過した光束は、露光量を制御するためのシャッタ１２を介して、光学像を電気信号に変換する撮像素子１４に入射する。これらの撮影動作終了後、メインミラー１３０およびサブミラー１３１は図１に示されるような位置（撮影光束内）に戻る。

撮像素子１４により光電変換された電気信号はＡ／Ｄ変換器１６へ送られ、アナログ信号出力がデジタル信号（画像データ）に変換される。タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、および、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給し、メモリ制御回路２２およびシステム制御回路５０により制御される。画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データまたはメモリ制御回路２２からの画像データに対して、所定の画素補間処理や色変換処理を行う。また画像処理回路２０は、画像データを用いて所定の演算処理を行う。

撮像素子１４は、焦点検出装置の一部を構成し、クイックリターン機構によりメインミラー１３０およびサブミラー１３１が撮影光束外に退避した状態においても位相差検出方式ＡＦを行うことができる。得られた画像データのうち、焦点検出に対応する画像データは、画像処理回路２０で焦点検出用画像データに変換される。その後、システム制御回路５０を介してＡＦ部４２へ送られ、撮影レンズ３００の焦点合わせが行われる。システム制御回路５０は、画像処理回路２０による撮像素子１４の画像データを演算した演算結果に基づいて、撮影レンズ３００のフォーカス制御部３４２に対して焦点合わせを行う所謂コントラスト方式ＡＦも可能である。このような構成により、電子ファインダ観察や動画撮影の際において、メインミラー１３０およびサブミラー１３１が撮影光束外に退避するが、撮像素子１４による位相差検出方式ＡＦとコントラスト方式ＡＦとの両者を併用して焦点調節を行うことができる。特に、位相差検出方式ＡＦを行うため、高速な焦点合わせが可能である。

このように本実施形態のカメラ１００は、メインミラー１３０およびサブミラー１３１が撮影光路内にある通常の静止画撮影では、焦点検出装置１０５による位相差検出方式ＡＦを用いる。一方、カメラ１００は、メインミラー１３０およびサブミラー１３１が撮影光束外へ退避する電子ファインダ観察や動画撮影の際には、撮像素子１４による位相差検出方式ＡＦとコントラスト方式ＡＦとを併用するように構成されている。従って、静止画撮影、電子ファインダ、または、動画撮影のいずれの撮影においても焦点調節が可能である。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、および、圧縮伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータは、画像処理回路２０およびメモリ制御回路２２を介して、または直接メモリ制御回路２２を介して、画像表示メモリ２４またはメモリ３０に書き込まれる。画像表示部２８は、液晶モニタなどから構成され、画像表示メモリ２４に書き込まれた表示用の画像データを、Ｄ／Ａ変換器２６を介して画像表示部２８により表示する。画像表示部２８を用いて撮像した画像データを逐次表示することにより、電子ファインダ機能を実現することができる。画像表示部２８は、システム制御回路５０の指示に基づいて任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を低減することができる。

メモリ３０は、撮影した静止画像や動画像を記憶する記憶手段であり、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことができる。また、メモリ３０はシステム制御回路５０の作業領域としても使用可能である。圧縮伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）などにより画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像を読み込んで圧縮処理または伸長処理を行い、処理後の画像データをメモリ３０に書き込む。

シャッタ制御部３６は、測光部４６からの測光情報に基づいて、撮影レンズ３００の絞り３１２を制御する絞り制御部３４４と連携しながら、シャッタ１２を制御する。インターフェース部３８（Ｉ／Ｆ部）およびコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。これらは、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、および、データ信号などを伝達すると共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信や音声通信などを伝達する構成としてもよい。測光部４６は、ＡＥ処理を行う。撮影レンズ３００を通過した光束を、カメラマウント１０６、メインミラー１３０、および、不図示の測光用レンズを介して、測光部４６に入射させることにより、画像の露出状態を測定することができる。また、測光部４６は、フラッシュ４８と連携することにより、調光処理機能も有する。システム制御回路５０は、画像処理回路２０による撮像素子１４の画像データを演算した演算結果に基づいて、シャッタ制御部３６と撮影レンズ３００の絞り制御部３４４とに対してＡＥ制御を行うことも可能である。フラッシュ４８は、ＡＦ補助光の投光機能およびフラッシュ調光機能も有する。

システム制御回路５０は、カメラ１００の全体を制御する制御装置である。本実施形態において、システム制御回路５０は、取得手段５０ａ、相関演算手段５０ｂ、ノイズ算出手段５０ｃ、および、判定手段５０ｄを有する。取得手段５０ａは、撮像光学系（撮影レンズ３００）の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得する。相関演算手段５０ｂは、第１信号と第２信号との相関量を演算する。ノイズ算出手段５０ｃは、第１信号と第２信号との相関ノイズを算出する。判定手段５０ｄは、相関ノイズに応じた基準を用いて相関量に関する信頼性を判定する。

メモリ５２は、システム制御回路５０の動作用の定数、変数、および、プログラムなどを記憶する。表示部５４は、システム制御回路５０によるプログラムの実行に応じて、文字、画像、または、音声などを用いて動作状態やメッセージなどを表示する液晶表示装置である。表示部５４は、カメラ１００の操作部近辺の視認し易い位置に単数または複数設置され、例えばＬＣＤおよびＬＥＤなどの組み合わせにより構成される。表示部５４の表示内容のうち、ＬＣＤなどに表示する内容としては、記録枚数や残撮影可能枚数などの撮影枚数に関する情報や、シャッタスピード、絞り値、露出補正、および、フラッシュなどの撮影条件に関する情報がある。またＬＣＤには、電池残量や日付・時刻なども表示される。また表示部５４は、前述のように、その一部の機能が光学ファインダ１０４に設けられている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭである。６０、６２、６４、６６、６８、および、７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置などの単数または複数の組み合わせにより構成される。

モードダイアルスイッチ６０は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、ＰＣ接続モードなどの各機能モードを切り替え設定するために用いられる。シャッタースイッチ６２（ＳＷ１）は、不図示のシャッタボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理などの動作開始を指示する。シャッタースイッチ６４（ＳＷ２）は、シャッタボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する処理とは、露光処理、現像処理、および、記録処理などを含む。露光処理の際には、撮像素子１４から読み出された信号がＡ／Ｄ変換器１６およびメモリ制御回路２２を介してメモリ３０に画像データとして書き込まれる。現像処理の際には、画像処理回路２０やメモリ制御回路２２による演算を用いた現像を行う。記録処理の際には、メモリ３０から画像データを読み出し、圧縮伸長回路３２で圧縮を行い、記録媒体１５０または記録媒体１６０に画像データとして書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定するために用いられる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタなどからなる画像表示部２８への電流供給を遮断することにより、省電力を図ることができる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するために用いられる。操作部７０は、各種ボタンやタッチパネルなどからなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、および、露出補正ボタンなどがある。

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、および、通電するブロックを切り替えるスイッチ回路などを備えて構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１５０、１６０を含む各部へ供給する。コネクタ８２、８４は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やリチウムイオン電池などの二次電池、および、ＡＣアダプタなどからなる電源部８６をカメラ１００と接続する。

インターフェース９０、９４（Ｉ／Ｆ部）は、メモリカードやハードディスクなどの記録媒体との接続機能を有する。コネクタ９２、９６は、メモリカードやハードディスクなどの記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２、９６に記録媒体１５０、１６０がそれぞれ装着されているか否かを検知する。なお本実施形態では、記録媒体１５０、１６０を取り付けるインターフェースおよびコネクタを２系統持つものとして説明しているが、インターフェースおよびコネクタは、単数または複数のいずれの系統数を備える構成としても構わない。また、異なる規格のインターフェースおよびコネクタを組み合わせて備える構成としてもよい。また、インターフェースおよびコネクタにＬＡＮカードなどの各種通信カードを接続することにより、コンピュータやプリンタなどの他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

通信部１１０は、有線通信または無線通信などの各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。記録媒体１５０、１６０は、メモリカードやハードディスクなどである。記録媒体１５０、１６０は、半導体メモリや磁気ディスクなどから構成される記録部１５２、１６２、カメラ１００とのインターフェース１５４、１６４（Ｉ／Ｆ部）、カメラ１００と接続を行うコネクタ１５６、１６６を備えている。

次に、撮影レンズ３００について説明する。撮影レンズ３００は、カメラ１００に着脱可能に構成される。レンズマウント３０６は、撮影レンズ３００をカメラ１００と機械的に結合し、カメラマウント１０６を介してカメラ１００に交換可能に取り付けられる。カメラマウント１０６およびレンズマウント３０６は、撮影レンズ３００をカメラ１００と電気的に接続するコネクタ１２２およびコネクタ３２２の機能を有する。レンズ３１１は、被写体の焦点合わせを行うフォーカスレンズを含む。絞り３１２は、撮影光束の光量を制御する。

コネクタ３２２およびインターフェース部３３８（Ｉ／Ｆ部）は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、および、データ信号などを伝達すると共に、各種電圧の電流を供給する機能も有する。コネクタ３２２は、電気通信のみならず、光通信や音声通信などを伝達する構成としてもよい。ズーム制御部３４０は、レンズ３１１のズーミング（ズームレンズの動作）を制御する。フォーカス制御部３４２は、レンズ３１１のフォーカスレンズの動作を制御する。撮影レンズ３００がズーム機能のない単焦点レンズである場合、ズーム制御部３４０はなくてもよい。絞り制御部３４４は、測光部４６からの測光情報に基づいて、シャッタ１２を制御するシャッタ制御部３６と連携しながら、絞り３１２を制御する。絞り制御部３４４および絞り３１２は、絞り開口調節手段を構成する。

レンズシステム制御部３４６は、撮影レンズ３００の全体を制御する。またレンズシステム制御部３４６は、撮影レンズ３００の動作用の定数、変数、および、プログラムなどを記憶するメモリの機能を有する。不揮発性メモリ３４８は、撮影レンズ３００に固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離などの機能情報、現在や過去の各設定値などを記憶する。本実施形態において、不揮発性メモリ３４８は、撮影レンズ３００の状態に応じたレンズ枠情報も記憶している。レンズ枠情報は、撮影レンズ３００を通過する光束を決定する枠開口の撮像素子１４からの距離と枠開口の半径の情報である。絞り３１２は、撮影レンズ３００を通過する光束を決定する枠に含まれ、他にもレンズを保持するレンズ枠部品の開口などが枠に該当する。また、撮影レンズ３００を通過する光束を決定する枠は、レンズ３１１のフォーカス位置やズーム位置に応じて異なるため、レンズ３１１のフォーカス位置やズーム位置に対応して複数の枠が用意されている。カメラ１００が焦点検出を行う際には、レンズ３１１のフォーカス位置およびズーム位置に対応した最適なレンズ枠情報が選択され、そのレンズ枠情報がコネクタ３２２を介してカメラ１００に送られる。

次に、図２（ａ）、図２（ｂ）、図２（ｃ）を参照して、撮像素子１４について詳述する。撮像素子１４は、焦点検出装置１０５と同様に、位相差検出方式ＡＦを行う。図２（ａ）は、撮像素子１４の画素２００の回路図である。図２（ｂ）は、撮像素子１４の画素配列図である。

画素２００は、フォトダイオード（ＰＤ）２０１ａ、２０１ｂ、転送スイッチ２０２ａ、２０２ｂ、フローティングディフュージョン領域２０３、増幅部２０４、リセットスイッチ２０５、および、選択スイッチ２０６を有する。なお、各スイッチはＭＯＳトランジスタなどにより構成され得る。以下、各スイッチは一例としてＮ型ＭＯＳトランジスタであるとして説明するが、各スイッチはＰ型ＭＯＳトランジスタであってもよく、またはその他のスイッチング素子であってもよい。

このように、本実施形態における撮像素子１４は、１つの画素２００内に、２つのフォトダイオードを有する。ただし、各画素２００に設けられるフォトダイオードの個数は図２（ａ）に示される２つに限定されず、３つ以上（例えば、４つ）設けられてもよい。本実施形態において、フォトダイオード２０１ａ、２０１ｂは、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。

フォトダイオード２０１ａ、２０１ｂは、図２（ｂ）に示される１つのマイクロレンズ２３６（同一のマイクロレンズ）を通過した光を受光し、光電変換によりその受光量に応じた信号電荷を生成する光電変換部として機能する。フォトダイオード２０１ａにより得られる信号をＡ信号（第１信号）、フォトダイオード２０１ｂにより得られる信号をＢ信号（第２信号）と呼ぶ。このように撮像素子１４は、撮像光学系の互いに異なる瞳領域を通過する光束を受光する第１光電変換部（フォトダイオード２０１ａ）および第２光電変換部（フォトダイオード２０１ｂ）を有する。また撮像素子１４は、１つのマイクロレンズ２３６に対して第１光電変換部および第２光電変換部を有し、マイクロレンズ２３６が２次元状に配列されている。

転送スイッチ２０２ａは、フォトダイオード２０１ａとフローティングディフュージョン領域２０３との間に接続され、転送スイッチ２０２ｂはフォトダイオード２０１ｂとフローティングディフュージョン領域２０３との間に接続される。転送スイッチ２０２ａ、２０２ｂは、それぞれフォトダイオード２０１ａ、２０１ｂで発生した電荷を共通のフローティングディフュージョン領域２０３に転送する素子である。転送スイッチ２０２ａ、２０２ｂは、それぞれ制御信号ＴＸ＿Ａ、ＴＸ＿Ｂにより制御される。

フローティングディフュージョン領域２０３は、フォトダイオード２０１ａ、２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、フローティングディフュージョン領域２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、フローティングディフュージョン領域２０３に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。リセットスイッチ２０５は、フローティングディフュージョン領域２０３と共通電源２０８との間に接続される。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、フローティングディフュージョン領域２０３の電位を電源電位ＶＤＤにリセットする機能を有する。選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続される。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された画像信号を垂直出力線２０７に出力する。

図２（ｃ）は、撮像素子１４の構成図である。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８、２２９、水平走査回路２３２、および、データ出力部２３３を有する。

画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図２（ｃ）では、説明の簡略化のため、水平方向にｎ画素、垂直方向に４画素を示しているが、画素２００の行数および列数は任意である。また、各画素２００には複数色のカラーフィルタのうちいずれか１つが設けられている。図２（ｃ）に示される例では、カラーフィルタの色は赤色（Ｒ）、緑色（Ｇ）、および、青色（Ｂ）である。画素２００はベイヤー配列に従って配置される。また、本実施形態における撮像素子１４は、画素アレイ２３４の一部が遮光層で遮光された領域（ＯＢ）を有する。

垂直走査回路２０９は、行ごとに設けられた駆動信号線２１５を介して、各行の画素２００に制御信号を出力する。なお図２（ｃ）において、駆動信号線２１５は、簡略化のため、行ごとに１本ずつ示されているが、実際には行ごとに複数の駆動信号線が接続される。同じ列の画素２００は、列ごとに設けられた垂直出力線２０７に共通接続される。各画素２００から出力される信号は、垂直出力線２０７を介して読み出し回路２３５に入力され、読み出し回路２３５で処理される。電流源負荷２１０は各列の垂直出力線２０７に接続される。

水平走査回路２３２は、制御信号ＨＳＲ（０）〜ＨＳＲ（ｎ−１）信号を出力することにより、複数の読み出し回路２３５の中から信号を出力させる列を順次選択する。選択された行の読み出し回路２３５は、共通出力線２２８、２２９を介してデータ出力部２３３（出力アンプ部）に処理した信号を出力する。

次に、読み出し回路２３５の具体的な回路構成を説明する。読み出し回路２３５は、クランプ容量２１１、フィードバック容量２１４〜２１６、オペアンプ２１３、基準電圧源２１２、および、スイッチ２１７〜２２０を有する。また読み出し回路２３５は、比較器２２１、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３、スイッチ２２６、２２７を有する。

垂直出力線２０７により読み出し回路２３５に入力される信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４〜２１６は、オペアンプ２１３の反転入力端子と出力端子の間に接続される。スイッチ２１７もオペアンプ２１３の反転入力端子と出力端子との間に接続され、フィードバック容量２１４〜２１６の両端をショートさせる機能を有する。スイッチ２１７は、制御信号ＲＥＳ＿Ｃにより制御される。スイッチ２１８〜２２０は、制御信号ＧＡＩＮ０〜ＧＡＩＮ２により制御される。

比較器２２１には、オペアンプ２１３の出力信号と、ランプ信号発生器２３０から出力されるランプ信号２２４とが入力される。Ｌａｔｃｈ＿Ｎ２２２は、ノイズレベル（Ｎ信号）を保持するための記憶素子である。Ｌａｔｃｈ＿Ｓ２２３は、Ａ信号およびＡ信号とＢ信号が加算されたＡＢ信号の信号レベル（Ｓ信号）を保持するための記憶素子である。比較器２２１の出力信号と、カウンタ２３１から出力されるカウンタ値２２５とがＬａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３に入力され、それぞれＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓにより制御される。Ｌａｔｃｈ＿Ｎ、Ｌａｔｃｈ＿Ｓの出力端子は、スイッチ２２２、２２３を介してそれぞれ共通出力線２２８、２２９に接続される。共通出力線２２８、２２９は、データ出力部２３３に接続される。

スイッチ２２６、２２７は、水平走査回路２３２からの制御信号ＨＳＲ（ｈ）（ＨＳＲ（０）〜ＨＳＲ（ｎ−１））信号により制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号を示す。Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持された信号は、共通出力線２２８、２２９を介して出力され、データ出力部２３３から外部へ出力される。この動作を水平転送と呼ぶ。

次に、図３を参照して、撮像装置１０の読み出し動作について説明する。図３は、撮像装置１０の読み出し動作を示すタイミングチャートである。以下、図３を参照しつつ画像信号の１行分の読み出し動作について説明する。なお、各制御信号がＨ（Ｈｉｇｈ）の場合に各スイッチはオンになり、Ｌ（Ｌｏｗ）の場合に各スイッチはオフになるものとする。

時刻ｔ１において、制御信号ＴＸ＿Ａ、ＴＸ＿ＢはＨになり、転送スイッチ２０２ａ、２０２ｂがオンになる。このとき、ＲＥＳはＨになっており、フォトダイオード２０１ａ、２０１ｂに蓄積された電荷は、転送スイッチ２０２ａ、２０２ｂ、リセットスイッチ２０５を介して共通電源２０８に転送され、フォトダイオード２０１ａ、２０１ｂはリセットされる。時刻ｔ２において、制御信号ＴＸ＿Ａ、ＴＸ＿ＢをＬとし、フォトダイオード２０１ａ、２０１ｂへの光電荷の蓄積が開始される。

所定の時間だけ光電荷の蓄積を行った後の時刻ｔ３において、選択スイッチ２０６の制御信号ＳＥＬがＨになり、増幅部２０４のソースが垂直出力線に接続される。時刻ｔ４において、リセットスイッチ２０５の制御信号ＲＥＳをＬとすることにより、フローティングディフュージョン領域２０３のリセットを解除する。このとき、フローティングディフュージョン領域２０３の電位に応じたリセット信号レベルの電位が増幅部２０４を介して垂直出力線２０７に読み出され、読み出し回路２３５に入力される。

その後、時刻ｔ５において、制御信号ＲＥＳ＿ＣがＬになると、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。撮像装置１０は、予め、操作部７０にて設定されたＩＳＯ感度に基づいて、システム制御回路５０が制御信号ＧＡＩＮ０〜２のいずれか一つの信号をＨにするように設定されている。本実施形態の撮像装置１０は、ＩＳＯ感度１００、２００、４００を備える。ＩＳＯ感度１００〜４００に対して、それぞれ制御信号ＧＡＩＮ０〜２がＨとなる。これにより、スイッチ２１８〜２１９の中で対応するスイッチがオンとなる。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４〜２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。ここで、オペアンプ２１３までの回路で発生するランダムノイズ成分も増幅することになり、ＩＳＯ感度１００、２００、４００において、それぞれ出力される信号のランダムノイズ量が異なる。

次に、時刻ｔ６において、ランプ信号発生器２３０は、時間経過に比例して信号レベルが変化するランプ信号の出力を開始する。同時にカウンタ２３１は、リセット状態からカウントアップを開始し、ＬＡＴＥＮ＿ＮがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。入力されたランプ信号の信号レベルが時間の経過とともに大きくなり、その信号レベルがオペアンプ２１３の出力信号の値を上回った時点で、Ｌａｔｃｈ＿Ｎ２２２に出力する信号をＬからＨに反転させる（時刻ｔ７）。Ｌａｔｃｈ＿Ｎ２２２は、ＬＡＴＥＮ＿ＮがＨの状態で、比較器２２１からの信号がＬからＨに反転されると、その時にカウンタ２３１から出力されているカウンタ値を記憶する。この記憶されたカウンタ値がＮ信号レベルとなる。その後、時刻ｔ８において、ランプ信号の変化が終了し、ＬＡＴＥＮ＿ＮがＬとなる。

時刻ｔ９では、制御信号ＴＸ＿ＡがＨになり、フォトダイオード２０１ａの光電荷がフローティングディフュージョン領域２０３へ転送される。その後、時刻ｔ１０において、制御信号ＴＸ＿ＡがＬになる。この動作により、フォトダイオード２０１ａに蓄積された電荷は、フローティングディフュージョン領域２０３へ転送される。そして、その変化に応じた電圧が増幅部２０４及び垂直出力線２０７を介して読み出し回路２３５へ出力される。垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４〜２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。

次に、時刻ｔ１１において、ランプ信号発生器２３０は、ランプ信号の出力を開始する。同時にカウンタ２３１は、リセット状態からカウントアップを開始し、ＬＡＴＥＮ＿ＳがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号の信号レベルがオペアンプ２１３の出力信号の値を上回った時点で、Ｌａｔｃｈ＿Ｓ２２３に出力する信号をＬからＨに反転させる（時刻ｔ１２）。Ｌａｔｃｈ＿Ｓ２２３は、ＬＡＴＥＮ＿ＳがＨの状態で、比較器２２１からの信号がＬからＨに反転されると、その時にカウンタ２３１から出力されているカウンタ値を記憶する。この記憶されたカウンタ値がＡ信号レベルとなる。その後、時刻ｔ１３において、ランプ信号の変化が終了し、ＬＡＴＥＮ＿ＮがＬとなる。

その後、時刻ｔ１４〜ｔ１５の間に、水平走査回路２３２から出力される制御信号ＨＳＲ（ｈ）が順次ＬからＨになり、Ｌに戻る。これに伴い、スイッチ２２６、２２７がオフからオンになり、再びオフに戻る。各列のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡ信号データは、共通出力線２２８、２２９へそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３では各列のＡ信号データとＮ信号データの差を外部へ出力する。

時刻ｔ１６において、再び制御信号ＴＸ＿ＡがＨになるとともに制御信号ＴＸ＿ＢもＨとなる。その後、時刻ｔ１７において、制御信号ＴＸ＿ＡとＴＸ＿ＢがＬになる。この動作により、フォトダイオード２０１ａ、２０１ｂの双方の光電荷がともにフローティングディフュージョン領域２０３へ転送される。そして、その変化に応じた電圧が増幅部２０４及び垂直出力線２０７を介して読み出し回路２３５へ出力される。垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４〜２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。

次に、時刻ｔ１８において、ランプ信号発生器２３０は、ランプ信号の出力を開始する。同時にカウンタ２３１は、リセット状態からカウントアップを開始し、ＬＡＴＥＮ＿ＳがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号の信号レベルがオペアンプ２１３の出力信号の値を上回った時点で、Ｌａｔｃｈ＿Ｓ２２３に出力する信号をＬからＨに反転させる（時刻ｔ１９）。Ｌａｔｃｈ＿Ｓ２２３はＬＡＴＥＮ＿ＳがＨの状態で、比較器２２１からの信号がＬからＨに反転されると、その時にカウンタ２３１から出力されているカウンタ値を記憶する。この記憶されたカウンタ値がＡＢ信号レベルとなる。その後時刻ｔ２０において、ランプ信号の変化が終了し、ＬＡＴＥＮ＿ＮがＬとなる。

その後、時刻ｔ２１〜ｔ２２の間に、水平走査回路２３２から出力される制御信号ＨＳＲ（ｈ）が順次ＬからＨになり、Ｌに戻る。これに伴い、スイッチ２２６、２２７がオフからオンになり、再びオフに戻る。各列のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡＢ信号データは、共通出力線２２８、２２９へそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３は、各列のＡＢ信号データとＮ信号データの差を外部へ出力する。

最後に、時刻ｔ２２にて制御信号ＲＥＳ＿ＣがＨ、時刻ｔ２３にて制御信号ＲＥＳがＨ、時刻ｔ２４にて制御信号ＳＥＬがＬになり、１行分の読み出し動作が完了する。この動作を所定の行数分繰り返すことにより１画面分の像信号を取得する。

本実施形態の撮像装置１０は、静止画モードと動画モードとを具備する。静止画モードでは、撮像素子１４の全行分の画素データを読み出す。動画モードでは、３行周期の行の画素データを読み出し、静止画モードより読み出す行数が少ない構成とする。ただし、静止画モードと動画モードの構成や読み出しは、これに限定されるものではない。以上の動作により、ノイズが除去されたＡ信号とＡＢ信号とが得られる。Ａ信号は焦点検出信号として用いられ、ＡＢ信号は撮影された画像を構成するデータまたは焦点検出信号として用いられる。

本実施形態の撮像素子１４は、以下の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合、全画素の信号が読み出される。第２の読み出しモードは、間引き読み出しモードと称するもので、動画記録、またはプレビュー画像の表示のみを行なうためのモードである。この場合に必要な画素数は全画素よりも少ないため、画素群はＸ方向及びＹ方向ともに所定比率に間引いた画素のみ読み出す。また、高速に読み出す必要がある場合にも、同様に間引き読み出しモードが用いられる。Ｘ方向に間引く際には、信号の加算を行いＳ／Ｎの改善を図り、Ｙ方向に対する間引きは、間引かれる行の信号出力を無視する。

次に、図４を参照して、撮像光学系（撮影レンズ３００）の射出瞳面と撮像素子１４の光電変換部との共役関係について説明する。図４（Ａ）、（Ｂ）は、本実施形態の撮像装置１０において、撮像光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子１４の光電変換部との共役関係の説明図である。撮像素子１４内の光電変換部と撮像光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。そして撮像光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面と略一致する。一方、本実施形態の撮像光学系は、変倍機能を有するズームレンズである。ただし、光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図４に示される撮像光学系は、焦点距離が広角端と望遠端の中間、すなわちＭｉｄｄｌｅの状態を示している。これを標準的な射出瞳距離Ｚｅｐと仮定して、オンチップマイクロレンズの形状や、像高（Ｘ、Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図４（Ａ）において、１０１は第１レンズ群、１０１ｂは第１レンズ群を保持する鏡筒部材、１０３は第３レンズ群、１０３ｂは第３レンズ群を保持する鏡筒部材である。１０２は絞りで、１０２ａは絞り開放時の開口径を規定する開口板、１０２ｂは絞り込み時の開口径を調節するための絞り羽根である。なお、撮像光学系を通過する光束の制限部材として作用する鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ、および、鏡筒部材１０３ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとする。

２１１０は、被写体像を光電変換するための画素である。画素２１１０は、像面中央近傍に配置された中央画素である。画素２１１０（中央画素）は、最下層より、光電変換部２１１０ａ、２１１０ｂ、配線層２１１０ｅ〜２１１０ｇ、カラーフィルタ２１１０ｈ、および、オンチップマイクロレンズ２１１０ｉの各部材で構成される。２つの光電変換部は２１１０ａ、２１１０ｂは、オンチップマイクロレンズ２１１０ｉによって撮像光学系の射出瞳面に投影される。換言すると、撮像光学系の射出瞳は、オンチップマイクロレンズ２１１０ｉを介して、光電変換部の表面に投影される。

図４（Ｂ）は、撮像光学系の射出瞳面上における、光電変換部の投影像を示している。光電変換部２１１０ａ、２１１０ｂに対する投影像はそれぞれ、ＥＰ１ａ、ＥＰ１ｂである。また本実施形態において、撮像素子１４は、２つの光電変換部２１１０ａ、２１１０ｂのいずれか一方の出力信号と、両方の和の出力信号とを得ることが可能である。両方の和の出力信号は、撮像光学系の略全瞳領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換して得られる信号である。投影像ＥＰ１ａを第１の瞳領域と呼び、投影像ＥＰ１ｂを第２の瞳領域と呼ぶ。

図４（Ａ）において、撮像光学系を通過する光束ＣＬａ、ＣＬｂの最外部をＬで示すと、光束Ｌは、絞りの開口板１０２ａで規制されており、投影像ＥＰ１ａ、ＥＰ１ｂは撮像光学系でケラレがほぼ発生していない。図４（Ｂ）において、図４（Ａ）の光束ＬをＴＬとして示している。ＴＬで示す円の内部に、光電変換部２１１０ａ、２１１０ｂの投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、絞りの開口板１０２ａでのみ制限されているため、ＴＬは１０２ａと言い換えることができる。この際、像面中央では各投影像ＥＰ１ａ、ＥＰ１ｂのケラレ状態は光軸に関して対称となり、光電変換部２１１０ａ、２１１０ｂが受光する光量は等しい。

以上のように、撮像素子１４は、撮像機能だけではなく焦点検出機能も有する。また撮像素子１４は、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、位相差検出方式ＡＦを行うことが可能である。

次に、図５を参照して、撮像素子１４の焦点検出領域について説明する。図５は、焦点検出領域の説明図であり、撮影範囲４００内における焦点検出領域４０１を示している。焦点検出領域４０１内（撮像面上（受光面上）の焦点検出センサ）で撮像素子１４による位相差検出方式ＡＦが行われる。焦点検出領域４０１内では、撮影範囲４００内の水平方向のコントラスト差を用いて位相差検出を行う。焦点検出領域４０１内には、画素２１１０が、１行４Ｎ列配置されている。本実施形態では、焦点検出に用いる画素を１行４Ｎ列としているが、行数および列数はこれに限定されるものではない。行数および列数は、位相差を検出することが可能な範囲内で適宜設定すればよい。

次に、図６を参照して、焦点検出領域４０１内に配置されたＡＦ信号対について説明する。図６は、焦点検出領域４０１内に配置されたＡＦ信号対の説明図であり、焦点検出領域４０１内に配置された１行４Ｎ列の画素を示している。図６には、ｉ行ｊ列目のＡＦ用Ａ像の信号を作成するために用いられる画素をＡ（ｉ，ｊ）、同様にｉ行ｊ列目のＡＦ用Ｂ像の信号を作成するために用いられる画素をＢ（ｉ，ｊ）として示している。

本実施形態では、演算負荷の低減、出力信号のＳ／Ｎ改善、出力画像サイズに合わせることなどを目的として、２画素の出力信号を加算して用いる。ｉ行目のｋ番目のＡＦ用Ａ像の信号、ＡＦ用Ｂ像の信号をそれぞれＡｓ（ｉ，ｋ）、Ｂｓ（ｉ，ｋ）とすると、信号Ａｓ＿１（ｉ，ｋ）、Ｂｓ＿１（ｉ，ｋ）は、以下の式（１０）のように表される。

Ａｓ＿１（１，ｋ）＝Ａ（１，２×（ｋ−１）＋１）＋Ａ（１，２×（ｋ−１）＋２）
Ｂｓ＿１（１，ｋ）＝Ｂ（１，２×（ｋ−１）＋１）＋Ｂ（１，２×（ｋ−１）＋２）
（１≦ｋ≦２Ｎ） … （１０）
第１の画素群の出力信号で構成される第１の像信号群であるＡＦ用Ａ像信号（第１信号）は、式（１０）における信号列Ａｓ＿１である。第２の画素群の出力信号で構成される第２の像信号群であるＡＦ用Ｂ像信号（第２信号）は、信号列Ｂｓ＿１であり、Ａ＋Ｂ像信号（前画素信号）からＡ像信号（第１信号）を減算して生成される。また、同一の光学系で読出し回路を共有しているため、同一マイクロレンズ内のＡ像信号およびＢ像信号は互いにノイズ成分に負または正の相関関係が発生する。このため、式（１０）における信号列Ａｓ＿１（ｍ）、Ｂｓ＿１（ｍ）は、ノイズ成分に相関がある信号対となる。本実施例では、第１の画素群の出力信号で構成される第１の像信号群である信号列Ａｓ＿１と、第１の信号列に対して相関のあるノイズ成分を出力信号に含む第２の像信号群である信号列Ｂｓ＿１とに基づいて相関量を演算する。

次に、図７を参照して、撮像装置１０（カメラ１００）の動作について説明する。図７は、撮像装置１０の焦点調節動作を示すフローチャートである。図７の各ステップは、システム制御回路５０に格納されたプログラムに基づいて、撮像装置１０（カメラ１００）の各部により実行される。なお、本フローチャートは、メインミラー１３０およびサブミラー１３１が撮影光束外へ退避し、撮像素子１４による位相差検出方式ＡＦを行う電子ファインダまたは動画撮影の際の焦点調節動作を示している。すなわち、電子ファインダのための表示や動画記録を行いつつ、焦点調節動作が並行して行われている。

まずステップＳ５０１において、システム制御回路５０は、焦点検出が開始したか否かを判定（すなわち、ＳＷ１や操作部７０などの操作により焦点検出開始指示ボタンがＯＮされたか否かを検知）する。焦点検出開始指示釦がＯＮされて焦点検出が開始した場合、ステップＳ５０２へ進む。一方、焦点検出が開始するまで、ステップＳ５０１を繰り返す。本実施形態では、焦点検出開始ボタンによる判定を行うが、電子ファインダ表示や動画記録に移行したことをトリガーとして焦点検出を開始してもよい。

続いてステップＳ５０２において、システム制御回路５０は、撮影レンズ３００のレンズ枠情報やフォーカスレンズ位置などの各種レンズ情報をインターフェース部３８、３３８、コネクタ１２２、３２２を介して取得する。続いてステップＳ５０３において、システム制御回路５０は、逐次読み出されている画像データから画像処理回路２０の合成部と連結部により対の焦点検出用信号（ＡＦ信号）を生成する。本実施形態では、式（１０）で表されるようなＡＦ用Ａ像、Ｂ像の信号が生成される。これらの信号は、ＡＦ部４２へ送られ、光量補正などが行われる。またＡＦ部４２は、焦点検出の際に評価しようとする信号の周波数特性に合わせたデジタルフィルタ処理を行い、所望の周波数成分の抽出（空間周波数帯域の抽出処理）を行う。以後の相関演算は、デジタルフィルタ処理後のＡＦ用Ａ像信号、ＡＦ用Ｂ像信号を用いて行われる。

続いてステップＳ５０４において、ＡＦ部４２（システム制御回路５０）は公知の相関演算手法などを用いて対の焦点検出用信号のずれ量を算出し、デフォーカス量に換算する（デフォーカス量の算出）。この詳細については後述する。続いてステップＳ５０５において、システム制御回路５０は、ステップＳ５０４にて算出した焦点検出結果に基づいて、撮影レンズ３００のレンズ駆動量を算出する。続いてステップＳ５０６において、システム制御回路５０は、インターフェース部３８、３３８、コネクタ１２２、３２２を介して、ステップＳ５０５にて算出したレンズ駆動量を撮影レンズ３００のフォーカス制御部３４２に送る。そしてシステム制御回路５０およびフォーカス制御部３４２は、フォーカスレンズを駆動することにより、撮影レンズ３００の焦点調節（レンズ駆動）を行う。

次に、図８を参照して、デフォーカス量の算出（図７のステップＳ５０４）について説明する。図８は、デフォーカス量の算出サブルーチンのフローチャートである。メインルーチン（図７）のステップＳ５０４から図８のサブルーチンに進むと、ステップＳ５０４１に進む。

ステップＳ５０４１において、システム制御回路５０（ＡＦ部４２）は、ＡＦ用Ａ像信号Ａｓ＿１とＡＦ用Ｂ像信号Ｂｓ＿１を用いた相関演算を行う。相関演算に用いる相関量ＣＯＲ１（ｋ）は、前述の式（１）により算出される。その後、ＡＦ用Ａ像とＡＦ用Ｂ像の信号の相関を最も示す場合、すなわち、相関量ＣＯＲ１が最小となる場合の値ｋを求める。ここで、値ｋは、整数で算出すると分解能が荒くなるため、適宜補間処理を行い、所謂サブピクセル演算を行う。本実施形態では、相関量ＣＯＲ１の差分を取り、差分量の符号が変化するシフト量ｄｋ１を算出（検出）する。相関量の差分ＤＣＯＲ１は、以下の式（１１）のように算出される。

ＤＣＯＲ１（ｋ）＝ＣＯＲ１（ｋ）−ＣＯＲ１（ｋ−１） … （１１）
システム制御回路５０は、相関量ＣＯＲ１の差分量ＤＣＯＲ１を用いて、差分量の符号が変化するシフト量ｄｋ１を検出する。符号が変化する直前のｋをｋ１、符号が変化した直後のｋをｋ２（ｋ２＝ｋ１＋１）とすると、シフト量ｄｋ１は、以下の式（１２）のように算出される。

ｄｋ１＝ｋ１＋｜ＤＣＯＲ１（ｋ１）｜／｜ＤＣＯＲ１（ｋ１）−ＤＣＯＲ１（ｋ２）｜ … （１２）
以上のように、システム制御回路５０は、１ピクセル以下のＡＦ用Ａ像とＡＦ用Ｂ像のシフト量ｄｋ１を算出し、ステップＳ５０４１の処理を終える。前述の位相差の算出方法としては種々の公知の方法があり、本実施形態において他の方法を用いても構わない。

続いてステップＳ５０４２において、システム制御回路５０は、ノイズ量を算出する。前述のとおり、ＡＦ用Ａ像とＡＦ用Ｂ像とに相関のあるノイズが発生した場合、ステップＳ５０４１にて行うシフト量の算出精度が劣化する。これは、相関量ＣＯＲ１の極小値近傍の値に、相関のあるノイズの影響が発生するためである。そこでステップＳ５０４２では、ノイズ量に影響を与えるＡＦ用信号にかけられるゲインやＳＮ改善のための平均処理やフィルタ処理などを考慮し、２種のノイズ量の算出を行う。２種のノイズ量の一つは、ＡＦ用Ａ像とＡＦ用Ｂ像に相関がないノイズが発生する状況、すなわちシフト量が０近傍ではない場合に発生するノイズ量（無相関ノイズ量）である。他方のノイズ量は、シフト量が０近傍でＡＦ用Ａ像とＡＦ用Ｂ像に相関がないノイズが発生する状況相関がある状況でのノイズ量（相関ノイズ量）である。相関ノイズ量は、負の相関のある場合と正の相関のある場合がある。各種のノイズ量の算出方法の詳細については後述する。

続いてステップＳ５０４３において、システム制御回路５０は、ステップＳ５０４２にて算出された相関ノイズ量が所定量よりも小さいか否かを判定する（相関ノイズ量の大小の判定を行う）。相関ノイズ量が所定量よりも小さい場合、ノイズの多くは、無相関ノイズで構成されるということを示している。この場合、ステップＳ５０４４に進み、システム制御回路５０（判定手段５０ｄ）は通常の信頼性判定を行う。ステップＳ５０４４では、信頼性判定として、相関量ＣＯＲ１の極小値の大きさと極小値近傍の相関量の差分ＤＣＯＲ１の大きさとを用いた判定を行う。

相関量ＣＯＲ１の極小値の大きさについては、極小値が小さければ小さいほど信頼性が高いと判定する。理想的には、相関量ＣＯＲ１の極小値は、ＡＦ用Ａ像とＡＦ用Ｂ像が完全に同一形状である場合に０となる。しかしながら、ＡＦ用Ａ像とＡＦ用Ｂ像は、被写体からの光の拡散特性や光量調整誤差や画素ごとに個別に生じるノイズの影響などの影響で、形状が異なる。このため、相関量ＣＯＲ１の極小値は、正の値となるのが一般的である。一方、ＡＦ用Ａ像とＡＦ用Ｂ像の形状が異なれば異なるほど、極小値の検出精度が劣化し、焦点検出精度が劣化する。例えば、信頼性判定の１つとして、閾値Ｔｈｒ１（基準としての判定閾値）よりも相関量ＣＯＲ１の極小値が小さければ、信頼性が高いと判定する。

またシステム制御回路５０は、シフト量ｄｋ１近傍の相関量の差分ＤＣＯＲ１を用いた信頼性判定を行う。相関量の差分ＤＣＯＲ１は、大きければ大きいほど、シフト量ｄｋ１を高精度に算出することができる。これは、相関量が誤差によりばらついた場合でも、相関量の差分が大きければ、シフト量の検出に与える影響が小さいためである。このことから、閾値Ｔｈｒ２よりも相関量の差分ＤＣＯＲ１が大きい場合、信頼性が高いと判定することができる。前述の閾値Ｔｈｒ１や閾値Ｔｈｒ２は、無相関ノイズ量の大小により変更してもよい。

ステップＳ５０４３にて相関ノイズの量が所定量よりも大きいと判定された場合、ステップＳ５０４５に進む。ステップＳ５０４５において、システム制御回路５０は、相関ノイズの相関の正負を判定する。相関ノイズが負の相関である場合、ステップＳ５０４６に進む。ステップＳ５０４６において、システム制御回路５０は、負の相関ノイズを有する場合の信頼性判定（負の相関ノイズ用信頼性判定）を行う。具体的には、信頼性判定方法は、ステップＳ５０４４と同様であるが、閾値を変更する。ステップＳ５０４６において、負の相関を有する相関ノイズ量が発生する場合、システム制御回路５０は、閾値Ｔｈｒ１を、無相関ノイズ量と相関ノイズ量との差に基づいて変更する。

無相関ノイズ量と相関ノイズ量は、図１１（ｂ）のＮｏｉｓｅ（Ｓ）とＮｏｉｓｅ（０）に相当し、その差は、突起の大きさに相当する。負の相関によるノイズ量が小さい場合でも、無相関ノイズ量が発生し、相関量ＣＯＲ１の極小値は、所定値以下にはなり得ない。このため、閾値Ｔｈｒ１としては、無相関ノイズ量を考慮して所定の値が設定される。負の相関によるノイズが発生する場合、相関量ＣＯＲ１の極小値は、より大きな値になる。このため、閾値Ｔｈｒ１としては、無相関ノイズ量に加えて負相関ノイズ量を加味してより大きな値が設定され、信頼性判定が行われる。また、相関量の差分ＤＣＯＲ１の信頼性判定については、ステップＳ５０４４と同様に閾値Ｔｈｒ２を用いて行う。相関ノイズの負の相関は、極小値の近傍のＤＣＯＲを小さくする方向に働く。このため、ステップＳ５０４４にて用いる閾値と同じ値を設定すれば十分である。

ステップＳ５０４５にて相関ノイズの相関が正であると判定された場合、ステップＳ５０４７に進む。ステップＳ５０４７において、システム制御回路５０は、ステップＳ５０４４と同様に、２つの信頼性判定を行う。正の相関を有する相関ノイズ量が大きい場合、相関量ＣＯＲ１の極小値が極めて小さくなる。このため、相関量ＣＯＲ１の極小値が十分に小さいか否かをステップＳ５０４４と同じ閾値Ｔｈｒ１を用いて判定するのに加えて、極小値が小さ過ぎないか否かを判定する。具体的には、システム制御回路５０は、閾値Ｔｈｒ３（＜Ｔｈｒ１）よりも相関量ＣＯＲ１の極小値が大きい場合、信頼性が高いと判定する信頼性判定も行う。閾値Ｔｈｒ３の値は、無相関ノイズ量に基づいて変更される。相関ノイズ量の大小により谷形状の大きさ（深さ）は変わるが、これによって閾値Ｔｈｒ３の値を変更する必要はない。正の相関によるノイズが発生する場合、相関量ＣＯＲ１の極小値は、無相関ノイズ量から想定される値より、小さい値が算出される。前述のシフト量の算出では極小値の位置を検出するため、相関ノイズはノイズ量の大小によらず、極小値の検出誤差は大きい。このため閾値Ｔｈｒ３は、無相関ノイズ量に基づいて設定される。

ステップＳ５０４７における信頼性判定として、システム制御回路５０は、シフト量ｄｋ１近傍の相関量の差分ＤＣＯＲ１を用いた信頼性判定も行う。正の相関を有する相関ノイズ量が大きい場合、ＡＦ用信号が一様でコントラストが小さく、本来の信号成分で生成される極小値の近傍の相関量変化が小さい場合でも、大きな相関量変化が得られる。このため、精度よくシフト量を算出するには、相関ノイズ量により発生する相関量変化よりも十分に大きい相関量の変化が必要である。したがって、極小値近傍の相関量の差分ＤＣＯＲ１の大小を判定する閾値Ｔｈｒ２としては、相関ノイズ量が大きい場合、より大きな値が設定される。

ステップＳ５０４４、Ｓ５０４６、Ｓ５０４７にて以上の信頼性判定を、相関ノイズに応じた基準としての判定閾値（閾値Ｔｈｒ１、Ｔｈｒ２、Ｔｈｒ３）を用いて行い、ステップＳ５０４８に進む。ステップＳ５０４８において、システム制御回路５０は、信頼性判定の結果として、信頼性が有るか否かを判定する。得られたシフト量ｄｋ１の信頼性が有ると判定された場合、ステップＳ５０４９に進む。ステップＳ５０４９において、システム制御回路５０は、得られたシフト量ｄｋ１をデフォーカス量に変換する。デフォーカス量に変換する際に用いる変換係数は、焦点検出を行う検出領域の像高や撮影レンズの光学条件（Ｆ値や射出瞳位置、ビネッティング状況）などに応じて異なる。本実施形態では、システム制御回路５０は、各種条件ごとに記憶されたテーブルから、用いる変換係数を取得する。

一方、ステップＳ５０４８にて信頼性が低いと判定された場合、ステップＳ５０５０に進む。ステップＳ５０５０において、システム制御回路５０は、フォーカスレンズ駆動を行う際に、用いる検出結果がないため、被写体の距離分布などの統計データなどを用いてフォーカスレンズの駆動方向を決定する。一般的に、被写体は至近側に存在することが多いため、システム制御回路５０は至近側にサーチ駆動を行うための設定を行う。ステップＳ５０４９またはステップＳ５０５０を終えると、本サブルーチンを終了し、図７のステップＳ５０５に進む。

次に、図９を参照して、ノイズ量の算出（図８のステップＳ５０４２）について説明する。図９は、ノイズ量の算出サブルーチンのフローチャートである。図９の各ステップは、主に、システム制御回路５０（ノイズ算出手段５０ｃ）により行われる。図８のステップＳ５０４１から図９のサブルーチンに進むと、ステップＳ２０１に進む。

ステップＳ２０１において、システム制御回路５０は、ＡＦ用Ａ像信号とＡＦ用Ｂ像信号に施されたゲイン処理に関する情報（ゲイン情報）を取得する。ＡＦ用Ａ像信号とＡＦ用Ｂ像信号に施されるゲイン処理としては、センサ内のゲイン処理やＡＤ変換後に施されるゲイン処理、２つの信号の光量調整などを行うためのゲイン処理などが考えられる。施されるゲインにより、ノイズ量は増加する。信号のゲイン情報Ｇは、以下の式（１３）のように算出される。

Ｇ＝Ｇｉ×Ｇｏ×Ｇａｂ … （１３）
式（１３）において、Ｇｉはセンサ（撮像素子１４）内で信号に対してかかるゲイン、Ｇｏはセンサ出力後の信号に対してかかるゲイン、ＧａｂはＡＦ用Ａ像信号とＢ像信号に施されるゲインを示している。ＡＦ用Ａ像信号やＡＦ用Ｂ像信号に施されるゲインは、光量調整を行うため、画素ごとに異なる。ゲインＧａｂとしては、各画素に施されるゲインの平均値を代表値として用いればよい。

続いてステップＳ２０２において、システム制御回路５０は、信号加算数を取得する。信号加算は、ノイズ量を減らす効果を有し、異なる行の信号間や異なるフレーム間の輝度信号の加算や相関量の加算などが考えられる。信号加算数Ｎｓｕｍは、以下の式（１４）のように算出される。

Ｎｓｕｍ＝Ｎｐｉｘ＋Ｎｆｒａｍｅ＋Ｎｃｏｒ … （１４）
式（１４）において、Ｎｐｉｘは異なる行や列の画素から得られた信号の加算数、Ｎｆｒａｍｅは異なるフレーム間の加算数、Ｎｃｏｒは相関量の加算数である。

続いてステップＳ２０３において、システム制御回路５０は、ＡＦ用Ａ像信号とＡＦ用Ｂ像信号に施されたデジタルフィルタの設定を取得する。デジタルフィルタにより、図１１（ｂ）を参照して説明したノイズ量Ｎｏｉｓｅ（０）は、周辺のシフト量に拡散する。これは、対の画素同士のみ相関があったノイズが、デジタルフィルタにより周囲の画素にノイズが拡散するためである。デジタルフィルタのタップ数が２Ｔ＋１の場合、式（１）の相関演算を行うと、シフト量が±Ｔの範囲で相関のあるノイズの影響が発生する。例えば、３タップのフィルタ［ｐ，ｑ，ｒ］（ｐ＋ｑ＋ｒ＝１）を施した場合、式（４）で表されるシフト量＝０の際の相関量ＣＯＲ（０）は、以下の式（１５）のように表される。

ＣＯＲ（０）＝Σ｜ｐ×（Ａ（ｉ−１）−Ｂ（ｉ−１））＋ｑ×（Ａ（ｉ）−Ｂ（ｉ））＋ｒ×（Ａ（ｉ＋１）−Ｂ（ｉ＋１））｜ …（１５）
式（１５）のノイズ部分は、２×（ｐ×Ｎ［Ａ（ｉ−１）］＋ｑ×Ｎ［Ａ（ｉ）］＋ｒ×Ｎ［Ａ（ｉ＋１）］）−（ｐ×Ｎ［Ａ＋Ｂ（ｉ−１）］＋ｑ×Ｎ［Ａ＋Ｂ（ｉ）］＋ｒ×Ｎ［Ａ＋Ｂ（ｉ＋１）］）と表される。３画素のノイズであるＮ［Ａ（ｉ−１）］、Ｎ［Ａ（ｉ）］、Ｎ［Ａ（ｉ＋１）］の間で相関がない場合、ｐ、ｑ、ｒによる重み付け加算により平均化処理が行われ、ノイズ量が低減する。デジタルフィルタによるノイズ低減効果Ｆは、以下の式（１６）のように算出される。

式（１６）により算出されるノイズ低減効果Ｆは、前述のゲインＧと同様に扱うことができる。

同様に、シフト量＝１の際の相関量ＣＯＲ（１）は、以下の式（１７）のように表される。

ＣＯＲ（１）＝Σ｜ｐ×（Ａ（ｉ−２）−Ｂ（ｉ））＋ｑ×（Ａ（ｉ−１）−Ｂ（ｉ＋１））＋ｒ×（Ａ（ｉ）−Ｂ（ｉ＋２））｜ … （１７）
式（１７）では、シフト量が、Ａ（ｉ）とＢ（ｉ）というノイズに相関のある信号を含んで計算される。具体的には、ｒ×Ａ（ｉ）−ｐ×Ｂ（ｉ）のノイズ成分に相関が発生する。このように、デジタルフィルタ処理により、シフト量０の近傍に相関のあるノイズの影響が拡散する。ステップＳ２０３では、フィルタの設定を取得し、相関のあるノイズの影響範囲Ｔや、デジタルフィルタによるノイズ低減効果Ｆを算出する。

続いてステップＳ２０４において、システム制御回路５０は、ノイズ量を算出する。ここでは、前述の２種のノイズ（無相関ノイズおよび相関ノイズ）のノイズ量を算出する。これらの２種のノイズについては、基準となるノイズ量が、撮像素子の出力信号の基礎特性として、設計値または測定値が撮像装置１０のメモリなどの記憶手段に予め記憶されている。無相関ノイズの基準量Ｎｎ０、相関ノイズの基準量Ｎｐ０、ＮＮｍ０（Ｎｐ０、Ｎｍ０は、正および負の相関をそれぞれ有する相関ノイズの基準量）とすると、無相関ノイズ量Ｎｎおよび相関ノイズＮｃは、以下の式（１８）、（１９）のようにそれぞれ算出される。

無相関ノイズＮｎや負の相関を有する相関ノイズ（式（１９）の後の項）は、主に受光量（信号量）によらないダークノイズ成分であるため、基準となる量に対して、前述のゲインや信号加算やフィルタの影響を加味して、ノイズ量を算出する。一方、正の相関を有する相関ノイズ（式（１９）の前の項）は、画素ごとの感度の不均一性は、画素ごとの透過率のムラや、読み出し回路などで生じ、信号量が大きい場合に大きくなるノイズである。このため、ＡＦ用Ａ像信号とＡＦ用Ｂ像信号の輝度信号（デジタルフィルタ処理前）の平均値Ｉ（信号列の少なくとも一部の領域の積算値）を乗じて、ノイズ量を算出する。相関ノイズＮｃの符号は正の場合、正の相関を有する相関ノイズを有することを示す。一方、符号が負の場合、負の相関を有する相関ノイズを有することを示す。前述のノイズ量の算出の際には、相関ノイズＮｃの絶対値が用いられる。本実施形態において、無相関ノイズは、受光量などに影響を受けないオフセット成分として説明したが、無相関ノイズに関して、オフセット成分とゲイン成分を分けて考えてもよい。ステップＳ２０４にてノイズ量の算出を終えると、本サブルーチンを終了し、図８のステップＳ５０４３に進む。

これにより、１対のＡＦ像信号間でノイズ成分に相関のある信号を出力する撮像装置において、低コントラストの被写体撮影や低輝度環境下で撮影する場合でも、ノイズの影響を適切に把握し、高精度な焦点検出結果のみを利用して焦点調節することが可能となる。なお本実施形態では、同一のマイクロレンズを共有する画素間で相関があるノイズが発生する場合を想定して説明したが、ノイズの発生源や性質についてはこれに限定されるものではない。例えば、フローティングディフュージョンや信号出力線やアンプ回路を共有する場合、カラーフィルタの領域間のムラなどがある場合など、Ａ像信号とＢ像信号で相関のあるノイズが発生しうる。このような場合にも、適切にノイズ量を算出し、信頼性判定を行うことにより、本実施形態の効果を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、相関量ＣＯＲ１の極小値と対応するシフト量ｄｋ１の大きさに応じて信頼性判定（判定閾値）を異ならせる点で、第１の実施形態とは異なる。本実施形態における他の構成や動作は、第１の実施形態と同様であるため、それらの説明を省略する。

第１の実施形態では、シフト量ｄｋ１の大きさによらず、相関ノイズ量の大小によって信頼性判定の閾値を切り替えて、信頼性判定を行う。前述のとおり、相関ノイズの影響は、デジタルフィルタの影響により拡散はするが、シフト量が０近傍の範囲で発生する。このため、シフト量ｄｋ１の絶対値が十分に大きい場合、相関ノイズの影響は受けない。したがって本実施形態では、シフト量ｄｋ１の大きさに応じて信頼性判定を切り替える。これにより、不要な相関ノイズの大小による閾値の変更を行う必要がなく、演算負荷を低減することができる。また、信頼性判定を無用に厳しくすることなく、高精度の信頼性判定を実現することが可能となる。

図１０を参照して、本実施形態における相関量の極小値を得たシフト量の大小による信頼性判定の切り替え方法（デフォーカス量の算出（図７のステップＳ５０４））について説明する。図１０は、デフォーカス量の算出サブルーチンのフローチャートである。メインルーチン（図７）のステップＳ５０４から図１０のサブルーチンに進むと、ステップＳ５０４１に進む。なお、図１０において、図８と同一の処理については、同じステップ番号を付している。図１０のフローチャートは、図８のステップＳ５０４３に代えて、ステップＳ５１００が挿入されている点で、図８のフローチャートとは異なる。図１０中の他のステップは、図８と同様である。

ステップＳ５１００において、システム制御回路５０は、相関ノイズの大きさとシフト量ｄｋ１の絶対値の大きさの判定を行う。相関のあるノイズ量の大小に応じて信頼性判定の閾値を変更する点は、第１の実施形態と同じである。本実施形態では、相関ノイズ量が所定量よりも小さいか、または、シフト量ｄｋ１の絶対値の大きさが所定値よりも大きい場合、ステップＳ５０４４に進み、通常の信頼性判定を行う。一方、相関ノイズが所定量よりも大きく、かつ、シフト量ｄｋ１の絶対値の大きさが所定値よりも小さい場合、相関ノイズの影響があると判定し、ステップＳ５０４５に進む。ステップＳ５０４４やステップＳ５０４５以降の処理は、第１の実施形態と同様である。

以上のように、本実施形態では、シフト量ｄｋ１が大きい場合、相関ノイズの影響はないと判定して信頼性判定を行う。これにより、適切な信頼性判定の閾値を設定することができ、高精度の信頼性判定を行うことができる。また、不要な相関ノイズによる閾値設定を行う必要がなく、演算負荷の低減が可能である。

このように各実施形態において、制御装置（システム制御回路５０）は、取得手段５０ａ、相関演算手段５０ｂ、ノイズ算出手段５０ｃ、および、判定手段５０ｄを有する。取得手段５０ａは、撮像光学系（撮影レンズ３００）の互いに異なる瞳領域を通過する光束に対応する第１信号（第１光電変換部からの出力信号）および第２信号（第２光電変換部からの出力信号）を取得する。相関演算手段５０ｂは、第１信号と第２信号との相関量を演算する。ノイズ算出手段５０ｃは、第１信号と第２信号との相関ノイズを算出する。判定手段５０ｄは、相関ノイズに応じた基準を用いて相関量に関する信頼性を判定する。好ましくは、第１信号は、第１光電変換部の出力信号に対応し、第２信号は、第１光電変換部および第２光電変換部の出力信号から第１光電変換部の出力信号を減算して得られた信号に対応する。

好ましくは、判定手段５０ｄは、前記基準として、相関ノイズに応じた判定閾値（閾値Ｔｈｒ１、Ｔｈｒ２、Ｔｈｒ３）を設定し、相関量に関する情報（相関量の極小値など）と判定閾値とを比較して信頼性を判定する。また好ましくは、相関ノイズは、第１信号と第２信号との間に正の相関および負の相関があるノイズである。また好ましくは、相関演算手段５０ｂは、第１信号と第２信号とをシフトしながらシフト量ごとの相関量を算出して、最も相関の高いシフト量を算出する。そして判定手段５０ｄは、相関量に関する信頼性として、最も相関の高いシフト量の信頼性を判定する。

好ましくは、判定手段５０ｄは、第１信号および第２信号に対するゲイン処理に応じて判定閾値を変更する（ステップＳ２０１、式（１３））。また好ましくは、判定手段５０ｄは、第１信号と第２信号、または、相関量に対する信号加算処理（ステップＳ２０２、式（１４））に応じて判定閾値を変更する。また好ましくは、判定手段５０ｄは、第１信号および第２信号に対する空間周波数帯域の抽出処理（ステップＳ２０３、式（１５）〜（１７））に応じて判定閾値を変更する。また好ましくは、判定手段５０ｄは、第１信号と第２信号との少なくとも一方の少なくとも一部の領域の積算値に応じて判定閾値を変更する。また好ましくは、判定手段５０ｄは、最も相関の高いシフト量に応じて判定閾値を変更する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態の撮像装置によれば、低コントラストの被写体撮影や低輝度環境下で撮影する場合でも、ノイズの影響を適切に把握することが可能である。このため各実施形態によれば、高精度な焦点検出を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５０ システム制御回路（制御装置）
５０ａ 取得手段
５０ｂ 相関演算手段
５０ｃ ノイズ算出手段
５０ｄ 判定手段

Claims (15)

1. 撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得する取得手段と、
   前記第１信号と前記２信号との相関量を演算する相関演算手段と、
   前記第１信号と前記第２信号との相関ノイズを算出するノイズ算出手段と、
   前記相関ノイズに応じた基準を用いて前記相関量に関する信頼性を判定する判定手段と、を有することを特徴とする制御装置。
2. 前記判定手段は、
   前記基準として、前記相関ノイズに応じた判定閾値を設定し、
   前記相関量に関する情報と前記判定閾値とを比較して前記信頼性を判定することを特徴とする請求項１に記載の制御装置。
3. 前記相関ノイズは、前記第１信号と前記第２信号との間に正の相関および負の相関があるノイズであることを特徴とする請求項１または２に記載の制御装置。
4. 前記相関演算手段は、前記第１信号と前記第２信号とをシフトしながらシフト量ごとの前記相関量を算出して、最も相関の高いシフト量を算出し、
   前記判定手段は、前記相関量に関する信頼性として、最も相関の高い前記シフト量の信頼性を判定することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記判定手段は、最も相関の高い前記シフト量に応じて、前記基準を変更することを特徴とする請求項４に記載の制御装置。
6. 前記判定手段は、前記第１信号および前記第２信号に対するゲイン処理に応じて、前記基準を変更することを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
7. 前記判定手段は、前記第１信号と前記第２信号、または、前記相関量に対する信号加算処理に応じて、前記基準を変更することを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. 前記判定手段は、前記第１信号および前記第２信号に対する空間周波数帯域の抽出処理に応じて、前記基準を変更することを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記判定手段は、前記第１信号と前記第２信号との少なくとも一方の少なくとも一部の領域の積算値に応じて、前記基準を変更することを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
10. 撮像光学系の互いに異なる瞳領域を通過する光束を受光する第１光電変換部および第２光電変換部を有する撮像素子と、
    前記第１光電変換部および前記第２光電変換部からの出力信号のそれぞれに対応する第１信号および第２信号を取得する取得手段と、
    前記第１信号と前記２信号との相関量を演算する相関演算手段と、
    前記第１信号と前記第２信号との相関ノイズを算出するノイズ算出手段と、
    前記相関ノイズに応じて前記相関量の信頼性を判定する判定手段と、を有することを特徴とする撮像装置。
11. 前記撮像素子は、１つのマイクロレンズに対して前記第１光電変換部および前記第２光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項１０に記載の撮像装置。
12. 前記第１信号は、前記第１光電変換部の出力信号に対応し、
    前記第２信号は、前記第１光電変換部および前記第２光電変換部の出力信号から該第１光電変換部の前記出力信号を減算して得られた信号に対応することを特徴とする請求項１０または１１に記載の撮像装置。
13. 撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得するステップと、
    前記第１信号と前記２信号との相関量を演算するステップと、
    前記第１信号と前記第２信号との相関ノイズを算出するステップと、
    前記相関ノイズに応じて前記相関量の信頼性を判定するステップと、を有することを特徴とする制御方法。
14. 撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得するステップと、
    前記第１信号と前記２信号との相関量を演算するステップと、
    前記第１信号と前記第２信号との相関ノイズを算出するステップと、
    前記相関ノイズに応じて前記相関量の信頼性を判定するステップと、をコンピュータに実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記憶していることを特徴とする記憶媒体。