JP6881911B2 - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、焦点検出を行う撮像装置に関する。

従来から、焦点検出を行ってフォーカス位置を制御する撮像装置が知られている。特許文献１には、１つのマイクロレンズに対応する複数の光電変換部（分割画素）を有し、そのマイクロレンズを２次元状に複数配置した撮像素子を用いて、位相差方式の焦点検出を行う撮像装置が開示されている。特許文献１の撮像装置は、分割画素から得られた画素信号のうち特定の周波数帯域の信号を通過させるバンドパスフィルタを用いたフィルタ処理を行うことにより焦点検出精度を向上させている。

特許文献２には、所定の周期で読み出された分割画素信号を加算することにより、焦点検出に適した露光量の信号を取得する方法が開示されている。特許文献３には、水平方向に射出瞳を分割した画素間での相関演算結果を水平方向と直交する方向に加算することにより、良好な相関演算結果を取得する方法が開示されている。

特開２０１５−１１２８３号公報 特許第５８５２３５６号 特開２０１３−０７２９０６号公報

しかしながら、特許文献１において、バンドパスフィルタを適用した信号が、焦点検出演算に適した振幅を有しているとは限らない。特許文献１には、バンドパスフィルタの例として、ＤＣ成分をカットしてエッジ抽出を行う｛１、４、４、４、０、−４、−４、−４、−１｝や高周波数ノイズ成分を抑制する｛１，２，１｝が開示されている。このようなバンドパスフィルタをデジタル信号に適用する場合、一般的には、各タップのフィルタ係数の絶対値の合計で正規化を行うことにより、信号の振幅をバンドパスフィルタの適用前の信号のビット幅に抑えるように設計される。

このとき、低コントラストの被写体に対して、高域を通過するバンドパスフィルタを適用した場合、振幅のない信号が得られる。高周波成分が多く含まれている被写体に対して低域を通過するバンドパスフィルタを適用した場合においても、同様に、振幅のない信号が得られる。このような振幅のない信号に基づいて焦点検出処理を行うと、焦点検出精度が低下する可能性がある。

また、各タップのフィルタ係数の絶対値の合計で正規化を行わない場合、正規化を行った後に所定のビット幅に抑えるためのリミッタ処理が必要となる。高周波数成分を有する被写体に対して高域通過フィルタを適用してリミッタ処理を行うと、本来振幅があるべき部分がリミッタ上限値に張り付いた信号となる場合がある。このような場合にも、焦点検出精度が低下する可能性がある。

なお、正規化処理を行わない場合、各タップのフィルタ係数の絶対値が乗算された結果が出力されることがある。このような出力を演算として保障するには、バンドパスフィルタを用いたフィルタ処理以降の回路のビット幅を各タップのフィルタ係数の絶対値を乗算した結果のビット幅に拡張する必要があり、多くの回路規模が必要となる。

特許文献２のように分割画素を所定の時間単位で加算した場合でも、必ずしも所定の帯域の信号において十分な振幅が得られるとは限らない。また、特許文献３のように相関演算の結果を行方向に加算した場合でも、振幅の足りない信号に基づいた相関演算結果間の加算となるため、確実に焦点検出精度の低下を防ぐことは困難である。

そこで本発明は、信号の周波数成分に依存せずに高精度な焦点検出を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、焦点検出枠の各行に対して決定された第１信号および第２信号のそれぞれに関する正規化係数を用いて、該第１信号および該第２信号の正規化処理を行う正規化手段と、正規化された前記第１信号および前記第２信号に対して相関演算を行う相関演算手段と、前記相関演算手段からの出力信号に基づく相関データに対して、前記焦点検出枠の各行に対して決定された前記正規化係数による影響を低減またはキャンセルするように該相関データを補正する補正手段とを有する。

本発明の他の側面としての制御装置は、焦点検出枠の各行に対して決定された第１信号および第２信号のそれぞれに関する正規化係数を用いて、該第１信号および該第２信号の正規化処理を行う正規化手段と、正規化された前記第１信号および前記第２信号に対して相関演算を行う相関演算手段とを有し、前記正規化手段は、前記第１信号および前記第２信号に対して第１周波数帯域のバンドパスフィルタ処理を行う第１フィルタと、前記第１周波数帯域を含む第２周波数帯域のバンドパスフィルタ処理を行う第２フィルタと、前記第２フィルタを通過した前記第１信号および前記第２信号のそれぞれのピーク値を検出する検出手段と、前記検出手段から出力された信号に基づいて前記焦点検出枠の各行に対して決定された前記正規化係数を算出する算出手段とを有し、前記相関演算手段は、前記第１フィルタを通過した前記第１信号および前記第２信号に対して前記相関演算を行う。

本発明の他の側面としての撮像装置は、撮像光学系の互いに異なる瞳領域を通過する光束を受光する第１光電変換部および第２光電変換部を有する撮像素子と、前記第１光電変換部および前記第２光電変換部からの出力信号のそれぞれに対応する第１信号および第２信号を取得する取得手段と、焦点検出枠の各行に対して決定された前記第１信号および前記第２信号のそれぞれに関する正規化係数を用いて、該第１信号および該第２信号の正規化処理を行う正規化手段と、正規化された前記第１信号および前記第２信号に対して相関演算を行う相関演算手段と、前記相関演算手段からの出力信号に基づく相関データに対して、前記焦点検出枠の各行に対して決定された前記正規化係数による影響を低減またはキャンセルするように該相関データを補正する補正手段とを有する。

本発明の他の側面としての制御方法は、焦点検出枠の各行に対して決定された第１信号および第２信号のそれぞれに関する正規化係数を用いて、該第１信号および該第２信号の正規化処理を行うステップと、正規化された前記第１信号および前記第２信号に対して相関演算を行うステップと、前記相関演算を行う相関演算手段からの出力信号に基づく相関データに対して、前記焦点検出枠の各行に対して決定された前記正規化係数による影響を低減またはキャンセルするように該相関データを補正するステップとを有する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、信号の周波数成分に依存せずに高精度な焦点検出を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置のブロック図である。 各実施例における固体撮像素子の画素配列図である。 各実施例における分割ＰＤの画素値を用いて焦点検出動作（合焦動作）を行う場合の概念図である。 実施例１における焦点検出処理部のブロック図である。 各実施例における正規化係数決定部のブロック図である。 各実施例における第１フィルタのブロック図である。 各実施例における第２フィルタのブロック図である。 実施例２における焦点検出処理部のブロック図である。 各実施例における相関演算部のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置の構成について説明する。図１は、本実施例における撮像装置１００のブロック図である。なお図１において、本実施例の特徴に直接的に関係のない構成は省略している。

光学系ユニット１０１（撮像光学系）は、フォーカスを調整するためのフォーカスレンズを含むレンズ群、シャッタ、絞り、および、レンズ制御部などを備えて構成される。光学系ユニット１０１は、駆動制御部１０８からの出力信号（駆動信号）に基づいて駆動される。駆動制御部１０８は、後述の焦点検出処理部１０５から出力されるデフォーカス量に従って、光学系ユニット１０１に含まれるフォーカスレンズの駆動信号を出力する。固体撮像素子１０２は、単位画素セルが２次元マトリクス状に配列されたＣＭＯＳイメージセンサであり、光学系ユニット１０１に含まれるシャッタや絞りにより露光制御が行われる。

ここで、図２を参照して、固体撮像素子１０２の単位画素セルについて説明する。図２は固体撮像素子１０２の画素配列図であり、図２（ａ）は単位画素セル２００の構成、図２（ｂ）は単位画素セル２００の配列（ベイヤー配列）をそれぞれ示している。

図２（ａ）に示されるように、単位画素セル２００は、１つのマイクロレンズ２と、１つのマイクロレンズ２に対応する（１つのマイクロレンズ２を共有する）複数（２つ）の光電変換部１ａ、１ｂ（分割画素、分割ＰＤ）を有する。なお本実施例において、１つのマイクロレンズ２を共有する光電変換部（分割画素）の数は２つであるが、これに限定されるものではない。例えば、１つのマイクロレンズを共有する四つの光電変換部を設けてもよい。光電変換部１ａ、１ｂは、同一のマイクロレンズ２を介して入射光を受光することにより、その配置に応じて瞳分割された像を得ることが可能である。以降、光電変換部１ａ、１ｂにより得られた像をそれぞれＡ像、Ｂ像という。図２（ｂ）に示されるように、固体撮像素子１０２は、単位画素セル２００を２次元状に複数配列して構成される。すなわち固体撮像素子１０２は、１つのマイクロレンズ２に対して第１光電変換部（光電変換部１ａ）および第２光電変換部（光電変換部１ｂ）を有し、複数のマイクロレンズ２が２次元状に配列されている。

Ａ／Ｄ変換部１０３は、伝送路上のノイズを除去するＣＤＳ回路や非線形増幅回路などのアナログ信号処理部（不図示）を有する。またＡ／Ｄ変換部１０３は、アナログ信号処理を行った上で固体撮像素子１０２から出力されるアナログ電気信号に対して所定のアナログ信号処理を行った後、アナログ電気信号をデジタル電気信号（画素信号）に変換する。デジタル電気信号は、キャプチャー部１０４に出力される。本実施例において、固体撮像素子１０２は、光学系ユニット１０１（撮像光学系）の互いに異なる瞳領域を通過する光束を受光する第１光電変換部（光電変換部１ａ）および第２光電変換部（光電変換部１ｂ）を有する。

キャプチャー部１０４（取得手段）は、第１光電変換部および第２光電変換部からの出力信号のそれぞれに対応する第１信号および第２信号を取得する。またキャプチャー部１０４は、画素信号の有効期間および種別を判定し、Ａ像およびＢ像の画素信号（第１信号および第２信号）を焦点検出処理部１０５およびデジタル信号処理部１０６に出力する。焦点検出処理部１０５は、Ａ像とＢ像との間の像ずれ量を算出する。駆動制御部１０８は、焦点検出処理部１０５から出力されたデフォーカス量に基づいて、光学系ユニット１０１のフォーカスレンズを駆動する。

次に、図３を参照して、本実施例における撮像装置１００の焦点検出動作（合焦動作）について説明する。図３は、本実施例における分割ＰＤ（画素１ａ、１ｂ）の画素値を用いて焦点検出動作（合焦動作）を行う場合の概念図であり、図３（ａ）、（ｂ）、（ｃ）はそれぞれ合焦状態、後ピン状態、および、前ピン状態をそれぞれ示している。

図３において、固体撮像素子１０２は、図２を参照して説明した複数の単位画素セル２００を有し、単位画素セル２００をその位置（画素位置）に応じてそれぞれＰ１〜Ｐ１３として示している。また、単位画素セル２００の光電変換部１ａ、１ｂをそれぞれａ、ｂとして示している。このように固体撮像素子１０２は、１つのマイクロレンズの下に分離配置した光電変換部ａ、ｂを備えた単位画素セル２００を複数配置している。特許文献１に開示されているように、１つのマイクロレンズの下に配置された光電変換部ａ、ｂは、このマイクロレンズを射出瞳として瞳分割された画素である。

焦点検出の際には、光電変換部ａ、ｂからのＡ像用画素出力およびＢ像用画素出力を、各々、列方向（または行方向）に組み合わせ、同色の単位画素セル群の出力として、Ａ像およびＢ像を生成し、各々の対応点のずれを相関演算（ＳＡＤ演算）により求める。相関演算の結果は、以下の式（１）により求められる。

Ｃ＝Σ｜ＹＡｎ−ＹＢｎ｜ … （１）
式（１）において、ｎは水平方向のマイクロレンズの数（番号）である。ＹＡｎ、ＹＢｎは、それぞれ、ｎ番目のマイクロレンズに対応するＡ像の輝度信号、Ｂ像の輝度信号である。Ｂ像の輝度信号ＹＢｎに対して対応画素をずらして得られた値をプロットし、ずれ量が最小となる位置が合焦位置である。

図３（ａ）に示されるように、合焦状態である場合、被写体像は単位画素セルＰ７の画素ａ、ｂに結像する。このため、Ａ像用画素群（画素ａ）とＢ像用画素群（画素ｂ）は略一致する。このとき、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量ｄ（ａ）は略０である（｜ｄ（ａ）｜≒０）。一方、図６（ｂ）に示されるように、後ピン状態である場合、被写体像は単位画素セルＰ９の画素ａ（Ａ像用画素群）、および、単位画素セルＰ５の画素ｂ（Ｂ像用画素群）に結像する。このとき、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量ｄ（ｂ）が発生する。また、図６（ｃ）に示されるように、前ピン状態である場合、被写体像は単位画素セルＰ５の画素ａ（Ａ像用画素群）、および、単位画素セルＰ９の画素ｂ（Ｂ像用画素群）に結像する。このとき、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量として、後ピン状態の場合と逆方向の像ずれ量ｄ（ｃ）が発生する。

すなわち、合焦状態ではＡ像用画素群およびＢ像用画素群は同一の被写体を見ているが、後ピン状態および前ピン状態ではＡ像用画素群およびＢ像用画素群は像ずれ量ｄだけずれた被写体を見ているということを意味する。駆動制御部１０８は、相関演算結果の最小値となる像ずれ量ｄと基線長とに基づいて周知の技術により算出されたデフォーカス量に基づいて、被写体に対する合焦動作を行うことができる。

次に、図４を参照して、焦点検出処理部１０５の具体的な構成およびデータフローについて説明する。図４は、焦点検出処理部１０５のブロック図である。

焦点検出処理部１０５には、キャプチャー部１０４により分離されたＡ像およびＢ像が入力される。Ａ像およびＢ像は、正規化係数決定部４００および第１フィルタ４０１に入力される。正規化係数決定部４００は、Ａ像およびＢ像に基づいて、第１フィルタ４０１により処理された信号の振幅がバスのビット幅に対して適切なレンジを有するように正規化係数（正規化ゲイン）を算出する。算出された正規化係数（正規化ゲイン）は、第１フィルタ４０１およびゲインコントロール部４０３に出力される。このようなゲインコントロール技術は、オートゲインコントロールと呼ばれる。

ここで、図５を参照して、正規化係数決定部４００の具体的な構成について説明する。図５は、正規化係数決定部４００のブロック図である。正規化係数決定部４００において、Ａ像およびＢ像は第２フィルタ５００に入力される。第２フィルタ５００は、Ａ像およびＢ像のそれぞれから所定の周波数帯域（第２周波数帯域）の信号を抽出し、ピーク検出部５０１へ出力する。ピーク検出部５０１は、所定の周波数帯域が抽出されたＡ像およびＢ像のそれぞれの振幅を算出し、比較器５０２に出力する。比較器５０２は、算出されたＡ像のピーク値とＢ像のピーク値とを比較する。そして比較器５０２は、Ａ像およびＢ像のピーク値のうち大きい方のピーク値を選択して、正規化ゲイン算出部５０４に出力する。

正規化ゲイン算出部５０４は、第１フィルタ４０１の出力信号を所定のビット幅に圧縮するための信号上限値ｘを、比較器５０２の出力信号ｙで割ることにより、正規化のゲインｇを算出する（ｇ＝ｘ／ｙ）。以下、具体的について説明する。第１フィルタ４０１の出力信号を１０ｂｉｔとし、検出されたピーク値が３８４である場合、１０ｂｉｔで表現される上限値である１０２３を３８４で除算することにより、振幅を拡大する正規化の係数を求める。一方、検出されたピーク値が１２８０である場合、１０２３を１２８０で除算することにより振幅を圧縮し、所定のビット幅に第１フィルタ４０１の出力信号を収める（制限）ことが可能となる。好ましくは、第１フィルタ４０１により抽出される周波数帯域（第１周波数帯域）よりも第２フィルタ５００により抽出される周波数帯域（第２周波数帯域）を広くする。これにより、確実に第１フィルタ４０１の出力信号を所定のビット幅に圧縮または拡大することが可能となる。

次に、図７を参照して、正規化係数決定部４００における第２フィルタ５００の構成について説明する。図７は、第２フィルタ５００のブロック図である。なお本実施例では、説明の簡便さのため、５ＴＡＰのバンドパスフィルタを適用する場合について説明する。

第２フィルタ５００は、遅延素子７００、対称タップを加算する加算素子７０３、タップ係数を乗算する乗算素子７０１、および、乗算結果を加算する加算素子７０２を備えて構成される。線形位相特性を一定にするため、一般的に、中央ＴＡＰに対して線対称または点対称のフィルタが形成される。このため、加算素子７０３は、０ＴＡＰと４ＴＡＰとの加算、および、１ＴＡＰと３ＴＡＰとの加算をそれぞれ行い、乗算素子７０１は、ＴＡＰ係数を乗算する。なお点対称フィルタは、加算素子を減算素子にすることで実現することが可能である。各ＴＡＰ係数の乗算結果を加算素子７０２によって加算し、出力することで所定の周波数帯域を抽出することが可能となる。このような回路では、一般的に正規化を行うが、第２フィルタ５００は、バンドパスフィルタ結果の振幅を正確に得ることを目的とするため、本実施例では正規化処理を行わない。

なお、概算の振幅に基づいて正規化ゲインを算出するには、Ａ像信号およびＢ像信号の第２フィルタ５００の入力ビット幅をビットシフトによって小さくしてもよい。また、第２フィルタ５００から出力される信号を正規化することにより、ピーク検出部５０１、比較器５０２、および、正規化ゲイン算出部５０４の規模を削減することが可能となる。例えば、第２フィルタ５００の入出力のいずれかのＬＳＢ３ｂｉｔを削除するようにビットシフトした場合、ビットシフトしなかった際のピーク値は３８４に対してビットシフトしたピーク値は４８となる。第１フィルタ４０１の出力信号の上限値１０２３に対しても、３ｂｉｔシフトした１２７を４８で除算すればよい。

このような処理により、算出される正規化ゲインの精度は低下するが、第１フィルタ４０１の出力のビット幅を所定のビット幅に抑えることが可能である。この場合、第１フィルタ４０１の出力部にリミッタ処理を挿入することにより、出力ビット幅を確保したとしてもリミッタによって失われる振幅のレンジは微小なため、焦点検出精度に対する影響は軽微である。算出された正規化係数に基づいて、Ａ像およびＢ像は第１フィルタ４０１を通過し、所定の周波数帯域の信号が相関演算部４０２に出力される。

次に、図６を参照して、焦点検出処理部１０５における第１フィルタ４０１の構成について説明する。図６は、第１フィルタ４０１のブロック図である。図６に示されるように、第１フィルタ４０１は、第２フィルタ５００の遅延素子７００、乗算素子７０１、および、加算素子７０２、７０３と同様の遅延素子６００、乗算素子６０１、および、加算素子６０２、６０３を備えて構成される。加えて、第１フィルタ４０１は、正規化ゲインを乗ずる正規化ゲインの乗算素子６０４を有する。

図４において、焦点検出処理部１０５の相関演算部４０２は、Ａ像およびＢ像のそれぞれに関する第１フィルタ４０１の出力信号に対して前述のＳＡＤ演算により相関演算処理を行い、相関演算結果をゲインコントロール部４０３に出力する。ゲインコントロール部４０３は、相関演算部４０２により算出された相関演算結果に対して、第１フィルタ４０１で適用した正規化係数の逆数を乗算することにより、相関演算結果を補正し、補正結果を相関結果加算部４０４に出力する。

相関結果加算部４０４は、焦点検出枠の１行目に関して、加算処理を行わずにＲＡＭ４０５（記憶手段）に出力する。また相関結果加算部４０４は、焦点検出枠の２行目以降の各行に関して、その行の相関演算結果を、前の行までに加算された相関演算結果と加算することにより相関加算結果を求め、ＲＡＭ４０５に出力する。焦点検出処理部１０５は、予め設定された行数分の相関加算した相関演算結果をＲＡＭ４０５から読み出す。そして焦点検出処理部１０５は、像ずれ量ｄに基づいてデフォーカス量を算出し、デフォーカス量を駆動制御部１０８に出力する。

このように本実施例において、ゲインコントロール部４０３は、相関演算部４０２の出力信号（相関演算結果）に対して、正規化係数の逆数を乗算する。これにより、相関加算結果に関する各行の寄与率を均等にすることが可能となる。相関加算結果に関する寄与率を均等にしない場合、低コントラストの行は第１フィルタ４０１に適用される正規化ゲインが大きいため、相関演算結果の振幅が大きくなる。このような場合、相関演算結果に含まれるノイズが増幅されて相関加算結果が算出されるため、好ましくない。一方、高コントラストの行は第１フィルタ４０１に適用されるゲインが小さいため、相関演算結果の振幅は圧縮される。この場合、本来であれば信頼性の高い高コントラストの行の寄与率が小さくなるため、適切な相関加算結果を得られなくなる可能性がある。

このように、各行のＡ像信号およびＢ像信号に対して正規化係数を求めることにより、焦点検出枠に低コントラストの行と高コントラストの行とが混在する場合でも、低コントラストの行の第１フィルタ４０１の出力振幅を適切に得ることが可能となる。また、正規化係数決定部４００の係数ごとに加算を行うことにより、低コントラストの行と高コントラストの行の相関演算結果を得ることが可能となる。

次に、図９を参照して、相関演算部４０２の構成について説明する。図９は、相関演算部４０２のブロック図である。相関演算部４０２は、遅延バッファ９００、ＳＡＤ回路９０１、および、出力セレクタ９０２を備えて構成される。遅延バッファ９００の段数（遅延段数）、ＳＡＤ回路９０１の数、および、出力セレクタ９０２のソースは、相関演算処理のシフト演算数の数に応じて増減する。図９の相関演算部４０２は、一例として±２シフトの場合を示しており、遅延バッファ９００の段数は５段、ＳＡＤ回路の数は５つ、出力セレクタ９０２のソースは５となる。相関演算処理のシフト演算の数は、デフォーカス量の検出範囲を広範囲に求めるにつれ増加するため、莫大な回路規模となる。このため、本実施例の正規化係数決定部４００を用いることにより、回路規模を削減できる場合がある。

図１において、撮像装置１００のデジタル信号処理部１０６は、ベイヤー配列で入力されたＡ像信号およびＢ像信号に対して、分割画素間での加算処理を行うとともに、同時化処理、ガンマ処理、ノイズリダクション処理などのデジタル信号処理を行う。デジタル信号処理部１０６は、このようなデジタル信号処理を適用した画像データを、ＪＰＥＧなどの圧縮画像データに変換する。デジタル信号処理部１０６からの画像データ（圧縮画像データ）は、外部記録装置１０７に出力されて記録する。なお、同時化処理、ガンマ処理、ノイズリダクション処理、ＪＰＥＧ圧縮処理などは、本発明とは直接的に関係がないため、それらの詳細な説明については省略する。

本実施例によれば、被写体像（信号）の周波数成分によらずに高精度な焦点検出処理が可能となる。なお本実施例では、Ａ像およびＢ像に対して共通の正規化ゲインを適用しているが、これに限定されるものではない。Ａ像およびＢ像のそれぞれに対して個別に正規化ゲインを適用してもよい。正規化ゲインを個別に適用した場合、Ａ像およびＢ像の分割画素構造に起因するシェーディングの影響を低減することが可能となる。

次に、本発明の実施例２について説明する。実施例１では、相関加算結果に対する各行の相関演算結果の寄与率を一定にするため、ゲインコントロール部４０３が第１フィルタ４０１の正規化ゲインに基づいて補正処理を行う構成について説明した。一方、本実施例は、相関演算結果に対してゲインコントロールを行うことなく、各行の相関演算結果の寄与率を均等（略一定）にする構成について説明する。すなわち本実施例は、前の行までの相関加算結果に対してゲインコントロールを行うことにより、各行の相関演算結果の寄与率を略一定にする。本実施例は、焦点検出処理部を除いて実施例１と共通であるため、それらの共通の説明については省略する。

図８を参照して、本実施例における焦点検出処理部１０５ａについて説明する。図８は、焦点検出処理部１０５ａのブロック図である。

ＲＡＭ４０５から読み出される前の行までの相関加算結果（第１相関加算データ）は、相関加算結果のゲインを補正するゲイン補正部８００に入力される。ゲイン補正部８００は、入力された相関加算結果に対して、第１フィルタ４０１と同様の正規化ゲイン（正規化係数）を乗じ、相関結果加算部４０４に出力する。相関結果加算部４０４は、相関結果加算部４０４からの入力信号（正規化ゲインを乗じた相関加算結果）と、現在の行の相関演算結果とを加算して第２相関加算データを生成し、相関加算結果に対して正規化処理を行う正規化部８０１に出力する。正規化部８０１は、第１フィルタ４０１およびゲイン補正部８００にて乗じた正規化係数の２倍の値で除算することにより正規化処理を行い、正規化処理の結果をＲＡＭ４０５に出力する。焦点検出処理部１０５ａは、予め設定された行数分の相関加算した相関演算結果をＲＡＭ４０５から読み出し、像ずれ量ｄに基づいてデフォーカス量を算出し、デフォーカス量を駆動制御部１０８に出力する。

本実施例によれば、入力された行の相関演算結果に対して正規化処理を行うことなく、各行の相関演算結果の相関加算結果に対する寄与率を一定にすることが可能となる。

このように各実施例において、制御装置（焦点検出処理部１０５、１０５ａ）は、正規化手段、相関演算手段（相関演算部４０２）、および、補正手段を有する。好ましくは、正規化手段は、正規化係数決定部４００および第１フィルタ４０１を有する。好ましくは、補正手段は、ゲインコントロール部４０３、または、ゲイン補正部８００および正規化部８０１を有する。正規化手段は、第１信号（第１光電変換部からの信号に対応する信号）および第２信号のそれぞれ（第２光電変換部からの信号に対応する信号）に関する正規化係数を用いて、第１信号および第２信号の正規化処理を行う。相関演算手段は、正規化された第１信号および第２信号に対して相関演算を行う。補正手段は、相関演算手段からの出力信号に基づく相関データに対して、正規化処理を打ち消すように相関データを補正する。ここで、正規化処理を打ち消すように相関データを補正するとは、第１信号および第２信号の相関演算を行う際に適用された正規化係数（正規化ゲイン）による影響を低減またはキャンセルするように相関データを補正することを意味する。

好ましくは、正規化手段は、正規化処理により第１信号および第２信号の正規化ゲインを制御する。そして補正手段は、正規化ゲインを打ち消すように相関データを補正する。また好ましくは、制御装置は、相関演算手段からの出力信号を加算する相関加算手段（相関結果加算部４０４）を有する。相関加算手段は、焦点検出枠の範囲内における所定の方向に出力信号を加算して相関加算データを出力する。より好ましくは、所定の方向は、視差方向（例えば列方向）と直交する方向（例えば行方向）である。

好ましくは、相関データは、相関演算手段からの出力信号に相当する。このとき相関加算手段は、補正手段により補正された出力信号を所定の方向に加算して相関加算データを出力する。また好ましくは、相関データは、相関加算手段からの相関加算データに相当する。このとき補正手段は、正規化処理を打ち消すように相関加算データを補正する。より好ましくは、補正手段は、ゲイン補正部８００および正規化部８０１を有する。ゲイン補正部８００は、正規化係数を用いて、所定の方向における複数の行に関する出力信号を加算して得られた第１相関加算データ（ＲＡＭ４０５からのデータ）を補正する。相関加算手段は、複数の行とは異なる１つの行に関する出力信号と、補正手段により補正された第１相関加算データとを加算して第２相関加算データを生成する。そして正規化部８０１は、正規化処理を打ち消すように第２相関加算データを補正する。

好ましくは、正規化手段は、第１信号および第２信号に対して第１周波数帯域のバンドパスフィルタ処理を行う第１フィルタ４０１を有する。相関演算手段は、第１フィルタを通過した第１信号および第２信号に対して相関演算を行う。また好ましくは、正規化手段は、第２フィルタ５００、ピーク検出部５０１（検出手段）、および、算出手段（正規化ゲイン算出部５０４）を有する。第２フィルタ５００は、第１周波数帯域を含む第２周波数帯域のバンドパスフィルタ処理を行う。検出手段は、第２フィルタを通過した第１信号および第２信号のそれぞれのピーク値を検出する。算出手段は、検出手段から出力された信号に基づいて正規化係数を算出する。より好ましくは、正規化手段は、検出手段により検出された第１信号および第２信号のピーク値を比較し、これらのピーク値のうち大きい方のピーク値に対応する信号を出力する比較手段（比較器５０２）を有する。算出手段は、比較手段から出力された信号に基づいて正規化係数を算出する。

また、各実施例の制御装置において、補正手段は必須ではない。すなわち各実施例の制御装置は、正規化処理を打ち消すように相関データを補正しない場合もある。このとき制御装置は、正規化手段および相関演算手段を有する。正規化手段は、第１フィルタ、第２フィルタ、検出手段、および、算出手段を有する。相関演算手段は、第１フィルタを通過した第１信号および第２信号に対して相関演算を行う。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、信号の周波数成分に依存せずに高精度な焦点検出を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５ 焦点検出処理部（制御手段）
４００ 正規化係数決定部（正規化手段）
４０１ 第１フィルタ（正規化手段）
４０２ 相関演算部（相関演算手段）
４０３ ゲインコントロール部（補正手段）
８００ ゲイン補正部（補正手段）
８０１ 正規化部（補正手段）

Claims (20)

1. 焦点検出枠の各行に対して決定された第１信号および第２信号のそれぞれに関する正規化係数を用いて、該第１信号および該第２信号の正規化処理を行う正規化手段と、
   正規化された前記第１信号および前記第２信号に対して相関演算を行う相関演算手段と、
   前記相関演算手段からの出力信号に基づく相関データに対して、前記焦点検出枠の各行に対して決定された前記正規化係数による影響を低減またはキャンセルするように該相関データを補正する補正手段と、を有することを特徴とする制御装置。
2. 前記正規化手段は、前記正規化処理により前記第１信号および前記第２信号の正規化ゲインを制御し、
   前記補正手段は、前記正規化ゲインによる影響を低減またはキャンセルするように前記相関データを補正することを特徴とする請求項１に記載の制御装置。
3. 前記相関演算手段からの前記出力信号を加算する相関加算手段を更に有し、
   前記相関加算手段は、前記焦点検出枠の範囲内における所定の方向に前記出力信号を加算して相関加算データを出力することを特徴とする請求項１または２に記載の制御装置。
4. 前記所定の方向は、視差方向と直交する方向であることを特徴とする請求項３に記載の制御装置。
5. 前記相関データは、前記相関演算手段からの前記出力信号に相当し、
   前記相関加算手段は、前記補正手段により補正された前記出力信号を前記所定の方向に加算して前記相関加算データを出力することを特徴とする請求項３または４に記載の制御装置。
6. 前記相関データは、前記相関加算手段からの前記相関加算データに相当し、
   前記補正手段は、前記正規化係数による影響を低減またはキャンセルするように前記相関加算データを補正することを特徴とする請求項３または４に記載の制御装置。
7. 前記補正手段は、前記正規化係数を用いて、前記所定の方向における複数の行に関する前記出力信号を加算して得られた第１相関加算データを補正し、
   前記相関加算手段は、該複数の行とは異なる１つの行に関する前記出力信号と、前記補正手段により補正された前記第１相関加算データと、を加算して第２相関加算データを生成し、
   前記補正手段は、前記正規化係数による影響を低減またはキャンセルするように前記第２相関加算データを補正することを特徴とする請求項６に記載の制御装置。
8. 前記正規化手段は、前記第１信号および前記第２信号に対して第１周波数帯域のバンドパスフィルタ処理を行う第１フィルタを有し、
   前記相関演算手段は、前記第１フィルタを通過した前記第１信号および前記第２信号に対して前記相関演算を行うことを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記正規化手段は、
   前記第１周波数帯域を含む第２周波数帯域のバンドパスフィルタ処理を行う第２フィルタと、
   前記第２フィルタを通過した前記第１信号および前記第２信号のそれぞれのピーク値を検出する検出手段と、
   前記検出手段から出力された信号に基づいて前記正規化係数を算出する算出手段と、を有することを特徴とする請求項８に記載の制御装置。
10. 前記正規化手段は、前記検出手段により検出された前記第１信号および前記第２信号の前記ピーク値を比較し、該ピーク値のうち大きい方のピーク値に対応する前記信号を出力する比較手段を有し、
    前記算出手段は、前記比較手段から出力された前記信号に基づいて前記正規化係数を算出することを特徴とする請求項９に記載の制御装置。
11. 撮像光学系の互いに異なる瞳領域を通過する光束を受光する第１光電変換部および第２光電変換部を有する撮像素子と、
    前記第１光電変換部および前記第２光電変換部からの出力信号のそれぞれに対応する第１信号および第２信号を取得する取得手段と、
    焦点検出枠の各行に対して決定された前記第１信号および前記第２信号のそれぞれに関する正規化係数を用いて、該第１信号および該第２信号の正規化処理を行う正規化手段と、
    正規化された前記第１信号および前記第２信号に対して相関演算を行う相関演算手段と、
    前記相関演算手段からの出力信号に基づく相関データに対して、前記焦点検出枠の各行に対して決定された前記正規化係数による影響を低減またはキャンセルするように該相関データを補正する補正手段と、を有することを特徴とする撮像装置。
12. 前記撮像素子は、１つのマイクロレンズに対して前記第１光電変換部および前記第２光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項１１に記載の撮像装置。
13. 焦点検出枠の各行に対して決定された第１信号および第２信号のそれぞれに関する正規化係数を用いて、該第１信号および該第２信号の正規化処理を行うステップと、
    正規化された前記第１信号および前記第２信号に対して相関演算を行うステップと、
    前記相関演算を行う相関演算手段からの出力信号に基づく相関データに対して、前記焦点検出枠の各行に対して決定された前記正規化係数による影響を低減またはキャンセルするように該相関データを補正するステップと、を有することを特徴とする制御方法。
14. 焦点検出枠の各行に対して決定された第１信号および第２信号のそれぞれに関する正規化係数を用いて、該第１信号および該第２信号の正規化処理を行うステップと、
    正規化された前記第１信号および前記第２信号に対して相関演算を行うステップと、
    前記相関演算を行う相関演算手段からの出力信号に基づく相関データに対して、前記焦点検出枠の各行に対して決定された前記正規化係数による影響を低減またはキャンセルするように該相関データを補正するステップと、をコンピュータに実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記憶していることを特徴とする記憶媒体。
16. 焦点検出枠の各行に対して決定された第１信号および第２信号のそれぞれに関する正規化係数を用いて、該第１信号および該第２信号の正規化処理を行う正規化手段と、
    正規化された前記第１信号および前記第２信号に対して相関演算を行う相関演算手段と、を有し、
    前記正規化手段は、
    前記第１信号および前記第２信号に対して第１周波数帯域のバンドパスフィルタ処理を行う第１フィルタと、
    前記第１周波数帯域を含む第２周波数帯域のバンドパスフィルタ処理を行う第２フィルタと、
    前記第２フィルタを通過した前記第１信号および前記第２信号のそれぞれのピーク値を検出する検出手段と、
    前記検出手段から出力された信号に基づいて前記焦点検出枠の各行に対して決定された前記正規化係数を算出する算出手段と、を有し、
    前記相関演算手段は、前記第１フィルタを通過した前記第１信号および前記第２信号に対して前記相関演算を行うことを特徴とする制御装置。
17. 前記正規化手段は、前記正規化処理により前記第１信号および前記第２信号の正規化ゲインを制御することを特徴とする請求項１６に記載の制御装置。
18. 前記相関演算手段からの出力信号を加算する相関加算手段を更に有し、
    前記相関加算手段は、焦点検出枠の範囲内における所定の方向に前記出力信号を加算して相関加算データを出力することを特徴とする請求項１６または１７に記載の制御装置。
19. 前記所定の方向は、視差方向と直交する方向であることを特徴とする請求項１８に記載の制御装置。
20. 前記正規化手段は、前記検出手段により検出された前記第１信号および前記第２信号の前記ピーク値を比較し、該ピーク値のうち大きい方のピーク値に対応する前記信号を出力する比較手段を有し、
    前記算出手段は、前記比較手段から出力された前記信号に基づいて前記正規化係数を算出することを特徴とする請求項１６乃至１９のいずれか１項に記載の制御装置。

Images