JP5997541B2 - 画像信号処理装置およびその制御方法 - Google Patents

Description

本発明は、画像信号処理装置およびその制御方法に関し、特には位相差検出方式の焦点検出に用いる画像信号を処理する技術に関する。

従来、１つのマイクロレンズに対して複数の光電変換部を持った撮像素子により、瞳分割像を取得し、得られた２つの瞳分割像の位相差を求めて焦点検出を行う技術が検討されている（特許文献１）。

特開２００１−２５０９３１号公報

特許文献１の技術では、従来よりも光電変換部あたりの面積が小さくなるため、個々の光電変換部で蓄積できる電荷容量が減少し、飽和しやすくなるという問題が考えられる。分割された光電変換部が１つでも飽和に達してしまうと、同一マイクロレンズに対応した複数の光電変換部の出力を加算しても、入射光量と出力電圧との関係が非線形となり、画質が劣化する。

この問題に対応するには、飽和に達した光電変換部から同一マイクロレンズに対応した別の光電変換部に電荷が漏れ出すような画素構造とすることが考えられる。これにより、飽和に達した光電変換部が出力する電荷は、他の非飽和の光電変換部で蓄積されるようになり、入力光量と、同一マイクロレンズに対応した複数の光電変換部の出力を加算した出力電圧との線形性を高めることができる。

このような構成により、電荷が失われる事による画質の劣化を抑制することができるが、個々の光電変換部の飽和レベルが改善されることはない。また、飽和した光電変換部から漏れ出した電荷を蓄積する光電変換部は本来よりも高い出力を呈するため、位相差を求めるための瞳分割像が変形し（像崩れが発生し）、位相差（像ずれ量）の検出精度を悪化させてしまう。特に、漏れ出した電荷によって光電変換部間の出力の差が小さくなるため、瞳分割像の差が小さくなり、像ずれが見かけ上小さくなる疑似合焦が発生する可能性がある。

つまり、焦点検出精度が悪化し、場合によっては焦点検出不能となる。良好な画像が得られているにも関わらず焦点検出精度が悪化するため、焦点検出が可能な時と不可能な時の区別がつかず、使用者を混乱させることにもなる。

例えば、飽和した光電変換部を有する画素の出力は位相差検出に用いないようにすることにより、位相差検出精度を向上させることが考えられる。しかし、飽和した光電変換部の割合が多い場合、正確な像ずれ量を算出するためには相関像の正規化が必要であり、正規化の演算量は視野に含まれる画素数に比例するため、高画素化に伴い回路規模が増大してしまう。

本発明は、回路規模の増大を抑制しつつ、瞳分割像が飽和による像崩れを起こした場合でも疑似合焦の発生を防ぐことが可能な画像信号処理装置およびその制御方法の提供を目的とする。

上述の目的は、１つのマイクロレンズに対して第１の光電変換部と第２の光電変換部が設けられた画素を複数有する撮像素子から得られる信号を処理する画像信号処理装置であって、複数の第１の光電変換部の出力から得られる第１の像信号と、複数の第２の光電変換部の出力から得られる第２の像信号との像ずれ量を算出する算出手段を有し、算出手段が、第１の像信号と第２の像信号の相対的な位置をずらしながら算出した、第１の像信号と第２の像信号との差分値に基づく相関量から像ずれ量を算出するとともに、差分値が予め定められた上限値以上の場合には、上限値を差分値として用いて相関量を算出する、ことを特徴とする画像信号処理装置によって達成される。

このような構成により、本発明によれば、回路規模の増大を抑制しつつ、瞳分割像が飽和による像崩れを起こした場合でも疑似合焦の発生を防ぐことができる。

図４における相関演算部４０７の回路構成例を示す図 本発明を適用可能な画像信号を生成する撮像素子の画素構造例を示す垂直断面図 画素に入射する光量と分割画素の出力レベルとの関係例を示す図 本発明の第１の実施形態に係る画像信号処理装置の一例としての撮像装置の機能構成例を示すブロック図 （ａ）は飽和部分のない像信号の例を示す図、（ｂ）は飽和部分が存在する像信号の例を示す図 （ａ）は図５（ｂ）の像信号について従来の方法で算出される相関量の例を示す図、（ｂ）は図５（ｂ）の像信号について本発明の実施形態に係る方法で算出される相関量の例を示す図 （ａ）は図６（ａ）に対応する相関像を示す図、（ｂ）は図６（ｂ）に対応する相関像を示す図 本発明の実施形態に適用可能な撮像素子の画素配列例を示す図 像高が高い場所の画素への入射光を模式的に示した断面図 本発明の第２の実施形態における相関演算処理を説明するためのフローチャート 本発明の第１の実施形態における相関演算処理で用いる差分絶対値の上限値の変更方法の例を説明するための図

以下、本発明の例示的な実施形態について、添付図面に基づいて詳細に説明する。
図２は、本発明を適用可能な画像信号を生成する撮像素子の画素構造例を示す垂直断面図である。ここでは、撮像素子が、１つのマイクロレンズと、複数の光電変換部を有し、位相差検出方式による焦点検出に利用可能な複数の像信号を出力可能な画素を複数有するものとする。ただし、全ての画素がこのような構成を有する必要はなく、光電変換部が分割されておらず、１つの像信号のみを出力可能な一般的な構造の画素と混在していてもよい。以下では便宜上、光電変換部が複数に分割された構造の画素を焦点検出用画素、光電変換部が分割されていない一般的な構造の画素を通常画素と呼ぶ。

マイクロレンズ２０１は光電変換部に光を効率よく照射するために設けられる。カラーフィルタ２０２は画素ごとに特定の色を有し、一般には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）が規則的に配置されるように各画素におけるカラーフィルタの色が定められる。赤色のカラーフィルタを有する画素を赤色画素と呼ぶ。他の色についても同様である。

２０３は半導体の配線層、光電変換部２０４（第１の光電変換部）と光電変換部２０５（第２の光電変換部）はフォトダイオードである。
通常画素では光電変換部２０４および２０５は１つのフォトダイオードから構成されるが、本実施形態が対象とする画像信号を生成する焦点検出用画素では光電変換部が複数に分割された構成を有する。以下の説明では、焦点検出用画素に含まれる複数の光電変換部の各々を分割画素と呼ぶことがある。

光電変換部２０４の出力から得られる信号（第１の像信号）と、光電変換部２０５の出力から得られる信号（第２の像信号）のように、複数の焦点検出用画素の、同じ位置の分割画素から得られる信号から構成される信号は、それぞれ瞳分割像であり、視差を有する。そのため、瞳分割像の視差（位相差または像ずれ）を検出することにより、位相差検出方式の焦点検出や、ステレオ画像の生成などを実現できる。

また、光電変換部２０４と２０５の出力を加算すれば、光電変換部が分割されていない通常画素と実質的に同じ出力が得られるため、加算出力に対して一般的な信号処理をすれば通常画素の出力と同様に用いることができる。

ここで、分割画素の飽和の問題について、図３を用いて説明する。
図３は、横軸に画素（マイクロレンズ）に入射する光量、縦軸に画素の出力レベル（画素値）を示している。３０１は光電変換部を分割しない場合（通常画素）の入出力特性を示し、飽和レベルに達するまでリニアリティが保たれている。

光電変換部を分割しても、マイクロレンズに入射した光が各分割画素に均等に入射すれば、分割画素の加算出力も３０１と同じ特性となるはずである。しかし、実際には、焦点検出用画素が像高中心（通常は画面の中央）に存在し、かつ合焦状態でもない限り、分割画素に入射する光量は均等にはならない。

図９は像高が大きい場所の画素、つまり画面の周辺の画素に光が当たっている様子を示している。
像高は光軸からの距離であるため、光軸から離れた画面の周辺の画素には光が斜めから入射する。そのため、光電変換部２０４と２０５に対する入射光量に大きな差が生じる。図９では、光電変換部２０５に大半の光が入射し、光電変換部２０４に入射する光は非常に少ない。

このような場合、光電変換部２０５が光電変換部２０４より先に飽和することは明らかである。図３（ａ）では、光電変換部２０５の入出力特性を３０３で、光電変換部２０４の入出力特性を３０４で示している。そして、光電変換部２０４および２０５の加算出力レベルは、３０２に示すように、光電変換部２０５の飽和の影響を受け、最大値が小さくなる。

この問題を回避するために、光電変換部２０５で飽和後に発生した電荷が光電変換部２０４に漏れ出す構造にすると、光電変換部２０４および２０５の加算出力レベルは、通常画素と同様に３０１に示す特性となる。この場合、光電変換部２０４の入出力特性は図３（ｂ）の３０５に示すように、光電変換部２０５が飽和した時点から入射光に対する出力レベルの増加率（入出力特性の傾き）が大きくなる。

さらに、複数の光電変換部２０４の出力から得られる像信号（Ａ像信号）と、対応する複数の光電変換部２０５の出力から得られる像信号（Ｂ像信号）とは、撮像光学系のデフォーカス量に応じた視差を有し、ボケた画像においては大きくレベルが異なる。しかし、このような場合、一方の分割画素で飽和した電荷が他方の分割画素に漏れ込むことで、ハイライト部分においてはＡ像信号とＢ像信号が共に飽和する現象が発生する。

図５（ａ）はデフォーカスしたＡ像信号とＢ像信号が全領域において飽和を起こしておらず、像ずれが発生している状態の例を示す図である。５０１はＡ像信号、５０２はＢ像信号の波形であり、Ａ像信号とＢ像信号の像ずれ（位相差）量に基線長で決まる定数を乗じることでデフォーカス量を算出することができる。

一方、図５（ｂ）はデフォーカスしたＡ像信号とＢ像信号の一部が飽和を起こしている例である。Ａ像信号とＢ像信号は像ずれを有するため、デフォーカス量を求めることができるべきだが、飽和を起こしている部分においては像ずれが生じていない。

このような場合、Ａ像信号とＢ像信号との相関演算において、ＳＡＤと呼ばれる差の絶対値の総和やＳＳＤと呼ばれる差の絶対値の二乗の総和などを相関量として求める場合、出力の大きな飽和部分の差分値が支配的となってしまう。

図６（ａ）は、図５（ｂ）に示すＡ像信号とＢ像信号の相対的な位置をずらしながら相関量を算出する過程を示している。Ｂ像信号をＡ像信号に対して右に徐々にシフトさせながら相関量を順次算出し、シフト量と相関量との関係を求める。

図６（ａ）に示すように、図５（ｂ）の状態からＢ像信号をシフトさせると、飽和部分の出力差分値５０３が飽和していない部分の出力差分値５０４よりも非常に大きくなる。そのため、出力差分値の積分であるＳＡＤやＳＳＤの値は、本来相関量として求めるべき飽和していない部分の出力差分値５０４ではなく飽和部分の出力差分値５０３が支配的な値となってしまう。

図７（ａ）は図５（ｂ）のＡ像信号５０１とＢ像信号５０２を相関演算して得られる相関像を示す図である。相関像とはＡ像信号とＢ像信号の相対的な位置をずらしながら相関量を求め、ずらした量（シフト量）と相関量との関係を像としたものである。ここで、相関量が小さいほどＡ像信号とＢ像信号との相関が高いことを示す。

図７（ａ）の横軸がずらし量（シフト量）を示し、ずらし量０で相関量が最も小さくなっているため、Ａ像信号とＢ像信号とをずらさない状態で像の一致度が最も高いと判断されてしまう。これは、同一レベルとなる飽和部分に像ずれがないことが相関量に大きく影響を与えた結果である。
このように、飽和による電荷漏れが発生し、かつ飽和部分に像ずれがないと、実際のデフォーカス量よりも０に近いデフォーカス量が算出されてしまう。

図４は、本実施形態に係る画像信号処理装置の一例としての撮像装置の機能構成例を示すブロック図である。なお、図４には撮像装置が有する構成要素のうち、本発明を説明するために必要なもののみを示している。

レンズ４０１は、被写体光学像を撮像面に形成する撮像レンズである。レンズ４０１は制御部４０９から駆動可能なフォーカスレンズを有する。撮像素子４０２は複数の画素が配列されたＣＭＯＳまたはＣＣＤイメージセンサであり、各画素が、図２に示した、１つのマイクロレンズに対して２つの光電変換部を有する構造を有するものとする。ＡＤ変換器４０３は撮像素子４０２の各画素が出力する信号をＡ／Ｄ変換して出力する。

ＡＢ像加算部４０４、ＡＢ像分離部４０５、信号処理部４０６、相関演算部４０７、デフォーカス量算出部４０８および、システム全体を制御するマイクロコンピュータである制御部４０９の動作については以下で詳細に説明する。

図８は、撮像素子４０２の画素配列例を示した図である。撮像素子４０２は原色ベイヤー配列のカラーモザイクフィルタを有し、１つの丸で表す１画素ごとに、赤、緑、青のいずれかのカラーフィルタが設けられている。赤のカラーフィルタが設けられた画素を赤画素、緑のカラーフィルタが設けられた画素を緑画素、青のカラーフィルタが設けられた画素を青画素と呼ぶ。
ＧＡ８０３とＧＢ８０４はそれぞれ緑画素のＡ像画素、Ｂ像画素である。同様にＲＢ８０１は赤画素のＢ像画素、ＢＡ８０２は青画素のＡ像画素である。

ＡＤ変換器４０３は、赤、緑、青画素それぞれについて、Ａ像信号とＢ像信号を順次出力する。従って、ＡＢ像加算部４０４で同じ画素のＡ像信号とＢ像信号を加算すると、通常画素と同様の出力が得られる。

信号処理部４０６は、ＡＢ像加算部４０４の出力する、画素ごとに赤、緑、青の１成分のみを有するベイヤー配列の信号から、画素ごとに赤、緑、青の３成分を有するカラー映像信号を、公知の任意の方法に従って生成して出力する。

ＡＢ像分離部４０５は、ＡＤ変換器４０３が出力する、同色画素のＡ像信号とＢ像信号とを、並列に相関演算部４０７に供給する。

相関演算部４０７は、Ａ像信号とＢ像信号の一方を基準として他方の相対的な位置をずらしながら相関量を算出し、図７（ａ）に示したような相関像を求めてデフォーカス量算出部４０８に出力する。

デフォーカス量算出部４０８は、相関像を解析し、Ａ像信号とＢ像信号の相関が最も高くなる像ずれ量を決定する。そして、デフォーカス量算出部４０８は、決定した像ずれ量にＡ像信号とＢ像信号を出力した分割画素の基線長で決まる定数を乗じてデフォーカス量を求める。

制御部４０９は、算出されたデフォーカス量に応じてレンズ４０１のフォーカスレンズを駆動し、レンズ４０１を被写体に合焦させる。

図１は、図４の相関演算部４０７が、相関量としてＳＡＤを求める場合の回路構成例を示す図である。
差の絶対値上限値１０１は、制御部４０９によって与えられる設定値であり、飽和部分のＳＡＤ影響度を下げるための、差の絶対値の上限を指定する。差の絶対値上限値１０１は、例えば、飽和がない場合に通常得られる差の絶対値の範囲の上限値もしくはそれより若干大きい値に設定することができる。

相関演算部４０７の前段のバッファーに蓄積されたＡ像信号とＢ像信号は、１画素ずつＡ像入力１０２およびＢ像入力１０３に入力される。１つのシフト量に対して相関量を求める毎にＡ像信号とＢ像信号のシフト量が変更される。差分絶対値算出回路１０５はＡ像信号とＢ像信号の差の絶対値が算出され、スイッチ１０６を通じて積分回路１０７に供給される。積分回路１０７は、入力される差の絶対値を、１つのシフト量ごとに積算する。１つのシフト量に対するＡ像信号、Ｂ像信号の差分絶対値の算出および積算が終了すると、積分回路１０７の出力（ＳＡＤ出力）１０８の値をシフト量と関連付けて記憶し、積分回路１０７をリセットする。予め定められたシフト量の最大値まで相関量を算出すると、相関像をデフォーカス量算出部４０８に出力する。

相関量の算出中、リミッタ回路１０４は、差分絶対値算出回路１０５の出力値を差の絶対値上限値１０１と比較する。そして、差分絶対値が上限値以上である場合には、スイッチ１０６の入力を差の絶対値上限値に切り替える。これにより、相関量に対する飽和部分の差分絶対値の影響を下げることができる。

図６（ｂ）は、図６（ａ）と同じ状況で、リミッタ回路１０４を適用した場合に算出される差分絶対値の分布を示している。図６（ａ）との比較から明らかなように、飽和部分に対応する出力差分値が上限値５０５に制限されているため、飽和していない部分の出力差分値５０４との差が小さい。そのため、相関量として得られる出力差分値の積算量における、飽和部分の出力差分値の影響が抑制され、飽和していない部分の出力差分値５０４の状況が相関量に反映されやすくなる。そのため、相関量から決定されるデフォーカス量の精度を向上することができる。

なお、上述の上限値は、飽和部分が存在しない場合は制限無しとするため、設定可能な最大値を設定する、というように変更可能な値である。
また、瞳分割画素の飽和状況を検出するための飽和検出スレッシュレベルを設定し、Ａ像またはＢ像信号と比較することにより飽和状況を検出する。Ａ像またはＢ像信号が飽和検出スレッシュレベルを上回ることを検出したら、本来Ａ像信号とＢ像信号との相関演算に用いられる信号成分による差の絶対値を排除しないような低い値に上限値を変更する。具体的な上限値の変更方法の例として以下がある。
・Ａ像信号とＢ像信号が格納されているメモリ内をスキャンして上限値を決定し、相関演算を行う。
・最初のフレームで上限値を決定して、以降のフレームではその上限値を使い回して相関演算する（図１１（ａ））。
・複数の上限値を予め用意しておき、飽和部分を除いた信号の振幅成分（最大値−最小値）を検出して上限値を決定する。その後も飽和状況を調べながらＡ像信号とＢ像信号の信号成分による差の絶対値を排除しないような低い値となるように選択していく（図１１（ｂ））。
・複数の上限値を予め用意しておき、それらを使用して並列的に相関演算しながら、飽和状況を調べて、飽和の影響を最も低減できる上限値で相関演算した結果を選択的に用いる。

最初のフレームで上限値を決定して、以降のフレームではその上限値を使い回して相関演算する場合の処理を、図１１（ａ）に示したフローチャートを用いて説明する。以下の処理は相関演算部４０７が実施する。
Ｓ１１０１：Ａ像信号およびＢ像信号を格納しているメモリをスキャンする。
Ｓ１１０２：Ａ像信号とＢ像信号のうち、飽和していない信号の振幅成分から、Ａ像信号とＢ像信号の差の絶対値を排除しないような低い値に上限値を決定する。
Ｓ１１０３：Ｓ１１０２で求めた上限値を現在のフレームに対して適用し、相関量を算出する。
Ｓ１１０４：カメラモードの切替り等により焦点検出の終了が指示されたかどうかを判別する。終了指示があれば処理を終了する。終了指示が無ければ、Ｓ１１０３へ進み、Ｓ１１０２で求めた上限値を現在のフレームに対して適用し、相関量を算出する。

図７（ｂ）に、図６（ｂ）に対応した相関像を示す。図６（ａ）に対応した図７（ａ）の相関像に対し、相関量の極小値が実際のデフォーカス量に対応したシフト量で得られている。

このように、本実施形態では、デフォーカス量の算出に用いる２つの像信号について、差分値に基づく相関量を演算する画像信号処理装置において、差分値の絶対値の上限値を制限する。そのため、２つの像信号が飽和により像崩れしている場合でも、飽和部分における差分値が相関量に与える影響を抑制することができ、より正確な相関量を演算することが可能であり、疑似合焦の発生を抑制できる。また、差分値の上限値を制限するために必要な回路の規模は画素数に依存せず、また小規模な回路でよいため、撮像素子の高画素化による回路規模の増大も生じない。

（第２の実施形態）
次に、図１０を参照して、本発明の第２の実施形態に係る画像信号処理装置について説明する。
第１の実施形態において相関演算部４０７は図１に示すような回路で構成していたが、本実施形態においては、相関演算部４０７をマイクロコンピュータによって構成し、図１の回路と同様の動作を、ソフトウェア的に実現する。

図１０は、本実施形態における相関演算部４０７の動作を説明するフローチャートである。相関演算部４０７が有するＣＰＵが、ＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することによって実施することができる。

Ｓ９０２でＣＰＵは、所定のシフト量範囲（ここでは仮に−１００〜＋１００とする）について相関量の演算を行ったかどうか確認する。
Ｓ９０３でＣＰＵは、Ａ像信号を構成する全画素（ここでは１００画素とする）について処理を行ったか確認する。
Ｓ９０４でＣＰＵは、Ａ像信号の処理対象画素と、Ａ像信号の処理対象画素に対し、シフト量分ずれた位置のＢ像信号の画素とを取り出す。

Ｓ９０５でＣＰＵは、Ａ像画素とＢ像画素の差の絶対値が上限値以上か否かを判断し、差の絶対値が上限値以上ならば処理をＳ９０７へ、差の絶対値が上限値未満なら処理をＳ９０６へ進める。
Ｓ９０６でＣＰＵは、Ａ像画素とＢ像画素の差の絶対値を積算する。

Ｓ９０７でＣＰＵは、差の絶対値上限値を、Ａ像画素とＢ像画素の差の絶対値として積算する。
Ｓ９０８でＣＰＵは、Ａ像信号とＢ像信号の画素位置を＋１して１つずらし、処理をＳ９０３に戻す。

Ｓ９０３からＳ９０８の処理をＡ像信号の画素数分繰り返すと、ＣＰＵは処理をＳ９０９へ進め、差の絶対値の積算値を相関量として、配列変数の、シフト量に対応した添字の変数に格納する。ここでは、シフト量の範囲が−１００〜＋１００であり、シフト量を１つずつ変化させるため、２０１個の相関量が算出される。従って少なくとも２０１の要素を有する配列変数を用意しておく。

Ｓ９１０でＣＰＵはシフト量を＋１して処理をＳ９０２へ戻す。
Ｓ９０２からＳ９１０までの処理を、所定のシフト量範囲に渡って繰り返すことにより、相関像が配列変数に得られる。
本実施形態においても、第１の実施形態と同様の効果が得られる。また、ソフトウェア的に相関演算部４０７を実現するため、第１の実施形態よりも回路規模を縮小できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、上述の実施形態では、Ａ像信号とＢ像信号との差分絶対値が上限値以上の場合、上限値に置き換える構成であったが、飽和部分の差の絶対値が相関量に与える影響を抑制するという観点からは、他の構成を用いてもよい。例えば、差分絶対値が上限値以上の場合には、差分絶対値を上限値よりも小さい固定値に置き換えてもよい。つまり、上限値以下の固定値に置き換えることができる。ただし、０に置き換える場合には、相関量を実際に積算した画素対の数で除して１画素対あたりの相関量とするなど、異なる数の画素対に対する積算値を比較可能な値にする。

また、上述の実施形態では、相関像を求めてから、デフォーカス量を決定していた。しかし、相関量が最小となるシフト量を求めれば良い場合には、相関量を求めるごとに過去に算出した相関量の最小値と比較し、最小の相関量と、対応するシフト量のみを保持するようにしてもよい。この場合、デフォーカス量算出部４０８は相関演算部４０７が求めた最小の相関量に基線長を乗じてデフォーカス量を算出し、合焦制御を行えばよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (9)

1. １つのマイクロレンズに対して第１の光電変換部と第２の光電変換部が設けられた画素を複数有する撮像素子から得られる信号を処理する画像信号処理装置であって、
   複数の前記第１の光電変換部の出力から得られる第１の像信号と、複数の前記第２の光電変換部の出力から得られる第２の像信号との像ずれ量を算出する算出手段を有し、
   前記算出手段が、
   前記第１の像信号と前記第２の像信号の相対的な位置をずらしながら算出した、前記第１の像信号と前記第２の像信号との差分値に基づく相関量から前記像ずれ量を算出するとともに、
   前記差分値が予め定められた上限値以上の場合には、前記上限値を前記差分値として用いて前記相関量を算出する、
   ことを特徴とする画像信号処理装置。
2. 前記上限値を決定する決定手段をさらに有し、
   前記決定手段は、前記第１の像信号と前記第２の像信号に飽和した部分がない場合に得られる前記第１の像信号と前記第２の像信号との差の絶対値に基づいて前記上限値を決定することを特徴とする請求項１に記載の画像信号処理装置。
3. 前記上限値を決定する決定手段をさらに有し、
   前記決定手段は、前記第１の像信号および前記第２の像信号のうち、飽和した部分のない像信号の振幅成分に基づいて決定することを特徴とする請求項１に記載の画像信号処理装置。
4. 前記決定手段は、前記予め定められた上限値を、前記振幅成分に応じて動的に変更することを特徴とする請求項３に記載の画像信号処理装置。
5. 前記上限値が複数であり、
   前記算出手段は、前記上限値ごとに前記相関量を算出し、算出した前記相関量のうち、前記第１の像信号または前記第２の像信号の飽和の影響が最も低減されている相関量を用いて前記像ずれ量を算出することを特徴とする請求項１に記載の画像信号処理装置。
6. 前記画素は、前記第１の光電変換部および前記第２の光電変換部の一方が飽和に達した場合、該飽和した光電変換部から電荷が他方の光電変換部に漏れ出すような構成を有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像信号処理装置。
7. 請求項１乃至請求項６のいずれか１項に記載の画像信号処理装置と、
   前記像ずれ量に基づいて、撮像レンズの合焦制御を行う手段とを有することを特徴とする撮像装置。
8. １つのマイクロレンズに対して第１の光電変換部と第２の光電変換部が設けられた画素を複数有する撮像素子から得られる信号を処理する画像信号処理装置の制御方法であって、
   算出手段が、複数の前記第１の光電変換部の出力から得られる第１の像信号と、複数の前記第２の光電変換部の出力から得られる第２の像信号との像ずれ量を算出する算出工程を有し、
   前記算出工程において前記算出手段が、
   前記第１の像信号と前記第２の像信号の相対的な位置をずらしながら算出した、前記第１の像信号と前記第２の像信号との差分値に基づく相関量から前記像ずれ量を算出するとともに、
   前記差分値が予め定められた上限値以上の場合には、前記上限値を前記差分値として用いて前記相関量を算出する、
   ことを特徴とする画像信号処理装置の制御方法。
9. コンピュータに、請求項８に記載の画像信号処理装置の制御方法の各工程を実行させるためのプログラム。

Images