JP3864454B2

JP3864454B2 - Focus detection device

Info

Publication number: JP3864454B2
Application number: JP15810896A
Authority: JP
Inventors: 重之内山
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1996-06-19
Filing date: 1996-06-19
Publication date: 2006-12-27
Anticipated expiration: 2016-06-19
Also published as: JPH1010412A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影レンズの焦点調節状態を検出する焦点検出装置に関する。
【０００２】
【従来の技術】
位相差検出方式のカメラの焦点検出装置が知られており、図５により位相差検出方式による焦点検出動作を説明する。
撮影レンズ１００の領域１０１を介して入射した光束は、視野マスク２００、フィールドレンズ３００、絞り開口部４０１および再結像レンズ５０１を通り、イメージセンサーアレイ６００のＡ列上に結像する。このイメージセンサーアレイ６００のＡ列は、入射強度に応じた出力を発生する複数の光電変換画素を一次元状に並べたものである。また同様に、撮影レンズ１００の領域１０２を介して入射した光束は、視野マスク２００、フィールドレンズ３００、絞り開口部４０２および再結像レンズ５０２を通り、イメージセンサーアレイ６００のＢ列上に結像する。このイメージセンサーアレイ６００のＢ列は、入射強度に応じた出力を発生する複数の光電変換画素を一次元状に並べたものである。
【０００３】
これらイメージセンサーアレイ６００のＡ列、Ｂ列上に結像した一対の被写体像は、撮影レンズ１００が予定焦点面よりも前に被写体の鮮鋭像を結ぶいわゆる前ピン状態では互いに遠ざかり、逆に予定焦点面より後に被写体の鮮鋭像を結ぶいわゆる後ピン状態では互いに近づき、ちょうど予定焦点面に被写体の鮮鋭像を結ぶいわゆる合焦時にはイメージセンサーアレイ６００のＡ列、Ｂ列上の被写体像は所定の間隔になる。したがって、この一対の被写体像をイメージセンサーアレイ６００のＡ列、Ｂ列で光電変換して電気信号に変え、これらの信号を演算処理して一対の被写体像の相対位置ずれ量を求めることにより撮影レンズ１００の焦点調節状態、ここでは合焦状態から離れている量とその方向（以後、デフォーカス量と呼ぶ）が分かる。
イメージセンサーアレイ６００のＡ列、Ｂ列の再結像レンズ５０１、５０２による投影像は予定焦点面近傍で重なることになり、通常、図９に示すように予定焦点面に設定された撮影画面の中央部に焦点検出領域を設定する。
【０００４】
イメージセンサーアレイ６００としては電荷蓄積型のＣＣＤなどが用いられ、被写体の輝度が低くてイメージセンサーアレイに入射する光量が少ない場合には蓄積時間を長くし、被写体の輝度が高くてイメージセンサーアレイに入射する光量が多い場合には蓄積時間を短くすることによって、イメージセンサーの出力信号レベルを焦点検出演算処理に適したレベルにする。
【０００５】
ここで、デフォーカス量を算出するための焦点検出演算について説明する。
イメージセンサーアレイ６００のＡ列、Ｂ列はそれぞれ複数の光電変換画素から構成されており、複数の出力信号列ａ［１］，．．．，ａ［ｎ］、ｂ［１］，．．．ｂ［ｎ］を出力する（図７（ａ），（ｂ））。そして、この一対の出力信号列の内の、所定範囲のデータを相対的に所定のデータ分Ｌずつシフトしながら相関演算を行う。最大シフト数をｌｍａｘとするとＬの範囲は−ｌｍａｘから＋ｌｍａｘとなる。具体的には、相関量Ｃ［Ｌ］を数式１で算出する。
【数１】
Ｃ［Ｌ］＝Σ｜ａ［ｉ＋Ｌ］−ｂ［ｉ］｜
数式１において、Σはｉ＝ｋ〜ｒの総和を示し、初項ｋと最終項ｒは例えば数式２のようにシフト量Ｌに依存して変化させる。また、Ｌは上述したデータ列のシフト量に当たる整数であり、Ｌ＝−ｌmax，．．．，−２，−１，０，１，２，．．．，ｌmaxである。
【０００６】
【数２】
Ｌ≧０の時；
ｋ＝ｋ０＋ＩＮＴ｛−Ｌ／２｝，
ｒ＝ｒ０＋ＩＮＴ｛−Ｌ／２｝，
Ｌ＜０の時；
ｋ＝ｋ０＋ＩＮＴ｛（−Ｌ＋１）／２｝，
ｒ＝ｒ０＋ＩＮＴ｛（−Ｌ＋１）／２｝
ここで、ｋ０、ｒ０はシフト量Ｌが０の時の初項と最終項である。
【０００７】
この数式２によって初項ｋと最終項ｒを変化させた時の、数式１におけるＡ列、Ｂ列の信号の差分の絶対値を算出する組み合わせと、差分の絶対値を加算する演算範囲を図８に示す。このように、シフト量Ｌの変化にともなってＡ列、Ｂ列の相関演算に使用する範囲が互いに逆方向にずれていく。初項ｋと最終項ｒをシフト量Ｌに関わらず一定とする方法もあり、この場合は、一方の列の相関演算に使用する範囲は常に一定となり、他方の列のみがずれる。そして、相対位置ずれ量は一対のデータが一致したときのシフト量Ｌとなるので、こうして得られた相関量Ｃ［Ｌ］の中で極小値となる相関量を与えるシフト量を検出し、これに図５に示す光学系およびイメージセンサーアレイ６００の光電変換画素のピッチ幅によって定まる定数とを掛けたものがデフォーカス量となる。よって、最大シフト数ｌmaxが大きいほど大きなデフォーカス量でも検出できることになる。
【０００８】
ところで、相関量Ｃ［Ｌ］は図７（ｃ）に示すように離散的な値であり、検出可能なデフォーカス量の最小単位はイメージセンサーアレイ６００のＡ列、Ｂ列の光電変換画素のピッチ幅によって制限されてしまう。そこで、離散的な相関量Ｃ［Ｌ］に基づいて補間演算を行うことによって新たに真の極小値Ｃｅｘを算出し、綿密な焦点検出を行う方法が、本出願人により特開昭６０−３７５１３号公報で開示されている。この方法は、図６に示すように、極小値である相関量Ｃ［Ｌｅ］と、その両側のシフト量における相関量Ｃ［Ｌｅ＋１］、Ｃ［Ｌｅ−１］とを用いて、真の極小値Ｃｅｘとこれを与えるずれ量Ｌｓを数式３、数式４により算出するものである。
【０００９】
【数３】
ＤL＝（Ｃ［Ｌｅ−１］−Ｃ［Ｌｅ＋１］）／２，
Ｃex＝Ｃ［Ｌｅ］−｜ＤL｜，
Ｅ＝ＭＡＸ｛Ｃ［Ｌｅ＋１］−Ｃ［Ｌｅ］，Ｃ［Ｌｅ−１］−Ｃ［Ｌｅ］｝
【数４】
Ｌｓ＝Ｌｅ＋ＤL／Ｅ
数式３において、ＭＡＸ｛Ｃａ，Ｃｂ｝はＣａとＣｂの内の大なる方を選択することを意味する。そして、デフォーカス量ＤＦは上記ずれ量Ｌｓから数式５によって算出される。
【数５】
ＤＦ＝Ｋｆ・Ｌｓ
数式５において、Ｋｆは図５に示す光学系およびイメージセンサーアレイ６００の光電変換画素のピッチ幅によって定まる定数である。
【００１０】
こうして得られたデフォーカス量が真にデフォーカス量を示しているのか、ノイズなどによる相関量の揺らぎによるものなのかを判定する必要があり、数式６に示す条件を満たしたとき、デフォーカス量は信頼ありとする。
【数６】
Ｅ＞Ｅ１＆Ｃｅｘ／Ｅ＜Ｇ１
数式６において、Ｅ１、Ｇ１は所定のしきい値である。数値Ｅは相関量の変化の様子を示し、被写体のコントラストに依存する値であり、値が大きいほどコントラストが高く信頼性が高いことになる。Ｃｅｘは、一対のデータが最も一致したときの差分であり本来は０となる。しかしながら、ノイズの影響、さらに領域１０１と領域１０２とで視差が生じているために、一対の被写体像に微妙な差が生じて０にならない。このようなノイズと被写体像の差の影響は被写体のコントラストが高いほど小さいので、一対のデータの一致度を表す数値としてはＣｅｘ／Ｅを用いている。当然ながらＣｅｘ／Ｅが０に近いほど、一対のデータの一致度が高く信頼性が高いことになる。
【００１１】
なお、数値Ｅの代わりに一対のデータの一方に関するコントラストを算出し、これを用いて信頼性判定を行う場合もある。そして信頼性ありと判定されるとデフォーカス量ＤＦに基づく撮影レンズ１００の駆動、あるいは表示を行う。
この明細書では、数式１から数式６の相関演算、補間演算、条件判定をまとめて焦点検出演算と呼ぶ。
【００１２】
以上の説明では、イメージセンサーアレイ６００のＡ列、Ｂ列の出力信号列ａ［１］，．．．，ａ［ｎ］、ｂ［１］，．．．，ｂ［ｎ］そのものを焦点検出演算に用いている。しかしながら、画素ピッチＰｉにより決るナイキスト周波数より高い周波数成分や、ハードウエアのばらつきに起因したＡ列とＢ列の出力のアンバランスの影響で、正しい焦点検出ができないことがある。そこで、出力信号列に対してフィルター演算処理を施し、フィルター処理データを用いて焦点検出演算を行う方法が、本出願人により特開昭６１−２４５１２３号公報などで開示されている。
【００１３】
フィルター処理に関しては、特開昭５９−２０４８０８号公報、特開昭６０−６１７１３号公報、特開昭６０−１５１６０７号公報などで詳細に述べられているので、ここでは簡単に説明する。
画素ピッチをＰｉとし、出力信号列ｊ０［１］，．．．，ｊ０［ｎ］を出力するイメージセンサーアレイを例に上げて説明する。このイメージセンサーアレイのＭＴＦ特性は、図１０（ａ）に細線で示すように、ＤＣ成分（０本／ｍｍ）付近で十分大きく、そこから周波数（本／ｍｍ）が大きくなるにつれて低下し、１／Ｐｉの周波数付近で０となる。したがって、出力信号列ｊ０［１］，．．．，ｊ０［ｎ］は、光像のＤＣ成分を多く含み、１／Ｐｉ付近の周波数成分をほとんど含まない。
【００１４】
また、図１０（ａ）の太線は数式７のフィルター処理のＭＴＦ特性である。
【数７】
ｊ１［ｉ］＝（ｊ［ｉ］＋２×ｊ［ｉ＋１］＋ｊ［ｉ＋２］）／４
このフィルター処理によって得られるデータｊ１［１］，．．．，ｊ１［ｎ−２］のＭＴＦ特性は、図１０（ａ）に示す２つのＭＴＦ特性の合成となり、図１０（ｂ）に示すようにナイキスト周波数である１／（２Ｐｉ）本／ｍｍ以上の成分をほとんど除去できる。以後、この明細書ではナイキスト周波数以上の成分を無視して説明を行う。
【００１５】
図１１は数式８のフィルター処理のＭＴＦ特性である。
【数８】
ｊ１’［ｉ］＝−ｊ０［ｉ］＋２×ｊ０［ｉ＋ｓ］−ｊ０［ｉ＋２ｓ］
ここで、ｓはフィルター処理のＭＴＦ特性を調整するためのパラメータである。図１１の細線はｓ＝４、太線はｓ＝２の場合を示す。このように、これらデータはＤＣ成分（すなわち０本／ｍｍ）が完全に除去されているので、出力のアンバランスの影響を除去できる。ＭＴＦが最大となる最低の空間周波数はｓ＝２の場合には１／（４Ｐｉ）本／ｍｍ、ｓ＝４の場合には１／（８Ｐｉ）本／ｍｍとなる。この空間周波数は、パラメータｓの値とイメージセンサーアレイの画素ピッチＰｉによって数式９のように定まる。
【数９】
１／（２・ｓ・Ｐｉ）
【００１６】
出力信号ｊ０［１］，．．．，ｊ０［ｎ］に対して数式７と数式８のフィルター処理を施して得られるデータのＭＴＦ特性は、図１２に示す特性になる。この特性は、図１０（ｂ）に示す数式７のフィルター処理により得られるデータのＭＴＦ特性と、図１１に示す数式８のフィルター処理により得られるデータのＭＴＦ特性とを合成した特性である。図１２の細線はｓ＝４の場合、太線はｓ＝２の場合である。このように、数式７と数式８の両方のフィルター処理を施すことによって、ナイキスト周波数以上の成分を除去し、パラメータｓの値によってＭＴＦ最大となる空間周波数を抽出でき、その抽出される空間周波数は数式９によって定まる空間周波数にほぼ等しくなる。この明細書では、ＭＴＦ最大となる空間周波数をピーク周波数と呼ぶ。
【００１７】
次に、具体的にイメージセンサー６００の出力信号列のフィルター処理について説明する。
まず、数式１０により、Ａ列とＢ列の出力信号列ａ［１］，．．．，ａ［ｎ］、ｂ［１］，．．．，ｂ［ｎ］から高周波成分カットフィルター処理データＰａ［１］，．．．，Ｐａ［ｎ−２］、Ｐｂ［１］，．．．，Ｐｂ［ｎ−２］を得る。この処理は、上述した図１０（ｂ）に示す数式７のフィルター処理に相当する。
【数１０】
Ｐａ［ｉ］＝（ａ［ｉ］＋２×ａ［ｉ＋１］＋ａ［ｉ＋２］）／４，
Ｐｂ［ｉ］＝（ｂ［ｉ］＋２×ｂ［ｉ＋１］＋ｂ［ｉ＋２］）／４，
i＝１〜ｎ−２
こうして得られたフィルター処理データＰａ［１］，．．．，Ｐａ［ｎ−２］、Ｐｂ［１］，．．．，Ｐｂ［ｎ−２］に対して、数式１１により、Ａ列とＢ列の出力のアンバランスの影響を除去するためのフィルター処理を施し、フィルター処理データＦａ［１］，．．．，Ｆａ［ｎ−２−２ｓ］、Ｆｂ［１］，．．．，Ｆｂ［ｎ−２−２ｓ］を得る。この処理は、上述した図１１に示す数式８のフィルター処理に相当する。
【数１１】
Ｆａ［ｉ］＝−Ｐａ［ｉ］＋２×Ｐａ［ｉ＋ｓ］−Ｐａ［ｉ＋２ｓ］，
Ｆｂ［ｉ］＝−Ｐｂ［ｉ］＋２×Ｐｂ［ｉ＋ｓ］−Ｐｂ［ｉ＋２ｓ］，
i＝１〜ｎ−２−２ｓ
【００１８】
数式１１において、パラメータｓは１〜１０程度の整数であり、数値が大きいほどピーク周波数が低くなるので被写体パターンのより低周波数成分を抽出し、数値が小さいほどピーク周波数が高くなるので被写体パターンのより高周波数成分を抽出することになる。
また、フィルター処理データの数はパラメータｓが大きいほど減少する。合焦状態付近では被写体像は高周波数成分を多く含むので、パラメータｓとしては比較的小さい値が好ましい。逆に、非合焦状態では被写体像はぼけて低周波数成分のみとなるので、パラメータｓは大きい値が好ましい。パラメータｓが小さいと低周波数成分がほとんど除去されてしまうので、デフォーカス量が大きくて高周波数成分がない場合には焦点検出不能となる。したがって、この場合には、数式１における最大シフト数ｌｍａｘをあまり大きくしても意味がなく、比較的小さな値でよい。逆に、パラメータｓが大きい場合には、低周波数成分を抽出するためにデフォーカス量が大きくても焦点検出可能となり、ｌｍａｘに比較的大きな値を設定する。
【００１９】
ここで、イメージセンサー上に結像された被写体像のパターンを検出する際には、焦点検出光学系の倍率とイメージセンサーの画素のピッチとにより検出結果が変化する。焦点検出光学系が同じであっても画素ピッチが変ると被写体像パターンの検出結果は異なるものになり、画素ピッチが同じでも焦点検出光学系が変ると検出結果は異なる。また、焦点検出光学系と画素ピッチがともに変っても当然、検出結果は異なる。したがって、イメージセンサー上において被写体像パターンの周波数成分を論議するのは好ましくない。
そこで、この明細書では、被写体像パターンの空間周波数は、イメージセンサーアレイ上に結像した被写体像パターンの空間周波数ではなく、予定焦点面における被写体像パターンの空間周波数とする。したがって、数式９によるピーク周波数の演算は、イメージセンサーアレイの画素ピッチそのものではなく、予定焦点面換算の画素ピッチを用いる。
【００２０】
通常、焦点検出光学系の再結像レンズは、予定焦点面の像をイメージセンサーアレイ上に縮小して結像するように構成されるので、この焦点検出光学系の倍率を縮小倍率と呼ぶ。縮小倍率が大きいほど、予定焦点面の像はイメージセンサーアレイ上より縮小されて結像する。
予定焦点面換算の画素ピッチは、イメージセンサーアレイの再結像レンズによる予定焦点面の投影像の画素ピッチであるから、予定焦点面換算の画素ピッチは縮小倍率ＳＲにより次式で算出される。
【数１２】
Ｐｉ×ＳＲ
したがって、数式１１のフィルター処理演算によって得られるフィルター処理データのピーク周波数はｓの値が大きく、縮小倍率が大きく、光電変換素子のピッチ幅が広いほど低周波数となる。逆に、ｓの値が小さく、縮小倍率が小さく、光電変換素子のピッチ幅が狭いほど高周波となる。
【００２１】
また、パラメータｓの値が比較的大きい場合には、数式１１により算出されたフィルター処理データＦａ［ｉ］、Ｆｂ［ｉ］をそれぞれ１データおきに抜き出し、データ数を半分に間引くことがある。このようにすると、１つのデータで２画素分の幅を持つことになるので、同じ焦点検出領域とするのに、間引かない場合と比べて半分の演算範囲ですむ。また、間引いた場合のシフト量１は間引かない場合のシフト量２に相当するので、最大シフト数を半分としても同じ大きさのデフォーカス量を検出できる。
【００２２】
図１３は、低周波数成分のみの被写体像パターンに対するイメージセンサーの出力信号列（ａ）、ｓ＝２のフィルター処理データ（ｂ）、ｓ＝４のフィルター処理データ（ｃ）を示す。なお、グラフの横軸はイメージセンサーの画素の並びを表わし、縦軸はレベルを表わす。撮影レンズが合焦状態にあって、Ａ列の出力信号列とＢ列の出力信号列とが重なっているものとする。
低周波成分のみの被写体像パターンに対するｓ＝２のフィルター処理データは、ほとんどコントラストがなく平坦なものとなる。ところが、ｓ＝４のフィルター処理を施すことによってコントラストが十分となり、信頼性のあるデフォーカス量を得ることができる。
【００２３】
図１４は、高周波成分のみからなる被写体像パターンに対するイメージセンサーの出力信号列（ａ）、ｓ＝２のフィルター処理データ（ｂ）、ｓ＝４のフィルター処理データ（ｃ）を示す。なお、グラフの横軸はイメージセンサーの画素の並びを表わし、縦軸はレベルを表わす。撮影レンズが合焦状態にあって、Ａ列の出力信号列とＢ列の出力信号列とが重なっているものとする。
高周波数成分のみの被写体像パターンに対するｓ＝２のフィルター処理データは、コントラストが十分であり、信頼性のあるデフォーカス量を得ることができる。
【００２４】
図１５は、高周波数成分と低周波数成分の両方を含む被写体像パターンに対するイメージセンサーの出力信号列（ａ）、ｓ＝２のフィルター処理データ（ｂ）、ｓ＝４のフィルター処理データ（ｃ）を示す。なお、グラフの横軸はイメージセンサーの画素の並びを表わし、縦軸はレベルを表わす。撮影レンズが合焦状態にあって、Ａ列の出力信号列とＢ列の出力信号列とが重なっているものとする。この被写体像パターンは、図９に示す焦点検出領域内に被写体の白い部分と黒い部分の境界が位置している場合に得られるパターンである。このパターンではｓの値にかかわらず十分なコントラストが得られる。
【００２５】
被写体によって像パターンに含まれる周波数成分が異なるので、まず、ｓを２として高周波数成分を抽出するフィルター処理を行ない、このフィルター処理データを用いて数式１から数式６の焦点検出演算を行なう。信頼性のあるデフォーカス量が得られれば焦点検出処理を終了し、信頼性のあるデフォーカス量が得られない場合には、ｓを４として低周波数成分を抽出するフィルター処理を行ない、このフィルター処理データを用いて数式１から数式６の焦点検出演算を行なう。このような手順で焦点検出を行ない、信頼性のあるデフォーカス量が得られるまでｓの値を増大させていくという方法がある。
【００２６】
この方法によれば、最初は高周波成分を抽出するので、通常の被写体の合焦状態付近であれば、その時点で信頼性のあるデフォーカス量を得ることができる。被写体が人物の顔などで低周波数成分のみを持つ場合には、低周波成分を抽出するフィルター処理データによる焦点検出演算でデフォーカス量を得ることができ、デフォーカス量が大きい場合には低周波成分を抽出するフィルター処理データを用いて最大シフト数ｌｍａｘを大きくして焦点検出演算を行うことによって、デフォーカス量を得ることができる。よって、合焦状態付近では演算時間が短くてすむので被写体が移動体である場合にも容易に追従し、低周波成分のみ被写体であっても合焦可能であり、大きなデフォーカス量も検出することができる。
【００２７】
上述した焦点検出装置では、イメージセンサーアレイ６００が一方向のみに設置されている例を示した。例えば、イメージセンサーアレイが撮影画面に対して水平方向に設置されているとすると、撮影画面に垂直な方向のみにコントラストを有する被写体に対しては焦点検出を行うことができない。そこで、垂直、水平の両方向にイメージセンサーアレイを配置し、このような問題を解決する焦点検出装置があり、これを図１６により説明する。
【００２８】
撮影レンズ１００の光軸上に視野マスク２０、フィールドレンズ３０、絞り４０、再結像レンズ５０、イメージセンサーアレイ６０が配置されている。イメージセンサーアレイ６０はＡ，Ｂ，Ｃ，Ｄ列を有し、Ａ、Ｂ列は撮影画面の水平方向に配置され、Ｃ、Ｄ列は撮影画面の垂直方向に配置されている。視野マスク２０は十字形の開口部を有しており、撮影レンズ１００の予定焦点面近傍に配置され、撮影レンズ１００によって結像した被写体の空中像を規制するものである。絞り４０は４１、４２、４３、４４の４つの開口部を有し、これらの開口部はフィールドレンズ３０によって撮影レンズ上に１１、１２、１３、１４として投影される。再結像レンズ５０は、図１６（ｂ）に示すように絞り４の開口部４１、４２、４３、４４に対応する５１、５２、５３、５４の４つのレンズからなり、視野マスク２０の像をイメージセンサーアレイ６０上に結像する。したがって、撮影レンズ１００の１１の領域から入射した光束は視野マスク２０、フィールドレンズ３０、絞り４０の開口部４１、再結像レンズのレンズ５１を通りイメージセンサーアレイ６０のＡ列上に結像する。同様に、撮影レンズ１００の１２、１３、１４の領域より入射した光束はそれぞれイメージセンサーアレイ６０のＢ、Ｃ、Ｄ列上に結像する。
【００２９】
イメージセンサーアレイ６０のＡ、Ｂ列に結像した被写体像は撮影レンズ１００が前ピンの時は互いに遠ざかり、後ピンの時は互いに近ずき、合焦時にはある所定の間隔に並ぶ。よって、イメージセンサーアレイ６０のＡ、Ｂ列の出力信号列ａ［ｉ］、ｂ［ｉ］を前述のように演算処理することにより、撮影レンズ１００の水平方向に関するのデフォーカス量を算出することができる。同様に、イメージセンサーアレイ６０のＣ、Ｄ列に結像した被写体像は撮影レンズ１００が前ピンの時は互いに遠ざかり、後ピンの時は互いに近ずき、合焦時にはある所定の間隔に並ぶ。よって、イメージセンサーアレイ６０のＣ、Ｄ列の出力信号列ｃ［ｉ］、ｄ［ｉ］を前述のように演算処理することによって、撮影レンズ１００の垂直方向に関するのデフォーカス量を算出することができる。このような光学系、イメージセンサーを用いることにより水平方向と垂直方向の焦点検出領域は図１７（ａ）に示すように撮影画面で交差する。
【００３０】
また、図５または図１６に示す光学系を複数組有することにより、撮影画面の複数の位置でデフォーカス量を得ることができる焦点検出装置もあり、この場合の焦点検出領域は例えば図１７（ｂ）に示すようになる。
【００３１】
これらのように、複数のデフォーカス量を得る焦点検出装置では、複数のデフォーカス量から最終的なデフォーカス量を一つ定め、この最終デフォーカス量に基づく撮影レンズの駆動あるいは表示を行う。複数のデフォーカス量から一つの最終デフォーカス量を得る方法は、特開昭６０−２６２００４号公報、特開平２−１７８６４１号公報、特開平４−２３５５１２号公報などに開示されている。
特開昭６０−２６２００４号公報には、複数のデフォーカス量を平均する、最も至近を示すものを選択する、上述した数値Ｅが最大のものを選択するなどの方法が開示されている。
また、特開平２−１７８６４１号公報および特開平４−２３５５１２号公報には、複数のデフォーカス量の中でほとんど近い値を示すもの同士を平均して複数の平均デフォーカス量を算出し、複数の平均デフォーカス量から例えば最も至近を示すものを選択している。
【００３２】
さらに、図５のイメージセンサーアレイ６００に代えて図１８に示すような光電変換画素のピッチ幅の細かい一対のセンサーアレイＡ、Ｂ列と、光電変換画素のピッチ幅の粗い一対のセンサーアレイＣ、Ｄ列とを平行に配置したイメージセンサーアレイを用いる焦点検出装置が、特開平１−１８９６１９号公報に開示されている。
この場合は両方のイメージセンサーアレイに対して同一の再結像レンズが対応するので、両イメージセンサーアレイの予定焦点面換算の画素ピッチの比はイメージセンサーアレイ上の画素ピッチの比と同一となる。センサーアレイＣ、Ｄ列は、光電変換画素の面積がセンサーアレイＡ、Ｂ列の光電変換画素の面積の２倍になっており、センサーアレイＡ、Ｂ列が要する蓄積時間の１／２の蓄積時間で同レベルの光電変換出力信号を得ることができ、被写体が暗くてイメージセンサーアレイに入射する光量が少ない場合に有効である。また、センサーアレイＡ，Ｂ列は光電変換画素のピッチ幅が細かいので、微細な被写体パターンに対する焦点検出能力が高い。そこで、被写体の輝度が低い場合にはセンサーアレイＣ、Ｄ列を用い、通常はセンサーアレイＡ，Ｂ列を用いるようにしている。
【００３３】
【発明が解決しようとする課題】
図５のイメージセンサーアレイ６００に代えて図１８に示すイメージセンサーアレイを使用した場合に、センサーアレイＡ，Ｂ列と、センサーアレイＣ，Ｄ列とでフィルター処理の係数ｓが同じであると、光電変換画素のピッチ幅に差があるのでピーク周波数が異なり、そのため抽出する周波数成分が異なることになり、どちらのセンサーアレイを用いるかによって性能に差が生じることになる。つまり、被写体の輝度などによってセンサー列を切り替えると、被写体の輝度によって性能に差が生じることになる。
【００３４】
本発明の目的は、光電変換画素の予定焦点面換算のピッチ幅が異なる複数のセンサー列の焦点検出能力に差が生じないようにした焦点検出装置を提供することにある。
【００３５】
【課題を解決するための手段】
（１）請求項１の発明は、画素幅の異なる複数の光電変換画素列を有し、これらの各光電変換画素列から被写体像の光強度分布に応じた信号列を出力する光電変換手段と、各光電変換画素列の出力信号列に対して、画素幅が異なる光電変換画素列どうしでＭＴＦが最大となる空間周波数がほぼ同一となるようにフィルター処理を施すフィルター処理手段と、フィルター処理手段によるフィルター処理後の信号列に基づいて、撮影レンズの焦点調節状態を演算する焦点検出演算手段と、焦点検出演算手段により演算された焦点調節状態の信頼性を判定する信頼性判定手段と、画素幅が大きいほど、信頼性判定手段のしきい値を、信頼性有りと判定されやすくなる値に設定するしきい値設定手段とを備える。
（２）請求項２の焦点検出装置は、フィルター処理手段によって、信頼性判定手段により信頼性なしと判定された場合には、各光電変換画素列の出力信号列に対して前回のフィルター処理よりも低周波成分を抽出するフィルター処理を施し、焦点検出演算手段によって、フィルター処理手段により低周波成分が抽出された信号列に基づいて、撮影レンズの焦点調節状態を演算する。
（３）請求項３の焦点検出装置は、複数の光電変換画素列が、被写体像の輝度に基づいて選択される。
（４）請求項４の焦点検出装置は、被写体像の輝度が所定輝度より明るい場合は、複数の光電変換画素列のうちの画素幅が小さい方を選択する。
（５）請求項５の焦点検出装置は、画素幅の異なる複数の光電変換画素列が、撮影画面内の一つの焦点検出領域に対応して互いに並列に設けられている。
（６）請求項６の発明は、画素幅の異なる複数の光電変換画素列のうち、選択された光電変換画素列から被写体像の光強度分布に応じた信号列を出力し、選択された前記光電変換画素列の出力信号列に対して、画素幅が異なる光電変換画素列どうしでＭＴＦが最大となる空間周波数がほぼ同一となるようにフィルター処理を施し、フィルター処理を施した信号列に基づいて撮影レンズの焦点調節状態を演算し、画素幅が大きいほど演算結果の焦点調節状態が信頼性ありと判定されやすくなるような信頼性判定を行う。
（７）請求項７の焦点検出方法は、複数の光電変換画素列が、被写体像の輝度に基づいて選択される。
（８）請求項８の発明は、画素幅の異なる複数の光電変換画素列から被写体像の光強度分布に応じた信号列を出力し、出力信号列に対して、画素幅が異なる光電変換画素列どうしでＭＴＦが最大となる空間周波数がほぼ同一となるようにフィルター処理を施し、フィルター処理を施した信号列に基づいて撮影レンズの焦点調節状態を演算し、画素幅が大きいほど演算結果の焦点調節状態が信頼性ありと判定されやすくなるような信頼性判定を行う。
【００３６】
【発明の実施の形態】
図１は本発明の一実施形態の構成を示す図である。
１は、撮影レンズ１００を通過した被写体からの光をイメージセンサー２に導く焦点検出光学系であり、例えば前述の図５の視野マスク２００、フィールドレンズ３００、絞り開口部４０１、４０２、再結像レンズ５０１、５０２から構成される。
２はイメージセンサーであり、図１８に示すように光電変換画素のピッチ幅の細かい一対のセンサーアレイＡ、Ｂ列（以下、第１センサーと呼ぶ）と、光電変換画素のピッチ幅の粗い一対のセンサーアレイＣ、Ｄ列（以下、第２センサーと呼ぶ）とを平行に配置したものである。第１センサーの画素ピッチはＰａ、第２センサーの画素ピッチはその２倍の２×Ｐａである。いずれのセンサーも対応する再結像レンズは共通なので、予定焦点面換算の画素ピッチの比も変わることなく、第１センサーの予定焦点面換算の画素ピッチをＰabとすると、第２センサーではその２倍となる。そして、第１センサーは出力信号列Ａ０［ｉ］、Ｂ０［ｉ］を出力し、第２センサーは出力信号列Ｃ０［ｉ］、Ｄ０［ｉ］を出力する。
【００３７】
３はイメージセンサー選択部であり、イメージセンサー２の第１センサーと第２センサーのどちらを用いるかを決定する。選択は被写体の輝度などに基づいて行われる。
４はフィルター処理部であり、イメージセンサー２が出力する出力信号列Ａ０［ｉ］、Ｂ０［ｉ］、またはＣ０［ｉ］、Ｄ０［ｉ］に対して数式１０によるフィルター処理を施して高周波成分カットフィルターデータＡ１［ｉ］、Ｂ１［ｉ］、またはＣ１［ｉ］、Ｄ１［ｉ］を出力する。これらの高周波成分カットフィルターデータのＭＴＦ特性は、図４（ａ）のそれぞれ細線、太線で示すようになる。さらに、第１センサーではｓ＝４、第２センサーではｓ＝２を設定して数式１１を実行し、それぞれ高周波被写体用のフィルター処理データＡ２［ｉ］とＢ２［ｉ］、Ｃ２［ｉ］とＤ２［ｉ］を出力する。また、第１センサーではｓ＝８、第２センサーではｓ＝４を設定して数式１１を実行し、それぞれ低周波被写体用のフィルター処理データＡ３［ｉ］とＢ３［ｉ］、Ｃ３［ｉ］とＤ３［ｉ］を出力する。第１センサーと第２センサーとで予定焦点面換算の画素ピッチが前述のように異なるので、数式９により、第１センサーでのｓ＝４、ｓ＝８のピーク周波数はそれぞれ第２センサーでのｓ＝２、ｓ＝４のピーク周波数とほぼ同一となり、それぞれ１／（８Ｐab）、１／（１６Ｐab）本／ｍｍである。
【００３８】
５は焦点検出演算部であり、第１センサーが選択されている時には、フィルター処理部４の出力するフィルター処理データＡ２［ｉ］とＢ２［ｉ］、またはＡ３［ｉ］とＢ３［ｉ］を用いて数式１から数式６による焦点検出演算を行い、撮影レンズ１００の焦点状態、すなわちデフォーカス量を算出する。一方、第２センサーが選択されている時には、フィルター処理部４の出力するフィルター処理データＣ２［ｉ］とＤ２［ｉ］、またはＣ３［ｉ］とＤ３［ｉ］を用いて、数式１から数式６による焦点検出演算を行って撮影レンズ１００のデフォーカス量を算出する。
６は信頼性しきい値設定部であり、焦点検出演算における数式６の信頼性判定で用いるしきい値Ｅ１、Ｇ１の値をイメージセンサー選択部の選択したセンサーに応じて設定する。
【００３９】
なお、イメージセンサー選択部３、フィルター処理部４、焦点検出演算部５および信頼性しきい値設定部６は、マイクロコンピューターにより構成してもよい。
【００４０】
図２は実施形態の焦点検出動作を示すフローチャートである。このフローチャートにより、実施形態の動作を説明する。
ステップ１において、イメージセンサー選択部３によって、イメージセンサー２の第１センサーと第２センサーのどちらを用いるかを決定する。選択方法は、被写体輝度が所定輝度よりも明るい時には画素ピッチの細かい第１センサーを選択し、所定輝度以下の時には画素ピッチの粗い第２センサーを選択する。
ステップ２で、第１センサーが選択されている時には第１センサーの出力信号列Ａ０［ｉ］、Ｂ０［ｉ］を入力し、第２センサーが選択されている時には第２センサーの出力信号列Ｃ０［ｉ］、Ｄ０［ｉ］を入力する。
続くステップ３で、フィルター処理部４は数式１０により、第１センサー選択時には高周波成分カットフィルターデータＡ１［ｉ］、Ｂ１［ｉ］を算出し、第２センサー選択時には高周波成分カットフィルターデータＣ１［ｉ］、Ｄ１［ｉ］を算出する。
【００４１】
ステップ４において、第１センサーが選択されている時はステップ５へ進み、第２センサーが選択されている時にはステップ６へ進む。画素ピッチの細かい第１センサーが選択されている時には、ステップ５で数式１１に用いるパラメータｓに４を設定する。一方、画素ピッチの粗い第２センサーが選択されている時には、ステップ６で数式１１に用いるｓに２を設定する。
ステップ７で、フィルター処理部４はステップ５またはステップ６で設定されたｓの値を用いて数式１１を実行し、第１センサー選択時にはフィルター処理データＡ２［ｉ］、Ｂ２［ｉ］を算出し、第２センサー選択時にはフィルター処理データＣ２［ｉ］、Ｄ２「ｉ］を算出する。これによって、被写体の高周波成分が抽出されたフィルター処理データが得られる。
【００４２】
ステップ８で、信頼性しきい値設定部６は、選択されたセンサーと数式１１におけるｓの値に基づいて、数式６の信頼性判定で用いるしきい値Ｅ１，Ｇ１の値を決定する。これについての詳細は後述する。ステップ９で、焦点検出演算部５は、フィルター処理部４から出力されるフィルター処理データＡ２［ｉ］、Ｂ２［ｉ］、またはＣ２［ｉ］、Ｄ３［ｉ］と、信頼性しきい値設定部６が設定したしきい値とを用いて、数式１から数式６による焦点検出演算を行い、撮影レンズ１００の焦点状態、すなわちデフォーカス量を算出する。
ステップ１０において、信頼性のあるデフォーカス量が得られたか否かを見て、得られた場合はステップ１８へ進み、得られなかった場合はステップ１１へ進む。
【００４３】
信頼性のあるデフォーカス量が得られなかった場合には、ステップ１１でどのセンサーが選択されているかを調べ、第１センサーが選択されている時はステップ１２へ進み、第２センサーが選択されている時はステップ１３へ進む。
第１センサーが選択されている時は、ステップ１２で数式１１で用いるｓの値を８とする。一方、第２センサーが選択されている時は、ステップ１３で数式１１で用いるｓの値を４とする。
ステップ１４において、フィルター処理部４はステップ１２またはステップ１３で設定されたｓの値を用いて数式１１を実行し、第１センサー選択時にはフィルター処理データＡ３［ｉ］、Ｂ３［ｉ］を算出し、第２センサー選択時にはフィルター処理データＣ３［ｉ］、Ｄ３「ｉ］を算出する。これによって、被写体の低周波成分が抽出されたフィルター処理データが得られる。
【００４４】
ステップ１５で、信頼性しきい値設定部６は、選択されたセンサーと数式１１におけるｓの値に基づいて、数式６の信頼性判定で用いるしきい値Ｅ１，Ｇ１の値を決定する。これについての詳細は後述する。ステップ１６で、焦点検出演算部５は、フィルター処理部４から出力されるフィルター処理データＡ３［ｉ］、Ｂ３［ｉ］、またはＣ３［ｉ］、Ｄ３［ｉ］と、信頼性しきい値設定部６が設定したしきい値とを用いて、数式１から数式６による焦点検出演算を行い、撮影レンズ１００の焦点状態、すなわちデフォーカス量を算出する。
【００４５】
ステップ１７において、信頼性のあるデフォーカス量が得られたか否かを見て、得られた場合にはステップ１８へ進み、得られなかった場合にはステップ１９へ進む。ステップ１８では、信頼性のあるデフォーカス量が得られたので検出可能として動作を終了する。一方、ステップ１９では、信頼性のあるデフォーカス量が得られなかったので検出不能として動作を終了する。
【００４６】
以上説明したように、ステップ７およびステップ１４におけるフィルター処理では、選択されたセンサーの予定焦点面換算の画素ピッチに応じてｓの値を変更しているので、フィルター処理によって得られるピーク周波数がほぼ等しくなり、抽出される周波数成分はほぼ同一となるので、この実施形態のように被写体の輝度に応じていずれのセンサーが選択されても焦点検出能力の差が生じない。
【００４７】
図２のステップ８およびステップ１５における、信頼性しきい値設定の詳細について説明する。
図４（ａ）において、細線は、第１センサーの高周波成分カットフィルターデータＡ１［ｉ］、Ｂ１［ｉ］のＭＴＦ特性であり、太線は、第２センサーの高周波成分カットフィルターデータＣ１［ｉ］、Ｄ１［ｉ］のＭＴＦ特性である。また、図４（ｂ）において、細線は、ステップ７で得られる第１センサーのｓ＝４としたフィルター処理データＡ２［ｉ］、Ｂ２［ｉ］のＭＴＦ特性であり、太線は、ステップ７で得られる第２センサーのｓ＝２としたフィルター処理データＣ２［ｉ］、Ｄ２［ｉ］のＭＴＦ特性である。
このように、第１センサーと第２センサーとで高周波成分カットフィルターデータのＭＴＦ特性が異なる。ステップ７のフィルター処理で抽出される周波数成分は第１センサーと第２センサーとでほぼ同一であるが、ピーク周波数におけるＭＴＦが異なり、第２センサーの方が抑制されている。したがって、同一の被写体であって、同レベルの信号出力を得たとしても、フィルター処理データのコントラストは第２センサーの方が低くなる。第１センサー使用時に、焦点検出演算で得られる数値Ｅがしきい値を辛うじて越えて検出可能となるような被写体に対して、第２センサー使用時にはコントラストが低くなるために数値Ｅが小さくなり、しきい値を満たさなく検出不能となってしまう。輝度などによってイメージセンサーアレイが切り替わると、低コントラスト被写体に対する焦点検出性能に差が生じるという不具合が生じる。そのため、第１センサーと第２センサーとで数式６に用いる信頼性しきい値を変える必要があり、信頼性しきい値Ｅ１、Ｇ１の値は図３に示すようにセンサーの種類、すなわち画素ピッチとｓの値とに基づいて設定している。
【００４８】
ステップ９の焦点検出演算では、高周波被写体用のフィルター処理データ、すなわち第１センサーではｓ＝４、第２センサーではｓ＝２に設定して数式１１のフィルター処理を行ったデータを用いるので、ステップ８では次のように信頼性しきい値が設定される。
【数１３】
第１センサーの場合；Ｅ１＝Ｅct，Ｇ１＝Ｇct，
第２センサーの場合；Ｅ１＝0.75×Ｅct，Ｇ１＝Ｇct
数式１３において、Ｅct、Ｇctは第１センサーの高周波被写体用のフィルター処理データに適した所定値である。上述したように、第２センサーではピーク周波数におけるＭＴＦが第１センサーより抑制されているので、Ｅのしきい値Ｅ１は第２センサーの方が緩い値となっている。Ｃｅｘ／Ｅのしきい値Ｇ１は同一としたが、これも第２センサーの方を緩い値、すなわちＧctよりも大きい値に設定してもよい。ステップ１６の焦点検出演算では低周波被写体用のフィルター処理データ、すなわち第１センサーではｓ＝８、第２センサーではｓ＝４に設定して数式１１のフィルター処理を行ったデータを用いるので、ステップ１５では次のように信頼性しきい値が設定される。
【数１４】
第１センサーの場合；Ｅ１＝1.25×Ｅct，Ｇ１＝0.75×Ｇct，
第２センサーの場合；Ｅ１＝Ｅct，Ｇ１＝0.75×Ｇct
数式１４において、Ｅct、Ｇctは数式１３のものと同一である。ここでもステップ８と同様に、Ｅのしきい値Ｅ１は第２センサーの方が緩い値となっている。Ｃｅｘ／Ｅのしきい値Ｇ１は同一としたが、これも第２センサーの方を緩い値、すなわち0.75×Ｇctよりも大きい値に設定してもよい。
【００４９】
このように、選択されたセンサーアレイに基づいて信頼性判定しきい値を変更するので、第１センサー使用時に数式６の信頼性判定条件を辛うじて満たすようなコントラストの低い被写体に対して、第２センサー選択時でも信頼性判定条件を満たすことになり、センサーアレイを切り替えても検出不能となることはない。したがって、この実施形態の信頼性しきい値の設定方法によれば、被写体の輝度に応じていずれのセンサーが選択されても、低コントラスト被写体に対する焦点検出能力に差が生じない。
【００５０】
以上の実施形態の説明では図５に示す焦点検出光学系に図１８に示すイメージセンサーを用いる例を示したが、焦点検出光学系とイメージセンサーの構成は上記実施形態に限定されない。例えば、図１６に示す焦点検出光学系とイメージセンサーアレイを用い、図１７（ａ）に示すように撮影画面に対して水平方向と垂直方向のそれぞれについて焦点検出領域が配置された焦点検出装置において、水平方向と垂直方向とで予定焦点面換算の画素ピッチが異なる場合にも本発明を適用できる。
【００５１】
また、図５に示す焦点検出光学系とイメージセンサーアレイを複数組設け、図１７（ｂ）に示すように撮影画面内に複数の焦点検出領域を設ける焦点検出装置において、予定焦点面換算の画素ピッチが他と異なる焦点検出領域が存在する焦点検出装置にも本発明を適用できる。
【００５２】
以上の発明の実施の形態の構成において、イメージセンサー２が光電変換手段を、焦点検出光学系１が焦点検出光学系を、フィルター処理部４がフィルター処理手段を、焦点検出演算部５が焦点検出演算手段および信頼性判定手段を、信頼性しきい値設定部６がしきい値設定手段をそれぞれ構成する。
【００５３】
【発明の効果】
以上説明したように請求項１の発明によれば、画素幅の異なる複数の光電変換画素列の出力信号列に対して、画素幅が異なる光電変換画素列どうしでＭＴＦが最大となる空間周波数がほぼ同一となるようにフィルター処理を施し、フィルター処理後の信号列に基づいて撮影レンズの焦点調節状態を演算し、演算された焦点調節状態の信頼性を判定する際に、画素幅が大きいほど、信頼性判定のしきい値を、信頼性有りと判定されやすくなる値に設定するようにしたので、予定焦点面換算の画素幅が異なる複数の光電変換画素列で、ピーク周波数が等しく、抽出する周波数成分が同一となるフィルター処理データを得ることができ、複数の光電変換画素列の焦点検出能力に差が生じない焦点検出装置を実現できる上に、画素幅が異なる複数の光電変換画素列で、ピーク周波数のＭＴＦが異なってフィルター処理データのコントラストに差が生じても、低コントラスト被写体に対する焦点検出能力に差が生じない焦点検出装置を実現できる。
さらに、請求項２の発明によれば、演算された焦点調節状態が信頼性なしと判定された場合には、各光電変換画素列の出力信号列に対して前回のフィルター処理よりも低周波成分を抽出するフィルター処理を施し、低周波成分が抽出された信号列に基づいて撮影レンズの焦点調節状態を演算するようにしたので、低コントラストの被写体に対しても焦点検出が可能になる。
【図面の簡単な説明】
【図１】一実施形態の構成を示す図である。
【図２】一実施形態の焦点検出動作を示すフローチャートである。
【図３】一実施形態の信頼性しきい値の設定方法を示す図である。
【図４】一実施形態のフィルター処理データのＭＴＦ特性を示す図である。
【図５】焦点検出光学系とイメージセンサーの構成例を示す図である。
【図６】焦点検出演算を説明する図である。
【図７】焦点検出演算を説明する図である。
【図８】相関演算を説明する図である。
【図９】撮影画面と焦点検出領域との位置関係を表す図である。
【図１０】高周波成分カットフィルター処理データのＭＴＦ特性を説明する図である。
【図１１】ＤＣ成分除去フィルター処理のＭＴＦ特性を示す図である。
【図１２】高周波成分カットフィルター処理とＤＣ成分除去フィルター処理の両方を施したフィルター処理データのＭＴＦ特性を示す図である。
【図１３】低周波数成分のみからなる被写体像パターンの一例を示す図である。
【図１４】高周波数成分のみからなる被写体像パターンの一例を示す図である。
【図１５】高周波数成分と低周波数成分を含む被写体像パターンの一例を示す図である。
【図１６】水平方向と垂直方向のそれぞれについて焦点検出を行うための焦点検出光学系を示す図である。
【図１７】撮影画面と焦点検出領域との位置関係を表す図である。
【図１８】画素ピッチの異なる２対のイメージセンサーアレイを示す図である。
【符号の説明】
１焦点検出光学系
２イメージセンサー
３イメージセンサー選択部
４フィルター処理部
５焦点検出演算部
６信頼性しきい値設定部
１００撮影レンズ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a focus detection device that detects a focus adjustment state of a photographing lens.
[0002]
[Prior art]
A focus detection device for a phase difference detection camera is known, and a focus detection operation by a phase difference detection method will be described with reference to FIG.
The light beam incident through the region 101 of the photographing lens 100 passes through the field mask 200, the field lens 300, the aperture opening 401, and the re-imaging lens 501, and forms an image on the A column of the image sensor array 600. The A column of the image sensor array 600 is a one-dimensional array of a plurality of photoelectric conversion pixels that generate an output corresponding to the incident intensity. Similarly, the light beam incident through the region 102 of the photographing lens 100 passes through the field mask 200, the field lens 300, the aperture opening 402, and the re-imaging lens 502, and forms an image on the B row of the image sensor array 600. To do. The B column of the image sensor array 600 is a one-dimensional array of a plurality of photoelectric conversion pixels that generate an output corresponding to the incident intensity.
[0003]
A pair of subject images formed on the A and B columns of the image sensor array 600 are separated from each other in a so-called front pin state in which the photographing lens 100 forms a sharp image of the subject before the planned focal plane, and conversely planned. In the so-called rear pin state in which the sharp image of the subject is connected after the focal plane, the subject images are close to each other. It becomes an interval. Accordingly, the pair of subject images are photoelectrically converted into electric signals by the A and B columns of the image sensor array 600 and converted into electric signals, and these signals are arithmetically processed to obtain the relative positional deviation amounts of the pair of subject images. The focus adjustment state of the lens 100, here, the distance away from the in-focus state and its direction (hereinafter referred to as defocus amount) can be known.
Projected images by the re-imaging lenses 501 and 502 in the A and B rows of the image sensor array 600 overlap each other in the vicinity of the planned focal plane. Normally, as shown in FIG. A focus detection area is set at the center.
[0004]
As the image sensor array 600, a charge accumulation type CCD or the like is used, and when the luminance of the subject is low and the amount of light incident on the image sensor array is small, the accumulation time is lengthened, and the luminance of the subject is high and the image sensor array is used. When the amount of incident light is large, the output time of the image sensor is set to a level suitable for focus detection calculation processing by shortening the accumulation time.
[0005]
Here, focus detection calculation for calculating the defocus amount will be described.
Each of the A column and the B column of the image sensor array 600 includes a plurality of photoelectric conversion pixels, and a plurality of output signal columns a [1],. . . , A [n], b [1],. . . b [n] is output (FIGS. 7A and 7B). Then, the correlation calculation is performed while the data in a predetermined range of the pair of output signal sequences is relatively shifted by L by predetermined data. If the maximum shift number is lmax, the range of L is from −1max to + 1max. Specifically, the correlation amount C [L] is calculated by Equation 1.
[Expression 1]
C [L] = Σ | a [i + L] −b [i] |
In Equation 1, Σ represents the sum of i = k to r, and the initial term k and the final term r are changed depending on the shift amount L as shown in Equation 2, for example. L is an integer corresponding to the shift amount of the data string described above, and L = −lmax,. . . , -2, -1, 0, 1, 2,. . . , Lmax.
[0006]
[Expression 2]
When L ≧ 0;
k = k0 + INT {−L / 2},
r = r0 + INT {−L / 2},
When L <0;
k = k0 + INT {(− L + 1) / 2},
r = r0 + INT {(−L + 1) / 2}
Here, k0 and r0 are the first term and the last term when the shift amount L is zero.
[0007]
A combination of calculating the absolute value of the difference between the signals in the A column and the B column in Equation 1 when the first term k and the final term r are changed according to Equation 2 and the calculation range in which the absolute value of the difference is added are shown in FIG. It is shown in FIG. Thus, as the shift amount L changes, the ranges used for the correlation calculation of the A column and the B column shift in opposite directions. There is also a method in which the initial term k and the final term r are made constant regardless of the shift amount L. In this case, the range used for the correlation calculation of one column is always constant, and only the other column is shifted. Since the relative positional deviation amount is the shift amount L when the pair of data match, the shift amount that gives the minimum correlation amount is detected from the correlation amount C [L] thus obtained. The defocus amount is obtained by multiplying the optical system shown in FIG. 5 by a constant determined by the pitch width of the photoelectric conversion pixels of the image sensor array 600. Therefore, a larger defocus amount can be detected as the maximum shift number lmax is larger.
[0008]
Incidentally, the correlation amount C [L] is a discrete value as shown in FIG. 7C, and the smallest unit of defocus amount that can be detected is the photoelectric conversion pixels of the A column and B column of the image sensor array 600. It is limited by the pitch width. Therefore, a method for newly calculating a true minimum value Cex by performing an interpolation operation based on the discrete correlation amount C [L] and performing precise focus detection is disclosed in Japanese Patent Application Laid-Open No. 60-37513 by the present applicant. It is disclosed in the gazette. As shown in FIG. 6, this method uses a correlation amount C [Le], which is a minimum value, and correlation amounts C [Le + 1], C [Le-1] in shift amounts on both sides of the correlation value. The value Cex and the shift amount Ls that gives this value are calculated by Equations 3 and 4.
[0009]
[Equation 3]
DL = (C [Le-1] -C [Le + 1]) / 2
Cex = C [Le]-| DL |,
E = MAX {C [Le + 1] -C [Le], C [Le-1] -C [Le]}
[Expression 4]
Ls = Le + DL / E
In Equation 3, MAX {Ca, Cb} means that the larger of Ca and Cb is selected. The defocus amount DF is calculated from the deviation amount Ls by Equation 5.
[Equation 5]
DF = Kf · Ls
In Equation 5, Kf is a constant determined by the pitch width of the photoelectric conversion pixels of the optical system and the image sensor array 600 shown in FIG.
[0010]
It is necessary to determine whether the defocus amount obtained in this way truly indicates the defocus amount or due to fluctuation of the correlation amount due to noise or the like. When the condition shown in Equation 6 is satisfied, the defocus amount Is trusted.
[Formula 6]
E> E1 & Cex / E <G1
In Equation 6, E1 and G1 are predetermined threshold values. The numerical value E indicates how the correlation amount changes, and is a value that depends on the contrast of the subject. The larger the value, the higher the contrast and the higher the reliability. Cex is a difference when a pair of data most closely matches and is originally 0. However, due to the influence of noise and further, parallax is generated between the area 101 and the area 102, a subtle difference occurs between the pair of subject images and does not become zero. Since the effect of the difference between the noise and the subject image is smaller as the subject contrast is higher, Cex / E is used as a numerical value representing the degree of coincidence between a pair of data. Of course, the closer Cex / E is to 0, the higher the degree of matching between a pair of data and the higher the reliability.
[0011]
In some cases, the contrast relating to one of the pair of data is calculated instead of the numerical value E, and the reliability is determined using this. If it is determined that there is reliability, the photographing lens 100 is driven or displayed based on the defocus amount DF.
In this specification, the correlation calculation, the interpolation calculation, and the condition determination of Expressions 1 to 6 are collectively referred to as a focus detection calculation.
[0012]
In the above description, the output signal sequences a [1],. . . , A [n], b [1],. . . , B [n] itself is used for the focus detection calculation. However, correct focus detection may not be possible due to the influence of frequency components higher than the Nyquist frequency determined by the pixel pitch Pi and the imbalance between the outputs of the A and B columns caused by hardware variations. In view of this, a method for performing filter calculation processing on the output signal sequence and performing focus detection calculation using the filter processing data is disclosed in Japanese Patent Application Laid-Open No. 61-245123 by the present applicant.
[0013]
Since the filter processing is described in detail in JP-A-59-204808, JP-A-60-61713, JP-A-60-151607, etc., it will be briefly described here.
The pixel pitch is Pi, and the output signal sequence j0 [1],. . . , J0 [n] will be described as an example. The MTF characteristic of this image sensor array is sufficiently large in the vicinity of the DC component (0 lines / mm) as shown by a thin line in FIG. 10A, and decreases as the frequency (lines / mm) increases. It becomes 0 near the frequency of / Pi. Therefore, the output signal sequence j0 [1],. . . , J0 [n] contains a large amount of DC components of the optical image and hardly contains frequency components near 1 / Pi.
[0014]
Also, the thick line in FIG. 10A is the MTF characteristic of the filter processing of Equation 7.
[Expression 7]
j1 [i] = (j [i] + 2 × j [i + 1] + j [i + 2]) / 4
Data j1 [1],. . . , J1 [n-2] is a composite of the two MTF characteristics shown in FIG. 10 (a), and is 1 / (2Pi) lines / mm or more which is the Nyquist frequency as shown in FIG. 10 (b). Almost all components can be removed. Hereinafter, in this specification, description will be made ignoring components having a frequency higher than the Nyquist frequency.
[0015]
FIG. 11 shows the MTF characteristics of the filter processing of Formula 8.
[Equation 8]
j1 '[i] =-j0 [i] + 2 * j0 [i + s] -j0 [i + 2s]
Here, s is a parameter for adjusting the MTF characteristic of the filter processing. A thin line in FIG. 11 indicates a case where s = 4 and a thick line indicates s = 2. As described above, since DC data (that is, 0 lines / mm) is completely removed from these data, the influence of output imbalance can be removed. The lowest spatial frequency at which the MTF is maximum is 1 / (4 Pi) lines / mm when s = 2, and 1 / (8 Pi) lines / mm when s = 4. This spatial frequency is determined as shown in Equation 9 by the value of the parameter s and the pixel pitch Pi of the image sensor array.
[Equation 9]
1 / (2 · s · Pi)
[0016]
The output signals j0 [1],. . . , J0 [n], the MTF characteristics of the data obtained by applying the filter processing of Expression 7 and Expression 8 are the characteristics shown in FIG. This characteristic is a characteristic obtained by synthesizing the MTF characteristic of the data obtained by the filtering process of Formula 7 shown in FIG. 10B and the MTF characteristic of the data obtained by the filtering process of Formula 8 shown in FIG. The thin line in FIG. 12 is for s = 4, and the thick line is for s = 2. As described above, by applying both the filter processings of Equation 7 and Equation 8, a component equal to or higher than the Nyquist frequency can be removed, and the spatial frequency that maximizes the MTF can be extracted according to the value of the parameter s. It becomes substantially equal to the spatial frequency determined by Equation (9). In this specification, the spatial frequency that maximizes the MTF is called the peak frequency.
[0017]
Next, the filter processing of the output signal sequence of the image sensor 600 will be specifically described.
First, according to Equation 10, the output signal sequences a [1],. . . , A [n], b [1],. . . , B [n] to high frequency component cut filter processing data Pa [1],. . . , Pa [n-2], Pb [1],. . . , Pb [n-2]. This process corresponds to the filter process of Formula 7 shown in FIG.
[Expression 10]
Pa [i] = (a [i] + 2 × a [i + 1] + a [i + 2]) / 4
Pb [i] = (b [i] + 2 × b [i + 1] + b [i + 2]) / 4
i = 1 to n-2
The filter processing data Pa [1],. . . , Pa [n-2], Pb [1],. . . , Pb [n−2] is subjected to filter processing for removing the influence of the imbalance between the outputs of the A column and the B column by Expression 11, and the filtered data Fa [1],. . . , Fa [n-2-2s], Fb [1],. . . , Fb [n-2-2s]. This process corresponds to the filter process of Formula 8 shown in FIG.
## EQU11 ##
Fa [i] = − Pa [i] + 2 × Pa [i + s] −Pa [i + 2s],
Fb [i] = − Pb [i] + 2 × Pb [i + s] −Pb [i + 2s],
i = 1 to n-2-2s
[0018]
In Equation 11, the parameter s is an integer of about 1 to 10, and the peak frequency decreases as the numerical value increases, so that the lower frequency component of the subject pattern is extracted, and the peak frequency increases as the numerical value decreases. Higher frequency components will be extracted.
Further, the number of filter processing data decreases as the parameter s increases. Since the subject image contains a lot of high-frequency components in the vicinity of the in-focus state, a relatively small value is preferable as the parameter s. On the contrary, since the subject image is blurred and has only a low frequency component in the out-of-focus state, the parameter s is preferably a large value. If the parameter s is small, the low frequency component is almost removed, so that when the defocus amount is large and there is no high frequency component, focus detection becomes impossible. Therefore, in this case, it is meaningless to increase the maximum shift number lmax in Equation 1 to a relatively small value. Conversely, when the parameter s is large, focus detection is possible even when the defocus amount is large in order to extract a low frequency component, and a relatively large value is set for lmax.
[0019]
Here, when detecting the pattern of the subject image formed on the image sensor, the detection result changes depending on the magnification of the focus detection optical system and the pixel pitch of the image sensor. Even if the focus detection optical system is the same, if the pixel pitch is changed, the detection result of the subject image pattern is different. Even if the pixel pitch is the same, the detection result is different if the focus detection optical system is changed. Of course, even if both the focus detection optical system and the pixel pitch are changed, the detection results are different. Therefore, it is not preferable to discuss the frequency component of the subject image pattern on the image sensor.
Therefore, in this specification, the spatial frequency of the subject image pattern is not the spatial frequency of the subject image pattern formed on the image sensor array, but the spatial frequency of the subject image pattern on the planned focal plane. Therefore, the calculation of the peak frequency according to Equation 9 uses the pixel pitch in terms of the planned focal plane, not the pixel pitch itself of the image sensor array.
[0020]
Usually, the re-imaging lens of the focus detection optical system is configured to reduce and form an image of the planned focal plane on the image sensor array, and the magnification of the focus detection optical system is called a reduction magnification. As the reduction magnification is larger, the image on the planned focal plane is reduced and formed on the image sensor array.
Since the planned focal plane-converted pixel pitch is the pixel pitch of the projected image of the planned focal plane by the re-imaging lens of the image sensor array, the planned focal plane-converted pixel pitch is calculated by the following formula using the reduction magnification SR.
[Expression 12]
Pi x SR
Therefore, the peak frequency of the filter processing data obtained by the filter processing calculation of Formula 11 is lower as the value of s is larger, the reduction ratio is larger, and the pitch width of the photoelectric conversion element is wider. Conversely, the smaller the value of s, the smaller the reduction ratio, and the narrower the pitch width of the photoelectric conversion elements, the higher the frequency.
[0021]
Further, when the value of the parameter s is relatively large, the filter processing data Fa [i] and Fb [i] calculated by Expression 11 may be extracted every other data, and the number of data may be thinned in half. In this way, since one data has a width corresponding to two pixels, it takes only half the calculation range to make the same focus detection area as compared with the case where no thinning is performed. Further, since the shift amount 1 when the thinning is performed corresponds to the shift amount 2 when the thinning is not performed, the same defocus amount can be detected even if the maximum shift number is halved.
[0022]
FIG. 13 shows the output signal sequence (a) of the image sensor for the subject image pattern of only the low frequency component, the filter processing data (b) of s = 2, and the filter processing data (c) of s = 4. The horizontal axis of the graph represents the arrangement of the pixels of the image sensor, and the vertical axis represents the level. It is assumed that the photographic lens is in focus and the output signal train in the A row overlaps with the output signal train in the B row.
The filter processing data of s = 2 for the subject image pattern having only the low frequency component is flat with almost no contrast. However, by applying the filter processing of s = 4, the contrast becomes sufficient and a reliable defocus amount can be obtained.
[0023]
FIG. 14 shows an image sensor output signal sequence (a), filter processing data (b) with s = 2, and filter processing data (c) with s = 4 for a subject image pattern consisting of only high-frequency components. The horizontal axis of the graph represents the arrangement of the pixels of the image sensor, and the vertical axis represents the level. It is assumed that the photographic lens is in focus and the output signal train in the A row overlaps with the output signal train in the B row.
The filter processing data of s = 2 for the subject image pattern of only the high frequency component has sufficient contrast, and a reliable defocus amount can be obtained.
[0024]
FIG. 15 shows an output signal sequence (a) of an image sensor for a subject image pattern including both a high frequency component and a low frequency component, s = 2 filtered data (b), and s = 4 filtered data (c). Indicates. The horizontal axis of the graph represents the arrangement of the pixels of the image sensor, and the vertical axis represents the level. It is assumed that the photographic lens is in focus and the output signal train in the A row overlaps with the output signal train in the B row. This subject image pattern is a pattern obtained when the boundary between the white portion and the black portion of the subject is located in the focus detection area shown in FIG. In this pattern, sufficient contrast can be obtained regardless of the value of s.
[0025]
Since the frequency components included in the image pattern differ depending on the subject, first, filter processing for extracting high frequency components with s as 2 is performed, and focus detection calculations of Formulas 1 to 6 are performed using this filter processing data. If a reliable defocus amount is obtained, the focus detection process is terminated. If a reliable defocus amount cannot be obtained, filter processing for extracting low frequency components with s as 4 is performed. The focus detection calculations of Formula 1 to Formula 6 are performed using the processing data. There is a method in which focus detection is performed in such a procedure and the value of s is increased until a reliable defocus amount is obtained.
[0026]
According to this method, since a high-frequency component is first extracted, a reliable defocus amount can be obtained at that point in the vicinity of a normal subject in-focus state. When the subject has only a low frequency component such as a human face, the defocus amount can be obtained by focus detection calculation using filter processing data that extracts the low frequency component, and when the defocus amount is large, the low frequency The defocus amount can be obtained by performing the focus detection calculation by increasing the maximum shift number lmax using the filter processing data for extracting the components. Therefore, since the calculation time is short in the vicinity of the in-focus state, it can easily follow even when the subject is a moving body, can focus even if the subject is only a low-frequency component, and detects a large defocus amount. be able to.
[0027]
In the focus detection apparatus described above, an example in which the image sensor array 600 is installed in only one direction is shown. For example, if the image sensor array is installed in a horizontal direction with respect to the shooting screen, focus detection cannot be performed on a subject having contrast only in a direction perpendicular to the shooting screen. Therefore, there is a focus detection device that solves such a problem by arranging image sensor arrays in both the vertical and horizontal directions, and this will be described with reference to FIG.
[0028]
A field mask 20, a field lens 30, a diaphragm 40, a re-imaging lens 50, and an image sensor array 60 are arranged on the optical axis of the photographing lens 100. The image sensor array 60 has A, B, C, and D columns. The A and B columns are arranged in the horizontal direction of the shooting screen, and the C and D columns are arranged in the vertical direction of the shooting screen. The field mask 20 has a cross-shaped opening, and is disposed in the vicinity of the planned focal plane of the photographic lens 100, and regulates an aerial image of the subject formed by the photographic lens 100. The aperture 40 has four openings 41, 42, 43, and 44, and these openings are projected as 11, 12, 13, and 14 onto the photographing lens by the field lens 30. The re-imaging lens 50 includes four lenses 51, 52, 53, and 54 corresponding to the openings 41, 42, 43, and 44 of the diaphragm 4, as shown in FIG. Is imaged on the image sensor array 60. Therefore, the light beam incident from the 11 area of the photographic lens 100 passes through the field mask 20, the field lens 30, the aperture 41 of the diaphragm 40, and the lens 51 of the re-imaging lens, and forms an image on the A column of the image sensor array 60. . Similarly, light beams incident from the regions 12, 13, and 14 of the photographing lens 100 are imaged on the B, C, and D rows of the image sensor array 60, respectively.
[0029]
The subject images formed in the A and B rows of the image sensor array 60 move away from each other when the photographing lens 100 is the front pin, approach each other when the rear lens is the rear pin, and are arranged at a predetermined interval when focused. Therefore, the defocus amount in the horizontal direction of the photographic lens 100 is calculated by processing the output signal sequences a [i] and b [i] of the A and B columns of the image sensor array 60 as described above. Can do. Similarly, the subject images formed in the C and D rows of the image sensor array 60 are moved away from each other when the photographing lens 100 is the front pin, close to each other when the shooting lens 100 is the rear pin, and arranged at a predetermined interval at the time of focusing. . Therefore, the defocus amount in the vertical direction of the photographic lens 100 is calculated by processing the output signal sequences c [i] and d [i] of the C and D columns of the image sensor array 60 as described above. Can do. By using such an optical system and image sensor, the focus detection areas in the horizontal direction and the vertical direction intersect on the photographing screen as shown in FIG.
[0030]
In addition, there is a focus detection device that can obtain defocus amounts at a plurality of positions on the photographing screen by providing a plurality of optical systems shown in FIG. 5 or FIG. 16, and the focus detection area in this case is, for example, FIG. As shown in b).
[0031]
As described above, in a focus detection apparatus that obtains a plurality of defocus amounts, one final defocus amount is determined from the plurality of defocus amounts, and the photographing lens is driven or displayed based on the final defocus amount. Methods for obtaining one final defocus amount from a plurality of defocus amounts are disclosed in Japanese Patent Laid-Open Nos. 60-262004, 2-178411, 4-235512, and the like.
Japanese Patent Application Laid-Open No. 60-262004 discloses a method of averaging a plurality of defocus amounts, selecting the closest one, and selecting the one having the maximum numerical value E described above.
In Japanese Patent Laid-Open Nos. 2-178411 and 4-235512, a plurality of average defocus amounts are calculated by averaging the values that are close to each other among a plurality of defocus amounts. For example, the closest defocus amount is selected from the average defocus amount.
[0032]
Further, instead of the image sensor array 600 of FIG. 5, a pair of sensor arrays A and B having a small pitch width of photoelectric conversion pixels and a pair of sensor arrays C having a large pitch width of photoelectric conversion pixels as shown in FIG. Japanese Patent Laid-Open No. 1-189619 discloses a focus detection apparatus using an image sensor array in which D rows are arranged in parallel.
In this case, since the same re-imaging lens corresponds to both image sensor arrays, the ratio of the pixel pitch in terms of the planned focal plane of both image sensor arrays is the same as the ratio of the pixel pitch on the image sensor array. . In the sensor arrays C and D, the area of the photoelectric conversion pixels is twice the area of the photoelectric conversion pixels in the sensor arrays A and B, and the accumulation is 1/2 of the accumulation time required for the sensor arrays A and B. It is effective when a photoelectric conversion output signal of the same level can be obtained in time, and the subject is dark and the amount of light incident on the image sensor array is small. In addition, since the sensor arrays A and B have a small pitch width of photoelectric conversion pixels, the focus detection capability for a fine subject pattern is high. Therefore, when the luminance of the subject is low, the sensor arrays C and D are used, and usually the sensor arrays A and B are used.
[0033]
[Problems to be solved by the invention]
When the image sensor array shown in FIG. 18 is used instead of the image sensor array 600 in FIG. 5, the filter processing coefficient s is the same between the sensor arrays A and B and the sensor arrays C and D. Since there is a difference in the pitch width of the photoelectric conversion pixels, the peak frequency is different, so that the frequency components to be extracted are different, and the performance varies depending on which sensor array is used. In other words, when the sensor rows are switched depending on the luminance of the subject, a difference in performance occurs depending on the luminance of the subject.
[0034]
An object of the present invention is to provide a focus detection device in which a difference is not generated in the focus detection capabilities of a plurality of sensor arrays having different pitch widths in terms of a planned focal plane of photoelectric conversion pixels.
[0035]
[Means for Solving the Problems]
(1) The invention of claim 1 includes a plurality of photoelectric conversion pixel columns having different pixel widths, and photoelectric conversion means for outputting a signal sequence corresponding to the light intensity distribution of the subject image from each of the photoelectric conversion pixel columns; Filter processing means for performing filtering so that the spatial frequency at which the MTF is maximum between the photoelectric conversion pixel arrays having different pixel widths is substantially the same for the output signal arrays of the respective photoelectric conversion pixel arrays; A focus detection calculation unit that calculates the focus adjustment state of the photographing lens based on the signal sequence after filtering by the image sensor, a reliability determination unit that determines the reliability of the focus adjustment state calculated by the focus detection calculation unit, and a pixel Threshold setting means for setting the threshold value of the reliability determination means to a value that is more easily determined to be reliable as the width is larger is provided.
(2) In the focus detection apparatus according to claim 2, when it is determined that the reliability is not determined by the reliability determination unit by the filter processing unit, the output signal sequence of each photoelectric conversion pixel column is compared with the previous filter processing. Also, a filtering process for extracting the low frequency component is performed, and the focus detection calculation unit calculates the focus adjustment state of the photographing lens based on the signal sequence from which the low frequency component is extracted by the filter processing unit.
(3) In the focus detection apparatus according to the third aspect, the plurality of photoelectric conversion pixel columns are selected based on the luminance of the subject image.
(4)According to a fourth aspect of the present invention, when the luminance of the subject image is higher than the predetermined luminance, the focus detection device selects the smaller one of the plurality of photoelectric conversion pixel columns.
(5)According to another aspect of the focus detection apparatus of the present invention, a plurality of photoelectric conversion pixel columns having different pixel widths are provided in parallel with each other so as to correspond to one focus detection region in the photographing screen.
(6)The invention according to claim 6 outputs a signal sequence corresponding to the light intensity distribution of the subject image from the selected photoelectric conversion pixel column among the plurality of photoelectric conversion pixel columns having different pixel widths, and the selected photoelectric conversion pixel Filtering is performed so that the spatial frequency at which the MTF is maximum is almost the same between the photoelectric conversion pixel columns having different pixel widths with respect to the output signal column, and the photographic lens is based on the filtered signal sequence. The focus adjustment state is calculated, and reliability determination is performed such that the focus adjustment state of the calculation result is more likely to be determined to be reliable as the pixel width is larger.
(7)In the focus detection method according to the seventh aspect, the plurality of photoelectric conversion pixel columns are selected based on the luminance of the subject image.
(8)The invention according to claim 8 outputs a signal sequence corresponding to the light intensity distribution of the subject image from a plurality of photoelectric conversion pixel columns having different pixel widths, and the photoelectric conversion pixel columns having different pixel widths relative to the output signal sequence. Filter processing is performed so that the spatial frequency at which the MTF is maximized is substantially the same, and the focus adjustment state of the photographic lens is calculated based on the filtered signal sequence. The larger the pixel width, the more the focus adjustment state of the calculation result The reliability determination is performed so that it is easy to determine that is reliable.
[0036]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing the configuration of an embodiment of the present invention.
Reference numeral 1 denotes a focus detection optical system that guides light from a subject that has passed through the photographing lens 100 to the image sensor 2. For example, the field mask 200, the field lens 300, the aperture openings 401 and 402, and the re-imaging shown in FIG. It consists of lenses 501 and 502.
Reference numeral 2 denotes an image sensor. As shown in FIG. 18, a pair of sensor arrays A and B (hereinafter referred to as a first sensor) with a small pitch width of photoelectric conversion pixels and a pair of coarse pitch widths of photoelectric conversion pixels. Sensor arrays C and D (hereinafter referred to as second sensors) are arranged in parallel. The pixel pitch of the first sensor is Pa, and the pixel pitch of the second sensor is 2 × Pa, which is twice that. Since the re-imaging lens corresponding to both sensors is common, the ratio of the pixel pitch converted to the planned focal plane does not change, and the pixel pitch converted to the planned focal plane of the first sensor is Pab. Doubled. The first sensor outputs output signal sequences A0 [i] and B0 [i], and the second sensor outputs output signal sequences C0 [i] and D0 [i].
[0037]
An image sensor selection unit 3 determines which of the first sensor and the second sensor of the image sensor 2 is used. The selection is performed based on the luminance of the subject.
Reference numeral 4 denotes a filter processing unit, which performs high frequency component by performing filter processing according to Expression 10 on the output signal sequence A0 [i], B0 [i], or C0 [i], D0 [i] output from the image sensor 2. Cut filter data A1 [i], B1 [i], C1 [i], D1 [i] are output. The MTF characteristics of these high-frequency component cut filter data are indicated by thin lines and thick lines in FIG. Further, s = 4 is set for the first sensor and s = 2 is set for the second sensor, and Expression 11 is executed, and filter processing data A2 [i], B2 [i], and C2 [i] for high-frequency subjects are respectively obtained. D2 [i] is output. In addition, s = 8 is set for the first sensor and s = 4 is set for the second sensor, and Expression 11 is executed, and the filter processing data A3 [i], B3 [i], and C3 [i] for the low-frequency subject, respectively. And D3 [i] are output. Since the first sensor and the second sensor have different focal plane-converted pixel pitches as described above, the peak frequencies of s = 4 and s = 8 in the first sensor are respectively determined by the second sensor. The peak frequencies of s = 2 and s = 4 are almost the same, and are 1 / (8 Pab) and 1 / (16 Pab) lines / mm, respectively.
[0038]
Reference numeral 5 denotes a focus detection calculation unit. When the first sensor is selected, the filter processing data A2 [i] and B2 [i] or A3 [i] and B3 [i] output from the filter processing unit 4 are obtained. The focus detection calculation is performed using Equations 1 to 6, and the focus state of the photographing lens 100, that is, the defocus amount is calculated. On the other hand, when the second sensor is selected, the filter processing data C2 [i] and D2 [i], or C3 [i] and D3 [i] output from the filter processing unit 4 are used to calculate the formulas 1 to 4. 6 is used to calculate the defocus amount of the taking lens 100.
Reference numeral 6 denotes a reliability threshold value setting unit, which sets threshold values E1 and G1 used in the reliability determination of Formula 6 in the focus detection calculation according to the sensor selected by the image sensor selection unit.
[0039]
The image sensor selection unit 3, the filter processing unit 4, the focus detection calculation unit 5, and the reliability threshold setting unit 6 may be configured by a microcomputer.
[0040]
FIG. 2 is a flowchart showing the focus detection operation of the embodiment. The operation of the embodiment will be described with reference to this flowchart.
In step 1, the image sensor selection unit 3 determines which of the first sensor and the second sensor of the image sensor 2 is used. As the selection method, the first sensor having a fine pixel pitch is selected when the subject luminance is brighter than the predetermined luminance, and the second sensor having a coarse pixel pitch is selected when the subject luminance is lower than the predetermined luminance.
In step 2, when the first sensor is selected, output signal sequences A0 [i] and B0 [i] of the first sensor are input, and when the second sensor is selected, the output signal sequence C0 of the second sensor. Input [i] and D0 [i].
In subsequent step 3, the filter processing unit 4 calculates high-frequency component cut filter data A1 [i] and B1 [i] when the first sensor is selected, and high-frequency component cut filter data C1 [i] when the second sensor is selected. ], D1 [i] is calculated.
[0041]
In Step 4, when the first sensor is selected, the process proceeds to Step 5, and when the second sensor is selected, the process proceeds to Step 6. When the first sensor having a fine pixel pitch is selected, 4 is set to the parameter s used in Equation 11 in Step 5. On the other hand, when the second sensor having a coarse pixel pitch is selected, 2 is set to s used in Equation 11 in Step 6.
In step 7, the filter processing unit 4 executes Formula 11 using the value of s set in step 5 or 6, and calculates filter processing data A2 [i] and B2 [i] when the first sensor is selected. When the second sensor is selected, the filter processing data C2 [i] and D2 [i] are calculated, thereby obtaining the filter processing data from which the high-frequency component of the subject is extracted.
[0042]
In step 8, the reliability threshold value setting unit 6 determines the threshold values E <b> 1 and G <b> 1 used in the reliability determination of Expression 6 based on the selected sensor and the value of s in Expression 11. Details of this will be described later. In step 9, the focus detection calculation unit 5 sets the filter processing data A2 [i], B2 [i], or C2 [i], D3 [i] output from the filter processing unit 4, and the reliability threshold value setting. Using the threshold value set by the unit 6, the focus detection calculation according to Equation 1 to Equation 6 is performed to calculate the focus state of the taking lens 100, that is, the defocus amount.
In step 10, it is determined whether or not a reliable defocus amount is obtained. If it is obtained, the process proceeds to step 18, and if not, the process proceeds to step 11.
[0043]
If a reliable defocus amount is not obtained, it is checked in step 11 which sensor is selected. If the first sensor is selected, the process proceeds to step 12 where the second sensor is selected. If yes, go to Step 13.
When the first sensor is selected, the value of s used in Equation 11 in step 12 is set to 8. On the other hand, when the second sensor is selected, the value of s used in Equation 11 in step 13 is set to 4.
In step 14, the filter processing unit 4 executes Formula 11 using the value of s set in step 12 or 13, and calculates filter processing data A3 [i] and B3 [i] when the first sensor is selected. When the second sensor is selected, the filter processing data C3 [i] and D3 [i] are calculated, thereby obtaining the filter processing data from which the low frequency component of the subject is extracted.
[0044]
In step 15, the reliability threshold value setting unit 6 determines the threshold values E <b> 1 and G <b> 1 used in the reliability determination of Expression 6 based on the selected sensor and the value of s in Expression 11. Details of this will be described later. In step 16, the focus detection calculation unit 5 sets the filter processing data A3 [i], B3 [i], or C3 [i], D3 [i] output from the filter processing unit 4 and the reliability threshold value setting. Using the threshold value set by the unit 6, the focus detection calculation according to Equation 1 to Equation 6 is performed to calculate the focus state of the taking lens 100, that is, the defocus amount.
[0045]
In step 17, it is determined whether or not a reliable defocus amount is obtained. If it is obtained, the process proceeds to step 18, and if not, the process proceeds to step 19. In step 18, since a reliable defocus amount is obtained, the detection is made possible and the operation is terminated. On the other hand, in step 19, since a reliable defocus amount cannot be obtained, the operation is terminated because it cannot be detected.
[0046]
As described above, in the filter processing in step 7 and step 14, since the value of s is changed according to the pixel pitch in terms of the planned focal plane of the selected sensor, the peak frequency obtained by the filter processing is almost the same. Since the frequency components to be extracted are substantially the same, no difference in focus detection ability occurs regardless of which sensor is selected according to the luminance of the subject as in this embodiment.
[0047]
Details of the reliability threshold setting in step 8 and step 15 of FIG. 2 will be described.
In FIG. 4A, the thin line is the MTF characteristic of the high frequency component cut filter data A1 [i] and B1 [i] of the first sensor, and the thick line is the high frequency component cut filter data C1 [i] of the second sensor. , D1 [i] MTF characteristics. In FIG. 4B, the thin line is the MTF characteristics of the filter processing data A2 [i] and B2 [i] obtained by setting s = 4 of the first sensor obtained in Step 7, and the thick line is in Step 7. This is the MTF characteristics of the filter processing data C2 [i] and D2 [i] with s = 2 of the second sensor obtained.
Thus, the MTF characteristics of the high frequency component cut filter data are different between the first sensor and the second sensor. The frequency components extracted by the filter processing in step 7 are almost the same between the first sensor and the second sensor, but the MTF at the peak frequency is different, and the second sensor is suppressed. Therefore, even if the same subject and the same level of signal output are obtained, the contrast of the filter processing data is lower in the second sensor. When the first sensor is used, the numerical value E obtained by the focus detection calculation exceeds the threshold value and can be detected. However, when the second sensor is used, the contrast E is low and the numerical value E becomes small. If the threshold is not met, detection becomes impossible. When the image sensor array is switched due to brightness or the like, there arises a problem that a difference occurs in focus detection performance for a low-contrast subject. Therefore, it is necessary to change the reliability threshold value used in Equation 6 between the first sensor and the second sensor, and the values of the reliability threshold values E1 and G1 are the sensor types, that is, the pixel pitch as shown in FIG. And the value of s.
[0048]
  The focus detection calculation in step 9 uses filter processing data for a high-frequency subject, that is, data obtained by performing filter processing of Formula 11 with s = 4 for the first sensor and s = 2 for the second sensor. In 8, the reliability threshold value is set as follows.
[Formula 13]
  For the first sensor; E1 = Ect, G1 = Gct,
  In the case of the second sensor; E1 = 0.75 × Ect, G1 = Gct
In Equation 13, Ect and Gct are predetermined values suitable for the filter processing data for the high frequency subject of the first sensor. As described above, since the MTF at the peak frequency is suppressed in the second sensor compared to the first sensor,EThe threshold E1 of the second sensor is a gentler value. Cex/ EThresholdG1However, the second sensor may be set to a loose value, that is, a value larger than Gct. Since the focus detection calculation in Step 16 uses the filter processing data for the low-frequency subject, that is, the data obtained by performing the filter processing of Formula 11 with s = 8 for the first sensor and s = 4 for the second sensor. At 15, the reliability threshold is set as follows.
[Expression 14]
  For the first sensor; E1 = 1.25 × Ect, G1 = 0.75 × Gct,
  For the second sensor; E1 = Ect, G1 = 0.75 × Gct
In Equation 14, Ect and Gct are the same as those in Equation 13. Again, as in step 8,EThe threshold E1 of the second sensor is a gentler value. Cex/ EThresholdG1However, the second sensor may be set to a loose value, that is, a value larger than 0.75 × Gct.
[0049]
As described above, since the reliability determination threshold value is changed based on the selected sensor array, the second contrast is applied to a low-contrast subject that barely satisfies the reliability determination condition of Formula 6 when the first sensor is used. Even when the sensor is selected, the reliability determination condition is satisfied, and even if the sensor array is switched, detection is not disabled. Therefore, according to the reliability threshold setting method of this embodiment, no difference occurs in the focus detection capability for a low-contrast subject, regardless of which sensor is selected according to the luminance of the subject.
[0050]
In the above description of the embodiment, an example in which the image sensor shown in FIG. 18 is used in the focus detection optical system shown in FIG. 5 has been shown, but the configurations of the focus detection optical system and the image sensor are not limited to the above embodiment. For example, in a focus detection apparatus using the focus detection optical system and the image sensor array shown in FIG. 16 and having focus detection areas arranged in the horizontal and vertical directions with respect to the shooting screen as shown in FIG. The present invention can also be applied when the pixel pitch in terms of the planned focal plane is different between the horizontal direction and the vertical direction.
[0051]
Further, in a focus detection apparatus in which a plurality of sets of focus detection optical systems and image sensor arrays shown in FIG. 5 are provided and a plurality of focus detection areas are provided in the photographing screen as shown in FIG. The present invention can also be applied to a focus detection apparatus in which a focus detection region having a different pitch from that of another exists.
[0052]
In the configuration of the above-described embodiment, the image sensor 2 is the photoelectric conversion means, the focus detection optical system 1 is the focus detection optical system, the filter processing section 4 is the filter processing means, and the focus detection calculation section 5 is the focus detection. The reliability threshold value setting unit 6 constitutes the threshold value setting means and the calculation means and the reliability determination means.
[0053]
【The invention's effect】
  As described above, according to the first aspect of the present invention, with respect to the output signal sequence of a plurality of photoelectric conversion pixel columns having different pixel widths., PaintingFilter processing is performed so that the spatial frequency at which the MTF is maximum is almost the same between the photoelectric conversion pixel columns with different element widths, and the focus adjustment state of the photographic lens is calculated based on the signal sequence after the filter processingWhen determining the reliability of the calculated focus adjustment state, the reliability determination threshold value is set to a value that is more easily determined as having a larger pixel width.As a result, it is possible to obtain filter processing data having the same peak frequency and the same frequency component to be extracted in a plurality of photoelectric conversion pixel rows having different pixel widths in terms of the planned focal plane. A focus detection device that does not produce a difference in the focus detection capability of the rows can be realized.above,Even if a plurality of photoelectric conversion pixel columns having different pixel widths have different peak frequency MTFs and a difference in filter processing data contrast occurs, a focus detection apparatus that does not cause a difference in focus detection capability for a low-contrast object can be realized.
  And claims2According to the invention, when it is determined that the calculated focus adjustment state is unreliable, the filter processing for extracting the lower frequency component than the previous filter processing for the output signal sequence of each photoelectric conversion pixel column Since the focus adjustment state of the photographing lens is calculated based on the signal sequence from which the low-frequency component is extracted, focus detection can be performed even for a low-contrast subject.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an embodiment.
FIG. 2 is a flowchart illustrating a focus detection operation according to an embodiment.
FIG. 3 is a diagram illustrating a reliability threshold setting method according to an embodiment.
FIG. 4 is a diagram illustrating MTF characteristics of filter processing data according to an embodiment.
FIG. 5 is a diagram illustrating a configuration example of a focus detection optical system and an image sensor.
FIG. 6 is a diagram illustrating focus detection calculation.
FIG. 7 is a diagram for explaining focus detection calculation;
FIG. 8 is a diagram for explaining a correlation calculation.
FIG. 9 is a diagram illustrating a positional relationship between an imaging screen and a focus detection area.
FIG. 10 is a diagram illustrating MTF characteristics of high-frequency component cut filter processing data.
FIG. 11 is a diagram showing MTF characteristics of DC component removal filter processing;
FIG. 12 is a diagram showing MTF characteristics of filter processing data subjected to both high frequency component cut filter processing and DC component removal filter processing.
FIG. 13 is a diagram illustrating an example of a subject image pattern including only low frequency components.
FIG. 14 is a diagram illustrating an example of a subject image pattern including only high frequency components.
FIG. 15 is a diagram illustrating an example of a subject image pattern including a high frequency component and a low frequency component.
FIG. 16 is a diagram illustrating a focus detection optical system for performing focus detection in each of a horizontal direction and a vertical direction.
FIG. 17 is a diagram illustrating a positional relationship between an imaging screen and a focus detection area.
FIG. 18 is a diagram showing two pairs of image sensor arrays with different pixel pitches.
[Explanation of symbols]
1 Focus detection optical system
2 Image sensor
3 Image sensor selector
4 Filter processing section
5 Focus detection calculator
6 Reliability threshold setting section
100 Photography lens

Claims

Photoelectric conversion means having a plurality of photoelectric conversion pixel columns having different pixel widths and outputting a signal sequence corresponding to the light intensity distribution of the subject image from each of the photoelectric conversion pixel columns;
Filter processing means for performing filtering so that the spatial frequency at which the MTF is maximum between the photoelectric conversion pixel columns having different pixel widths is substantially the same for the output signal columns of the photoelectric conversion pixel columns;
A focus detection calculating means for calculating a focus adjustment state of the photographing lens based on a signal sequence after filtering by the filter processing means;
Reliability determination means for determining the reliability of the focus adjustment state calculated by the focus detection calculation means;
A focus detection apparatus comprising: a threshold value setting unit that sets the threshold value of the reliability determination unit to a value that is more easily determined to be reliable as the pixel width is larger.

The focus detection apparatus according to claim 1,
When the reliability determination unit determines that the filter processing unit is not reliable, the filter processing unit extracts a lower frequency component than the previous filter processing for the output signal sequence of each photoelectric conversion pixel column And
The focus detection calculation unit calculates a focus adjustment state of the photographing lens based on a signal sequence from which low frequency components are extracted by the filter processing unit.

The focus detection apparatus according to claim 1 or 2,
The focus detection device, wherein the plurality of photoelectric conversion pixel columns are selected based on luminance of the subject image.

The focus detection apparatus according to claim 3,
The focus detection apparatus , wherein when the luminance of the subject image is brighter than a predetermined luminance, the smaller one of the plurality of photoelectric conversion pixel columns is selected .

In the focus detection apparatus according to any one of claims 1 to 4,
The plurality of photoelectric conversion pixel columns having different pixel widths are provided in parallel with each other so as to correspond to one focus detection region in a photographing screen .

Out of a plurality of photoelectric conversion pixel columns having different pixel widths, a signal sequence corresponding to the light intensity distribution of the subject image is output from the selected photoelectric conversion pixel column,
Filtering is performed so that the spatial frequency at which the MTF is maximized between the photoelectric conversion pixel columns having different pixel widths is substantially the same for the output signal sequence of the selected photoelectric conversion pixel column,
Calculate the focus adjustment state of the photographic lens based on the signal sequence subjected to the filter processing,
A focus detection method, comprising: performing a reliability determination such that the focus adjustment state of the calculation result is more easily determined to be reliable as the pixel width increases.

The focus detection method according to claim 6.
The focus detection method, wherein the plurality of photoelectric conversion pixel columns are selected based on luminance of the subject image .

Output a signal sequence corresponding to the light intensity distribution of the subject image from a plurality of photoelectric conversion pixel columns having different pixel widths,
Filtering is performed so that the spatial frequency at which the MTF is maximum between the photoelectric conversion pixel columns having different pixel widths is substantially the same for the output signal sequence,
Calculate the focus adjustment state of the photographic lens based on the signal sequence subjected to the filter processing,
A focus detection method, comprising: performing a reliability determination such that the focus adjustment state of the calculation result is more easily determined to be reliable as the pixel width increases .