JP6900161B2 - 焦点調節装置及び撮像装置 - Google Patents

焦点調節装置及び撮像装置 Download PDF

Info

Publication number
JP6900161B2
JP6900161B2 JP2016179918A JP2016179918A JP6900161B2 JP 6900161 B2 JP6900161 B2 JP 6900161B2 JP 2016179918 A JP2016179918 A JP 2016179918A JP 2016179918 A JP2016179918 A JP 2016179918A JP 6900161 B2 JP6900161 B2 JP 6900161B2
Authority
JP
Japan
Prior art keywords
focus
focus detection
image
reliability
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016179918A
Other languages
English (en)
Other versions
JP2018045102A (ja
Inventor
直樹 岩▲崎▼
直樹 岩▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016179918A priority Critical patent/JP6900161B2/ja
Priority to US15/698,239 priority patent/US10116857B2/en
Publication of JP2018045102A publication Critical patent/JP2018045102A/ja
Application granted granted Critical
Publication of JP6900161B2 publication Critical patent/JP6900161B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/343Systems for automatic generation of focusing signals using different areas in a pupil plane using light beam separating prisms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Description

本発明は、焦点調節装置及び該焦点調節装置を備える撮像装置に関する。
撮像装置のAF(オートフォーカス)方式として様々な手法が提案されているが、主な手法として位相差検出方式(以降、位相差AFと呼ぶ)がある。
位相差AFは、撮像光学系における互いに異なる射出瞳領域を通過した被写体からの光束を撮像素子上に結像させ、該撮像素子により得られた一対の視差画像信号の位相差から撮像光学系のデフォーカス量を算出する。そして、該デフォーカス量に相当する移動量だけフォーカスレンズを移動させることで合焦状態を得る。位相差AFは、被写体撮影に用いる撮像素子とは別に設けられた、AF用のセンサからの視差画像信号を用いて行うことが一般的であったが、近年、被写体撮影に用いる撮像素子から視差画像信号を取得する、撮像面位相差AFと呼ばれる技術も提案されている。
特許文献1では、撮像面位相差AFにおいて、算出したデフォーカス量の信頼度(信頼性)を評価し、信頼度に応じた焦点調節を行うことで安定したAF動作を行う焦点調節装置及び撮像装置が提案されている。
特開2016−142895
位相差AFによる焦点検出の精度が低下しやすい被写体の一つとして、周期的なパターン(繰り返しパターン)を持つ被写体がある。位相差AFでは、相関演算により一対の視差画像信号をシフトさせて2像の相関が高い位置を検出し、その位置を合焦位置とみなしてデフォーカス量を取得する。この相関演算に周期的なパターンを持つ被写体を捉えた画像信号を用いると、合焦位置近傍ではない位置に2像の相関が高い点ができてしまい、誤った位置(偽合焦点)を合焦点とみなしてしまうことがあるためである。このように、誤った位置を合焦点とみなしてしまうと、特許文献1に記載されているようにデフォーカス量の信頼度を取得しても、そのデフォーカス量の信頼度の正確性が低いため、信頼度を用いた焦点調節動作の選択を行うことが難しい。
そこで本発明は、周期的なパターンを持つ被写体に対しても、適切な焦点調節動作を行うことができる焦点調節装置及び撮像装置を提供することを目的とする。
本発明の焦点調節装置は、フォーカスレンズを有する光学系を介して入射したを光電変換して、点検出領域における一対の焦点検出用の像信号を出力することが可能な撮像手段と、前記一対の像信号を用いてデフォーカス量を検出する焦点検出手段と、前記デフォーカス量に基づいて前記光学系の焦点位置の調節を制御する制御手段と、前記焦点検出領域において繰り返しパターンを有する被写体を前記撮像手段が撮像しているか否かを判定する第1の判定手段と、像のボケ度合いが所定のボケ度合い以上か否かを判定する第2の判定手段と、を備え、前記焦点検出手段は、前記第1の判定手段により前記撮像手段が前記焦点検出領域において前記繰り返しパターンを有する被写体を撮像していると判定され、且つ、前記第2の判定手段により前記像のボケ度合いが前記所定のボケ度合い以上であると判定されたとき、前記フォーカスレンズを移動させた新たな焦点位置で得られた前記一対の像信号を用いて新たなデフォーカス量の取得を行うことを特徴とする。
本発明によれば、周期的なパターンを持つ被写体に対しても、適切な焦点調節動作を行うことができる焦点調節装置及び撮像装置を提供することができる。
実施形態における撮像装置の構成を示すブロック図 実施形態における光学系の瞳と撮像素子が受光する光の関係を示す模式図 実施形態におけるAF動作の処理を示すフローチャート 実施形態における信頼度とフォーカスレンズの駆動制御方法との関係を示す図 実施形態における焦点検出処理を示すフローチャート 実施形態における測距領域を示す図 実施形態における測距領域から得られる像信号を示す図 実施形態における相関量波形を示す図 実施形態における相関変化量波形を示す図 実施形態における信頼度取得処理を示すフローチャート 実施形態におけるデフォーカス量とフォーカスレンズの駆動方向を示す図 実施形態におけるフィルタと信頼度の対応を示す表 実施形態におけるmaxderと像ずれ量の標準偏差の関係を示すグラフ 実施形態におけるmaxderの正規化を示すフローチャート 実施形態における異なる2つの条件で測距した際のmaxderと像ずれ量の標準偏差の近似線の関係を示すグラフ 実施形態における繰り返しパターン時の相関量波形を説明する為のグラフ
以下、添付図面を参照して本発明の例示的な実施形態を詳細に説明する。なお、以下に説明する実施形態は単なる例示であり、本発明は実施形態に記載された構成に限定されない。
図1を参照して、本実施形態における撮像面位相差方式の撮像装置の構成について説明する。図1は、撮像装置101の構成を示すブロック図である。撮像装置101は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能なデジタルスチルカメラやビデオカメラなどであるが、これらに限定されるものではない。尚、図1に記載の撮像装置は撮影レンズ111を備えるが、レンズ交換式のデジタルスチルカメラやビデオカメラのように、撮影レンズ111を備えない撮像装置にも本実施形態を適用することができる。
撮影レンズ111(レンズユニット)は、固定レンズ112、絞り113、フォーカスレンズ114を備え、撮像装置101の光学系を構成する。絞り制御部115は、絞り113を駆動することにより、絞り113の開口径を調整して撮影時の光量調節を行う。フォーカス制御部116は、フォーカスレンズ114の駆動を制御することにより、焦点調節を制御する。フォーカス制御部116によるフォーカスレンズ114の位置制御により、自動焦点調節(オートフォーカス、AF)制御が実現される。フォーカスレンズ114は、焦点調節用レンズであり、図1には単レンズで簡略的に示されているが、通常複数のレンズで構成される。絞り制御部115や、フォーカス制御部116はレンズ制御部117によって制御される。尚、撮影レンズ111を備えないレンズ交換式の撮像装置の場合、カメラ制御部140は、取り付けられたレンズのレンズ制御部117に対してレンズ駆動量、デフォーカス量又は像ずれ量等の焦点調節に必要な情報を送信する。このように、撮像装置は、取り付けられたレンズの制御を行うことで、焦点調節の制御を行うことができる。
これらの光学部材(撮影レンズ111)を介して入射した光束は撮像素子121の受光面上に結像し、撮像素子121により電気信号に変換される。撮像素子121は、被写体像(光学像)を信号電荷に光電変換を行う光電変換素子を複数有し、CCDやCMOSセンサにより構成される。各光電変換素子に蓄積された信号電荷は、タイミングジェネレータ122が出力する駆動パルスより、信号電荷に応じた電圧信号として撮像素子121から順次読みだされる。
CDS/AGC/ADコンバータ123は、撮像素子121から読み出された撮像信号及び焦点検出用信号に対し、リセットノイズを除去する為の相関二重サンプリング、センサゲインの調節、信号のデジタル化を行う。CDS/AGC/ADコンバータ123は、撮像信号を撮像信号処理部124に、撮像面位相差方式の焦点検出用の信号を焦点検出用信号処理部125にそれぞれ出力する。焦点検出用信号処理部125はCDS/AGC/ADコンバータ123から出力された焦点検出用の2つの像信号に対して相関演算を行い、像ずれ量、像ずれ量の信頼度に関する情報(二像一致度、二像急峻度)を算出する。さらに得られた像ずれ量から、撮影光学系のデフォーカス量(至近側と無限遠側の何れにずれているかを示す、デフォーカス方向を含む情報とする)を算出する。尚、像ずれ量の信頼度に関する情報は、その像ずれ量から取得されるデフォーカス量の信頼度に関する情報でもある。加えて、焦点検出用信号処理部125では、撮像画面内で焦点検出を行う焦点検出領域の設定や配置を行う。
図2を用いて撮像素子121と撮影レンズ111の瞳206との関係について説明する。撮像素子121は、2次元的に配列されたm×n画素で構成されており、図2の符号201は撮像素子121の断面を示している。各画素202には、マイクロレンズ203と二つの光電変換素子(204、205)が配置されており、一つの画素で撮像用と焦点検出用の二つの信号を取得する。撮影レンズ111の瞳206の異なる領域(207,208)を通過した光束は光軸209を中心に各画素202に配置されたマイクロレンズ203を介して、画素に設けられた二つの光電変換素子(204、205)に入射する。二つの光電変換素子(204、205)の出力を加算することで、撮像用の信号を取得することができ、撮像信号処理部124により画像データとして整えられる。また、二つの光電変換素子の出力を各々扱うことにより視差の異なる2つの画像(一対の視差画像)を取得することができ、これを焦点検出用信号として焦点検出用信号処理部125によって焦点検出の演算を行う。本実施形態の説明では、二つの光電変換素子の出力を加算したものをA+B像、二つの光電変換素子の出力を各々扱ったものをA像、B像と呼ぶ。また、A+B像の信号(出力信号そのもの及び該信号に対して処理を行った信号)を撮像用画像信号、A像、B像の信号(出力信号そのもの及び該信号に対して処理を行った信号)を焦点検出用信号、撮像用画像信号と焦点検出用信号とを合わせて画像信号と呼ぶ。なお、焦点検出用信号の生成方法については本実施形態の手法に限定せず、他の方法を用いても良い。例えば、A像信号とB像信号とは、別の画素から取得してもよく、マイクロレンズに対して右に偏心した光電変換素子からの出力と、別のマイクロレンズに対して左に偏心した光電変換素子からの出力とを対として、一対の視差画像信号を取得してもよい。焦点検出方法の詳細は後述する。
撮像信号処理部124は、CDS/AGC/ADコンバータ123から出力された撮像信号をバス131を介して記憶手段であるSDRAM136に格納する。撮像信号処理部124は、CDS/AGC/ADコンバータ123から出力された撮像信号に基づき、被写体の明るさに応じた測光値を算出する回路ブロック、ホワイトバランスやガンマ補正などの画像処理を実施する回路ブロックを有していてもよい。SDRAM136に格納された撮像用の画像信号は、バス131を介して表示制御部132によって読み出され、表示部133に表示される。また、撮像信号の記録を行う動作モードでは、SDRAM136に格納された撮像用の画像信号は記憶制御手段として機能する記録媒体制御部134によって記録媒体135に記録される。記録媒体135の代わりに、撮像装置内蔵の記憶手段に記録させてもよい。
記憶手段であるROM137にはカメラ制御部140が実行する制御プログラム及び制御に必要な各種データ等が格納されており、フラッシュROM138には、ユーザ設定情報等の撮像装置101の動作に関する各種設定情報等が格納されている。
カメラ制御部140は、ROM137に格納された制御プログラム及び制御に必要な各種データに基づき、自動焦点調節、及び、自動露出調整の制御を行う。また、焦点検出用信号処理部125から出力されるデフォーカス量とデフォーカス量の信頼度を基にレンズ駆動量を決定する。本実施形態では、デフォーカス量の信頼度が低い時は焦点検出用信号処理部125から出力されるデフォーカス量とは関係の無い固定値をレンズ駆動量とし、デフォーカス量の信頼度が高い時はデフォーカス量に基づいてレンズ駆動量を取得する。信頼度とレンズ駆動との詳細については後述する。レンズ駆動量はレンズ制御部117に伝達され、フォーカス制御部116に伝えることで自動焦点調節を実現している。尚、カメラ制御部140がデフォーカス量とデフォーカス量の信頼度とをレンズ制御部117に伝達し、レンズ制御部117又はフォーカス制御部116がレンズ駆動量を決定してもよい。さらに、カメラ制御部140は、操作者からの指示、または、一時的にSDRAM136に蓄積された画像データの画素信号の大きさに基づき、蓄積時間、CDS/AGC/ADコンバータのゲインの設定値、タイミングジェネレータ122の設定値を決定する。
次に、撮像装置101によるAF動作について、図3のフローチャートを用いて説明する。
図3は、撮像装置101のAF動作を示すフローチャートである。ユーザによる操作等により、AF指示スイッチがオンされると、図3のAF動作がスタートし、焦点検出により取得したデフォーカス量とデフォーカス量の信頼度(以下、単に信頼度と呼ぶことがある)に応じて光学系の焦点位置を移動させる。尚、デフォーカス量の信頼度は、そのデフォーカス量に対応する像すれ量の信頼度に対応する。ステップS301において、焦点検出用信号処理部125は、カメラ制御部140からの指令に基づいて、焦点検出処理を行う。焦点検出処理により、撮像素子121により取得した焦点検出用信号を用いた位相差AF、つまり撮像面位相差AFを行うためのデフォーカス量と、信頼度とを取得する。デフォーカス量及び信頼度の取得方法の詳細については後述するが、本実施形態では、信頼度を0〜3の4つの候補から選択するものとする。
ステップS302〜S306では、取得したデフォーカス量と信頼度に応じてフォーカスレンズ114の駆動制御方法(つまり、焦点調節動作の制御方法)を選択、実行し、焦点位置の移動を制御する。まず、ステップS302では信頼度が1以下であるかを判定し、1以下の場合はステップS303へと進み、第1の駆動制御方法(以下、サーチ駆動)を行う。ここで、サーチ駆動とは、算出したデフォーカス量を用いず、所定の速度でフォーカスレンズを駆動させつつピント位置を探索する駆動制御方法である。駆動開始から所定の時間経過したところで撮像素子が露光を行うことで、焦点検出用信号処理部125から出力される固定値分の駆動を行ったところで露光を行う。そして、取得された焦点検出用信号に基づいて焦点検出を再度行う。駆動速度は、撮影条件に関わらず、同じ速度としてもよいし、焦点深度や撮影モードに応じて設定される速度でもよい。また、焦点検出用信号処理部から出力される固定値も、撮影条件に関わらない値であってもよいし、焦点深度や撮影モードに応じて設定される値であってもよい。駆動方向は、信頼度が0の場合はデフォーカス量に基づかない所定の方向(例えば至近端と無限端とのうち、近いほうの端がある方向)とし、信頼度が1の場合にはステップS301で検出したデフォーカス量の方向とする。サーチ駆動は、主に合焦位置から大きくはなれた位置に焦点位置があると判断されたときに、合焦位置を探索するために用いられる。本実施形態のように、信頼度が1以下のときにサーチ駆動をする場合、信頼度が2以上になるまでフォーカスレンズの駆動と焦点検出が繰り返される。サーチ駆動中の露光は、フォーカスレンズを止めた状態で行ってもよいし、駆動させながら行ってもよい。フォーカスレンズを駆動させながら周期的に露光を行うと、露光毎に停止させるよりも素早く信頼度が2以上となる位置までフォーカスレンズを駆動させることができるため好ましい。
ステップS302にて信頼度が1よりも大きいと判定されるとステップS304へ進み、信頼度が3以上であるかどうかを判定する。ここで信頼度が3以上でなければS305へ進み、第2の駆動制御方法(以下、デフォーカス駆動)を行う。デフォーカス駆動とは、ステップS301で検出されたデフォーカス量に所定の係数をかけた量に対応する距離分、フォーカスレンズ114を駆動する駆動制御方法である。本実施形態では係数として1よりも小さい0.7を用いることにより、検出されたたデフォーカス量にバラつきがあても、合焦位置を通り過ぎにくくする。デフォーカス駆動は、精度よりも速度を優先して、フォーカスレンズを駆動する駆動制御方法である。主に、フォーカスレンズの駆動が停止する前に焦点検出のための露光及び焦点検出を行い、得られたデフォーカス量及び信頼度に基づく次のレンズ駆動を行うことにより高速に合焦位置近傍まで焦点位置を追い込む制御(オーバーラップ制御)に用いる。
ステップS304にて信頼度が3以上であると判定されるとステップS306へ進み、第3の駆動制御方法(以下、ターゲット駆動)を行う。ここでターゲット駆動とは、ステップ301で検出されたデフォーカス量に対応する距離分、フォーカスレンズ114の駆動を行い、目標位置でレンズ停止後に合焦判定を行う駆動制御方法である。焦点調節における検出精度および制御精度を高めるため、焦点検出処理とフォーカスレンズ制御(フォーカスレンズ駆動)とを排他的に行うことが好ましい。すなわちターゲット駆動では、フォーカスレンズの停止中の露光により取得された焦点検出用信号を用いて焦点検出を行うことが好ましい。ターゲット駆動は、主に合焦位置近傍で高精度なピント合わせに用いる。図4にて補足として、信頼度とフォーカスレンズの駆動制御方法との関係を状態遷移図として示す。ターゲット駆動によるフォーカスレンズの駆動後、ステップS307の合焦判定において、S301で検出されたデフォーカス量が閾値より小さいか否かを判定する。閾値以上であればステップS301へ戻り、再度焦点検出を行い、閾値より小さければ合焦出来たとしてAFを動作を完了する。このステップは、一般的な像面位相差AFの場合、焦点位置が合焦位置から遠い状態(いわゆる、大ボケ状態)で露光されて取得された焦点検出用信号を用いて検出されたデフォーカス量は精度が低いため、AF精度を向上させるために行う。ステップS306とステップS307の順番を入れ替えて、検出されたデフォーカス量が閾値以上であればステップ305へ進んでデフォーカス駆動を行い、閾値以上であればターゲット駆動を行ってもよい。
次に、ステップS301の焦点検出処理の方法について図5のフローチャートを用いて説明する。図5の各ステップは、主に、カメラ制御部140の指令に基づいて焦点検出用信号処理部125により実行される。
ステップS501では2次元的に配置した焦点検出領域から任意の範囲の焦点検出領域を設定する。そして、設定した焦点検出領域に対してステップS502で撮像素子121から焦点検出用信号(A像、B像信号)を取得する。取得した焦点検出用信号は、信号ノイズの影響を軽減するためにステップS503で垂直方向に行加算平均する。本実施形態では、連写モードなど高速で演算処理を行いたい場合は垂直行加算数を減らし、暗い場所など信号ノイズが目立つシーンでは垂直行加算数を増やす。この後、ステップS504では以下の式(1)で定義する被写体コントラストCNTを演算する。
CNT=(Peak−Bottom)/Peak (1)
Peak、Bottomはそれぞれ、垂直加算平均した波形の最大出力値と、最小出力値を示す変数である。被写体コントラストCNTはデフォーカス量の信頼度を評価する際に使用する。次に、ステップS505ではステップS503で垂直行加算平均した信号から所定の周波数帯域の信号成分を取り出すフィルタ処理を行う。本実施形態では3種類のフィルタ(低域フィルタ、中域フィルタ、高域フィルタ)を予め準備し、それぞれのフィルタを使って算出したデフォーカス量のうち、使用するデフォーカス量は被写体のボケ具合等に応じて切り替える。低域フィルタを使用すると被写体のエッジが崩れている大ボケ被写体に対して測距性能が高く、高域フィルタを使用すると被写体のエッジが立っている合焦点近傍にて精度高く測距することができる。続いて、ステップS506では取得した像信号間の相関量CORを算出(以下、相関演算と記す)する。相関演算は、焦点検出領域内における垂直加算平均後の各走査ラインにおいてそれぞれ行う。焦点検出領域内の相関量CORはステップS507で加算する。次に、ステップS508で相関量CORから相関変化量を算出する。そしてステップS508で算出した相関変化量に基づいて、ステップS509では二像の像ずれ量(以下、像ずれ量と呼ぶ)と相関変化量の変化の急峻度(以下、maxderと呼ぶ)を算出する。ステップS510では、ステップS509で算出した二像のずれ量に所定の換算係数を乗算することでデフォーカス量を算出する。この時使用する換算係数は絞り113の絞り値、レンズの射出瞳距離、センサの個体情報、焦点検出領域を設定する座標によって決定され、ROM137に格納されている。算出したデフォーカス量は絞り113の絞り値Fと許容錯乱円δを除算して正規化することで絞り値Fの依存性をなくしている。最後にステップS511ではステップS509で算出したmaxderに基づいてステップS510で算出したデフォーカス量の信頼度を評価する。ステップS505からS511までの処理は、予め準備してある3種類のフィルタ(低域フィルタ、中域フィルタ、高域フィルタ)に対して施す(S512)。
次に先述した焦点検出の詳細を図6から図9を用いて説明する。
図6には、焦点検出処理において撮像素子121の画素アレイ601上での焦点検出領域602の例を示している。焦点検出領域602の両側のシフト領域603は、相関演算に必要な領域である。このため、焦点検出領域602とシフト領域603とを合わせた領域604が相関演算に必要な画素領域である。図中のp,q,s,tはそれぞれ、水平方向(x軸方向。焦点検出方向とする)での座標を表し、pとqはそれぞれ画素領域604の始点と終点のx座標を、sとtはそれぞれ焦点検出領域602の始点と終点のx座標を示している。
図7にはフィルタ処理を行った焦点検出用信号の例を示す。実線(701a〜c)がA像信号であり、破線(702a〜c)がB像信号である。図7(a)はシフト前のA像、B像信号701a、702aを示し、図7(b),(c)はそれぞれ、A像、B像信号を図7(a)の状態からプラス方向およびマイナス方向にシフトした状態を示している。一対の像信号701,702の相関量を算出する際には、像信号701,702の両方を矢印の方向に任意の定数ビットずつシフトする。
次に、相関量の算出方法について説明する。まず、図7(b),(c)に示すように像信号701,702をそれぞれ任意の定数ビットずつシフトして、像信号701,702の差の絶対値の和を算出する。本実施形態ではシフトするビット幅と総シフト量を使用するフィルタに応じて切り替える。低域フィルタ使用時は、大ボケ被写体の測距を目的としているため、総シフト量を大きくし、その分演算時間を減らすためにシフトするビット幅を大きくする。一方、高域フィルタ使用時は、精度高く測距を行うためにシフトするビット幅を小さくし、その分演算時間を減らすために総シフト量を小さくする以下、説明を簡略化するためにシフトするビット幅を1として説明する。総シフト量をiとし、マイナス方向の最大シフト量をp−sとし、プラス方向の最大シフト量をq−tとし、xを焦点検出領域602の開始座標とし、yを焦点検出領域602の終了座標とするとき、相関量CORは以下の式(2)によって算出することができる。
Figure 0006900161
図8(a)には、シフト量と相関量CORとの関係の例を示している。横軸はシフト量を示し、縦軸は相関量CORを示す。シフト量とともに変化する相関量801における極値付近802,803のうち、より小さい相関量に対応するシフト量において一対のA像信号とB像信号との一致度が最も高くなる。
次に、相関量の変化量(以下、相関変化量と呼ぶ)の算出方法について説明する。図8(a)に示した相関量801の波形における1シフトおきの相関量の差を相関変化量として算出する。シフト量をiとし、マイナス方向の最大シフト量をp−sとし、プラス方向の最大シフト量をq−t、相関変化量ΔCORは以下の式(3)によって算出することができる。
ΔCOR[i]=COR[i−1]−COR[i+1]
{(p−s+1)<i<(q−t−1)} (3)
図9(a)には、シフト量と相関変化量ΔCORとの関係の例を示している。横軸はシフト量を示し、縦軸は相関変化量ΔCORを示す。シフト量とともに変化する相関変化量901は、902,903の部分でプラスからマイナスになる。相関変化量が0となる状態をゼロクロスと呼び、焦点検出用の視差画像信号(A像信号,B像信号)の一致度が最も高くなる。したがって、ゼロクロスを与えるシフト量が像ずれ量となる。
図9(b)には、図9(a)中の902で示した部分を拡大して示す。この図9(b)を用いて像ずれ量PRDの算出方法について説明する。
ゼロクロスを与えるシフト量(k−1+α)は、整数部分β(=k−1)と小数部分αとに分けられる。小数部分αは、図中の三角形ABCと三角形ADEとの相似の関係から、以下の式(4)によって算出することができる。
Figure 0006900161
整数部分βは、図9(b)から以下の式(5)によって算出することができる。
β=k−1 (5)
そして、αとβの和から像ずれ量PRDを算出することができる。
図9(a)に示したように相関変化量ΔCORのゼロクロスが複数存在する場合は、その付近でのmaxderがより大きい方を第1のゼロクロスとし、第1のゼロクロスを与えるシフト量を像ずれ量とする。maxderは焦点検出の行い易さを示す指標であり、値が大きいほど精度良い焦点検出を行い易い点であることを示す。maxderは、以下の式(6)によって算出することができる。
maxder=│ΔCOR[k−1]│+│ΔCOR[k] (6)
次に、ステップS511における信頼度の取得方法について図10から図15を用いて説明する。本実施形態では信頼度を4段階(信頼度0〜3)で評価しているが、これに限定されず評価の段数を任意の値に設定しても良いし、無段階としても良い。それぞれの信頼度の定義は以下の通りである。信頼度0は、検出したデフォーカス量のバラつきが大きく信頼度が低いことを意味する。信頼度1は、大ボケ被写体などに対して検出したデフォーカス量は信頼できないが、検出したデフォーカスの方向のみは信頼できることを意味する。信頼度2は検出したデフォーカス量が信頼できるが、精度は低いことを意味する。信頼度3は検出したデフォーカス量が信頼でき、精度も高いため、検出したデフォーカス量を用いて合焦させることができることを意味する。
まず、図10を用いて信頼度を評価する一連のフローを説明する。まずS1001の繰り返し判定では、焦点検出領域が周期的なパターンを有する被写体を捉えており、焦点検出領域からの焦点検出用信号が繰り返しパターンを有するものであるかを判定する。本発明および本明細書では、焦点検出領域に捉えられている被写体が周期的なパターンを有し、焦点検出用信号が繰り返しパターンを有することを単に、被写体が繰り返しパターンを有すると表現することがある。本実施形態では、maxderを用いて繰り返し判定を行う。具体的には、閾値以上のmaxderを示す相関変化量ΔCORのゼロクロスが所定の数以上存在するときは被写体が繰り返しパターンを有すると判定し、所定の数より少ないときは被写体が繰り返しパターンを有さないと判定する。maxderの閾値は、第1のゼロクロスにおけるmaxderに基づいて設定することが好ましい。本実施形態では、maxderの閾値として、第1のゼロクロスにおけるmaxderに1以下の係数を掛けた値を、所定の数として2を設定して繰り返し判定を行う。言い換えると、maxderが第1のゼロクロスにおけるmaxderに所定の係数を掛けた値を示すゼロクロスが複数存在すると、被写体が繰り返しパターンを有すると判定してステップS1016へ進む。
ステップS1016では合焦近傍判定を行う。合焦近傍判定では、撮像素子から出力される画像信号に基づいて像のボケ度合いを判定することで、今(焦点検出用信号の露光が行われたとき)の焦点位置が、合焦位置の近傍にあるか否かを判定する。合焦位置近傍とみなす範囲は適宜調整することができるため、合焦近傍判定は、合焦位置から所定の範囲内に今の焦点位置があるか否かを判定しているともいえる。合焦近傍判定の詳細について、図16を用いて説明をする。
図16は、3通りのフォーカスレンズ位置において、繰り返しパターンを有する被写体から得られる相関量を波形で例示したグラフである。図16(a)は、像のボケ度合いが大きい(焦点位置と合焦位置が遠い)場合、図16(b)は像のボケ度合いが小さい(焦点位置と合焦位置がやや近い)場合、図16(c)は合焦近傍(焦点位置と合焦位置が近い)の場合の相関波形をそれぞれ例示する。真の合焦点をAとする。横軸はシフト量(Shift)を表し、縦軸は相関量(COR)を表す。図16に示すように、位相差AFを用いた焦点検出において、繰り返しパターンを有する被写体の相関量を示す波形には、相関量が極小となる部分(極小値)が周期的に現れる。図16(a)乃至(c)に示す各焦点状態によって、相関波形が変化し、合焦点付近に近づくにつれて極値となる部分(ゼロクロス)の傾きが急峻になる。従って、実際にレンズを駆動させて焦点状態を変えることで、最も相関変化量が高く(CORが小さく)なるときが合焦点付近であると判断できるので、真の合焦点を検出することができる。この特性を利用して、本実施形態では、合焦位置に近づいて像のボケ度合いが小さくなると値が大きくなる以下2つの指標を用いる事によって図16(c)の状態までピントが追い込めているかを判定する。
(1)DFD(Depth From Defocus)
DFDは、焦点検出領域内における各画素における撮像用の画像信号(A+B像)の出力値を2乗した値を積分した値を、焦点検出用信号(A像又はB像)の出力値を2乗した値を積分した値で除した値であり、像のボケ度を表す。値が大きいほうが、像のボケ度合いが小さく、合焦位置と焦点位置とが近いと考えられる。DFDは、式として以下のようにあらわされる。
Figure 0006900161
但し、
Figure 0006900161
尚、kは位置を特定するために撮像素子の各画素に付された数であり、A(k)、B(k)はそれぞれ位置kにおけるA像信号とB像信号の信号値である。
(2)Sharpness/PB
Sharpnessは像の鮮鋭度を表す値であり、PBは振幅を表す値である。つまり、Sharpness/PBは像の鮮鋭度をPBで正規化した鮮鋭度評価値であり、値が大きいほうが、合焦位置と焦点位置とが近いと考えられる。
Sharpness及びPBは式として以下のようにあらわされる。
Sharpness=Σ(S[k+1]−S[k])/Σ(S[k+1]−S[k])
PB=Peak−Bottom Peak、Bottomはそれぞれ、垂直加算平均した波形の最大出力値と、最小出力値を示す変数であり、S[k]は位置kにおけるA+B像信号の信号値である。
本実施形態では、DFDとSharpness/PBとの両方に閾値を設定し、いずれか一方が設定した閾値を越えた場合は、像のボケ度合いが所定のボケ度合いよりも小さく、合焦位置近傍に焦点位置があるものと判定し、ステップS1002へ進む。この閾値を調節することで、合焦位置近傍とみなす範囲を調節することができる。これらの閾値は固定値であってもよいし、焦点深度に応じて設定される値でもよい。例えば、焦点深度のn倍の範囲に焦点位置があるとみなせるDFDとSharpness/PBとをそれぞれ設定してもよい。このとき、nは、焦点調節にかかる時間と偽合焦の可能性とのバランスから適宜設定することができる。DFDとSharpness/PBとの両方が閾値以下である場合は、像のボケ度合いが所定のボケ度合い以上であり、合焦近傍に焦点位置がないものと判定し、ステップS1003へ進む。そして、S510で取得したデフォーカス量の信頼度として、予め設定された値である0を取得する。信頼度としての0は、信頼度の候補(0〜3)のうち、最も信頼度が低い値であり、上述のように、信頼度が0の場合、サーチ駆動が行われる。このように、被写体が繰り返しパターンを有し、且つ、焦点位置が合焦近傍にない場合はサーチ駆動を行うことによって、大ボケした位置で検出されたデフォーカス量は焦点調節に用いず、偽合焦する可能性を軽減することができる。また、図16(c)に示すような合焦位置近傍まで追い込めた時点で、繰り返しパターンを有する被写体を撮影する場合であっても、繰り返しパターンを有さない被写体を撮影する場合と同様にフォーカスレンズ114の駆動制御方法を選択する。これにより、正確性の高い焦点調節制御を行うことができる。
また、焦点検出領域が複数設定されている場合は、ステップS1001により被写体が繰り返しパターン有さないと判定される領域やステップS1016で合焦近傍であると判定される領域からの焦点検出用信号を用いてAF動作を行ってもよい。尚、繰り返し判定(S1001)と合焦近傍判定(S1016)は順番を入れ替え、合焦近傍判定を行ってから繰り返し判定を行ってもよい。 ステップS1002以降は、繰り返しパターンを有さない被写体を撮影する場合及び、繰り返しパターンを有す被写体を撮影する場合であって、焦点位置が合焦近傍にあると判定された場合のフォーカスレンズの駆動制御方法の選択フローである。像ずれ量PRDのばらつきを評価する指標を信頼度として用い、信頼度に応じてフォーカスレンズの駆動制御方法を選択する。ここでは、フォーカスレンズを移動させずに複数回像ずれ量を検出した場合の像ずれ量の標準偏差と、相関変化量の変化の急峻度maxderとの関係を用いて、maxderから像ずれ量PRDの標準偏差を取得するが、信頼度の取得方法はこれに限定されない。ステップS1002ではmaxderを撮影条件や被写体条件を用いて正規化する。maxderを正規化する理由は信頼度の精度を高めるためであり、その詳細は後述する。
次に、ステップS1004において、ステップS510で算出したデフォーカス量が設定したデフォーカス量閾値よりも大きいか判定する。デフォーカス量閾値よりも大きい時はS1003に進んで信頼度0を取得し、デフォーカス量がデフォーカス量閾値以下の時はステップS1005に進む。
ステップS1005では、S1002で正規化したmaxderが正規化maxder閾値以下かどうかを判定する。正規化maxderが正規化maxder閾値以下の時は、S1003に進み、信頼度として0を取得する。本実施形態では、デフォーカス量閾値とmaxder閾値をステップS505で用いるフィルタごとに設定している。デフォーカス量閾値は各フィルタのデフォーカス量検出能力(総シフト量的に測距可能な限界距離)に応じて設定する。また、正規化maxder閾値に関して、低輝度時の測距やコントラストが低い被写体に対する測距など出力する信頼度を誤りやすい場面では正規化maxderが小さくなることが分かっている。よって、正規化maxder閾値を設定することで誤った信頼度を出力する可能性を低下させている。なお、maxderは使用するフィルタによって特性が異なるため、フィルタごとに正規化maxder閾値を設定している。ステップS1005において正規化maxderが正規化maxder閾値より大きいと判定された場合はステップS1006に進み、正規化maxderに基づいて像ずれ量の標準偏差を推定する。像ずれ量の標準偏差推定の原理は後述するが、正規化maxderと像ずれ量の標準偏差との間には負の相関があるため、正規化maxderから像ずれ量の標準偏差を推定することが可能となる。次にステップS1007で像ずれ量の標準偏差に所定の換算係数を乗算することでデフォーカス量の標準偏差を算出する。ここで使用した換算係数は二像のずれ量からデフォーカス量を算出する際に使用した換算係数と同様で、絞り113の絞り値、レンズの射出瞳距離、センサの個体情報、焦点検出領域を設定する座標によって決定される値である。また、デフォーカス量の標準偏差に対しても絞り値Fと許容錯乱円δを除算して正規化しておく。もし、maxderを基に信頼度(デフォーカス量の標準偏差)を評価する場合は前記換算係数の個数分の閾値を設定する必要がある。そのため、本発明を適用することで大量の閾値データをROM137に持っておかなくても、より所望の閾値を設定することができる。また絞り値Fによって正規化しているため、絞り113の状態に関係なく閾値を設定することが可能である。
以上のように算出したデフォーカス量の標準偏差に応じてデフォーカス量の信頼度を評価する。そのために本実施形態ではデフォーカス量の標準偏差の閾値を3段階(THRESHOLD1、THRESHOLD2、THRESHOLD3)設定しておく。まずS1008でデフォーカス量の標準偏差がTHRESHOLD1より大きい場合はS1003に進み、デフォーカス量の信頼度0と判定される。デフォーカス量の標準偏差がTHRESHOLD1以下、THRESHOLD2より大きいと判定された場合(S1009)は、S1010に進み信頼度1と評価される。デフォーカス量の標準偏差がTHRESHOLD2以下、THRESHOLD3より大きいと判定された場合(S1011)はS1012に進み信頼度2と評価される。デフォーカス量の標準偏差がTHRESHOLD3以下の時はステップS1013に進み信頼度3と評価される。
信頼度を評価すると、最後にステップS1014に進み方向反転防止対策を行う。方向反転とは、正しいピント位置とは反対の方向にフォーカスレンズを動かして被写体像がぼけてしまうことを示している。方向反転が起きると、動画撮影時などにユーザが違和感をおぼえて品質が失われてしまう。方向反転を防止するためにステップS1014ではデフォーカス量の標準偏差とデフォーカス量を比較している。図11を用いて方向反転防止対策について説明する。図11(a)はデフォーカス量の標準偏差=0の場面である。デフォーカス量が正確なためフォーカスレンズは正しい位置に向かって駆動し正しいピント位置でフォーカスレンズは止まる。図11(b)はデフォーカス量の標準偏差がデフォーカス量以下の場面である。デフォーカス量に検出誤差があるため、最終的にフォーカスレンズが止まる可能性がある場所にばらつき幅があるがフォーカスレンズは正しいピント位置に向かって進む。図11(c)はデフォーカス量の標準偏差がデフォーカス量より大きい場面である。図11(b)と同様に最終フォーカスレンズ位置にばらつき幅があるが、ばらつき幅が広いためフォーカスレンズが正しいピント位置に対して反対に駆動する可能性がある。以上よりデフォーカス量の標準偏差がデフォーカス量よりも大きい時はステップS1015へ進み、信頼度を1段落として方向反転する可能性を低くする。
以上が信頼度を決める基本的な処理フローであるが、信頼度の評価方法は用いるフィルタに応じて変えても良い。図12は各フィルタから出力できる評価値を示しており、マルが表記されている条件は出力できる信頼度、バツが表記されている条件は出力しない信頼度を意味する。低域フィルタは精度が低いため合焦可能であることを意味する信頼度3は出力しない。また、高域フィルタでは総シフト量が小さく大ボケ時の被写体に対して測距できないため信頼度1は出力しない。このように処理することで誤った信頼度を出力する可能性を軽減させている。
続いて、上述した正規化maxderから像ずれ量の標準偏差を推定する原理について説明する。図13(a)はmaxderと像ずれ量の標準偏差の相関を示すグラフである。縦軸は以下の式(7)のように、N回測距した時のPRDの標準偏差(PRD3σ_sta)を統計学的に算出した結果であり対数目盛で表記されている。
Figure 0006900161
横軸はN回測距した時のmaxderの平均値を示しており、縦軸と同様に対数目盛で表記されている。なお、図13(a)のそれぞれのプロット点は、環境・被写体・測距設定(センサゲインや、絞りや、フォーカスレンズ位置など)を同一条件に揃えてN回測距した時の結果を使用している。図13(a)においてPRD3σ_staが境界αよりも小さい領域では負の相関があることが分かる。PRD3σ_staが境界αより大きい領域の詳細は後述する。境界αより小さい領域の相関関係を利用することでmaxderからPRD3σ_staを推定することができる。しかし、測距設定や被写体によってmaxderとPRD3σ_staの関係が少し異なるため、PRD3σ_staの推定精度が低くなる。そこでステップS1002に示すように被写体や測距設定に応じてmaxderを正規化することでmaxderとPRD3σ_staの相関関係をより強くし、推定精度を向上させる。具体的なmaxder正規化方法は図14のフローチャートを用いて説明する。
本実施形態ではmaxderの正規化を以下の4条件に応じて処理しているが、以下の4条件に限定せず、他の条件に応じてmaxderを正規化しても良いし、以下の4条件の一部のみを用いて正規化を行ってもよい。
i.センサゲイン(ステップS1401)
ii.垂直行加算平均の行数(ステップS1402)
iii.相関量CORの加算行数(ステップS1403)
iv.被写体コントラスト(ステップS1404)
i.センサゲインによる正規化(S1401)では、CDS/AGC/ADコンバータ123で設定したセンサゲインに応じてmaxderを正規化する。センサゲインを高くすると信号値と共に信号ノイズも増幅されるため、相関演算における像ずれ量の検出バラつきが大きくなる。図15は図13と同様の軸を用いたグラフで、2つの条件のデータをプロットした時の近似線を示している。図15においてセンサゲインが小さい時は近似線1501、センサゲインが大きい時は近似線1502という関係になる。この差を埋めるためにセンサゲインに応じて決まる係数againを用いた以下の式(8)によってmaxderを正規化する。
norm_maxdergain=maxder×again (8)
ii.垂直行加算平均の行数に応じた正規化(S1402)では、S503の垂直行加算平均で設定した値に応じてmaxderを正規化する。先述したように垂直行加算平均の行数を多くすると信号ノイズの影響を軽減できるため、相関演算における像ずれ量の検出バラつきが小さくなる。したがって、垂直行加算平均の行数が多い時は近似線1501、行数が少ない時は近似線1502のように、垂直行加算平均の行数が多い時のほうがPRD3σ_staが小さくなる。よって、垂直行加算平均の行数nLineと係数aline、blineを用いた以下の式(9)でmaxderを正規化することができる。
norm_maxderline=maxder×(aline×nLine+bline
(9)
III.相関量CORの加算行数に応じた正規化(S1403)では、S507の相関量COR加算の設定値に応じてmaxderを正規化する。相関量CORの加算行数が多いと相関変化量ΔCORも大きくなるためmaxderの値も大きくなる。そのため、図15において相関量CORの加算行数が少ない時は近似線1501、加算行数が多い時は近似線1502のように、加算行数が少ない時のほうがPRD3σ_staが小さくなる。よって、相関量CORの加算行数nCORと係数acor、bcorを用いた以下の式(10)でmaxderを正規化することができる。
norm_maxdercor=maxder×(acor×nCOR+bcor
(10)
iv.被写体コントラストに応じた正規化(S1404)では、S504で算出した被写体コントラストCNTに応じてmaxderを正規化する。被写体のコントラストが低いと相関演算における像ずれ量の検出バラつきが大きくなる。図15において被写体コントラストが高い時は近似線1501、被写体コントラストが低い時は近似線1502のように、被写体のコントラストが高い時のほうがPRD3σ_staが小さくなる。よって、被写体コントラストCNTと係数acnt、bcntを用いた以下の式(11)でmaxderを正規化することができる。
norm_maxdercnt=maxder×(acnt×nCNT+bcnt
(11)
上記の4条件に応じたmaxderの正規化演算に使用した係数は3種類のフィルタに応じて予め準備しておく。以上のmaxder正規化をした後の正規化maxderとPRD3σ_staの関係が図13の(b)である。図13(a)のグラフに対して図13(b)のグラフは強い負の相関があることがわかる。そのため、上記4条件で正規化したmaxderであるnorm_maxderと予め測定したデータから算出した係数a、bを使用して以下の式(12)を準備しておくことで像ずれ量の推定標準偏差PRD3σ_estを算出することができる。
PRD3σ_est=a×norm_maxder^b (12)
続いて像ずれ量の標準偏差PRD3σ_staが境界αより大きい領域について説明する。この領域はそもそも像ずれ量の標準偏差が大きくデフォーカス量としても信頼度が低い領域であるため、この領域にプロットされている環境・被写体・測距設定の信頼度はNGにすることが望ましい。そこで、本実施形態ではステップS1006で設定されている正規化maxder閾値を図13(b)のように設定することで境界αよりも大きい領域の信頼度をNGにしている。この領域内の信頼度の下げ方はmaxder閾値を図13(b)のように設定することに限定せず、相関演算における他の評価値を見て信頼度を低く評価する方法を用いても良い。
以上説明したように、本実施形態のカメラ10は一度の焦点検出で出力されるmaxderに基づいてデフォーカス量の標準偏差を算出してデフォーカス量の信頼度性を評価し、信頼度を取得している。この時、デフォーカス量の信頼度の精度を上げるために測距設定や被写体に応じてmaxderを正規化しているため、より細かく信頼度の閾値を設定することが可能となる。そして、このようにデフォーカス量の信頼度を取得することでより安定したAF制御を行うことができる。尚、デフォーカス量の信頼度の取得方法として、異なる方法を用いてもよい。maxder以外の、像ずれ量の標準偏差と相関のある値からデフォーカス量の信頼度を取得してもよいし、実際に複数回測距して像ずれ量の標準偏差を算出してもよい。但し、実際に複数回測距を行うよりも、maxderを用いた方が素早く信頼度を取得できるため好ましい。また、デフォーカス量の信頼度を評価できれば、標準偏差以外の値に基づいて信頼度を取得してもよい。
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記憶した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等のプロセッサー)が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体および制御プログラムは本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
また、上述の実施形態では、予め設定された信頼度の候補(0〜3)の中から信頼度を選択し、選択した信頼度に応じたフォーカス駆動を選択したが、信頼度に応じたフォーカス駆動を行うことができれば良い。例えば、図10のステップS1003に進むと、ステップS1003で信頼度を0に決定し、図3のステップS302を経てステップS303でサーチ駆動を行うが、図10のステップS1003でサーチ駆動を行うことを決定しても同じ制御を行うことができる。つまり、ステップS1016で焦点位置が合焦位置近傍にあると判定された場合、検出されたデフォーカス量の信頼度を取得しなくても、所定のフォーカス駆動を行えば、適切な焦点調節動作の制御方法を実行することができる。このとき行う駆動制御方法は、焦点位置を検出されたデフォーカス量ではなく、所定の駆動量分フォーカスレンズを駆動させる制御方法(サーチ駆動)であることが好ましい。そして、移動させた後、再度焦点検出を行い、被写体変化などにより繰り返し判定(S1001)でNoと判定されるか、合焦位置近傍判定(S1016)でYesと判定されるようになるまでフォーカスレンズの移動と焦点検出とを繰り返す。
また、maxderを用いる代わりに、撮像用の画像信号(A+B像信号)の画像解析結果を用いて繰り返し判定を行ってもよい。画像信号の輝度を解析し、周期性があるかどうかを調べることで、焦点検出領域において繰り返しパターンを有する被写体を撮影しているか否かを判定することができる。
また、上述の実施形態では、焦点検出領域が繰り返しパターンを撮影していると判定したときにのみ合焦近傍判定を行い、合焦近傍でなければ低い信頼度を取得していたが、位相差AFが偽合焦点を検出してしまうシーンであれば本発明を適用可能である。この場合、繰り返しパターン判定の代わりに、その他の偽合焦点を検出しやすいシーンであるか否かの判定を行えばよい。
以上、本発明をその好適な実施形態に基づいて詳述したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
101 撮像装置
111 レンズユニット
112 固定レンズ
113 絞り
114 フォーカスレンズ
115 絞り制御部
116 フォーカス制御部
117 レンズ制御部
121 撮像素子
122 タイミングジェネレータ
123 CDS/AGC/AD
124 撮像信号処理部
125 焦点検出用信号処理部
131 バス
132 表示制御部
133 表示部
134 記録媒体制御部
135 記録媒体
136 SDRAM
137 ROM
138 フラッシュROM
140 カメラ制御部

Claims (12)

  1. フォーカスレンズを有する光学系を介して入射したを光電変換して、点検出領域における一対の焦点検出用の像信号を出力することが可能な撮像手段と、
    前記一対の像信号を用いてデフォーカス量を検出する焦点検出手段と、
    前記デフォーカス量に基づいて前記光学系の焦点位置の調節を制御する制御手段と、
    前記焦点検出領域において、繰り返しパターンを有する被写体を前記撮像手段が撮像しているか否かを判定する第1の判定手段と、
    のボケ度合いが所定のボケ度合い以上か否かを判定する第2の判定手段と、を備え、
    前記焦点検出手段は、前記第1の判定手段により前記撮像手段が前記焦点検出領域において前記繰り返しパターンを有する被写体を撮像していると判定され、且つ、前記第2の判定手段により前記像のボケ度合いが前記所定のボケ度合い以上であると判定されたとき、前記フォーカスレンズを移動させた新たな焦点位置で得られた前記一対の像信号を用いて新たなデフォーカス量の取得を行うことを特徴とする焦点調節装置。
  2. 前記制御手段は、前記第1の判定手段により前記撮像手段が前記焦点検出領域において前記繰り返しパターンを有する被写体を撮像していると判定され、且つ、前記第2の判定手段により前記ボケ度合いが前記所定のボケ度合い以上であると判定されたとき、前記光学系が有するフォーカスレンズを焦点深度に基づいて設定される速度で移動させることを特徴とする請求項1に記載の焦点調節装置。
  3. 前記焦点検出手段は、前記第1の判定手段により前記撮像手段が前記焦点検出領域において前記繰り返しパターンを有する被写体を撮像していると判定され、且つ、前記第2の判定手段により前記ボケ度合いが前記所定のボケ度合い以上であると判定されたとき、前記第2の判定手段により前記ボケ度合いが前記所定のボケ度合い以上であると判定されなくなるまで、前記フォーカスレンズを移動させた新たな焦点位置で得られた前記一対の像信号を用いた前記新たなデフォーカス量の取得を行うことを特徴とする請求項1又は2に記載の焦点調節装置。
  4. 前記第1の判定手段により前記撮像手段が前記焦点検出領域において前記繰り返しパターンを有する被写体を撮像していないと判定されたとき、及び、前記第2の判定手段により前記ボケ度合いが所定のボケ度合いより小さいと判定されたとき、前記一対の像信号に基づいて複数段階で前記デフォーカス量の信頼度を評価し、
    前記第1の判定手段により前記撮像手段が前記焦点検出領域において前記繰り返しパターンを有する被写体を撮像していると判定され、且つ、前記第2の判定手段により前記ボケ度合いが所定のボケ度合い以上であると判定されたとき、前記複数段階の中で最も低い信頼度と評価する取得手段を備え、
    前記制御手段は、
    前記取得手段により取得された前記デフォーカス量の信頼度に応じて前記焦点位置の調節を制御することを特徴とする請求項1乃至3のいずれか1項に記載の焦点調節装置。
  5. 前記取得手段は、複数段階のデフォーカス量の信頼度の候補の中からデフォーカス量の信頼度を選択することで前記デフォーカス量の信頼度を取得することを特徴とする請求項4に記載の焦点調節装置。
  6. 前記焦点検出手段は、前記一対の像信号をシフトしながら相関演算を行い、前記相関演算の結果に基づいて前記デフォーカス量を検出し、
    前記取得手段は、前記相関演算の結果に基づいて前記信頼度を取得することで、前記一対の像信号に基づいて前記信頼度を取得することを特徴とする請求項4又は5に記載の焦点調節装置。
  7. 前記取得手段は、前記相関演算により取得された、相関量の変化の急峻度に基づいて前記信頼度を取得する請求項6に記載の焦点調節装置。
  8. 前記焦点検出手段は、前記一対の像信号をシフトしながら相関演算を行い、前記相関演算の結果に基づいて前記デフォーカス量を検出し、
    前記第1の判定手段は、
    前記相関演算により取得された相関量の変化の急峻度が閾値以上の極小値が所定の数以上存在するとき、前記焦点検出領域において繰り返しパターンを有する被写体を撮像していると判定し、
    前記急峻度が前記閾値以上の極小値が前記所定の数よりも少ないとき、前記焦点検出領域において繰り返しパターンを有する被写体を撮像していないと判定することを特徴とする請求項1乃至7のいずれか1項に記載の焦点調節装置。
  9. 前記第1の判定手段は、前記急峻度が最も大きい極小値における前記急峻度の大きさに基づいて前記閾値を決定することを特徴とする請求項8に記載の焦点調節装置。
  10. 複数の焦点検出領域を設定する設定手段を備え、
    前記第1の判定手段は、
    前記複数の焦点検出領域のうち、繰り返しパターンを有する被写体を撮像していない焦点検出領域が存在するか否かを判定し、
    前記制御手段は、前記繰り返しパターンを有する被写体を撮像していない焦点検出領域が存在する場合は、前記繰り返しパターンを有する被写体を撮像していない焦点検出領域における前記一対の像信号に基づいて取得されるデフォーカス量に基づいて焦点位置の調節を制御する請求項1乃至9のいずれか1項に記載の焦点調節装置。
  11. 請求項1乃至10のいずれか1項に記載の焦点調節装置と、
    前記撮像手段から出力される画像信号を記憶手段へ記憶させる記憶制御手段と、を備える撮像装置。
  12. フォーカスレンズを有する光学系を介して入射した光束を光電変換して、焦点検出領域における一対の焦点検出用の像信号を出力することが可能な撮像手段を備えた焦点調節装置の制御方法であって、
    前記一対の像信号を用いてデフォーカス量を検出する焦点検出工程と、
    前記デフォーカス量に基づいて前記光学系の焦点位置の調節を制御する制御工程と、
    前記焦点検出領域において、繰り返しパターンを有する被写体を前記撮像手段が撮像しているか否かを判定する第1の判定工程と、
    像のボケ度合いが所定のボケ度合い以上か否かを判定する第2の判定工程と、を備え、
    前記焦点検出工程では、前記第1の判定工程により前記撮像手段が前記焦点検出領域において前記繰り返しパターンを有する被写体を撮像していると判定され、且つ、前記第2の判定工程により前記像のボケ度合いが前記所定のボケ度合い以上であると判定されたとき、前記フォーカスレンズを移動させた新たな焦点位置で得られた前記一対の像信号を用いて新たなデフォーカス量の取得を行うことを特徴とする制御方法。
JP2016179918A 2016-09-14 2016-09-14 焦点調節装置及び撮像装置 Active JP6900161B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016179918A JP6900161B2 (ja) 2016-09-14 2016-09-14 焦点調節装置及び撮像装置
US15/698,239 US10116857B2 (en) 2016-09-14 2017-09-07 Focus adjustment apparatus, control method of focus adjustment apparatus, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016179918A JP6900161B2 (ja) 2016-09-14 2016-09-14 焦点調節装置及び撮像装置

Publications (2)

Publication Number Publication Date
JP2018045102A JP2018045102A (ja) 2018-03-22
JP6900161B2 true JP6900161B2 (ja) 2021-07-07

Family

ID=61559290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016179918A Active JP6900161B2 (ja) 2016-09-14 2016-09-14 焦点調節装置及び撮像装置

Country Status (2)

Country Link
US (1) US10116857B2 (ja)
JP (1) JP6900161B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7110978B2 (ja) * 2016-07-08 2022-08-02 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP7050569B2 (ja) * 2018-05-10 2022-04-08 キヤノン株式会社 撮像装置及びその制御方法
JP7237473B2 (ja) * 2018-06-15 2023-03-13 キヤノン株式会社 焦点調節装置、その制御方法
JP7146474B2 (ja) * 2018-06-20 2022-10-04 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP7179509B2 (ja) * 2018-06-29 2022-11-29 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP7079161B2 (ja) * 2018-06-29 2022-06-01 キヤノン株式会社 撮像装置及びその制御方法
KR20200036264A (ko) 2018-09-28 2020-04-07 삼성전자주식회사 자동 초점 방법 및 이를 수행하는 전자 장치

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH083579B2 (ja) * 1986-07-09 1996-01-17 キヤノン株式会社 自動合焦装置
JPS6330814A (ja) * 1986-07-24 1988-02-09 Olympus Optical Co Ltd 焦点検出装置
JPH06130288A (ja) * 1992-09-03 1994-05-13 Nikon Corp 焦点検出装置
JP3298171B2 (ja) * 1992-09-04 2002-07-02 株式会社ニコン オートフォーカスカメラ
JP2007264299A (ja) * 2006-03-28 2007-10-11 Olympus Imaging Corp 焦点調節装置
JP5219865B2 (ja) * 2008-02-13 2013-06-26 キヤノン株式会社 撮像装置及び焦点制御方法
JP5097077B2 (ja) * 2008-10-10 2012-12-12 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5247522B2 (ja) * 2009-02-18 2013-07-24 パナソニック株式会社 撮像装置
CN102308241A (zh) * 2009-02-18 2012-01-04 松下电器产业株式会社 摄像装置
JP2011150179A (ja) * 2010-01-22 2011-08-04 Canon Inc オートフォーカス装置
JP5776210B2 (ja) * 2011-02-17 2015-09-09 株式会社ニコン 焦点調節装置および撮像装置
WO2012132117A1 (ja) * 2011-03-31 2012-10-04 富士フイルム株式会社 撮像装置及びその駆動方法
JP5868109B2 (ja) * 2011-10-12 2016-02-24 キヤノン株式会社 光学機器、レンズ鏡筒および自動焦点調節方法
JP6131546B2 (ja) * 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JPWO2013161944A1 (ja) * 2012-04-25 2015-12-24 株式会社ニコン 焦点検出装置、焦点調節装置およびカメラ
JP2015049473A (ja) * 2013-09-04 2015-03-16 株式会社ニコン 焦点調節装置および撮像装置
JP6184276B2 (ja) * 2013-09-27 2017-08-23 オリンパス株式会社 焦点調節装置
JP6476547B2 (ja) * 2014-01-28 2019-03-06 株式会社ニコン 焦点検出装置および撮像装置
JP6624789B2 (ja) 2015-02-02 2019-12-25 キヤノン株式会社 合焦制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2016142999A (ja) * 2015-02-04 2016-08-08 キヤノン株式会社 撮像装置及びその制御方法
JP6608148B2 (ja) * 2015-02-24 2019-11-20 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム
US10264174B2 (en) * 2015-12-08 2019-04-16 Samsung Electronics Co., Ltd. Photographing apparatus and focus detection method using the same
JP2018010245A (ja) * 2016-07-15 2018-01-18 キヤノン株式会社 信号処理装置、その制御方法
JP2018097253A (ja) * 2016-12-15 2018-06-21 オリンパス株式会社 焦点調節装置および焦点調節方法

Also Published As

Publication number Publication date
US20180077340A1 (en) 2018-03-15
JP2018045102A (ja) 2018-03-22
US10116857B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
JP6900161B2 (ja) 焦点調節装置及び撮像装置
US10873694B2 (en) Imaging apparatus, control apparatus, and storage medium providing phase difference detection focusing control of an image having a saturated object
EP2166408B1 (en) Imaging device and imaging method using the same
JP6152772B2 (ja) 撮像装置、半導体集積回路および撮像方法
US9591202B2 (en) Image processing apparatus and image processing method for generating recomposed images
JP6381434B2 (ja) フォーカス制御装置、光学機器およびフォーカス制御方法
US10200594B2 (en) Focus detection apparatus, focus adjustment apparatus, imaging apparatus, and focus detection method setting focus detection area using reliability
US10747089B2 (en) Imaging apparatus and control method of the same
US10477098B2 (en) Control apparatus which sets defocus amount used for focusing, image capturing apparatus, control method, and storage medium
US11425297B2 (en) Image capturing apparatus and control method thereof
JP6851755B2 (ja) 焦点調節装置、焦点調節方法、プログラム
US10911660B2 (en) Control apparatus, imaging apparatus, control method, and storage medium
JP7023673B2 (ja) 焦点調節装置、焦点調節方法、及び撮像装置
JP2018010245A (ja) 信号処理装置、その制御方法
JP7282227B2 (ja) 撮像装置及びその制御方法
JP2020003693A (ja) 撮像装置及び撮像装置の制御方法
JP7237473B2 (ja) 焦点調節装置、その制御方法
US20210314481A1 (en) Focus detecting apparatus, image pickup apparatus, and focus detecting method
KR20110104748A (ko) 디지털 촬영장치 및 그 제어방법
JP6884582B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2017134154A (ja) フォーカス制御装置、撮像装置およびフォーカス制御プログラム
JP2006047645A (ja) 焦点調節装置及び方法
JP2007004005A (ja) オートフォーカス装置及び撮像装置
JP2016194665A (ja) 焦点検出装置、光学機器、焦点検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210616

R151 Written notification of patent or utility model registration

Ref document number: 6900161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151