JP6506560B2 - フォーカス制御装置及びその方法、プログラム、記憶媒体 - Google Patents

フォーカス制御装置及びその方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP6506560B2
JP6506560B2 JP2015008957A JP2015008957A JP6506560B2 JP 6506560 B2 JP6506560 B2 JP 6506560B2 JP 2015008957 A JP2015008957 A JP 2015008957A JP 2015008957 A JP2015008957 A JP 2015008957A JP 6506560 B2 JP6506560 B2 JP 6506560B2
Authority
JP
Japan
Prior art keywords
focus
focus information
information
detected
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015008957A
Other languages
English (en)
Other versions
JP2016133674A (ja
JP2016133674A5 (ja
Inventor
和憲 石井
和憲 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015008957A priority Critical patent/JP6506560B2/ja
Priority to US15/000,790 priority patent/US9848117B2/en
Publication of JP2016133674A publication Critical patent/JP2016133674A/ja
Publication of JP2016133674A5 publication Critical patent/JP2016133674A5/ja
Application granted granted Critical
Publication of JP6506560B2 publication Critical patent/JP6506560B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Description

本発明は、撮像装置におけるオートフォーカス制御技術に関するものである。
従来より、デジタルカメラ等の撮像装置におけるフォーカス制御方法として、例えば、位相差検出方式とコントラスト検出方式が知られている(特許文献1、特許文献2参照)。また、背面モニターなどに撮影画像を表示しながら撮影するLV(ライブビュー)モードも考慮された、撮像面位相差検出方式も知られている(特許文献3参照)。
特開平09−054242号公報 特開2001−004914号公報 特開2001−083407号公報 特開2014−32214号公報
しかしながら、ライブビューモードも意識した撮像面位相差検出方式においても、ライブビューモードや動画撮影に適するように、より安定したフォーカス制御を行う必要がある。特に、最近の高画素化が進む状況では、表示部に動画像が表示されている状態において、不用意にフォーカス状態が変化すると、ユーザは違和感を感じやすい。
撮像面位相差検出方式において、ライブビューモードや動画撮影時におけるフォーカス制御の安定性を向上させる方法として、焦点検出範囲を大きくすることが考えられる。焦点検出範囲を大きくすることにより、捕捉できる被写体が増え、一時的に捕捉していた被写体が焦点検出範囲から外れることにより、不用意にフォーカスレンズが動いてしまうことを軽減することができる。
しかしながら、焦点検出範囲を大きくしてしまうと、遠近競合している被写体の場合、ピントを合わせたい被写体に合わせにくくなる可能性がある。そのため、焦点検出範囲内を複数の焦点検出領域に分割することが有効であると考えられる。しかしながら、撮像面位相差検出方式の場合、ピントが大きくボケている状態では、被写体像が広がってしまう。そのため、分割された焦点検出領域では、この影響が大きくなり、焦点検出結果を得難くなる。また、低照度撮影時においては分割された焦点検出領域では特にS/Nが悪化しやすく、所望の焦点検出結果を得難くなる。さらに、低コントラストの被写体の場合も同様である。
この問題に対処するために、特許文献4においては、位相差検出エリアを位相差検出方向に対して垂直な方向に複数のエリアに分割し、分割された各エリア内において、位相差検出方向に並ぶ画素の検出信号を位相差検出方向と垂直な方向に加算する技術が提案されている。このように、検出信号の加算によってノイズの影響を低減するとともに、加算する範囲を限定することで、画素加算後のパターンが平均化されて焦点検出精度が低下するのを防ぐことができる。しかし、この特許文献4では、検出信号を加算する方向は位相差検出方向と垂直な方向に限定されており、撮影条件によっては必ずしも加算によって適切な検出信号が得られない可能性がある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像面位相差検出方式のフォーカス制御において、撮像面上の広い領域で焦点検出を可能としつつ、動画撮影時の安定したフォーカシング動作を実現することである。
本発明に係わるフォーカス制御装置は、撮影画面内の焦点検出範囲内に、フォーカス情報を検知する方向に対応する方向およびフォーカス情報を検知する方向に対して垂直な方向に複数の領域を設定する領域設定手段と、前記複数の領域から出力された複数のフォーカス情報のうちの、少なくとも一部の領域のフォーカス情報を組み合わせて前記焦点検出範囲全体についての1つのデフォーカス情報を算出する算出手段と、算出されたデフォーカス情報に基づいてフォーカス制御を行う制御手段とを有し、前記算出手段は、撮影状態に応じて、フォーカス情報を検知する方向に対応する方向に並ぶ複数の領域の組み合わせと、フォーカス情報を検知する方向に対して垂直な方向に並ぶ複数の領域の組み合わせとの少なくともいずれかを選択して、選択された領域から出力された複数のフォーカス情報を加算することを特徴とする。
本発明によれば、撮像面位相差検出方式のフォーカス制御において、撮像面上の広い領域で焦点検出を可能としつつ、動画撮影時の安定したフォーカシング動作を実現することが可能となる。
本発明の一実施形態に係るレンズ装置と撮像装置の主要部の構成を示すブロック図。 撮像素子の一部領域を示す図。 AF制御処理を示すフローチャート。 レンズ駆動処理を示すフローチャート。 焦点検出範囲の分割パターンを示す図。 被写体がボケている状態における相関量を示すイメージ図。 低照度撮影時の相関量を示すイメージ図。 焦点検出エリア選択処理を示すフローチャート。 デフォーカス量を検出する検出エリアから得られる像信号を示す図。 相関量波形、相関変化量波形、およびピントずれ量を示す図。 2像一致度を算出する方法を示す図。 位相差AF処理のフローチャート。 有効デフォーカス量を算出するフローチャート。
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
<撮像装置の構成>
本発明の一実施形態に係わるフォーカス制御装置を有する撮像装置について説明する。なお、本実施形態では、レンズ装置を着脱可能に構成された撮像装置について説明するが、レンズ一体型のデジタルカメラ等の他の撮像装置であってもよい。
図1は、本実施形態に係るレンズ装置と撮像装置の主要部の構成を示すブロック図である。図1に示すように、本実施形態はレンズ装置10及び撮像装置20から構成されており、レンズ装置全体の動作を統括制御するレンズ制御部106と、撮像装置全体の動作を統括するカメラ制御部207が情報を通信している。
まず、レンズ装置10の構成について説明する。レンズ装置10は、固定レンズ101、絞り102、フォーカスレンズ103、絞り駆動部104、フォーカスレンズ駆動部105、レンズ制御部106、レンズ操作部107を備えている。撮影光学系は、固定されている第1群レンズ101、絞り102、フォーカスレンズ103により構成されている。
絞り102は、絞り駆動部104によって駆動され、後述する撮像素子201への入射光量を制御する。フォーカスレンズ103はフォーカスレンズ駆動部105によって駆動され、後述する撮像素子201に結像する焦点の調節を行う。絞り駆動部104、フォーカスレンズ駆動部105はレンズ制御部106によって制御され、絞り102の開口量や、フォーカスレンズ103の位置が決定される。レンズ操作部107によってユーザの操作があった場合には、レンズ制御部106がユーザ操作に応じた制御を行う。レンズ制御部106は、後述するカメラ制御部207から受信した制御命令・制御情報に応じて絞り駆動部104やフォーカスレンズ駆動部105の制御を行い、また、レンズ制御情報をカメラ制御部207に送信する。
次に、撮像装置20の構成について説明する。撮像装置20はレンズ装置10の撮影光学系を通過した光束から撮像信号を取得できるように構成されている。撮像素子201、CDS/AGC回路202、カメラ信号処理部203、AF信号処理部204、表示部205、記録部206、カメラ制御部207、カメラ操作部208、タイミングジェネレータ209を備えている。撮像素子201は画像センサーであって、CCDやCMOSセンサーなどから構成されている。レンズ装置側の撮影光学系を通ってきた光束が撮像素子201の受光面上に結像され、フォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部207の指令に従ってタイミングジェネレータ209から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子201から順次読み出される。
撮像素子201から読み出された映像信号及びAF用信号は、サンプリングし、ゲイン調整するCDS/AGC回路202に入力され、映像信号がカメラ信号処理部203に、撮像面位相差AF用の信号がAF信号処理部204にそれぞれ出力される。カメラ信号処理部203は、CDS/AGC回路202から出力された信号に対して各種の画像処理を施して、映像信号を生成する。LCD等により構成される表示部205は、カメラ信号処理部203から出力された映像信号を撮像画像として表示する。記録部206は、カメラ信号処理部203からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。
AF信号処理部204はCDS/AGC回路202から出力されたAF用の2つの像信号を基に、相関演算を行う。そして、相関量(後述のフォーカス情報に相当する)、デフォーカス量(後述の第2のフォーカス情報に相当する)、信頼性情報(二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等)を算出する。算出したデフォーカス量と、信頼性情報をカメラ制御部207へ出力する。また、カメラ制御部207は、取得したデフォーカス量や信頼性情報を基に、これらを算出する設定の変更をAF信号処理部204に通知する。相関演算の詳細については、図9から図11を用いて後述する。
カメラ制御部207は、カメラ20内全体と情報をやり取りして制御を行う。カメラ20内の処理だけでなく、カメラ操作部208からの入力に応じて、電源のON/OFF、設定の変更、記録の開始、AF制御の開始、記録映像の確認等の、ユーザが操作したさまざまなカメラ機能を実行する。また、先述したようにレンズ装置10内のレンズ制御部106と情報をやり取りし、レンズの制御命令・制御情報を送り、またレンズ内の情報を取得する。
<画像センサー>
図2は、画像センサーとしての撮像素子201の受光面の一部を示す図である。撮像素子201は、撮像面位相差AFを可能にするために、一つのマイクロレンズに対して受光部であるフォトダイオードを2つ有する画素部をアレイ状に並べている。これにより、各画素部で、レンズ装置10の射出瞳を分割した光束を受光することが可能になっている。
図2(A)は、参考として、赤(R)、青(B)、緑(Gb、Gr)のベイヤー配列の画像センサー表面の一部の模式図である。図2(B)は、図2(A)のカラーフィルターの配列に対応させて、一つのマイクロレンズに対して光電変換手段としてのフォトダイオードを2つ有する画素部を示している。
こうした構成を有する画像センサーは、各画素部から位相差AF用の2つの信号(以下、A像信号、B像信号ともいう)を出力できるようになっている。また、2つのフォトダイオードの信号を加算した記録用の撮像信号(A像信号+B像信号)も出力できるようになっている。この加算した信号の場合には、図2(A)で概略説明したベイヤー配列の画像センサーの出力と同等の信号が出力される。このような画像センサーとしての撮像素子201からの出力信号を使って、後述するAF信号処理部204が2つの像信号の相関演算を行い、デフォーカス量や各種信頼性などの情報を算出する。
なお、本実施形態は撮像用の信号及び位相差AF用の2つの信号の計3つの信号を撮像素子201から出力している。この点、本発明はこのような方法に限定されるものではない。例えば、撮像用の信号と位相差AF用の像信号の2つの信号のうちの1つの計2つの信号を出力するようにしてもよい。この場合、出力後に位相差AF用の像信号の2つの信号のうちの他の1つの信号は、撮像素子201からの2つの出力信号を利用して算出される。
また、図2では、一つのマイクロレンズに対して光電変換手段としてのフォトダイオードを2つ有する画素部をアレイ状に並べている例を示した。この点、一つのマイクロレンズに対して光電変換手段としてのフォトダイオードを3つ以上有する画素部をアレイ状に並べるようにしてもよい。また、マイクロレンズに対して受光部の開口位置が異なる画素部を複数有するようにしてもよい。つまり、結果としてA像信号とB像信号といった位相差検出可能な位相差AF用の2つの信号が得られるようになっていればよい。
<AF制御処理>
次に、カメラ制御部207が実行するAF制御処理について説明する。図3は、図1におけるカメラ制御部207が実行するAF制御処理を示すフローチャートである。本処理は、カメラ制御部207内に格納されたコンピュータプログラムに従って実行される。例えば、1フィールド画像(以下、1フレーム、1画面ともいう)を生成するための撮像素子201からの撮像信号の読み出し周期(垂直同期期間ごと)で実行される。ただし、垂直同期期間(Vレート)内に複数回繰り返すようにしてもよい。
図3において、まず、ステップS301で焦点検出エリアを設定する。焦点検出エリアについては、後に詳細に説明するが、本実施形態における焦点検出エリアは、位相差を検知する方向および位相差の検知方向に対して垂直方向に複数の焦点検出エリアを撮影画面内の所望の位置に配置する(領域設定)。たとえば、図5(A)のように撮影画面の中央に焦点検出範囲を設定した場合、焦点検出範囲内に図5(B)のように領域501から509のように、9個の焦点検出エリアを配置する。これを第1の分割領域とする。AF信号処理部204では、501〜509の各焦点検出エリアの結果を算出する。焦点検出範囲は撮影画面の中央に限定されず、撮影画面上の任意の位置に配置してもよい。
次に、AF信号処理部204において、AF信号が更新されたかを確認し(ステップS302)、更新されていればAF信号処理部204から、その結果を取得する(ステップS303)。ステップS304では、後述する焦点検出エリア選択処理を実行する。ここでは、各焦点検出エリアから取得されたピントのずれ量を示すデフォーカス量およびデフォーカス量の信頼度レベルから、後述する有効となるデフォーカス量を算出する。
次に、ステップS304で算出されたデフォーカス量が所定の深度内で、かつそのデフォーカス量の信頼度レベルが所定のレベルより高く(信頼度レベル「高」)、信頼できるものであるかどうかを判定する(ステップS305)。デフォーカス量が所定の深度内かつデフォーカス量の信頼度が所定のレベルよりも高い場合には、合焦停止フラグをONし(ステップS306)、そうでない場合には、合焦停止フラグをOFFする(ステップS308)。この合焦停止フラグがONという状態は、合焦位置にフォーカスが制御され、フォーカスの制御を停止すべき状態にあることを示すフラグである。
ここで、デフォーカス量の信頼度レベルとは、算出されたデフォーカス量の精度が確かであると判断できる場合に信頼度レベルが高い(信頼度レベル「高」)とされる。ピント位置が存在するであろう方向を示すデフォーカス方向が確かである場合には、信頼度レベルが「中」と判定される。例えば、デフォーカス量の信頼度レベルが高い場合とは、A像信号、B像信号のコントラストが高く、A像信号とB像信号の形が似ている(二像一致度レベルが高い)状態や、すでに当該主被写体像に合焦している状態にある場合である。この場合にはデフォーカス量を信頼してフォーカスレンズの駆動を行う。
デフォーカス量の信頼度レベルが「中」の場合とは、AF信号処理部204で算出される二像一致度レベルが所定値よりも低いものの、A像信号、B像信号を相対的にシフトさせて得られる相関に一定の傾向があって、デフォーカス方向は信頼できる状態である。たとえば、主被写体に対して小ボケしている状態に多い判定である。さらに、デフォーカス量、およびデフォーカス方向も信頼できない場合を信頼度レベルが低い(信頼度レベル「低」)と判定する。例えば、A像信号、B像信号のコントラストが低く、像一致度レベルも低い状態である。これは、被写体に対して大きくボケている状態のときに多く、デフォーカス量の算出が困難な状態である。
デフォーカス量が所定の深度内かつデフォーカス量の信頼度が「高」の場合には、フォーカスを制御するためのレンズ駆動を停止し(ステップS307)、ステップS308へ移行する。一方、合焦停止フラグをOFFしたときは(ステップS308)、後述のレンズ駆動処理を行い(ステップS309)処理を終了する。
<レンズ駆動処理>
図4は、図3のレンズ駆動処理(ステップS309)の詳細を示すフローチャートである。まず、カメラ制御部207は、ステップS401で、デフォーカス量が得られており、かつ信頼度レベルが「高」かどうかを判定する。デフォーカス量が得られていて、信頼度レベルが「高」の場合には(ステップS401でYES)、デフォーカス量に基づいてフォーカスレンズの駆動量、および駆動方向を決定する(ステップS402)。そして、エラーカウント、端カウントをクリアし(ステップS403)、処理を終了する。
ステップS401において、デフォーカス量が得られなかった、または信頼度レベルが高くない場合には(ステップS401でNo)、カメラ制御部207は、エラーカウントが第1のカウントを超えているかどうかを判定する(ステップS404)。ここで、第1のカウントは、不図示ではあるが、あらかじめ不揮発性のメモリに記憶しておき決定しておいた値でよい。例えば、後述の第2のカウントの2倍以上の値を設定すればよい。
ステップS404において、エラーカウントが第1のカウントよりも小さい場合には(ステップS404でNo)、エラーカウントをカウントアップし(ステップS405)、処理を終了する。エラーカウントが第1のカウントよりも大きい場合には(ステップS404でYes)、カメラ制御部207は、サーチ駆動フラグがONかどうかを判定する(ステップS406)。
ステップS406でサーチ駆動フラグがOFFの場合には(ステップS406でNo)、まだサーチ動作を開始している状態ではない、若しくは、サーチしている状態ではない。そこで、カメラ制御部207は、サーチ駆動フラグをONし(ステップS407)、デフォーカスの信頼度レベルが「中」か否かを判定する(ステップS408)。
ステップS408において、信頼度が「中」の場合には、カメラ制御部207は、デフォーカス方向を用いて駆動方向を設定し(ステップS409)、所定駆動量を設定する(ステップS411)。このとき、デフォーカス量の絶対値自体に基づいて駆動させずに、得られたデフォーカス方向にフォーカスレンズを所定量駆動させるサーチ駆動を行う。
ステップS408において、信頼度が「中」ではない場合(ステップS408でNo)、カメラ制御部207は、レンズ端から遠い方向へフォーカスレンズの駆動方向を設定し(ステップS410)、所定駆動量を設定する(ステップS411)。ステップS411の所定駆動量は、あらかじめ不揮発性のメモリに決められた値を用いればよい。例えば、焦点深度の数倍の距離を駆動量とする。また、焦点距離に応じて可変にしてもよい。たとえば、焦点距離が長くなる程、駆動量を大きくするといった具合である。なお、このときのサーチ駆動方向は、例えば、現フォーカスレンズの位置に対してレンズ端が遠い方向とする。
サーチ駆動フラグがONの場合には(ステップS406でYes)、すでにサーチ駆動を実行している状態である。そのため、カメラ制御部207は、前回のフォーカス制御を継続して実行する。そして、カメラ制御部207は、フォーカス制御の際のレンズ駆動の制限位置であるレンズ端にあるかどうかを判定し(ステップS412)、レンズ端にあたった場合には(ステップS412でYes)、端カウントをカウントアップする(ステップS413)。
端カウントが1を超える場合には(ステップS414でYes)、フォーカスレンズを至近端から無限遠端まで動作しても確かなデフォーカス量を得ることができなかったことを示す。そのため、カメラ制御部207は、ピントを合わせることができる被写体がないと判断し、サーチ駆動フラグをOFFし(ステップS415)、レンズ駆動を停止する(ステップS416)。そして、エラーカウントと端カウントをクリアし(ステップS417)、処理を終了する。 ステップS414において、端カウントが1を超えない場合には(ステップS414でNo)、カメラ制御部207は、フォーカス制御に伴うレンズの駆動方向を現在の駆動方向とは反対の駆動方向に設定し(ステップS418)、所定駆動量を設定する(ステップS411)。
<焦点検出エリア選択処理>
図5は、図3の焦点検出エリア選択処理(ステップS304)で選択される撮影画面内の焦点検出エリアの詳細を示す図である。図5(B)は、第1の分割領域を示した図である。図5(A)の焦点検出範囲内を、位相差の検知方向と同方向に3つの領域に分割し、さらに位相差の検知方向と垂直方向に3つの領域に分割する。そして、各領域から後述する2つの相関の具合を示す相関量(相関度)を算出し、相関量からデフォーカス量を算出する。さらにデフォーカス量の信頼度レベルを算出する。
通常、この第1の分割領域から得られたデフォーカス量を組み合わせて、1つの後述する有効デフォーカス量を算出し、フォーカス制御としてレンズを駆動させてピント合わせを行う。なお、以下、複数の焦点検出エリアに対応する1つのデフォーカス量を意味する概念として有効デフォーカス量とも記載する。焦点検出範囲を水平方向、直角方向に複数の領域に分割することにより、遠近競合を排して、ユーザが意図しているであろう被写体像にピントを合わせることが可能となる。
図5(C)は、第2の分割領域を示した図である。図5(B)の複数の領域のうち、位相差の検知方向に対応する方向の領域を包含した領域となっている。つまり、図5(C)の領域510は、図5(B)の領域501から503を含んだ領域になっている。領域510から512のデフォーカス量の算出は、図5(C)の各領域に含まれている図5(B)の領域の相関量を加算し1つの相関量とし、その算出された相関量からデフォーカス量とデフォーカス量の信頼度レベルを算出する。
撮像面位相差検出方式の場合、捕捉したい被写体像の形状がピントの状態(大ボケ状態(大きくボケている状態)か合焦に近い状態か(ボケが小さい状態)によって、大きく異なってしまう。
図6は、黒い被写体の中に1本白い縦線が入っている被写体を撮影したときの被写体が大きくボケている状態を示した概念図である。図6(A)の1201から1203が焦点検出領域を示しており、例えば、図5(B)の501から503と等価とする。1204と1205はボケている状態の被写体像の位相差信号であるA像信号、B像信号を示しており、1206と1207は合焦近傍での被写体像のA像、B像を示している。図6(B)、(C)、(D)は、1201から1203の各領域の相関量を示したもので、横軸がシフト量、縦軸が相関量を示したものである。図6(E)は、1201から1203の相関量を加算した相関量を示したものである。
図6(A)のように、被写体がボケている状態では、山の裾野が広がりを見せるなだらかな山の形状となり、複数の焦点検出領域にまたがってしまっている。この場合、図6(B)、(C)、(D)のようにA像信号、B像信号をシフトさせて得られる相関量の差が得られにくくなる。この場合、後述する相関量の急峻性が低下してしまうため、デフォーカス量の精度が悪化し、デフォーカス量の信頼度レベルが低くなってしまう。
しかしながら、図6(E)のように、位相差検知方向と同方向の各領域の相関量を加算することにより、相関量の急峻性を高めることができる。つまり、位相差検知方向に対応する方向の領域の相関量を加算することにより、被写体像を広く捕捉することが可能となり、被写体がボケている状態でのデフォーカス量の精度を向上させ、信頼度レベルを高くすることが可能となる。また、位相差検出方向と垂直方向は分割しているため、遠近競合を排することも可能である。
図5(D)は、第3の分割領域を示した図である。図5(B)の複数の領域のうち、位相差の検知方向と垂直方向の領域を包含した領域となっている。つまり、図5(D)の領域513は、図5(B)の領域501、504、507を含んだ領域になっている。領域513から515のデフォーカス量の算出は、図5(D)の各領域に含まれている図5(B)の領域の相関量を加算し1つの相関量とし、その算出された相関量からデフォーカス量とデフォーカス量の信頼度レベルを算出する。
低照度の被写体を撮影している状態では、A像信号、B像信号のレベルが低くなってしまう。また、ISO感度を上げた状態で撮影した場合、ノイズが多くなることによりS/Nが悪くなってしまう。そのため、デフォーカス量の精度が悪化し、デフォーカス量の信頼度レベルが低下してしまう。
図7は、黒い被写体の中に1本白い縦線が入っている被写体を低照度で撮影したときの状態を示した概念図である。図7(A)は、1つの領域の相関量を示したもので、横軸がシフト量、縦軸が相関量を示したものである。図7(B)は、図7(A)の領域に対して位相差検知方向と直角方向の領域の相関量を加算した相関量を示したものである。図7(A)のように、低照度で撮影した場合、S/Nが悪くなることにより、相関量のばらつきが大きくなってしまう。そのため、相関量の急峻性が低下してしまい、デフォーカス量の精度が悪化し、デフォーカス量の信頼度レベルが低くなってしまう。
しかしながら、図7(B)のように、位相差検知方向と垂直方向の領域の相関量を加算することにより、S/Nを向上させることができ、相関量の急峻性を高めることができる。これにより、低照度撮影時のデフォーカス量の精度を向上させ、信頼度レベルを高くすることが可能となる。また、位相差検出方向と平行な方向は分割しているため、遠近競合を排することも可能である。また、低照度時に限らず、コントラストが低い被写体に対しても同様であり、同じ効果を得ることが出来る。
図5(E)は、第4の分割領域を示した図である。図5(B)の複数の領域の位相差の検知方向と同方向および直角方向の領域を全て包含した領域となっている。つまり、図5(E)の領域516は、図5(B)の領域501から509を含んだ領域になっている。領域516のデフォーカス量の算出は、図5(E)の各領域に含まれている図5(B)の各領域の相関量を加算し1つの相関量とし、その算出された相関量からデフォーカス量を算出し、デフォーカス量の信頼度レベルを算出する。
遠近競合を排することは困難であるが、上述してきた図5(C)、図5(D)の両方の効果を有することができ、低照度時やコントラストが低い被写体で、かつ、ボケている状態においてもデフォーカス量の精度を向上させ、信頼度レベルを高くすることが可能となる。
上記のように、被写体の条件や撮影条件により各領域から得られた相関量の加算方法を変えることで、デフォーカス量の精度を向上させ、信頼度レベルを高くすることができる。これにより、被写体像を捕捉しやすくなり、被写体に安定してピントを合わせることができる。
図8は、図3の焦点検出エリア選択処理(ステップS304)の詳細を示すフローチャートである。まず、ステップS601でカメラ制御部207は、相関量が得られたエリアからデフォーカス量を算出する。上述の第1から第4の分割領域におけるそれぞれの相関量を算出し、デフォーカス量を算出する。また、デフォーカス量の信頼度レベルも算出する。
次に、第1の分割領域でデフォーカス量が得られ、信頼度レベルが高い(信頼度レベル「高」)かどうかを判定する(ステップS602)。第1の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高い場合には(ステップS602でYes)、カメラ制御部207は、後述する有効なデフォーカス量を算出し(ステップS603)、処理を終了する。一方、ステップS602の判定がNoの場合には、ステップS604へ移行する。
ステップS604では、カメラ制御部207は、低照度撮影か否かを判定する(低照度判別)。低照度撮影でない場合には(ステップS604でNo)、第2の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高いかを判定する(ステップS605)。第2の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高い場合には(ステップS605でYes)、カメラ制御部207は、第2の分割領域で得られた結果から有効なデフォーカス量を算出し(ステップS606)、処理を終了する。ステップS605の判定がNoの場合には、ステップS609へ移行する。
ステップS604で低照度撮影の場合には(ステップS604でYes)、カメラ制御部207は、第3の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高いかを判定する(ステップS607)。第3の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高い場合には(ステップS607でYes)カメラ制御部207は、第3の分割領域で得られた結果から有効なデフォーカス量を算出し(ステップS608)、処理を終了する。一方、ステップS607の判定がNoの場合には、ステップS609へ移行する。
ステップS609では、カメラ制御部207は、第4の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高いかを判定する。第4の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高い場合には(ステップS609でYes)、第4の分割領域で得られた結果から有効なデフォーカス量を算出する(ステップS610)。一方、ステップS609の判定がNoの場合には、処理を終了する。
本実施形態では、ステップS601ですべての分割領域の相関量からデフォーカス量を算出し、デフォーカス量の信頼度レベルを算出したが、本発明はこれに限定されるものではない。例えば、ステップS601では、第1の分割領域の相関量を算出し、デフォーカス量を算出する。そして、デフォーカス量の信頼度レベルを算出する。そして、ステップS605の前で第2の分割領域の相関量を算出してデフォーカス量を算出し、デフォーカス量の信頼度レベルを算出するように順に演算を処理してもよい。
また、第1から第4の分割領域の判定を切り替えながら、複数回に分けて順に実行しても良い。例えば、1フィールド目は第1の分割領域の判定をし、ステップS602でNoの場合には、2フィールド目でステップS604を実行し、第2の分割領域、もしくは第3の分割領域の判定を実行する。
ここで、ステップS604における低照度撮影か否かの判定の方法として、第1の判定方法は、ISO感度が所定値以上となっているか否かで判定する。ISO感度が所定値以上の場合には、低照度撮影と判定し、逆の場合には、低照度撮影ではないと判定する。第2の判定方法は、映像信号の輝度のピーク値が所定値以上か否かで判定する。映像信号の輝度のピーク値が所定値以上の場合には、低照度撮影ではないと判定し、逆の場合には、低照度撮影と判定する。第3の判定方法は、露出値が所定値以下であるか否かで判定する。露出値が所定値以下の場合には、低照度撮影と判定し、逆の場合には、低照度撮影ではないと判定する。第4の判定方法は、ゲイン設定が所定値以上か否かで判定する。ゲイン設定値が所定値以上の場合には、低照度撮影と判定し、逆の場合には、低照度撮影ではないと判定する。
ここで、上述した条件のうち、少なくとも1つが該当する場合に低照度撮影と判定してもよいし、複数の条件あるいは全部の条件が該当する場合に、低照度撮影と判定してもよく、低照度撮影している状態の可能性が高いことが判別できればよい。
また、ステップS604で低照度撮影か否かを判定したが、さらに、低コントラストの被写体であるか否かを判定してもよい(低コントラスト判別)。低コントラストの被写体でないと判定した場合には(ステップS604でNo)、第2の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高いかを判定する(ステップS605)。第2の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高い場合には(ステップS605でYes)、第2の分割領域で得られた結果から有効なデフォーカス量を算出し(ステップS606)、処理を終了する。ステップS605の判定がNoの場合には、ステップS609へ移行する。
ステップS604で低コントラストの被写体であると判定した場合には(ステップS604でYes)、第3の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高いかを判定する(ステップS607)。第3の分割領域でデフォーカス量が得られ、かつ信頼度レベルが高い場合には(ステップS607でYes)、第3の分割領域で得られた結果から有効なデフォーカス量を算出し(ステップS608)、処理を終了する。一方、ステップS607の判定がNoの場合には、ステップS609へ移行する。
これは、低コントラストの被写体を撮影した場合も低照度の場合と同様に、相関量の急峻性が得られにくく、デフォーカス量の精度が悪化しやすくなるためである。また、低コントラストの被写体の場合、レンズの収差による輝度ムラ(シェーディング)の影響も受けやすくなる。特に、像高が高くなるにつれてシェーディングの影響は大きくなる。このシェーディングを補正する処理を行ったとしても、完全に補正できるとは限らない。そのため、シェーディングの補正残りが存在すると、画素により像信号のレベルが変わって被写体像が崩れてしまい、焦点検出精度が悪くなってしまう。特に、被写体像の像信号レベルが小さいと、被写体像に対して、補正残りの影響が顕著に像信号レベルに表れるため、影響を受けやすく、誤ってしまう可能性が高くなる。そのため、第3の分割領域により、相関量を加算することで相関量の急峻性が得られやすくなり、デフォーカス量の精度、およびデフォーカス量の信頼度レベルを向上させることができる。
ここで、低コントラスト被写体であるか否かの判定として、第1の判定は、A像信号およびB像信号の最大値と最小値の差が所定値以下か否かで判定する。A像信号およびB像信号の最大値と最小値の差が所定値以下の場合には、低コントラストの被写体を撮影していると判定し、逆の場合には、低コントラストの被写体を撮影していないと判定する。第2の判定は、映像信号の輝度レベルの最大値と最小値の差が所定値以下か否かで判定する。映像信号の輝度レベルの最大値と最小値の差が所定値以下の場合には、低コントラストの被写体を撮影していると判定し、逆の場合には、低コントラストの被写体を撮影していないと判定する。
ここで、上述した条件のうち、少なくとも1つが該当する場合に低コントラストの被写体を撮影していると判定してもよいし、全部が該当する場合に、低コントラストの被写体を撮影していると判定してもよく、低コントラストの被写体を撮影している可能性が高いことが判別できればよい。
さらに、本実施形態では、位相差検知方向と垂直方向の領域の相関量を加算する場合に、焦点検出範囲に含まれる領域すべての相関量を加算しているが、本発明はこれに限定されるものではない。任意の領域において、位相差検知方向に対して垂直方向に位置する各領域の相関量を比較し、極小値となっているシフト量が所定値以内に入っている領域の相関量のみ加算してもよい。例えば、図5(D)の514の場合、502、505、508の領域の相関量を加算するが、502と505の相関量の極小値となるシフト量に対して、508だけ所定シフト量以上差がある場合には、502と505の相関量のみ加算するということである。
また、各領域の相関量の極小値に基づいてデフォーカス量に換算したのちに、各領域のデフォーカス量が所定範囲内に含まれている領域のみ加算する方法でも同様である。
上記所定シフト量、および所定範囲は、焦点深度に対する比率で設定すればよく、例えば、焦点深度の2倍に相当するシフト量、もしくはデフォーカス量に換算して設定すればよい。
また、その際低照度撮影か否かで所定シフト量、および所定範囲を低照度撮影ではない状態と比較して広くする。例えば、低照度撮影と判定された場合には、焦点深度の4倍に相当するシフト量、もしくはデフォーカス量に換算して設定する。
低コントラスト被写体と判定された場合も低照度撮影と判定された場合と同様である。これにより、遠近競合を排することが可能となる。但し、少なくとも2つの領域の相関量の加算は実行することとする。
<相関演算について>
次に、上述した有効デフォーカス量の算出方法について説明するが、相関情報としての相関演算、相関量波形等を説明してから、有効デフォーカス量の算出について説明する。
図9(D)は、像信号を取得する領域を例示するもので、画像センサーとしての撮像素子201の画素アレイ上の概念図である。画素部がアレイ状に配置された画素アレイ701に対して、以下に説明する演算対象の領域が領域702である。この領域702のデフォーカス量を算出する際の相関演算に必要なシフト領域703と領域702とを合わせたものが、相関演算を行うために必要なシフト領域704である。
図9、図10、および図11中のp、q、s、tはそれぞれx軸方向の座標を表し、pからqはシフト領域704を表し、sからtは領域702を表す。
図9(A)、図9(B)、図9(C)は、図9(D)で設定したシフト領域704から取得した像信号である。sからtが領域702に対応し、pからqがシフト量を踏まえたデフォーカス量を算出する演算に必要な範囲のシフト領域704に対応する像信号である。図9(A)は相関演算のためのシフト前のA像信号とB像信号とを概念的に波形で表した図である。実線801がA像信号、破線802がB像信号である。図9(B)は図9(A)のシフト前の像波形に対しプラス方向に互いにシフトさせた場合の概念図であり、図9(C)は図9(A)のシフト前の像波形に対しマイナス方向に互いにシフトさせた場合の概念図である。2つの像の相関の具合である相関量を算出する際には、たとえば、それぞれ矢印の方向にA像信号801、B像信号802を1ビットずつシフトさせるといった方法で行う。
続いて相関量CORの算出法について説明する。まず、図9(B)、図9(C)の通りに、たとえば、A像信号とB像信号を1ビットずつシフトさせていき、その各状態でのA像信号とB像信号の差の絶対値の和を相関量CORとして算出する。このとき、シフト量をiで表し、最小シフト数は図8中のp−s、最大シフト数は図8中のq−tである。またxは焦点検出領域の開始座標、yは焦点検出領域の終了座標である。これらを用い、相関量CORを以下の式(1)によって算出することができる。
Figure 0006506560
図10(A)は相関量CORを波形のグラフで示した概念図である。グラフの横軸はシフト量を示し、縦軸は相関量CORを示す。相関量波形901が、極値902、903を有している例である。この中で相関量が小さい方ほど、A像とB像の一致度が高いことを示す。
続いて相関変化量ΔCORの算出法について説明する。まず、図10(A)の相関量波形の概念図から、たとえば、1シフト飛ばしの相関量CORの差をもとに相関変化量ΔCORを算出する。このとき、シフト量をiで表し、最小シフト数は図10(D)中のp−s、最大シフト数は図10(D)中のq−tである。これらを用い、以下の式(2)によってΔCORを算出することができる。
Figure 0006506560
図10(B)は相関変化量ΔCORを波形のグラフで示した概念図である。グラフの横軸はシフト量を示し、縦軸は相関変化量を示す。相関変化量波形1001は、相関変化量がプラスからマイナスになるポイント1002、1003を有する。この相関変化ΔCOR量が0となるポイント1002より、相対的にA像とB像の一致度が高くなるA像信号とB像信号とのシフト量を求めることができる。そのときのシフト量がデフォーカス量に対応することになる。
図11(A)は図10(B)のポイント1002を拡大したもので、相関変化量ΔCORの波形1001の一部分を波形1101として示している。図11(A)を用いて、デフォーカス量に対応するピントずれ量PRDの算出法について説明する。ピントずれ量を整数部分βと小数部分αに分けて考える。小数部分αは、図中の三角形ABCと三角形ADEの相似の関係から、以下の式(3)によって算出することができる。
Figure 0006506560
続いて整数部分βは、図11(A)中より以下の式(4)によって算出することができる。
β=k−1 (4)
以上、αとβの和からピントずれ量PRDを算出することができる。
また、図10(B)のように複数のゼロクロスが存在する場合は、ゼロクロスでの相関量変化の急峻性maxder(以下、急峻性と呼ぶ)が大きいところを第1のゼロクロスとする。この急峻性はAFのし易さを示す指標で、値が大きいほどAFし易い点であることを示す。急峻性は以下の式(5)によって算出することができる。
Figure 0006506560
上のように、ゼロクロスが複数存在する場合は、急峻性によって第1のゼロクロスを決定する。
続いてピントずれ量の信頼性レベルの算出法について説明する。これは、デフォーカス量の信頼性に対応するものであるが、以下に示す説明は一例で他の周知の方法で信頼性レベルを算出しても構わない。信頼性は、前述した急峻性や、A像信号、B像信号の2像の一致度fnclvl(以下、2像一致度と呼ぶ)によって定義することができる。2像一致度はピントずれ量の精度を表す指標で、値が小さいほど精度が良い。図11(B)は図10(A)の極値付近902の部分を拡大したもので、相関量波形901の一部分を波形1201として示している。これより、2像一致度を算出する。2像一致度は以下の式(6)によって算出できる。
Figure 0006506560
以上のように、2像一致度を算出する。
<デフォーカス量算出>
図12は、デフォーカス量算出までをフローチャートに示したものである。なお、下記の説明では、ピントずれ量とデフォーカス量とを区別して例示する。この点、本実施形態の技術思想におけるデフォーカス量は、合焦位置からの絶対的な距離やパルス数としてもよいし、それとは次元、単位の異なる値や相対的な値でもよい。どれだけ合焦状態から離れていると判断できるか、どれだけフォーカス制御すれば合焦状態に移行できると判断できるかを示す値である。このような概念としてデフォーカス情報を取得することをフォーカス情報を取得すると言う。
ステップS1001で、図5に示したように設定したそれぞれの領域の画素からA像信号、B像信号を取得する。次に、取得した像信号から相関量を算出する(ステップS1002)。続いて、算出した相関量から相関変化量を算出する(ステップS1003)。そして、算出した相関変化量からピントずれ量を算出する(ステップS1004)。また、算出したピントずれ量がどれだけ信頼できるのかを表す信頼性レベルを算出する(ステップS1005)。これらの処理を、焦点検出エリア内の領域の数に応じた回数だけ行う。
そして、焦点検出エリア内の領域ごとにピントずれ量をデフォーカス量に変換する(ステップS1006)。さらに、有効デフォーカス方向と有効デフォーカス量を算出する(ステップS1007、ステップS1008)。
<有効デフォーカス量の算出>
図13は、前述のステップS1008で示した有効デフォーカス量として焦点検出範囲に対応する1つのデフォーカス量の算出処理のフローチャートである。本実施形態では、デフォーカス量を用いて処理を行っているが、相関量の極小値となっているシフト量を用いて処理しても良い。つまり、上述したようにどれだけ合焦状態から離れていると判断できるか、どれだけフォーカス制御すれば合焦状態に移行できると判断できるかを示す概念に該当するものであれば、いずれでも良い。
まず、カメラ制御部207は、焦点検出範囲内の複数の領域のうち、デフォーカス量が得られていて、信頼度レベルが高い領域を探索する。探索して条件を満たす領域のデフォーカス量の平均値を算出する(ステップS1101)。
次に、カメラ制御部207は、各領域のデフォーカス量とステップS1101で算出した平均値の差を算出する(ステップS1102)。そして、算出した各領域の差のうちの最大の値が所定差以上であるかを判定する。すなわち、焦点検出エリア内の複数の領域のそれぞれのデフォーカス量のうち、偏差が大きいデフォーカス量かどうかを判定する。算出した各領域の差のうちの最大値が所定差未満の場合は(ステップS1103でNo)、カメラ制御部207は、ステップS1101で算出された平均値を有効デフォーカス量に設定する(ステップS1104)。一方、算出した各領域の差のうち最大値が所定差以上の場合は(ステップS1103でYes)、最大差となった領域のデフォーカス量を平均値算出の際の演算対象から外す(ステップS1105)。つまり、焦点検出範囲内の複数の領域のそれぞれのデフォーカス量のうち、偏差が大きいデフォーカス量を演算対象から外す。
カメラ制御部207は、ステップS1106で、残っている領域のデフォーカス量があるかどうかを判定し、残っている領域のデフォーカス量がある場合は(ステップS1106でNo)、再度ステップS1101へ移行し、処理を繰り返す。残っている領域のデフォーカス量が2つとなった場合は(ステップS1106でYes)、ステップS1107へ移行し、残っている2つの領域のデフォーカス量の差が所定差以上か判定する(ステップS1107)。
デフォーカス量の差が所定差以上の場合は(ステップS1107でYes)、カメラ制御部207は、ステップS1109で有効デフォーカス方向と同一方向のデフォーカス量のうち、デフォーカス量が小さいものを有効デフォーカス量として算出する。一方、逆の場合には、カメラ制御部207は、2つのデフォーカス量を平均し有効デフォーカス量を算出する(ステップS1108)。
領域が1つしかない設定の場合は、得られた1つのデフォーカス量を有効デフォーカス量とする。デフォーカス量の信頼度レベルが高い領域がない場合には、有効デフォーカス量は無しとする。有効デフォーカス方向も有効デフォーカス量と同様である。さらに、たとえば、有効デフォーカス方向は、複数の領域のうち、デフォーカス量が得られていて、信頼度レベルが高い領域、または、デフォーカス量の信頼度レベルが「中」である領域を探索し、その中で最も多い方向を有効デフォーカス方向とする。
なお、上記の説明では、最大差となった領域のデフォーカス量を、偏差の大きいデフォーカス量として、平均値算出の際の演算対象から外すことを示した(ステップS1105)。この点、偏差の大きいデフォーカス量を演算から外さなくても、その重み付けを小さくすることでも一定の効果を奏することができる。ただし、その場合には、その重み付け分だけ、主被写体像からデフォーカスしてしまう可能性もある。
このように焦点検出範囲内の複数の領域のそれぞれのデフォーカス量のうち、偏差の大きいデフォーカス量を使わないのは、次の理由からである。すなわち、焦点検出範囲に対して1つのデフォーカス量を複数の領域のデフォーカス量から算出する都合上、その焦点検出範囲の大きさによっては、いわゆる遠近競合が生じる可能性が相対的に高いからである。
なお、上記では、焦点検出範囲において出力された複数のフォーカス情報のそれぞれを用いて、当該焦点検出範囲に対応する1つのデフォーカス情報を取得する方法として平均処理を例示した。この点、平均ではなく例えば、ある重み付けをしてデフォーカス量を算出してもよい。このように、出力された複数のデフォーカス情報のそれぞれを用いて、当該焦点検出範囲に対応する1つのデフォーカス情報を取得する意義は、次の理由である。すなわち、焦点検出範囲内の各領域のデフォーカス量の中から1つの領域のデフォーカス量を選択すると、被写体像を「線」もしくは「点」で捕捉してしまう。そのため、被写体像に対する「線」もしくは「点」で捕捉する領域ごとのデフォーカス量の差に対しても、フォーカス制御をしてしまい、ライブビュー画像や動画として適切な状態とならない可能性が高くなる。この点、各領域のデフォーカス量を平均するという技術思想によれば、被写体像をいわば「面」で捕捉することになるので、「線」もしくは「点」で捕捉する領域ごとのデフォーカス量の差によるフォーカス制御による弊害を軽減することができる。また、上記で示したようにユーザーが意図する被写体像への合焦精度も担保される。また、平均処理でなく、重み付けを以って出力された複数のフォーカス情報のそれぞれを用いて、当該エリアに対応する1つのデフォーカス情報を取得するようにしても同様である。
このように、一体で捕捉すべき被写体像に対して、エリア配置内の複数のデフォーカス量を平均することにより、焦点検出エリア内の領域ごとのデフォーカス量のばらつきを抑制し、安定したフォーカス制御を達成できる。
また、ステップS1103およびステップS1107における所定差は、被写体の撮影状態が低照度か否かで変更しても良い。低照度撮影の場合、ISO感度を上げて撮影したり、被写体像のコントラストが低い場合が考えられる。これにより、A像信号、B像信号のS/Nが悪くなったり、相関量の急峻性も得られにくく、デフォーカス量のばらつきが大きくなり、精度が悪化する可能性がある。そのため、通常撮影時と同等のしきい値では、範囲内に収まる可能性が低くなる。そのため、上述の低照度撮影か否かを判定し、低照度撮影時には、低照度撮影ではない場合と比較して所定差の値を大きくする。
同様に、複数の領域の相関量を加算した状態と加算していない状態、つまり、第1の分割領域とそれ以外の場合で、所定差を異ならせても良い。つまり、第1の分割領域の際と比較してそれ以外の分割領域の場合には、所定差の値を大きくする。これは、複数の領域の相関量を加算する場合は、デフォーカス量の信頼度が低い状態であり、かつ低照度撮影時や低コントラスト被写体の状態であるため、精度が悪化している状態である。そのため、複数の領域の相関量を加算していない状態と同等のしきい値では、範囲内に収まる可能性が低くなるため、被写体を捕捉してフォーカス制御を安定させることが困難になることが想定されるためである。これにより、被写体の撮影状態によらず、被写体を捕捉することが可能となり、デフォーカス量の精度を維持し、フォーカス制御の安定化を図ることが可能となる。
以上説明したように、本発明の実施形態では、撮像面位相差AF方式において、撮影画面上の焦点検出範囲内で、位相差検知方向と同方向と直角方向とに複数分割して、焦点検出領域を配置している。そして、焦点検出結果、および被写体の撮影状態に応じて、複数の領域の相関量の加算の仕方を変更する。これにより、従来の撮像装置よりもライブビューモードや動画撮影に適した安定したフォーカス制御を実現することが出来る。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
10:レンズ装置、20:撮像装置、101:第1群レンズ、102:絞り、103:フォーカスレンズ、106:レンズ制御部、201:撮像素子、204:AF信号処理部、207:カメラ制御部

Claims (27)

  1. 撮影画面内の焦点検出範囲内に、フォーカス情報を検知する方向に対応する方向およびフォーカス情報を検知する方向に対して垂直な方向に複数の領域を設定する領域設定手段と、
    前記複数の領域から出力された複数のフォーカス情報のうちの、少なくとも一部の領域のフォーカス情報を組み合わせて前記焦点検出範囲全体についての1つのデフォーカス情報を算出する算出手段と、
    算出されたデフォーカス情報に基づいてフォーカス制御を行う制御手段とを有し、
    前記算出手段は、撮影状態に応じて、フォーカス情報を検知する方向に対応する方向に並ぶ複数の領域の組み合わせと、フォーカス情報を検知する方向に対して垂直な方向に並ぶ複数の領域の組み合わせとの少なくともいずれかを選択して、選択された領域から出力された複数のフォーカス情報を加算することを特徴とするフォーカス制御装置。
  2. 前記撮影状態は、被写体の照度であり、
    前記算出手段は、前記被写体の照度に応じて、フォーカス情報を検知する方向に対応する方向に並ぶ複数の領域を組み合わせるか、フォーカス情報を検知する方向に対して垂直な方向に並ぶ複数の領域を組み合わせるかを選択することを特徴とする請求項1に記載のフォーカス制御装置。
  3. 前記算出手段は、被写体が低照度であると判定された場合には、少なくとも前記フォーカス情報を検知する方向に対して垂直な方向に位置する複数の領域のフォーカス情報を加算することを特徴とする請求項2に記載のフォーカス制御装置。
  4. 前記算出手段は、少なくともフォーカス情報を検知する方向と垂直な方向に位置する複数の領域のそれぞれのフォーカス情報が得られず、かつ、被写体が低照度であると判定された場合に、フォーカス情報を検知する方向に対して垂直な方向に位置する複数の領域のフォーカス情報を加算することを特徴とする請求項1乃至3のいずれか1項に記載のフォーカス制御装置。
  5. 前記算出手段は、少なくともフォーカス情報を検知する方向に対応する方向に位置する複数の領域のそれぞれのフォーカス情報が得られなかった場合に、フォーカス情報を検知する方向に対応する方向に位置する複数の領域のフォーカス情報を加算することを特徴とする請求項1乃至4のいずれか1項に記載のフォーカス制御装置。
  6. 前記撮影状態は、被写体のコントラストであり、
    前記算出手段は、前記被写体のコントラストに応じて、フォーカス情報を検知する方向に対応する方向に並ぶ複数の領域を組み合わせるか、フォーカス情報を検知する方向に対して垂直な方向に並ぶ複数の領域を組み合わせるかを選択することを特徴とする請求項に記載のフォーカス制御装置。
  7. 前記算出手段は、被写体が低コントラストであると判別された場合には、少なくともフォーカス情報を検知する方向に対して垂直な方向に配置された複数の領域のフォーカス情報を加算することを特徴とする請求項6に記載のフォーカス制御装置。
  8. 前記算出手段は、少なくともフォーカス情報を検知する方向と垂直な方向に位置する複数の領域のそれぞれのフォーカス情報が得られず、かつ、被写体が低コントラストであると判定された場合に、フォーカス情報を検知する方向に対して垂直な方向に位置する複数の領域のフォーカス情報を加算することを特徴とする請求項6または7に記載のフォーカス制御装置。
  9. 前記算出手段は、前記フォーカス情報を検知する方向と垂直な方向に位置する複数の領域のフォーカス情報加算する際に、前記フォーカス情報が第1の所定範囲内に含まれている領域のフォーカス情報を加算することを特徴とする請求項1乃至8のいずれか1項に記載のフォーカス制御装置。
  10. 前記第1の所定範囲を、撮影状態に応じて異ならせることを特徴とする請求項9に記載のフォーカス制御装置。
  11. 前記第1の所定範囲を、被写体が低照度であるか否かで異ならせることを特徴とする請求項9または10に記載のフォーカス制御装置。
  12. 前記第1の所定範囲を、被写体が低コントラストであるか否かで異ならせることを特徴とする請求項9または10に記載のフォーカス制御装置。
  13. 前記領域に対応する画素の位置から対の像が出力され、前記フォーカス情報は、2像の相関度の情報であることを特徴とする請求項1乃至12のいずれか1項に記載のフォーカス制御装置。
  14. 前記算出手段は、前記複数の領域で得られた2像の相関度を示す相関量を加算した相関量をフォーカス情報として算出することを特徴とする請求項13に記載のフォーカス制御装置。
  15. 前記フォーカス情報とは異なる第2のフォーカス情報を出力する第2の出力手段をさらに有し、
    前記算出手段は、前記フォーカス情報を検知する方向と垂直な方向に位置する複数の領域のフォーカス情報加算する際に、前記第2のフォーカス情報が第2の所定範囲内に含まれている領域のフォーカス情報を加算することを特徴とする請求項1乃至8のいずれか1項に記載のフォーカス制御装置。
  16. 前記第2の所定範囲を、撮影状態に応じて異ならせることを特徴とする請求項15に記載のフォーカス制御装置。
  17. 前記第2の所定範囲を、被写体が低照度であるか否かで異ならせることを特徴とする請求項15または16に記載のフォーカス制御装置。
  18. 前記第2の所定範囲を、被写体が低コントラストであるか否かで異ならせることを特徴とする請求項15または16に記載のフォーカス制御装置。
  19. 前記第1、第2所定範囲は、被写体が低照度であると判定された場合に、被写体が低照度でないと判定された場合と比較して所定範囲を広げることを特徴とする請求項10、11、16、17いずれか1項に記載のフォーカス制御装置。
  20. 前記第1、第2所定範囲は、被写体が低コントラストであると判定された場合に、被写体が低コントラストでないと判定された場合と比較して所定範囲を広げることを特徴とする請求項10、12、16、18いずれか1項に記載のフォーカス制御装置。
  21. 前記算出手段は、前記フォーカス情報を検知する方向に対応する方向に位置する複数の領域のフォーカス情報を加算してフォーカス情報が得られなかった場合には、さらに前記フォーカス情報を検知する方向と垂直な方向に位置する複数の領域のフォーカス情報も加算することを特徴とする請求項1乃至20のいずれか1項に記載のフォーカス制御装置。
  22. 前記算出手段は、前記フォーカス情報を検知する方向と垂直な方向に位置する複数の領域のフォーカス情報を加算してフォーカス情報が得られなかった場合には、さらに前記フォーカス情報を検知する方向と対応する方向に位置する複数の領域のフォーカス情報も加算することを特徴とする請求項1乃至20のいずれか1項に記載のフォーカス制御装置。
  23. 複数のマイクロレンズを有する撮像素子を有し、当該マイクロレンズに対応して複数の受光部を有することを特徴とする請求項1乃至22のいずれか1項に記載のフォーカス制御装置。
  24. 複数のマイクロレンズを有する撮像素子を有し、当該マイクロレンズに対応する受光部の開口位置が異なる画素部を有することを特徴とする請求項1乃至22のいずれか1項に記載のフォーカス制御装置。
  25. 撮影画面内の焦点検出範囲内にフォーカス情報を検知する方向に対応する方向およびフォーカス情報を検知する方向に対して垂直な方向に複数の領域を設定する領域設定工程と、
    前記複数の領域から出力された複数のフォーカス情報のうちの、少なくとも一部の領域のフォーカス情報を組み合わせて前記焦点検出範囲全体についての1つのデフォーカス情報を算出する算出工程と、
    算出されたデフォーカス情報に基づいてフォーカス制御を行う制御工程とを有し、
    前記算出工程では、撮影状態に応じて、フォーカス情報を検知する方向に対応する方向に並ぶ複数の領域の組み合わせと、フォーカス情報を検知する方向に対して垂直な方向に並ぶ複数の領域の組み合わせとの少なくともいずれかを選択して、選択された領域から出力された複数のフォーカス情報を加算することを特徴とするフォーカス制御方法。
  26. 請求項25に記載のフォーカス制御方法の各工程をコンピュータに実行させるためのプログラム。
  27. 請求項25に記載のフォーカス制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2015008957A 2015-01-20 2015-01-20 フォーカス制御装置及びその方法、プログラム、記憶媒体 Active JP6506560B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015008957A JP6506560B2 (ja) 2015-01-20 2015-01-20 フォーカス制御装置及びその方法、プログラム、記憶媒体
US15/000,790 US9848117B2 (en) 2015-01-20 2016-01-19 Focus control apparatus, method therefor, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015008957A JP6506560B2 (ja) 2015-01-20 2015-01-20 フォーカス制御装置及びその方法、プログラム、記憶媒体

Publications (3)

Publication Number Publication Date
JP2016133674A JP2016133674A (ja) 2016-07-25
JP2016133674A5 JP2016133674A5 (ja) 2018-03-01
JP6506560B2 true JP6506560B2 (ja) 2019-04-24

Family

ID=56408756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015008957A Active JP6506560B2 (ja) 2015-01-20 2015-01-20 フォーカス制御装置及びその方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US9848117B2 (ja)
JP (1) JP6506560B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
WO2015146228A1 (ja) * 2014-03-25 2015-10-01 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6833405B2 (ja) * 2016-08-26 2021-02-24 キヤノン株式会社 焦点検出装置、焦点調節装置、撮像装置及び焦点検出方法
WO2018168551A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮像素子及び撮像装置
JP2020020931A (ja) 2018-07-31 2020-02-06 オリンパス株式会社 フォーカス制御装置およびフォーカス制御方法
JP2020118764A (ja) 2019-01-21 2020-08-06 オリンパス株式会社 フォーカス制御装置およびフォーカス制御方法
US11202013B2 (en) * 2020-01-30 2021-12-14 Canon Kabushiki Kaisha Control apparatus, lens apparatus, imaging apparatus, control method, and non-transitory computer-readable storage medium
JP2021162829A (ja) * 2020-04-03 2021-10-11 キヤノン株式会社 焦点検出装置、撮像装置および焦点検出方法
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3478644B2 (ja) * 1995-08-18 2003-12-15 キヤノン株式会社 光学装置
JP2001004914A (ja) * 1999-06-24 2001-01-12 Canon Inc 合焦制御装置
JP3774597B2 (ja) * 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP4418576B2 (ja) * 2000-06-13 2010-02-17 キヤノン株式会社 カメラ
US7751700B2 (en) * 2006-03-01 2010-07-06 Nikon Corporation Focus adjustment device, imaging device and focus adjustment method
JP4973273B2 (ja) * 2007-03-28 2012-07-11 株式会社ニコン デジタルカメラ
CN101821657B (zh) * 2007-08-06 2013-08-07 佳能株式会社 摄像设备
CN101809994B (zh) * 2007-08-10 2012-11-14 佳能株式会社 摄像设备及其控制方法
JP2009115893A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置
US8223256B2 (en) * 2008-04-11 2012-07-17 Nikon Corporation Correlation calculation method, correlation calculation device, focus detection device and image-capturing apparatus
JP5276371B2 (ja) * 2008-07-09 2013-08-28 キヤノン株式会社 撮像装置
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
CN102713713B (zh) * 2009-10-13 2016-01-27 佳能株式会社 焦点调节设备和焦点调节方法
JP5693082B2 (ja) * 2010-08-09 2015-04-01 キヤノン株式会社 撮像装置
JP2014032214A (ja) * 2010-11-30 2014-02-20 Fujifilm Corp 撮像装置及びその合焦位置検出方法
JP5739653B2 (ja) * 2010-12-03 2015-06-24 キヤノン株式会社 撮像装置
JP5468178B2 (ja) * 2011-03-31 2014-04-09 富士フイルム株式会社 撮像装置、撮像装置の制御方法及びプログラム
KR101773168B1 (ko) * 2011-07-21 2017-09-12 삼성전자주식회사 위상차이 촬상 소자에 의한 초점 조절 장치 및 방법
JP5907595B2 (ja) * 2011-09-27 2016-04-26 キヤノン株式会社 撮像装置
JP5966299B2 (ja) * 2011-09-29 2016-08-10 株式会社ニコン 焦点検出装置およびそれを備えた撮像装置
JP5898481B2 (ja) * 2011-12-13 2016-04-06 キヤノン株式会社 撮像装置及び焦点検出方法
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP5968102B2 (ja) * 2012-06-15 2016-08-10 キヤノン株式会社 画像記録装置および画像再生装置
JP6029380B2 (ja) * 2012-08-14 2016-11-24 キヤノン株式会社 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
JP6223000B2 (ja) * 2012-08-23 2017-11-01 キヤノン株式会社 撮像装置
JP5942757B2 (ja) * 2012-09-28 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
JP5911445B2 (ja) * 2013-03-19 2016-04-27 キヤノン株式会社 撮像装置及びその制御方法
JP5946421B2 (ja) * 2013-03-19 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
JP6013247B2 (ja) * 2013-03-26 2016-10-25 オリンパス株式会社 撮像装置
JP6334847B2 (ja) * 2013-04-17 2018-05-30 キヤノン株式会社 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置
JP6253272B2 (ja) * 2013-06-18 2017-12-27 キヤノン株式会社 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
JP2016133674A (ja) 2016-07-25
US20160212323A1 (en) 2016-07-21
US9848117B2 (en) 2017-12-19

Similar Documents

Publication Publication Date Title
JP6506560B2 (ja) フォーカス制御装置及びその方法、プログラム、記憶媒体
JP6317548B2 (ja) 撮像装置及びその制御方法
JPWO2012133413A1 (ja) 撮像装置、撮像装置の制御方法及びプログラム
US9106825B2 (en) Image capture apparatus, image capture method and storage medium
JP2015194706A (ja) 焦点検出装置及びその制御方法
US9319599B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium storing an image processing program
JP2012113171A (ja) 撮像装置およびその制御方法
US20140132824A1 (en) Imaging apparatus and imaging method
JP2011028048A (ja) 撮像装置、及び撮像装置の制御方法
JP6808333B2 (ja) 表示制御装置及び方法、及び撮像装置
US10362214B2 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
US9602716B2 (en) Focus-detection device, method for controlling the same, and image capture apparatus
JP6300670B2 (ja) 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
JP6238578B2 (ja) 撮像装置およびその制御方法
JP2016142999A (ja) 撮像装置及びその制御方法
JP6305017B2 (ja) フォーカス制御装置、およびその制御方法
JP2018031966A (ja) 焦点検出装置、焦点調節装置、撮像装置及び焦点検出方法
JP6305016B2 (ja) フォーカス制御装置、フォーカス制御装置の制御方法及び撮像装置
JP2018091977A (ja) フォーカス制御装置、撮像装置、フォーカス制御方法およびフォーカス制御プログラム
JP2018010245A (ja) 信号処理装置、その制御方法
CN107454310B (zh) 摄像设备及其控制方法及存储介质
JP7207874B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2020003693A (ja) 撮像装置及び撮像装置の制御方法
JP2016057402A (ja) 撮像装置及びその制御方法
US20170155882A1 (en) Image processing apparatus, image processing method, imaging apparatus, and recording medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190329

R151 Written notification of patent or utility model registration

Ref document number: 6506560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151