JP6249825B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

撮像装置、その制御方法、および制御プログラム Download PDF

Info

Publication number
JP6249825B2
JP6249825B2 JP2014042635A JP2014042635A JP6249825B2 JP 6249825 B2 JP6249825 B2 JP 6249825B2 JP 2014042635 A JP2014042635 A JP 2014042635A JP 2014042635 A JP2014042635 A JP 2014042635A JP 6249825 B2 JP6249825 B2 JP 6249825B2
Authority
JP
Japan
Prior art keywords
width
area
correlation calculation
calculation area
distance measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014042635A
Other languages
English (en)
Other versions
JP2015169708A (ja
Inventor
斎藤 潤一
潤一 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014042635A priority Critical patent/JP6249825B2/ja
Priority to US14/636,887 priority patent/US9407812B2/en
Publication of JP2015169708A publication Critical patent/JP2015169708A/ja
Application granted granted Critical
Publication of JP6249825B2 publication Critical patent/JP6249825B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • H01L27/14647Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮像素子の出力に応じてオートフォーカス(AF)制御を行う撮像装置に関する。
一般に、デジタルカメラなどの撮像装置における焦点検出手法の1つとして、撮像素子に備えられた焦点検出画素を用いて撮像面位相差検出によって焦点検出を行う手法が知られている。
例えば、撮像面位相差検出を行うための撮像素子として、画素の各々に備えられたマイクロレンズに対して、少なくとも一対の検出器(つまり、光電変換素子)を有する撮像素子が知られている(特許文献1参照)。
撮像面位相差検出による測距においては、異なる瞳領域における一対の像信号を用いて、これら像信号を相対的にシフトして両者の相関値を順次算出する相関演算処理が行われる。そして、最も相関値が高いシフト量に応じて、合焦となるフォーカス位置をデフォーカス量として求めて、当該でフォーカス量に応じて焦点調節制御が行われる。
図15は、従来の撮像装置における撮像面位相差検出による測距を説明するための図である。そして、図15(a)は撮像範囲に配置された測距領域およびシフト領域を示す図であり、図15(b)は測距領域の設定可能範囲を示す図である。なお、以下の説明では、測距領域(A)およびシフト領域(B)を合わせて相関演算領域と呼ぶ。
図15(a)に示す例では、画面1501の中央部に測距領域(A)1502が配置されている。そして、読み出しおよび相関演算が行われる領域であるシフト領域(B)1503が、水平方向において測距領域(A)1502に隣接して配置されている。
相関演算処理においては、測距を行う測距領域(A)1502とは別にその周辺領域をシフト領域(B)1503として、所定量(ここでは、シフト領域(B)1503の幅の2倍に相当する量)のシフト処理を行う。そして、シフト処理を行う都度、相関演算が行われて焦点調節制御のためのデフォーカス量が算出される。
ところで、測距領域(A)1502の両隣りにシフト領域(B)1503が設定される関係上、撮像範囲である画面1501において測距領域(A)1502が設定可能な設定可能範囲1504(図15(b)において一点鎖線で示す)は、シフト領域(B)1503の幅分だけ、撮像範囲の内側に制限される(図15(b)参照)。
特開昭58−24105号公報
前述のように、従来の撮像装置においては、撮像範囲において測距領域の設定可能範囲が制限されてしまう関係上、撮像範囲のいずれにおいても相関演算処理を行うことができない。このため、従来の撮像装置においては撮像範囲の全体に亘って精度よく焦点調節制御を行うことが困難となってしまう。
従って、本発明の目的は、撮像範囲に設定される測距領域の設定可能範囲が制限されることなく、精度よく焦点調節制御を行うことができる撮像装置、その制御方法、および制御プログラムを提供することにある。
上記の目的を達成するため、本発明による撮像装置は、結像光学の互いに異なる結像光学系の瞳領域を通過する光を受ける複数の副画素を備える画素が2次元マトリックス状に配列された撮像素子を備え、前記撮像素子の出力である画像信号に応じて焦点検出を行う撮像装置であって、前記画像信号が示す画像においてデフォーカス量を検出する際の対象範囲を測距領域として設定するとともに、前記複数の副画素から出力される像信号についてその相関量を求める際のシフト領域を設定して、前記測距領域および前記シフト領域を相関演算領域とする領域設定手段と、前記相関演算領域において前記複数の副画素から出力される像信号をシフト処理して前記相関量を求め、当該相関量に応じて前記デフォーカス量を算出して当該デフォーカス量に基づいて焦点調節を行う焦点検出手段と、前記画像において前記相関演算領域が予め定められた第1の幅を有するサイズで設定可能な位置に前記測距領域が設定されると、前記シフト領域の幅を所定の幅とし、前記相関演算領域が前記第1の幅を有するサイズで設定できない位置に前記測距領域が設定されると、前記シフト領域の幅を前記所定の幅よりも小さい幅として前記相関演算領域の幅を前記第1の幅よりも小さい第2の幅とする制御手段と、を有することを特徴とする。
本発明による制御方法は、結像光学の互いに異なる結像光学系の瞳領域を通過する光を受ける複数の副画素を備える画素が2次元マトリックス状に配列された撮像素子を備え、前記撮像素子の出力である画像信号に応じて焦点検出を行う撮像装置の制御方法であって、前記画像信号が示す画像においてデフォーカス量を検出する際の対象範囲を測距領域として設定するとともに、前記複数の副画素から出力される像信号についてその相関量を求める際のシフト領域を設定して、前記測距領域および前記シフト領域を相関演算領域とする領域設定ステップと、前記相関演算領域において前記複数の副画素から出力される像信号をシフト処理して前記相関量を求め、当該相関量に応じて前記デフォーカス量を算出して当該デフォーカス量に基づいて焦点調節を行う焦点検出ステップと、前記画像において前記相関演算領域が予め定められた第1の幅を有するサイズで設定可能な位置に前記測距領域が設定されると、前記シフト領域の幅を所定の幅とし、前記相関演算領域が前記第1の幅を有するサイズで設定できない位置に前記測距領域が設定されると、前記シフト領域の幅を前記所定の幅よりも小さい幅として前記相関演算領域の幅を前記第1の幅よりも小さい第2の幅とする制御ステップと、を有することを特徴とする。
本発明による制御プログラムは、結像光学の互いに異なる結像光学系の瞳領域を通過する光を受ける複数の副画素を備える画素が2次元マトリックス状に配列された撮像素子を備え、前記撮像素子の出力である画像信号に応じて焦点検出を行う撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記画像信号が示す画像においてデフォーカス量を検出する際の対象範囲を測距領域として設定するとともに、前記複数の副画素から出力される像信号についてその相関量を求める際のシフト領域を設定して、前記測距領域および前記シフト領域を相関演算領域とする領域設定ステップと、前記相関演算領域において前記複数の副画素から出力される像信号をシフト処理して前記相関量を求め、当該相関量に応じて前記デフォーカス量を算出して当該デフォーカス量に基づいて焦点調節を行う焦点検出ステップと、前記画像において前記相関演算領域が予め定められた第1の幅を有するサイズで設定可能な位置に前記測距領域が設定されると、前記シフト領域の幅を所定の幅とし、前記相関演算領域が前記第1の幅を有するサイズで設定できない位置に前記測距領域が設定されると、前記シフト領域の幅を前記所定の幅よりも小さい幅として前記相関演算領域の幅を前記第1の幅よりも小さい第2の幅とする制御ステップと、を実行させることを特徴とする。
本発明によれば、画像において相関演算領域が第1の幅を有するサイズで設定可能な位置に前記測距領域が設定されると、シフト領域の幅を所定の幅とする。そして、相関演算領域が第1の幅を有するサイズで設定できない位置に測距領域が設定されると、シフト領域の幅を前記所定の幅よりも小さい幅として前記相関演算領域の幅を第1の幅よりも小さい第2の幅とする。これによって、撮像範囲に設定される測距領域の設定可能範囲が制限されることなく、精度よく焦点調節制御を行うことができる。
本発明の第1の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図1に示す撮像素子における画素配列の一例を説明するための図である。 図2に示す画素の構成を説明するための図であり、(a)は受光面側からみた平面図、(b)は(a)のa−a線の断面図である。 図3に示す画素の構造と瞳分割との対応を説明するための図である。 図3に示す撮像素子と瞳分割との関係を説明するための図である。 図2に示す撮像素子においてデフォーカス量と像ずれ量との関係を説明するための図である。 図1に示すカメラで行われる焦点検出処理を説明するためのフローチャートである。 図1に示す相関演算領域制御部によって設定される相関演算領域の一例を説明するための図であり、(a)は相関演算領域を第1の幅であるデフォルト幅設定とした際の相関演算領域の一例を示す図、(b)は相関演算領域を第2の幅である制限幅とした際の相関演算領域の一例を示す図、(c)は相関演算領域を第2の幅である制限幅とした際の相関演算領域の他の例を示す図である。 図1に示すカメラにおいて瞳ずれに起因するシェーディングを説明するための図であり、(a)は結像光学系の射出瞳距離と撮像素子の設定瞳距離が同一の場合のシェーディングを示す図、(b)は結像光学系の射出瞳距離が撮像素子の設定瞳距離より短い場合のシェーディングを示す図、(c)は結像光学系の射出瞳距離が撮像素子の設定瞳距離より長い場合のシェーディングを示す図である。 図1に示す画像処理回路で行われるフィルタ処理を説明するための図である。 図1に示す相関演算領域制御部によって設定される相関演算領域の他の例を説明するための図であり、(a)は相関演算領域を第1の幅であるデフォルト幅設定とした際の相関演算領域の一例を示す図、(b)は相関演算領域を第2の幅である制限幅とした際の相関演算領域の一例を示す図である。 本発明の第2の実施形態によるカメラで行われる焦点検出処理を説明するためのフローチャートである。 本発明の第2の実施形態によるカメラにおいて被写体追尾モードが設定された際の相関演算領域の設定を説明するための図であり、(a)は相関演算領域設定の第1の例を示す図、(b)は相関演算領域設定の第2の例を示す図である。 本発明の第2の実施形態によるカメラにおいて被写体追尾モードが設定された際の相関演算領域の設定を説明するための図であり、(a)は相関演算領域設定の第3の例を示す図、(b)は相関演算領域設定の第4の例を示す図である。 従来の撮像装置における撮像面位相差検出による測距を説明するための図であり、(a)は撮像範囲に配置された測距領域およびシフト領域を示す図、(b)は測距領域の設定可能範囲を示す図である。
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
[第1の実施形態]
<全体構成>
図1は、本発明の第1の実施形態による撮像装置の一例についてその構成を示すブロック図である。
図示の撮像装置は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)であり、結像光学系を有している。結像光学系はその先端に第1のレンズ群101を備えており、この第1のレンズ群101は光軸に沿って進退可能に保持されている。第1のレンズ群101の後段には絞り兼用シャッタ102が配置されており、絞り兼用シャッタ102の開口径を調節することによって撮影の際の光量調節が行われる。なお、絞り兼用シャッタ102は静止画撮影の際には露光秒時調節用シャッタとして用いられる。
結像光学系は、絞り兼用シャッタ102の後段に配置された第2のレンズ群103を備えている。そして、絞り兼用シャッタ102および第2レンズ群103は一体となって光軸に沿って進退される。この際、第1のレンズ群101の進退動作と連動して、変倍作用(ズーム機能)が行われる。
第2のレンズ群103の後段には、第3のレンズ群105が配置されており、第3のレンズ群105を光軸に沿って進退させて焦点調節が行われる。第3のレンズ群105の後段に配置された光学的ローパスフィルタ106は、撮影画像における偽色およびモアレを軽減するための光学素子である。撮像素子107は、例えば、2次元CMOSフォトセンサーとその周辺回路とを備えており、結像光学系の結像面に配置される。
ズームアクチュエータ111は、カム筒(図示せず)を回動して、第1のレンズ群111乃至第2のレンズ群103を光軸に沿って進退駆動して変倍操作を行う。絞りシャッタアクチュエータ112は絞り兼用シャッタ102の開口径を制御して、撮影の際の光量(撮影光量)を調節するとともに、静止画撮影の際の露光時間制御を行う。フォーカスアクチュエータ114は、第3のレンズ群105を光軸に沿って進退駆動して焦点調節を行う。
被写体照明用電子フラッシュ115は撮影の際に選択的に用いられる。被写体照明用電子フラッシュ115は、例えば、キセノン管を用いた閃光照明装置であるが、連続発光するLEDを備えた照明装置を用いるようにしてもよい。AF補助光部116は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写界に投影して、暗い被写体又は低コントラスト被写体に対する焦点検出を向上させるために用いられる。
CPU121は、カメラ全体の制御を司り、図示はしないが、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、および通信インターフェイス回路などを有している。そして、CPU121はROMに格納された所定のプログラムに基づいて、カメラを制御して、オートフォーカス(AF)、撮影、画像処理、および画像記録などの一連の動作を行う。
電子フラッシュ制御回路122は撮影動作に同期して被写体照明用電子フラッシュ115を点灯制御する。補助光駆動回路123は焦点検出動作に同期してAF補助光部116を点灯制御する。撮像素子駆動回路124は撮像素子107における撮像動作を制御するとともに、撮像素子107の出力である画像信号をA/D変換してデジタル画像信号としてCPU121に送る。
画像処理回路125は、撮像素子107の出力である画像信号について、例えば、γ変換、カラー補間、およびJPEG圧縮などの画像処理を行う。フォーカス駆動回路126は、CPU121で得られた焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御する。これによって、フォーカス駆動回路126は第3のレンズ群105を光軸に沿って進退駆動して焦点調節を行う。
絞りシャッタ駆動回路128は絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口径を制御する。ズーム駆動回路129は撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
表示装置131は、例えば、LCDである。表示装置131には、カメラの撮影モードに関するモード情報、撮影前のプレビュー画像と撮影後の確認用画像、そして、焦点検出の際の合焦状態表示画像などが表示される。操作スイッチ群132は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、および撮影モード選択スイッチなどを備えている。フラッシュメモリ133はカメラに着脱可能であって、撮影済み画像を記録する。
図示のように、CPU121の機能には、焦点検出信号生成部1211、相関演算領域制御部1212、および、焦点検出部(図示せず)が含まれている。焦点検出信号生成部1211は撮像素子107の出力である画像信号(ここでは、撮像素子駆動回路124から送られるデジタル画像信号)に応じて、後述の第1および第2焦点検出信号を生成する。相関演算領域制御部1212は、後述する相関演算領域の幅を設定する。そして、焦点検出部は後述するシフト処理を実行する。
<撮像素子>
図2は、図1に示す撮像素子107における画素配列の一例を説明するための図である。
図2に示す撮像素子107は2次元マトリックス状に配列された複数の画素を有している。ここでは、2次元CMOSセンサー(撮像素子)において、その画素配列が4行×4列の範囲で示され、副画素(焦点検出画素)配列が8行×4列の範囲で示されている。図2に示す4行×4列の画素群は撮像素子面上に多数配置されており、撮像素子107は光学像に応じた画像信号を出力する。なお、上述のように、図示の例では、画素の各々は2つの副画素(焦点検出画素)で構成されることになる。
ここでは、撮像素子107は、例えば、画素周期Pが4μm、画素数Nが横5575列×縦3725行=約2075万画素である。そして、焦点検出画素の列方向周期PAFが2μm、焦点検出画素数NAFが横11150列×縦3725行=約4150万画素である。
図2において、2行×2列の画素群200は、その左上の位置にR(赤)の分光感度を有する画素200Rが配置され、G(緑)の分光感度を有する画素200Gが右上と左下に配置されている。また、B(青)の分光感度を有する画素200Bが右下に配置されている。さらに、画素の各々には、第1方向(y方向)における第1分割数をN1、第2方向(x方向)における第2分割数をN2として、N1×N2(1×2)の第1の焦点検出画素201および第2の焦点検出画素202が2次元配列されている。
図3は、図2に示す1つの画素200Gについて説明するための図である。そして、図3(a)は1つの画素200Gを撮像素子の受光面側(+z側)からみた平面図であり、図3(b)は図3(a)のa−a線に沿った断面を−y側からみた図である。
図3において、画素200Gは、y方向にNV分割(1分割)され、y方向と直交するx方向にNH分割(2分割)されて、NV1×NH(1×2)の光電変換部301および光電変換部302が形成されている。なお、光電変換部301および光電変換部302はそれぞれ図2に示す第1の焦点検出画素201および第2の焦点検出画素202に対応する。また、ここでは、他の画素についても同様にして分割されている。
なお、光電変換部301および302の各々は、例えば、p型層とn型層との間にイントリンシック層を挟んだpin構造フォトダイオードである。そして、必要に応じて、イントリンシック層を省略してpn接合フォトダイオードとするようにしてもよい。
さらに、画素200Gには、その受光側に入射光を集光するためのマイクロレンズ(ML)305が形成されている。そして、マイクロレンズ305と光電変換部301および光電変換部302との間には、カラーフィルター306が形成されている。さらに、必要に応じて、副画素(つまり、焦点検出画素)毎にカラーフィルターの分光透過率を変えるようにしてもよく、さらにはカラーフィルターを省略するようにしてもよい。
図3に示す画素200Gに入射した光は、マイクロレンズ305によって集光され、カラーフィルターで分光された後、光電変換部301および光電変換部302で受光される。光電変換部301および302においては、受光量に応じて電子およびホールが生成されて、空乏層で分離された後、負電荷の電子はn型層(不図示)に蓄積される。一方、ホールは定電圧源(図示せず)に接続されたp型層を介して撮像素子の外に排出される。光電変換部301および302のn型層(不図示)に蓄積された電子は、転送ゲートを介して静電容量部(FD)に転送されて、電圧信号に変換される。
図4は、図3に示す画素の構造と瞳分割との対応を説明するための図である。
図4では、図3(a)に示す画素のa−a線に沿った断面を+y側からみた際の結像光学系における射出瞳面が示されている。そして、射出瞳面の座標軸と対応を取るため、図3(a)におけるx軸およびy軸を反転させている。
撮像素子107は、結像光学系の結像面近傍に配置されており、被写体からの光束は結像光学系の射出瞳400を通過して各画素に入射する。マイクロレンズによって、第1の瞳部分領域501および第2の瞳部分領域502は1×2分割された光電変換部301および光電変換部302(つまり、第1の焦点検出画素201および第2の焦点検出画素202)の受光面と概ね共役関係になっており、光電変換部(副画素)毎に受光可能な瞳部分領域を表している。
つまり、第1の瞳部分領域501は、その重心が−x方向に偏心している光電変換部301の受光面と概ね共役関係になっており、第1の瞳部分領域501は、瞳面上で+x側に重心が偏心している。同様に、第2の瞳部分領域502は、その重心が+x方向に偏心している光電変換部302の受光面と概ね共役関係になっており、第2の瞳部分領域502は瞳面上で−x側に重心が偏心している。
また、瞳領域500は、光電変換部301および光電変換部302(第1の焦点検出画素201および第2の焦点検出画素202)を合わせた際の画素200G全体における受光可能な瞳領域である。
図5は、図3に示す撮像素子107と瞳分割との関係を説明するための図である。
第1の瞳部分領域501および第2の瞳部分領域502を通過した光束は、撮像面800を通過して撮像素子107の画素にそれぞれ異なる角度で入射する。そして、光束は、2×1分割された第1の焦点検出画素201および第2の焦点検出画素202で受光される。なお、図示の例では、瞳領域が水平方向に2つに瞳分割されているが、必要に応じて、垂直方向に瞳分割を行うようにしてもよい。
前述のように、撮像素子107は、第1の瞳部分領域501を通過する光束を受光する第1の焦点検出画素201を備えるとともに、第2の瞳部分領域502を通過する光束を受光する第2の焦点検出画素202を備えている。そして、撮像の際に用いられる画撮像画素は第1の焦点検出画素201および第2の焦点検出画素202から構成されている。
なお、撮像画素と第1の焦点検出画素201および第2の焦点検出画素201を別として、撮像画素配列の一部分に第1の焦点検出画素201および第2の焦点検出画素202を配置するようにしてもよい。
ここで、撮像素子107に配列された画素200G(200R、200B)を構成する第1の焦点検出画素201から取得される画像信号をA像(第1の焦点検出信号)とする。同様に、撮像素子107に配列された画素200G(200R、200B)を構成する第2の焦点検出画素202から取得される画像信号をB像(第2の焦点検出信号)とする。
CPU121に備えられた焦点検出信号生成部1211はA像およびB像の像ずれ量(相対位置)を算出して、デフォーカス量(合焦ずれ量)に換算して撮像面位相差方式による焦点検出を行う。
一方、撮像素子107に配列された画素200G(200R、200B)毎に、第1の焦点検出画素201から得られる画素信号と第2の焦点検出画素202から得られる画素信号とを加算すると、有効画素数Nの解像度における撮像画像を生成することができる。
<デフォーカス量と像ずれ量との関係>
ここで、図2に示す撮像素子107から得られる第1の焦点検出信号および第2の焦点検出信号に応じて求められたデフォーカス量と像ずれ量との関係について説明する。
図6は、図2に示す撮像素子107においてデフォーカス量と像ずれ量との関係を説明するための図である。
ここでは、撮像面800に撮像素子(図示せず)が配置され、結像光学系の射出瞳が第1の瞳部分領域501と第2の瞳部分領域502に2分割される。被写体の結像位置から撮像面までの距離を大きさ|d|として、被写体の結像位置が撮像面800よりも被写体側にある前ピン状態の場合に、デフォーカス量dは負符号(d<0)とされる。また、被写体の結像位置が撮像面800よりも後ろ側(つまり、被写体の反対側)にある後ピン状態の場合に、デフォーカス量dは正符号(d>0)とされる。そして、被写体の結像位置が撮像面800(合焦位置)にある合焦状態においては、デフォーカス量d=0となる。
図6において、被写体801は合焦状態(d=0)であり、被写体802は前ピン状態(d<0)である。前ピン状態(d<0)および後ピン状態(d>0)はともにデフォーカス状態(|d|>0)である。
前ピン状態(d<0)においては、被写体802からの光束のうち第1の瞳部分領域501(又は第2の瞳部分領域502)を通過した光束は、一度集光された後、光束の重心位置G1(又はG2)を中心として幅Γ1(又はΓ2)に広がる。そして、撮像面800においてボケた像となる。このボケた像は第1の焦点検出画素201(又は第2の焦点検出画素202)によって受光されて、第1の焦点検出信号(又は第2の焦点検出信号)として出力される。
よって、第1の焦点検出信号(又は第2の焦点検出信号)は、撮像面800上の重心位置G1(又はG2)に、被写体802が幅Γ1(又はΓ2)にボケた被写体像として記録されることになる。被写体像のボケ幅Γ1(又はΓ2)は、デフォーカス量dの大きさ|d|が増加するにつれて概ね比例して増加する。
同様に、第1の焦点検出信号と第2の焦点検出信号との間の被写体像の像ずれ量p(=重心位置の差G1−G2)の大きさ|p|も、デフォーカス量dの大きさ|d|が増加するにつれて、概ね比例して増加する。後ピン状態(d>0)においては、第1の焦点検出信号と第2の焦点検出信号との間の被写体像の像ずれ方向が前ピン状態と逆となるが、前ピン状態(d<0)と同様である。
従って、第1の焦点検出信号および第2の焦点検出信号、又は第1の焦点検出信号および第2の焦点検出信号を加算して得られた撮像信号のデフォーカス量の大きさが増加するにつれて、第1の焦点検出信号と第2の焦点検出信号との間の像ずれ量の大きさが増加する。
<撮像面位相差方式による焦点検出>
撮像面位相差方式による焦点検出においては、第1の焦点検出信号と第2の焦点検出信号とを相対的に所定量シフトさせてこれら検出信号の一致度を示す相関量を求める。そして、相関量(つまり、一致度)がよくなるシフト量に応じて像ずれ量を検出する。つまり、撮像信号(画像信号)においてデフォーカス量の大きさが増加するにつれて、第1の焦点検出信号と第2の焦点検出信号との間の像ずれ量の大きさが増加する関係に応じて像ずれ量を検出し、当該像ずれ量をデフォーカス量に変換して焦点検出が行われる。
図7は、図1に示すカメラで行われる焦点検出処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、画像処理回路125およびCPU121によって行われる。
図示のフローチャートに係る処理は、例えば、撮影者によるレリーズボタンの半押し(SW1)による焦点調節動作開始指示があると開始される。焦点検出処理が開始されると、CPU121に備えられた相関演算領域制御部1212は、測距領域(対象範囲)およびシフト領域を有する相関演算領域を画像データが示す画面上に設定する(ステップS100)。
図8は、図1に示す相関演算領域制御部1212によって設定される相関演算領域の一例を説明するための図である。そして、図8(a)は相関演算領域を第1の幅であるデフォルト幅設定とした際の相関演算領域の一例を示す図であり、図8(b)は相関演算領域を第2の幅である制限幅とした際の相関演算領域の一例を示す図である。また、図8(c)は相関演算領域を第2の幅である制限幅とした際の相関演算領域の他の例を示す図である。
図8(a)においては、撮像範囲(画面)900の中央部に測距領域(A1)901が設定されており、当該測距領域(A1)901に隣接して左右に相関演算に用いるシフト領域(B1)902が配置される。一般に、デフォーカス状態において測距性能を向上させるためには、シフト領域(B1)902の幅を大きくして、シフト処理におけるビットシフト量を多くする必要がある。
シフト領域(B1)902は測距性能を満足する幅を有しており、図8(a)に示す例では、シフト領域(B1)902の幅でシフト処理を行うことが可能な状態に測距領域(A1)901が配置されている。図8(a)に示すように、測距領域(A1)901が設定された際には、相関演算領域制御部1212は相関演算領域幅をデフォルト設定の状態として焦点検出を行う。
なお、一点鎖線で示された領域903は、当該領域903の内側に測距領域(A1)901を設定すれば、シフト領域(B1)902の幅を、測距性能を満足する状態とすることができる領域を示している。
図8(b)においては、測距領域(A1)901は、シフト領域(B1)902の幅が維持できない領域(つまり、一点鎖線で示す領域903の外側)に設定されている。この場合には、相関演算領域制御部1212はシフト領域(B1)902よりもその幅が狭いシフト領域(B2)904を設定して、相関演算領域幅を狭くする。これによって、測距可能なデフォーカス範囲に制限が掛るが、撮像素子における測距可能な範囲を広げることが可能になる。
図8(c)においては、シフト領域(B1)902の幅を維持して、測距領域(A1)901の幅よりもその幅が狭い測距領域(A2)905が設定される。測距領域(A2)905が設定される領域は、図8(a)と同様に一点鎖線で示す領域903の内側に存在し、測距領域(A2)905の中心(視野中心)は測距領域(A1)901の場合に比べて撮像領域の外側に設定することが可能となる。
なお、図8(b)および図8(c)に示す例では、シフト領域の幅および測距領域の幅のいずれか一方を変更するものとしたが、シフト領域の幅および測距領域の幅の双方を変更して、相関演算領域の幅を狭くするようにしてもよい。
再び図7を参照して、CPU121に備えられた焦点検出信号生成部1211は相関演算領域に対応する第1の焦点検出画素から第1の焦点検出信号を取得するとともに、相関演算領域に対応する第2の焦点検出画素から第2の焦点検出信号を取得する(ステップS110)。
続いて、CPU121は第1の焦点検出信号および第2の焦点検出信号の各々について、信号データ量を抑制するため列方向に3画素加算処理を行う。さらに、CPU121はRGB信号を輝度Y信号に変換するため、ベイヤー(RGB)加算処理を行う(ステップS120)。これら2つの加算処理を合わせて第1の画素加算処理と呼ぶ。
次に、CPU121の制御下で、画像処理回路125は、第1の焦点検出信号および第2の焦点検出信号の各々に対して、シェーディング補正処理(光学補正処理)を行う(ステップS130)。
ここで、第1の焦点検出信号および第2の焦点検出信号の瞳ずれに起因するシェーディングについて説明する。
図9は、図1に示すカメラにおいて瞳ずれに起因するシェーディングを説明するための図である。そして、図9(a)は結像光学系の射出瞳距離と撮像素子の設定瞳距離が同一の場合のシェーディングを示す図であり、図9(b)は結像光学系の射出瞳距離が撮像素子の設定瞳距離より短い場合のシェーディングを示す図である。また、図9(c)は結像光学系の射出瞳距離が撮像素子の設定瞳距離より長い場合のシェーディングを示す図である。
図9においては、撮像素子107の周辺像高における第1の瞳部分領域501、第2の瞳部分領域502、および結像光学系の射出瞳400の関係が示されている。図9(a)の場合には、第1の瞳部分領域501と第2の瞳部分領域502とによって、結像光学系の射出瞳400は概ね均等に瞳分割される。
一方、図9(b)の場合には、撮像素子107の周辺像高においては、結像光学系の射出瞳400と撮像素子107の入射瞳との瞳ずれが生じて、結像光学系の射出瞳400が不均一に瞳分割されてしまう。同様に、図9(c)の場合には、撮像素子の周辺像高においては、結像光学系の射出瞳400と撮像素子107の入射瞳との瞳ずれが生じて、結像光学系の射出瞳400が不均一に瞳分割されてしまう。
周辺像高において瞳分割が不均一となるにつれて、第1の焦点検出信号および第2の焦点検出信号の強度も不均一となって、第1の焦点検出信号および第2の焦点検出信号のいずれか一方の強度が大きくなる。これによって、第1の焦点検出信号および第2の焦点検出信号の他方の強度が小さくなる所謂シェーディングが生じる。
再び図7を参照して、ステップS130の処理では、画像処理回路125は焦点検出領域の像高、結像光学系のF値、および射出瞳距離に応じて、第1の焦点検出信号に係る第1のシェーディング補正係数と第2の焦点検出信号に係る第2のシェーディング補正係数を生成する。そして、画像処理回路125は第1のシェーディング補正係数を第1の焦点検出信号に乗算し、第2のシェーディング補正係数を第2の焦点検出信号に乗算して、第1の焦点検出信号および第2の焦点検出信号についてシェーディング補正処理を行う。
撮像面位相差方式による焦点検出においては、第1の焦点検出信号と第2の焦点検出信号との相関量(一致度)に応じて、第1の検出デフォーカス量の検出が行われる。瞳ずれに起因かるシェーディングが生じると、第1の焦点検出信号と第2の焦点検出信号との相関量が低下する場合がある。従って、撮像面位相差方式による焦点検出においては、第1の焦点検出信号と第2の焦点検出信号との相関量を改善して焦点検出性能を良好とするため、シェーディング補正処理を行うことが望ましい。
次に、画像処理回路125は第1の焦点検出信号および第2の焦点検出信号の各々に対してフィルタ処理を行う(ステップS140)。
図10は、図1に示す画像処理回路125で行われるフィルタ処理を説明するための図である。
図10において、実線はフィルタ処理における通過帯域の一例を示しており、ここでは、撮像面位相差方式による焦点検出によってデフォーカス状態が大きい(大デフォーカス状態)場合の焦点検出を行う関係上、通過帯域は低周波帯域を含む。なお、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際には、デフォーカス状態に応じて焦点検出の際の通過帯域を1点鎖線で示すように、高周波帯域側に調整するようにしてもよい。
次に、CPU121はフィルタ処理後の第1の焦点検出信号および第2の焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行って、一致度を表す相関量(つまり、評価値)を算出する(ステップS150)。
フィルタ処理後のk番目(kは1以上の整数)の第1焦点検出信号をA(k)とし、第2焦点検出信号をB(k)、焦点検出領域に対応する番号kの範囲をWとする。そして、第1のシフト処理によるシフト量をs1、シフト量s1のシフト範囲をΓ1とすると、相関量(評価値)CORは、次の式(1)によって求められる。

シフト量s1による第1のシフト処理によって、CPU121は、k番目の第1の焦点検出信号A(k)と(k−s1)番目の第2の焦点検出信号B(k−s1)とを対応させて減算して、シフト減算信号を生成する。そして、CPU121は、シフト減算信号の絶対値を求めて、焦点検出領域に対応する範囲W内において番号kの和を求め相関量(評価値)COR(s1)を算出する。
なお、各行毎に算出された相関量(評価値)を、各シフト量毎に複数行に渡って加算するようにしてもよい。前述のように、ステップS150におけるシフト処理のシフト量s1は、ステップS100で設定されたシフト領域幅が適用される。
次に、CPU121は相関量(評価値)を用いて、サブピクセル演算によって相関量が最小値となる実数値のシフト量を求めて像ずれ量p1とする。そして、CPU121は像ずれ量p1に、焦点検出領域の像高、結像光学系のF値、および射出瞳距離に応じた変換係数K1を乗算して、デフォーカス量(Def)を求める(ステップS160)。その後、CPU121は焦点検出処理を終了する。
このように、本発明の第1の実施形態では、撮像範囲において測距領域の設定される領域に応じて、相関演算領域幅を変更するようにしたので、撮像範囲に設定される測距領域の設定可能範囲が制限されることなく、精度よく焦点調節制御を行うことができる。つまり、恰も撮像範囲を広くして測距を行うことができる。
ここで、図2に示す画素200Gがx方向およびy方向に2分割された画素(つまり、2×2分割された画素)である場合について説明する。2×2分割された画素の場合には、x方向のみならず、y方向に関しても相関演算を行うことができる。
図11は、図1に示す相関演算領域制御部によって設定される相関演算領域の他の例を説明するための図である。そして、図11(a)は相関演算領域を第1の幅であるデフォルト幅設定とした際の相関演算領域の一例を示す図であり、図11(b)は相関演算領域を第2の幅である制限幅とした際の相関演算領域の一例を示す図である。
図11(a)に示す例では、撮像範囲900においてその中央部に測距領域(A1)901が設定されるとともに、測距領域(A1)901に隣接してx方向シフト領域(B1)902およびy方向シフト領域(C1)1101が設定される。ここでは、相関演算領域制御部1212は、x方向シフト領域(B1)902と測距領域(A1)901とからなるx方向相関演算領域の幅を制御する。さらに、相関演算領域制御部1212は、独立してy方向シフト領域(C1)1101と測距領域(A1)901とからなるy方向相関演算領域の幅を制御する。
なお、一点鎖線で示す領域903は、測距領域(A1)901がx方向シフト領域(B1)902およびy方向シフト領域(C1)1101の幅を維持可能な範囲である。
図11(b)に示す例では、測距領域(A1)901が一点鎖線で示す領域903の外側で設定されており、この場合には、x方向シフト領域(B1)902およびy方向シフト領域(C1)1101の幅を維持することができない。そこで、相関演算領域制御部1212は、測距領域(A1)901に隣接してx方向シフト領域(B2)1102およびy方向シフト領域(C2)1103を設定して、x方向およびy方向について独立に相関演算領域幅の設定を行う。
なお、図11(b)においては、測距領域(A1)901の大きさを維持した状態で、x方向シフト領域(B1)901およびy方向のシフト領域(C1)1101をそれぞれx方向シフト領域(B2)1102およびy方向のシフト領域(C2)1103に変更しているが、測距領域(A1)のx方向およびy方向の幅を変更して相関演算領域を変更するようにしてもよい。
さらに、ここでは、x方向およびy方向における相関演算に関して相関演算領域を変更しているが、x方向およびy方向について45度回転した2軸方向について同様の処理を行うようにしてもよい。
このようにして、相関演算領域制御を行うようにすれば、同様にして、撮像範囲に設定される測距領域の設定可能範囲が制限されることなく、精度よく焦点調節制御を行うことができる。つまり、恰も撮像範囲を広くして測距を行うことができる。
[第2の実施形態]
続いて、本発明の第2の実施形態によるカメラの一例について説明する。なお、第2の実施形態におけるカメラの構成および撮像素子の構成については、第1の実施形態と同様である。
第2の実施形態によるカメラは、撮影モードとして被写体追尾モードを有している。ここで、被写体追尾モードとは、撮像素子で得られた画像から人間の顔又は移動被写体など追尾対象となる被写体を認識して、撮像素子平面上で被写体が存在する位置を基準として、測距領域を設定するモードである。
図12は、本発明の第2の実施形態によるカメラで行われる焦点検出処理を説明するためのフローチャートである。
なお、図示のフローチャートに係る処理は、画像処理回路125およびCPU121によって行われる。また、図12において、図7に示すステップと同一のステップについては同一の参照符号を付して説明を省略する。
図示のフローチャートに係る処理は、例えば、撮影者によるレリーズボタンの半押し(SW1)による焦点調節動作開始指示があると開始される。焦点検出処理を開始すると、CPU121は、操作スイッチ132の操作によって被写体追尾モードが設定されているか否かを判定する(ステップS200)。被写体追尾モードが設定されていると(ステップS200において、YES)、CPU121は画像において追尾対象である被写体の位置を特定して、追尾対象である被写体のサイズを取得する(ステップS201)。
次に、CPU121は、ステップS201の処理で特定した追尾対象である被写体の中央に測距領域の中心を設定する(ステップS202)。そして、CPU121において、相関演算領域制御部1212は相関演算領域の幅を第1の幅であるデフォルト幅に設定可能であるか否かを判定する(ステップS203)。
図13および図14は、本発明の第2の実施形態によるカメラにおいて被写体追尾モードが設定された際の相関演算領域の設定を説明するための図である。そして、図13(a)は相関演算領域設定の第1の例を示す図であり、図13(b)は相関演算領域設定の第2の例を示す図である。また、図14(a)は相関演算領域設定の第3の例を示す図であり、図14(b)は相関演算領域設定の第4の例を示す図である。
いま、追尾対象である被写体(ここでは人の顔)1301が、図13(a)に太線で示す枠1302の位置であって、かつサイズであると、相関演算領域制御部1212は相関演算領域の幅をデフォルト幅に設定可能であるとする。一方、追尾対象である被写体1301が、図13(b)に太線で示す枠1302の位置であって、かつサイズであると、相関演算領域制御部1212は相関演算領域の幅をデフォルト幅とすることができないとする。
相関演算領域の幅をデフォルト幅に設定することができないと(ステップS203において、NO)、相関演算領域制御部1212は、ステップS201の処理で得た被写体1301のサイズ(ここでは、顔のサイズ)が所定のサイズK(閾値)よりも大きいか否かを判定する(ステップS204)。
なお、図13(b)に示す例では、追尾対象である被写体1301のサイズは所定サイズK以下である。一方、追尾対象である被写体1301が、図14(a)に太線で示す枠1302の位置であって、かつサイズである場合には、追尾対象である被写体1301のサイズは所定サイズKよりも大きい。
被写体1301のサイズがサイズK以下(閾値以下)であると(ステップS204において、NO)、相関演算領域制御部1212は、相関演算領域の幅をデフォルト幅で設定できないとして、図13(b)に示すように、測距領域(A1)901およびシフト領域(B2)1102を相関演算領域として設定する(つまり、第2の幅に設定する:ステップS205)。なお、ステップS205の処理では、図14(b)に示すように、相関演算領域制御部1212は、測距領域(A2)905およびシフト領域(B1)902を相関演算領域として設定するようにしてもよい。
被写体1301のサイズがサイズKよりも大きいと(ステップS204において、YES)、相関演算領域制御部1212は、デフォルト幅の設定においても追尾対象である被写体1301が測距領域に存在するとして相関演算領域を狭くすることなく、相関演算領域の幅を第1の幅であるデフォルト幅に設定する(ステップS206)。なお、相関演算領域の幅をデフォルト幅に設定することができると(ステップS203において、YES)、相関演算領域制御部1212は、ステップS206の処理に進む。
ステップS206の処理では、相関演算領域の幅をデフォルト幅に設定して相関演算を行うことがきるので、図13(a)又は図14(a)に示すように、測距領域(A1)901およびシフト領域(B1)902が相関演算領域として設定されることになる。
被写体追尾モードが設定されていないと(ステップS200において、NO)、CPU121は、画像において撮影者が指示した位置を中心とする測距領域を設定する(ステップS214)。この測距領域の設定は、例えば、図8(a)で説明した設定であって、撮影者は一点鎖線で示す領域903を超えない範囲で測距領域の位置を指定することができる。
続いて、CPU121に備えられた相関演算領域制御部1212は、ステップS206で説明したようにして測距領域(A1)901およびシフト領域(B1)902を相関演算領域として設定する(ステップS215)。
ステップS205、S206、又はS215の処理に続いて、図7で説明したステップS110〜S160の処理が行われる。そして、CPU121は撮影指示であるレリーズボタンの全押し(SW2オン)があったか否かを判定する(ステップS213)。SW2がオフであると(ステップS213において、NO)、CPU121はステップS200の処理に戻って、新たに取得したフレームにおいて焦点検出処理が開始する。一方、SW2がオンであると(ステップS213において、YES)、CPU121は焦点検出処理を終了して、撮影動作に移行する。
このように、本発明の第2の実施形態では、被写体追尾モードが設定されている際、相関演算領域の幅を追尾対象である被写体のサイズおよび位置に応じて変化させる。これによって、被写体を追尾する際においても、撮像範囲に設定される測距領域の設定可能範囲が制限されることなく、精度よく焦点調節制御を行うことができる。つまり、恰も撮像範囲を広くして測距を行うことができる。
特に、被写体追尾モードにおいては、追尾対象である被写体が合焦近傍に存在することが多く、デフォーカス量が極端に大きく変化することがないことを考慮すると、シフト処理におけるビットシフト量が大きくなくてもデフォーカス量を求めることができる。このため、相関演算領域制御が被写体の追尾に悪影響を及ぼすことが回避することができる。
上述の説明から明らかなように、図1に示す例においては、CPU121および画像処理回路125が領域設定手段、焦点検出手段、および制御手段として機能する。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
上記の制御方法および制御プログラムの各々は、少なくとも領域設定ステップ、焦点検出ステップ、および制御ステップを有している。
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。
107 撮像素子
121 CPU
124 撮像素子駆動回路
125 画像処理回路
126 フォーカス駆動回路
127 絞りシャッタ駆動回路
128 ズーム駆動回路
132 操作スイッチ
1211 焦点検出信号生成部
1212 相関演算領域制御部

Claims (9)

  1. 結像光学の互いに異なる結像光学系の瞳領域を通過する光を受ける複数の副画素を備える画素が2次元マトリックス状に配列された撮像素子を備え、前記撮像素子の出力である画像信号に応じて焦点検出を行う撮像装置であって、
    前記画像信号が示す画像においてデフォーカス量を検出する際の対象範囲を測距領域として設定するとともに、前記複数の副画素から出力される像信号についてその相関量を求める際のシフト領域を設定して、前記測距領域および前記シフト領域を相関演算領域とする領域設定手段と、
    前記相関演算領域において前記複数の副画素から出力される像信号をシフト処理して前記相関量を求め、当該相関量に応じて前記デフォーカス量を算出して当該デフォーカス量に基づいて焦点調節を行う焦点検出手段と、
    前記画像において前記相関演算領域が予め定められた第1の幅を有するサイズで設定可能な位置に前記測距領域が設定されると、前記シフト領域の幅を所定の幅とし、前記相関演算領域が前記第1の幅を有するサイズで設定できない位置に前記測距領域が設定されると、前記シフト領域の幅を前記所定の幅よりも小さい幅として前記相関演算領域の幅を前記第1の幅よりも小さい第2の幅とする制御手段と、
    を有することを特徴とする撮像装置。
  2. 前記制御手段は、前記相関演算領域が前記第1の幅を有するサイズで設定できない位置に前記測距領域が設定されると、前記シフト領域の幅を変更する代わりに、前記測距領域の幅を小さくして、前記相関演算領域の幅を前記第2の幅とすることを特徴とする請求項1に記載の撮像装置。
  3. 前記制御手段は、前記相関演算領域が前記第1の幅を有するサイズで設定できない位置に前記測距領域が設定されると、前記測距領域および前記シフト領域の幅をともに小さくして、前記相関演算領域の幅を前記第2の幅とすることを特徴とする請求項1に記載の撮像装置。
  4. 前記画像において被写体を追尾する被写体追尾モードが設定されていると、前記領域設定手段は前記被写体の位置およびサイズに応じて前記測距領域を設定し、
    前記制御手段は、前記第1の幅で前記相関演算領域の設定が可能であると、前記第1の幅で前記相関演算領域を設定することを特徴とする請求項1に記載の撮像装置。
  5. 前記制御手段は、前記被写体のサイズが所定の閾値よりも大きいか否かを判定して、前記被写体のサイズが前記閾値よりも大きいと、前記第1の幅で前記相関演算領域を設定することを特徴とする請求項4に記載の撮像装置。
  6. 前記制御手段は、前記被写体のサイズが前記閾値以下であると、前記第2の幅で前記相関演算領域を設定することを特徴とする請求項5に記載の撮像装置。
  7. 前記制御手段は、被写体追尾モードが設定されていないと、予め定められた位置に前記測距領域を設定して、前記第2の幅で前記相関演算領域を設定することを特徴とする請求項4〜6のいずれか1項に記載の撮像装置。
  8. 結像光学の互いに異なる結像光学系の瞳領域を通過する光を受ける複数の副画素を備える画素が2次元マトリックス状に配列された撮像素子を備え、前記撮像素子の出力である画像信号に応じて焦点検出を行う撮像装置の制御方法であって、
    前記画像信号が示す画像においてデフォーカス量を検出する際の対象範囲を測距領域として設定するとともに、前記複数の副画素から出力される像信号についてその相関量を求める際のシフト領域を設定して、前記測距領域および前記シフト領域を相関演算領域とする領域設定ステップと、
    前記相関演算領域において前記複数の副画素から出力される像信号をシフト処理して前記相関量を求め、当該相関量に応じて前記デフォーカス量を算出して当該デフォーカス量に基づいて焦点調節を行う焦点検出ステップと、
    前記画像において前記相関演算領域が予め定められた第1の幅を有するサイズで設定可能な位置に前記測距領域が設定されると、前記シフト領域の幅を所定の幅とし、前記相関演算領域が前記第1の幅を有するサイズで設定できない位置に前記測距領域が設定されると、前記シフト領域の幅を前記所定の幅よりも小さい幅として前記相関演算領域の幅を前記第1の幅よりも小さい第2の幅とする制御ステップと、
    を有することを特徴とする制御方法。
  9. 結像光学の互いに異なる結像光学系の瞳領域を通過する光を受ける複数の副画素を備える画素が2次元マトリックス状に配列された撮像素子を備え、前記撮像素子の出力である画像信号に応じて焦点検出を行う撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記画像信号が示す画像においてデフォーカス量を検出する際の対象範囲を測距領域として設定するとともに、前記複数の副画素から出力される像信号についてその相関量を求める際のシフト領域を設定して、前記測距領域および前記シフト領域を相関演算領域とする領域設定ステップと、
    前記相関演算領域において前記複数の副画素から出力される像信号をシフト処理して前記相関量を求め、当該相関量に応じて前記デフォーカス量を算出して当該デフォーカス量に基づいて焦点調節を行う焦点検出ステップと、
    前記画像において前記相関演算領域が予め定められた第1の幅を有するサイズで設定可能な位置に前記測距領域が設定されると、前記シフト領域の幅を所定の幅とし、前記相関演算領域が前記第1の幅を有するサイズで設定できない位置に前記測距領域が設定されると、前記シフト領域の幅を前記所定の幅よりも小さい幅として前記相関演算領域の幅を前記第1の幅よりも小さい第2の幅とする制御ステップと、
    を実行させることを特徴とする制御プログラム。
JP2014042635A 2014-03-05 2014-03-05 撮像装置、その制御方法、および制御プログラム Active JP6249825B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014042635A JP6249825B2 (ja) 2014-03-05 2014-03-05 撮像装置、その制御方法、および制御プログラム
US14/636,887 US9407812B2 (en) 2014-03-05 2015-03-03 Image pickup apparatus capable of performing autofocus control in response to output of image pickup device, control method therefor, and storage medium storing control program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014042635A JP6249825B2 (ja) 2014-03-05 2014-03-05 撮像装置、その制御方法、および制御プログラム

Publications (2)

Publication Number Publication Date
JP2015169708A JP2015169708A (ja) 2015-09-28
JP6249825B2 true JP6249825B2 (ja) 2017-12-20

Family

ID=54018688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014042635A Active JP6249825B2 (ja) 2014-03-05 2014-03-05 撮像装置、その制御方法、および制御プログラム

Country Status (2)

Country Link
US (1) US9407812B2 (ja)
JP (1) JP6249825B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566654B2 (ja) * 2015-02-13 2019-08-28 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および記憶媒体
JP2017108281A (ja) * 2015-12-09 2017-06-15 株式会社ニコン 撮像素子および撮像装置
JP2017129788A (ja) * 2016-01-21 2017-07-27 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
US10686979B2 (en) 2016-02-01 2020-06-16 Sony Corporation Control apparatus and control method
JP6740019B2 (ja) * 2016-06-13 2020-08-12 キヤノン株式会社 撮像装置およびその制御方法
US10326925B2 (en) * 2016-08-10 2019-06-18 Canon Kabushiki Kaisha Control apparatus for performing focus detection, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP6976754B2 (ja) * 2017-07-10 2021-12-08 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
JP7023701B2 (ja) * 2017-12-18 2022-02-22 キヤノン株式会社 撮像装置およびプログラム
JP7195790B2 (ja) * 2018-07-02 2022-12-26 キヤノン株式会社 撮像装置及びその制御方法
CN111050060B (zh) * 2018-10-12 2021-08-31 华为技术有限公司 一种应用于终端设备的对焦方法、装置和终端设备
EP3904956A4 (en) * 2018-12-28 2022-02-16 Sony Group Corporation IMAGING APPARATUS, IMAGING PROCEDURE AND PROGRAM
JP7208128B2 (ja) * 2019-10-24 2023-01-18 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) * 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JP3697745B2 (ja) * 1995-06-30 2005-09-21 ソニー株式会社 オートフォーカス制御装置及び方法
JP3480446B2 (ja) * 2001-01-11 2003-12-22 ミノルタ株式会社 デジタルカメラ
JP4153202B2 (ja) * 2001-12-25 2008-09-24 松下電器産業株式会社 映像符号化装置
US7327890B2 (en) * 2002-12-20 2008-02-05 Eastman Kodak Company Imaging method and system for determining an area of importance in an archival image
US7705908B2 (en) * 2003-12-16 2010-04-27 Eastman Kodak Company Imaging method and system for determining camera operating parameter
JP2005215750A (ja) * 2004-01-27 2005-08-11 Canon Inc 顔検知装置および顔検知方法
JP2006058405A (ja) * 2004-08-18 2006-03-02 Casio Comput Co Ltd カメラ装置、オートフォーカス制御方法
EP1909229B1 (en) * 2006-10-03 2014-02-19 Nikon Corporation Tracking device and image-capturing apparatus
JP4544282B2 (ja) * 2007-09-14 2010-09-15 ソニー株式会社 データ処理装置、およびデータ処理方法、並びにプログラム
JP5489641B2 (ja) * 2008-11-11 2014-05-14 キヤノン株式会社 焦点検出装置及びその制御方法
JP5173954B2 (ja) * 2009-07-13 2013-04-03 キヤノン株式会社 画像処理装置及び画像処理方法
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ
JP2011166378A (ja) * 2010-02-08 2011-08-25 Canon Inc 撮像装置及びその制御方法
JP5948076B2 (ja) * 2011-08-23 2016-07-06 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御方法
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
JP5613843B2 (ja) * 2011-09-28 2014-10-29 富士フイルム株式会社 固体撮像素子、撮像装置、及び合焦制御方法
JP6004371B2 (ja) * 2011-11-16 2016-10-05 パナソニックIpマネジメント株式会社 撮像装置
JP5830373B2 (ja) * 2011-12-22 2015-12-09 オリンパス株式会社 撮像装置
WO2014041733A1 (ja) * 2012-09-11 2014-03-20 ソニー株式会社 撮像装置およびフォーカス制御方法
EP2896980B1 (en) * 2012-09-11 2020-03-11 Sony Corporation Imaging apparatus and method for controlling an imaging apparatus
JP5967432B2 (ja) * 2012-09-11 2016-08-10 ソニー株式会社 処理装置、処理方法、及び、プログラム
CN104641625B (zh) * 2012-09-19 2018-05-11 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP6159097B2 (ja) * 2013-02-07 2017-07-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP6334847B2 (ja) * 2013-04-17 2018-05-30 キヤノン株式会社 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置
JP6288952B2 (ja) * 2013-05-28 2018-03-07 キヤノン株式会社 撮像装置およびその制御方法
JP6223059B2 (ja) * 2013-08-21 2017-11-01 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP6184276B2 (ja) * 2013-09-27 2017-08-23 オリンパス株式会社 焦点調節装置
JP2016038414A (ja) * 2014-08-05 2016-03-22 キヤノン株式会社 焦点検出装置およびその制御方法、並びに撮像装置

Also Published As

Publication number Publication date
US20150256737A1 (en) 2015-09-10
US9407812B2 (en) 2016-08-02
JP2015169708A (ja) 2015-09-28

Similar Documents

Publication Publication Date Title
JP6249825B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6362060B2 (ja) 撮像装置及びその制御方法ならびにプログラム
KR101886059B1 (ko) 촬상장치 및 그 제어 방법
JP6239857B2 (ja) 撮像装置およびその制御方法
US20140340567A1 (en) Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus
WO2012093551A1 (en) Image capture apparatus
JP6381266B2 (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP2014219549A (ja) 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
CN110312957B (zh) 焦点检测设备、焦点检测方法和计算机可读存储介质
JP6671130B2 (ja) 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
JP2015194736A (ja) 撮像装置およびその制御方法
US20170034426A1 (en) Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium for performing focus detection
JP2017158018A (ja) 画像処理装置およびその制御方法、撮像装置
JP2017032646A (ja) 撮像装置及びその制御方法
JP2012220790A (ja) 撮像装置
JP2015210285A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6254843B2 (ja) 画像処理装置およびその制御方法
JP6639326B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6525829B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2015145970A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7309383B2 (ja) 撮像装置
JP2017219782A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6701023B2 (ja) 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
JP2020057017A (ja) 撮像装置及びその制御方法
JP2015225310A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171121

R151 Written notification of patent or utility model registration

Ref document number: 6249825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151