JP7336958B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP7336958B2
JP7336958B2 JP2019192135A JP2019192135A JP7336958B2 JP 7336958 B2 JP7336958 B2 JP 7336958B2 JP 2019192135 A JP2019192135 A JP 2019192135A JP 2019192135 A JP2019192135 A JP 2019192135A JP 7336958 B2 JP7336958 B2 JP 7336958B2
Authority
JP
Japan
Prior art keywords
focus detection
shooting
subject
imaging
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019192135A
Other languages
English (en)
Other versions
JP2021067776A (ja
Inventor
淳一 今宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019192135A priority Critical patent/JP7336958B2/ja
Priority to US17/074,346 priority patent/US11689805B2/en
Publication of JP2021067776A publication Critical patent/JP2021067776A/ja
Application granted granted Critical
Publication of JP7336958B2 publication Critical patent/JP7336958B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、撮像装置における焦点検出技術に関する。
撮像装置において、被写体像を撮像する撮像素子に位相差検出機能を組み込むことにより、撮影レンズのピントずれ量を撮像面において検出することができるAF(オートフォーカス)方式(撮像面位相差方式)が知られている。この技術を用いることによって、LV(ライブビュー)画面を見ながら被写体にAFを追従させて静止画の連続撮影を行うことが可能となっている。
このようにLV画像を見ながら連写撮影を行う場合、シャッターボタンの半押しで起動される撮影準備動作中は、カメラの撮像部からLV画像が出力され、シャッターボタンの全押しで実行される撮影動作中は、カメラの撮像部から静止画が出力される。そのため、撮影準備動作中と撮影動作中で出力画像のフレームレートはそれぞれ異なる。例えば、撮影準部動作中は出力画像のフレームレートが120fpsであるのに対して、撮影動作中はフレームレートが10fps(10コマ連続撮影)のように遅くなる。そのため、焦点検出演算の周期が長くなり、動体である被写体を、焦点検出範囲から外しやすくなる。
特許文献1には、焦点調節に用いる一対の電気信号列を複数のブロックに分割し、ブロックごとにデフォーカス量の算出と遠近競合判定を行う技術が開示されている。いずれかのブロックが遠近競合であると判定されると、遠近競合ブロックの一部を含む新たなブロックに対してデフォーカス量を算出する。
特許文献2では、焦点調節に用いる所定領域を含む複数の領域のデフォーカス量を算出し、そのデフォーカス量に従って、遠近競合判定を行う。遠近競合がある場合は、各領域のデフォーカス量に従って、焦点調節に用いる領域を所定領域から設定された他の領域のいずれかに変更する。
ユーザが焦点検出エリアから不本意に主要被写体を外してしまった場合(以下、「被写体外し」と呼ぶ)、他の被写体に対するデフォーカス量を算出してしまい、それに対してピント合わせを行ってしまう。被写体外しには、主要被写体の後方の背景に外す場合(以下、「背景抜け」と呼ぶ)と、主要被写体の手前の被写体に外す場合がある。一般的に、不本意な被写体外しは前者のような背景抜けの場合が多く、後者のように手前の被写体に外す場合は、ユーザが意図的に被写体を変更している場合が多い。
特許文献3には、焦点検出エリアの検出結果に基づいて新被写体が過去被写体よりも遠くにあるか近くにあるかを判定し、新被写体が過去被写体よりも遠くにあると判定された場合は、近くにあると判定された場合よりも所定時間を長くすることが開示されている。上記の所定時間とは、同一被写体信頼性なしとなった時点から所定時間はこれまで捉え続けていた被写体を捉えているものと仮定して焦点調整を行う時間のことをいう。
特開平8-015603号公報 特開2015-232604号公報 特開2006-330567号公報
しかしながら、特許文献1では、遠近競合判定により、焦点調節に用いる焦点検出演算領域を変更することは開示されているが、撮影準備動作中と撮影動作中での焦点検出演算の周期の違いについては言及されていない。そのため、連続撮影動作中に撮影準備動作中よりも焦点検出演算の周期が長くなり、移動被写体が焦点検出演算領域外に外れやすくなるという問題については開示されていない。
特許文献2では、特許文献1と同様、撮影準備動作中と撮影動作中での焦点検出演算の周期の違いについては言及されていない。そのため、やはり連続撮影動作中に撮影準備動作中よりも焦点検出演算の周期が長くなり、移動被写体が焦点検出演算領域外に外れやすくなるという問題については開示されていない。
特許文献3では、たとえ新被写体が近くに存在すると分かり、遠くにある場合に比べて所定時間を短くしたとしても、その時間が経過するまで新被写体へピントを合わせることができない。
本発明は上述した課題に鑑みてなされたものであり、その目的は、静止画の連写撮影動作において、被写体へのピントの追従性を向上させることである。
本発明に係わる撮像装置は、被写体像を撮像した撮像信号と、撮像光学系の射出瞳の異なる領域を通過した光を光電変換した焦点検出用の像信号とを出力可能な撮像素子と、前記撮像素子の撮像面において、焦点検出を行う焦点検出範囲を設定し、該焦点検出範囲内の複数の焦点検出枠のそれぞれにおいて、前記焦点検出用の像信号に基づいて焦点検出を行う焦点検出手段と、静止画撮影における、レリーズボタンを半押しする撮影準備動作中および前記レリーズボタンを全押しする撮影動作中において、前記焦点検出手段の出力に基づいて、被写体に追従する焦点調節を行う焦点調節手段と、を備え、前記焦点検出手段は、前記撮影動作中における前記焦点検出範囲を、前記撮影準備動作中における前記焦点検出範囲よりも広くすることを特徴とする。
本発明によれば、静止画の連写撮影動作において、被写体へのピントの追従性を向上させることが可能となる。
本発明の第1の実施形態の撮像システムの概略構成を示すブロック図。 第1の実施形態における撮像素子の画素配列の概略図。 第1の実施形態における静止画撮影処理を示すフローチャート。 第1の実施形態における焦点検出演算範囲の設定を示すフローチャート。 焦点検出演算枠と焦点検出表示枠の関係を示す図。 焦点検出演算枠と焦点検出表示枠の関係を示す図。 焦点検出演算枠と焦点検出表示枠の関係を示す図。 第2の実施形態における静止画撮影処理を示すフローチャート。 被写体乗り移り判定処理を示すフローチャート。 至近被写体の存在回数(時間)判定を示す図。 同一被写体の判定動作を示す図。 第2の実施形態の被写体乗り移り判定と従来の被写体乗り移り判定を比較する図。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
<撮像システムの構成>
図1は、本発明の撮像装置の第1の実施形態である、AF追従による静止画連続撮影機能を備える撮像システムの概略構成を示すブロック図である。なお、本実施形態では、レンズ交換可能な撮像システムとして説明するが、固定レンズを有する撮像装置であってもよい。
図1に示すように、本実施形態における撮像システムは、レンズユニット100とカメラ本体110とから構成されている。そして、レンズユニット100全体の動作を統括制御するレンズ制御部106と、撮像システム全体の動作を統括するカメラ制御部117が、通信によりデータのやり取りを行う。
まず、レンズユニット100の構成について説明する。
レンズユニット100は、固定レンズ101、絞り102、フォーカスレンズ103、ズームレンズ(不図示)等により構成される撮像光学系を有する。絞り102は、絞り駆動部104によって駆動され、後述する撮像素子111への入射光量を制御する。フォーカスレンズ103は、フォーカスレンズ駆動部105によって駆動され、焦点調節に用いられる。不図示のズームレンズは、ズームレンズ駆動部によって駆動されることにより、画角の調節に用いられる。なお、本実施形態においては、ズームレンズ及びズームレンズ駆動部は必須の構成ではなく、無くても構わない。
絞り駆動部104、フォーカスレンズ駆動部105、ズームレンズ駆動部は、レンズ制御部106によって制御され、絞り102の開口径や、フォーカスレンズ103及びズームレンズの位置が制御される。ユーザによりレンズ操作部107に備えられたフォーカスリングやズームリング等が操作されて、フォーカス調整やズーム調整などの指示が行われた場合には、レンズ制御部106がユーザ操作に応じた制御を行う。なお、本実施形態でのフォーカスリングは、電子的な信号を発するロータリーエンコーダーであり、回転操作に応じてパルス信号が発生し、このパルス信号が後述するカメラ制御部117に送信される。カメラ制御部117はフォーカスリングから受信したパルス信号に基づいてレンズ制御部106にフォーカスレンズ103の駆動制御信号を送信する。レンズ制御部106は、カメラ制御部117から受信した制御命令や制御情報に応じて、絞り駆動部104、フォーカスレンズ駆動部105、ズームレンズ駆動部の制御を行うと共に、レンズ情報をカメラ制御部117に送信する。フォーカスレンズ駆動部105は、モーターなどの駆動部、アクチュエータ等により、レンズを駆動する。
次に、カメラ本体110の構成について説明する。
カメラ本体110において、撮像素子111は、CCDやCMOSセンサにより構成され、レンズユニット100の撮像光学系を通過した光束が、撮像素子111の受光面上に結像される。そして、形成された被写体像が、撮像素子111のフォトダイオード(光電変換部)によって入射光量に応じた電荷に光電変換され、蓄積される。各フォトダイオードに蓄積された電荷は、カメラ制御部117の指令に従ってタイミングジェネレータ118から与えられる駆動パルスに基づいて、電荷に応じた電圧信号として撮像素子111から順次読み出される。なお、撮像素子111の詳細構成については後述するが、本実施形態における撮像素子111は、通常の撮像信号の他に、位相差方式の焦点検出に用いることのできる一対のフォーカス用信号を出力することができる。
撮像素子111から読み出された撮像信号及びフォーカス用信号は、CDS/AGC回路112に入力され、リセットノイズを除去するための相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。CDS/AGC回路112は、処理した撮像信号をカメラ信号処理部113に、フォーカス用信号をフォーカス信号処理部114に出力する。
カメラ信号処理部113は、CDS/AGC回路112から出力された撮像信号に対して各種の画像処理を施して、映像信号を生成する。表示部115は、LCDや有機EL等の表示デバイスを有し、カメラ信号処理部113から出力された映像信号に基づく画像を表示する。また、撮像信号の記録を行う記録モードの場合には、撮像信号はカメラ信号処理部113から記録部116に送られ、光ディスク、半導体メモリ(メモリーカード)、磁気テープ等の記録媒体に記録される。
フォーカス信号処理部114は、CDS/AGC回路112から出力された一対のフォーカス用信号を基に相関演算を行って焦点状態を検出する。ここでは、相関量、デフォーカス量、信頼性情報(二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等)を算出する。そして、算出したデフォーカス量と信頼性情報をカメラ制御部117へ出力する。また、カメラ制御部117は、取得したデフォーカス量や信頼性情報を基に、これらを算出する設定の変更をフォーカス信号処理部114に通知する。
カメラ制御部117は、カメラ本体110内の各ブロックと情報をやり取りして制御を行う。また、カメラ本体110内の処理だけでなく、ユーザによる操作を受け付け、ユーザにより操作されたカメラ操作部119からの入力に応じて、電源のON/OFF、設定の変更、記録を制御する。また、前述したように、レンズユニット100内のレンズ制御部106と情報をやり取りし、撮像光学系の制御命令や制御情報を送信し、またレンズユニット100内の情報を取得する。
カメラ制御部117は、不揮発性メモリ120に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ121は例えばRAMであり、カメラ制御部117は、カメラ制御部117の動作用の定数、変数、不揮発性メモリ120から読みだしたプログラム等をシステムメモリ121に展開する。
不揮発性メモリ120は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ120には、カメラ制御部117の動作用の定数、プログラム等が記憶(格納)される。ここでいう、プログラムとは、本実施形態において後述する各種フローチャートを実行するためのプログラムのことである。
<撮像素子の構成>
図2は、本実施形態における撮像素子111の画素配列の概略を示す図である。
図2は、本実施形態で撮像素子111として用いられる2次元CMOSセンサの画素配列を、撮像画素の4列×4行の範囲で(焦点検出画素の配列としては8列×4行の範囲)で示したものである。
本実施形態において、画素群200は2列×2行の画素からなり、ベイヤー配列のカラーフィルタにより覆われているものとする。そして、画素群200において、R(赤)の分光感度を有する画素群200Rが左上の位置に、G(緑)の分光感度を有する画素200Gが右上と左下の位置に、B(青)の分光感度を有する画素群200Bが右下の位置に配置されている。さらに、本実施形態の撮像素子111は、撮像面位相差方式の焦点検出を行うために、各画素は、1つのマイクロレンズ201に対し、複数のフォトダイオード(光電変換部)を保持している。本実施形態では、各画素、2列×1行に配列された2つのフォトダイオード202,203により構成されているものとする。これにより、撮像光学系の射出瞳を分割して焦点検出信号を出力可能となる。
撮像素子111は、図2に示す2列×2行の画素(4列×2行のフォトダイオード)からなる画素群200を撮像面上に多数配置することで、撮像信号及びフォーカス用信号の取得を可能としている。
このような構成を有する各画素では、光束をマイクロレンズ201で分離し、フォトダイオード202,203に結像させる。そして、2つのフォトダイオード202,203からの信号を加算した信号(A+B信号)を撮像信号、個々のフォトダイオード202,203からそれぞれ読み出した2つの信号(A像信号、B像信号)をフォーカス用信号として用いる。なお、撮像信号とフォーカス用信号とをそれぞれ読み出してもよいが、処理負荷を考慮して、次のようにしてもよい。即ち、撮像信号(A+B信号)と、フォトダイオード202,203のいずれか一方のフォーカス用信号(例えばA信号)とを読み出し、差分を取ることで、もう一方のフォーカス用信号(例えばB信号)を取得してもよい。
なお、本実施形態では、各画素において、1つのマイクロレンズ201に対して2つのフォトダイオード202,203を有する構成としているが、フォトダイオードの数は2つに限定されず、それ以上であってもよい。また、マイクロレンズ201に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果としてA像信号とB像信号といった位相差検出可能な位相差検出用の2つの信号が得られる構成であればよい。
また、図2では、全ての画素が複数のフォトダイオードを有する構成を示しているが、これに限られるものではなく、撮像素子111を構成する通常画素内に、図2に示すような焦点検出用画素を離散的に設ける構成であってもよい。
以下、本実施形態における、カメラ制御部117が実行するAF追従しながら静止画撮影を行う制御について、図3から図7を用いて説明する。本実施形態では、AF追従による静止画撮影において、撮影準備動作中と撮影動作中で、1枠あたりの焦点検出演算枠の大きさを変更する。
なお、本実施形態においては、カメラ操作部119に配置されたレリーズボタンを半押し(スイッチSW1をON)することにより、AF(オートフォーカス)、AE(自動露出制御)などの撮影準備動作が行われる。また、上記のレリーズボタンを全押し(スイッチSW2をON)することにより、実際の撮影動作が実行される。
図3は、本実施形態におけるAF追従による静止画撮影処理に関するフローチャートである。図4は、本実施形態における焦点検出演算範囲の設定処理に関するフローチャートである。図5は、実施形態における1枠あたりの焦点検出演算枠の大きさを変える場合の撮影準備動作中の焦点検出演算枠とファインダーに表示される焦点検出表示枠との関係の一例を示す図である。図6は、実施形態における1枠あたりの焦点検出演算枠の大きさを変える場合の撮影動作中の焦点検出演算枠と焦点検出表示枠との関係の一例を示す図である。図7は、本実施形態における焦点検出演算枠の枠数を変える場合の、撮影動作中における焦点検出演算枠と焦点検出表示枠との関係の一例を示す図である。
図3を用いて、AF追従による静止画撮影処理について説明する。図3のフローチャートの処理は、カメラ本体110の電源がONされて、且つレリーズボタンが操作されておらずライブビュー動作を行う指示のみがなされている状態(撮影待機状態、撮影待機中)から開始されるものとする。
まず、ステップS301おいて、カメラ制御部117は、後述する焦点調節処理を行う領域を決めるための焦点検出演算範囲の設定処理を行う。焦点検出演算範囲の設定処理の詳細については後述する。
ステップS302では、カメラ制御部117は、常におおまかな焦点調節を行うコンティニュアスAF処理を行う。これは、ワンショットAF処理を行うときに素早く合焦停止できるようにするためである。
ステップS303では、カメラ制御部117は、ユーザによりレリーズボタンの半押しが行われて、撮影準備動作が指示されたか否かを判定する。撮影準備動作が指示されたと判定した場合はステップS304へ進み、そうでない場合はステップS301へ戻る。
ステップS304では、カメラ制御部117は、S301と同様に、焦点調節処理を行う領域を決めるための焦点検出演算範囲の設定処理を行う。
ステップS305では、カメラ制御部117は、ステップS304で設定された焦点検出演算範囲において、1回だけ焦点調節を行うワンショットAF処理を行う。焦点調節は、合焦停止していない状態でのフォーカスレンズの駆動及び、合焦停止の判定を行うものである。
ステップS306では、カメラ制御部117は、ユーザによりレリーズボタンの全押しが行われて、撮影動作が指示されたか否かを判定する。撮影動作が指示されたと判定した場合はステップS307へ進み、そうでない場合はステップS308へ進む。
ステップS307では、静止画の撮影を行う。
ステップS308では、カメラ制御部117は、ユーザにより撮影準備動作が指示されたか否かを判定する。撮影準備動作が指示された(撮影準備動作を保持する操作と撮影動作から撮影準備動作へ切り替える操作が該当する)と判定した場合はステップS309へ進み、そうでない場合は、本フローチャートの処理を終了する。
ステップS309では、カメラ制御部117は、ステップS301、S304と同様に焦点検出演算範囲の設定処理を行う。
ステップS310では、カメラ制御部117は、ステップS309で設定された焦点検出演算範囲において、継続して焦点調節を行うサーボAF処理を行う。その後、ステップS306へ戻る。ユーザがレリーズボタンの全押しを続けて、撮影動作が継続して実施されると、静止画連続撮影となる。
以下に、図3のS301、S304、S309で行われる焦点検出演算範囲の設定処理について、図4のフローチャートを参照して説明する。
ステップS401では、カメラ制御部117は、撮影待機状態、撮影準備動作状態、撮影動作状態のどの状態かを判定する。撮影待機状態と判定した場合はステップS402へ進み、撮影準備動作状態と判定した場合はステップS403へ進み、撮影動作状態と判定した場合はステップS404へ進む。
ステップS402~ステップS404では、カメラ制御部117は、1枠あたりの焦点検出演算枠の大きさを設定する。撮影準備動作状態での焦点検出演算枠の大きさである第1の大きさより、撮影動作状態での焦点検出演算枠の大きさである第2の大きさの方を大きくする。なお、撮影待機状態では、焦点検出演算枠の大きさを、撮影準備動作状態の場合と同じ第1の大きさにしているが、異なる大きさであってもよい。また、1枠あたりの焦点検出演算枠の大きさを変更する代わりに、焦点検出演算枠の枠数を変えて設定してもよい。
ステップS405では、カメラ制御部117は、ステップS402~ステップS404のいずれかで設定された1枠あたりの焦点検出演算枠の大きさに基づいて、複数枠で構成される全体の焦点検出演算範囲を設定する。
図5、図6、図7は、焦点検出表示枠、焦点検出表示枠の範囲、焦点検出演算枠を示す図である。図5、図6、図7においては、ユーザが設定する焦点検出表示枠500,600,700、焦点検出表示枠の範囲501,601,701、焦点検出演算枠の範囲502,602,702が示されている。焦点検出演算枠の範囲内(焦点検出範囲内)に複数の焦点検出演算枠が配置されている。
図5、図6は、ステップS402~ステップS404で説明した1枠あたりの焦点検出演算枠(焦点検出枠)の大きさを設定する一例を示す図である。撮影準備動作中は焦点検出演算枠の範囲502が焦点検出表示枠の範囲501の範囲内となるように、撮影動作中は焦点検出演算枠の範囲602が焦点検出表示枠の範囲601より広くなるように1枠あたりの焦点検出演算枠の大きさを変える。そして、ステップS405において、全体の焦点検出演算範囲502,602を設定する。図7は、ステップS402~ステップS404で焦点検出演算枠の枠数を設定した場合の一例を示す図である。撮影準備動作中は図5の状態であり、撮影動作中は焦点検出演算枠の範囲702が焦点検出表示枠の範囲701より広くなるように焦点検出演算枠の枠数を多くする。そして、ステップS405で全体の焦点検出演算範囲702を設定する。なお、上記の説明では、焦点検出演算枠の範囲602,702を広くしても焦点検出表示枠の範囲501は変更しないように説明したが、焦点検出表示枠の範囲501を焦点検出演算枠に応じて広くするようにしてもよい。
既に従来技術の欄でも説明したように、撮像面位相差AFが可能なカメラにおいて、ライブビュー(LV)画像を見ながら連写撮影を行う場合、撮影準備動作中は、カメラの撮像部からLV画像が出力され、撮影動作中は、カメラの撮像部から静止画が出力される。そのため、撮影準備動作中と撮影動作中で出力画像のフレームレートがそれぞれ異なる。例えば、撮影準部動作中は出力画像のフレームレートが120fpsであるのに対して、撮影動作中はフレームレートが10fps(10コマ連続撮影)のように遅くなる。そのため、焦点検出演算の周期が長くなり、動体である被写体を、焦点検出範囲から外しやすくなる。
このような問題に対し、本実施形態では、静止画の連続撮影中に、動体である被写体に対して焦点検出表示枠より広い焦点検出演算範囲を設定する。言い換えれば、撮影準備動作中よりも、静止画の連続撮影中の方が焦点検出演算範囲が広くなるように設定する。これにより、撮影準備動作中よりも撮影動作中の方が焦点検出演算の周期が長くなって、主被写体が焦点検出表示枠から外れやすくなっても、主被写体を見失わずにAFを追従させることができる。
(第2の実施形態)
以下、第2の実施形態について説明する。従来、連写撮影でのサーボAF制御では、主たる被写体に焦点を合わせると、その被写体を捕捉して焦点を合わせ続ける(以下、ロックオンと呼ぶ)ように制御する。その場合、一旦被写体がロックオンされると、新しい主たる被写体が発見された時に、現在ロックオンしている被写体と新しい被写体が同一被写体であるか否かを判定する。そして、同一被写体ではないと判定された場合に、ロックオンを解除し、新しい主たる被写体に焦点を合わせるように制御する。その場合、同一被写体ではないと判定するまでに所定の判定時間を必要とする。従来では、この同一被写体の判定時間の間は新しい被写体にロックオンを変更することはできなかった。つまり、それまでロックオンしていた被写体が間違った被写体であっても、それが修正されるまでに時間がかかっていた。
これに対し、本実施形態では、AF追従による静止画撮影において、現在焦点が合っている距離よりも近い距離に被写体が存在する至近被写体存在回数(あるいは時間)が所定以上のとき、同一被写体の判定時間中であっても新被写体にロックオンを変更する。つまり、現在ロックオンしている被写体よりも近くに別の被写体が多くの回数あるいは長い時間検出される場合、そちらが正しい被写体であると判断して、その被写体にロックオンを変更する。
図8は、本実施形態におけるAF追従による静止画撮影処理に関するフローチャートである。図9は、本実施形態における被写体乗り移り判定処理に関するフローチャートである。図10は、本実施形態における至近被写体の存在回数(または時間)判定による被写体乗り移り動作の一例を示す図である。図11は、同一被写体判定による被写体乗り移り動作の一例を示す図である。図12は、本実施形態における被写体乗り移り判定と従来の被写体乗り移り判定を比較する図である。
まず、図8を用いて、本実施形態におけるAF追従による静止画撮影処理について説明する。
ステップS801では、カメラ制御部117は、ユーザによりレリーズボタンの半押しが行われて、撮影準備動作が指示されたか否かを判定する。撮影準備動作が指示されたと判定した場合はステップS802へ進み、そうでない場合はステップS810へ進む。
ステップS802では、カメラ制御部117は、1回だけ焦点調節を行うワンショットAF処理を行う。焦点調節は、合焦停止していない状態でのフォーカスレンズの駆動及び、合焦停止の判定を行うものである。
ステップS803では、カメラ制御部117は、合焦停止した位置における被写体を捕捉する(上述したロックオン)。
ステップS804では、被写体のロックオン状態となったので、ロックオンしてからの経過時間の計測を開始する。ロックオンが解除されるまでステップS802のワンショットAF処理で合焦停止した位置での被写体を捕捉し続ける。
ステップS805では、カメラ制御部117は、ユーザによりレリーズボタンの全押しが行われて、撮影動作が指示されたか否かを判定する。撮影動作が指示されたと判定した場合はステップS806へ進み、そうでない場合はステップS807へ進む。
ステップS806では、静止画の撮影を行う。
ステップS807では、カメラ制御部117は、ユーザにより撮影準備動作が指示されたか否かを判定する。撮影準備動作が指示された(撮影準備動作を保持する操作と撮影動作から撮影準備動作へ切り替える操作が該当する)と判定した場合はステップS808へ進み、そうでない場合は、ステップS810へ進む。
ステップS808では、後述する被写体乗り移り判定を行う。被写体乗り移り判定の詳細については後述する。
ステップS809では、ロックオンしている被写体に対して、継続して焦点調節を行うサーボAF処理を行う。その後、ステップS805へ戻る。ユーザがレリーズボタンの全押しを続けて、撮影動作が継続して実施されると、静止画連続撮影となる。
ステップS801とS807で、カメラの電源がONされて、且つレリーズボタンが操作されておらずライブビュー動作を行っている状態(撮影待機状態)と判定された後のステップS810では、カメラ制御部117は、被写体のロックオンの解除を行う。
ステップS811では、ロックオン時間計測中の場合は計測を終了する。
次に、図9のフローチャートを用いて、本実施形態における被写体乗り移り判定処理について説明する。この判定処理は、図8のステップS806~S809の動作が一回行われるたびに、S808において実行される。
ステップS901では、カメラ制御部117は、撮像画面の所定の範囲の複数の焦点検出枠について、至近被写体の存在回数(時間)判定や同一被写体判定で使用するデフォーカス量の算出を行う。
ステップS902では、カメラ制御部117は、ロックオンしてからの経過時間が所定時間経過したか否かを判定する。経過していないと判定した場合はステップS903へ進み、経過したと判定した場合はステップS911へ進む。
ステップS903では、ステップS901で算出したデフォーカス量に基づいて、現在ロックオンしている距離よりも至近側に被写体が存在する焦点検出枠数の全体の焦点検出枠数に対する割合(至近割合)を算出する。このとき、デフォーカス量の信頼性が高い枠のみを対象としてもよい。
ステップS904では、カメラ制御部117は、ステップS903で算出した割合が所定以上か否かを判定する。所定以上と判定した場合はステップS905へ進み、そうでない場合はステップS906へ進む。
ステップS905では、カメラ制御部117は、図8のステップS806~S809を実行するごとに行われる至近被写体が存在するかの判定において存在すると判定された回数、または時間をカウントする。至近被写体の存在回数(または時間)の判定によるカウントの一例を図10に示す。
図10においては、連写撮影の3回目、6回目、7回目、8回目、9回目の撮影において、現在ロックオンしている距離よりも至近側に被写体が存在する焦点検出枠数の割合が、枠数の割合の閾値以上となっている。この時、至近被写体が存在する回数(または時間)は、3回目、6回目、7回目、8回目、9回目の撮影において1づつカウントされて増加する。そのため、至近被写体が存在する回数(または時間)の閾値が例えば5であれば、9回目の撮影において至近被写体が存在する回数(または時間)が5以上となり、閾値以上となる。本実施形態では、後述するステップS911~S913において、至近被写体が存在する回数(または時間)が閾値以上となると、その至近被写体が正しいAFの対象であると判断し、同一被写体判定を行うことなく、新たな被写体にAFのロックオンを変更する。
図9に戻り、ステップS906では、カメラ制御部117は、ステップS905でのカウント値が所定以上か否かを判定する。所定以上と判定した場合はステップS911へ進み、そうでない場合はステップS907へ進む。
ステップS907では、カメラ制御部117は、同一被写体判定を行う。図11に示すロックオンしている被写体(現被写体)と新被写体とのデフォーカス量差を算出して、所定閾値以上か否かで同一被写体かを判定する一例を示す。この同一被写体判定は、前述した従来のサーボAFでの同一被写体判定と同じである。
図11においては、連写撮影の6回目の撮影において、現被写体と新被写体のデフォーカス量差がデフォーカス量の閾値を超えている。そのため、この6回目の撮影の判定により、現被写体と新被写体のデフォーカス量差が閾値以上で、同一被写体ではないと判定する。そして、後述するステップS909のように、この6回目の撮影の時点から、予め設定されている同一被写体の判定設定時間が経過するまでの間に現被写体のロックオンを解除し、同一被写体の判定設定時間が経過した時点で、新被写体にロックオンを変更する。
図9に戻り、ステップS908では、カメラ制御部117は、ステップS907の結果に基づいて同一被写体か否かを判定する。同一被写体と判定した場合はステップS910へ進み、そうでない場合はステップS909へ進む。
ステップS909では、カメラ制御部117は、捕捉している現被写体が新被写体と同一ではないため、ロックオンを解除しレンズ駆動を停止させる。
ステップS910では、カメラ制御部117は、捕捉している現被写体が新被写体と同一であるため、ロックオンを継続して捕捉し続ける。
ステップS902であらかじめ設定されたロックオンの継続時間が経過した、あるいはステップS906で至近被写体の存在回数(または時間)が所定以上と判定されたステップS911では、新被写体を捕捉し直すためにロックオン時間計測を終了する。
ステップS912では、カメラ制御部117は、同様に至近被写体の存在回数(時間)をリセットする。
ステップS913では、カメラ制御部117は、現被写体から新被写体へロックオン対象を変更し、新被写体を捕捉し直す。
図12は、本実施形態における被写体乗り移り判定と従来の被写体乗り移り判定を比較する図である。従来では、現在ロックオンしている被写体と新たな被写体が同一被写体であるか否かを判定した後に、ロックオンを変更している。これに対し、本実施形態では、同一被写体判定の設定時間中であっても、至近被写体の存在回数(または時間)が所定以上のときは新被写体にロックオンを変更する。これにより、AFで背景に焦点が合ってしまった場合などでも、素早く正しい被写体に焦点を合わせることが可能となる。
なお、カメラ制御部117が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
また、上述した実施形態においては、本発明を撮像システムに適用した場合を例にして説明したが、本発明はこの例に限定されず、AF追従による静止画連続撮影ができる撮像装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやPDA、携帯電話端末、ゲーム機などに適用可能である。
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置である。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:レンズユニット、106:レンズ制御部、110:カメラ本体、111:撮像素子、113:カメラ信号処理部、114:フォーカス信号処理部、11:カメラ制御部、119:カメラ操作部

Claims (10)

  1. 被写体像を撮像した撮像信号と、撮像光学系の射出瞳の異なる領域を通過した光を光電変換した焦点検出用の像信号とを出力可能な撮像素子と、
    前記撮像素子の撮像面において、焦点検出を行う焦点検出範囲を設定し、該焦点検出範囲内の複数の焦点検出枠のそれぞれにおいて、前記焦点検出用の像信号に基づいて焦点検出を行う焦点検出手段と、
    静止画撮影における、レリーズボタンを半押しする撮影準備動作中および前記レリーズボタンを全押しする撮影動作中において、前記焦点検出手段の出力に基づいて、被写体に追従する焦点調節を行う焦点調節手段と、を備え、
    前記焦点検出手段は、前記撮影動作中における前記焦点検出範囲を、前記撮影準備動作中における前記焦点検出範囲よりも広くすることを特徴とする撮像装置。
  2. 前記焦点検出手段は、前記焦点検出範囲内の複数の焦点検出枠のそれぞれにおいて、被写体のデフォーカス量を求めることを特徴とする請求項1に記載の撮像装置。
  3. 前記焦点検出手段は、前記撮影動作中において、前記焦点検出範囲内の複数の焦点検出枠のそれぞれの大きさを、前記撮影準備動作中よりも大きくすることにより、前記焦点検出範囲を広くすることを特徴とする請求項1または2に記載の撮像装置。
  4. 前記焦点検出手段は、前記撮影動作中において、前記焦点検出範囲内の複数の焦点検出枠の数を、前記撮影準備動作中よりも多くすることにより、前記焦点検出範囲を広くすることを特徴とする請求項1または2に記載の撮像装置。
  5. 前記焦点検出手段は、前記撮影準備動作中は、前記焦点検出範囲を、ファインダーに表示する焦点検出範囲を示す焦点検出表示枠の範囲と同じ広さに設定することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記撮影動作中に前記焦点検出範囲を広くする場合に、前記焦点検出表示枠の範囲も広くすることを特徴とする請求項5に記載の撮像装置。
  7. 前記焦点検出手段は、前記撮影準備動作が行われる前の前記レリーズボタンが操作されていない撮影待機中において、前記焦点検出範囲を、前記撮影準備動作中の前記焦点検出範囲と同じ広さに設定することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 被写体像を撮像した撮像信号と、撮像光学系の射出瞳の異なる領域を通過した光を光電変換した焦点検出用の像信号とを出力可能な撮像素子を備える撮像装置を制御する方法であって、
    前記撮像素子の撮像面において、焦点検出を行う焦点検出範囲を設定し、該焦点検出範囲内の複数の焦点検出枠のそれぞれにおいて、前記焦点検出用の像信号に基づいて焦点検出を行う焦点検出工程と、
    静止画撮影における、レリーズボタンを半押しする撮影準備動作中および前記レリーズボタンを全押しする撮影動作中において、前記焦点検出工程の出力に基づいて、被写体に追従する焦点調節を行う焦点調節工程と、を有し、
    前記焦点検出工程では、前記撮影動作中における前記焦点検出範囲を、前記撮影準備動作中における前記焦点検出範囲よりも広くすることを特徴とする撮像装置の制御方法。
  9. 請求項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
  10. 請求項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2019192135A 2019-10-21 2019-10-21 撮像装置及びその制御方法、プログラム、記憶媒体 Active JP7336958B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019192135A JP7336958B2 (ja) 2019-10-21 2019-10-21 撮像装置及びその制御方法、プログラム、記憶媒体
US17/074,346 US11689805B2 (en) 2019-10-21 2020-10-19 Image capturing apparatus, method of controlling the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019192135A JP7336958B2 (ja) 2019-10-21 2019-10-21 撮像装置及びその制御方法、プログラム、記憶媒体

Publications (2)

Publication Number Publication Date
JP2021067776A JP2021067776A (ja) 2021-04-30
JP7336958B2 true JP7336958B2 (ja) 2023-09-01

Family

ID=75491534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019192135A Active JP7336958B2 (ja) 2019-10-21 2019-10-21 撮像装置及びその制御方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US11689805B2 (ja)
JP (1) JP7336958B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023008828A (ja) * 2021-07-02 2023-01-19 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、及び情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010123A (ja) 2000-06-23 2002-01-11 Olympus Optical Co Ltd 電子カメラ装置
JP2010191083A (ja) 2009-02-17 2010-09-02 Canon Inc 焦点調節装置、及び焦点調節方法
US20150229831A1 (en) 2014-02-10 2015-08-13 Olympus Corporation Focus adjustment device and control method for focus adjustment device
US20160044229A1 (en) 2014-08-05 2016-02-11 Samsung Electronics Co., Ltd. Imaging sensor capable of detecting phase difference of focus
JP2019028403A (ja) 2017-08-03 2019-02-21 キヤノン株式会社 焦点調節装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3491343B2 (ja) 1994-06-29 2004-01-26 株式会社ニコン 焦点検出装置および焦点検出方法
JP4706335B2 (ja) 2005-05-30 2011-06-22 株式会社ニコン オートフォーカス装置
JP2015232604A (ja) 2014-06-09 2015-12-24 キヤノン株式会社 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010123A (ja) 2000-06-23 2002-01-11 Olympus Optical Co Ltd 電子カメラ装置
JP2010191083A (ja) 2009-02-17 2010-09-02 Canon Inc 焦点調節装置、及び焦点調節方法
US20150229831A1 (en) 2014-02-10 2015-08-13 Olympus Corporation Focus adjustment device and control method for focus adjustment device
JP2015148783A (ja) 2014-02-10 2015-08-20 オリンパス株式会社 焦点調節装置
US20160044229A1 (en) 2014-08-05 2016-02-11 Samsung Electronics Co., Ltd. Imaging sensor capable of detecting phase difference of focus
JP2019028403A (ja) 2017-08-03 2019-02-21 キヤノン株式会社 焦点調節装置及び方法

Also Published As

Publication number Publication date
JP2021067776A (ja) 2021-04-30
US20210120170A1 (en) 2021-04-22
US11689805B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
US8259215B2 (en) Image pickup apparatus having focus control using phase difference detection
US9578231B2 (en) Image capture apparatus and method for controlling the same
US10264173B2 (en) Image capturing apparatus and control method thereof, and storage medium
JP5652157B2 (ja) 撮像装置、画像処理方法、並びにコンピューター・プログラム
JP5789098B2 (ja) 焦点検出装置およびその制御方法
JP5753371B2 (ja) 撮像装置およびその制御方法
JP4533735B2 (ja) 立体画像撮影装置
JP5750551B2 (ja) 複数被写体の距離計測装置及び方法
US9088711B2 (en) Digital photographing apparatus and method of controlling the same
US9832360B2 (en) Image capturing apparatus and method of controlling the same
US8902294B2 (en) Image capturing device and image capturing method
US10313602B2 (en) Image capture apparatus and method for controlling the same
JP7336958B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2013113857A (ja) 撮像装置及びその制御方法
JP6561437B2 (ja) 焦点調節装置および撮像装置
JP2016071275A (ja) 撮像装置およびフォーカス制御プログラム
WO2021161959A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、撮像装置、撮像装置の制御方法、制御プログラムおよび撮像システム
JP7175704B2 (ja) 撮像装置およびその制御方法
JP2011176457A (ja) 電子カメラ
JP2009031562A (ja) 受光素子、受光装置、焦点検出装置、カメラ
US20150156408A1 (en) Imaging apparatus, method for controlling the same, and recording medium
JP6467768B2 (ja) 撮像装置
JP2020174311A (ja) 撮像装置
JP4819930B2 (ja) 撮影レンズのオートフォーカス装置
JP2013072988A (ja) 複眼カメラおよびこれを用いた連続自動合焦制御方法、制御プログラム、可読記憶媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230822

R151 Written notification of patent or utility model registration

Ref document number: 7336958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151