JP6431429B2 - 撮像装置およびその制御方法、プログラム、ならびに記憶媒体 - Google Patents

撮像装置およびその制御方法、プログラム、ならびに記憶媒体 Download PDF

Info

Publication number
JP6431429B2
JP6431429B2 JP2015076310A JP2015076310A JP6431429B2 JP 6431429 B2 JP6431429 B2 JP 6431429B2 JP 2015076310 A JP2015076310 A JP 2015076310A JP 2015076310 A JP2015076310 A JP 2015076310A JP 6431429 B2 JP6431429 B2 JP 6431429B2
Authority
JP
Japan
Prior art keywords
focus
subject
detection
optical system
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015076310A
Other languages
English (en)
Other versions
JP2016197150A5 (ja
JP2016197150A (ja
Inventor
荻野 宏幸
宏幸 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015076310A priority Critical patent/JP6431429B2/ja
Priority to US15/085,251 priority patent/US9912858B2/en
Publication of JP2016197150A publication Critical patent/JP2016197150A/ja
Publication of JP2016197150A5 publication Critical patent/JP2016197150A5/ja
Application granted granted Critical
Publication of JP6431429B2 publication Critical patent/JP6431429B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本発明は、連写撮影時のオートフォーカス技術に関するものである。
従来から、撮像画面の中から主要な被写体(主被写体)を検出する技術が知られており、例えば、人物の目や口などの特徴から特定した顔や、色や輝度から特定の物体を主被写体として検出する。また、タッチパネルなどを介してユーザがライブビュー画面に表示された画像から指定した主被写体を合焦対象としてAF(オートフォーカス)を行う技術が知られている。
また、AF方式の1つとして、撮像素子から得られる輝度信号の高周波成分を焦点評価値として、この焦点評価値が極大になる位置を合焦位置とするコントラストAF方式が知られている。このコントラストAF方式では、前述の被写体検出処理により検出された主被写体を測距対象エリア(焦点検出エリアまたはAF枠とも呼ぶ)として設定される。また、もう1つのAF方式として、マイクロレンズなどの結像光学系により瞳分割された画素を有する撮像素子により得られた像信号に基づいて焦点検出を行う位相差AF方式が知られている。さらに、これら2種類のAF方式を組み合わせたハイブリッドAF方式も知られている。
特許文献1は、画面内の複数の候補エリアにおいて位相差検出方式のAFを行い、顔検出結果に基づいて候補エリアから焦点検出エリアを指定する第1合焦制御部を有する。さらに撮像素子の出力に基づいて顔領域における焦点評価値が極大値となるレンズ位置を探索する第2合焦制御部を有し、第1合焦制御部および第2合焦制御部の少なくとも一方に合焦動作を実行させるものである。
一方、連写撮影機能を有するカメラにおいて、撮影コマごとにAF処理を行うことによって合焦位置の更新を行う技術が知られている。
特開2008−061157公報
ところで、連写撮影中に主被写体の検出結果を用いてAFを行う場合、検出結果が得られるまでAFを行うことができなくなるため、連写コマ速度が低下してしまう。特に制御に時間がかかるフォーカスレンズ駆動を検出結果が出てから開始すると連写コマ速度が著しく低下するおそれがある。
本発明は、上記課題に鑑みてなされ、連写撮影中のAF処理において、連写撮影コマ間のAF処理時間を短縮し、連写コマ速度の低下を抑制することを目的としている。
上記課題を解決するために、本発明の撮像装置は、撮像素子により撮像された画像から被写体を検出する被写体検出手段と、前記被写体検出手段により検出された被写体にフォーカスを合わせるように撮像光学系を駆動するフォーカス制御手段と、撮影準備処理と本撮影処理とを繰り返す連写撮影を行う撮影制御手段と、前記本撮影処理により得られた画像を用いて前記撮像光学系の合焦位置を検出する焦点検出手段と、前記被写体検出手段による検出結果に基づいて次回の本撮影処理の際の撮像範囲内における被写体の位置を予測する予測手段と、前記予測手段により予測された被写体の位置に対して焦点検出領域を設定する設定手段と、前記設定手段により設定された焦点検出領域に関する信頼性を求める信頼性取得手段と、前記焦点検出手段により検出された前記撮像光学系の合焦位置から被写体の移動量を求める被写体移動量取得手段と、を有し、前記フォーカス制御手段は、前記連写撮影における本撮影処理の前に前記被写体検出手段による検出結果が得られるまでは、前記信頼性と前記被写体の移動量とに基づいて前記撮像光学系を駆動する場合に前記焦点検出手段による前回の本撮影処理までの検出結果が示す合焦位置を用いる。
本発明によれば、連写撮影中のAF処理において、連写撮影コマ間のAF処理時間を短縮し、連写コマ速度の低下を抑制することができる。
本発明に係る実施形態の装置構成を示すブロック図。 撮像素子の位相差AFに用いる焦点検出用画素を説明する図。 本実施形態による撮影処理を示すフローチャート。 図3のS306における本撮影処理を示すフローチャート。 図4のS402における静止画AF処理を示すフローチャート。 撮像素子の通常画素と焦点検出用画素の位置と範囲を説明する図。 図4のS404における連写撮影間EVF処理を示すフローチャート。 図7のS707における顔検出前フォーカスレンズ駆動処理を示すフローチャート。 図7のS709における顔検出後処理を示すフローチャート。 図9のS906におけるコントラストAF処理を示すフローチャート。
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
本実施形態では、本発明の撮像装置を、オートフォーカス(AF)機能を有するデジタルカメラにより実現した例について説明するが、AF機能を搭載する携帯電話の一種であるスマートフォンやタブレット端末などの電子機器にも適用可能である。
<装置の構成>図1を参照して、本実施形態のAF機能を実現する焦点検出装置を搭載する撮像装置の構成について説明する。
図1において、フォーカスレンズ101は、後述する撮像素子103の撮像画面上にフォーカスを合わせるための撮像光学系として用いられる。フォーカスレンズ駆動部102は、システム制御部106からの指示に従い、ステッピングモータなどを駆動してフォーカスレンズ101をその光軸に沿って移動させる。撮像素子103は被写体からの入射光を電気信号に変換するCMOSセンサなどを備える。
撮像素子103は、図2に示すように通常画素201と位相差AF用の画素202を持っている。この位相差AF用画素202は通常画素201に対して開口のサイズがほぼ半分となっている。図2で示す位相差AF用画素202の斜線部分が遮光されている部分である。また、位相差AF用画素202は開口位置が異なるA画素とB画素の2種類がある。A画素202aは左側が、B画素202bは右側が開口している。A画素202aの像信号とB画素202bの像信号とを相関演算することにより得られるデフォーカス量を用いて位相差AFが実現される。なお、一対の像の相関演算によって行う位相差AFは公知の技術である。また、説明の簡略化のため、図2では位相差AF用画素202を1行だけ表記しているが、実際には2次元状に複数行配置され、撮像素子103の撮像画面のほぼ全面をカバーしているものとする。
A/D変換部104は、撮像素子103から出力されるアナログ信号をデジタル信号に変換する回路を有する。
画像処理部105は、A/D変換部104から出力された画像データに所定の処理を施す画像処理プロセッサからなる。
システム制御部106は、撮影シーケンスなど装置全体制御するCPUやMPUを備える。特に、システム制御部106は、後述するように撮影準備処理と本撮影処理とを交互に繰り返す連写撮影を行う撮影制御手段、連写撮影中のAF(フォーカスレンズ101の移動)を制御するフォーカス制御手段、および撮像光学系としてのフォーカスレンズ101の合焦位置を検出する焦点検出手段として機能する。また、システム制御部106は、本発明に係る被写体の位置を予測する予測手段、焦点検出領域を設定する設定手段、位相差AFより求められた合焦位置の信頼性を求める信頼性取得手段、および被写体の移動量を求める被写体移動量取得手段として機能する。
プログラムメモリ107はシステム制御部106で実行されるプログラムを記憶しているROMである。
ワークメモリ108は、システム制御部106がプログラムメモリ107に記憶されているプログラムに従って処理を行う際に必要なデータを一時的に記憶するRAMである。
第1スイッチ109は、レリーズボタンの半押しでオンされ、自動露出制御(AE)やAFなどの撮影準備処理を指示するための押しボタンスイッチである。
第2スイッチ110は、レリーズボタンの全押しでオンされ、画像の撮影および記録などの本撮影処理を指示するための押しボタンスイッチである。
表示部111は、撮像素子103により撮像された画像やアイコン、設定値などの各種情報を表示するLCDパネルなどから構成される。
タッチパネル112は、ユーザが指やペン先などで触れる(タッチする)ことによりカメラ100に各種の動作や設定を指示する入力手段である。タッチパネル112は表示部111の表示面上に重ねて設置されており、タッチパネル112のタッチセンサ位置と表示部111の表示面上の位置とは1対1で対応している。以下では、表示部111に表示されている画像やアイコンに対応した、タッチパネル112のタッチセンサ位置をタッチすることを、画像にタッチする、アイコンにタッチすると表現する。
操作部113は、表示部111に表示されたメニュー項目の選択や測距エリア(焦点検出エリア)の移動指示等に使用する4方向スイッチや回転ダイヤルなどである。
顔検出部114は、画像処理部105で処理された画像データから人物の顔を検出する機能を有する。顔検出部114は本発明に係る被写体検出手段として機能する。
物体検出部115は、画像処理部105で処理された画像データから人物の顔以外の物体を検出する機能を有する。
記録媒体116は、後述する本撮影処理において画像処理部105で生成された画像ファイルを記録する。記録媒体116は、例えば、内蔵または外付けのハードディスクドライブやメモリーカードである。
<撮影処理>次に、図3を参照して、本実施形態のデジタルカメラ100による撮影処理について説明する。
なお、図3の処理は、システム制御部106のCPUがプログラムメモリ107から読み出したプログラムをワークメモリ108に展開して実行することで実現する。また、特に言及しない場合は、システム制御部106のCPUが演算結果や制御パラメータなどの各種のデータをワークメモリ108に記憶するものとする。後述の図4、図5、図7〜図10に示すフローチャートについても同様である。
S301では、システム制御部106は、第1スイッチ109のオンオフ状態を検出し撮影準備指示がなされたか否かを判定する。第1スイッチ109がオンの場合は撮影準備指示がなされたのでS303に進み、オフの場合はS302へ進む。
S302では、システム制御部106は、撮影準備中のライブビュー画像を表示部111に表示する電子ビューファインダー(EVF)処理を行う。このEVF処理では撮像素子103からの画像信号の読み出し、AE、AF、オートホワイトバランス(AWB)、現像処理、表示処理などを行う。
S303、S304では、システム制御部106は、本撮影用AE処理、本撮影用AF処理を行う。本撮影用AE処理および本撮影用AF処理は、連写撮影の最初の1枚のために行うものである。
S305では、システム制御部106は、第2スイッチ110のオンオフ状態を検出し本撮影指示がなされた否かを判定する。第2スイッチ110がオンの場合は本撮影指示がなされたのでS306へ進み、オフの場合はオン状態となるまで待つ。
S306では、システム制御部106は、図4で後述する手順に従って本撮影処理を行う。
<本撮影処理>次に、図4を参照して、図3のS306における本撮影処理について説明する。
S401では、システム制御部106は、撮像素子103への露光、読み出し、画像処理部105による画像処理、記録媒体116への記録などの本撮影処理を行う。
S402では、システム制御部106は、図5で後述する手順に従って本撮影処理により得られた静止画から位相差AFによってフォーカスレンズ101の合焦位置を求める静止画AF処理を行う。
S403では、システム制御部106は、第2スイッチ110のオンオフ状態を検出し本撮影指示がなされた否かを判定する。第2スイッチ110がオンの場合は本撮影指示がなされたのでS404へ進み、オフの場合は本処理を終了する。
S404では、システム制御部106は、図7で後述する手順に従って連写撮影間にライブビュー画像を挿入する連写撮影間EVF処理を行う。
このように、第2スイッチ110がオン、つまり本撮影指示が継続している間は本撮影処理とEVF処理を繰り返すことによって、表示部111にライブビュー画像を表示するEVF処理を挿入した連写撮影を行う。
<静止画AF処理>次に、図5を参照して、図4のS402における静止画から位相差AFによってフォーカスレンズ101の合焦位置を求める静止画AF処理について説明する。
S501では、システム制御部106は、撮像素子103の撮像画面のほぼ全面をカバーするように位相差AF用の複数の画素位置を設定する。
S502では、システム制御部106は、S501で設定した画素位置を中心として位相差AF用の複数の画素範囲(焦点検出エリア)を設定する。
S503では、システム制御部106は、S501とS502で設定した位相差AF用画素を用いて相関演算を行う。相関演算の結果はS501で設定した画素位置の数だけ算出される。この相関演算によって求めたフォーカスレンズ101の合焦位置はワークメモリ108に記憶される。この際にフォーカスレンズ101の位置情報もS501で設定した画素位置の数だけ算出される。このように算出したフォーカスレンズ101の合焦位置は、撮像画面全体の中で分割した領域の各々の合焦距離を示すものである。
S504では、システム制御部106は、S503で算出した相関演算結果の信頼性を算出する。信頼性の算出は位相差AF用画素の信号のレベルの大小やA像とB像の一致度の高低に基づいて行う。信頼性結果は高と低の2種類を含むものとする。この信頼性も相関演算結果と同様に、S501で設定した画素位置の数だけ算出され、ワークメモリ108に記憶される。
図6は図5のS501やS502で設定した位相差AF用の画素位置と画素範囲を例示している。図6では撮像画面全体を縦7、横7の領域に分割している。実線で示す部分が分割された領域である。縦方向に分割した7つの領域の中心に位相差AF用画素が横方向に配置される。図6の点線で示す部分が位相差AF用の画素ラインを表している。図6において、図5のS501で設定される位相差AF用の画素位置とは、図6で分割された領域の中心位置601を示し、S502で設定される位相差AF用の画素範囲とは、図6で分割された領域の横方向の範囲602を示す。
<連写間EVF処理>次に、図7を参照して、図4のS404における連写間EVF処理について説明する。
S701では、システム制御部106は、図3のS302と同様のEVF処理を行う。
S702では、システム制御部106は、S701のEVF処理において撮像素子103から読み出し、画像処理部105で処理された画像データから顔検出部114により顔検出処理を開始する。
S703では、システム制御部106は、図9で後述するS902で記憶した顔位置に基づいて、次回の本撮影処理における撮像画面内での被写体の顔位置を予測する。
S704では、システム制御部106は、S703で予測した顔位置に基づいて、図6における位相差AF用の画素位置を選択する。ここで、システム制御部106は、S703で予測した顔位置の中心に最も近い位相差AF用の画素位置を選択する。
S705では、システム制御部106は、S704で選択した位相差AF用の画素位置における、図5のS504で算出した相関演算結果の信頼性を取得する。
S706では、システム制御部106は、後述するS710で記憶した合焦位置に基づいて、前回の撮影コマまでの被写体の移動量を算出する。
S707では、システム制御部106は、図8で後述する手順に従って顔が検出される前までのフォーカスレンズ101の駆動処理を行う。
S708では、システム制御部106は、図8で後述するフォーカスレンズ101の駆動パターンを判定し、パターン2の場合はS710へ進み、それ以外の場合はS709へ進む。
S709では、システム制御部106は、図9で後述する手順に従って顔検出後の処理を行う。
S710では、システム制御部106は、フォーカスレンズ101の合焦位置をワークメモリ108に記憶する。この合焦位置は連写撮影中の全ての撮影コマ分を記憶する。
<フォーカスレンズ駆動処理>次に、図8を参照して、図7のS707における顔検出前のフォーカスレンズ101の駆動処理について説明する。
S801では、システム制御部106は、図7のS705で取得した信頼性を判定し、信頼性が高ければS802へ進み、そうでない場合はS807へ進む。
S802では、システム制御部106は、図7のS706で算出した、前回の撮影コマまでの被写体移動量が所定量よりも大きいか否かを判定し、大きい場合はS803へ進み、そうでない場合はS805へ進む。
S803では、システム制御部106は、フォーカスレンズ101の駆動パターンとして1をワークメモリ108に記憶する。
S804では、システム制御部106は、図7のS704で選択した位相差AF用の画素位置における合焦位置の方向へフォーカスレンズ101を駆動する。
S805では、システム制御部106は、フォーカスレンズ101の駆動パターンとして2をワークメモリ108に記憶する。
S806では、システム制御部106は、図7のS704で選択した位相差AF用の画素位置における合焦位置へフォーカスレンズ101を駆動する。
S807では、システム制御部106は、図7のS706で算出した、前回の撮影コマまでの被写体移動量が所定量よりも大きいか否かを判定し、大きい場合はS808へ進み、そうでない場合はS810へ進む。
S808では、システム制御部106は、フォーカスレンズ101の駆動パターンとして3をワークメモリ108に記憶する。
S809では、システム制御部106は、図7のS704で選択した位相差AF用の画素位置における合焦位置の方向へフォーカスレンズ101を駆動する。
S810では、システム制御部106は、フォーカスレンズ101の駆動パターンとして4をワークメモリ108に記憶する。
<顔検出後の処理>次に、図9を参照して、図7のS709における顔検出後の処理について説明する。
S901では、システム制御部106は、顔検出部114による顔検出処理が完了したか否かを判定し、完了した場合はS902へ進み、そうでない場合はS901に戻って判定を繰り返す。
S902では、システム制御部106は、顔検出処理で検出された顔の画面内での位置をワークメモリ108に記憶する。この顔位置は連写撮影中の全ての撮影コマ分を記憶する。
S903では、システム制御部106は、図8の処理で記憶したフォーカスレンズ101の駆動パターンを判定し、パターン1の場合はS904へ進み、それ以外の場合はS906へ進む。
S904では、システム制御部106は、S902で記憶した顔位置に基づいて、図6における位相差AF用の画素位置を選択する。ここで、システム制御部106は、S902で記憶した顔位置の中心に最も近い位相差AF用の画素位置を選択する。
S905では、システム制御部106は、S904で選択した位相差AF用の画素位置における合焦位置へフォーカスレンズ101を駆動する。
S906では、システム制御部106は、図10で後述する手順に従ってコントラストAF処理を行う。
<コントラストAF処理>次に、図10を参照して、図9のS906におけるコントラストAF処理について説明する。
S1001では、システム制御部106は、図8で記憶したフォーカスレンズ101の駆動パターンを判定し、パターン4の場合はS1002へ進み、それ以外の場合はS1003へ進む。
S1002では、システム制御部106は、フォーカスレンズ101を初期位置へ移動する。この初期位置はフォーカスレンズ101の現在位置から無限側に所定量移動した位置とする。
S1003では、システム制御部106は、フォーカスレンズ101の移動を停止する。この場合は図8で記憶したフォーカスレンズ101の駆動パターンがパターン3であって、位相差AF結果に基づいてフォーカスレンズ101を既に駆動しているので一旦停止する。
S1004では、システム制御部106は、図9のS902で記憶した顔位置にAF枠を設定する。
S1005では、システム制御部106は、撮像素子103から読み出されたアナログ信号をA/D変換部104によりデジタル信号に変換し、画像処理部105により輝度信号の高周波成分を抽出し、これを焦点評価値として記憶する。
S1006では、システム制御部106は、フォーカスレンズ101の現在位置を記憶する。フォーカスレンズ駆動部102にステッピングモータを用いた場合は、図示しない初期位置からの駆動パルス数をフォーカスレンズ101の位置とする。
S1007では、システム制御部106は、S1005で記憶した焦点評価値のピークがあるか否かを判定し、ピークがある場合はS1009へ進み、ない場合はS1008へ進む。この焦点評価値のピーク判定では、S1005で記憶した焦点評価値をS1006で記憶したフォーカスレンズ101の位置と対応させた場合に焦点評価値の極大値があるか否かを判定する。
S1008では、システム制御部106は、フォーカスレンズ101を所定量移動する。この場合の移動方向は、フォーカスレンズ101の駆動パターンが4の場合はS1002で移動した方向とは反対の方向とする。フォーカスレンズ101の駆動パターンが3の場合は図8のS809で移動した方向とする。
S1009では、システム制御部106は、S1007で判定した焦点評価値の極大値に対応するフォーカスレンズ101の位置、つまりピークのレンズ位置を抽出する。
S1010では、システム制御部106は、S1009で抽出したピーク位置にフォーカスレンズ101を移動する。
図7から図10の処理を行うことにより、連写撮影中の撮影コマ間で顔情報を用いたAFを行う際に、顔検出結果が出る前に、撮影した静止画から位相差AFを行った結果と前回までの顔情報と被写体移動量に基づいてフォーカスレンズ101を駆動することができる。
最初に本撮影処理により得られた静止画から位相差AFを行い、画面内の複数の位相差AF用画素位置における合焦位置を算出しておく。次に前回の撮影コマまでの顔位置から今回の顔位置を予測する。そして、複数の位相差AF用画素位置から予測した顔位置に最も近い画素位置を選択し、その画素位置での位相差AFの信頼性を取得する。さらに前回の撮影コマまでの合焦位置から被写体移動量を算出する。
このようにして求めた情報から、以下の中からフォーカスレンズ101の駆動パターンを決定する。
(駆動パターン1)位相差AFの信頼性が高く、被写体の移動量が大きい場合
今回の撮影コマにおける顔検出結果が出るまでは、予測した顔位置に最も近い位置の位相差AFの結果が示す合焦位置の方向へフォーカスレンズ101を移動する。その後、今回の撮影コマにおける顔検出結果が出たら、検出された顔位置に最も近い位置の位相差AFの結果が示す合焦位置にフォーカスレンズ101を移動してAF処理を終了する。
駆動パターン1では、位相差AFの信頼性が高いのでその結果をそのまま用いることができるが、被写体の移動量が大きいためフォーカスレンズ101を大きく動かす必要がある。その場合、位相差AFの検出誤差が大きくなる可能性があるので、今回の撮影コマにおける顔検出結果が出たところで、使用する位相差AF用画素位置を変更して最終的な合焦位置とする。
(駆動パターン2)位相差AFの信頼性が高く、被写体の移動量が小さい場合
被写体移動量が小さいので、予測した顔位置に最も近い位置の位相差AFの結果を最終合焦位置としても、大きくピントを外すことがないと判定できる。そのため、今回の撮影コマにおける顔検出結果が出る前でも、予測した顔位置に最も近い位置の位相差AFの結果が示す合焦位置にフォーカスレンズ101を移動してAF処理を終了する。
(駆動パターン3)位相差AFの信頼性が低く、被写体の移動量が大きい場合
今回の撮影コマにおける顔検出結果が出るまでは、予測した顔位置に最も近い位置の位相差AFの結果が示す合焦位置の方向へフォーカスレンズ101を動かす。その後、今回の撮影コマにおける顔検出結果が出たら、検出された顔位置にAF枠を設定してコントラストAFを行う。位相差AFの信頼性が低いので最終的な合焦位置はコントラストAFによって求める。
(駆動パターン4)位相差AFの信頼性が低く、被写体の移動量が小さい場合
被写体の移動量が小さいので、信頼性の低い位相差AFの結果を用いると合焦位置とは反対方向にフォーカスレンズ101を動かすおそれがある。従って、今回の撮影コマにおける顔検出結果が出るまではフォーカスレンズ101を動かさず、今回の撮影コマにおける顔検出結果が出たところで、検出された顔位置にAF枠を設定してコントラストAFを行う。
以上のように、本実施形態によれば、連写撮影中のAF処理において、顔検出結果を待たずにフォーカスレンズ101を移動できるので、連写撮影コマ間のAF処理時間を短縮し、連写コマ速度の低下を抑制することができる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…デジタルカメラ、101…フォーカスレンズ、102…フォーカスレンズ駆動部、103…撮像素子、104…A/D変換部、105…画像処理部、106…システム制御部、107…プログラムメモリ、108…ワークメモリ、109…第1スイッチ、110…第2スイッチ、111…表示部、112…タッチパネル、113…操作部、114…顔検出部、115…物体検出部、116…記録媒体

Claims (10)

  1. 撮像素子により撮像された画像から被写体を検出する被写体検出手段と、
    前記被写体検出手段により検出された被写体にフォーカスを合わせるように撮像光学系を駆動するフォーカス制御手段と、
    撮影準備処理と本撮影処理とを繰り返す連写撮影を行う撮影制御手段と、
    前記本撮影処理により得られた画像を用いて前記撮像光学系の合焦位置を検出する焦点検出手段と、
    前記被写体検出手段による検出結果に基づいて次回の本撮影処理の際の撮像範囲内における被写体の位置を予測する予測手段と、
    前記予測手段により予測された被写体の位置に対して焦点検出領域を設定する設定手段と、
    前記設定手段により設定された焦点検出領域に関する信頼性を求める信頼性取得手段と、
    前記焦点検出手段により検出された前記撮像光学系の合焦位置から被写体の移動量を求める被写体移動量取得手段と、を有し、
    前記フォーカス制御手段は、前記連写撮影における本撮影処理の前に前記被写体検出手段による検出結果が得られるまでは、前記信頼性と前記被写体の移動量とに基づいて前記撮像光学系を駆動する場合に前記焦点検出手段による前回の本撮影処理までの検出結果が示す合焦位置を用いることを特徴とする撮像装置。
  2. 前記焦点検出手段は、前記撮像素子により撮像された一対の像信号に相関演算を施すことによって合焦位置を算出することを特徴とする請求項1に記載の撮像装置。
  3. 前記フォーカス制御手段は、前記信頼性が高いと判定し、かつ前記被写体の移動量が大きいと判定した場合は、前記被写体検出手段による検出結果が得られるまでは前記焦点検出手段による前回の本撮影処理までの検出結果が示す合焦位置の方向に前記撮像光学系を駆動し、前記被写体検出手段による検出結果が得られた場合は、今回の本撮影処理での検出結果が示す合焦位置に前記撮像光学系を駆動することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記フォーカス制御手段は、前記信頼性が高いと判定し、かつ前記被写体の移動量が小さいと判定した場合は、前記焦点検出手段による前回の本撮影処理までの検出結果が示す合焦位置に前記撮像光学系を駆動することを特徴とする請求項1または2に記載の撮像装置。
  5. 前記焦点検出手段は、前記フォーカス制御手段により前記撮像光学系を移動しながら前記撮像素子により得られる画像の輝度信号の高周波成分が極大になる位置を合焦位置とする第2の焦点検出手段を有し、
    前記フォーカス制御手段は、前記信頼性が低いと判定し、かつ前記被写体の移動量が大きいと判定した場合は、前記被写体検出手段による検出結果が得られるまでは前記焦点検出手段による前回の本撮影処理までの検出結果が示す合焦位置の方向に前記撮像光学系を駆動し、前記被写体検出手段による検出結果が得られた場合は、前記第2の焦点検出手段により検出された合焦位置に前記撮像光学系を駆動することを特徴とする請求項1または2に記載の撮像装置。
  6. 前記焦点検出手段は、前記フォーカス制御手段により前記撮像光学系を移動しながら前記撮像素子により得られる画像の輝度信号の高周波成分が極大になる位置を合焦位置とする第2の焦点検出手段を有し、
    前記フォーカス制御手段は、前記信頼性が低いと判定し、かつ前記被写体の移動量が小さいと判定した場合は、前記被写体検出手段による検出結果が得られるまでは前記撮像光学系の駆動は行わず、前記被写体検出手段による検出結果が得られた場合は、前記第2の焦点検出手段により検出された合焦位置に前記撮像光学系を駆動することを特徴とする請求項1または2に記載の撮像装置。
  7. 前記被写体検出手段は人物の顔を検出することを特徴とする請求項1ないし6のいずれか1項に記載の撮像装置。
  8. 撮像素子により撮像された画像から被写体を検出する被写体検出手段と、
    前記被写体検出手段により検出された被写体にフォーカスを合わせるように撮像光学系を駆動するフォーカス制御手段と、
    撮影準備処理と本撮影処理とを繰り返す連写撮影を行う撮影制御手段と、
    前記本撮影処理により得られた画像を用いて前記撮像光学系の合焦位置を検出する焦点検出手段と、を有する撮像装置の制御方法であって、
    予測手段が、前記被写体検出手段による検出結果に基づいて次回の本撮影処理の際の撮像範囲内における被写体の位置を予測する予測ステップと、
    設定手段が、前記予測ステップにより予測された被写体の位置に対して焦点検出領域を設定する設定ステップと、
    信頼性取得手段が、前記設定ステップにより設定された焦点検出領域に関する信頼性を求める信頼性取得ステップと、
    被写体移動量取得手段が、前記焦点検出手段により検出された前記撮像光学系の合焦位置から被写体の移動量を求める被写体移動量取得ステップと、
    前記フォーカス制御手段が、前記連写撮影における本撮影処理の前に前記被写体検出手段による検出結果が得られるまでは、前記信頼性と前記被写体の移動量とに基づいて前記撮像光学系を駆動する場合に前記焦点検出手段による前回の本撮影処理までの検出結果が示す合焦位置を用いるフォーカス制御ステップと、を有することを特徴とする撮像装置の制御方法。
  9. コンピュータを、請求項1ないし7のいずれか1項に記載された撮像装置の各手段として機能させるためのプログラム。
  10. コンピュータを、請求項1ないし7のいずれか1項に記載された撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2015076310A 2015-04-02 2015-04-02 撮像装置およびその制御方法、プログラム、ならびに記憶媒体 Expired - Fee Related JP6431429B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015076310A JP6431429B2 (ja) 2015-04-02 2015-04-02 撮像装置およびその制御方法、プログラム、ならびに記憶媒体
US15/085,251 US9912858B2 (en) 2015-04-02 2016-03-30 Image capturing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015076310A JP6431429B2 (ja) 2015-04-02 2015-04-02 撮像装置およびその制御方法、プログラム、ならびに記憶媒体

Publications (3)

Publication Number Publication Date
JP2016197150A JP2016197150A (ja) 2016-11-24
JP2016197150A5 JP2016197150A5 (ja) 2018-05-10
JP6431429B2 true JP6431429B2 (ja) 2018-11-28

Family

ID=57016470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015076310A Expired - Fee Related JP6431429B2 (ja) 2015-04-02 2015-04-02 撮像装置およびその制御方法、プログラム、ならびに記憶媒体

Country Status (2)

Country Link
US (1) US9912858B2 (ja)
JP (1) JP6431429B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107257433B (zh) * 2017-06-16 2020-01-17 Oppo广东移动通信有限公司 对焦方法、装置、终端和计算机可读存储介质
CN111246078A (zh) * 2018-11-29 2020-06-05 北京小米移动软件有限公司 影像处理方法及装置
JP2020112700A (ja) * 2019-01-11 2020-07-27 キヤノン株式会社 フォーカス制御装置、撮像装置およびフォーカス制御方法
CN111008606B (zh) * 2019-12-10 2024-04-16 上海商汤智能科技有限公司 图像预测方法及装置、电子设备和存储介质
JP2024073200A (ja) * 2022-11-17 2024-05-29 キヤノン株式会社 フォーカス制御装置、撮像装置およびフォーカス制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3413904B2 (ja) * 1993-10-07 2003-06-09 株式会社ニコン 自動焦点調節装置
JPH0875999A (ja) * 1994-09-07 1996-03-22 Nikon Corp 自動焦点調節装置
US7725018B2 (en) * 2006-08-01 2010-05-25 Canon Kabushiki Kaisha Focus control apparatus, image sensing apparatus and focus control method
JP5098259B2 (ja) 2006-09-04 2012-12-12 株式会社ニコン カメラ
JP5322593B2 (ja) * 2008-11-10 2013-10-23 キヤノン株式会社 焦点調節装置及び方法
JP5361598B2 (ja) * 2009-07-30 2013-12-04 キヤノン株式会社 焦点調節装置及び方法、及び撮像装置
RU2549143C1 (ru) * 2011-03-17 2015-04-20 Кэнон Кабусики Кайся Устройство регистрации изображения и способ управления им
CN108401114A (zh) * 2012-05-07 2018-08-14 株式会社尼康 焦点检测装置
JP6335434B2 (ja) * 2013-04-19 2018-05-30 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP6274779B2 (ja) * 2013-08-21 2018-02-07 キヤノン株式会社 焦点調節装置、撮像装置及び焦点調節方法
JP6053652B2 (ja) * 2013-09-20 2016-12-27 富士フイルム株式会社 撮像装置及び合焦制御方法

Also Published As

Publication number Publication date
US20160295101A1 (en) 2016-10-06
US9912858B2 (en) 2018-03-06
JP2016197150A (ja) 2016-11-24

Similar Documents

Publication Publication Date Title
JP4906893B2 (ja) 撮像装置及び撮像装置の制御方法
JP4843002B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5709816B2 (ja) 撮像装置、その制御方法、および制御プログラム、並びに記録媒体
JP4730478B2 (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP6431429B2 (ja) 撮像装置およびその制御方法、プログラム、ならびに記憶媒体
JP6774233B2 (ja) 焦点検出装置、制御方法およびプログラム
JP2016143022A (ja) 撮像装置及び撮像方法
JP2020052400A (ja) ズーム制御装置およびその制御方法
JP7158841B2 (ja) 撮像装置、撮像方法、プログラム、記録媒体および画像処理装置
JP6140945B2 (ja) 焦点調節装置及び撮像装置
CN113572951B (zh) 焦点调整设备、摄像设备、焦点调整方法和存储介质
JP5409483B2 (ja) 撮像装置
JP2015154409A (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP7292033B2 (ja) 情報処理装置、情報処理方法、撮像装置、及びプログラム
JP6590894B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2016057463A (ja) 焦点調節装置及びその制御方法
JP6768449B2 (ja) 撮像制御装置、撮像装置の制御方法及びプログラム
KR20120068696A (ko) 촬상 장치 및 촬상 방법
KR20120070493A (ko) 촬상 장치 및 촬상 방법
JP5225477B2 (ja) 撮像装置、及びその制御方法
JP2020101730A (ja) 撮像装置およびその制御方法
JP5153912B2 (ja) 撮像装置及び撮像装置の制御方法
JP2025181326A (ja) 制御装置、撮像装置、制御方法およびプログラム
JP2016208396A (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2025172957A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181102

R151 Written notification of patent or utility model registration

Ref document number: 6431429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees