JP6661493B2 - 像ブレ制御装置、撮像装置および制御方法 - Google Patents

像ブレ制御装置、撮像装置および制御方法 Download PDF

Info

Publication number
JP6661493B2
JP6661493B2 JP2016167908A JP2016167908A JP6661493B2 JP 6661493 B2 JP6661493 B2 JP 6661493B2 JP 2016167908 A JP2016167908 A JP 2016167908A JP 2016167908 A JP2016167908 A JP 2016167908A JP 6661493 B2 JP6661493 B2 JP 6661493B2
Authority
JP
Japan
Prior art keywords
image
focus detection
setting
positions
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016167908A
Other languages
English (en)
Other versions
JP2018036366A (ja
JP2018036366A5 (ja
Inventor
仁志 宮澤
仁志 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016167908A priority Critical patent/JP6661493B2/ja
Priority to US15/659,819 priority patent/US10321058B2/en
Priority to CN201710762942.7A priority patent/CN107800957B/zh
Publication of JP2018036366A publication Critical patent/JP2018036366A/ja
Publication of JP2018036366A5 publication Critical patent/JP2018036366A5/ja
Application granted granted Critical
Publication of JP6661493B2 publication Critical patent/JP6661493B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Description

本発明は、像ブレ制御装置、撮像装置および制御方法に関する。
カメラの撮影方法の一つに流し撮りがある。流し撮りは、例えば、水平方向に移動している被写体の動きにカメラを追従させながら撮影する手法である。流し撮りの際には、一般的に、被写体の躍動感を出すために、シャッター速度を遅くする。
ユーザが、長秒のシャッター速度(例えば、1/30秒)でカメラを振りながら被写体(例えば、時速60km/hで移動する電車)を上手く追従して撮影するためには、長年の経験が必要である。特に初心者にとって、長秒のシャッター速度で露光期間中に被写体の速度とカメラを振る速度を合せることは困難である。特許文献1は、光学式補正機能を用いて、像ブレ補正を行うとともに、被写体を静止するように光軸シフトレンズを動かすことで、流し撮りをアシストする撮像装置を開示している。
特開2006−317848号公報
流し撮りをアシストするための像ブレ補正装置を有する撮像装置は、例えば、撮像画像から検出される主被写体の動きベクトルに基づいてシフトレンズを駆動させる。これにより、主被写体とカメラのパンニング速度の差(被写体振れ量)と、手振れ量とが補正されて、流し撮り対象である主被写体に係る像ブレを抑えることができる。
動きベクトルの検出方法として、相関演算に基づく相関法やブロックマッチング法等が知られている。例えば、ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック(ベクトル検出ブロック)に分割する。そして、このブロック単位で前のフレームの一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフレームのブロックを探索する。画面間の相対的なずれが、そのブロックの動きベクトルを示す。
動画撮影時など、画面全体を防振したい場合は、ベクトル検出ブロックを画面全体に配置することが好ましい。一方、流し撮り撮影など、画面全体の一部を防振したい場合は、防振したい個所に密集させてベクトル検出ブロックを配置することが好ましい。更に、流し撮り撮影では、ベクトル検出ブロックのサイズを小さくして、動きベクトルの検出精度を高めた方が良い。しかし、密集させた配置で画面全体にブロックを配置すると、動きベクトル検出の処理時間が長くなり、像面上での移動量が大きくなるので、シフトレンズを駆動させる量が大きくなってしまう。また、ベクトル検出ブロックを密集させ、画面中央付近に配置すると、被写体が画面端でベクトル検出ブロックの範囲内に存在していないときには、動きベクトルを検出できず、流し撮り対象の被写体に係る像ブレの補正を精度良く実行することができない。本発明は、画面内のどの位置でも被写体の動きベクトルを検出でき、流し撮りを容易に行うことを可能にする像ブレ補正装置の提供を目的とする。
本発明の一実施形態の像ブレ制御装置は、撮像画像から動きベクトルを取得する取得手段と、前記動きベクトルの取得に用いられる複数の画像領域の位置を設定する設定手段と、を備える像ブレ制御装置であって、前記設定手段は第1の像ブレ補正モードのときは、第2の像ブレ補正モードのときよりも、前記複数の画像領域の位置が密集するように設定し、且つ、焦点検出に用いられる焦点検出領域の位置を取得し、前記焦点検出領域の位置に応じて、前記複数の画像領域の位置を設定する。
本発明の像ブレ補正装置によれば、画面内のどの位置でも被写体の動きベクトルを検出でき、流し撮りを容易に行うことが可能になる。
撮像装置の構成を示す図である。 ベクトル検出ブロックの配置例を示す図である。 動きベクトルのヒストグラムの例を示す図である。 ベクトル検出領域の移動を説明する図である。 防振制御処理を説明するフローチャートである。 防振制御処理を説明するフローチャートである。 ベクトル検出領域の移動を説明する図である。
図1は、本実施形態の像ブレ補正装置を備える撮像装置の構成を示す図である。
以下の説明では、画像のヨー方向またはピッチ方向のいずれか一方の像ブレ補正制御に関して説明を行う。他方向の像ブレ補正制御は、説明を省略する。
図1に示す撮像装置は、デジタルカメラである。図1に示す例では、撮像装置は、像ブレ補正装置100、角速度検出部102、動きベクトル検出部115、モード情報入力部119、焦点検出部120、補正系駆動部111、補正部112、補正系位置検出部113を備える。
角速度検出部102は、撮像装置に加わる振れを角速度信号(振れ検出信号)として検出する。角速度検出部102の出力は、角速度データとしてマイコン(以下、μCOM)101内部のハイパスフィルタ(以下、HPF)103に供給される。
μCOM101は、像ブレ補正装置100を実現する。μCOM101は、HPF103乃至減算器118を備える。HPF103は、任意の周波数帯域でその特性を変更し得る機能を有している。HPF103は、角速度データに含まれる低周波数成分を遮断してから高周波数帯域の信号を出力する。なお、HPF103が、角速度センサ102の出力から角速度センサ102の出力に対して高周波数帯域の信号を遮断するローパスフィルタ(LPF)を通過させた信号を減算する構成にしても良い。
利得・位相特性演算部104は、入力データであるハイパスフィルタの出力を所定のゲインで増幅する増幅器と、位相補償フィルタとを有する。焦点距離演算部105は、焦点検出部120から撮像光学系の焦点検出結果を受け取って焦点距離を算出し、補正部112を駆動するのに最適な値となるように利得・位相特性演算部104の出力を補正する。スイッチ106は、補正部112の目標信号を選択する。具体的には、スイッチ106は、モード情報入力部119が出力するモード情報に応じて、被写体振れ補正の目標信号と手振れ補正の目標信号とを切り換えて出力する。被写体振れ補正は、流し撮り時における流し撮り対象の被写体に係る像ブレ補正である。手振れ補正は、流し撮り時以外の撮影時における像ブレ補正である。モード情報の判定値が、撮像装置の動作モードとして流し撮りモードを示す場合、スイッチ106は、減算器118の出力信号を積分器107に供給し、補正部112の駆動による被写体振れ補正が行われるようにする。後述するように、減算器118は、被写体のベクトルから算出される被写体角速度から角速度検出部102の出力を減算する。したがって、流し撮りモードの際には、μCOM101は、撮像装置に加わる振れを示す振れ検出信号と、被写体のベクトルとに基づいて、撮像画像に生じる像ブレを補正するために用いる補正手段を駆動する駆動手段として機能する。モード情報の判定値が、流し撮りモードを示さない場合は、スイッチ106は、焦点距離演算部105の出力を積分器107に供給し、手振れ補正が行われるようにする。
モード情報の判定値が流し撮りモードか否かについては、μCOM101が、ダイヤルのモード設定に用意されている流し撮りモードを撮影者が選択したか否かによって判定しても良い。また、μCOM101が、ヨー方向とピッチ方向の角速度検出部102の出力との比較結果に基づいて判定してもよい。具体的には、片軸の角速度検出部102の出力がもう片軸の角速度検出部102よりも大きい場合(例えば10dps以上の場合)に、パンニングまたはチルティング状態と判定し、流し撮りモードと判定しても良い。
積分器107は、任意の周波数帯域でその特性を変更し得る機能を有している。積分器107は、スイッチ106の出力を積分し、補正部112の駆動量を算出する。減算器108は、積分器107の出力から、A/D変換器114の出力を減算して、制御器109に出力する。補正系位置検出部113は、補正部112の位置を検出してA/D変換器114に出力する。A/D変換器114は、補正系位置検出部113から出力された補正部112の位置をA/D変換して出力する。
制御器109は、入力データを所定のゲインで増幅する増幅器と、位相補償フィルタとを有する。減算器108から供給された偏差データは、制御器109において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部110に出力される。パルス幅変調部110は、制御器109を通過して供給されたデータを、パルス波のデューティー比を変化させる波形(即ちPWM波形)に変調して、補正系駆動部111に供給する。
補正系駆動部111は、補正部112を駆動させるボイスコイル型モータである。補正部112は、補正系駆動部111によって駆動されることにより、光軸と垂直な方向に移動する。補正部112は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸を偏光することで、光学的に像ブレを補正する。その結果、装置の振れ等により生じる撮像面上の被写体の移動が補正された像が、撮像素子に結像される。
補正系位置検出部113は、補正部112の光軸と垂直な方向への移動量を検出し、その検出結果をA/D変換器114を介して減算器108に供給する。補正系位置検出部113は、磁石と、磁石に対抗する位置に供えられたホールセンサとを有する。
次に、被写体振れ補正を行うための被写体振れ補正量の算出について説明する。動きベクトル検出部115は、不図示の信号処理部で生成された現在の映像信号に含まれる輝度信号と、1フレーム前の映像信号に含まれる輝度信号とに基づいて、画像の動きベクトルを検出する。この時、μCOM101は、合焦位置検出手段である焦点検出部120によって検出される合焦位置の、基準位置からの移動量または移動割合に応じて、動きベクトル検出部115による動きベクトルの検出領域であるベクトル検出領域を設定する。合焦位置の基準位置からの移動量または移動割合に応じたベクトル検出領域の設定方法については後述する。動きベクトル検出部115によって検出された動きベクトルデータは、被写体ベクトル検出部116に供給される。
被写体ベクトル検出部116は、動きベクトル検出部115によって検出された画面内の動きベクトルから被写体ベクトルを検出して、被写体動きベクトル(第1の動きベクトル)と背景動きベクトル(第2の動きベクトル)を分離する。具体的には、被写体ベクトル検出部116は、角速度検出部102の出力から直流成分を除去した角速度を撮像面上の移動量(像面移動量)へ換算する。被写体ベクトル検出部116は、画面内の動きベクトルと像面移動量とに基づいて、被写体動きベクトルを検出する。
被写体角速度演算部117は、被写体ベクトル検出部116の出力である被写体ベクトルを、焦点検出部120の焦点距離やフレームレートに基づいて被写体角速度へ換算する。減算器118は、被写体角速度演算部117で算出した被写体角速度から角速度検出部102を減算、つまりは被写体とカメラの差分角速度を算出して、スイッチ106に供給する。
図2は、ベクトル検出ブロックの配置例を示す図である。
ベクトル検出ブロックは、動きベクトル検出部115が動きベクトルの検出対象とするブロックである。図2(A)は、流し撮り時におけるベクトル検出ブロックの配置例を示す。図2(B)は、流し撮影時でない動画撮影の際のベクトル検出ブロックの配置例を示す。動画撮影時など画面全体を対象にして防振したい場合は、ベクトル検出領域202bが画面全体になるようにベクトル検出ブロック203bが配置される。流し撮りなど画面全体ではなく画面内の一部分を対象にして防振したい場合は、ベクトル検出ブロック203aは、防振したい箇所に密集して配置する。しかし、ベクトル検出領域202aが画面中央付近に配置されていると、被写体201が画面端にいる場合、つまりベクトル検出領域202aの領域内に存在しない場合は、被写体201のベクトル検出をすることができない。
図3は、ベクトル検出ブロックを用いて得られた動きベクトルのヒストグラムの例を示す図である。
図3(A)の横軸は、検出されたベクトルの移動量を示す。縦軸は、度数を示す。図2に示すように、画面内に被写体が1つしか存在しない場合は、ヒストグラムは第1ベクトル群301と第2ベクトル群302のように、大きく2つのベクトル群に分かれる。ヒストグラムから被写体ベクトルを判定する方法の一例として、移動量が0pix付近の第1ベクトル群301が被写体で、移動量が0pixから一定以上離れた第2ベクトル群302を背景と判定することができる。しかし、移動量が0pix付近にあるベクトルは、撮影者が被写体をうまく追従できている場合に検出されるベクトルである。流し撮りに不慣れな撮影者は、被写体とカメラの角速度差が大きくなるので、第1ベクトル群301が0pixから離れていく。これにより、第1ベクトル群301と第2ベクトル群302について、被写体ベクトル群と背景ベクトル群との判別が困難となる。
図3(B)に示すように、μCOM101は、角速度検出部102の出力である角速度を換算した像面移動量303を中心に、背景範囲の閾値304内に存在するベクトルは背景ベクトル候補と判定する。また、背景範囲の閾値304外に存在するベクトルは被写体ベクトル候補と判定する。像面移動量303を中心に閾値304を用いるのは以下の理由からである。像面移動量303は、撮像装置の動きに伴う像面の移動量であって静止被写体のベクトルに対応している。一方、動きベクトル検出部115が出力するベクトルは、1フレームで60個(例えば縦6ライン横10ライン)であるのに対し、角速度検出部102が出力する角速度は、1フレームで1個のデータ数である。動きベクトル検出部115が出力するベクトルは、静止被写体であっても若干のばらつきがあるため、像面移動量303と動き量が等しいベクトルのみを背景ベクトルと判定すると背景ベクトルの判定精度がよくない。例えば、図3(B)で背景ベクトル群としている動き量のうち中心のベクトルのみが背景ベクトルとして判定すると、その他の背景ベクトル群を被写体ベクトルと誤判定する可能性がでてくる。そのため、背景ベクトルの判定精度を向上させるため、像面移動量303を中心に閾値304を用いる。この閾値304は、角速度検出部102の出力に応じて可変させる。
図4は、本実施形態におけるベクトル検出領域の移動を説明する図である。
μCOM101は、図4に示すように、カメラのフォーカス枠402に連動させて、ベクトル検出領域403を移動させる。フォーカス枠は、焦点検出領域を示す。ベクトル検出領域の移動をフォーカス枠402を基準にしている理由は、撮影者は、主被写体にフォーカス枠402を合わせる可能性が高いからである。μCOM101は、フォーカス枠402が合焦した位置を取得し、その位置の基準位置401からの移動量または移動割合を算出し、その算出結果に基づいて、ベクトル検出領域403を設定する。
図5および図6は、本実施形態の防振制御処理を説明するフローチャートである。
ステップS501において、μCOM101が、手振れ補正機能の機能設定が有効になっているか否かを判定する。手振れ補正機能の機能設定が有効になっている場合は、処理が、ステップS502へ進む。手振れ補正機能の機能設定が無効になっている場合は、μCOM101は、補正部112を光学中心位置に維持し続け、防振制御を行わない。
ステップS502において、μCOM101は、撮像装置の動作モードが流し撮りモードであるか否かを判定する。撮像装置の動作モードが流し撮りモードである場合は、処理がステップS503に進む。撮像装置の動作モードが流し撮りモードでない場合は、処理がステップS527に進む。流し撮りモードの判定方法の例について説明する。μCOM101は、例えば、ダイヤルのモード設定が、流し撮りモードに選択されている場合に、動作モードが流し撮りモードであると判定する。あるいは、μCOM101が、角速度検出部102の出力である角速度が所定値以上であれば、パンニング(若しくはチルティング)されているとして、動作モードが流し撮りモードであると判定してもよい。
ステップS503において、μCOM101が、焦点検出方式がオートフォーカス方式(AF)であるかマニュアルフォーカス方式(MF)であるかを判定する。焦点検出方式がAFである場合は、処理がステップS504に進む。焦点検出方式がMFである場合は、処理がステップS526に進む。
ステップS504において、μCOM101が、オートフォーカス方式が顔優先AFであるか否かを判定する。顔優先AFは、撮影画像中の被写体の顔を優先して焦点検出処理の対象とするAFである。オートフォーカス方式が顔優先AFである場合は、処理が、ステップS505に進む。オートフォーカス方式が顔優先AFでない場合は、処理が、ステップS525へ進む。
ステップS505において、μCOM101が、タッチAFがされているか否かを判定する。タッチAFは、ユーザ操作で選択される被写体に対して焦点検出処理を実行するオートフォーカス方式である。この例では、タッチAFは、ユーザによってタッチされた領域を焦点検出処理の対象とする。タッチAFがされている場合は、処理がステップS506へ進む。タッチAFがされていない場合は、処理がステップS519に進む。ステップS506において、μCOM101が、タッチAFされた位置での合焦位置、つまり、ユーザによって選択される被写体に対応する焦点検出領域内で検出される合焦位置を取得する。そして、処理が図6のステップS507に進む。
図7は、画面内に複数の被写体が存在する場合における、ベクトル検出領域の移動を説明する図である。
図7(A)に示すように、画角内に複数の被写体が存在する。フォーカス枠604は、被写体602に対応する。フォーカス枠603は、被写体601に対応する。605は、ベクトル検出領域を示す。μCOM101は、撮影者がタッチAFで指定した被写体601に表示されるフォーカス枠603の合焦位置を取得する。
図6のステップS507において、μCOM101が、合焦位置の基準位置(例えば画角中心位置)からの移動量または移動割合を算出する。この合焦位置は、図5のステップS506,ステップS522,ステップS523,ステップS525のいずれかで取得される合焦位置である。また、後述する図5のステップS526でアシスト枠内の領域の中心位置が取得された場合には、μCOM101は、この中心位置の基準位置からの移動量または移動割合を算出する。
次に、図6のステップS508において、μCOM101が、ステップS507で算出した移動量または移動割合の値に基づいて、ベクトル検出領域を移動する。続いて、ステップS509において、動きベクトル検出部115が、ステップS508で移動したベクトル検出領域での動きベクトルを検出する。
次に、ステップS510において、μCOM101が、角速度検出部102の出力である露光重心間の角速度、の平均値を取得する。動きベクトル検出部115が撮像の露光重心間でフレーム間の差分ベクトルを検出しており、ステップS513で動きベクトル検出部115の出力と角速度検出部102の出力から算出する像面移動量のヒストグラムを作成する際に同期をとるためである。
次に、ステップS511において、μCOM101が、ステップS504で得られた露光重心間の角速度の平均値からオフセット成分を除去する。オフセット成分を除去するのは、後述する被写体動きベクトル算出処理において、オフセット重畳した分、角速度から換算した像面移動量がオフセットして被写体ベクトルが誤検出されることを防ぐためである。続いて、ステップS512において、μCOM101が、フレームレートと焦点距離情報とに基づいて、露光重心間の角速度の平均値を撮像面上での像面移動量に変換する。角速度情報を像面移動量に変換する理由は、後述する被写体動きベクトルの判定処理で、角速度から求めた像面移動量を使用するからである。
ステップS513において、μCOM101が、ステップS509で検出した動きベクトルからヒストグラムを作成する。例えば、動きベクトル検出部115の検出ブロック数の設定が、縦6ライン、横10ラインである場合、総数60個のベクトルデータ分のヒストグラムが作成される。また、μCOM101は、ステップS512で算出した撮像面上の像面移動量からヒストグラムを作成する。具体的には、1フレームで取得する角速度は1データであるので、μCOM101は、角速度から換算した撮像面上の像面移動量を中心に±αを背景範囲の閾値として、像面移動量のヒストグラムを作成する。なお、本実施形態では、1フレームで取得する角速度は1データであるため、像面移動量を中心に±αを背景ベクトルと判定する範囲として設定すればよく、像面移動量からヒストグラムを作成しなくてもよい。
ステップS514において、μCOM101が、被写体動きベクトルが検出可能であるか否かを判定する。具体的には、μCOM101は、ステップS513で作成されたヒストグラムで、背景範囲の閾値304内のベクトルを背景ベクトル群、背景範囲の閾値304外のベクトルを被写体ベクトル群の候補として判定する。そして、各々のベクトル群でピークベクトルの度数が閾値以上(例えば5)であれば、動きベクトルが正しく検出出来ていると判断し、最終的に被写体動きベクトル、背景動きベクトルとして検出する。被写体動きベクトルが検出可能である場合は、処理がステップS515へ進む。被写体動きベクトルが検出不可能である場合は、処理がステップS527へ進む。
ステップS515において、μCOM101が、ステップS514で検出された被写体ベクトル群のベクトル平均値を算出する。続いて、μCOM101が、ステップS515で算出された被写体動きベクトルを、焦点距離とフレームレートに基づいて角速度に換算して被写体角速度とする。ステップS517において、μCOM101が、ステップS514で算出された被写体角速度と、角速度検出部102の出力との差分値を積分して、被写体振れ補正に用いる補正信号を算出する。
ステップS518において、μCOM101が、補正部112を駆動する。具体的には、ステップS502で流し撮りモードと判定された場合には、μCOM101は、ステップS517で算出された被写体振れ補正の補正信号に基づいて、補正部112を駆動させる。また、ステップS502で流し撮りモードでないと判定された場合は、μCOM101は、後述するステップS531で算出された手振れ補正の補正信号に基づいて、補正部112を駆動させる。
また、図5のステップS519において、μCOM101が、顔検出されているかを判定する。顔検出されている場合は、処理がステップS520に進む。顔検出されていない場合は、処理がステップS524に進む。
次に、ステップS520において、μCOM101が、顔検出数が2以上であるかを判定する。顔検出以上が2以上である場合は、処理がステップS521に進む。顔検出数が1である場合は、処理がステップS523に進む。ステップS520で顔検出数を判定している理由は、タッチAFをしていないので、図7(B)に示すように画面内に複数の被写体が存在する場合において、どの被写体が流し撮りの対象であるかを判断する必要があるからである。
次に、ステップS521において、μCOM101が、主被写体を検出できているかを判定する。ステップS505で撮影者によるタッチAFでの主被写体指定動作がないと判定されているので、ステップS521ではカメラで自動判定する。例えば、μCOM101は、顔のサイズや顔検出位置が画角中央よりかを特定することで、主被写体を検出できているかを判定する。主被写体を検出できている場合は、処理がステップS522に進む。主被写体を検出できていない場合は、処理がステップS524へ進む。
ステップS522においては、図7(B)に示すように、画面内の複数の被写体601,602のうち、被写体601が主被写体として検出されている。したがって、μCOM101は、主被写体601の顔に対応するフォーカス枠603内の合焦位置を取得する。そして、処理がステップS507に進む。
ステップS523においては、画面内に被写体は1人かつ顔検出ができているので、μCOM101は、被写体の顔に対応する焦点検出領域内(フォーカス枠内)で検出される合焦位置を取得する。そして、処理がステップS507に進む。
ステップS524においては、図7(C)に示すように、画面内に複数の被写体601,602が存在するが、カメラが主被写体を判定できていないか、若しくはステップS519で顔検出がないと判定されている。これは、画面内の人以外の被写体(例えば電車)が撮影されているか、画面内に被写体が存在しないからである。したがって、μCOM101は、移動量または移動割合を0として、ベクトル検出領域605の位置を、例えば画面中心に維持する。
ステップS525においては、顔優先AF以外のオートフォーカス方式が設定されている。したがって、例えば、指定されたフォーカス枠1点でピント合わせをする方式が設定されている場合には、μCOM101は、指定されたフォーカス枠の合焦位置を取得する。そして、処理がステップS507に進む。
ステップS526においては、マニュアルフォーカス方式が指定されている。ここで、マニュアルフォーカス時は、μCOM101は、オートフォーカス時の表示枠とは異なる枠(アシスト枠)を表示する。アシスト枠は、撮影をアシストするための枠、具体的には、撮影者が被写体の止めたい位置に合わせやすくするための枠である。したがって、μCOM101は、アシスト枠内の領域の中心位置を取得する。そして、処理がステップS507に進む。
また、ステップS527において、μCOM101が、角速度検出部102の出力である角速度を取得する。ステップS528においては、角速度検出部102の出力には直流成分が重畳しているので、μCOM101は、ハイパスフィルタを通して直流成分を除去する。続いて、ステップS529において、μCOM101は、直流成分が除去された角速度検出部102の出力が所望の周波数特性になるように、所定のゲインで増幅する増幅器、及び位相補償フィルタで演算する。
ステップS530において、μCOM101が、撮像光学系の焦点距離を算出し、補正部112を駆動するのに最適な値となるように利得・位相特性演算部104の出力を補正する。そして、ステップS531において、μCOM101が、ステップS530で補正された出力を積分して、手振れ補正の補正信号を算出する。そして、処理がステップS518に進む。
以上説明したように、μCOM101が、フォーカス枠と連動してベクトル検出領域を移動させることで、画面内のどの位置でもベクトル検出が可能となる。本発明は、デジタル一眼レフやデジタルコンパクトカメラの像振れ補正装置に限らず、監視カメラ、Webカメラ、携帯電話などの撮影装置にも適用可能である。また、上記の実施形態では、被写体や背景の画面内の動き情報として動きベクトルを用いる例を説明したが、移動量と移動方向とを分離した動き情報を用いてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 μCOM
102 角速度検出部
111 補正系駆動部
112 補正部
115 動きベクトル検出部

Claims (20)

  1. 撮像画像から動きベクトルを取得する取得手段と、
    前記動きベクトルの取得に用いられる複数の画像領域の位置を設定する設定手段と、
    を備える像ブレ制御装置であって、
    前記設定手段は第1の像ブレ補正モードのときは、
    第2の像ブレ補正モードのときよりも、前記複数の画像領域の位置が密集するように設定し、
    且つ、焦点検出に用いられる焦点検出領域の位置を取得し、前記焦点検出領域の位置に応じて、前記複数の画像領域の位置を設定することを特徴とする像ブレ制御装置。
  2. 前記第1の像ブレ補正モードは、流し撮りモードであることを特徴とする請求項1に記載の像ブレ制御装置。
  3. 前記設定手段は、
    前記第1の像ブレ補正モードのときは、前記焦点検出領域の位置の変更に応じて前記複数の画像領域の位置を変更することを特徴とする請求項1または2に記載の像ブレ制御装置。
  4. 前記撮像画像に基づき被写体の顔を検出する顔検出手段を備え、
    前記設定手段は、前記撮像画像から複数の被写体の顔が検出された場合に、前記複数の画像領域の位置を、主被写体の顔の位置に対応する前記焦点検出領域の画角中心からの移動に応じた位置に設定することを特徴とする請求項1から3のいずれか1項に記載の像ブレ制御装置。
  5. 前記設定手段は、
    前記第1の像ブレ補正モードのときは、前記複数の画像領域のうち少なくとも2つの画像領域が互いに隣接するように、前記複数の画像領域の位置を設定することを特徴とする請求項1から4のいずれか1項に記載の像ブレ制御装置。
  6. 前記第1の像ブレ補正モードのときは、前記第2の像ブレ補正モードのときよりも狭い範囲に前記複数の画像領域の位置が設定されることを特徴とする請求項1から5のいずれか1項に記載の像ブレ制御装置。
  7. 前記設定手段は、前記複数の画像領域が配置された範囲である動きベクトル検出領域内に前記焦点検出領域が位置するように前記複数の画像領域の位置を設定することを特徴とする請求項1から6のいずれか1項に記載の像ブレ制御装置。
  8. 前記設定手段は、前記焦点検出領域が前記動きベクトル検出領域の中央となるように前記複数の画像領域の位置を設定することを特徴とする請求項7に記載の像ブレ制御装置。
  9. 前記設定手段は、前記第2の像ブレ補正モードのとき、前記焦点検出領域の位置に応じて前記複数の画像領域の位置を変更しないことを特徴とする請求項1から8のいずれか1項に記載の像ブレ制御装置。
  10. 撮像画像から動きベクトルを取得する取得手段と、
    前記動きベクトルの取得に用いられる複数の画像領域の位置を設定する設定手段と、
    を備える像ブレ制御装置であって、
    前記設定手段は第1の像ブレ補正モードのときは、
    第2の像ブレ補正モードのときよりも、前記複数の画像領域の位置が密集するように設定し、
    且つ、ユーザの選択操作に応じて、前記複数の画像領域の位置を設定することを特徴とする像ブレ制御装置。
  11. 前記設定手段は、前記選択操作により選択された被写体の前記撮像画像内の位置に応じて前記複数の画像領域の位置を設定することを特徴とする請求項10に記載の像ブレ制御装置。
  12. 装置に加わる振れに係る振れ検出信号を出力する出力手段と、
    撮像画像から動きベクトルを取得する取得手段と、
    焦点検出領域を設定する焦点検出領域設定手段と、
    記取得手段による前記動きベクトルの取得に用いられる複数の画像領域の位置を設定する画像領域設定手段と、を備え、
    前記画像領域設定手段は、第1の像ブレ補正モードのとき、
    第2の像ブレ補正モードのときよりも、前記複数の画像領域の位置が密集するように設定し、
    且つ、前記焦点検出領域設定手段により設定された前記焦点検出領域の位置に応じて、前記複数の画像領域の位置を設定することを特徴とする撮像装置。
  13. 前記動きベクトルに基づいて像ブレを補正する補正手段を制御する制御手段を備えることを特徴とする請求項12に記載の撮像装置。
  14. 前記画像領域設定手段は、
    前記撮像装置の焦点検出方式がオートフォーカス方式である場合に、前記複数の画像領域の位置を、選択される前記焦点検出領域の画角中心からの移動に応じた位置に設定することを特徴とする請求項12または13に記載の撮像装置。
  15. 前記画像領域設定手段は、
    前記撮像装置の焦点検出方式がオートフォーカス方式でない場合に、被写体の撮影をアシストするために表示された枠の位置に対応する前記焦点検出領域に基づいて前記複数の画像領域の位置を設定することを特徴とする請求項12から14のいずれか1項に記載の撮像装置。
  16. 前記撮像画像に基づき被写体の顔を検出する顔検出手段を備え、
    前記画像領域設定手段は、前記撮像装置の焦点検出方式が顔優先のオートフォーカス方式である場合に、前記顔検出手段により検出される被写体の顔の位置に対応する前記焦点検出領域に基づいて前記複数の画像領域を設定することを特徴とする請求項12から15のいずれか1項に記載の撮像装置。
  17. 前記画像領域設定手段は、前記撮像画像から被写体の顔が検出されなかった場合に、前記焦点検出領域設定手段により、画角中心に設定された前記焦点検出領域に応じて前記複数の画像領域を設定することを特徴とする請求項16に記載の撮像装置。
  18. 前記画像領域設定手段は、前記撮像装置の焦点検出方式が、顔優先のオートフォーカス方式であって、かつ、ユーザ操作で選択される被写体に対して焦点検出処理を実行する方式である場合に、前記複数の画像領域の位置を、前記選択される被写体に対応する前記焦点検出領域の画角中心からの移動に応じた位置に設定することを特徴とする請求項12から17のいずれか1項に記載の撮像装置。
  19. 撮像画像から検出される動きベクトルを取得する工程と、
    前記動きベクトルの取得に用いられる複数の画像領域の位置を設定する工程と、
    焦点検出に用いられる焦点検出領域の位置を取得する工程と、を有し、
    前記複数の画像領域の位置を設定する工程において、
    第1の像ブレ補正モードのときは、第2の像ブレ補正モードのときよりも前記複数の画像領域の位置を密集させ、
    且つ、前記第1の像ブレ補正モードのときは、前記焦点検出領域の位置に応じて、前記複数の画像領域の位置を設定する
    ことを特徴とする像ブレ制御装置の制御方法。
  20. 撮像画像から検出される動きベクトルを取得する工程と、
    前記動きベクトルの取得に用いられる複数の画像領域の位置を設定する工程と、を有し、
    前記複数の画像領域の位置を設定する工程において、
    第1の像ブレ補正モードのときは、第2の像ブレ補正モードのときよりも前記複数の画像領域の位置を密集させ、
    且つ、前記第1の像ブレ補正モードのときは、ユーザの選択操作に応じて、前記複数の画像領域の位置を設定する
    ことを特徴とする像ブレ制御装置の制御方法。
JP2016167908A 2016-08-30 2016-08-30 像ブレ制御装置、撮像装置および制御方法 Active JP6661493B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016167908A JP6661493B2 (ja) 2016-08-30 2016-08-30 像ブレ制御装置、撮像装置および制御方法
US15/659,819 US10321058B2 (en) 2016-08-30 2017-07-26 Image pickup apparatus and motion vector detection method
CN201710762942.7A CN107800957B (zh) 2016-08-30 2017-08-30 摄像设备和运动矢量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016167908A JP6661493B2 (ja) 2016-08-30 2016-08-30 像ブレ制御装置、撮像装置および制御方法

Publications (3)

Publication Number Publication Date
JP2018036366A JP2018036366A (ja) 2018-03-08
JP2018036366A5 JP2018036366A5 (ja) 2019-07-11
JP6661493B2 true JP6661493B2 (ja) 2020-03-11

Family

ID=61244067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016167908A Active JP6661493B2 (ja) 2016-08-30 2016-08-30 像ブレ制御装置、撮像装置および制御方法

Country Status (3)

Country Link
US (1) US10321058B2 (ja)
JP (1) JP6661493B2 (ja)
CN (1) CN107800957B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769442B1 (en) * 2017-09-11 2020-09-08 Amazon Technologies, Inc. Scene change detection in image data
JP7023663B2 (ja) 2017-10-12 2022-02-22 キヤノン株式会社 撮像装置およびその制御方法
JP7013199B2 (ja) 2017-10-23 2022-01-31 キヤノン株式会社 撮像装置およびその制御方法
US11070729B2 (en) * 2018-07-27 2021-07-20 Canon Kabushiki Kaisha Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
JP7214424B2 (ja) * 2018-10-04 2023-01-30 キヤノン株式会社 撮像装置およびその制御方法
US11722771B2 (en) * 2018-12-28 2023-08-08 Canon Kabushiki Kaisha Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus
JP7443005B2 (ja) * 2019-09-18 2024-03-05 キヤノン株式会社 画像処理装置、撮像装置および制御方法
JP7414484B2 (ja) 2019-11-19 2024-01-16 キヤノン株式会社 光学機器、撮像装置および制御方法
US11575834B2 (en) * 2019-12-17 2023-02-07 Canon Kabushiki Kaisha Image stabilization apparatus, method of controlling same, and storage medium
JP2021164087A (ja) * 2020-04-01 2021-10-11 キヤノン株式会社 撮像装置およびその制御方法
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus
JP2022093912A (ja) * 2020-12-14 2022-06-24 キヤノン株式会社 撮像装置、撮像方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629735A (en) * 1989-08-20 1997-05-13 Canon Kabushiki Kaisha Image sensing device having a selectable detecting area
JP2006317848A (ja) * 2005-05-16 2006-11-24 Canon Inc 静止画撮像装置
JP4874668B2 (ja) * 2006-02-22 2012-02-15 Hoya株式会社 オートフォーカスユニット及びカメラ
JP2007288726A (ja) * 2006-04-20 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
JP5268433B2 (ja) * 2008-06-02 2013-08-21 キヤノン株式会社 撮像装置、及び撮像装置の制御方法
JP2010021598A (ja) * 2008-07-08 2010-01-28 Victor Co Of Japan Ltd 撮像装置および撮像方法
JP5213613B2 (ja) * 2008-09-26 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法及び撮像装置及びプログラム
US8704908B1 (en) * 2008-11-03 2014-04-22 Marvell International Ltd. Method and apparatus for multiple zone statistics collection for digital image/video capture systems
JP2010114752A (ja) * 2008-11-07 2010-05-20 Canon Inc 撮像装置及び撮像方法及びプログラム
JP5589527B2 (ja) * 2010-04-23 2014-09-17 株式会社リコー 撮像装置および追尾被写体検出方法
EP2667231B1 (en) * 2011-01-18 2017-09-06 FUJIFILM Corporation Auto focus system
JP5917133B2 (ja) * 2011-12-22 2016-05-11 キヤノン株式会社 防振制御装置、防振制御方法、光学機器、撮像装置
JP6271990B2 (ja) * 2013-01-31 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
JP2015012482A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP6157242B2 (ja) * 2013-06-28 2017-07-05 キヤノン株式会社 画像処理装置及び画像処理方法
JP6335058B2 (ja) * 2013-09-24 2018-05-30 キヤノン株式会社 撮像装置及び撮像方法
JP6341691B2 (ja) * 2014-02-26 2018-06-13 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置

Also Published As

Publication number Publication date
CN107800957A (zh) 2018-03-13
JP2018036366A (ja) 2018-03-08
CN107800957B (zh) 2020-08-14
US10321058B2 (en) 2019-06-11
US20180063436A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
JP6661493B2 (ja) 像ブレ制御装置、撮像装置および制御方法
CN106375656B (zh) 图像处理设备及其控制方法和摄像装置及其控制方法
JP6727791B2 (ja) 追尾制御装置および追尾制御方法、撮像装置
JP6674264B2 (ja) 像振れ検出装置及び方法、及び撮像装置
US10250808B2 (en) Imaging apparatus and control method therefor
CN109698912B (zh) 摄像设备及其控制方法
JP2011139169A (ja) 撮像装置
JP2018146663A (ja) 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置
JP6932531B2 (ja) 像ブレ補正装置、撮像装置および撮像装置の制御方法
JP6890944B2 (ja) 像ぶれ補正装置およびその制御方法、撮像装置
US20140125826A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
US10873701B2 (en) Image pickup apparatus and control method thereof
JP2017161649A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2015145901A (ja) 撮像装置
JP6873841B2 (ja) 像ブレ補正装置、撮像装置、撮像システム、制御方法、プログラムおよび記憶媒体
JP6935269B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP7023663B2 (ja) 撮像装置およびその制御方法
JP7414484B2 (ja) 光学機器、撮像装置および制御方法
JP7214424B2 (ja) 撮像装置およびその制御方法
JP6659132B2 (ja) 像ブレ補正装置、撮像装置、制御方法およびプログラム
JP2004287455A (ja) 撮像装置及びそのピント表示方法
JP2022124464A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2023062881A (ja) 撮像装置およびその制御方法
JP2021085925A (ja) 撮像装置、制御方法及びコンピュータプログラム
JP2017167176A (ja) 光学制御装置、撮像装置および光学制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190606

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190606

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200212

R151 Written notification of patent or utility model registration

Ref document number: 6661493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151