JP5572031B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5572031B2
JP5572031B2 JP2010179006A JP2010179006A JP5572031B2 JP 5572031 B2 JP5572031 B2 JP 5572031B2 JP 2010179006 A JP2010179006 A JP 2010179006A JP 2010179006 A JP2010179006 A JP 2010179006A JP 5572031 B2 JP5572031 B2 JP 5572031B2
Authority
JP
Japan
Prior art keywords
output
reference value
motion vector
imaging apparatus
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010179006A
Other languages
English (en)
Other versions
JP2012039481A (ja
Inventor
知大 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010179006A priority Critical patent/JP5572031B2/ja
Priority to US13/180,125 priority patent/US8743221B2/en
Publication of JP2012039481A publication Critical patent/JP2012039481A/ja
Application granted granted Critical
Publication of JP5572031B2 publication Critical patent/JP5572031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明は、手振れ等による撮像画像のぶれを補正する機能を備えた撮像装置に関するものである。
従来より、デジタルカメラなどの撮像装置においては、撮像装置の振れを算出するために例えば角速度センサなどを用いている。しかし、角速度センサの基準値(撮像装置に振れが生じていないときの角速度センサの出力)は角速度センサ個々に値が異なる。
撮像装置の振れを正確に検出するためには、角速度センサの基準値を算出する必要があるが、基準値は温度などの要因により値が変動するため、基準値の変動量は常に算出する必要がある。
上記のような基準値を算出する方法として、例えば特許文献1に示されるような方法が提案されている。
特許第4419466号公報
しかしながら、上述の特許文献1に開示された従来の基準値算出方法では、以下のような問題点があった。
基準値算出部により算出した基準値に含まれる誤差を動きベクトルにより修正できるのは、動きベクトルが撮像装置のぶれ補正後の残存ぶれを検出したときだけである。例えば、動きベクトルが被写体の動きを検出してしまうときは、動きベクトルを用いて基準値に含まれる誤差を修正することができず、かえって基準値に含まれる誤差を大きくする可能性もある。
上記のように動きベクトルが撮像装置のぶれ補正後の残存ぶれを検出できないときは、基準値算出に動きベクトルを用いると算出した基準値に誤差が含まれ、正確なぶれ補正ができなくなる恐れがある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、より正確に撮像画像のぶれを補正できるようにすることである。
本発明に係わる撮像装置は、撮像装置であって、被写体像を撮像して撮像画像を得る撮像手段と、前記撮像装置に加わる振れを検出する振れ検出手段と、前記撮像装置に振れが加わっていないときに前記振れ検出手段から出力される値である基準値を、演算により算出する基準値算出手段と、前記振れ検出手段の出力と前記基準値との差分に基づいて、前記撮像画像の像ぶれを補正する像ぶれ補正手段と、前記像ぶれ補正手段の位置を検出する位置検出手段と、前記撮像画像から動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルが被写体の動きを示しているか否かを判定する判定手段と、前記判定手段によって前記動きベクトルが被写体の動きを示していると判定された場合は、前記振れ検出手段の出力及び前記位置検出手段の出力及び前記動きベクトル検出手段の出力用いた前記基準値の算出を行わないように制御する制御手段と、を備えることを特徴とする。
本発明によれば、より正確に撮像画像のぶれを補正することが可能となる。
本発明の第1の実施形態に係わる撮像装置の構成を示すブロック図。 基準値算出方法制御部が行う処理を説明するためのフローチャート。 ステップS101における処理を説明するためのフローチャート。 角速度センサの出力に基づく値GYROが所定時間の間、th_A以内であるときのGYROの波形の一例を示す図。 GYROが所定時間内に、th_Aを上回り、所定時間の間、th_B以内であるときのGYROの波形の一例を示す図。 GYROが所定時間内に、th_Bを上回るときのGYROの波形の一例を示す図。 図2のステップS102における処理を説明するためのフローチャート。 動きベクトル検出部の出力に基づく値MVが所定時間の間、th_C以内であるときのMVの波形の一例を示す図。 MVが所定時間内に、th_Cを上回り、所定時間の間、th_D以内であるときのMVの波形の一例を示す図。 MVが所定時間内に、th_Dを上回るときのMVの波形の一例を示す図。 図2のステップS105における撮影状況の判定結果をまとめた図。 撮像装置の振れが小さく、撮像画像のぶれが小さく、被写体が静止しているときの撮影状態と撮像画像を示す図。 撮像装置の振れが小さく、撮像画像のぶれが大きく、被写体が動いているときの撮影状態と撮像画像を示す図。 撮像装置の振れが大きく、撮像画像のぶれが小さく、被写体が動いているときの撮影状態と撮像画像を示す図。 撮像装置の振れが大きく、撮像画像のぶれが大きく、被写体が静止しているときの撮影状態と撮像画像を示す図。 撮像装置の振れが大きく、撮像画像のぶれが大きく、被写体が動いているときの撮影状態と撮像画像を示す図。 第2の実施形態に係わる撮像装置の構成を示すブロック図。 MVをGYROと同一のスケールに変換する処理を説明するための図。 図2のステップS101における処理を説明するためのフローチャート。 MVをGYROと同一のスケールに変換した値であるMV’とGYROの差が所定期間の間、th_E以内であるときの、MV’とGYROの波形の一例を示す図。 MVをGYROと同一のスケールに変換した値であるMV’とGYROの差が所定期間内に、th_Eを上回るときの、MV’とGYROの波形の一例を示す図。 図2のステップS105における撮影状況の判定結果をまとめた図。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置の構成を示すブロック図である。図1の撮像装置100の構成において、従来の構成との相違点は主に、積分器112、レンズ駆動量検出部113、基準値算出方法制御部114のブロックである。そして、特に基準値算出方法制御部114が本実施形態の特徴となる構成要件である。図1の撮像装置100の各構成部とその動作について具体的に説明する。
撮像画像のぶれ補正機能を備える撮像装置100において、角速度センサ101は撮像装置100に加わる振れを角速度として算出する。増幅部102は、角速度センサ101の出力を増幅する。A/D変換部103は増幅部102から出力される角速度出力をデジタル化する。A/D変換部103の出力であるデジタル化された角速度出力、すなわち角速度データはマイクロコンピュータ(マイコン)uCOM104で処理される。基準値算出部105、HPF106、積分器107、補正量算出部108、積分器112、レンズ駆動量検出部113、基準値算出方法制御部114はuCOM104によって構成される。基準値算出部105は角速度センサ101の基準値を算出する。
ここで、基準値算出部105における基準値算出は、所定期間毎に以下の1〜3のいずれかの方法で行われる。
(基準値算出方法1)
上記の角速度データの積分値を用いて、式(1)により基準値の算出を行う。
ref=d/dt{sensor_int−(correct_blur+remain_blur)} …(1)
なお、d/dtは微分を示し、refは基準値を示す。また、sensor_int、correct_blur、remain_blurについては、後述する。
(基準値算出方法2)
角速度データの低周波成分を抽出する。なお、この低周波成分の抽出には、移動平均値やローパスフィルタなどを用いる。
(基準値算出方法3)
基準値算出を行わず、前回(過去に)算出した基準値を基準値として用いる。
基準値算出部105において上記の基準値算出方法(1)〜(3)の中からいずれの方法で基準値を算出するかを、後述する基準値算出方法制御部114により制御する。
ここで、(基準値算出方法1)について説明する。
角速度データは、基準値に振れ信号が重畳された値である。したがって、基準値をref、撮像装置100の振れ角速度をblur、所定期間の角速度データの積分値をsensor_intとすると、sensor_intは、以下の式で表すことができる。
sensor_int=∫blur+∫ref …(2)
また、所定期間における、レンズ駆動量検出部113の出力の変化を、光軸の傾き角度に換算した値をcorrect_blurとする。更に、所定期間における、動きベクトル検出部111の出力の積算値をvector_intとする。vector_intは、所定期間の画像の動き量を示す値である。これを光軸の傾き角度に換算した値をremain_blurとすると、remain_blurは、以下のように算出することができる。撮像装置100の焦点距離をfとすると以下の式が成立する。
vector_int=f×remain_blur
∴remain_blur=vector_int/f …(3)
ここでcorrect_blurは、補正光学系109によってぶれ補正を行った角度を示す。そしてremain_blurは、補正光学系109によって補正しきれなかった角度を示す。よって、correct_blurとremain_blurとの和は、撮像装置100のぶれ角度を示す。また、式(2)の右辺の∫blurも同様に、撮像装置100のぶれ角度を示すため、以下の式が成立する。
∫blur=correct_blur+remain_blur …(4)
よって、式(2)と式(4)より、以下の式が導出される。
∫ref=sensor_int−( correct_blur+remain_blur ) …(5)
式(5)の両辺を微分すると、式(1)と一致することが分かる。
ここで、式(1)による基準値算出は、動きベクトル検出部111の検出周期よりも大きい期間(例えばNTSC方式では1/60秒)であれば、算出することができる。この時間は基準値の変動周期よりも十分に速い周期であり、基準値の変動に遅延なく追従することが可能となる。
しかし式(4)は、動きベクトル検出部111が、被写体の動きを検出してしまうときには成立しなくなり、式(1)も同様に成立しないため、(基準値算出方法1)を用いることができない。このとき、撮像装置100が静止状態であるならば(基準値算出方法2)を用いる。撮像装置100に振れが加わらないとき角速度データの低周波成分を用いる方法でも、算出した基準値に含まれる誤差は無視できるほど小さくなる。
(基準値算出方法1)を用いることができず、かつ撮像装置100が静止状態でなければ(基準値算出方法2)を用いても算出した基準値に含まれる誤差が大きい。その場合、基準値の算出を行わず前回算出した基準値を用いることで、誤った基準値算出が行われないようにする。
基準値算出部105により求めた基準値を角速度データから減算することで撮像装置100における真の振れ、すなわち真の角速度データが得られる。
HPF106は真の角速度データの低周波成分を遮断して出力する。積分器107はHPF106の出力を積分し、角変位データとして出力する。補正量算出部108は角変位データに基づき補正光学系109の駆動量を算出する。この駆動量に基づき補正光学系109を駆動させ、被写体像を撮像する撮像素子110の撮像面への入射光の光軸の位置を変えることで、撮像画像に生じるぶれを光学的に補正する。
補正光学系109の駆動によりぶれ補正を行った後、撮像素子110より得られる撮像画像を動きベクトル検出部111に入力し、動きベクトルを検出する。動きベクトルの検出方法は、例えば従来提案されているブロックマッチング法などを用いる。
ブロックマッチング法は、撮像画像をブロックと呼ばれる領域に分割し、例えば1フレーム前の撮像画像と現在の撮像画像と類似箇所をブロック単位で検出する方法である。現在の撮像画像内の任意ブロック位置と1フレーム前の撮像画像内の類似ブロック位置との変位量を求め、撮像画像のフレーム間の動き情報、すなわち動きベクトルを検出する。ブロック単位で検出した動きベクトルに基づいて、1フレーム単位の動きベクトルを検出する。
なお、ブロックマッチング法は動きベクトル検出部111における動きベクトル検出方法の一例であり、動きベクトル検出方法はブロックマッチング法以外の方法を用いてもよい。また、マッチング演算については、尾上守夫等により、情報処理Vol.17,No.7,p.634 〜640 July 1976 で詳しく論じられている。
積分器112は動きベクトル検出部111で検出した動きベクトルの積分値を出力する。レンズ駆動量検出部113は実際に補正光学系109を駆動させた量を検出し出力する。基準値算出方法制御部114では、撮像装置100の状態、及び撮像画像の状態を判定し、その判定結果に基づいて基準値算出部105における基準値算出方法を(基準値算出方法1、2、3)のいずれかに変更する。
ここで、基準値算出方法制御部114における撮像装置の状態判定には角速度センサ101の出力に基づく値を用い、また基準値算出方法制御部114における撮影状態判定には動きベクトル検出部111の出力に基づく値を用いる。ただし、角速度データに基づく値とは、A/D変換部103の出力、HPF106の出力、積分器107の出力いずれを用いてもよい。また、動きベクトル検出部111の出力に基づく値とは、動きベクトル検出部111の出力、積分器112の出力いずれを用いてもよい。
[基準値算出方法制御部114の処理手順]
基準値算出方法制御部114の処理を図2を用いて説明する。図2は、基準値算出方法制御部114の処理を示したフローチャートである。図中のTは、基準値算出方法制御部114が基準値算出を行う処理周期である。
ステップS100では、基準値算出部105における処理回数カウンタtを0にする。ステップS101では、角速度センサ101の出力に基づく値から撮像装置100の状態判定を行う。ステップS102では、動きベクトル算出部111の出力に基づく値から撮像画像に生じるぶれの状態判定を行う。
ステップS103では、カウンタtが処理周期T(所定期間内)と等しくなったかを判定する。tがTと等しくないとき、ステップS104へ処理を移行し、等しいときステップS105へ処理を移行する。このステップS103は基準値算出部105と基準値算出方法制御部114の処理を同期させるための処理である。
ステップS104では、カウンタtの値を1増やす。ステップS105では、ステップS101での撮像装置100の状態判定結果とステップS102での撮像画像ぶれ判定結果から撮影状態を判定する。
ステップS106では、ステップS105での判定結果から、動きベクトルが撮像装置100におけるぶれ補正後の残存ぶれを示すかどうか判定する。動きベクトルが残存ぶれを示すときはステップS107に処理を移行し、動きベクトルが残存ぶれを示さないときは処理をステップS108に移行する。ステップS107では、基準値算出部105における基準値算出方法として、(基準値算出方法1)を選択する。
ステップS108では、ステップS101での撮像装置100の状態判定結果から、撮像装置100が静止状態かどうか判定する。撮像装置100が静止状態である場合はステップS109へ処理を移行し、撮像装置100が静止状態でない場合はステップS110へ処理を移行する。
ステップS109では、基準値算出部105における基準値算出方法として、(基準値算出方法2)を選択する。ステップS110では、基準値算出部105における基準値算出方法として、(基準値算出方法3)を選択する。
[撮像装置の状態判定を行う処理手順]
ステップS101における撮像装置100の状態判定を図3により説明する。図3は、撮像装置100の状態判定処理を示したフローチャートである。なお、図中、および以下の説明におけるGYROとは角速度センサ101の出力に基づく値であり、A/D変換部103の出力、HPF106の出力、積分器107の出力のいずれを用いてもよい。また、撮像装置100の状態はXの値で表す。
以下の説明では撮像装置100における横方向の振れに関してのみ説明する。縦方向の振れに関しては横方向と同様の処理であるため説明を省略する。
ステップS200ではXの値を1にする。X=1のときは、撮像装置100が静止状態であることを示す。ステップS201では、GYROが閾値th_Aより小さく、かつX=1のときはステップS202に処理を移行し、GYROが閾値th_A以上、またはX=1以外のときはステップS203に処理を移行する。なお、閾値th_A(第3の閾値)は撮像装置100が静止状態かどうかを判定するためのGYROの閾値である。
ステップS202では、Xの値を1にする。図4は撮像装置100が静止状態のときのGYRO波形の一例を示している。ステップS203では、GYROが閾値th_Bより小さく、かつXの値が2以下のときはステップS204に処理を移行し、GYROが閾値th_B以上、またはXの値が2より大きいときはステップS205に処理を移行する。なお、閾値th_B(第1の閾値)は撮像装置がパンニング状態かどうかを判定するためのGYROの閾値である。
ステップS204では、Xの値を2にする。Xの値が2のときは、撮像装置が静止状態よりぶれが大きくパンニング状態よりぶれが小さい状態、例えば手持ちで固定点を撮影しているような状態であることを示す。以下、ステップS204のような状態を固定点撮影状態と表現する。図5は撮像装置100が固定点撮影状態のときのGYRO波形の一例を示している。
ステップS205では、GYROの符号を判定する。GYROが正であるときはステップS206へ処理を移行し、GYROが負であるときはステップS207に処理を移行する。ステップS206では、Xの値を3にする。Xの値が3のときは、撮像装置がパンニング状態であり、特にパンニングの方向は右向きであることを示す。図6は撮像装置100がパンニング状態であるときのGYRO波形の一例を示している。
ステップS207では、Xの値を4にする。Xの値が4のときは、撮像装置がパンニング状態であり、特にパンニングの方向は左向きであることを示す。ステップS207におけるGYROはステップS206のGYROと符号が異なるだけであるため、図は省略する。
[撮像画像の状態判定を行う処理手順]
上記のステップS102において動きベクトルに基づく値から撮像装置の状態判定を行う方法を図7を用いて説明する。図7は、動きベクトルから撮像装置の状態を判定する判定処理の一例を示したフローチャートである。
なお、図中および以下の説明におけるMVは動きベクトル検出部111により検出した動きベクトルに基づく値であり、動きベクトル検出部111の出力、積分器112の出力のいずれを用いてもよい。また、撮像画像の状態はUの値で表す。以下の説明では撮像画像における横方向のぶれに関してのみ説明する。縦方向のぶれに関しては横方向と同様の処理であるため説明を省略する。
ステップS300では、Uの値を1にする。U=1のときは、撮像画像にほとんどぶれが生じていない状態であることを示す。ステップS301では、MVが閾値th_Cより小さく、かつU=1のときはステップS302に処理を移行し、MVが閾値th_C以上、またはU=1以外のときはステップS303に処理を移行する。なお、閾値th_C(第4の閾値)は撮像画像にほとんどぶれが生じていないかどうか判定するためのMVの閾値である。ステップS302では、Uの値を1にする。図8は撮像画像にほとんどぶれが生じていないときのMV波形の一例を示している。
ステップS303では、MVが閾値th_Dより小さく、かつUの値が2以下のときはステップS304に処理を移行し、動きベクトル積分値が閾値th_D以上、またはUの値が2より大きいときはステップS305に処理を移行する。なお、閾値th_D(第2の閾値)は撮像画像に大きなぶれが生じていないかとうか判定するためのMVの閾値である。ステップS304では、Uの値を2にする。U=2のときは、撮像画像に小さいぶれが生じている状態であることを示す。図9は撮像画像に小さいぶれが生じているときのMV波形の一例を示している。
ステップS305では、MVの符号を判定する。MVが負であるときはステップS306に処理を移行し、正であるときはステップS307に処理を移行する。ステップS306では、Uの値を3にする。U=3のときは、撮像画像に大きなぶれが生じていることを示す。また、Uの値が3のときは、撮像画像に生じるぶれの方向は左向きである。これは撮像装置100が右向きのパンニング状態のときに撮像画像に生じるぶれ方向である。図10は撮像画像に大きいぶれが生じているときのMV波形の一例を示している。
ステップS307では、Uの値を4にする。U=4のときは、撮像画像に大きなぶれが生じていることを示す。また、Uの値が4のときは、撮像画像に生じるぶれの方向は右向きである。これは撮像装置100が左向きのパンニング状態のときに撮像画像に生じるぶれ方向である。ステップS307における動きベクトル積分値はステップS306のMVと符号が異なるだけであるため、図は省略する。
[撮影状態の判定処理]
以下、ステップS101、及びS102の各組み合わせ時の撮影状態を図12〜図16を用いて説明する。また、撮影状態の判定結果を図11にまとめる。なお、Xは撮像装置の状態、Uは撮像画像ぶれの状態を示す。
(1)X=1、U=1のとき
撮像装置100が静止状態であり、撮像画像にほとんどぶれが生じないことから、被写体が静止している撮影状態であると判定できる。この撮影状態の一例を図12(a)に示す。また、この状態のときの撮像画像を図12(b)に示す。この状態のとき、撮像装置100の状態と撮像画像の状態が一致しているため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示す。
(2)X=1、U=2〜4のとき
撮像装置100が静止状態であるが、撮像画像にぶれが生じていることから、被写体が動いている撮影状態であると判定できる。この撮影状態の一例を図13(a)に示す。また、この状態のときの撮像画像を図13(b)に示す。ただし、U=2〜4における差異は被写体の動きの大きさ、動きの方向の違いであり、それぞれを図で示すことは省略する。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は静止状態である。
(3)X=2、U=1〜2のとき
撮像装置100が固定点撮影状態であり、撮像画像に生じるぶれが小さい、もしくはぶれがほとんど生じないことから、被写体が静止している撮影状態であると判定できる。なお、この撮影状態、撮像画像は図12と図上ではほとんど差異がないため、図は省略する。ただし、U=1とU=2における差異はU=1のときはU=2よりもぶれ補正が正確に行われことに起因するものである。この状態のとき、撮像装置100の状態と撮像画像の状態が一致しているため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示す。
(4)X=2、U=3〜4のとき
撮像装置100が固定点撮影状態であるが、撮像画像に大きなぶれが生じていることから、被写体が動いている撮影状態であると判定できる。なお、この撮影状態、撮像画像は図13と図上ではほとんど差異がないため、図は省略する。また、U=3とU=4における差異は被写体の動きの方向の違いである。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は静止状態でない。
(5)X=3、U=1〜2のとき
撮像装置100がパンニング状態であるが、撮像画像に生じるぶれが小さい、もしくはぶれがほとんど生じないことから、動いている被写体に合わせて撮像装置を動かしている撮影状態であると判定できる。この撮影状態の一例を図14(a)に示す。また、この状態のときの撮像画像を図14(b)に示す。ただし、U=1とU=2における差異はU=1のときはU=2よりも撮像装置の動きを被写体の動きに正確に合わせて撮影されたことに起因するものであり、それぞれを図で示すことは省略する。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は静止状態でない。
(6)X=3、U=3のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100のパンニング方向と撮像画像のぶれ方向が一致していることから、撮像装置100を動かして静止している被写体を撮影している撮影状態であると判定できる。この撮影状態の一例を図15(a)に示す。また、この状態のときの撮像画像を図15(b)に示す。この状態のとき、撮像装置100の状態と撮像画像の状態が一致しているため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示す。
(7)X=3、U=4のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100のパンニング方向と撮像画像のぶれ方向が一致していないことから、被写体の動きと撮像装置100の動きが異なる撮影状態であると判定できる。この撮影状態の一例を図16(a)に示す。図16では、被写体の動きが撮像装置で追う動きよりも速いことを表している。また、この状態のときの撮像画像を図16(b)に示す。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は静止状態でない。
(8)X=4、U=1〜2のとき
撮像装置100がパンニング状態であるが、撮像画像に生じるぶれが小さい、もしくはぶれがほとんど生じないことから、動いている被写体に合わせて撮像装置を動かしている撮影状態であると判定できる。この撮影状態はX=3、U=1〜2のときとパンニングの方向が異なるだけであるため、説明は省略する。
(9)X=4、U=3のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100のパンニング方向と撮像画像のぶれ方向が一致していないことから、被写体の動きと撮像装置100の動きが異なる撮影状態であると判定できる。この撮影状態はX=3、U=4のときとパンニングの方向が異なるだけであるため、説明は省略する。
(10)X=4、U=4のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100のパンニング方向と撮像画像のぶれ方向が一致していることから、撮像装置100を動かして静止している被写体を撮影している撮影状態であると判定できる。この撮影状態はX=3、U=3のときとパンニングの方向が異なるだけであるため、説明は省略する。
上記の(1)〜(10)をそれぞれ図2のフローチャートのステップS106〜S110に当てはめると、以下のようになる。すなわち、(1)、(3)、(6)、(10)の場合は、ステップS106からステップS107に進み、(基準値算出方法1)を選択する。また、(2)の場合は、ステップS108からステップS109に進み、(基準値算出方法2)を選択する。また、(4)、(5)、(7)、(8)、(9)の場合は、ステップS108からステップS110に進み、(基準値算出方法3)を選択する。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。図17は、本発明の第2の実施形態に係わる撮像装置の構成を示すブロック図である。図17のブロック図は、図1に動きベクトル変換部116を追加し、また、動きベクトル変換部116の出力を基準値算出方法制御部114の入力に追加し、基準値算出方法制御部114の動作を変更した点以外は、図1と同様であるためこの変更点以外の説明は省略する。
動きベクトル変換部116では、動きベクトル検出部111の出力に基づく値MVを角速度センサ101の出力と同一スケールに変換する。ここで、MVは動きベクトル検出部111の出力、または積分器112の出力である。
図18を用いて動きベクトル変換部116におけるMVの変換方法を説明する。MVを撮像素子上の動き量に変換する。MVの大きさは画素数で表わされるため、MVに撮像素子上の画素間の距離を乗ずる。MVの撮像素子上の動き量が図18におけるdistである。distについて下記式(6)が成り立つ。
dist=f×tanθ(fは焦点距離) …(6)
式(6)のθがMVを角速度センサ101出力と同一スケールに変換した値となる。θは以下の式(7)により算出できる。
θ=arctan(dist/f) …(7)
基準値算出方法制御部114は第1の実施形態で説明した撮像画像の状態判定にスケール変換したMV’(=θ)を用いる判定を追加することで、撮像画像の状態判定をより詳細に行う。また、撮像画像の状態判定結果を用いることで、撮影状態の判定処理もより詳細な場合分けが可能となる。なお、撮像画像の状態判定を行う処理手順と撮影状態の判定処理以外は第1の実施形態と同じであるため、説明は省略する。
[撮像画像の状態判定を行う処理手順]
図19を用いて、動きベクトルに基づく値から撮像装置の状態を判定する処理手順を説明する。ステップS300〜S304は第1の実施形態と同じであるため説明を省略する。なお、図中、および以下の説明におけるGYROとは角速度センサ101の出力に基づく値であり、A/D変換部103の出力、HPF106の出力、積分器107の出力のいずれを用いてもよい。
また、図中および以下の説明におけるMVは動きベクトル検出部111により検出した動きベクトルに基づく値であり、動きベクトル検出部111の出力、積分器112の出力のいずれを用いてもよい。図中および以下のMV’はスケール変換されたMVを示す。
ステップS305では、GYROとMV’の差分が閾値th_Eより小さいときはステップS306に処理を移行し、GYROとMV’の差分が閾値th_E以上のときはステップS307に処理を移行する。なお、閾値th_E(第5の閾値)は、GYROとMV’の差分が十分に小さいときを判定する閾値である。
ステップS305の処理は、角速度センサ101で検出した撮像装置100の振れの大きさが、撮像画像から判定する撮像装置の振れの大きさとほぼ一致するかどうかを判定するための処理である。
ステップS306では、MVの符号を判定する。MVが負であるときはステップS307に処理を移行し、正であるときはステップS308に処理を移行する。ステップS307では、Uの値を3にする。U=3のときは、撮像画像に大きなぶれが生じており、撮像画像のぶれから判定される撮像装置の振れの大きさが角速度センサ101が検出した撮像装置100の振れの大きさとほぼ同じ大きさであることを示す。
また、U=3のときは、撮像画像に生じるぶれの方向は左向きである。これは撮像装置100が右向きのパンニング状態のときに撮像画像に生じるぶれ方向である。図20はステップS307におけるMV’とGYRO波形の一例を示している。
ステップS308では、Uの値を4にする。U=4のときは、撮像画像に大きなぶれが生じており、撮像画像のぶれから判定される撮像装置の振れの大きさが角速度センサ101が検出した撮像装置100の振れの大きさとほぼ同じ大きさであることを示す。
また、U=4のときは、撮像画像に生じるぶれの方向は右向きである。これは撮像装置100が左向きのパンニング状態のときに撮像画像に生じるぶれ方向である。ステップS308は、ステップS307とMV’の符号が異なるだけであるため、図は省略する。
ステップS309では、 Uの値を5にする。U=5のときは、撮像画像に大きなぶれが生じており、ぶれの大きさは角速度センサ101が検出した撮像装置100の振れの大きさと異なることを示す。図21はステップS309におけるMV’とGYRO波形の一例を示している。
[撮影状態の判定処理]
以下、ステップS101、及びS102の各組み合わせ時の撮影状態を説明する。なお、Xは前記撮像装置の状態、Uは撮像画像のぶれの状態を示す。
撮影状態の判定結果を図22にまとめる。U=1〜2に関しては第1の実施形態と同じであるため、説明を省略する。
(1)X=1、U=3〜5のとき
撮像装置100が静止状態であるが、撮像画像にぶれが生じていることから、被写体が動いている撮影状態であると判定できる。そのときの撮影状態は図13(a)に、その状態のときの撮像画像は図13(b)に示したものと同じである。ただし、U=3〜5における差異は被写体の動きの大きさ、動きの方向の違いであり、それぞれの違いを図で説明することは省略する。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は静止状態である。
(2)X=2、U=3〜5のとき
撮像装置100は固定点撮影状態であるが、撮像画像にぶれが生じていることから、被写体が動いている撮影状態であると判定できる。なお、この撮影状態、撮像画像は図13と図上ではほとんど差異がないため、図は省略する。ただし、U=3〜5における差異は被写体の動きの大きさ、動きの方向の違いである。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は固定点撮影状態である。
(3)X=3、U=3のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100の振れと撮像画像のぶれが大きさ、方向ともに一致していることから、撮像装置100を動かして静止している被写体を撮影している撮影状態であると判定できる。この撮影状態は図15(a)に、その状態のときの撮像画像は図15(b)に示したものと同じである。この状態のとき、撮像装置100の状態と撮像画像の状態が一致しているため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示す。
(4)X=3、U=4のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100の振れと撮像画像のぶれが大きさは一致するが、方向が一致しないことから、被写体の動きと撮像装置100の動きが異なる撮影状態であると判定できる。この撮影状態は図16(a)に、この状態のときの撮像画像は図16(b)に示した状態で、特に撮像装置100の振れの大きさと撮像画像のぶれの大きさが一致している状態である。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は静止状態でない。
(5)X=3、U=5のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100の振れと撮像画像のぶれが大きさが一致していないことから、被写体の動きと撮像装置100の動きが異なる撮影状態であると判定できる。この撮影状態の一例を図16(a)に示す。図16では、被写体の動きが撮像装置で追う動きよりも速いことを表している。また、この状態のときの撮像画像を図16(b)に示す。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は静止状態でない。
(6)X=4、U=3のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100の振れと撮像画像のぶれが大きさは一致するが、方向が一致しないことから、被写体の動きと撮像装置100の動きが異なる撮影状態であると判定できる。この撮影状態は図16(a)に、この状態のときの撮像画像は図16(b)に示した状態で、特に撮像装置100の振れの大きさと撮像画像のぶれの大きさが一致している状態である。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は静止状態でない。
(7)X=4、U=4のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100の振れと撮像画像のぶれが大きさ、方向ともに一致していることから、撮像装置100を動かして静止している被写体を撮影している撮影状態であると判定できる。この撮影状態は図15(a)に、この状態のときの撮像画像は図15(b)に示したものと同じである。この状態のとき、撮像装置100の状態と撮像画像の状態が一致しているため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示す。
(8)X=4、U=5のとき
撮像装置100がパンニング状態であり、撮像画像に大きなぶれが生じており、撮像装置100の振れと撮像画像のぶれが大きさが一致していないことから、被写体の動きと撮像装置100の動きが異なる撮影状態であると判定できる。この撮影状態の一例を図16(a)に示す。図16では、被写体の動きが撮像装置で追う動きよりも速いことを表している。また、この状態のときの撮像画像を図16(b)に示す。この状態のとき、撮像装置100の状態と撮像画像の状態が一致していないため、動きベクトルは撮像装置100のぶれ補正後の残存ぶれを示さない。また、撮像装置100は静止状態でない。
上記の(1)〜(8)をそれぞれ図2のフローチャートのステップS106〜S110に当てはめると、以下のようになる。すなわち、(3)、(7)の場合は、ステップS106からステップS107に進み、(基準値算出方法1)を選択する。また、(1)の場合は、ステップS108からステップS109に進み、(基準値算出方法2)を選択する。また、(2)、(4)、(5)、(6)、(8)の場合は、ステップS108からステップS110に進み、(基準値算出方法3)を選択する。

Claims (10)

  1. 撮像装置であって、
    被写体像を撮像して撮像画像を得る撮像手段と、
    前記撮像装置に加わる振れを検出する振れ検出手段と、
    前記撮像装置に振れが加わっていないときに前記振れ検出手段から出力される値である基準値を、演算により算出する基準値算出手段と、
    前記振れ検出手段の出力と前記基準値との差分に基づいて、前記撮像画像の像ぶれを補正する像ぶれ補正手段と、
    前記像ぶれ補正手段の位置を検出する位置検出手段と、
    前記撮像画像から動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルが被写体の動きを示しているか否かを判定する判定手段と、
    前記判定手段によって前記動きベクトルが被写体の動きを示していると判定された場合は、前記振れ検出手段の出力及び前記位置検出手段の出力及び前記動きベクトル検出手段の出力用いた前記基準値の算出を行わないように制御する制御手段と、
    を備えることを特徴とする撮像装置。
  2. 前記判定手段によって前記動きベクトルが被写体の動きを示していると判定された場合は、過去に算出した基準値を前記基準値とすることを特徴とする請求項1に記載の撮像装置。
  3. 前記基準値算出手段は、前記振れ検出手段の出力が、所定期間内に、第1の閾値を超え、かつ前記動きベクトル検出手段の出力が、前記所定期間内に、第2の閾値を超え、かつ前記振れ検出手段の出力の符号から判定した前記撮像装置の振れ方向と、前記動きベクトルの符号から判定した前記撮像装置の振れ方向とが一致する場合、前記振れ検出手段の出力及び前記位置検出手段の出力及び前記動きベクトル検出手段の出力用いて前記基準値を算出することを特徴とする請求項1に記載の撮像装置。
  4. 前記振れ検出手段の出力と前記動きベクトル検出手段の出力とを同一スケールに変換した値の差分が、前記所定期間の間、第5の閾値より大きい場合、過去に算出した基準値を前記基準値とすることを特徴とする請求項3に記載の撮像装置。
  5. 前記基準値算出手段は、前記振れ検出手段の出力が、所定期間内に、第1の閾値を超え、かつ前記動きベクトル検出手段の出力が、前記所定期間内に、第2の閾値を超え、かつ前記振れ検出手段の出力の符号から判定した前記撮像装置の振れ方向と、前記動きベクトルの符号から判定した前記撮像装置の振れ方向とが一致しない場合、前記過去に算出した基準値を前記基準値とすることを特徴とする請求項2に記載の撮像装置。
  6. 前記基準値算出手段は、前記振れ検出手段の出力が、所定期間の間、第1の閾値より小さく、かつ前記動きベクトル検出手段の出力が、前記所定期間の間、第2の閾値より小さい場合、前記振れ検出手段の出力及び前記位置検出手段の出力及び前記動きベクトル検出手段の出力用いて前記基準値を算出することを特徴とする請求項1に記載の撮像装置。
  7. 前記基準値算出手段は、前記振れ検出手段の出力が、所定期間内に、第1の閾値を超え、かつ前記動きベクトル検出手段の出力が、前記所定期間の間、第2の閾値より小さい場合、前記過去に算出した基準値を前記基準値とすることを特徴とする請求項2に記載の撮像装置。
  8. 前記基準値算出手段は、前記振れ検出手段の出力が、所定期間の間、第1の閾値より小さく、かつ前記動きベクトル検出手段の出力が、前記所定期間内に、第2の閾値を超える場合、前記過去に算出した基準値を前記基準値とすることを特徴とする請求項2に記載の撮像装置。
  9. 前記基準値算出手段は、前記振れ検出手段の出力が、所定期間の間、前記第1の閾値より小さい第3の閾値より小さく、かつ前記動きベクトル検出手段の出力が、前記所定期間内に、前記第2の閾値より小さい第4の閾値を超える場合、前記振れ検出手段の出力を用いて前記基準値を算出することを特徴とする請求項6に記載の撮像装置。
  10. 被写体像を撮像して撮像画像を得る撮像手段を備える撮像装置を制御する方法であって、
    振れ検出手段が、前記撮像装置に加わる振れを検出する振れ検出工程と、
    基準値算出手段が、前記撮像装置に振れが加わっていないときに前記振れ検出手段から出力される値である基準値を、演算により算出する基準値算出工程と、
    像ぶれ補正手段が、前記振れ検出手段の出力と前記基準値との差分に基づいて、前記撮像画像の像ぶれを補正する像ぶれ補正工程と、
    位置検出手段が、前記像ぶれ補正手段の位置を検出する位置検出工程と、
    動きベクトル検出手段が、前記撮像画像から動きベクトルを検出する動きベクトル検出工程と、
    判定手段が、前記動きベクトルが被写体の動きを示しているか否かを判定する判定工程と、
    制御手段が、前記判定工程において前記動きベクトルが被写体の動きを示していると判定された場合は、前記振れ検出手段の出力及び前記位置検出手段の出力及び前記動きベクトル検出手段の出力用いた前記基準値の算出を行わないように制御する制御工程と、
    を備えることを特徴とする撮像装置の制御方法。
JP2010179006A 2010-08-09 2010-08-09 撮像装置及びその制御方法 Active JP5572031B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010179006A JP5572031B2 (ja) 2010-08-09 2010-08-09 撮像装置及びその制御方法
US13/180,125 US8743221B2 (en) 2010-08-09 2011-07-11 Image capture apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010179006A JP5572031B2 (ja) 2010-08-09 2010-08-09 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2012039481A JP2012039481A (ja) 2012-02-23
JP5572031B2 true JP5572031B2 (ja) 2014-08-13

Family

ID=45555881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010179006A Active JP5572031B2 (ja) 2010-08-09 2010-08-09 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US8743221B2 (ja)
JP (1) JP5572031B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5984574B2 (ja) * 2012-08-14 2016-09-06 キヤノン株式会社 撮像システム及びその制御方法、撮像装置
JP6097522B2 (ja) * 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP6097521B2 (ja) 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP2014126861A (ja) 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
JP6071545B2 (ja) * 2012-12-27 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体
JP6124588B2 (ja) * 2012-12-27 2017-05-10 キヤノン株式会社 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体
US20160155413A1 (en) * 2013-03-20 2016-06-02 Samsung Electronics Co., Ltd. Method and apparatus for processing image based on detected information
JP6335058B2 (ja) * 2013-09-24 2018-05-30 キヤノン株式会社 撮像装置及び撮像方法
JP6600232B2 (ja) * 2015-11-05 2019-10-30 キヤノン株式会社 像ブレ補正装置及び方法
JP6592335B2 (ja) * 2015-11-05 2019-10-16 キヤノン株式会社 像ブレ補正装置及び方法
JP6725979B2 (ja) * 2015-11-27 2020-07-22 キヤノン株式会社 像ブレ補正装置及びその制御方法、記憶媒体
JP6590018B2 (ja) * 2018-04-05 2019-10-16 株式会社ニコン ブレ補正装置及びカメラ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734901B1 (en) 1997-05-20 2004-05-11 Canon Kabushiki Kaisha Vibration correction apparatus
US20050128309A1 (en) * 2003-07-25 2005-06-16 Nikon Corporation Shooting lens having vibration reducing function and camera system for same
JP4419466B2 (ja) 2003-07-25 2010-02-24 株式会社ニコン 撮影レンズ、およびカメラシステム
JP4415596B2 (ja) * 2003-07-28 2010-02-17 株式会社ニコン 撮影レンズ、およびカメラシステム
JP2005141207A (ja) * 2003-10-17 2005-06-02 Nikon Corp ブレ補正装置、およびカメラシステム
JP4869579B2 (ja) * 2003-10-21 2012-02-08 株式会社ニコン ブレ補正装置、およびカメラシステム
EP1605691A3 (en) 2004-06-08 2007-04-18 Nikon Corporation Vibration reduction apparatus having feedback path for motion signal and camera system
JP4671705B2 (ja) 2005-02-09 2011-04-20 オリンパスイメージング株式会社 撮像装置

Also Published As

Publication number Publication date
US20120033092A1 (en) 2012-02-09
US8743221B2 (en) 2014-06-03
JP2012039481A (ja) 2012-02-23

Similar Documents

Publication Publication Date Title
JP5572031B2 (ja) 撮像装置及びその制御方法
US7634178B2 (en) Image stabilizing apparatus and image pickup apparatus
JP5600516B2 (ja) 撮像装置
JP6600232B2 (ja) 像ブレ補正装置及び方法
JP6592335B2 (ja) 像ブレ補正装置及び方法
JP6091255B2 (ja) ブレ量検出装置及び撮像装置
JP2011139167A5 (ja) 撮像装置及びその制御方法
US8767079B2 (en) Image capture apparatus and control method thereof
JP6674264B2 (ja) 像振れ検出装置及び方法、及び撮像装置
US10827124B2 (en) Shake correction device, imaging apparatus, and shake correction method
JP2019078843A (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP5247782B2 (ja) 光学機器及びそれを備えた撮像装置、光学機器の制御方法
JP6582926B2 (ja) 移動情報取得装置、移動情報取得方法、及び、プログラム
JP7009107B2 (ja) 撮像装置およびその制御方法
US10212364B2 (en) Zoom control apparatus, image capturing apparatus and zoom control method
CN107105152B (zh) 变焦控制设备、摄像设备和变焦控制方法
JP6039212B2 (ja) 像ブレ補正装置、撮像装置及び像ブレ補正装置の制御方法
JP2006343639A (ja) デジタルカメラ
JP2011023988A (ja) 撮像装置
JP2014191017A (ja) 撮像装置及びその制御方法
JP4356316B2 (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP2014126859A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015095670A (ja) 撮像装置、その制御方法、および制御プログラム
JP6268981B2 (ja) ブレ補正装置、交換レンズ及びカメラ
JP5699806B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140627

R151 Written notification of patent or utility model registration

Ref document number: 5572031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151