JP7175702B2

JP7175702B2 - 像ブレ補正装置およびその制御方法、撮像装置

Info

Publication number: JP7175702B2
Application number: JP2018194948A
Authority: JP
Inventors: 光洋齊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-10-16
Filing date: 2018-10-16
Publication date: 2022-11-21
Anticipated expiration: 2038-10-16
Also published as: US11159724B2; US20200120280A1; JP2020065133A

Description

本発明は、手ぶれ等による画像の像ブレを補正する技術に関する。

撮像装置の動きを検出して撮像画像の像ブレ補正を行う場合、撮影者の意図しない動きと意図的な動きとを区別する必要がある。撮影者の意図しない動きには手ぶれ等があり、また撮影者による意図的な動きにはパンニングやチルティング（以下、パンニング等という）の動きがある。パンニング等の意図的な動きは、主に低周波の大きな動きとして捉えることができ、その動きが像ブレ補正量の算出において含まれないように制御が行われる。例えば、パンニング等の開始および終了に応じて、手ぶれ量を検出するためのハイパスフィルタ（ＨＰＦ）のカットオフ周波数を動的に変更する制御方法がある。パンニング等の開始後にＨＰＦのカットオフ周波数を上げて、パンニング等の動きが手ぶれの動きとして検出されないように制御が行われる。またパンニング等が終了に近づいた場合にＨＰＦのカットオフ周波数を下げて手ぶれ補正性能を高める制御が行われる。

ところで、手ぶれ補正と、パンニングに対する制御とを両立させる場合に上述の制御を行うと、パンニング等の終了時に画角がパンニング等の方向と逆方向に戻ってしまう現象（揺れ戻り）が発生する可能性がある。揺れ戻りの原因は、パンニング等の終了時にカットオフ周波数を下げることで低周波の動き成分が制限されなくなり、パンニング等の方向とは逆方向の動き成分がＨＰＦ出力に現れることによる。パンニング等が完了して撮像装置の動きに低周波の動き成分が無くなると、像ブレ補正部材が初期位置に戻っていくため、その動きが画像上では揺れ戻りの動きとして現れることになる。

特許文献１に開示の撮像装置は、ＨＰＦの出力に揺り戻し成分が含まれていると判定した場合、ＨＰＦの出力に対し、別途処理したＨＰＦの積分結果を加算することで、揺り戻し成分を除去する。

特開２００９－１６８９３９号公報

特許文献１の技術では揺れ戻りを除去するために、ＨＰＦ出力にＨＰＦ出力自身の積分値を加算している。積分値は揺れ戻り量自体を表す数値ではないので、加算をしても精度良く揺れ戻りを除去することはできず、補正残りが生じる可能性がある。補正残りに対応する動きが新たに生じたパンニング等の動きであると誤判定された場合、像ブレ補正の制御部にて更なる揺れ戻りの動きに対応した処理を生起させる可能性がある。
本発明の目的は、信号処理に基づいて発生する揺れ戻りの動きを抑制し、より良好な像ブレ補正を実現することである。

本発明の一実施形態の装置は、入力画像の像ブレを補正する像ブレ補正装置であって、前記像ブレ補正装置を備える装置の動きを検出する第１の検出手段と、前記第１の検出手段の出力をフィルタリングするフィルタ手段と、前記フィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する第２の検出手段と、複数の前記入力画像の間で動きベクトルを検出する第３の検出手段と、前記第２の検出手段によって検出される前記期間にて、前記第３の検出手段により検出された動きベクトルを用いて前記揺れ戻りの動きが補正された画像を生成する処理手段と、を備え、前記フィルタ手段は、前記第１の検出手段の出力の低周波成分を低減させる第１のフィルタ手段と、前記第１のフィルタ手段の出力の高周波成分を低減させる第２のフィルタ手段と、を含み、前記第２の検出手段は、前記第２のフィルタ手段の出力を用いて、前記揺れ戻りの動きが発生する期間を検出する。

本発明によれば、信号処理に基づいて発生する揺れ戻りの動きを抑制し、より良好な像ブレ補正を実現することができる。

本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。第１実施形態に係る撮像装置の動作を説明するフローチャートである。テンプレートマッチングの概要図である。撮像装置の動きの時間変化を例示する図である。撮像装置の動きのフィルタリング結果を説明する図である。本発明の第２実施形態に係る撮像装置の構成を示すブロック図である。第２実施形態に係る撮像装置の動作を説明するフローチャートである。揺れ戻りの補正について説明する図である。ゲイン制御を説明する図である。ゲイン制御の別例を説明する図である。

以下に本発明の実施形態を、添付図面にしたがって詳細に説明する。撮影者の意図する動きについて、パンニング時の動きを代表例として示すが、以下の制御や処理はチルティングに対しても同様に適用可能である。

［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置の構成を示す。以下では撮像装置に搭載される像ブレ補正装置に関連する構成要素を説明する。動き検出部１０１は撮像装置に生じている動きを検出する。この動きは、例えば手ぶれやパンニング等の動きである。動き検出部１０１は撮像装置の動き情報の信号（以下、動き信号という）を取得する。撮像装置の動き情報とは、撮像装置の位置および姿勢の時間的な変化を表しており、手ぶれのような撮影者が意図していない動きの他に、パンニング等の撮影者による意図的な動きを含む情報である。動き検出部１０１は検出した動き信号を動き判定部１０２およびハイパスフィルタ（ＨＰＦ）１０３に出力する。動き判定部１０２は、動き検出部１０１から取得した動き信号を用いて撮像装置にどのような動きが生じているかを判定する。動き判定部１０２は判定信号をＨＰＦ１０３および揺れ戻り検出部１０５に出力する。

ＨＰＦ１０３は、動き検出部１０１により検出された動き信号から低周波成分を除去または低減する。ＨＰＦ１０３はフィルタリング処理を施した信号をローパスフィルタ（ＬＰＦ）１０４および補正制御部１０６に出力する。ＬＰＦ１０４はＨＰＦ１０３の出力信号から高周波成分を除去または低減する。揺れ戻り検出部１０５は、動き判定部１０２の判定信号を用いて、ＬＰＦ１０４の出力信号から揺れ戻りの開始時刻および終了時刻を判定し、判定結果を示す信号を後述の画像切り出し部１０９に出力する。

補正制御部１０６は、ＨＰＦ１０３の出力信号を取得し、手ぶれ等の動きを表す信号に基づいて、その動きを打ち消すように像ブレ補正部材を制御する。像ブレ補正部材の例としては、撮像光学系を構成するシフトレンズ等の補正レンズや、移動可能な撮像素子の駆動機構部を備える装置における撮像素子の移動部材である。あるいは、撮像装置からの指令により駆動制御可能なジンバル機構や自動制御可能な電動雲台等が挙げられる。

画像取得部１０７は、不図示の撮像光学系または画像記憶装置等から、動き検出部１０１で検出された動き信号と同期がとれている画像のデータを時間的に連続したフレーム画像データとして取得する。動きベクトル検出部１０８は、画像取得部１０７で取得された複数のフレーム画像間の動き情報を動きベクトルとして取得する。動きベクトルは画像データとともに画像切り出し部１０９に出力される。

画像切り出し部１０９は、揺れ戻り検出部１０５が検出した揺れ戻りの開始時刻および終了時刻の判定結果に基づいて、動きベクトル検出部１０８が検出した動きベクトルを用いて揺れ戻りの動きを打ち消すように画像の切り出しを行う。切り出された画像のデータは画像出力部１１０に送られて、不図示の表示装置に表示されるかまたは画像記憶装置に記憶保持される。なお、本実施形態ではＨＰＦ１０３およびＬＰＦ１０４によるフィルタリング処理で所定の周波数成分を低減させる構成例を示すが、バンドパスフィルタ（ＢＰＦ）を用いてフィルタリング処理を行う構成でもよい。

図２に示すフローチャートを参照して、撮像装置の動作を説明する。Ｓ２０１およびＳ２０３からＳ２０６に示す処理と、Ｓ２０２の処理は並行して実行される。Ｓ２０１で動き検出部１０１は撮像装置の動き情報を取得する。この動き情報は、手ぶれの他にパンニング等の動きの情報を含んでいる。揺れ戻りの動きは信号処理の結果として現れるものであり、実際の撮像装置に発生している物理的な動きではないので動き情報には含まれない。動き検出部１０１は、例えばジャイロセンサや加速度センサを備え、撮像装置の角速度や加速度から動き情報を取得する。撮像装置本体部の動き情報が計測可能であれば他の方法を用いてもよい。Ｓ２０１で取得された動き情報は、動き判定部１０２およびＨＰＦ１０３に伝送される。Ｓ２０１の次にＳ２０３の処理に進む。

一方、Ｓ２０２では、動きベクトル検出部１０８が画像取得部１０７の取得した画像（入力画像）について複数のフレーム間での動きベクトル情報を検出する。ここで使用される画像は、例えば不図示の撮像光学系によって結像された被写体像を撮像素子が受光し、Ａ／Ｄ変換後に現像処理を施した画像や、当該画像のデータを記憶している画像記憶装置から伝送される画像等を指す。ただし、取得される画像は、動き検出部１０１により検出される動き情報と時間的に同期がとれていることが必要である。

Ｓ２０２で動きベクトル検出部１０８は、入力された２枚のフレーム画像間で動きベクトルの検出を行う。本実施形態では、動きベクトル検出方法の一例としてテンプレートマッチングを用いた方法について、図３を用いて後述する。Ｓ２０２の次にＳ２０６の処理に進む。

Ｓ２０３で動き判定部１０２は、動き検出部１０１から得られた撮像装置の動き情報を解析することで、撮像装置にどのような動きが生じているかを判定する。動き判定処理の結果は動き判定部１０２からＨＰＦ１０３と揺れ戻り検出部１０５に伝送される。動き判定処理の詳細については図４を用いて後述する。Ｓ２０３の次にＳ２０４の処理に進む。Ｓ２０４ではフィルタリング処理が実行される。ＨＰＦ１０３は、動き検出部１０１で検出された撮像装置の動き信号に対して、特定の周波数成分を取り除くためのフィルタリング処理を行う。撮像装置の角速度検出信号から低周波成分を除去することで、ジャイロセンサの出力に含まれているオフセット成分が除去される。フィルタリング処理については、図５を用いて後述する。Ｓ２０４の次にＳ２０５の処理に進む。

Ｓ２０５で揺れ戻り検出部１０５は、ＨＰＦ１０３の出力信号をＬＰＦ１０４によってフィルタリング処理した信号を用いて揺れ戻りの開始時刻および終了時刻の判定を行う。揺れ戻りが発生する期間を検出し、その期間での低周波成分の動きを補正することによって揺れ戻りの動きを抑制することができる。Ｓ２０５の次にＳ２０６の処理に進む。

Ｓ２０６で画像切り出し部１０９は、揺れ戻り検出部１０５によって検出された揺れ戻り期間の情報を取得し、動きベクトル検出部１０８で算出された動きベクトルに基づく画像上での揺れ戻り量を用いて画像の切り出しを行う。画像切り出し部１０９は、入力画像内における任意の位置の矩形領域を切り出して画像データを抽出することが可能である。画像の切り出し位置については、動きベクトル検出部１０８から得られる画面全体の動き情報によって変更することが可能である。Ｓ２０６の処理後、一連の処理を終了する。

図３を参照して、動きベクトル検出部１０８が行うテンプレートマッチング処理を説明する。図３（Ａ）は処理の対象画像を示し、図３（Ｂ）は参照画像を示す。これらの画像は画像取得部１０７から取得されるフレーム画像である。

図３（Ａ）に示す対象画像内には、任意の位置にテンプレートブロック３０１が配置される。動きベクトル検出部１０８は、テンプレートブロック３０１内の部分画像と参照画像内の各領域の部分画像との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大になるので、図３（Ｂ）に示すサーチ範囲３０２が設定される。動きベクトル検出部１０８は参照画像内に矩形領域で示すサーチ範囲３０２を設定し、参照画像上での相関値を算出する。サーチ範囲３０２の位置や大きさについては特に制限は無いが、サーチ範囲３０２の内部にテンプレートブロック３０１の移動先に相当する領域が含まれていないと正しい動きベクトルを検出することはできない。

本実施形態では、相関値の算出方法の一例として差分絶対値和（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略記する）を使用する。ＳＡＤの計算式を式１に示す。

式１において、ｆ（ｉ，ｊ）はテンプレートブロック３０１内の座標（ｉ，ｊ）における輝度値を表す。ｇ（ｉ，ｊ）はサーチ範囲３０２において相関値の算出対象となるブロック３０３内の輝度値を表す。Σは座標変数ｉ，ｊについての総和を求める演算記号である。ブロック３０３はサーチ範囲３０２内を移動する相関値算出領域に相当する。相関値Ｓ＿ＳＡＤは、両ブロック（３０１と３０３）内の各輝度値ｆ（ｉ，ｊ）とｇ（ｉ，ｊ）との差分の絶対値を計算し、ｉおよびｊについての総和を求めることで算出できる。相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さいこと、つまりテンプレートブロック３０１と相関値算出領域に相当するブロック３０３における、各ブロック内のテクスチャが類似していることを表している。なお、相関値についてはＳＡＤに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等を用いてもよい。

動きベクトル検出部１０８は、サーチ範囲３０２の全域についてブロック３０３を移動させて相関値を算出する。テンプレートブロック３０１とサーチ範囲３０２との間で算出される複数の相関値のうち、最も相関が高くなる位置を判定する処理が行われる。これにより、対象画像上のテンプレートブロック３０１が参照画像においてどの位置に移動したか、つまり画像間の動きベクトルを検出することが可能となる。以上の動きベクトル検出処理は、入力されたフレーム画像間での複数の領域で実行される。

本実施形態ではテンプレートマッチングを用いる動きベクトル検出の例について説明したが、勾配法を用いる方法や、特徴点抽出による対応点探索等の方法を用いてもよい。

動きベクトル検出部１０８は上述の方法により、画像中の複数の領域から動きベクトルを検出する。検出された動きベクトルは、それぞれの領域の局所的な動きを表している。それに対して手ぶれや揺れ戻り、およびパンニング等の動きは画面全体の動きとして画面上に現れるので、検出された動きベクトル群から画面全体の動きとして手ぶれや揺れ戻り、およびパンニング等の動きを算出する必要がある。本実施形態では、画面全体の動きを算出する方法として、動きベクトルのヒストグラム処理について説明する。

ヒストグラム処理にて動きベクトル検出部１０８は、まず、検出された複数の動きベクトルの水平方向および垂直方向のそれぞれについて、その移動量に着目したヒストグラムを生成する。そして、生成されたヒストグラムの最頻値を抽出する処理が行われ、最頻値に対応する動きベクトルから画面全体の動きが算出される。ヒストグラム処理により画面全体の動きを算出することで、正確でない検出により得られた動きベクトルや、画面全体の動きとは無関係な移動物体の動きに対応する動きベクトルを除外することができる。よって、画面全体の動きを精度よく算出することができる。こうして検出された動きベクトルは動きベクトル検出部１０８から画像切り出し部１０９に伝送される。

次に図４を参照して、図２のＳ２０３に示す動き判定処理について説明する。動き判定部１０２は動き検出部１０１から得られた撮像装置の動き情報を解析して動き判定処理を行う。本実施形態では、動き情報として撮像装置に搭載されたジャイロセンサによる角速度情報を用いてパンニングの動きを判定する方法について説明する。

図４は、撮像装置のパンニング時に検出される角速度情報の例を示す。図４の横軸は時間軸であり、縦軸は角速度を表している。点線で示す横線は判定用の閾値４０４を表している。期間４０２は時間軸の起点（原点）から時刻４０５までの期間であり、期間４０３は時刻４０５から時刻４０６までの期間である。角速度の時間変化を示すグラフ線４０１において、期間４０２では手ぶれの動きだけが発生しており、その後の期間４０３でパンニングの動きが発生している。期間４０３の後には、再び手ぶれの動きだけが発生している様子を示す。

パンニング開始の判定方法の一例として、角速度が予め定められた閾値を超えた時点でパンニング開始時刻と判定する方法がある。図４の期間４０２に示すように、手ぶれの動きは高周波の微小振動であり、その振幅が小さいのに対して、期間４０３中に生じているパンニングの角速度は非常に大きい。動き判定部１０２は、ジャイロセンサから得られる角速度（グラフ線４０１参照）を監視して、角速度が図４の閾値４０４を超える時刻４０５からパンニングの動きが開始されたと判定する。

パンニング終了の判定方法としては、パンニング開始の判定が行われた時刻４０５よりも後の時刻において、角速度が予め定められた閾値以下になった時点でパンニング終了時点と判定する方法がある。この場合、動き判定部１０２は、例えばパンニング終了判定に使用する閾値をゼロ、つまり角速度がゼロである値を設定する。時刻４０６に示すように、角速度が閾値であるゼロとなった時刻がパンニング終了時点と判定される。あるいは閾値を、パンニング開始の判定時の閾値４０４と同じ値に設定する方法等がある。以上に示したパンニングの判定方法はあくまでも一例であり、その他の方法として角速度の微分値、つまり角加速度を用いて判定する方法等がある。パンニング等の開始や終了を検知できるのであれば、どのような方法で判定しても構わない。

図５を参照して、図２のＳ２０４に示すフィルタリング処理について説明する。フィルタリング処理は、動き検出部１０１により検出された撮像装置の動き信号に対してＨＰＦ１０３が行う。ここでは、撮像装置の動きとして手ぶれに加えてパンニングの動きが生じている場合のフィルタリング処理を説明する。図５（Ａ）および（Ｂ）における横軸および縦軸の設定は図４と同じである。

図５（Ａ）に点線で示すグラフ線５０１は図４に示すグラフ線４０１と同じであり、撮像装置の動きを角速度情報として取得したときの信号の時間変化を示している。図５（Ａ）に実線で示すグラフ線５０２は、動き信号に対してＨＰＦ１０３がフィルタリング処理を施した結果を示している。ここで、パンニングの動きが発生した際のＨＰＦ１０３の動作について説明する。動き判定部１０２によってパンニングの動きが開始したと判定された時点で、ＨＰＦ１０３のカットオフ周波数を高く設定する処理が行われる。これにより、ＨＰＦ１０３の出力信号に、パンニングのような低周波の大きな動きに対応する信号成分が入り込まないように制限され、パンニングの動きによる影響が抑制される。

図５に示す時刻５０３において、図４に示す時刻４０５と同様に、角速度の大きさが閾値を超えると、このときの動きがパンニングの動きとして検知される。ＨＰＦ１０３のカットオフ周波数が高域側に変更され、低周波の大きな動きが出力されないように制限される。このとき、ＨＰＦ１０３のカットオフ周波数が上がった分だけ手ぶれの動きも制限を受けなくなるので、特に低周波の手ぶれの補正効果が弱まってしまう。例えば、パンニングの開始判定に応じてカットオフ周波数を１０Ｈｚまで高くした場合を想定する。一般的な手ぶれの動きは、およそ１～１０Ｈｚの帯域にあるとされるため、ＨＰＦ１０３のカットオフ周波数を上げることで、この帯域での動きが取り除かれるので、像ブレ補正の制御対象とはならなくなってしまう。つまり、防振（像ブレ補正）効果が低下する可能性がある。そこで、この問題に対処するために、パンニング中には動き信号の大きさに合わせて動的にＨＰＦ１０３のカットオフ周波数を変更する制御が行われる。つまり、パンニングが終了に近づくにつれてＨＰＦ１０３のカットオフ周波数を徐々に下げることで、できる限り像ブレ補正効果が低下しないように制御が行われる。パンニングに対する制御と像ブレ補正とを両立させるために、ＨＰＦ１０３のカットオフ周波数をパンニングの動きに応じて変更すると、揺れ戻りが発生しうる。

図５（Ａ）に示す期間５０４は時刻５０３よりも後の期間であり、期間５０４におけるＨＰＦ１０３の出力（グラフ線５０２参照）は揺れ戻りの原因となる動き成分に相当する。ここで、揺れ戻りの動き成分とは、揺れ戻り期間におけるＨＰＦ１０３の出力信号の低周波成分のことである。パンニングの終了時にＨＰＦ１０３のカットオフ周波数が下がることで、動き信号に対応する角速度（グラフ線５０１参照）の期間５０５付近にてパンニングの動きである低周波成分の変化がＨＰＦ１０３の出力信号に現れることがある。この低周波成分の変化がＨＰＦ１０３の出力信号に現れた場合、図５（Ａ）に示す期間５０４にアンダーシュートの動きが発生する（グラフ線５０２参照）。そして、期間５０５に後続する期間５１１では、パンニングの動きが終了することで動き信号における低周波の動き成分が無くなり、ＨＰＦ１０３の出力信号がゼロ付近に近づいていく。実際の画面上では、この時の動きがパンニングの終了後に、パンニングの進行方向とは逆方向に揺れ戻っているような動きとして現れる。

ＨＰＦ１０３の出力信号は補正制御部１０６へ伝送される。補正制御部１０６は、ＨＰＦ１０３の出力信号を用いて像ブレ補正部材の駆動制御を行う。撮像装置に発生している手ぶれ等の動きを打ち消す方向に像ブレ補正部材を駆動することで、像ブレが補正された画像を取得可能である。

ＨＰＦ１０３の出力信号はＬＰＦ１０４でフィルタリング処理され、処理後の信号を揺れ戻り検出部１０５が取得する。揺れ戻り検出部１０５は、ＬＰＦ１０４の出力信号を用いて揺れ戻りの開始および終了の判定を行う。揺れ戻りが発生する期間を検出して、当該期間における低周波成分の動きを補正することで揺れ戻りの動きを抑制できる。つまり、図５（Ａ）に示す期間５０４には動きベクトルを用いた画像の切り出し処理により揺れ戻りの動きを打ち消す制御が行われる。それ以外の期間ではＨＰＦ１０３の出力信号を用いて手ぶれ等に対する像ブレ補正のために像ブレ補正部材の制御が行われる。

本実施形態では、揺れ戻り期間の判定方法の一例として、ＨＰＦ１０３の出力信号をＬＰＦ１０４が処理することで得られた低周波の動き成分を揺れ戻り成分として、揺れ戻り期間の判定を行う方法について説明する。

図５（Ｂ）のグラフ線５０６は、ＨＰＦ１０３の出力信号に対してＬＰＦ１０４がフィルタリング処理を施した信号の時間変化を示す。揺れ戻り検出部１０５は、動き判定部１０２から得られるパンニング期間の判定結果と、ＬＰＦ１０４の出力信号である揺れ戻り成分の信号を用いて揺れ戻り期間を決定する。図５（Ｂ）において、動き判定部１０２が判定したパンニング期間５０７を示す。時刻５０８は、パンニング期間５０７にて揺れ戻り成分の信号の符号が反転した時刻である。この時刻５０８は揺れ戻りの開始時刻として判定される。揺れ戻りの開始後の時刻５０９は、パンニングの終了と判定された時刻である。時刻５０９よりも後の時刻５１０は、揺れ戻り成分の信号の振幅がゼロ近傍であるか、または予め定められた閾値よりも小さくなった時刻であり、揺れ戻りの終了時刻と判定された時刻である。揺れ戻り検出部１０５によって得られた揺れ戻り期間の判定結果は画像切り出し部１０９へ伝送される。

画像切り出し部１０９は、揺れ戻り期間の判定結果に基づいて、動きベクトル検出部１０８から取得した画像上で切り出し処理を行う。画像切り出し部１０９による画像の切り出し位置は、動きベクトル検出部１０８から得られる画面全体の動き情報によって変更可能である。例えば画像切り出し部１０９は、図５（Ａ）に示す期間５１１にて、動きベクトル検出部１０８から得られる画面全体の動きを打ち消す方向に切り出し位置を変更し、矩形領域の部分画像を切り出す。期間５１１中の入力画像の各フレームに対して画像切り出し処理を実施することで、揺れ戻りが補正された良好な画像を生成できる。なお、揺れ戻りが補正された良好な画像を生成する処理は、画像切り出し処理に限らず射影変換等の幾何変形処理であってもよい。

期間５１１では、動きベクトルを用いた画像切り出しによる揺れ戻りの補正が行われるので、誤判定を防止することができる。この場合の誤判定とは、揺れ戻りの動きを新しく発生したパンニングの動きであると判定することである。誤判定が行われると、その判定結果によりＨＰＦ１０３のカットオフ周波数が変更されるので、それにより発生する新たな揺れ戻りの動きもまた、パンニングの動きであると判定される可能性がある。誤判定の連鎖により、パンニングの終了直後に左右に揺れ続けるような非常に不自然な画像が生成される可能性が高まる。本実施形態の制御により、最初の揺れ戻りの動きに対して精度良く補正を行うことは、画像の品位の向上に有効である。

ところで画像切り出しを実施する際には、撮像素子の大きさ（撮像サイズ）と切り出し領域の大きさとが略同じ場合に切り出し位置を変更すると切り出し領域が撮像素子のサイズ外にはみ出し、出力画像に欠損部分が生じてしまう。そこで、予め撮像素子の周縁の領域に補正用のマージン領域が設けられるように画像切り出しの矩形領域の大きさを小さくしておく方法がある。しかしながら、画面全体の動きの大きさ、つまり揺れ戻りの大きさによっては補正用マージンの量が不足することが起こり得る。このような場合、補正用マージンの端を超えないように揺れ戻りの補正量を低減する必要がある。補正量を低減することで生じた補正残りに関しては、像ブレ補正部材の制御によって対応可能である。つまり、像ブレ補正レンズや搖動可能な撮像素子等の像ブレ補正部材の駆動を制御する補正制御部１０６が補正残り量に対応する制御により像ブレ補正を行う。

また動きベクトルから算出される画面全体の動き情報によって画像の切り出しを行うことで揺れ戻りの動きは解消されるが、揺れ戻りの動きが終了した時点での切り出し位置はマージン領域を含めた撮像領域内の端の近辺に偏っている可能性がある。そのため、揺れ戻りの終了直後に再びそれまでの方向と同一の方向にパンニングの動きが発生した場合、その動きに対応して生じる揺れ戻りの動きについては、その動きを打ち消すように切り出し位置を変更することができない。補正を行えるようにするために、本実施形態では揺れ戻りの補正処理が完了した後、画面上に生じる動きとして目立つことが無い速度で切り出し位置を画面中央に戻す処理が行われる。あるいは、パンニングの動きの開始直後に揺れ戻りの動きを打ち消す方向とは反対の方向に予め切り出し位置を移動させておく処理が行われる。パンニング終了直後の揺れ戻りの動きが補正された画像のデータは、画像切り出し部１０９から画像出力部１１０に伝送される。

本実施形態では、像ブレ補正処理を実行しつつ、パンニング等の動きが発生した際の揺れ戻りの動きに対して画像の切り出しを行うことで補正する（画像切り出し位置の変更制御）。つまり、画像から得られた動きベクトルに基づいて揺れ戻りの動きを低減することができる。本実施形態によれば、パンニング等で生じる揺れ戻りの動きを補正するとともに、誤判定によって生じうる実際には存在しない動きに対する補正を抑制し、より良好な像ブレ補正を行うことができる。撮影中にパンニング等が発生した際に起こり得る不自然な画像の動きを抑制し、より品質の高い画像を取得できる。

［第２実施形態］
図６を参照して、本発明の第２実施形態に係る撮像装置の構成を説明する。本実施形態では、まず撮像装置の動き情報から揺れ戻り成分の信号を検出してＨＰＦの出力する信号から減算することで、揺れ戻りが生じないように像ブレ補正部材の制御を行う。それでも補正することができなかった揺れ戻り成分については動きベクトルを用いた画像切り出しにより補正される。図６において、図１に示す各構成要素と共通するものについては図１で使用した符号と同じ符号を付すことにより、それらの詳細な説明を省略する。

本実施形態の撮像装置は、図１に示した構成に対して、ゲイン制御部６０１および減算処理部６０２をさらに備える。ゲイン制御部６０１はＬＰＦ１０４から取得した信号に対し、動き判定部１０２と揺れ戻り検出部１０５の各出力信号に基づいてゲインを乗算して減算処理部６０２に出力する。減算処理部６０２は、ＨＰＦ１０３の出力信号から、ゲイン制御部６０１によりゲイン制御されたＬＰＦ１０４の出力信号を減算して補正制御部１０６に出力する。また本実施形態の動き判定部１０２は、動き検出部１０１、動きベクトル検出部１０８がそれぞれ出力する検出結果を取得して動き判定を行う。

図７のフローチャートを参照して、本実施形態の制御を説明する。図７に示すＳ２０１からＳ２０５の各処理については、図２に示すＳ２０１からＳ２０５と同じであるので、それらの説明を省略し、第１実施形態と異なる処理のみ説明する。Ｓ２０５の処理後、Ｓ２０６とＳ７０１の処理が並行して実行される。

Ｓ７０１にてゲイン制御部６０１は、動き判定部１０２から得られるパンニング期間の判定結果および揺れ戻り検出部１０５から得られる揺れ戻り期間の判定結果を用いて、ＬＰＦ１０４の出力信号に乗じるためのゲイン値を設定する。そして、ゲイン制御部６０１はＬＰＦ１０４の出力信号にゲイン値を乗算して減算処理部６０２へ出力する。

減算処理部６０２はＨＰＦ１０３の出力信号から、ゲイン制御部６０１によって設定されたゲイン値を乗算することで調整されたＬＰＦ１０４の出力信号を減算する。これにより、ＨＰＦ１０３の出力信号に含まれている揺れ戻りの動き成分が除去される。第１実施形態ではＬＰＦ１０４の出力信号を揺れ戻りの開始時刻および終了時刻の判定にのみ使用したが、本実施形態では揺れ戻りの補正量を算出する際にも使用する。

図８を参照して、ＨＰＦ１０３の出力信号に含まれる揺れ戻りの動き成分を除去する方法について説明する。図８（Ａ）および（Ｂ）における横軸および縦軸の設定は図４と同じである。

図８（Ａ）に示すグラフ線８０１および８０２は、それぞれＨＰＦ１０３およびＬＰＦ１０４の出力信号の時間変化を示す。図８（Ｂ）のグラフ線８０３は減算処理部６０２において、ＨＰＦ１０３の出力信号からＬＰＦ１０４の出力信号を減算した後の信号の時間変化を示している。また、期間８０４は、揺れ戻り検出部１０５で判定される期間である。期間８０５は、動き判定部１０２でパンニングの終了判定がされた時刻８０６から、揺れ戻り検出部１０５で揺れ戻りの原因となる成分の発生が終了したと判定された時刻８０７までの期間である。つまり、時刻８０６は図４における時刻４０６と同じ時刻を示し、時刻８０７は図５（Ｂ）の時刻５１０と同じ時刻を示している。

ここで、揺れ戻りの原因となる成分とは、期間８０４におけるＨＰＦ１０３の出力信号の低周波成分、つまりＬＰＦ１０４の出力信号そのものである。従って、揺れ戻り検出部１０５によって期間８０４を判定し、その期間での低周波成分（グラフ線８０２参照）をＨＰＦ１０３の出力信号（グラフ線８０１参照）から減算することで揺れ戻り成分を除去できる。図８（Ｂ）のグラフ線８０３は、ＨＰＦ１０３の出力信号からＬＰＦ１０４の出力信号を減算した結果である信号の時間変化を示している。

図８に示す期間８０４はパンニングの動きが発生している期間を含み、この期間中にＨＰＦ１０３のカットオフ周波数を高くする制御が行われ、パンニングの動きである低周波の動き成分がＨＰＦ１０３の出力信号に含まれなくなる。これにより、パンニングの動きが撮像装置のぶれの動きとして補正の対象とならないように処理される。パンニングの動きが終了に近づくにつれてＨＰＦ１０３のカットオフ周波数を下げる制御が行われ、それに合わせてパンニングの動き成分がＨＰＦ１０３の出力信号に含まれるようになる。そのため、像ブレ補正部材の動きは低周波の動き成分をも補正するために補正端の方へ移動していくような挙動となる。補正端とは補正範囲の限界位置に相当し、補正端を超えて像ブレ補正部材を駆動することはできないものとする。

図８に示す期間８０５においてパンニングの動きが終了し、手ぶれの動きだけが存在する状態になると、補正端の方へ近寄っていた像ブレ補正部材を補正範囲の中央付近に戻す挙動となる。この動きが画面上では揺れ戻りの動きとなって現れる。揺れ戻りの動きを除去するために、本実施形態では期間８０４にて、ＨＰＦ１０３の出力信号から揺れ戻りの動き成分であるＬＰＦ１０４の信号を減算する処理が行われる。減算処理後の信号（グラフ線８０３参照）を用いて像ブレ補正部材の制御が行われる。従って、最終的な像ブレ補正用の制御信号としては、期間８０４中にグラフ線８０３で示す信号が使用され、それ以外の期間ではグラフ線８０１で示す信号が使用される。このように、期間に応じた揺れ戻り成分の減算処理を行うために、ゲイン制御部６０１はＬＰＦ１０４の出力信号に対するゲイン調整を行う。図９を用いてゲイン調整例を示す。

図９の横軸は時間軸であり、縦軸はゲイン値を表す。グラフ線９０１は時間に応じたゲイン値の変化の一例を示しており、期間９０２は揺れ戻り検出部１０５で検出された揺れ戻り期間である。

ゲイン制御部６０１は、グラフ線９０１に示すように、揺れ戻り期間９０２中にゲイン値を１に設定する。この場合、ゲイン制御部６０１の出力は揺れ戻り成分そのものとなり、期間９０２中にはＨＰＦ１０３の出力信号から揺れ戻り成分が減算されることになる。またゲイン制御部６０１は、揺れ戻り期間９０２以外の期間においてゲイン値をゼロに設定する。この場合、ゲイン制御部６０１の出力はゼロとなり、ＨＰＦ１０３の出力信号がそのまま補正制御部１０６に送られることになる。

図９では、ゲイン値の調整方法として揺れ戻り期間中にのみゲイン値を１に設定する方法について説明したが、この方法に限るものではない。その他の方法としては、揺れ戻りの速さや大きさを考慮してゲイン値を０から１の間で動的に変化させる方法や、撮影パラメータ等を加味してゲイン値を設定する方法がある。図１０を用いて具体的に説明する。

図１０は、揺れ戻りの速さを考慮したゲイン値の設定方法を例示するグラフである。図１０の横軸および縦軸の設定は図９と同じであり、グラフ線１００１はゲイン値の時間変化を示す。

グラフ線１００１上のポイント１００２に対応する時刻ｔ１から、ポイント１００３に対応する時刻ｔ２までの期間１００４は、揺れ戻りの動きが発生している期間を示している。時刻ｔ１、ｔ２、および期間１００４は、それぞれ図８における時刻８０６、時刻８０７、および期間８０５に相当する。図８において、期間８０５におけるＬＰＦ１０４の出力信号（グラフ線８０２参照）の変化が揺れ戻りの動きに相当する。この動きは、時刻８０６で角速度が最も大きく、時刻８０７で角速度がゼロになるまで徐々に減速するという動きである。そこで、揺れ戻りの角速度の大きさに応じてゲイン値を変更する処理が行われる。ゲイン値の変更方法の一例を、下記式２に示す。

式２中のＧはゲインを表し、ｔは任意の時刻を表す。時刻ｔ１より前には、揺れ戻りの動きはまだ発生していないのでゲインＧにゼロが設定される。その後の期間１００４、つまり時刻ｔ１から時刻ｔ２までの期間では、時間の経過につれてゲイン値を１から０まで減少させる処理が行われる。時刻ｔ１にて揺れ戻りの動きは最大であり、時刻ｔ２にて揺れ戻りの動きがゼロとなる。そのため、揺れ戻りの動きが小さい時には低周波の手ぶれの動きの補正を優先させることで、最終的に像ブレ補正された画像の精度を向上させることができる。式２中の係数αには、時刻ｔ１から時刻ｔ２までの間にゲイン値を１から０に変化させる値が設定される。時刻ｔ２を過ぎると、揺れ戻りの動きは終了しているのでゲイン値は再びゼロとなる。

以上のように、揺れ戻りの動きが小さい時には、できる限り像ブレ補正効果を高める制御が可能となる。図１０では、揺れ戻りが発生している期間１００４にゲイン値を１から０まで、一次関数に則して一定の傾きで減少させていく方法について説明した。揺れ戻りの動きを抑制できるのであれば、二次以上のより高次の関数を用いる方法や、ゲイン値を非線形的に変化させる方法を使用してもよい。

また、本実施形態では像ブレ補正用の制御信号から揺れ戻り成分を減算することで揺れ戻りの動きを除去する方法について説明した。揺れ戻りの動きを除去する他の方法の例としては、例えば異なるカットオフ周波数が設定された複数の積分器を設け、パンニングや揺れ戻りの開始および終了の判定結果に応じて積分器の出力信号を切り替える方法等がある。

図７のＳ２０６では第１実施形態と同様に、画像切り出し部１０９は、揺れ戻り検出部１０５で検出された揺れ戻り期間に基づいて動きベクトル検出部１０８で算出された画像上での揺れ戻り量を用いて画像の切り出しを行う。本実施形態では、ＨＰＦ１０３の出力信号から揺れ戻り成分を減算することで、揺れ戻りの動きの除去を行っている。しかしながら、例えば、動き検出部１０１で使用されるジャイロセンサの性能によっては動きの検出結果に誤差が生じる可能性や、撮像装置に複雑な動きが発生する場合がある。この場合、揺れ戻り量の大きさを正しく検出できなくなることが懸念される。このような状況で上述の方法を用いて揺れ戻りの動きを補正しようとしても良好な補正を達成することは困難であり、補正残りの動きが生じてしまう。補正残りの動きを除去するために、Ｓ２０６では第１実施形態と同様の方法を用いて、揺れ戻り期間中に画像から算出された画面全体の動きを用いて画像の切り出し処理が実行される。これにより、ＨＰＦ１０３に残存する揺れ戻りの動きを精度良く除去することができる。

また、上記と同様の理由により、揺れ戻りの動きが画面上に発生する期間の判定に誤差が生じる可能性もある。この誤差によって、適切なタイミングでゲイン値を調整することができなくなると、補正残りを除去しきれなかったり、過補正による不要な動きが付加されたりする可能性がある。そのような問題への対策として、動きベクトル検出部１０８で得られた画面全体の動き情報を用いて、図５（Ｂ）における揺れ戻りの動きが画面上に発生する期間５１１を判定する方法について説明する。

ここで、期間５１１の開始時刻は図５（Ｂ）に示すパンニングの動きの終了時刻５０９である。画面上では時刻５０９の直後に揺れ戻りの動きが発生する。従って、画面全体の動き情報から時刻５０９を判定するために、画面全体の動きが予め定められた判定用の閾値以上となりパンニングの開始判定が行われた後で、画面全体の動きの向きが反転した時刻を取得する処理が実行される。また、期間５１１の終了時刻は揺れ戻りの終了時刻５１０である。画面全体の動き情報から時刻５１０を判定するためには、時刻５０９よりも後の時刻において、画面全体の動きが再度ゼロ付近に近づいた時刻を取得する処理が実行される。これにより、画像から得られる動きベクトル情報から揺れ戻りの動きが発生する期間を判定することが可能となる。動きベクトルにより算出された画面全体の動きから、揺れ戻りの動きが発生する期間を判定することにより、画面上で目に見える現象そのものが判定対象となるので、良好な判定処理を行うことが可能となる。

画像切り出しでは、撮像面上の任意の位置で画像を切り出すことにより、揺れ戻りの動きが補正される。その際、画像切り出し後の画像に欠落が生じないようにするためには、切り出す矩形領域が撮像面外（撮像範囲外）へはみ出さないように予めマージン領域を設けておく必要がある。それと同様に、像ブレ補正部材の駆動範囲に基づく補正端が存在する。揺れ戻りや手ぶれの動きを補正して、画像切り出しのマージン領域を使い切った場合や、像ブレ補正部材が補正端に到達した場合には、それ以上の補正ができなくなる。この場合、再び補正可能な状態に戻すためにセンタリング処理等を行うことによる不自然な動きが発生する可能性がある。

一例として、像ブレ補正レンズを用いる補正を説明する。揺れ戻りの動きを補正することによって像ブレ補正レンズがその補正端の近くにまで移動してしまうと、それ以上の揺れ戻りの動きを像ブレ補正レンズの移動で補正できないばかりでなく手ぶれの動きの補正もできなくなる可能性がある。そのような場合、ゲイン制御部６０１はＬＰＦ１０４の出力信号である揺れ戻りの動き成分に乗じるゲイン値を下げることで、故意に補正残り量を大きくする。揺れ戻りの補正残りについては、画像切り出し部１０９にて画像切り出しによる補正処理を施すことで、像ブレ補正レンズによる光学式補正と画像切り出しによる電子式補正とを連携させた良好な補正処理を行うことができる。

また、揺れ戻りの動きやその補正残りを補正することによって、画像の切り出し領域の位置がマージン領域の端の近くにまで移動してしまった場合を想定する。この場合、それ以上の揺れ戻りの動きを、画像切り出し処理で補正することができないばかりでなく手ぶれの動きも補正できなくなる可能性がある。そこでゲイン制御部６０１は、ＬＰＦ１０４の出力信号である揺れ戻りの動き成分に乗じるゲイン値を上げることで、補正残り量が極力小さくなるようにする。揺れ戻りの補正残りについては、画像切り出し部１０９にて画像切り出しによる補正処理を施すことで、像ブレ補正レンズによる光学式補正と画像切り出しによる電子式補正とを連携させた良好な補正処理を行うことができる。像ブレ補正レンズを使用する場合に限らず、例えば搖動可能な撮像素子等の移動制御によって像ブレ補正を行う場合でも同様に適用可能である。

本実施形態ではゲイン制御によってゲイン値を下げて、像ブレ補正部材が行う第１の補正よりも画像切り出し処理による第２の補正の割合を大きくする制御が行われる。またゲイン制御によってゲイン値を上げて、第１の補正よりも第２の補正の割合を小さくする制御が行われる。

本実施形態によれば、揺れ戻りの補正残りを画像切り出し処理で補正することで、第１実施形態と比較して画像切り出しの為に必要となる撮像素子のマージン領域を低減可能となり、出力画像の画角内の画像欠落を抑制できる。さらに本実施形態では、先に像ブレ補正部材による揺れ戻りの動きの補正が行われるので、撮像装置の動きが閾値以上に大きい場合やテクスチャが無いシーンのような動きベクトルの検出が困難な状況でも、揺れ戻りを抑制できる。

１０２動き判定部
１０５揺れ戻り検出部
１０９画像切り出し部

Claims

入力画像の像ブレを補正する像ブレ補正装置であって、
前記像ブレ補正装置を備える装置の動きを検出する第１の検出手段と、
前記第１の検出手段の出力をフィルタリングするフィルタ手段と、
前記フィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する第２の検出手段と、
複数の前記入力画像の間で動きベクトルを検出する第３の検出手段と、
前記第２の検出手段によって検出される前記期間にて、前記第３の検出手段により検出された動きベクトルを用いて前記揺れ戻りの動きが補正された画像を生成する処理手段と、を備え、
前記フィルタ手段は、前記第１の検出手段の出力の低周波成分を低減させる第１のフィルタ手段と、前記第１のフィルタ手段の出力の高周波成分を低減させる第２のフィルタ手段と、を含み、
前記第２の検出手段は、前記第２のフィルタ手段の出力を用いて、前記揺れ戻りの動きが発生する期間を検出する
ことを特徴とする像ブレ補正装置。
前記処理手段は、前記第３の検出手段により検出された動きベクトルを用いて前記入力画像から部分画像を切り出す処理を行うことで前記揺れ戻りの動きを補正し、前記第２の検出手段によって検出される前記期間にて、前記動きベクトルに対応する揺れ戻りの動きを低減する位置で前記部分画像を切り出す処理を行う
ことを特徴とする請求項１に記載の像ブレ補正装置。
前記第１の検出手段の出力から前記像ブレ補正装置を備える装置の動きを判定し、判定信号を前記第１のフィルタ手段または前記第２の検出手段に出力する動き判定手段をさらに備え、
前記第１の検出手段は、パンニングまたはチルティングの検出信号を前記動き判定手段に出力する
ことを特徴とする請求項１に記載の像ブレ補正装置。
前記第２のフィルタ手段の出力にゲインを乗算して出力するゲイン制御手段と、
前記第１のフィルタ手段の出力から前記ゲイン制御手段の出力を減算する減算処理手段と、を備え、
前記ゲイン制御手段は、前記第２のフィルタ手段の出力に対し、前記第２の検出手段によって検出される前記期間に第１のゲインを乗算し、前記期間でないときに前記第１のゲインよりも小さい第２のゲインを乗算する
ことを特徴とする請求項２に記載の像ブレ補正装置。
装置の動きを検出する第１の検出手段と、
前記第１の検出手段の出力の低周波成分を低減させる第１のフィルタ手段と、
前記第１のフィルタ手段の出力の高周波成分を低減させる第２のフィルタ手段と、
前記第２のフィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する第２の検出手段と、
複数の入力画像の間で動きベクトルを検出する第３の検出手段と、
前記第２の検出手段によって検出される前記期間にて、前記第３の検出手段により検出された動きベクトルを用いて前記揺れ戻りの動きが補正された画像を生成する処理手段と、
像ブレを補正する補正手段と、
前記第１のフィルタ手段の出力を用いて前記補正手段を制御する補正制御手段と、を備える
ことを特徴とする撮像装置。
装置の動きを検出する第１の検出手段と、
前記第１の検出手段の出力の低周波成分を低減させる第１のフィルタ手段と、
前記第１のフィルタ手段の出力の高周波成分を低減させる第２のフィルタ手段と、
前記第２のフィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する第２の検出手段と、
複数の入力画像の間で動きベクトルを検出する第３の検出手段と、
前記第２の検出手段によって検出される前記期間にて、前記第３の検出手段により検出された動きベクトルを用いて前記揺れ戻りの動きが補正された画像を生成する処理手段と、
前記第２のフィルタ手段の出力にゲインを乗算して出力するゲイン制御手段と、
前記第１のフィルタ手段の出力から前記ゲイン制御手段の出力を減算する減算処理手段と、
像ブレを補正する補正手段と、
前記減算処理手段の出力を用いて前記補正手段を制御する補正制御手段と、を備え、
前記処理手段は、前記第３の検出手段により検出された動きベクトルを用いて前記入力画像から部分画像を切り出す処理を行うことで前記揺れ戻りの動きを補正し、前記第２の検出手段によって検出される前記期間にて、前記動きベクトルに対応する揺れ戻りの動きを低減する位置で前記部分画像を切り出す処理を行い、
前記ゲイン制御手段は、前記第２のフィルタ手段の出力に対し、前記第２の検出手段によって検出される前記期間に第１のゲインを乗算し、前記期間でないときに前記第１のゲインよりも小さい第２のゲインを乗算する
ことを特徴とする撮像装置。
前記ゲイン制御手段はゲイン値を下げて、前記補正手段が行う第１の補正よりも前記部分画像を切り出す処理による第２の補正の割合を大きくし、または、前記ゲイン値を上げて、前記第１の補正よりも前記第２の補正の割合を小さくする制御を行う
ことを特徴とする請求項６に記載の撮像装置。
前記ゲイン制御手段は、前記第２のフィルタ手段の出力に対し、前記補正手段が限界位置である補正端に近い第１の位置にあるときに乗算するゲイン値を、前記補正手段が前記補正端から離れた第２の位置にあるときに乗算するゲイン値よりも小さく設定する
ことを特徴とする請求項６に記載の撮像装置。
前記ゲイン制御手段は、前記第２のフィルタ手段の出力に対し、前記部分画像を切り出す処理における画像の切り出し領域が撮像素子による撮像範囲の端に近い第１の位置にあるときに乗算するゲイン値を、前記切り出し領域が撮像素子による撮像範囲の端から離れた第２の位置にあるときに乗算するゲイン値よりも大きく設定する
ことを特徴とする請求項６に記載の撮像装置。
前記第３の検出手段の出力信号から撮像装置の動きを判定する動き判定手段を備え、
前記第２の検出手段は、前記動き判定手段によってパンニングまたはチルティングの開始が判定された後に、前記動きベクトルの向きが反転した時刻を前記揺れ戻りの動きが発生した時刻として検出する
ことを特徴とする請求項５から９のいずれか１項に記載の撮像装置。
入力画像の像ブレを補正する像ブレ補正装置にて実行される制御方法であって、
前記像ブレ補正装置を備える装置の動きの検出信号を取得する工程と、
複数の前記入力画像の間で動きベクトルを検出する工程と、
前記検出信号をフィルタリングする工程と、
前記フィルタリングの結果を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する工程と、
検出された前記期間にて、前記動きベクトルを用いて前記揺れ戻りの動きが補正された画像を生成する処理工程と、を備え、
前記フィルタリングする工程は、前記検出信号の低周波成分を低減させる第１の工程と、前記第１の工程の出力の高周波成分を低減させる第２の工程と、を含み、
前記揺れ戻りの動きが発生する期間を検出する工程は、前記第２の工程の出力を用いて、前記揺れ戻りの動きが発生する期間を検出する
ことを特徴とする像ブレ補正装置の制御方法。