JP7258518B2

JP7258518B2 - 像ブレ補正装置およびその制御方法、撮像装置

Info

Publication number: JP7258518B2
Application number: JP2018216467A
Authority: JP
Inventors: 光洋齊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-11-19
Filing date: 2018-11-19
Publication date: 2023-04-17
Anticipated expiration: 2038-11-19
Also published as: JP2020085992A

Description

本発明は、手ぶれ等による画像の像ブレを補正する技術に関する。

撮像装置の動きを検出して撮像画像の像ブレ補正を行う場合、手ぶれのような撮影者の意図しない動きと、パンニングやチルティング（以下、パンニング等という）のような意図的な動きとを区別する必要がある。主に低周波の大きな動きとして捉えることができるパンニング等の動きが、像ブレ補正量の算出において含まれないように制御が行われる。例えば、手ぶれ量を検出するためのハイパスフィルタ（ＨＰＦ）のカットオフ周波数（ｆｃ）を動的に変更する方法がある。パンニング等が開始するとＨＰＦのｆｃを上げて、パンニング等の動きが手ぶれの動きとして検出されないように制御が行われ、パンニング等が終了に近づいた場合にＨＰＦのｆｃを下げて、手ぶれ補正効果を高める制御が行われる。

手ぶれ補正と、パンニング等に対する制御とを両立させる場合に上述の制御を行うと、パンニング等の終了時に画角がパンニング等の方向と逆方向に動いてしまう現象（揺れ戻り）が発生する可能性がある。揺れ戻りの原因は、パンニング等の終了時に手ぶれの補正効果を高めるためにＨＰＦのｆｃを下げることで低周波の動き成分が制限されなくなり、パンニング等の方向とは逆方向の動き成分がＨＰＦの出力に現れることにある。パンニング等が完了して低周波の動き成分が無くなると、像ブレ補正部材が初期位置に戻っていくため、その動きが画像上では揺れ戻りの動きとして現れることになる。

揺れ戻りの補正方法として、特許文献１には、パンニング状態を検出し、振れ検出手段の出力から直流成分を抽出して調節した量を、手ぶれ補正制御系の補正量から差し引く方法が開示されている。

特開２００７－１８９４７８号公報

パンニング時には、撮影者がパンニングのみを行ったつもりでも、実際の撮像装置の動きにパンニング方向と直交する方向の動きが含まれている場合がある。このような場合、パンニング方向と直交する方向の動きが微小であるとチルティングの動きとして判定されないことがある。パンニングの動きを主眼とする像ブレ補正において、パンニング方向と直交する方向の動きが微小であると、パンニングの動きに対する揺れ戻りの補正は行われるが、チルティングの動きに対する揺れ戻りの補正は行われない。そのため、チルティングの動きに対する揺れ戻りが発生し得る。
本発明の目的は、像ブレ補正装置を備えた装置の動きに対する信号処理に基づく複数の方向の揺れ戻りを抑制し、より良好な像ブレ補正を行うことである。

本発明の実施形態の装置は、像ブレ補正装置を備える装置の動きを検出する検出手段と、前記検出手段により検出された前記装置の動きと、当該動きが検出された場合の信号処理に基づく揺れ戻りに対する補正方法を決定する決定手段と、前記決定手段により決定された補正方法にしたがって、前記検出手段が検出する第一の方向の動きに対する像ブレの補正量を算出する第一の算出手段と、前記決定手段により決定された補正方法にしたがって、前記検出手段が検出する第二の方向の動きに対する像ブレの補正量を算出する第二の算出手段と、前記第一または第二の算出手段により算出される補正量を用いて像ブレ補正を行う制御手段と、を有する。前記決定手段は、前記検出手段により前記第一または第二の方向の動きが検出された場合、前記第一または第二の方向の動きに基づいて前記第一および第二の方向の動きに対する揺れ戻りの補正を行う補正方法を決定し、前記検出手段により前記第一の方向の動きが検出され、かつ前記第二の方向の動きの大きさが揺れ戻りの大きさよりも大きい場合、前記第二の方向の動きに対する補正の割合を、前記第二の方向における揺れ戻りの補正の割合よりも大きくする補正方法とする。

本発明によれば、像ブレ補正装置を備えた装置の動きに対する信号処理に基づく複数の方向の揺れ戻りを抑制し、より良好な像ブレ補正を行うことができる。

本発明の実施形態に係る撮像装置の構成を示すブロック図である。補正量算出部の構成を示すブロック図である。本実施形態の撮像装置の動作を説明するフローチャートである。撮像装置の動きを示す図である。撮像装置の動きに対するフィルタリング結果を示す図である。揺れ戻り成分の除去方法を説明する図である。ゲイン値の制御方法を説明する模式図である。

以下に本発明の実施形態を、添付図面にしたがって詳細に説明する。図１は本実施形態の撮像装置の構成を示すブロック図である。以下では撮像装置に搭載される像ブレ補正装置に関連する構成要素を説明する。

動き検出部１０１は撮像装置に生じている動きを検出する。この動きは、例えば手ぶれやパンニング等の動きである。動き検出部１０１は検出した動き情報の信号を動き判定部１０２と、２つの補正量算出部１０４，１０５にそれぞれ出力する。

動き判定部１０２は、動き検出部１０１により検出された動き情報を用いて撮像装置にどのような動きが生じているかを判定する。動き判定部１０２は判定結果の信号を補正方法決定部１０３、および補正量算出部１０４，１０５にそれぞれ出力する。

補正方法決定部１０３は、動き判定部１０２で判定された撮像装置の動きに基づいて、第一の方向および第二の方向のうち、どちらの方向にどのような揺れ戻り補正を施すかを決定する。例えば第一の方向はパンニング方向であり、第一の方向に直交する第二の方向はチルティング方向である。補正方法決定部１０３は決定した補正方法を示す信号を、補正量算出部１０４，１０５にそれぞれ出力する。

補正量算出部１０４，１０５は、補正方法決定部１０３により決定された補正方法に基づいて、像ブレ補正の補正量を算出する。補正量算出部１０４，１０５のうち、補正量算出部１０４を第一の補正量算出部とし、補正量算出部１０５を第二の補正量算出部とする。第一の補正量算出部１０４は、動き検出部１０１で検出された動き情報と動き判定部１０２による判定結果を用いて、第一の方向の動きに対する補正量を算出する。また第二の補正量算出部１０５は、動き検出部１０１で検出された動き情報と動き判定部１０２による判定結果を用いて、第二の方向の動きに対する補正量を算出する。補正量算出部１０４，１０５は算出した補正量を補正制御部１０６に出力する。

補正制御部１０６は、補正量算出部１０４，１０５の出力にしたがって像ブレ補正部材を制御する。像ブレ補正部材の例としては、撮像光学系を構成するシフトレンズ等の補正レンズや、移動可能な撮像素子の駆動機構部を備える装置における撮像素子の移動部材である。あるいは、撮像装置からの指令により駆動制御可能なジンバル機構や自動制御可能な電動雲台等が挙げられる。

図２は、補正量算出部１０４，１０５の構成を示すブロック図である。補正量算出部１０４と１０５は同じ構成であるので、その一方について説明する。動き検出部１０１による動きの検出信号はハイパスフィルタ（ＨＰＦ）２０１に入力される。

ＨＰＦ２０１は、動き検出部１０１の検出信号から低周波成分を除去または低減する。ローパスフィルタ（ＬＰＦ）２０２は動き判定部１０２の判定結果に基づいて、ＨＰＦ２０１の出力信号に対して高周波成分を除去または低減する。ＬＰＦ２０２の出力信号は揺れ戻り検出部２０３とゲイン制御部２０４に入力される。

揺れ戻り検出部２０３は、ＬＰＦ２０２の出力信号と、動き判定部１０２による判定結果および補正方法決定部１０３の出力に基づいて揺れ戻りの開始時刻および終了時刻を判定する。

ゲイン制御部２０４は、揺れ戻り検出部２０３の出力に基づき、ＬＰＦ２０２の出力信号に対してゲインを乗算して減算処理部２０５に出力する。減算処理部２０５は、ＨＰＦ２０１の出力信号からゲイン制御部２０４の出力信号を減算する。減算後の出力信号は補正制御部１０６に伝送される。なお、本実施形態ではＨＰＦ２０１およびＬＰＦ２０２によるフィルタリング処理で所定の周波数成分を低減させる構成例を示すが、バンドパスフィルタ（ＢＰＦ）を用いてフィルタリング処理を行う構成でもよい。

図３に示すフローチャートを参照して、撮像装置の動作を説明する。図３においてＳ３０４からＳ３０６までの処理と、Ｓ３０７からＳ３０９までの処理は並行して実行される。Ｓ３０１で動き検出部１０１は撮像装置の動き情報を取得する。撮像装置の動き情報とは、撮像装置の位置および姿勢の時間的な変化を表しており、撮影者の意図的なカメラワークや手ぶれの動き等の情報が含まれる。揺れ戻りの動きは信号処理の結果として現れるものであり、実際の撮像装置に発生している物理的な動きではないので動き情報には含まれない。動き検出部１０１は撮像装置の動き情報を取得するために、例えばジャイロセンサや加速度センサを備える。撮像装置の動き情報が計測可能であれば他の方法を用いてもよい。Ｓ３０１で取得された動き情報は動き判定部１０２および補正量算出部１０４，１０５内のＨＰＦ２０１にそれぞれ伝送される。

Ｓ３０２で動き判定部１０２は、動き検出部１０１から取得した撮像装置の動き情報を解析することで、撮像装置にどのような動きが生じているかを判定する。本実施形態では、撮像装置に搭載されたジャイロセンサから得られる角速度情報を用いてパンニングの動きを判定する方法を説明する。以下では第一の方向（ヨー方向）の大きな動きをパンニングの動きとし、第二の方向（ピッチ方向）の大きな動きをチルティングの動きとして説明するが、パンニングとチルティングの動きを互いに入れ替えても同様のことが成り立つ。動き判定処理については図４を用いて後述する。

Ｓ３０３で補正方法決定部１０３は、動き判定部１０２で判定された撮像装置に生じている動きに基づいて、パンニングとチルティングの動きのそれぞれに対してどのような処理を行うかを決定する。

Ｓ３０４からＳ３０６の処理は第一の補正量算出部１０４が行う。Ｓ３０４でＨＰＦ２０１は、動き検出部１０１の検出信号に対して、特定の周波数成分を取り除くためのフィルタリング処理を行う。ＨＰＦ２０１は、撮像装置の角速度検出信号から低周波成分を除去することで、ジャイロセンサの出力に含まれているオフセット成分を除去する。ＬＰＦ２０２はＨＰＦ２０１の出力信号から高周波成分を除去または低減する。Ｓ３０４のフィルタリング処理については図５を用いて後述する。

Ｓ３０５で揺れ戻り検出部２０３は、ＬＰＦ２０２の出力信号を用いて揺れ戻りの開始および終了の判定を行い、判定結果をゲイン制御部２０４に出力する。Ｓ３０６では第一の方向の動きに対する補正量が算出される。ゲイン制御部２０４は、補正方法決定部１０３が決定した補正方法に基づいて、ＬＰＦ２０２の出力信号に乗じるためのゲイン値を設定する。ゲイン値の設定は補正方法決定部１０３により定められた方法に従って行われる。減算処理部２０５はＨＰＦ２０１の出力信号から、設定されたゲイン値を乗じて調整されたＬＰＦ２０２の出力信号を減算することでＨＰＦ２０１の出力信号に含まれている揺れ戻り成分を除去する。Ｓ３０６における減算処理部２０５の出力が第一の補正量に相当する。

Ｓ３０７からＳ３０９の処理は第二の補正量算出部１０５が行う。つまり、第二の補正量算出部１０５は、Ｓ３０４、Ｓ３０５、Ｓ３０６で説明した処理と同様の処理を、Ｓ３０７、Ｓ３０８、Ｓ３０９において第二の方向の動きに対して行う。Ｓ３０９における減算処理部２０５の出力が第二の補正量に相当する。各処理については説明を省略する。

Ｓ３０４からＳ３０６の処理、Ｓ３０７からＳ３０９の処理を終了すると、Ｓ３１０に移行する。Ｓ３１０で補正制御部１０６は、各補正量算出部が備える減算処理部２０５の出力信号を用いて、第一および第二の動きに対して像ブレ補正部材の駆動制御を行う。

図４から図７を参照して、図３の処理について具体的に説明する。図４は、撮像装置のパンニング時に検出される角速度情報の例を示す。横軸は時間軸であり、縦軸は角速度を表す。点線で示す横線は判定用の閾値４０４を表している。期間４０２は時間軸の起点（原点）から時刻４０５までの期間であり、期間４０３は時刻４０５から時刻４０６までの期間である。グラフ線４０１は角速度情報の時間変化を示す。図４では、期間４０２で手ぶれの動きだけが生じており、その後の期間４０３でパンニングの動きが発生し、その後に再び手ぶれの動きだけとなる様子を示す。

パンニング開始の判定方法の一例として、角速度が予め定められた閾値を超えた時点でパンニング開始時刻と判定する方法がある。図４の期間４０２に示すように、手ぶれの動きは高周波の微小振動であり、その振幅が小さいのに対して、期間４０３中に生じているパンニングのようなカメラワークの動きは非常に大きい。動き判定部１０２は、ジャイロセンサから得られる角速度（グラフ線４０１参照）を監視して、角速度が図４の閾値４０４を超える時刻４０５からパンニングの動きが開始されたと判定する。

パンニング終了の判定方法としては、パンニング開始の判定が行われた時刻４０５よりも後の時刻において、角速度が予め定められた閾値以下になった時点でパンニング終了時点と判定する方法がある。この場合、動き判定部１０２は、例えばパンニング終了判定に使用する閾値をゼロ、つまり角速度がゼロである値を設定する。時刻４０６に示すように、角速度が閾値であるゼロとなった時刻、つまり撮像装置の動きが停止した時刻がパンニング終了時刻と判定される。あるいはパンニング終了判定に使用する閾値を、パンニング開始の判定時の閾値４０４と同じ値に設定する方法等がある。

以上に示したパンニングの判定方法は一例であり、その他の方法として角速度の微分値、つまり角加速度を用いて判定する方法や、映像から取得された動きベクトルを用いて判定する方法等がある。パンニングの開始や終了を検知できるのであれば、どのような方法で判定しても構わない。チルティングに対しても同様の判定が行われる。動き判定結果は、補正方法決定部１０３および補正量算出部１０４，１０５内のＬＰＦ２０２および揺れ戻り検出部２０３に伝送される。

次に、動き判定部１０２が判定した撮像装置の動きに基づいて、パンニングとチルティングの動きのそれぞれに対してどのような処理を施すかについて説明する。一例として、ユーザが撮像装置のパンニングを行った場合の補正方法の決定の仕方について説明する。撮影者が意図的にパンニングのみを行ったつもりでも、実際にはわずかにチルティング方向（ピッチ方向）の動きが生じてしまう。ピッチ方向の動きが連続して生じるとチルティングに相当する動きとなる。図４を参照して具体例を示す。

図４のグラフ線４０７はチルティングに相当する動きを示す。この動きは、パンニング判定用の閾値４０４を超える大きさの動きではないので、ユーザが意図するチルティングの動きとしては判定されない。しかしながら、小さな動きでも動き検出部１０１では検出可能であるため、この動きに対する揺れ戻りの動きが発生することになる。この場合、チルティングの動きが生じているとは判定されないので、揺れ戻りの補正処理が行われずに、撮影画像上に揺れ戻りの動きがそのまま現れてしまう。そこで、このような小さな動きに対してパンニングやチルティングの判定を行う方法として、閾値４０４を下げる方法がある。しかしながら、安易に閾値を下げると、歩行時の撮影で生じるような大きなぶれがパンニングの動きであると誤判定される可能性がある。本実施形態ではパンニングまたはチルティングのどちらか一方の方向の動きが発生した場合、もう一方の方向の動きについては、動き判定結果に関わらず揺れ戻りの補正処理が行われる。

補正量算出部１０４，１０５は、動き判定部１０２で判定されない微小なパンニングやチルティングの動きに対しても補正量を算出するので、補正制御部１０６は精度良く揺れ戻りの補正処理を行うことが可能となる。また、パンニングとチルティングのどちらの動きも発生していないことが動き判定部１０２によって判定された場合にはそれぞれの動き判定結果に応じた補正が行われる。図４では、パンニング方向（ヨー方向）の動きに対するピッチ方向の補正方法の決定について説明したが、チルティング方向（ピッチ方向）の動きに対するヨー方向の補正方法の決定についても同様である。補正方法決定部１０３により決定された、ヨー方向およびピッチ方向の動きに対する補正方法の情報は、補正量算出部１０４、１０５内の揺れ戻り検出部２０３へ伝送される。

図５を参照して、補正量算出部１０４，１０５が行うフィルタリング処理について説明する。図３のＳ３０４、Ｓ３０７においてＨＰＦ２０１は、撮像装置の角速度信号から低周波成分を除去することで、ジャイロセンサの出力に含まれているオフセット成分を除去する。ここでは、撮像装置の動きとして手ぶれに加えてパンニングの動きが生じている場合におけるフィルタリング処理を説明する。

図５（Ａ）および（Ｂ）にて横軸および縦軸の設定は図４と同じである。図５（Ａ）に点線で示すグラフ線５０１は図４のグラフ線４０１と同じであり、撮像装置の動きを角速度情報として取得した検出信号を示している。図５（Ａ）に実線で示すグラフ線５０２は角速度検出信号にＨＰＦ処理を施した信号を示している。ここで、パンニングの動きが生じた際のＨＰＦ２０１の動作について説明する。時刻５０３は図４に示す時刻４０５と同様に、角速度が閾値を超えた大きさになり、このときの動きがパンニングの動きとして検知された時刻である。

動き判定部１０２によりパンニングの動きが開始したと判定された時点で、ＨＰＦ２０１のカットオフ周波数（ｆｃ）を高くすることで、ＨＰＦの出力信号にパンニングのような低周波の大きな動きが入り込まないように制限される。つまり、図５（Ａ）に示す時刻５０３においてパンニングの開始が検知されると、ＨＰＦ２０１のｆｃが高くなるので低周波の大きな動きが出力されないように制限される。このとき、ｆｃが上がった分だけ手ぶれの動きも制限を受けなくなるため、特に低周波の手ぶれの補正効果が弱まってしまう。例えば、パンニングの開始判定に応じてＨＰＦ２０１のｆｃを１０Ｈｚまで高くした場合を想定する。一般的な手ぶれの動きは、およそ１～１０Ｈｚの帯域にあるとされるため、ＨＰＦ２０１のｆｃを上げることで、この帯域での動きが取り除かれるので、像ブレ補正の制御対象とはならなくなってしまう。つまり、防振（像ブレ補正）効果が低下する可能性がある。

この問題に対処するために、パンニング中には動きの検出信号の大きさに合わせて動的にＨＰＦ２０１のｆｃを変更する制御が行われる。つまり、パンニングが終了に近づくにつれてＨＰＦ２０１のｆｃを徐々に下げることで、できる限り像ブレ補正効果が低下しないように制御が行われる。パンニングに対する制御と像ブレ補正とを両立させるために、ＨＰＦ２０１のｆｃをパンニングの動きに応じて変更すると、揺れ戻りが発生しうる。

図５（Ａ）に示す期間５０４は時刻５０３よりも後の期間である。期間５０４におけるＨＰＦ２０１の出力（グラフ線５０２参照）は揺れ戻りの原因となる動き成分に相当する。パンニングの終了時にＨＰＦ２０１のｆｃが下がることで、角速度（グラフ線５０１参照）の期間５０５付近にて低周波成分の変化がＨＰＦ２０１の出力信号に現れることがある。この低周波成分の変化がＨＰＦ２０１の出力信号に現れた場合、図５（Ａ）に示す期間５０４にアンダーシュートの動きが発生する（グラフ線５０２参照）。そして、期間５０５に後続する期間５１１では、パンニングの動きが終了することで動きの検出信号における低周波の動き成分が無くなり、ＨＰＦ２０１の出力信号がゼロ付近に近づいていく。実際の画面上では、この時の動きがパンニングの終了後に、パンニングの進行方向とは逆方向に揺れ戻っているような動きとして現れる。揺れ戻りの動きを補正するために、ＨＰＦ２０１の出力信号はＬＰＦ２０２および減算処理部２０５に伝送される。

図３のＳ３０５、Ｓ３０８で揺れ戻り検出部２０３は、ＬＰＦ２０２の出力信号を用いて揺れ戻りの開始および終了の判定を行う。ＬＰＦ２０２の出力信号は揺れ戻り成分に相当する。揺れ戻り成分とは、揺れ戻り期間におけるＨＰＦ２０１の出力信号（グラフ線５０２）の低周波成分のことを示す。揺れ戻りが発生する期間を検出し、その期間の低周波成分の動きを補正することで揺れ戻りの動きを抑制できる。つまり、図５（Ａ）に示す期間５０４にてＨＰＦ２０１の出力信号から低周波成分を抽出して、ＨＰＦ２０１の出力信号から減算する処理が行われ、それ以外の期間ではＨＰＦ２０１の出力信号をそのまま用いて像ブレ補正部材の駆動制御が行われる。

本実施形態では、一例として、ＬＰＦ２０２のフィルタリング処理を施すことで得られた低周波の動き成分を揺れ戻り成分として、揺れ戻り期間の判定を行う方法について説明する。図５（Ｂ）のグラフ線５０６は、ＨＰＦ２０１の出力信号に対してＬＰＦ２０２がフィルタリング処理を施した信号の時間変化を示す。

揺れ戻り検出部２０３は、動き判定部１０２から得られるパンニング期間の判定結果と、ＬＰＦ２０２の出力信号である揺れ戻り成分の信号を用いて揺れ戻り期間を検出する。図５（Ｂ）において、動き判定部１０２が判定したパンニング期間５０７を示す。時刻５０８は、パンニング期間５０７にて揺れ戻り成分の信号の符号が反転した時刻である。この時刻５０８は揺れ戻りの開始時刻と判定される。揺れ戻りの開始後の時刻５０９は、パンニングの終了と判定された時刻である。時刻５０９よりも後の時刻５１０は、揺れ戻り成分の信号の振幅がゼロ近傍であるか、または予め定められた閾値よりも小さくなった時刻であり、揺れ戻りの終了時刻と判定された時刻である。揺れ戻り検出部２０３によって得られた揺れ戻り期間の判定結果はゲイン制御部２０４へ伝送される。

図３のＳ３０６、Ｓ３０９では、ゲイン制御部２０４により、ＬＰＦ２０２の出力信号に乗算するゲイン値が設定される。ゲイン値の設定は、補正方法決定部１０３から得られるヨー方向およびピッチ方向の動きに対して決定された補正方法に基づいて行われる。つまり、パンニングまたはチルティングのどちらか一方が生じている場合にゲイン制御部２０４は、その方向に対するゲイン値を大きくして、ＬＰＦ２０２の出力信号である揺れ戻り量をＨＰＦ２０１の出力信号から確実に差し引くように設定する。これにより、ユーザの意図した動きの方向に対する揺れ戻りの動きを精度良く補正することができる。さらにゲイン制御部２０４は、もう一方の方向の動きについてもゲイン値を大きくすることで、動き判定部１０２での判定結果に関わらず揺れ戻りの補正を行う。これにより、動き判定部１０２では判定されない微小なパンニング方向の動きやチルティング方向の動きに対する揺れ戻りの補正を良好に行うことができる。

パンニングとチルティングのどちらの動きも生じていないと判定された場合には、それぞれの動き判定結果に応じた補正が行われる。ヨー方向の動きに対するピッチ方向の補正方法の決定について説明したが、ヨーとピッチとの関係が逆になっても同様である。また、パンニングおよびチルティングの動きが無く、手ぶれの動きのみが存在する場合や撮像装置が静止状態である場合にゲイン制御部２０４は、ゲイン値をゼロに設定する。この場合、減算処理部２０５での減算処理は行われずにＨＰＦ２０１の出力信号がそのまま補正制御部１０６に伝送される。

以上のように本実施形態では、撮像装置に対してユーザがパンニングまたはチルティングのどちらか一方を行った場合に生じてしまう、他方の方向への揺れ戻りの動きを補正することが可能となる。ここで、動き判定部１０２がパンニングを検知するとともに、ピッチ方向の手ぶれの大きさが揺れ戻りの大きさよりも大きいと判定した場合を想定する。この場合、補正方法決定部１０３は、ピッチ方向については揺れ戻り補正よりも手ぶれ補正の割合が大きくなるように補正方法を決定する。ゲイン制御部２０４は、揺れ戻り期間中にＬＰＦ２０２の出力信号に乗算するゲイン値を小さくする。ピッチ方向の動きにはチルティングの動きによる揺れ戻りが補正しきれずに残留してしまうことになるが、その大きさは手ぶれの大きさよりも小さい。揺れ戻りの動きを精度良く補正するために手ぶれ補正効果を弱めるよりも、揺れ戻りの動きが残ってしまったとしても手ぶれの動きを精度良く補正した方が最終的な映像の品質を高めることができる。

また、動き判定部１０２がパンニングまたはチルティングのどちらか一方の速度が予め定められた閾値よりも大きいと判定した場合を想定する。この場合、補正方法決定部１０３は、パンニングとチルティングの両方とも手ぶれ補正よりも揺れ戻り補正の割合が大きくなるように補正方法を決定する。ゲイン制御部２０４は、揺れ戻り期間中にＬＰＦ２０２の出力信号に乗算するゲイン値を大きくする。これは、パンニングやチルティングの速度が大きいほど揺れ戻りも大きくなり、ある一定の速度以上になると手ぶれの大きさよりも揺れ戻りの動きの大きさの方が大きくなるためである。このような場合には、手ぶれ補正よりも揺れ戻りの動きを精度良く補正した方が最終的な映像の品質を高めることができる。パンニングやチルティングの速度に対する閾値は、例えば角速度が９０ｄｅｇｒｅｅ／ｓｅｃ以上というように予め設定しておけばよい。あるいは撮像装置が手持ちの静止状態であれば閾値を小さくし、歩き撮りや走りながらの撮影では閾値を大きくするというように、撮影状況に応じて閾値を変更してもよい。

減算処理部２０５はＨＰＦ２０１の出力信号から、設定されたゲイン値を乗じて調整されたＬＰＦ２０２の出力信号を減算することでＨＰＦ２０１の出力信号に含まれている揺れ戻り成分を除去する。図６を用いて具体例を説明する。

図６（Ａ）および（Ｂ）は角速度の時間変化を示し、横軸および縦軸の設定は図５と同じである。図６（Ａ）のグラフ線６０１および６０２は、それぞれＨＰＦ２０１およびＬＰＦ２０２の出力信号の時間変化を示しており、図５におけるグラフ線５０１および５０６と同様である。図６（Ｂ）のグラフ線６０３は、減算処理部２０５においてＨＰＦ２０１の出力信号（グラフ線６０１参照）からＬＰＦ２０２の出力信号（グラフ線６０２参照）を減算した後の信号の時間変化を示している。

図６に示す期間６０４は、揺れ戻り検出部２０３で検出された揺れ戻り期間である。期間６０５は、動き判定部１０２によりパンニングの終了判定がなされた時刻６０６から、揺れ戻り検出部２０３により揺れ戻りの原因となる成分の発生が終了したと判定された時刻６０７までの期間である。つまり、時刻６０６は図４における時刻４０６と同じ時刻であり、時刻６０７は図５（Ｂ）の時刻５１０と同じ時刻である。ここで、揺れ戻りの原因となる成分とは、揺れ戻り期間６０４におけるＨＰＦ２０１の出力信号の低周波成分、つまりＬＰＦ２０２の出力信号そのものである。従って、揺れ戻り期間６０４を判定し、その期間の低周波成分（グラフ線６０２参照）をＨＰＦ２０１の出力信号（グラフ線６０１参照）から減算することで揺れ戻り成分を除去できる。実際にＨＰＦ２０１の出力信号から、ＬＰＦ２０２の出力信号を減算した結果がグラフ線６０３に示す信号となる。

揺れ戻り期間６０４にてＨＰＦ２０１のカットオフ周波数を高くする制御が行われ、パンニングの動きである低周波の動き成分がＨＰＦ２０１の出力信号に含まれなくなる。これにより、パンニングの動きが撮像装置のぶれの動きとして補正対象とならないように処理される。パンニングの動きが終了に近づくにつれてＨＰＦ２０１のカットオフ周波数を下げる制御が行われ、それに合わせてパンニングの動き成分がＨＰＦ２０１の出力信号に含まれるようになる。そのため、像ブレ補正部材の動きは低周波の動き成分をも補正するために補正端の方へ移動していくような挙動となる。補正端とは補正範囲の限界位置に相当し、補正端を超えて像ブレ補正部材を駆動することはできないものとする。

期間６０５においてパンニングの動きが終了し、手ぶれの動きだけが存在する状態になると、補正端の方へ近寄っていた像ブレ補正部材を補正範囲の中央付近に戻す挙動となる。この動きが画面上では揺れ戻りの動きとなって現れる。揺れ戻りの動きを除去するために、本実施形態では揺れ戻り期間６０４にて、ＨＰＦ２０１の出力信号から揺れ戻りの動き成分であるＬＰＦ２０２の信号を減算する処理が行われる。減算処理後の信号（グラフ線６０３参照）を用いて像ブレ補正部材の制御が行われる。従って、最終的な像ブレ補正用の制御信号としては、期間６０４中にグラフ線６０３で示す信号が使用され、それ以外の期間ではグラフ線６０１で示す信号が使用される。

このように、期間に応じた揺れ戻り成分の減算処理を行うために、ゲイン制御部２０４はＬＰＦ２０２の出力信号に対するゲイン調整を行う。図７を参照してゲイン調整例を説明する。図７の横軸は時間軸であり、縦軸はゲイン値を表す。グラフ線７０１は時間に応じたゲイン値の変化の一例を示しており、期間７０２は揺れ戻り検出部２０３で検出された揺れ戻り期間である。

ゲイン制御部２０４は、グラフ線７０１に示すように、揺れ戻り期間７０２中にゲイン値を１に設定する。この場合、ゲイン制御部２０４の出力は揺れ戻り成分そのものとなり、期間７０２中にはＨＰＦ２０１の出力信号から揺れ戻り成分が減算されることになる。またゲイン制御部２０４は、揺れ戻り期間７０２以外の期間においてゲイン値をゼロに設定する。この場合、ゲイン制御部２０４の出力はゼロとなり、ＨＰＦ２０１の出力信号がそのまま補正制御部１０６に送られることになる。

図７を用いて、揺れ戻り期間中にのみゲイン値を１に設定する調整方法について説明したが、この方法に限るものではない。その他には、揺れ戻りの速さや大きさを考慮してゲイン値を０から１の間で動的に変化させる方法や、その他の撮影パラメータ等を加味してゲイン値の設定を行う方法がある。また、本実施形態では像ブレ補正用の信号から揺れ戻り成分を減算することで揺れ戻りの動きを除去する方法について説明した。その他には、例えば異なるカットオフ周波数が設定された複数の積分器を設け、パンニングや揺れ戻りの開始および終了の判定結果に応じて積分器の出力信号を切り替える方法等がある。

補正制御部１０６は、減算処理部２０５の出力信号を用いて、第一および第二の方向の動きに対して像ブレ補正部材の駆動制御を行う。減算処理部２０５の出力信号は撮像装置に生じている手ぶれの動きを抽出した信号となっているので、その動きを打ち消す方向に像ブレ補正部材が駆動される。

本実施形態では、手ぶれ補正処理を実行しつつ、パンニング（またはチルティング）の際に生じる揺れ戻りの動きを補正するとともに、チルティング方向（またはパンニング方向）の揺れ戻りに対する補正処理を実施する。撮像装置の動きに応じてパンニング等の動きに対して連携して揺れ戻りの補正を行うことで、チルティングやパンニングとは判定されない、わずかな動きに対して発生する揺れ戻りを抑制し、より良好な像ブレ補正が可能となる。本実施形態によれば、撮影中にカメラワークが生じた際の不自然な動きを抑制して、より品質の高い映像を取得することができる。

１０１動き検出部
１０２動き判定部
１０３補正方法決定部
１０４，１０５補正量算出部
１０６補正制御部

Claims

像ブレ補正装置を備える装置の動きを検出する検出手段と、
前記検出手段により検出された前記装置の動きと、当該動きが検出された場合の信号処理に基づく揺れ戻りに対する補正方法を決定する決定手段と、
前記決定手段により決定された補正方法にしたがって、前記検出手段が検出する第一の方向の動きに対する像ブレの補正量を算出する第一の算出手段と、
前記決定手段により決定された補正方法にしたがって、前記検出手段が検出する第二の方向の動きに対する像ブレの補正量を算出する第二の算出手段と、
前記第一または第二の算出手段により算出される補正量を用いて像ブレ補正を行う制御手段と、を有し、
前記決定手段は、前記検出手段により前記第一または第二の方向の動きが検出された場合、前記第一または第二の方向の動きに基づいて前記第一および第二の方向の動きに対する揺れ戻りの補正を行う補正方法を決定し、前記検出手段により前記第一の方向の動きが検出され、かつ前記第二の方向の動きの大きさが揺れ戻りの大きさよりも大きい場合、前記第二の方向の動きに対する補正の割合を、前記第二の方向における揺れ戻りの補正の割合よりも大きくする補正方法とする
ことを特徴とする像ブレ補正装置。
像ブレ補正装置を備える装置の動きを検出する検出手段と、
前記検出手段により検出された前記装置の動きと、当該動きが検出された場合の信号処理に基づく揺れ戻りに対する補正方法を決定する決定手段と、
前記決定手段により決定された補正方法にしたがって、前記検出手段が検出する第一の方向の動きに対する像ブレの補正量を算出する第一の算出手段と、
前記決定手段により決定された補正方法にしたがって、前記検出手段が検出する第二の方向の動きに対する像ブレの補正量を算出する第二の算出手段と、
前記第一または第二の算出手段により算出される補正量を用いて像ブレ補正を行う制御手段と、を有し、
前記決定手段は、前記検出手段により前記第一または第二の方向の動きが検出された場合、前記第一または第二の方向の動きに基づいて前記第一および第二の方向の動きに対する揺れ戻りの補正を行う補正方法を決定し、前記第一または第二の方向の動きの速度が予め定められた閾値よりも大きい場合、前記第一および第二の方向における前記装置の動きに対する補正の割合よりも前記揺れ戻りの補正の割合を大きくする補正方法とする
ことを特徴とする像ブレ補正装置。
前記第一の方向と前記第二の方向は互いに直交する方向である
ことを特徴とする請求項１または２に記載の像ブレ補正装置。
前記検出手段から取得した検出信号を用いて前記第一または第二の方向の動きを判定する動き判定手段を備え、
前記決定手段は、前記動き判定手段により判定された前記第一および第二の方向の動きから前記補正方法を決定する
ことを特徴とする請求項１から３のいずれか１項に記載の像ブレ補正装置。
前記第一または第二の算出手段は、
前記装置の動きを検出する第一の検出手段の検出信号の低周波成分を低減する第一のフィルタ手段と、
前記第一のフィルタ手段の出力信号の高周波成分を低減する第二のフィルタ手段と、
前記装置の動きおよび前記補正方法の情報と、前記第二のフィルタ手段の出力信号を用いて、揺れ戻りが発生する期間を検出する第二の検出手段と、
前記第二の検出手段により検出される前記期間の情報を用いて、前記第二のフィルタ手段の出力信号にゲインを乗算して出力するゲイン制御手段と、
前記第一のフィルタ手段の出力信号から前記ゲイン制御手段の出力信号を減算する減算処理手段と、を有する
ことを特徴とする請求項１から４のいずれか１項に記載の像ブレ補正装置。
前記ゲイン制御手段は、前記第二のフィルタ手段の出力に対し、前記期間に第一のゲインを乗算し、前記期間でないときに前記第一のゲインよりも小さい第二のゲインを乗算する
ことを特徴とする請求項５に記載の像ブレ補正装置。
請求項１から６のいずれか１項に記載の像ブレ補正装置を備える
ことを特徴とする撮像装置。
像ブレ補正装置にて実行される制御方法であって、
前記像ブレ補正装置を備える装置の動きを検出手段が検出する工程と、
検出された前記装置の動きと、当該動きが検出された場合の信号処理に基づく揺れ戻りに対する補正方法を決定する決定工程と、
決定された前記補正方法にしたがって、前記検出手段が検出する第一の方向の動きに対する像ブレの補正量を算出する第一の算出工程と、
決定された前記補正方法にしたがって、前記検出手段が検出する第二の方向の動きに対する像ブレの補正量を算出する第二の算出工程と、
前記第一または第二の算出工程で算出される補正量を用いて像ブレ補正を行う工程と、
を有し、
前記決定工程では、前記検出手段により前記第一または第二の方向の動きが検出された場合、前記第一または第二の方向の動きに基づいて前記第一および第二の方向の動きに対する揺れ戻りの補正を行う補正方法が決定され、前記検出手段により前記第一の方向の動きが検出され、かつ前記第二の方向の動きの大きさが揺れ戻りの大きさよりも大きい場合、前記第二の方向の動きに対する補正の割合を、前記第二の方向における揺れ戻りの補正の割合よりも大きくする補正方法とする
ことを特徴とする像ブレ補正装置の制御方法。
像ブレ補正装置にて実行される制御方法であって、
前記像ブレ補正装置を備える装置の動きを検出手段が検出する工程と、
検出された前記装置の動きと、当該動きが検出された場合の信号処理に基づく揺れ戻りに対する補正方法を決定する決定工程と、
決定された前記補正方法にしたがって、前記検出手段が検出する第一の方向の動きに対する像ブレの補正量を算出する第一の算出工程と、
決定された前記補正方法にしたがって、前記検出手段が検出する第二の方向の動きに対する像ブレの補正量を算出する第二の算出工程と、
前記第一または第二の算出工程で算出される補正量を用いて像ブレ補正を行う工程と、
を有し、
前記決定工程では、前記検出手段により前記第一または第二の方向の動きが検出された場合、前記第一または第二の方向の動きに基づいて前記第一および第二の方向の動きに対する揺れ戻りの補正を行う補正方法が決定され、前記第一または第二の方向の動きの速度が予め定められた閾値よりも大きい場合、前記第一および第二の方向における前記装置の動きに対する補正の割合よりも前記揺れ戻りの補正の割合を大きくする補正方法とする
ことを特徴とする像ブレ補正装置の制御方法。