JP7150555B2 - 像ブレ補正装置およびその制御方法、撮像装置 - Google Patents

Description

本発明は、手ブレ等による画像の像ブレを補正する技術に関する。

撮像装置の動きには、手ブレのような撮影者が意図していない動きと、撮影者による意図的なパンニングやチルティング（以下、パンニング等という）の動きがある。撮像装置の動きを検出して像ブレ補正を行うためには、撮影者の意図しない動きと意図的な動きとを区別する必要がある。パンニング等の意図的な動きは、主に低周波の大きな動きとして捉えることができ、その動きが像ブレ補正量の算出にて含まれないように制御が行われる。

特許文献１には、パンニング等の開始および終了に応じて、手ブレ量を検出するためのハイパスフィルタ（ＨＰＦ）のカットオフ周波数を動的に変更する方法が開示されている。パンニング等の開始後にＨＰＦのカットオフ周波数を上げて、パンニング等の動きが手ブレの動きとして検出されないように制御が行われ、パンニング等が終了に近づいた場合、カットオフ周波数を下げて手ブレ補正性能を高める制御が行われる。

ところで、手ブレ補正とパンニング制御とを両立させる場合に上述の制御を行うと、パンニング等の終了時に画角がパンニング等の方向と逆方向に戻ってしまう現象（揺れ戻り）が発生する可能性がある。揺れ戻りの原因は、パンニング等の終了時にカットオフ周波数を下げることで低周波の動き成分が制限されなくなり、パンニング等の方向とは逆方向の動き成分がＨＰＦ出力に現れることによる。パンニング等が完了して撮像装置の動きに低周波の動き成分が無くなると、像ブレ補正部材が初期位置に戻っていくため、その動きが画像上では揺れ戻りとして現れることになる。

信号処理に基づく揺れ戻りを解消するために、揺れ戻りの開始および終了を判定し、揺れ戻り期間中に揺れ戻り成分を像ブレ補正制御系の補正量から差し引くことで揺れ戻り成分を除去する方法がある。特許文献２に記載の撮像装置では、低周波成分を取り除くことで揺れ戻りを抑えることができる。

特開２０１２－０４８１３８号公報 特開２００７－１８９４７８号公報

従来の装置では、像ブレ補正制御部に含まれるＨＰＦの影響で、パンニング等の後に揺れ戻りが発生する可能性がある。振れ検出信号の低周波成分を取り除くことで揺れ戻りを抑える方法では、低周波成分に含まれる手ブレ等の成分も取り除かれてしまうため、像ブレ補正性能の低下が懸念される。
本発明の目的は、信号処理に基づいて発生する揺れ戻りの補正と像ブレ補正とを両立させることである。

本発明の実施形態の装置は、画像の像ブレを補正する像ブレ補正装置であって、前記像ブレ補正装置を備える装置の動きを検出する第１の検出手段の出力の低周波成分を低減させる第１のフィルタ手段と、前記第１のフィルタ手段の出力の高周波成分を低減させる第２のフィルタ手段と、前記第２のフィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する第２の検出手段と、前記第２の検出手段の出力に基づくゲインを決定し、前記第２のフィルタ手段の出力に前記ゲインを乗算して出力するゲイン制御手段と、前記第１のフィルタ手段の出力から前記ゲイン制御手段の出力を減算する減算処理手段と、前記減算処理手段の出力にしたがって像ブレを補正する制御を行う制御手段と、を備える。

本発明によれば、信号処理に基づいて発生する揺れ戻りの補正と像ブレ補正とを両立させることができる。

本発明の第１実施形態に係る装置構成を示すブロック図である。 第１実施形態の像ブレ補正処理を説明するフローチャートである。 動き成分の時間変化を表す図である。 パンニング等の速度、加速度とゲインとの関係を示す図である。 本発明の第２実施形態に係る装置構成を示すブロック図である。 第２実施形態の像ブレ補正処理を説明するフローチャートである。 撮影状況とゲインとの関係を例示する図である。

以下、本発明の各実施形態について図面を参照しながら詳細に説明する。撮影者の意図する動きについて、パンニング時の動きを代表例として示すが、以下の制御や処理はチルティングに対しても同様に適用可能である。

［第１実施形態］
図１は、本実施形態の像ブレ補正装置１００の構成を示すブロック図であり、撮像装置において本発明に関連する構成要素を示す。動き検出部１０１は、像ブレ補正装置１００を備える撮像装置に生じている動きを検出する。この動きは、例えばパンニング等の動きや手ブレ等である。揺れ戻りの動きは信号処理の結果として現れるものであり、実際の撮像装置に発生している物理的な動きではない。動き検出部１０１は撮像装置の動き情報の検出信号（以下、動き信号という）を動き判定部１０２およびハイパスフィルタ（ＨＰＦ）１０３に出力する。

動き判定部１０２は、動き検出部１０１からの動き信号に基づいてパンニング等の判定を行うとともに、パンニング等の速度や加速度を算出する。動き判定部１０２は判定信号等をＨＰＦ１０３、揺れ戻り期間の検出部１０５、ゲイン制御部１０６に出力する。

ＨＰＦ１０３は、動き検出部１０１により検出された動き信号から低周波成分を除去または低減する。このとき、動き判定部１０２の判定結果に基づいてＨＰＦ１０３のカットオフ周波数を変更する制御が行われる。ＨＰＦ１０３はフィルタリング処理を施した信号をローパスフィルタ（ＬＰＦ）１０４および減算処理部１０７に出力する。

ＬＰＦ１０４はＨＰＦ１０３の出力信号に対して高周波成分を除去または低減する。ＬＰＦ１０４はフィルタリング処理を施した信号を揺れ戻り期間の検出部１０５とゲイン制御部１０６に出力する。

揺れ戻り期間の検出部（以下、期間検出部という）１０５は、ＬＰＦ１０４の出力信号において揺れ戻り成分が現れている期間を検出する。揺れ戻り期間の検出には動き判定部１０２の判定結果を示す情報が用いられる。揺れ戻り成分とは検出された期間中の低周波成分のことである。揺れ戻り期間とは揺れ戻り成分が現れている期間のことである。期間検出部１０５は揺れ戻り期間の検出信号をゲイン制御部１０６に出力する。

ゲイン制御部１０６は、期間検出部１０５の検出結果と動き判定部１０２の判定結果に基づき、ＬＰＦ１０４の出力信号にゲインを乗算して減算処理部１０７に出力する。減算処理部１０７は、ＨＰＦ１０３の出力信号からゲイン制御部１０６の出力信号を減算する。減算処理部１０７の出力信号は補正制御部に伝送される。補正制御部は、手ブレ等の動きを打ち消すように像ブレ補正部材を制御する。像ブレ補正部材の例としては、撮像光学系を構成するシフトレンズ等の補正レンズや、移動可能な撮像素子の駆動機構部を備える装置における撮像素子の移動部材である。あるいは、撮像装置からの指令により駆動制御可能なジンバル機構や自動制御可能な電動雲台等が挙げられる。なお、本実施形態ではＨＰＦ１０３およびＬＰＦ１０４によるフィルタリング処理で所定の周波数成分を低減させる構成例を示すが、バンドパスフィルタ（ＢＰＦ）を用いてフィルタリング処理を実行する構成でもよい。

図２および図３を参照して、像ブレ補正装置１００が行う処理について説明する。図２は処理の流れを示すフローチャートである。図３は各部の出力信号の時間変化と、パンニング期間、揺れ戻り期間を示す図である。図３において、横軸は時間軸であり、縦軸は角速度を表す。図３（Ａ）から（Ｃ）は、角速度信号の正方向にパンニング（またはチルティング）が行われた際の動き検出部１０１、ＨＰＦ１０３、ＬＰＦ１０４の各出力信号の時間変化の一例をそれぞれ示す。図３（Ａ）に示すグラフ線３０１は角速度情報の時間変化を示し、期間３０２では手ブレの動きだけが発生している。その後の期間３０３ではパンニングの動きが発生し、その後の期間３０４では再び手ブレの動きだけが発生している。

図２のＳ２０１で動き検出部１０１は、撮像装置の動きを検出して動き信号を出力する。動き検出部１０１は、例えば角速度センサを備え、その場合の動き信号は角速度信号である。Ｓ２０２で動き判定部１０２は、動き検出部１０１から取得した動き信号に基づいてパンニングの判定を行い、パンニングが行われていると判定されたときの角速度を出力する。図３（Ａ）を参照して、パンニング時の角速度信号の判定処理を説明する。

図３（Ａ）にて、予め定められた第１の閾値を破線の横線３０５で示しており、時刻３０６は角速度が第１の閾値を上回った時刻である。つまり、動き判定部１０２は時刻３０６をパンニングの開始時刻と判定する。時刻３０６よりも後の時刻３０７は、角速度が予め定められた第２の閾値を下回った時刻である。動き判定部１０２は時刻３０７をパンニングの終了時刻と判定し、時刻３０６から時刻３０７までの期間をパンニング期間３０８と判定する。第２の閾値については、第１の閾値と同じ値に設定してもよいし、第１の閾値とは異なる値（例えばゼロ等の値）を個別に設定してもよい。パンニング等の判定方法については、例えば角速度信号の微分信号である角加速度信号や、映像から取得された動きベクトルを用いて判定する方法等があり、任意の方法を採用可能である。

Ｓ２０３ではＨＰＦ演算が行われる。ＨＰＦ１０３は動き検出部１０１が出力する動き信号の低周波成分を除去または低減する。ジャイロセンサ等の出力信号に含まれているオフセット成分が除去される。ＨＰＦ１０３のカットオフ周波数は動き判定部１０２の判定結果に基づいて変更される。カットオフ周波数の制御例を示すと、判定されたパンニング期間中には、低周波の大きな動きを制限するためにカットオフ周波数を高く設定する処理が行われる。つまり、低周波の大きな動きが出力されないように制限される。このとき、ＨＰＦ１０３のカットオフ周波数が上がった分だけ手ブレの動きも制限を受けなくなるので、特に低周波の手ブレの補正効果が弱まってしまう。例えば、パンニングの開始判定に基づいてカットオフ周波数を１０Ｈｚまで高くした場合を想定する。一般的な手ブレの動きは、およそ１～１０Ｈｚの帯域内とされる。ＨＰＦ１０３のカットオフ周波数を高くすることで、この帯域での動きが取り除かれるので、像ブレ補正の制御対象とはならなくなる。つまり、防振（像ブレ補正）効果が低下する可能性がある。

そこで、この問題に対処するために、パンニング中には動き信号の大きさに合わせて動的にＨＰＦ１０３のカットオフ周波数を変更する制御が行われる。つまり、パンニングが終了に近づくにつれてＨＰＦ１０３のカットオフ周波数を徐々に下げることで、できる限り像ブレ補正効果が低下しないように制御が行われる。カットオフ周波数を変更したときのＨＰＦ１０３の出力信号の一例を、図３（Ｂ）にて実線のグラフ線で示す。

ＨＰＦ１０３のカットオフ周波数を変更することで揺れ戻りが発生し得る。パンニングの終了に近づいてＨＰＦ１０３のカットオフ周波数を下げていった場合、パンニング期間に含まれる期間３０９にて動き信号の低周波成分の変化がＨＰＦ１０３の出力信号に現れることがある。この低周波成分の変化がＨＰＦ１０３の出力信号に現れた場合、期間３０９においてアンダーシュートの動きが発生する。その後にパンニングの動きが終了すると動き信号から低周波の動き成分が無くなり、期間３０９より後の期間３１０においてＨＰＦ１０３の出力信号はゼロ付近に近づいていく。期間３１０での動きが画面上ではパンニングの終了後に、パンニングの進行方向とは逆方向に揺れ戻っているような動きとして現れる。

図２にてＳ２０３の次のＳ２０４ではＬＰＦ演算が行われる。ＬＰＦ１０４はＨＰＦ１０３の出力信号から高周波成分を除去または低減し、揺れ戻り成分を抽出する。揺れ戻り成分とは図３（Ｂ）の期間３０９および期間３１０における低周波成分のことである。Ｓ２０５で期間検出部１０５は、動き判定部１０２による判定結果を用いて、ＬＰＦ１０４の出力信号に揺れ戻り成分が現れている期間（揺れ戻り期間）を検出する。図３（Ｃ）を用いて具体的に説明する。

図３（Ｃ）はＬＰＦ１０４の出力信号の時間変化（実線のグラフ）と、揺れ戻り期間３１４の一例を示す。時刻３１２は揺れ戻り期間３１４の開始時刻であり、時刻３１３は揺れ戻り期間３１４の終了時刻である。破線の横線３１１は、予め定められたゼロ近傍の閾値を示す。

動き判定部１０２が判定したパンニング期間中に、ＬＰＦ１０４の出力信号の符号が切り替わった時刻３１２が揺れ戻り期間の開始時刻として検知される。その後の時刻３０７で動き判定部１０２はパンニングが終了したと判定する。期間検出部１０５はＬＰＦ１０４の出力信号の大きさ（絶対値）が閾値（３１１参照）を下回った時刻３１３を揺れ戻り期間の終了時刻として検知する。揺れ戻り期間３１４は図３（Ｂ）に示す期間３０９と期間３１０とを合わせた期間である。なお、揺れ戻り期間の開始判定においてＬＰＦ１０４の出力信号の符号の切り替わりが、手ブレ等の影響で複数回に亘って起こる場合の対策の一例としてヒステリシス処理がある。

図２のＳ２０６でゲイン制御部１０６は、期間検出部１０５の検出結果と動き判定部１０２の判定結果に基づいて、手ブレによる動きと揺れ戻りによる動きのどちらが目立つかに応じて像ブレ補正と揺れ戻り補正のどちらを優先すべきかを判定する。ゲイン制御部１０６は判定結果に応じてＬＰＦ１０４の出力信号にゲインを乗算する。ゲイン値を大きくすることは揺れ戻りの補正成分を大きくすることであり、像ブレ補正よりも揺れ戻り補正を優先することを意味する。ゲインの制御方法については図４を用いて後述する。

Ｓ２０７で減算処理部１０７は、ＨＰＦ１０３の出力信号からゲイン制御部１０６の出力信号を減算する。ＨＰＦ１０３の出力信号から揺れ戻り成分を差し引くことで、揺れ戻り補正が行われる。

図４（Ａ）は、揺れ戻り期間における、パンニング速度（またはチルティング速度）とゲイン（Ｇと記す）との対応付けの一例を示す。横軸はパンニング等の速度を表し、速度に対する第１の閾値４０１と第２の閾値４０２を示す。第２の閾値４０２は第１の閾値４０１よりも大きい。縦軸はゲイン値を表す。

揺れ戻り期間（図３（Ｃ）：３１４）以外では揺れ戻りが起こらないので、Ｇ＝０と設定されて揺れ戻り補正は行われず、像ブレ補正のみが行われる。一方、揺れ戻り期間には０≦Ｇ≦１の範囲でゲイン乗算が行われる。動き信号が大きく、パンニング速度が大きくなるにつれて、ＨＰＦ１０３の出力信号のアンダーシュートの動きは大きくなり、手ブレよりも揺れ戻りが大きく目立つようになる。よって、動き判定部１０２はパンニング速度を判定し、ゲイン制御部１０６はパンニング速度が大きくなるにつれて揺れ戻り補正の効果がより発揮されるようにゲイン値を大きくする制御を行う。図４（Ａ）の例では２つの閾値４０１，４０２を設けており、パンニング速度が閾値４０１以下である場合、Ｇ＝０に設定される。またパンニング速度が閾値４０２以上である場合、Ｇ＝１に設定される。閾値４０１，４０２については、手ブレによる動きと揺れ戻りによる動きのどちらの方が目立つかによって決定すればよい。閾値４０１から閾値４０２までの区間では、パンニング速度とゲイン値とが線形関係で変化する設定例を示すが、これに限らず、パンニング速度とゲイン値とを非線形関係で対応付けてもよい。

また、動き判定部１０２の出力するパンニング速度を微分したパンニング加速度を用いてゲインを制御してもよい。一般に、パンニング速度が大きくなるにつれてパンニング加速度は急峻に変化しやすくなる。よって、パンニング加速度を用いることで迅速に判定を行うことができる。図４（Ｂ）を参照してゲイン制御方法を説明する。

図４（Ｂ）は、揺れ戻り期間における、パンニング加速度（またはチルティング加速度）とゲインＧの対応付けの一例を示す。横軸はパンニング等の加速度を表し、加速度に対する第１の閾値４０３と第２の閾値４０４を示す。第２の閾値４０４は第１の閾値４０３よりも大きい。縦軸はゲイン値を表す。

パンニング速度の場合と同様に、揺れ戻り期間以外はＧ＝０に設定されて揺れ戻り補正は行われず、像ブレ補正のみが行われる。揺れ戻り期間には０≦Ｇ≦１の範囲でゲイン乗算が行われる。パンニング加速度の判定結果に基づき、加速度が大きくなるにつれて揺れ戻り補正の効果がより発揮されるようにゲイン値を大きくする制御が行われる。図４（Ｂ）の例ではパンニング加速度が閾値４０３以下である場合にＧ＝０、閾値４０４以上である場合にＧ＝１と設定される。閾値４０３，４０４は、手ブレによる動きと揺れ戻りによる動きのどちらの方が目立つかにより決定される。閾値４０３から閾値４０４までの区間では、パンニング加速度とゲイン値とが線形関係で変化する設定例を示すが、両者を非線形関係に対応付けてもよい。
本実施形態によれば、パンニング等の動作が行われた場合に揺れ戻り補正と像ブレ補正を両立させることができる。

［第２実施形態］
次に本発明の第２実施形態を説明する。以下では、本実施形態にて第１実施形態と異なる部分を説明する。図５は、本実施形態の像ブレ補正装置５００の構成を示すブロック図である。本実施形態にて第１実施形態で説明した構成要素と同様の機能を有する構成要素については図１に示す各部の符号に４００を加算した符号を用いることによって、それらの詳細な説明を省略する。

カメラ情報取得部５０８は、撮影状況を検出するために必要なカメラ情報を取得する。カメラ情報とは、例えばカメラ本体部が三脚に固定されているかどうかの判定結果を示す三脚判定情報や、手ブレの大きさ、焦点距離、カメラから主被写体までの距離情報等である。画像情報取得部５０９は、撮像された画像内の主被写体の動き量を検出するために必要な情報を取得する。

本実施形態のゲイン制御部５０６は、期間検出部５０５の検出情報と、カメラ情報取得部５０８および画像情報取得部５０９からの各情報を用いてゲイン制御を行う。ゲイン制御部５０６は、これらの情報に基づいてＬＰＦ５０４の出力信号に対してゲインを乗算して減算処理部５０７に出力する。

図６に示すフローチャートを参照して、像ブレ補正装置５００が行う処理について説明する。なお、図６のＳ６０１からＳ６０５、Ｓ６０９の各ステップに示す処理は、図２のＳ２０１から２０５、Ｓ２０７の各ステップに示す処理と同様であるため、説明を省略してＳ６０６からＳ６０８の処理を説明する。

Ｓ６０５の次のＳ６０６でカメラ情報取得部５０８は、撮影状況を推定するために必要なカメラ情報を取得する。Ｓ６０７で画像情報取得部５０９は、画像内の主被写体の動き量を推定するために必要な情報を取得し、主被写体の動き量を推定する。動き量の推定方法については任意の方法を用いればよい。例えば、顔検出等によって主被写体検出を行い、主被写体のフレーム間での移動量から動きベクトルを算出することで動き量を推定する方法がある。

Ｓ６０８でゲイン制御部５０６は、期間検出部５０５の検出情報と、カメラ情報取得部５０８および画像情報取得部５０９の各情報に基づいてゲイン制御を行う。ゲイン制御部５０６は、揺れ戻りによる動きとその他の原因による動きのどちらが目立つかに応じて像ブレ補正と揺れ戻り補正のどちらを優先すべきかを判定し、ＬＰＦ５０４の出力信号に対してゲインを乗算する。ゲイン値を大きくすることは揺れ戻り補正成分を大きくすることであり、像ブレ補正よりも揺れ戻り補正を優先することを意味する。以下ではカメラ情報および画像情報とゲインＧとの関係を説明する。

ゲイン制御部５０６は期間検出部５０５の出力に従い、揺れ戻り期間以外では、カメラ情報や画像情報に関わらずＧ＝０に設定する。一方、揺れ戻り期間では、カメラ情報や画像情報に応じたゲイン制御が行われる。まず、三脚判定情報とゲインＧとの関係について説明する。三脚の使用が判定された場合、手ブレが小さく揺れ戻りによる動きが目立つので、像ブレ補正よりも揺れ戻り補正を優先させるためにゲイン値を大きくする設定が行われる。例えば、三脚の使用が判定された場合にＧ＝１、三脚の不使用が判定された場合にＧ＝０．５と設定される。

次に手ブレの大きさとゲインＧとの関係について説明する。手ブレ量が小さくなるにつれて相対的に揺れ戻りによる動きの方が目立つので、像ブレ補正よりも揺れ戻り補正を優先させるためにゲイン値を大きくする設定が行われる。手ブレの大きさとゲインＧの対応付けの一例について、図７（Ａ）を参照して説明する。横軸は手ブレの大きさを表し、縦軸はゲイン値を表す。

図７（Ａ）では第１の閾値７０１と第２の閾値７０２を設定した例を示す。手ブレの大きさが閾値７０１以下である場合にＧ＝１、閾値７０２以上である場合にＧ＝０と設定される。閾値７０１，７０２は、手ブレによる動きと揺れ戻りによる動きのどちらの方が目立つかで決定される。図７（Ａ）の例では閾値７０１から閾値７０２までの区間において手ブレ量が大きくなるにつれてゲイン値が線形関係で減少する。この例に限らず、手ブレの大きさとゲインとを非線形関係で対応付けてもよい。

図７（Ｂ）を参照して、撮像光学系の焦点距離とゲインＧとの関係について説明する。焦点距離が長くなるにつれて像ブレ補正部材の動き量に対して画面上の動き量は大きくなる。よって、同じパンニングが行われる場合であっても、焦点距離が長くなるにつれて揺れ戻りによる動きが目立つようになる。そこでゲイン制御部５０６は、焦点距離が長くなるにつれて揺れ戻り補正の効果がより発揮されるようにゲイン値を大きく設定する。図７（Ｂ）は焦点距離とゲインＧとの対応付けの一例を示す。横軸は焦点距離を表し、縦軸はゲイン値を表す。

図７（Ｂ）は第１の閾値７０３と第２の閾値７０４を設定した例を示す。焦点距離が閾値７０３以下である場合にＧ＝０、閾値７０４以上である場合にＧ＝１と設定される。閾値７０３，７０４は、手ブレによる動きと揺れ戻りによる動きのどちらの方が目立つかで決定される。図７（Ａ）の例では閾値７０３から閾値７０４まで区間において焦点距離の増加につれてゲイン値が線形関係で増加する。この例に限らず、焦点距離とゲインとを非線形関係で対応付けてもよい。

図７（Ｃ）を参照して、主被写体距離とゲインＧとの関係について説明する。主被写体距離は画像内でユーザが着目する主要な被写体と撮像装置との距離である。主被写体距離が短くなるにつれて主被写体の画像が画面に占める割合は大きくなるので、揺れ戻りによる主被写体の動きが目立つようになる。そこでゲイン制御部５０６は、主被写体距離が短くなるにつれて揺れ戻り補正の効果がより発揮されるようにゲイン値を大きく設定する。図７（Ｃ）は、主被写体距離とゲインＧとの対応付けの一例を示す。横軸は主被写体距離を表し、縦軸はゲイン値を表す。

図７（Ｃ）は第１の閾値７０５と第２の閾値７０６を設定した例を示す。主被写体距離が閾値７０５以下である場合にＧ＝１、閾値７０６以上である場合にＧ＝０と設定される。閾値７０５，７０６は、手ブレによる主被写体の動きと揺れ戻りによる主被写体の動きのどちらの方が目立つかで決定される。図７（Ｃ）では閾値７０５から閾値７０６までの区間において、主被写体距離の増加につれてゲイン値が線形関係で減少する。この例に限らず、主被写体距離とゲインとを非線関係で対応付けてもよい。

図７（Ｄ）を参照して、主被写体の動き量とゲインＧとの関係について説明する。主被写体の動き量が大きくなるにつれて、揺れ戻りによる動きよりも相対的に主被写体の動きの方が目立ち、揺れ戻りの影響が小さくなる。そこでゲイン制御部５０６は、主被写体の動き量が大きくなるにつれて、ゲイン値を小さくして揺れ戻り補正の効果を弱める。図７（Ｄ）は主被写体の動き量とゲインＧとの対応付けの一例を示す。横軸は主被写体の動き量を表し、縦軸はゲイン値を表す。

図７（Ｄ）は第１の閾値７０７と第２の閾値７０８を設定した例を示す。主被写体の動き量が閾値７０７以下である場合にＧ＝１、閾値７０８以上である場合にＧ＝０と設定される。閾値７０７，７０８は、主被写体自身による動きと揺れ戻りによる主被写体の動きのどちらの方が目立つかで決定される。図７（Ｄ）では閾値７０７から閾値７０８までの区間において、主被写体の動き量が増加するにつれてゲイン値が線形関係で減少する。この例に限らず、主被写体の動き量とゲインとを非線形関係で対応付けてもよい。

次にゲイン値の重み付け加算について説明する。揺れ戻りによる動きとその他の原因による動きのうち、どちらが目立つかを推定するための情報が複数の情報である場合を想定する。ゲイン制御部５０６は、取得した情報ごとに得られるゲイン値に対してそれぞれ重み付け加算を行い、最終的なゲイン値を算出する。例えばパンニングの速さ、三脚判定、手ブレの大きさ、焦点距離、主被写体距離、主被写体の動き量のそれぞれから得られるゲインをＧａ、Ｇｂ、Ｇｃ、Ｇｄ、Ｇｅ、Ｇｆと表記し、重みをＷａ、Ｗｂ、Ｗｃ、Ｗｄ、Ｗｅ、Ｗｆと表記する。これらの重みは重み付け加算演算に用いる係数に相当し、重みの総和Ｗ（＝Ｗａ＋Ｗｂ＋Ｗｃ＋Ｗｄ＋Ｗｅ＋Ｗｆ）は１である。最終的なゲインＧは、下記式（１）により計算される。

重みについては、例えば各ゲインに対応する情報源の確からしさに基づいて設定される。各情報源の確からしさが同一であるか、または不明である場合には、全ての重みを同じにすればよい。

一方で、ゲインの優先順位を判定する方法がある。優先順位に基づく方法では、取得される各情報またはそれらに対応するゲインに優先順位を付け、優先順位の高いゲインが採用される。例えば、手ブレが大きいと、パンニングの速さに関わらず、揺れ戻りによる動きは手ブレに埋もれてしまう。そのためゲイン制御部５０６は、手ブレの大きさに対する優先順位をパンニングの速さよりも高くする。また、パンニングの速さが遅い場合、焦点距離に関わらず揺れ戻りによる動きは小さい。そのためゲイン制御部５０６は、パンニングの速さに対する優先順位を焦点距離よりも高くする。この例では手ブレの大きさ、パンニングの速さ、焦点距離の順で優先順位が設定される。
本実施形態によれば、揺れ戻り期間においてカメラ情報や画像情報に応じたゲイン制御を行い、揺れ戻り補正と像ブレ補正を両立させることができる。

１００，５００ 像ブレ補正装置
１０１，５０１ 動き検出部
１０２，５０２ 動き判定部
１０３，５０３ ＨＰＦ
１０４，５０４ ＬＰＦ
１０５，５０５ 揺れ戻り期間検出部
１０６，５０６ ゲイン制御部
１０７，５０７ 減算処理部

Claims (15)

1. 画像の像ブレを補正する像ブレ補正装置であって、
   前記像ブレ補正装置を備える装置の動きを検出する第１の検出手段の出力の低周波成分を低減させる第１のフィルタ手段と、
   前記第１のフィルタ手段の出力の高周波成分を低減させる第２のフィルタ手段と、
   前記第２のフィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を検出する第２の検出手段と、
   前記第２の検出手段の出力に基づくゲインを決定し、前記第２のフィルタ手段の出力に前記ゲインを乗算して出力するゲイン制御手段と、
   前記第１のフィルタ手段の出力から前記ゲイン制御手段の出力を減算する減算処理手段と、
   前記減算処理手段の出力にしたがって像ブレを補正する制御を行う制御手段と、を備える
   ことを特徴とする像ブレ補正装置。
2. 前記第１の検出手段の出力から前記像ブレ補正装置を備える装置の動きを判定し、判定信号を前記ゲイン制御手段に出力する動き判定手段をさらに備え、
   前記第１の検出手段は、パンニングまたはチルティングの検出信号を前記動き判定手段に出力する
   ことを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記ゲイン制御手段は、パンニングまたはチルティングの速度が第１の値である場合に第１のゲイン値を設定し、パンニングまたはチルティングの速度が第１の値よりも大きい第２の値である場合に当該第１のゲイン値よりも大きい第２のゲイン値を設定する
   ことを特徴とする請求項２に記載の像ブレ補正装置。
4. 前記ゲイン制御手段は、パンニングまたはチルティングの加速度が第１の値である場合に第１のゲイン値を設定し、パンニングまたはチルティングの加速度が第１の値よりも大きい第２の値である場合に当該第１のゲイン値よりも大きい第２のゲイン値を設定する
   ことを特徴とする請求項２に記載の像ブレ補正装置。
5. 請求項１から４のいずれか１項に記載の像ブレ補正装置を備える
   ことを特徴とする撮像装置。
6. 撮影状況の検出に用いる情報を取得する取得手段を備え、
   前記ゲイン制御手段は、前記取得手段の出力および前記第２の検出手段の出力を用いて前記ゲインを決定する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記ゲイン制御手段は、前記取得手段により撮像装置が三脚に取り付けられていることを示す情報が取得された場合に第１のゲイン値を設定し、前記取得手段により撮像装置が三脚に取り付けられていないことを示す情報が取得された場合に当該第１のゲイン値よりも小さい第２のゲイン値を設定する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記ゲイン制御手段は前記取得手段から手ブレ量の情報を取得し、前記手ブレ量が第１の値である場合に第１のゲイン値を設定し、前記手ブレ量が第１の値よりも大きい第２の値である場合に当該第１のゲイン値より小さい第２のゲイン値を設定する
   ことを特徴とする請求項６に記載の撮像装置。
9. 前記ゲイン制御手段は前記取得手段から撮像光学系の焦点距離の情報を取得し、前記焦点距離が第１の値である場合に第１のゲイン値を設定し、前記焦点距離が第１の値よりも大きい第２の値である場合に当該第１のゲイン値よりも大きい第２のゲイン値を設定する
   ことを特徴とする請求項６に記載の撮像装置。
10. 前記ゲイン制御手段は前記取得手段から被写体の距離情報を取得し、前記被写体の距離情報が第１の値である場合に第１のゲイン値を設定し、前記被写体の距離情報が第１の値よりも大きい第２の値である場合に当該第１のゲイン値よりも小さい第２のゲイン値を設定する
    ことを特徴とする請求項６に記載の撮像装置。
11. 撮像された画像内の被写体の動き量の検出に用いる情報を取得する取得手段を備え、
    前記ゲイン制御手段は、前記取得手段の出力および前記第２の検出手段の出力を用いて前記ゲインを決定する
    ことを特徴とする請求項５に記載の撮像装置。
12. 前記ゲイン制御手段は前記取得手段から被写体の動き量の情報を取得し、前記被写体の動き量が第１の値である場合に第１のゲイン値を設定し、前記被写体の動き量が第１の値よりも大きい第２の値である場合に当該第１のゲイン値よりも小さい第２のゲイン値を設定する
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記ゲイン制御手段は、算出した複数のゲインの重み付け加算を行って前記ゲインを決定する
    ことを特徴とする請求項５から１２のいずれか１項に記載の撮像装置。
14. 前記ゲイン制御手段は、算出した複数のゲインに対する優先順位にしたがって前記ゲインを決定する
    ことを特徴とする請求項５から１２のいずれか１項に記載の撮像装置。
15. 画像の像ブレを補正する像ブレ補正装置にて実行される制御方法であって、
    前記像ブレ補正装置を備える装置の動きを第１の検出手段の出力の低周波成分を第１のフィルタ手段が低減させる工程と、
    前記第１のフィルタ手段の出力の高周波成分を第２のフィルタ手段が低減させる工程と、
    前記第２のフィルタ手段の出力を用いて、信号処理に基づく揺れ戻りの動きが発生する期間を第２の検出手段が検出する工程と、
    ゲイン制御手段が前記第２の検出手段の出力に基づくゲインを決定し、前記第２のフィルタ手段の出力に前記ゲインを乗算して出力する工程と、
    減算処理手段が前記第１のフィルタ手段の出力から前記ゲイン制御手段の出力を減算する工程と、
    制御手段が前記減算処理手段の出力にしたがって像ブレを補正する制御を行う工程と、
    を有する
    ことを特徴とする像ブレ補正装置の制御方法。

Images