JP6204807B2

JP6204807B2 - 像振れ補正装置及びその制御方法、プログラム、記憶媒体

Info

Publication number: JP6204807B2
Application number: JP2013246676A
Authority: JP
Inventors: 賢一宮迫
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-11-28
Filing date: 2013-11-28
Publication date: 2017-09-27
Anticipated expiration: 2033-11-28
Also published as: JP2015105975A

Description

本発明は、複数の像振れ補正手段を用いて、撮像画像の振れを補正する技術に関するものである。

近年、撮像装置の小型化や光学系の高倍率化に伴い、撮像装置の振れ等が撮影画像の品位を低下させる大きな原因となっていることに着目し、このような装置の振れ等により生じた撮影画像の振れを補正する像振れ補正機能が種々提案されている。撮像装置に搭載される従来の像振れ補正機能として、複数の像振れ補正手段を併用して制御する方法がある（例えば、特許文献１参照）。

特許文献１においては、角速度センサ信号を低周波数帯域と高周波数帯域に分離し、各々別の像振れ補正手段によって撮像画像の振れを補正する方法が開示されている。

特許第４５１８９７号公報

しかしながら、上記従来例では、角速度センサ信号を低周波数帯域と高周波数帯域に分離する概念は開示されているものの、パンニング時の補正量飽和対策などについては開示されていない。像振れ補正技術においては、撮影者が意図していない振れは補正し、意図して行うパンニング等のカメラワークによって生じる画像の動きは補正しないという切り分けが重要である。

本発明は上述した課題に鑑みてなされたものであり、その目的は、複数の像振れ補正手段を用いて像振れを補正する場合に、パンニング等のカメラワークの操作性と像振れ補正性能の両立を実現することである。

本発明に係わる像振れ補正装置は、撮像装置の振れを検出する振れ検出手段の出力の低周波成分を減衰する低周波成分減衰手段と、前記低周波成分減衰手段の出力を低周波信号と高周波信号に分離する分離手段と、前記高周波信号に基づいて第１の振れ補正量を算出する第１の算出手段と、前記低周波信号に基づいて第２の振れ補正量を算出する第２の算出手段と、前記第１の振れ補正量に基づいて、像振れを補正する第１の像振れ補正手段と、前記第２の振れ補正量に基づいて、像振れを補正する第２の像振れ補正手段と、前記高周波信号又は前記低周波信号に基づいて演算された出力に基づいて、制御を変更する制御手段とを備え、前記制御手段は、前記高周波信号に基づいて演算された出力が所定値以上の場合は、前記分離手段の分離周波数を高くすることを特徴とする。
また、本発明に係わる像振れ補正装置は、撮像装置の振れを検出する振れ検出手段の出力の低周波成分を減衰する低周波成分減衰手段と、前記低周波成分減衰手段の出力を低周波信号と高周波信号に分離する分離手段と、前記高周波信号に基づいて第１の振れ補正量を算出する第１の算出手段と、前記低周波信号に基づいて第２の振れ補正量を算出する第２の算出手段と、前記第１の振れ補正量に基づいて、像振れを補正する第１の像振れ補正手段と、前記第２の振れ補正量に基づいて、像振れを補正する第２の像振れ補正手段と、前記振れ検出手段の出力に基づいて演算された出力に基づいて、制御を変更する制御手段とを備え、前記制御手段は、前記振れ検出手段の出力に基づいて演算された出力が所定値以上の場合は、前記分離手段の分離周波数を高くすることを特徴とする。

本発明によれば、複数の像振れ補正手段を用いて像振れを補正する場合に、パンニング等のカメラワークの操作性と像振れ補正性能の両立を実現することが可能となる。

本発明の第１の実施形態に係わる像振れ補正装置の構成を示すブロック図。第１及び第２像振れ補正部の例を示すブロック図。第１の実施形態における、パンニング制御部行う処理を説明するためのフローチャート。低周波成分減衰部と周波数分離部のフィルタ特性の一例を示す図。第２の実施形態における、パンニング制御部が行う処理を説明するためのフローチャート。第３の実施形態に係わる像振れ補正装置の構成を示すブロック図。第３の実施形態における、パンニング制御部が行う処理を説明するためのフローチャート。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。なお、以下の説明では、画像の横方向または縦方向のいずれか一方の像振れ補正制御に関して説明を行い、他方向の像振れ補正制御は同様の制御であるため、説明を省略する。

（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態に係わる像振れ補正装置の構成を示すブロック図である。図１（ａ）の像振れ補正装置１００の各構成部とその一例の動作について具体的に説明する。この像振れ補正装置１００は、被写体像を撮像するデジタルカメラ、ビデオカメラ等の撮像装置に搭載される。

角速度センサ１０１は、像振れ補正装置１００に加わる振れを角速度信号として検出し、その角速度信号を低周波成分減衰部１０２に供給する。低周波成分減衰部１０２は、任意の周波数帯域でその特性を変更し得る機能を有しており、角速度センサ１０１からの角速度データに含まれる低周波数成分を減衰して高周波数帯域の信号を出力する。図１（ｂ）、（ｃ）に、低周波成分減衰部１０２の構成の例を示す。低周波成分減衰部１０２は、図１（ｂ）に示すようにＨＰＦ２０１（ハイパスフィルタ）のみで構成してもよいし、図１（ｃ）に示すように、入力信号からＬＰＦ２０２（ローパスフィルタ）の出力を減算器２０３で減算するように構成してもよい。低周波成分減衰部１０２の特性の変更は、ＨＰＦ２０１またはＬＰＦ２０２のカットオフ周波数を可変にすることで実現することができる。

周波数分離部１０３は、低周波成分減衰部１０２の出力を更に、高周波角速度信号（高周波信号）と低周波角速度信号（低周波信号）に分離して、各々敏感度演算部１０４，１０８に供給する。図１（ｄ）、（ｅ）に、周波数分離部１０３の構成の例を示す。例えば、図１（ｄ）に示す例においては、入力信号をＨＰＦ２０４に通した後の出力を高周波角速度信号とし、入力信号からＨＰＦ２０４の出力を減算器２０５で減算した出力を低周波角速度信号としている。また、図１（ｅ）に示す例においては、入力信号をＬＰＦ２０６に通した後の出力を低周波角速度信号とし、入力信号からＬＰＦ２０６の出力を減算器２０７で減算した出力を高周波角速度信号としている。また、周波数分離部１０３は、ＨＰＦ２０４あるいはＬＰＦ２０６のカットオフ周波数を変更することにより、分離周波数帯域を変更することができる。

敏感度演算部１０４、積分器１０５、リミッタ１０６の各ブロックは、周波数分離部１０３からの高周波角速度信号に基づいて、第１像振れ補正部１０７の像振れ補正量を演算するブロックである。敏感度演算部１０４は、角速度センサ１０１が検出した振れを補正するために、第１像振れ補正部１０７をどれだけ駆動すればよいかを示す係数即ち敏感度を、高周波角速度信号に乗算した結果を積分器１０５に供給する。積分器１０５は、任意の周波数帯域でその特性を変更し得る機能を有しており、敏感度演算部１０４からの出力を積分し、第１像振れ補正部１０７の補正量を算出する。リミッタ１０６は、第１像振れ補正部１０７が補正可能範囲の内側で駆動されるように、積分器１０５の出力を制限する。

敏感度演算部１０８、積分器１０９、リミッタ１１０の各ブロックは、周波数分離部１０３からの低周波角速度信号に基づいて、第２像振れ補正部１１１の像振れ補正量を演算するブロックである。敏感度演算部１０８は、角速度センサ１０１が検出した振れを補正するために、第２像振れ補正部１１１をどれだけ駆動すればよいかを示す係数即ち敏感度を、低周波角速度信号に乗算した結果を積分器１０９に供給する。積分器１０９は、任意の周波数帯域でその特性を変更し得る機能を有しており、敏感度演算部１０８からの出力を積分し、第２像振れ補正部１１１の補正量を算出する。リミッタ１１０は、第２像振れ補正部１１１が補正可能範囲の内側で駆動されるように、積分器１０９の出力を制限する。

第１像振れ補正部１０７及び第２像振れ補正部１１１は、例えば図２（ａ）乃至図２（ｃ）に示すような構成が例としてあげられる。図２（ａ）は、撮像装置における撮影光学系内の補正光学系３０５を光軸と垂直な方向にシフトあるいは、光軸上の任意の点を中心に回動する等の動作により、振れを補正する像振れ補正部の例を示している。

減算器３０１は、補正光学系３０５の位置を検出する位置検出部３０６の出力を入力信号から減算し、その結果である偏差データを制御フィルタ３０２に供給する。制御フィルタ３０２は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。減算器３０１から供給された偏差データは、制御フィルタ３０２に供給され、上記増幅器及び位相補償フィルタによる信号処理が行われた後、モータ駆動部３０３に出力される。モータ３０４は、補正光学系３０５の駆動用のボイス・コイル型モータであり、モータ駆動部３０３から駆動されることにより、補正光学系３０５が移動される。位置検出部３０６は、磁石とそれに対向する位置に備えられたホール・センサとからなり、補正光学系３０５の移動量を検出し、その検出結果を上述した減算器３０１に供給する。これによって、入力信号に対して、補正光学系３０５の移動量を追従させるフィードバック制御系を構成している。補正光学系３０５は、その移動量に応じて光軸の向きを偏向する、光学的に像振れ補正可能な補正系であり、リミッタ１０６あるいはリミッタ１１０の出力に従って駆動されることにより、振れを補正することができる。

図２（ｂ）は、撮像装置における撮像素子３１０を光軸と垂直な方向にシフトすることにより、振れを補正する像振れ補正部の例を示している。図２（ｂ）は、図２（ａ）と比較して、振れを補正するために駆動する対象が、補正光学系３０５から撮像素子３１０に変更されただけであるため、説明は省略する。

図２（ｃ）は、撮像装置における、振れを電子的に補正する像振れ補正部の例を示している。図２（ｃ）において、画像メモリ３２１、信号処理部３２２、撮像素子３２３、記録媒体・表示デバイス３２４は、像振れ補正装置１００が搭載される撮像装置に備えられたものである。撮像素子３２３は、撮像装置の撮影光学系によって結像された被写体像を撮影画像信号としての電気信号に変換し、信号処理部３２２に供給する。信号処理部３２２は、撮像素子３２３により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して画像メモリ３２１に供給する。メモリ読み出し制御部３２０は、リミッタ１０６あるいはリミッタ１１０の出力に従って、画像メモリ３２１からの画像の読み出し位置を変更することにより、電子的に振れが補正された映像信号が画像メモリ３２１から出力される。

メモリ読み出し制御部３２０は更に、記録媒体・表示デバイス３２４に映像信号を出力して、表示デバイスに画像を表示させたり、記録媒体に記録させたりすることができる。なお記録媒体は、ハードディスク等の磁気記録媒体や半導体メモリ等の情報記録媒体であり、表示デバイスは画像を表示する液晶表示素子（ＬＣＤ）等のデバイスである。

なお、第１像振れ補正部１０７と第２像振れ補正部１１１の割り当てが、図２（ａ）〜（ｃ）のいずれになるかは、任意に変更することができる。例えば、先行技術文献に開示されているように、第１像振れ補正部１０７が図２（ａ）に示す構成で、第２像振れ補正部１１１が図２（ｃ）に示す構成であってもよいし、第２像振れ補正部１１１を図２（ｂ）に替えた構成にしてもよい。また、２種類の補正光学系が存在する場合は、第１像振れ補正部１０７・第２像振れ補正部ともに図２（ａ）に示す構成にしてもよい。

図１（ａ）に戻って、パンニング制御部１１２は、周波数分離部の出力である、高周波角速度信号及び低周波角速度信号、あるいは積分器１０５及び積分器１０９の出力に基づいて、パンニング判定を行い、周波数分離部１０３及び低周波成分減衰部１０２の特性を変更する。

パンニング制御部１１２が実行する処理の方法の一例について、以下に図面を用いて詳細に説明する。図３は、パンニング制御部１１２の処理の流れを示したフローチャートである。図３のフローチャートの処理は、例えば６０分の１秒等の間隔で繰り返し行われる。

Ｓ１００において、パンニング制御部１１２は積分器１０５の出力が所定値以上であるかどうかの判定を行う。Ｓ１００において、積分器１０５の出力が所定値より小さいと判定された場合は、Ｓ１０１へ進む。Ｓ１０１において、パンニング制御部１１２は、周波数分離部１０３からの高周波角速度信号が所定値以上であるかどうかの判定を行う。Ｓ１０１において、前記高周波角速度信号が所定値より小さいと判定された場合は、Ｓ１０２に進む。また、Ｓ１００において積分器１０５の出力が所定値以上であると判定された場合、Ｓ１０１において高周波角速度信号が所定値以上であると判定された場合は、パンニングが行われている、あるいは大きな振れが生じていると判断し、Ｓ１０３の処理へ進む。

Ｓ１０３では、周波数分離部１０３の分離周波数を基準分離周波数（最初に設定される分離周波数）よりも高くし、第１像振れ補正部１０７で補正する振れの周波数帯域を高周波側にシフトする。Ｓ１０２では、振れが小さい状態、あるいはパンニングが終了したと判断し、Ｓ１０３で周波数分離部１０３の分離周波数が高くなっている場合は、分離周波数を上記基準分離周波数に戻す処理を行う。Ｓ１０２あるいはＳ１０３の後はＳ１０４の処理に進む。

Ｓ１０４において、パンニング制御部１１２は積分器１０９の出力が所定値以上であるかどうかの判定を行う。Ｓ１０４において、積分器１０９の出力が所定値より小さいと判定された場合は、Ｓ１０５へ進む。Ｓ１０５において、パンニング制御部１１２は、周波数分離部１０３からの低周波角速度信号が所定値以上であるかどうかの判定を行う。Ｓ１０５において、上記の低周波角速度信号が所定値より小さいと判定された場合は、Ｓ１０６に進む。また、Ｓ１０４において積分器１０５の出力が所定値以上であると判定された場合、Ｓ１０５において低周波角速度信号が所定値以上であると判定された場合は、パンニングが行われている、あるいは大きな振れが生じていると判断し、Ｓ１０７の処理へ進む。

Ｓ１０７では、低周波成分減衰部１０２のカットオフ周波数（減衰開始周波数）を基準カットオフ周波数（最初に設定されるカットオフ周波数）より高くし、周波数分離部１０３に入力する角速度信号の周波数帯域を高周波側にシフトする。Ｓ１０６では、振れが小さい状態、あるいはパンニングが終了したと判断し、Ｓ１０７で低周波成分減衰部１０２のカットオフ周波数が高くなっている場合は、カットオフ周波数を上記基準カットオフ周波数に戻す処理を行う。Ｓ１０６あるいはＳ１０７の後、本処理は終了となる。

次に、図３のフローチャートの処理について、更に詳細に説明する。第１像振れ補正部１０７及び第２像振れ補正部１１１は、リミッタ１０６、リミッタ１１０によって、各々補正可能範囲が規定されている。そのため、第１像振れ補正部１０７・第２像振れ補正部１１１それぞれが、補正可能限界に達しないように制御する必要がある。

図３のフローチャートにおいて、Ｓ１００乃至Ｓ１０３の処理は、第１像振れ補正部１０７が補正可能限界に達しないように制御するための処理である。Ｓ１００において積分器１０５の出力が大きくなったとき、あるいはＳ１０１において高周波角速度信号が大きくなったときは、第１像振れ補正部１０７が補正可能限界に達する危険性が高くなる。人の振れは高周波になるほど振幅が小さくなるため、Ｓ１０３で周波数分離部１０３の分離周波数を高くし、高周波角速度信号の周波数帯域を高周波にシフトすることによって、積分器１０５への入力を制限することができる。これによって、第１像振れ補正部１０７が補正可能限界に達してしまうことを防止することができる。

Ｓ１０３の処理は、具体的には以下のような制御により行う。図４（ｂ）のグラフは、周波数分離部１０３を図１（ｄ）に示す構成としたときの、ＨＰＦ２０４の周波数対ゲインの特性を示したグラフである。図４（ｂ）は、実線がＳ１０２の処理が行われているときの特性であり、点線がＳ１０３の処理が行われているときの特性となっている。Ｓ１０３において、ＨＰＦ２０４のカットオフ周波数をｆ１１（基準分離周波数）からｆ１２（＞ｆ１１）に変更することにより、ＨＰＦ２０４の出力である高周波角速度信号の周波数帯域を高周波側にシフトすることができる。

また、図４（ｄ）のグラフは、周波数分離部１０３を図１（ｅ）に示す構成としたときの、ＬＰＦ２０６の周波数対ゲインの特性を示したグラフである。図４（ｄ）においては、実線がＳ１０２の処理が行われているときの特性であり、点線がＳ１０３の処理が行われているときの特性となっている。Ｓ１０３において、ＬＰＦ２０６のカットオフ周波数をｆ２１（基準分離周波数）からｆ２２（＞ｆ２１）に変更することにより、ＬＰＦ２０６の出力である低周波角速度信号の周波数帯域を高周波側にシフトすることができる。高周波角速度信号は、入力信号と低周波角速度信号との差分であるため、低周波角速度信号の周波数帯域を高周波側にシフトすることは、すなわち高周波角速度信号の周波数帯域を高周波側にシフトすることと同じになる。

図３のフローチャートにおいて、Ｓ１０４乃至Ｓ１０７の処理は、第２像振れ補正部１１１が補正可能限界に達しないように制御するための処理である。Ｓ１０４において積分器１０９の出力が大きくなったとき、あるいはＳ１０５において低周波角速度信号が大きくなったときは、第２像振れ補正部１１１が補正可能限界に達する危険性が高くなる。このとき、周波数分離部１０３の分離周波数を低い側にシフトし、低周波角速度信号を更に減衰させることによって、積分器１０９への入力を制限することもできるが、この方法では以下のような弊害が生じる。すなわち、低周波角速度信号を減衰した分が、高周波角速度信号側に回ることになり、第１像振れ補正部１０７が補正可能限界に達してしまう危険性が高くなる。これを回避するために、本実施形態においては、周波数分離部１０３の前段に低周波成分減衰部１０２を配置した。そして、Ｓ１０７で低周波成分減衰部１０２のカットオフ周波数を高くし、周波数分離部１０３に入力される周波数帯域を高周波側にシフトすることによって低周波角速度信号の低周波成分を減衰し、積分器１０９への入力を制限することができる。これによって、第１像振れ補正部１０７に影響を与えずに、第２像振れ補正部１１１が補正可能限界に達してしまうことを防止することができる。

Ｓ１０７の処理は、具体的には以下のような制御を行う。図４（ａ）のグラフは、低周波成分減衰部１０２を図１（ｂ）に示す構成としたときの、ＨＰＦ２０１の周波数対ゲインの特性を示したグラフである。なお、周波数分離部１０３との対比説明のため、周波数分離部１０３は図１（ｄ）に示す構成であり、上述した図４（ｂ）に示す特性であるものとする。図４（ａ）は、実線がＳ１０６の処理が行われているときの特性であり、点線がＳ１０７の処理が行われているときの特性となっている。Ｓ１０７において、ＨＰＦ２０１のカットオフ周波数をｆ１０（基準カットオフ周波数）からｆ１１（＞ｆ１０）に変更することにより、ＨＰＦ２０１の出力の周波数帯域を高周波側にシフトすることができる。なお、周波数分離部１０３は、低周波成分減衰部１０２を通過した信号を周波数分離する。そのため、図４（ａ）、（ｂ）のように、周波数分離部１０３の分離周波数、すなわちＨＰＦ２０４のカットオフ周波数は、低周波成分減衰部１０２のカットオフ周波数よりも相対的に高い方が好ましい。

また、図４（ｃ）のグラフは、低周波成分減衰部１０２を図１（ｃ）に示す構成としたときの、ＬＰＦ２０２の周波数対ゲインの特性を示したグラフである。なお、周波数分離部１０３との対比説明のため、周波数分離部１０３は図１（ｅ）に示す構成であり、上述した図４（ｄ）に示す特性であるものとする。図４（ｃ）は、実線がＳ１０６の処理が行われているときの特性であり、点線がＳ１０７の処理が行われているときの特性となっている。Ｓ１０７において、ＬＰＦ２０２のカットオフ周波数をｆ２０（基準カットオフ周波数）からｆ２１（＞ｆ２０）に変更することにより、ＬＰＦ２０２の出力の周波数帯域を高周波側にシフトすることができる。低周波成分減衰部１０２の出力は、入力信号とＬＰＦ２０２との差分であるため、ＬＰＦ２０２の出力の周波数帯域を高周波側にシフトすることは、すなわち低周波成分減衰部の出力の周波数帯域を高周波側にシフトすることと同じになる。

なお、図４（ａ）、（ｂ）を用いて説明したのと同様、周波数分離部１０３は、低周波成分減衰部１０２を通過した信号を周波数分離する。そのため、図４（ｃ）、（ｄ）のように、周波数分離部１０３の分離周波数、すなわちＬＰＦ２０６のカットオフ周波数は、低周波成分減衰部１０２のカットオフ周波数よりも相対的に高い方が好ましい。

以上説明してきたように、本発明の第１の実施形態においては、周波数分離部１０３の前段に低周波成分減衰部１０２を配置する。そして、第１像振れ補正部が補正可能限界に達する危険性があるときは周波数分離部１０３の分離周波数を高くし、第２像振れ補正部が補正可能限界に達する危険性があるときは低周波成分減衰部１０２のカットオフ周波数を高くすることとした。これによって、パンニング等の大きな振れが生じた場合でも、２つの像振れ補正部が補正可能限界に達してしまうことを各々適切に防止し、パンニング等の大きな振れが収束した後すぐに、通常の像振れ補正に復帰する、最適な像振れ補正制御を行うことができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る像振れ補正装置の動作の一例について説明する。本実施形態においては、像振れ補正装置の構成は図１のブロック図と共通であるため、説明は省略する。また、第１の実施形態との差異は、図１（ａ）のブロック図の点線矢印に示すように、パンニング制御部１１２の制御対象として積分器１０５及び積分器１０９を追加した点である。

図５は、本発明の第２の実施形態における、パンニング制御部１１２が実行する処理の流れを示したフローチャートである。図５のフローチャートは、図３のフローチャートに対してＳ２００乃至Ｓ２０３の処理を追加したものであり、図３と共通の処理については共通の番号を付し、説明は省略する。

Ｓ１００において、積分器１０５の出力が所定値以上と判定された場合はＳ２０１の処理へ進み、所定値より小さいと判定された場合はＳ２００の処理へ進む。Ｓ２０１では、積分器１０５の時定数を基準時定数（最初に設定される時定数）より短くする処理を行った後、Ｓ１０３の処理へと進む。Ｓ２００では、Ｓ２０１で積分器１０５の時定数を短くする処理を行っていた場合は、基準時定数に戻す処理を行い、その後Ｓ１０１の処理へと進む。

Ｓ１０４において、積分器１０９の出力が所定値以上と判定された場合はＳ２０３の処理へ進み、所定値より小さいと判定された場合はＳ２０２の処理へ進む。Ｓ２０３では、積分器１０９の時定数を基準時定数より短くする処理を行った後、Ｓ１０７の処理へと進む。Ｓ２０２では、Ｓ２０３で積分器１０９の時定数を短くする処理を行っていた場合は、基準時定数に戻す処理を行い、その後Ｓ１０５の処理へと進む。

上述したように、Ｓ１０３及びＳ１０７の処理は、積分器１０５及び積分器１０９への入力を制限するための処理である。しかし、積分器１０５及び積分器１０９の時定数が長い場合、大きくなった出力がゼロ付近に収束するまでに長い時間がかかってしまい、その間像振れ補正部が補正限界に達してしまう可能性が高くなる。そこで、Ｓ２０１の処理においては、積分器１０５の出力が所定値以上のとき、積分器１０５の出力を早くゼロ付近に収束させるように制御している。また、Ｓ２０３の処理も同様に、積分器１０９の出力が所定値以上のとき、積分器１０９の出力を早くゼロ付近に収束させるように制御している。これによって、第１像振れ補正部１０７及び第２像振れ補正部１１１が、補正可能限界に達してしまうことを更に強力に防止することができる。

以上説明してきたように、本発明の第２の実施形態においては、第１の実施形態の処理に加えて更に積分器１０５及び積分器１０９の出力が大きくなったときに、積分器の時定数を短くする処理を追加した。これによって、パンニング等の大きな振れが生じた場合でも、２つの像振れ補正部が補正可能限界に達してしまうことを更に強力に防止し、パンニング等の大きな振れが収束した後すぐに、通常の像振れ補正に復帰する、最適な像振れ補正制御を行うことができる。

（第３の実施形態）
次に、本発明の第３の実施形態に係る像振れ補正装置の動作の一例について説明する。図６は、本発明の第３の実施形態の像振れ補正装置４００の構成を示すブロック図である。図６のブロック図においては、図１（ａ）と共通のブロックについては共通の番号を付し、説明は省略する。

図６において、動きベクトル検出部４０１は、像振れ補正装置４００が搭載された撮像装置に備えられた図示しない撮像素子の出力に基づいて生成された映像の輝度信号から、動きベクトルを検出するブロックである。パンニング制御部１１２は、角速度センサ１０１の出力あるいは動きベクトル検出部４０１の出力に基づいて、パンニング判定を行い、周波数分離部１０３及び低周波成分減衰部１０２の特性を変更する。

図７は、本発明の第３の実施形態における、パンニング制御部１１２が実行する処理の流れを示したフローチャートである。図７のフローチャートにおいて、図３と共通の処理については共通の番号を付し、説明は省略する。

Ｓ３００において、パンニング制御部１１２は角速度センサ１０１の出力が所定値以上であるかどうかの判定を行う。Ｓ３００において、角速度センサ１０１の出力が所定値より小さいと判定された場合は、Ｓ３０１へ進む。Ｓ３０１において、パンニング制御部１１２は、動きベクトル検出部４０１からの動きベクトル出力が所定値以上であるかどうかの判定を行う。Ｓ３０１において、動きベクトル出力が所定値より小さいと判定された場合は、Ｓ１０２及びＳ１０６の処理を行った後、本処理は終了となる。また、Ｓ３００において角速度センサ１０１の出力が所定値以上であると判定された場合、Ｓ３０１において動きベクトル出力が所定値以上であると判定された場合は、パンニングが行われている、あるいは大きな振れが生じていると判断し、Ｓ１０３及びＳ１０７の処理を行った後、本処理は終了となる。

Ｓ３００、Ｓ３０１の判定は、像振れ補正装置４００に非常に大きな振れが生じたことを検出するための処理である。この場合、周波数分離部１０３の出力である高周波角速度信号、低周波角速度信号共に大きな出力となり、第１像振れ補正部１０７、第２像振れ補正部１１１が両方とも補正可能限界に達してしまう危険性がある。そのため図７のフローチャートにおいては、Ｓ３００、Ｓ３０１で、非常に大きな振れが生じたことが検出されたとき、Ｓ１０３、Ｓ１０７の処理を行うことによって、積分器１０５及び積分器１０９への入力を同時に制限している。これによって、像振れ補正装置４００に非常に大きな振れが生じたときでも、第１像振れ補正部１０７及び第２像振れ補正部１１１が、補正可能限界に達してしまうことを防止することができる。

なお、Ｓ３００の処理は、角速度センサ１０１の出力そのものを判定に用いることに限定されるものではない。例えば、角速度センサ１０１の出力を微分した角加速度信号を判定に用いてもよいし、積分した角度信号を判定に用いてもよい。角速度センサ１０１の信号に基づいた信号を用いた判定であれば、如何なる処理であってもよい。Ｓ３０１の処理も同様に、動きベクトル出力に基づいた信号を用いた判定であれば、如何なる処理であってもよい。また、Ｓ３０１の処理は、本実施形態において必須の処理ではない。Ｓ３００の処理のみでも、像振れ補正装置４００に大きな振れが生じたことを検出することは可能であり、Ｓ３０１の処理は、Ｓ３００の補助的な役割を担う処理である。

また、本実施形態は、第２の実施形態と組み合わせることも可能である。具体的には、図７のフローチャートにおいて、Ｓ１０６の処理の後にＳ２００、Ｓ２０２の処理を行い、Ｓ１０７の処理の後にＳ２０１、Ｓ２０３の処理を行う構成にしてもよい。これによって、像振れ補正装置４００に大きな振れが生じたときに、Ｓ１０３及びＳ１０７の処理によって、積分器１０５及び積分器１０９への入力を制限すると同時に、Ｓ２０１及びＳ２０３の処理によって、積分器１０５及び積分器１０９の出力がゼロ付近に収束しやすくすることができる。これによって、像振れ補正装置４００に非常に大きな振れが生じたときでも、第１像振れ補正部１０７及び第２像振れ補正部１１１が、補正可能限界に達してしまうことを更に強力に防止することができる。

以上説明してきたように、本発明の第３の実施形態においては、角速度センサ１０１の出力あるいは動きベクトル検出部４０１の出力が大きくなったときに、周波数分離部１０３の分離周波数を高くし、かつ周波数分離部１０３の前段の低周波成分減衰部１０２のカットオフ周波数を高くすることとした。これによって、急峻なパンニング等の非常に大きな振れが生じた場合でも、２つの像振れ補正部が補正可能限界に達してしまうことを防止し、パンニング等の大きな振れが収束した後すぐに、通常の像振れ補正に復帰する、最適な像振れ補正制御を行うことができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

撮像装置の振れを検出する振れ検出手段の出力の低周波成分を減衰する低周波成分減衰手段と、
前記低周波成分減衰手段の出力を低周波信号と高周波信号に分離する分離手段と、
前記高周波信号に基づいて第１の振れ補正量を算出する第１の算出手段と、
前記低周波信号に基づいて第２の振れ補正量を算出する第２の算出手段と、
前記第１の振れ補正量に基づいて、像振れを補正する第１の像振れ補正手段と、
前記第２の振れ補正量に基づいて、像振れを補正する第２の像振れ補正手段と、
前記高周波信号又は前記低周波信号に基づいて演算された出力に基づいて、制御を変更する制御手段とを備え、
前記制御手段は、前記高周波信号に基づいて演算された出力が所定値以上の場合は、前記分離手段の分離周波数を高くすることを特徴とする像振れ補正装置。
前記制御手段は、前記低周波信号に基づいて演算された出力が所定値以上の場合は、前記低周波成分減衰手段の減衰開始周波数を高くすることを特徴とする請求項１に記載の像振れ補正装置。
前記分離手段は、ハイパスフィルタの出力を高周波信号、入力信号と前記高周波信号との差分を低周波信号とし、前記制御手段は、前記高周波信号に基づいて演算された出力が所定値以上の場合は、前記ハイパスフィルタのカットオフ周波数を高くすることを特徴とする請求項１または２に記載の像振れ補正装置。
前記分離手段は、ローパスフィルタの出力を低周波信号、入力信号と前記低周波信号との差分を高周波信号とし、前記制御手段は、前記高周波信号に基づいて演算された出力が所定値以上の場合は、前記ローパスフィルタのカットオフ周波数を高くすることを特徴とする請求項１または２に記載の像振れ補正装置。
前記低周波成分減衰手段は、ハイパスフィルタ、あるいは入力信号とローパスフィルタの出力との差分を出力とし、前記制御手段は、前記低周波信号に基づいて演算された出力が所定値以上の場合は、前記ハイパスフィルタ、又は前記ローパスフィルタのカットオフ周波数を高くすることを特徴とする請求項２に記載の像振れ補正装置。
前記第１の算出手段は第１の積分手段を有し、
前記制御手段は、前記高周波信号に基づいて演算された出力が所定値以上の場合は、前記分離手段の分離周波数を高くするとともに、前記第１の積分手段の時定数を短くすることを特徴とする請求項１乃至５のいずれか１項に記載の像振れ補正装置。
前記第２の算出手段は第２の積分手段を有し、
前記制御手段は、前記低周波信号に基づいて演算された出力が所定値以上の場合は、前記低周波成分減衰手段の減衰開始周波数を高くするとともに、前記第２の積分手段の時定数を短くすることを特徴とする請求項２に記載の像振れ補正装置。
撮像装置の振れを検出する振れ検出手段の出力の低周波成分を減衰する低周波成分減衰手段と、
前記低周波成分減衰手段の出力を低周波信号と高周波信号に分離する分離手段と、
前記高周波信号に基づいて第１の振れ補正量を算出する第１の算出手段と、
前記低周波信号に基づいて第２の振れ補正量を算出する第２の算出手段と、
前記第１の振れ補正量に基づいて、像振れを補正する第１の像振れ補正手段と、
前記第２の振れ補正量に基づいて、像振れを補正する第２の像振れ補正手段と、
前記振れ検出手段の出力に基づいて演算された出力に基づいて、制御を変更する制御手段とを備え、
前記制御手段は、前記振れ検出手段の出力に基づいて演算された出力が所定値以上の場合は、前記分離手段の分離周波数を高くする
ことを特徴とする像振れ補正装置。
前記制御手段は、前記振れ検出手段の出力に基づいて演算された出力が所定値以上の場合は、前記分離手段の分離周波数を高くするとともに、前記低周波成分減衰手段の減衰開始周波数を高くすることを特徴とする請求項８に記載の像振れ補正装置。
撮影画像から動きベクトルを検出する動きベクトル検出手段を更に有し、
前記制御手段は、前記動きベクトル検出手段の出力に基づいて演算された出力が、所定値以上の場合は、前記分離手段の分離周波数を高くする
ことを特徴とする請求項８に記載の像振れ補正装置。
像振れ補正装置の制御方法であって、
撮像装置の振れを検出する振れ検出手段の出力の低周波成分を減衰する低周波成分減衰工程と、
前記低周波成分減衰工程の出力を低周波信号と高周波信号に分離する分離工程と、
前記高周波信号に基づいて第１の振れ補正量を算出する第１の算出工程と、
前記低周波信号に基づいて第２の振れ補正量を算出する第２の算出工程と、
前記第１の振れ補正量に基づいて、像振れを補正する第１の像振れ補正工程と、
前記第２の振れ補正量に基づいて、像振れを補正する第２の像振れ補正工程と、
前記高周波信号又は前記低周波信号に基づいて演算された出力に基づいて、制御を変更する制御工程とを有し、
前記制御工程では、前記高周波信号に基づいて演算された出力が所定値以上の場合は、前記分離工程での分離周波数を高くする
ことを特徴とする像振れ補正装置の制御方法。
像振れ補正装置の制御方法であって、
撮像装置の振れを検出する振れ検出手段の出力の低周波成分を減衰する低周波成分減衰工程と、
前記低周波成分減衰工程の出力を低周波信号と高周波信号に分離する分離工程と、
前記高周波信号に基づいて第１の振れ補正量を算出する第１の算出工程と、
前記低周波信号に基づいて第２の振れ補正量を算出する第２の算出工程と、
前記第１の振れ補正量に基づいて、像振れを補正する第１の像振れ補正工程と、
前記第２の振れ補正量に基づいて、像振れを補正する第２の像振れ補正工程と、
前記振れ検出手段の出力に基づいて演算された出力に基づいて、制御を変更する制御工程とを有し、
前記制御工程では、前記振れ検出手段の出力に基づいて演算された出力が所定値以上の場合は、前記分離工程での分離周波数を高くすることを特徴とする像振れ補正装置の制御方法。
請求項１１または１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
請求項１１または１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。