JP5627357B2

JP5627357B2 - 撮像装置及びその制御方法

Info

Publication number: JP5627357B2
Application number: JP2010202409A
Authority: JP
Inventors: 英夫河原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-09-09
Filing date: 2010-09-09
Publication date: 2014-11-19
Anticipated expiration: 2030-09-09
Also published as: JP2012058544A

Description

本発明は、光学的に撮像画像のブレを補正する機能を有する撮像装置において、円滑なブレ補正制御を実現する技術に関するものである。

従来の光学的ブレ補正機能を備えた撮像装置の補正制御として、ジャイロセンサから得られる振れ出力を画像情報から得られるブレ情報に基づき補正制御する技術が知られている（特許文献１参照）。

特許文献１に開示されている従来の技術においては、ジャイロセンサ出力より静止時のこのセンサの基準値相当の値を基準値生成部により生成すると共に、ジャイロセンサより得られる振れ出力と推定された基準値の差より光学補正系の制御位置を決定する。そして、基準値生成部は、光学的ブレ補正の基準値を正確に求めるために、カメラの撮像画像を解析して画像動き信号を求め、その画像動き信号に応じて基準値を推定し、修正する。

特開２００５−４３７８０号公報

しかしながら、上記の従来例は、ジャイロセンサの低域周波数成分を更に抑振するための工夫ではあるが、ジャイロセンサの低周波検出性能には限界が有り、加えられる振れ周波数成分が低いと、その検出感度が小さいため振れの検出ができなくなる。また、低周波成分の振れ検出信号成分を用いようとすると、低周波成分ノイズ（１／ｆノイズ等）の影響により本来のブレを補正することが困難となる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、低周波成分の手ブレを円滑に補正できるようにすることである。

本発明に係わる撮像装置は、被写体像を撮像して画像を得る撮像素子と、前記撮像装置の振れを検出する第１の振れ検出手段と、前記撮像素子により得られた画像から前記撮像装置の振れを示す動きベクトルを検出する第２の振れ検出手段と、前記撮像装置の振れにより引き起こされる画像の像ブレを光学的に補正する振れ補正手段と、前記第１の振れ検出手段により検出された前記撮像装置の振れの情報である第１の振れ情報と、前記第２の振れ検出手段により検出された前記撮像装置の振れの情報である第２の振れ情報とに基づいて、前記振れ補正手段の制御目標値を算出する算出手段と、前記第１及び第２の振れ情報に基づいて、前記撮像装置のパンニング動作を検出する検出手段と、前記第２の振れ情報を積算し、前記振れ補正手段の像ブレ補正量を構成するベクトル補正量を算出するためのベクトル積分器と、前記検出手段により、前記撮像装置がパンニング動作を行っている状態であることが検出された場合、前記第２の振れ検出手段による前記第２の振れ情報をゼロに設定する設定手段と、前記パンニング動作の終了時において、前記ベクトル積分器より得られるベクトル補正量がゼロでない場合、前記ベクトル積分器の時定数を短くすることにより前記ベクトル補正量のゼロへの収束時間を短くする制御手段と、を備えることを特徴とする。

本発明によれば、低周波成分の手ブレを円滑に補正することが可能となる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図。第１の実施形態におけるパンニング制御回路の動作を説明するフローチャート。第１の実施形態におけるパンニング制御時の補正量を説明するための図。第１の実施形態の変形例を示す図。第２の実施形態におけるパンニング制御回路の動作を説明するフローチャート。第２の実施形態におけるパンニング制御時の補正量を説明するための図。第３の実施形態におけるパンニング制御回路の動作を説明するフローチャート。ベクトル積分器に設定する時定数の求め方の一例を示す図。

以下、本発明の実施形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。図１において、１０１は撮像光学系を構成するレンズである。１０２は、光軸に対して直交する方向に移動する像のブレを光学的に補正する振れ補正レンズである。１０３はレンズ１０１，１０２により結像された被写体像を光電変換する撮像素子である。１０４は撮像素子１０３により光電変換された撮像信号を例えば標準ビデオ信号などに変換処理するカメラ信号処理回路、１０５はカメラ信号処理回路１０４にて得られた信号を出力する標準出力信号端子である。上記の構成により、撮像された画像を標準ビデオ信号として出力する。

また、１１１は撮像装置に加わる振れを角速度として検出する角速度検出部（第１の振れ検出手段）であり、例えばジャイロセンサ（角速度センサ）等で構成されている。１１２はジャイロセンサより得られる角速度信号（第１の振れ情報）の周波数帯域を制限するためのハイパスフィルタ（以下ＨＰＦ）である。１１３はジャイロセンサの検出出力より振れ補正レンズ１０２の補正量を算出する積分器であり、角速度を角変位に変換することにより補正量を算出する。

１０６はカメラ信号処理回路１０４により変換処理されたビデオ信号に基づき時間的に連続した撮像画像の位置変化より撮像画像の単位時間当たりの動きベクトル（第２の振れ情報）を検出する動きベクトル検出回路（第２の振れ検出手段）である。１０７は検出された単位時間当たりの動きベクトル量を積算し、振れ補正レンズ１０２の補正量であるベクトル補正量を算出するためのベクトル積分器、１０８はパンニング制御時にベクトル検出結果を遮断するパンニングスイッチである。

１１５は、積分器１１３より得られる角変位量と、ベクトル積分器１０７の値を合成する加算回路で、その演算結果であるブレ補正量（制御目標値）に基づき振れ補正レンズ１０２を振れによって生じた像ブレをうち消す方向に駆動することにより像ブレを軽減する。同時に加算回路１１５の演算結果はパンニング制御回路１１４にも入力される。

１１４はジャイロセンサ１１１の出力値、および加算回路１１５の演算結果に基づきパンニング判定を行い、ＨＰＦ１１２、積分器１１３、ベクトル積分器１０７の周波数特性を制御するパンニング制御回路である。

次に振れ検出から像ブレ補正までの動作を説明する。ジャイロセンサ１１１より検出されたカメラに加わる振れはＨＰＦ１１２および積分器１１３を経て角変位量として算出される。一方、撮像光学系１０１および振れ補正レンズ１０２により結像された被写体像は撮像素子１０３により光電変換され、撮像信号としてカメラ信号処理回路１０４に入力される。カメラ信号処理回路１０４は撮像信号を標準ビデオ信号等に変換し出力端子１０５に出力すると共に、画像の振れを求めるための動きベクトル検出回路１０６に入力する。動きベクトル検出回路１０６により求められた時間的に連続する２画像間の変位量はベクトル積分器１０７により積算され、像ブレ補正目標値として出力される。

積分器１１３より得られる角度ブレ補正目標値、およびベクトル積分器１０７より得られる像ブレ補正目標値の両方の値を加算回路１１５により合算することにより、ブレ補正量（＝ブレ補正目標値）を算出する。

ここで、上記２つの振れ信号を合算するメリットについて説明する。ジャイロセンサは低周波側の振れ検出性能には限界が有り、与えられる振れ振幅が同一であっても、振れ周波数が低いとその検出感度は小さく振れを検出できなくなってしまう。また、低周波成分の振れ検出信号成分を用いる場合には、その低周波成分ノイズ（１／ｆノイズ等）の影響により本来のカメラブレのみを補正することが困難となる。そこで、上記のような低周波数帯域の振れについては、画像ベクトルを用いた補正を併用する。そして、検出不能周波数およびノイズによる誤作動を像ブレ補正目標値として検出し、角度ブレ補正目標値と合算することにより、ジャイロセンサ１１１による振れ検出が難しい周波数帯域の振れも合わせて補正することが可能となる。

次にパンニング制御回路１１４について説明する。パンニング制御回路１１４はジャイロセンサ１１１より得られる角速度値および、加算回路１１５の演算結果であるブレ補正量に基づいてパンニングの判定を行う。判定は角速度データおよびブレ補正量の大きさにより以下に述べるような方法で行う。

すなわち、角速度データが所定の閾値以上、あるいは、（角速度データが所定の閾値より小さくても）ブレ補正量が所定の閾値以上であるならば、パンニング（あるいはチルティング）状態であると判定し、パンニング制御を行う。

このパンニング制御では、まず、ＨＰＦ１１２の低域カットオフ周波数を高域側に変移させると共に、パンニングスイッチ１０８を遮断し（値を「０」（ゼロ）に置き換える）、さらに積分器１１３およびベクトル積分器１０７の時定数を短くする。これにより、低域の周波数に対するブレ補正量を減少させて、振れ補正レンズ１０２の振れ補正位置を移動可能範囲の中心へと徐々に移動（センタリング）させる。

これにより積分器１１３より得られる角度ブレ補正目標値、およびベクトル積分器１０７より得られる像ブレ補正目標値の値を基準値（振れを検出していない状態においてとり得る値）に徐々に近づけていく。

このようなパンニング制御を行っている間も角速度値およびブレ補正量は更新されており、パンニングが終了した場合（すなわち、角速度値およびブレ補正量のそれぞれが所定の閾値より小さい場合）には、次のような制御を行う。すなわち、ＨＰＦ１１２のカットオフ周波数を低域側に変移させるとともに、パンニングスイッチ１０８を動きベクトル検出回路１０６側に倒す。さらに、積分器１１３、およびベクトル積分器１０７の積分演算に用いる時定数の値を大きくなる方向に変移させる。これによりパンニング制御移行前と同様に低周波数の振れ補正動作を行う。

したがって、ＨＰＦ１１２のカットオフ周波数、積分器１１３、およびベクトル積分器１０７の時定数の値がそれぞれ元の状態に戻され、パンニング制御から抜けることになる。

上記の動作を図２のフローチャート及び図３のグラフを用いて説明する。

図３はパンニングをおこなった際のジャイロセンサ１１１より得られるカメラ角速度信号３０１と、積分器１１３、およびベクトル積分器１０７より得られる角度ブレ補正目標値３０３と、像ブレ補正目標値３０４とその合算値であるブレ補正目標値３０２を模式的に示している。

カメラ角速度信号３０１が連続的に正、あるいは負の値をとり続けると、積分器１１３、およびベクトル積分器１０７より得られる角度ブレ補正目標値３０３、像ブレ補正目標値３０４がそれぞれ図示したように増加する。ブレ補正目標値３０２がパンニングを判定するパンニング入りスレッシュ３１４に到達すると、先に説明したようにＨＰＦ１１２の低域カットオフ周波数を高域側に変移させると共に、パンニングスイッチ１０８を遮断し、積分器１１３の時定数を短くする。これにより、増加している角度ブレ補正目標値３０３、像ブレ補正目標値３０４を減衰させてその合算値であるブレ補正目標値３０２を減少させ、ひいては振れ補正レンズ１０２の振れ補正位置を移動範囲中心へと徐々にセンタリングさせる。

パンニングスイッチ１０８を遮断する理由は、パンニング制御移行とともに低周波数成分の手ブレ補正が行われなくなり、検出されるベクトル信号が増大してベクトル積分器１０７の値も増大することにより収束時間を要してしまう現象を回避するためである。ここで収束時間とは、角度ブレ補正目標値３０３と像ブレ補正目標値３０４を減衰させてその合算値であるブレ補正目標値３０２を減少させることで、振れ補正レンズ１０２の振れ補正位置を移動範囲中心へと徐々にセンタリングさせる時間である。

パンニング終了時においてはカメラの静止に伴いジャイロセンサ１１１より得られるカメラ角速度信号３０１も０近傍となる。カメラ角速度信号３０１がパンニング出スレッシュ２（３１３）の値より小さくなることによりパンニング制御を終了する。そして、終了時の制御としてＨＰＦ１１２のカットオフ周波数を低域側に変移させるとともに、パンニングスイッチ１０８を動きベクトル検出回路１０６側とする。また、積分器１１３の積分演算に用いる時定数の値を大きくなる方向に変移させる。これによりパンニング制御移行前と同様に低周波数の振れ補正動作を行う。

上記の動作を図２のフローチャートを用いて説明する。ステップＳ４０１は、このフローの始まりであり、ビデオ同期周波数等の所定のタイミングで繰り返し開始される。ステップＳ４０２では、パンニング制御中か否かを判定する。パンニング制御中であるならばステップＳ４０７へ、パンニング制御中でなければステップＳ４０３へ移行する。

ステップＳ４０３は、パンニングの開始判定動作である。具体的にはジャイロセンサ１１１の出力が所定の角速度以上（パンニング入３１１）であるか、あるいはブレ補正目標値が所定の値（パンニング入３１４）以上であるかを比較する。そして、比較値を超えていればパンニングと判定する。パンニングが開始されたと判定された場合にはステップＳ４０４へ、パンニングの開始ではない場合にはステップＳ４１３へ移行する。

ステップＳ４０４では、パンニング処理としてパンニングスイッチ１０８を「０」側に切り替える。ステップＳ４０６では、パンニング処理としてＨＰＦ１１２のカットオフ周波数を高域側に、また積分器１１３の時定数を短く変更する。

ステップＳ４０７では、角速度がパンニング終了時の判定基準１（パンニング出１（３１２））を下回っているか否かを判定する。比較値を下回っていればステップＳ４０８へ、比較値を下回っていなければステップＳ４１３へ移行する。

ステップＳ４０８では、ベクトル積分器１０７の出力である像ブレ補正値が０近傍であるか否かを判定する。像ブレ補正値が０近傍である場合はステップＳ４１０へ、像ブレ補正値が０近傍でない場合にはステップＳ４０９へ移行する。ステップＳ４０９では、パンニング終了時の特定条件処理として、ベクトル積分器１０７の時定数を短くなる方向に変更する。

ステップＳ４１０では、角速度がパンニング終了時の判定基準２（パンニング出２（３１３））を下回っているか否かを判定する。比較値を下回っていればステップＳ４１１へ、比較値を下回っていなければステップＳ４１３へ移行する。

ステップＳ４１１では、パンニング終了処理としてパンニングスイッチ１０８を動きベクトル検出回路１０６側に切り替える。ステップＳ４１２では、パンニング終了処理としてＨＰＦ１１２のカットオフ周波数を低域側に、またベクトル積分器１０７の時定数を大きく変更する。ステップＳ４１３では、処理を終了する。

以上の流れによりパンニング制御回路１１４の動作が行われ、図３のグラフに示すパンニング処理が実現できる。なお、上記の説明においてはステップＳ４０８において、ベクトル積分器１０７の出力である像ブレ補正値が０近傍ではベクトル積分器１０７の時定数を短くしない説明となっている。これについては図４に示すグラフにて説明を行う。

図４は図３と同様にパンニングをおこなった際のジャイロセンサ１１１より得られるカメラ角速度信号３０１と、積分器１１３、およびベクトル積分器１０７より得られる角度ブレ補正目標値３０３と、像ブレ補正目標値３０４とその合算値であるブレ補正目標値３０２を模式的に示している。

パンニング動作に伴いパンニングスイッチ１０８の遮断、積分器１１３の時定数を短くすることにより、増加している角度ブレ補正目標値３０３、像ブレ補正目標値３０４を減衰させてその合算値であるブレ補正目標値３０２を減少させる。これにより、振れ補正レンズ１０２の振れ補正位置を移動範囲中心へと徐々にセンタリングさせる動作については先の説明に変わりはない。

次に、パンニング終了時においてはカメラの静止に伴いジャイロセンサ１１１より得られるカメラ角速度信号３０１が０近傍に近づく。カメラ角速度信号３０１がパンニング出スレッシュ１（３１２）の値より小さくなった際に、ベクトル積分器１０７より得られる像ブレ補正量が０近傍であるか否かを判定し、０近傍でない場合にはベクトル積分器１０７の時定数を短く変更することにより像ブレ補正量の０への収束時間を短縮する。

以上の処理を施すことによりパンニング終了時におけるブレ補正量を「０」近傍とすることが可能となり、パンニング終了後における補正量が最大に稼げるため、パンニング終了直後から円滑なブレ補正が可能となる。

なお、図３に示すパンニング入りスレッシュ３１１は特に急峻にカメラを振られた時にパンニング判定するために設けられているスレッシュで、積分器１１３、およびベクトル積分器１０７の値上昇までの時間を待つこと無くパンニング制御に移行するために設けられている。

（第２の実施形態）
図５は、本発明の第２の実施形態を説明するためのフローチャートである。第１の実施形態との差異はパンニング終了判定時における積分器の制御についてである。第１の実施形態ではベクトル積分器１０７の時定数を変更することによってブレ補正量を０レベルに収束させていたが、第２の実施形態ではベクトル積分器１０７をリセットすることによりブレ補正量を０としている。

上記の動作を図５のフローチャートを用いて説明する。ステップＳ４０１は、このフローの始まりであり、ビデオ同期周波数等の所定のタイミングで繰り返し開始される。

ステップＳ４０２では、パンニング制御中か否かを判定する。パンニング制御中であるならばステップＳ４０７へ、パンニング制御中でなければステップＳ４０３へ移行する。

ステップＳ４０３では、パンニングの開始を判定する。具体的にはジャイロセンサ出力が所定の角速度以上（パンニング入３１１）であるか、あるいはブレ補正目標値が所定の値（パンニング入３１４）以上であるかを比較し、比較値を超えていればパンニングと判定する。パンニングが開始されたと判定された場合にはステップＳ４０４へ、パンニング開始ではない場合にはしてステップＳ４１３へ移行する。

ステップＳ４０８では、ベクトル積分器１０７の出力である像ブレ補正値が０近傍であるか否かを判定する。像ブレ補正値が０近傍である場合はステップＳ４１０へ、像ブレ補正値が０近傍でない場合にはステップＳ４２０へ移行する。ステップＳ４２０では、パンニング終了時の特定条件処理として、ベクトル積分器１０７を０リセットする。

以上の流れによりパンニング制御回路１１４の動作が行われる。上記の動作を行った際の様子を図６のグラフに示す。この図からもわかるように図４のグラフとの差異はパンニング出１（３１２）（時間３２２）における像ブレ補正量およびブレ補正量の変化のみである。

（第３の実施形態）
図７は本発明の第３の実施形態を説明するためのフローチャートである。第１の実施形態との差異はパンニング終了判定時における積分器の制御についてである。第１の実施形態ではベクトル積分器１０７の時定数をあらかじめ決められた値に変更することによってブレ補正量を０レベルに収束させていたが、第３の実施形態ではベクトル積分器１０７の時定数をブレ補正量に応じて決定することを特徴としている。

上記の動作を図７のフローチャートを用いて説明する。ステップＳ４０１は、このフローの始まりであり、ビデオ同期周波数等の所定のタイミングで繰り返し開始される。

ステップＳ４０３では、パンニングの開始を判定する。具体的にはジャイロセンサ出力が所定の角速度以上（パンニング入３１１）であるか、あるいはブレ補正目標値が所定の値（パンニング入３１４）以上であるかを比較し、比較値を超えていればパンニングと判定する。パンニングが開始されたと判定された場合にはステップＳ４０４へ、パンニング開始ではない場合にはステップＳ４１３へ移行する。

ステップＳ４０８では、ベクトル積分器１０７の出力である像ブレ補正値が０近傍であるか否かを判定する。像ブレ補正値が０近傍である場合はステップＳ４１０へ、像ブレ補正値が０近傍でない場合にはステップＳ４３０へ移行する。ステップＳ４３０では、ブレ補正量を基に、設定する時定数を決定する。ステップＳ４０９では、パンニング終了時の特定条件処理として、ベクトル積分器１０７の時定数をステップＳ４３０で求めた値に変更する。

以上の流れによりパンニング制御回路１１４の動作が行われ、図３のグラフに示すパンニング処理が実現できる。

上記のベクトル積分器１０７に設定する時定数の求め方の一例を図８に示す。図８に示すグラフのようにブレ補正量が大きい場合、設定する時定数を小さくすることにより、像ブレ補正量の０への収束を早めることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、振れ補正レンズ１０２は、撮像素子１０３を光軸に直交する方向に移動可能に構成するのものであってもよい。

Claims

撮像装置であって、
被写体像を撮像して画像を得る撮像素子と、
前記撮像装置の振れを検出する第１の振れ検出手段と、
前記撮像素子により得られた画像から前記撮像装置の振れを示す動きベクトルを検出する第２の振れ検出手段と、
前記撮像装置の振れにより引き起こされる画像の像ブレを光学的に補正する振れ補正手段と、
前記第１の振れ検出手段により検出された前記撮像装置の振れの情報である第１の振れ情報と、前記第２の振れ検出手段により検出された前記撮像装置の振れの情報である第２の振れ情報とに基づいて、前記振れ補正手段の制御目標値を算出する算出手段と、
前記第１及び第２の振れ情報に基づいて、前記撮像装置のパンニング動作を検出する検出手段と、
前記第２の振れ情報を積算し、前記振れ補正手段の像ブレ補正量を構成するベクトル補正量を算出するためのベクトル積分器と、
前記検出手段により、前記撮像装置がパンニング動作を行っている状態であることが検出された場合、前記第２の振れ検出手段による前記第２の振れ情報をゼロに設定する設定手段と、
前記パンニング動作の終了時において、前記ベクトル積分器より得られるベクトル補正量がゼロでない場合、前記ベクトル積分器の時定数を短くすることにより前記ベクトル補正量のゼロへの収束時間を短くする制御手段と、
を備えることを特徴とする撮像装置。
前記第２の振れ検出手段は、前記振れ補正手段により像ブレ補正が施された状態で撮像された画像の動きから前記第２の振れ情報を検出することを特徴とする請求項１に記載の撮像装置。
前記設定手段は、前記第２の振れ検出手段による補正量に基づいた時定数によってゼロとすることを特徴とする請求項１に記載の撮像装置。
被写体像を撮像して画像を得る撮像素子を備える撮像装置を制御する方法であって、
前記撮像装置の振れを検出する第１の振れ検出工程と、
前記撮像素子により得られた画像から前記撮像装置の振れを示す動きベクトルを検出する第２の振れ検出工程と、
前記撮像装置の振れにより引き起こされる画像の像ブレを光学的に補正する振れ補正工程と、
前記第１の振れ検出工程により検出された前記撮像装置の振れの情報である第１の振れ情報と、前記第２の振れ検出工程により検出された前記撮像装置の振れの情報である第２の振れ情報とに基づいて、前記振れ補正工程の制御目標値を算出する算出工程と、
前記第１及び第２の振れ情報に基づいて、前記撮像装置のパンニング動作を検出する検出工程と、
前記第２の振れ情報を積算し、前記振れ補正工程の像ブレ補正量を構成するベクトル補正量を算出するためのベクトル積分工程と、
前記検出工程により、前記撮像装置がパンニング動作を行っている状態であることが検出された場合、前記第２の振れ検出工程における前記第２の振れ情報をゼロに設定する設定工程と、
前記パンニング動作の終了時において、前記ベクトル積分工程により得られるベクトル補正量がゼロでない場合、前記ベクトル積分工程の時定数を短くすることにより前記ベクトル補正量のゼロへの収束時間を短くする制御工程と、
を有することを特徴とする撮像装置の制御方法。