JP6833451B2 - 画像処理装置、その画像処理方法および光学機器 - Google Patents

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ、等の光学機器に適用される画像処理装置に関する。特に、光学防振、電子防振を搭載した光学機器に適用される画像処理装置に関する。

近年、デジタルカメラやビデオカメラ等の光学機器に加わる振れ等によって生じた撮影画像のブレを補正するブレ補正機能が種々提案されており、このようなブレ補正機能を光学機器に搭載することで、さらに良好に撮影できる。

光学機器の振れを検出して振れを補正する場合、この振れに起因する画像振れを補正するように移動可能な光学的な振れ補正手段（防振レンズ及びその保持部材、以下、防振レンズ機構とする）を駆動する振れ補正装置を備えた光学機器が知られている。

振れ補正装置における振れ検出には角速度センサがよく用いられる。角速度センサは、圧電素子等の振動材を一定周波数で振動させ、回転運動成分により発生するコリオリ力に応じた電圧を角速度情報として出力する。

振れ補正装置は、得られた角速度情報を積分して振れの量及び方向を求め、画像振れをキャンセルするように防振レンズ機構を駆動する補正位置制御信号を出力する。

防振レンズ機構の駆動時には防振レンズ機構の現在位置が防振レンズ機構位置信号として振れ補正装置にフィードバックされ、振れ補正装置は防振レンズ機構位置信号に応じた補正位置制御信号を出力するフィードバック制御が行われる。

また、光学機器に加わる振れを検出する方法にはジャイロセンサのようなセンサを用いる方法の他に動きベクトルのように画像情報を用いる方法がある。

動きベクトルを検出して光学機器に加わる振れを検出する場合、一般に１フィールド（あるいは１フレーム）以上前の画像と比較しその代表点の移動量をもって画像の動き量、すなわちカメラの動き量としている。

この動きベクトルを基にフレーム毎に切り出した画像の位置を動かすことにより振れを補正する電子振れ補正の技術は広く用いられている。

また、加速度センサなどによる姿勢情報を基にカメラの傾きによる撮影した画像の傾きを補正する水平補正機能や光軸を中心とした回転のＲＯＬＬ補正なども、切り出した画像の位置を回転させ動かすことにより行われている。

電子振れ補正、水平補正は、それぞれ、撮影画像から出力画像を切り出してその位置を動かしたり回転させたりして行うのだが、切り出す領域の周辺は余分画素となる。

余分画素によって補正の限界量が定まるが、余分画素を多く取るほど出力画像の画角が狭くなるため、補正の限界量がある。

また、同じ余分画素の範囲内で電子振れ補正と水平補正のそれぞれの補正量を振り分ける必要がある。例えば、水平補正に多くの補正の限界量を割り当てると、その分電子振れ補正に割り当て可能な補正の限界量は減ることになる。

一方、動きベクトル情報のうち所定周波数帯域以下のみを含む情報を基に光学的なブレ補正手段（防振レンズ機構）にフィードバックすることにより、安定したブレ補正を行う技術が特許文献１に開示されている。

特登録０３６１０２１０号

しかしながら、揺れ残りとしての動きベクトル情報を光学的な振れ補正手段にフィードバックする時に防振レンズ機構の位置が可動領域の端付近にある場合を考える。

また、画像切り出し位置の補正ができる領域が残り少ない場合を考える。その場合、撮影している状況に応じて動きベクトルを用いたそれぞれの補正が十分に行えない時がある。

本発明は、動きベクトルに応じて切り出した画像を動かして電子的に振れを補正する電子振れ補正と、動きベクトル量を基に光学的なブレ補正手段にフィードバックして振れ補正の効果を高めるとういう機能を持つ画像処理装置に関する。

そして、撮影状況に応じての各々の振れ補正の効き量を変えることによって、最適な振れ補正を行うことを目的とする。

上記課題を解決するために、本発明の画像処理装置は、撮像光学系を通過した光束を撮像する撮像素子から出力された撮像信号を用いて画像の動きベクトルを算出するベクトル算出手段と、前記動きベクトルを用いて算出される第１の振れ補正量に基いて電子的に像振れを補正する電子補正手段を制御する第１の制御手段と、前記動きベクトルを用いて算出される第２の振れ補正量に基いて光学的に像振れを補正する光学補正手段を制御する第２の制御手段と、撮影される状況に応じて前記第１の振れ補正量の補正係数、及び前記第２の振れ補正量の補正係数を変化させるように制御する第３の制御手段と、を有する画像処理装置であって、
前記第３の制御手段は、水平傾き補正の補正量が所定値よりも大きい場合の前記第２の振れ補正量のゲインを前記水平傾き補正の補正量が前記所定値よりも小さい場合の前記第２の振れ補正量のゲインよりも大きくするとともに、前記水平傾き補正の補正量が所定値よりも大きい場合の前記第１の振れ補正量のゲインを前記水平傾き補正の補正量が前記所定値よりも小さい場合の前記第１の振れ補正量のゲインよりも小さくすることを特徴とする。

本発明によれば、動きベクトルを用いた振れ補正において、切り出した画像を動かして電子的に振れを補正する電子振れ補正と、光学的なブレ補正手段にフィードバックして振れ補正の効果を高めるという複数の補正技術を持つ光学機器に適用される画像処理装置において、撮影状況に応じての各々の振れ補正の効き量を変えることによって、最適な振れ補正を行うことができる。

本発明の実施形態に係る撮像装置のブロック図である。 動きベクトルを用いた振れ補正の概略図である。 光学振れ補正のシフトレンズ位置を表した概略図である。 第１実施形態におけるフローチャート図である。 第２実施形態におけるフローチャート図である。 本発明の第１実施形態に係る光学補正と電子補正のブロック図である。 本発明の第２実施形態に係る光学補正と電子補正のブロック図である。 本発明の第３実施形態に係る光学補正と電子補正のブロック図である。 本発明の第３実施形態におけるフローチャート図である。

（第１実施形態）
（撮像装置のブロック図）
図１は、本実施形態の光学機器としての撮像装置の構成を示すブロック図である。

図１中に示す撮像装置は、主に静止画像と動画像の撮影を行うデジタルカメラである。

もちろん、本発明は、図１に示すデジタルカメラに限定されず、レンズ交換型のカメラシステムにも適用することができる。

デジタルカメラは、被写体像を形成する撮像光学系を有する。撮像光学系は、ズームレンズ、像振れ補正レンズ、絞り、フォーカスレンズなどを備える。

ズームユニット１０１は、光軸方向に移動されて焦点距離を変更するズームレンズを備える変倍手段である。

ズーム駆動制御部１０２は、ズームユニット１０１の駆動を制御する。また、不図示のズーム位置検出手段がズームレンズの光軸上の位置（ズーム位置）を検出する。

像振れ補正レンズユニット１０３は、光軸に直交する方向に移動させて像ぶれを補正する像振れ補正レンズ（シフトレンズ）を備える。

像振れ補正レンズに換えて、撮像部（撮像手段）１０９を光軸に直交する方向に移動させて像ぶれを補正する形態をとっても良い。

なお、「直交する方向」は光軸に直交する成分があれば足り、光軸に対して斜めに移動されてもよい。

第２の制御手段としての光学式像振れ補正制御部１０４は、像振れ補正レンズユニット１０３の移動を制御する。

像振れ補正レンズユニット１０３は、光学式像振れ補正制御部１０４が制御する駆動量に従って、振れ検出部１１７によって検出される振れによる像振れを光学的に補正する光学式像振れ補正を行う。

すなわち、カメラシステム制御部１１９および光学式像振れ補正制御部１０４は、振れ検出部１１７によって検出された振れによる像振れを光学的に補正する光学式像振れ補正を行う制御手段として機能する。

絞り・シャッタユニット１０５は、絞りとシャッタとが一体となったユニットである。
絞りは、撮像部１０９に入射する光量を調節し、シャッタは開閉によって露出量を制御する。絞り・シャッタ駆動制御部１０６は、絞り・シャッタユニット１０５を駆動制御する。

フォーカスユニット１０７は、光軸方向に移動されて焦点調節を行うフォーカスレンズを含む。フォーカス駆動制御部１０８は、フォーカスユニット１０７を駆動制御する。

撮像部（撮像手段）１０９は、ＣＭＯＳセンサなどの撮像光学系が形成する被写体像を電気信号に変換する撮像素子（光電変換手段）を含む。

撮像素子は、撮像光学系を通過した光束を撮像する。

撮像信号処理部１１０は、撮像部１０９から出力された電気信号を映像信号に変換処理する。映像信号処理部（映像信号処理手段）１１１は、撮像信号処理部１１０から出力された映像信号を用途に応じて加工する。

表示部１１２は、映像信号処理部１１１から出力された信号に基づいて、必要に応じて画像表示を行う。

電源部１１３は、システム全体に用途に応じて電源を供給する。外部入出力端子部１１４は、外部との間で通信信号および映像信号を入出力する。

操作部１１５は、システムを操作するために用いられる処理部である。記憶部１１６は、映像情報など様々なデータを記憶する。

振れ検出部１１７は、撮像装置の振れ（振れ量）を検出し、振れ成分のうちピッチ方向、ヨー方向、及びロール方向の振れを検出する。具体例として、角速度センサが用いられる。

第１の制御手段としての電子式像振れ補正制御部１１８は、映像信号処理部１１１を制御して、振れ検出部１１７によって検出された振れによる像振れを電子的に補正する電子式像振れ補正の補正量を決定する。

また、映像信号処理部１１１から得られる連続した画像から主被写体の動き量（動きベクトル量）を算出して電子的に補正することも行う。

更に算出された動き量を光学式像振れ補正制御部１０４に通知し、光学的な振れ補正量の加算を行うことによって揺れ残りを減らし、より振れ補正効果を強めることも行う。これらの動き量を用いた振れ補正に関しては後程詳細を述べる。

電子式像振れ補正制御部１１８が設定する補正量は、いずれも撮像画像の周囲の所定幅の縁部（余白）として設定される。

撮像画像の余白はこれらの電子補正に使用され、最終的に得られる撮像画像からは除かれるため、余白を大きく取るとその分、撮影画角が減少する。

このため、余白には限界値（許容値）がある。例えば、電子式像振れ補正を行う場合、撮像画像に余白が設定され、電子式像振れ補正後の撮像画像は最初の撮像画像から余白が除去された画像となる。

カメラシステム制御部１１９は、カメラシステム全体を制御する制御手段であり、画像処理部としてのマイクロコンピュータから構成される。

本実施形態では、カメラシステム制御部１１９および撮像部１０９は、画素ライン毎の露光タイミングが異なる露光方式で画像を撮影する撮像手段として機能する。

なお、光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８は、カメラシステム制御部１１９の一部であってもよいし、独立した部材であってもよい。

操作部１１５は、像振れ補正モードを選択可能にする像振れ補正スイッチを含む。

像振れ補正スイッチにより像振れ補正モードが選択されると、カメラシステム制御部１１９が、光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８に像振れ補正動作を指示する。

この指示を受けた光学式像振れ補正制御部１０４、電子式像振れ補正制御部１１８が、像振れ補正オフの指示がされるまで像振れ補正動作を行う。光学式像振れ補正および電子式像振れ補正の有効、無効の設定は、それぞれ個別に行うことができる。

操作部１１５は、静止画撮影モードと動画撮影モードとのうちから撮影モードを選択可能にする撮影モード選択スイッチを有する。

撮影モード選択スイッチの操作によって撮影モードが選択される。

そうすると、選択された撮影モードに応じて、ズームユニット１０１、光学式像振れ補正制御部１０４、絞り・シャッタユニット１０５、フォーカスユニット１０７の各アクチュエータの動作条件が変更される。

また、操作部１１５は、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にＯＮするように構成されたシャッタレリーズボタンを有する。

シャッタレリーズボタンが約半分押し込まれたときに、スイッチＳＷ１がＯＮし、シャッタレリーズボタンが最後まで押し込まれたときに、スイッチＳＷ２がＯＮする。

スイッチＳＷ１がＯＮされると、フォーカス駆動制御部１０８が、フォーカスユニット１０７を駆動してピント調節を行うとともに、絞り・シャッタ駆動制御部１０６が、絞り・シャッタ１０５を駆動して適正な露光量に設定する。

スイッチＳＷ２がＯＮされると、撮像部１０９に露光された光像から得られた画像データが記憶部１１６に記憶される。

操作部１１５は、動画記録スイッチを有する。動画記録スイッチが押下げられると、動画撮影が開始され、記録中に再度スイッチが押されると、記録が終了する。

なお、動画撮影中にも、ユーザがシャッタレリーズボタンを押下することで、静止画撮影を行うことが可能である。

操作部１１５は、再生モードを選択するための再生モード選択スイッチを有する。再生モード選択スイッチによって再生モードが選択された時には、カメラシステム制御部１１９は、像振れ補正を停止する。

この時、像振れ補正レンズユニット１０３のアクチュエータへの通電を切っても良いし、アクチュエータへ通電して所定位置に固定するように制御してもよい。

操作部１１５は、ズーム変倍の指示を行う変倍スイッチを有する。

変倍スイッチによってズーム変倍の指示が入力されると、カメラシステム制御部１１９を介してこの指示を受けたズーム駆動制御部１０２が、ズームユニット１０１を駆動して、指示されたズーム位置にズームユニット１０１を移動させる。

また、撮像部１０９から送られた各信号処理部（１１０、１１１）にて処理された画像情報に基づいて、フォーカス駆動制御部１０８が、フォーカスユニット１０７を駆動してピント調節を行う。

本実施形態の制御方法は、図１に示す撮像装置が備える各画像処理部の機能によって実現される。

（動きベクトルによる振れ補正の説明）
図２は動き量（動きベクトル）による振れ補正を説明する図である。

動画撮影などの連続撮影で前後の画像（フレーム）を比較して、その代表点の移動量をもって画像の動きベクトルを求める。

ここで、動きベクトルは光学手振れ補正を行っている時の揺れ残りを表す。この動き量を基にフレーム毎に切り出した画像の位置を動かす事でより振れ補正の効果を強くすることが出来る（動きベクトルによる電子振れ補正）。

また、動きベクトルを用いた振れ補正として、フレーム間で求まった動きベクトルの連続データから低周波数成分だけを抽出し、その量に応じて光学手振れ補正の補正量を強めることでより振れ補正の効果を強めることが出来る。つまり、動きベクトルを光学振れ補正にフィードバックする。

これらは各々単独で用いる事もできるし、両者を同時に用いる事も出来る。両者を同時に用いる時は、まず毎フレームで求まる動きベクトルを用いて電子振れ補正によって毎フレームの揺れ残りがなくなるように切り出した画像を移動させて振れ補正する。

同時に連続した動きベクトルの低周波成分量に応じた光学振れ補正の補正ゲインを強めることによって、振れ量の大きな低周波の揺れをより補正する。

これにより、以降に算出される動きベクトル（揺れ残り）は小さくなる。ここで低周波成分のみに限定することにより算出による位相遅れが生じても振れ補正には影響が少なくなる。

このように揺れ残りとして求まった動きベクトルを用いて電子振れ補正と光学振れ補正の各々で振れ補正効果を強める事ができる。

（動きベクトルによる別形態の振れ補正の説明）
しかし、動きベクトルをそれぞれの振れ補正に用いる時に撮影状況によっては補正の効き量を弱めた方が良い場合がある。その例を以下に示す。

図３に光学振れ補正に用いるシフトレンズ位置と可動範囲の概略図を示す。

光学振れ補正を行っている時に（ａ）のようにシフトレンズが可動範囲の中心付近にある時は可動範囲の余裕も十分にある。

図３の×（バツ）は、可動範囲の補正中心である。

しかし、（ｂ）のように補正レンズが中央付近ではなく可動範囲（図中の円形の実線）の端付近にある場合（図中の円形の点線の外側）、動きベクトルを光学振れ補正にフィードバックして補正量を強めると可動端に当たり易くなってしまう。そのため、端当たりによる急峻な画角変化などが生じ見えが悪くなってしまう。

このような場合には動きベクトルによる光学振れ補正の補正ゲイン加算量を小さくして端当たりが発生しないようにして補正効果を弱めると同時に、動きベクトルを用いた電子振れ補正の補正効果を強めるのがよい。

ここで、補正効果の強め方としては動きベクトルに対する電子補正の補正ゲインを大きくしたり、補正量の上限を大きくしたりするなどがある。

これらの画像処理の様子を図６に示す。図６は電子式像振れ補正制御部１１８で取得した動きベクトルを用いて光学補正用の振れ補正成分の算出および電子補正量の算出についてのブロック図である。

６０１において振れ検出１１７において検出したジャイロ信号を処理しターゲット算出を行う。

ここでターゲット算出はＨＰＦを用いてオフセット成分を除去したり、積分フィルタを用いて角度算出を行う。

また、焦点距離に応じて係数をかけるなどして振れ補正ターゲット量を算出する。

６０２においては、現在のシフトレンズ位置と６０１で算出されたターゲット量を用いてシフトレンズ制御を行う。

ここでは、主にシフトレンズ位置とターゲット値の差分（偏差）を用いたＰＩＤ制御によるフィードバック制御を行う。

次に、６０３において６０２で算出された値を用いてドライバ出力を行い、シフトレンズを駆動させる。

一方、映像信号処理部１１１で算出された動きベクトルを電子式像振れ補正制御部１１８で取得する（６０４）。

動きベクトルの低周波成分だけを用いて像振れ補正を行いたいので、６０５でフィルタ処理を行う。

ここで、フィルタとしてローパスフィルタ（ＬＰＦ）などを用いたり、位相調整のために位相進みフィルタ（ＰＬＦ）や位相遅れフィルタ（ＰＤＦ）などを用いる。

次に、光学式振れ補正制御部１０４からシフトレンズ位置情報を取得し、シフトレンズ位置に応じて光学補正への補正加算量を算出するときのゲインと電子補正での補正量を算出するときのゲインをそれぞれ算出する（６０６）。その時の補正加算量は以下の式（１）で求められる。
光学補正加算量＝（動きベクトルを元に算出した補正量）×光学補正ゲイン［％］ ・・・式（１）

例えば、シフトレンズ位置が中心（主に光軸中心の位置）付近の場合、光学補正の加算量算出において光学補正ゲインは１００％を掛ける。

ここで、シフトレンズ位置が中心から所定距離以上離れた時にゲインを小さくすることにより可動端当たりを防ぐことができる。

例えば、中心から可動端までの可動範囲において、７割以上中心から離れてしまった場合に、光学補正ゲインを５０％、７割より近い場合には光学補正ゲインを１００％にする。

つまり、中心からの距離（またはシフトレンズ位置）に応じて光学補正ゲインを設定することによって動きベクトルを用いた光学補正へのフィードバックが最適に行われる。

また、より光学補正を強めたい場合には光学補正ゲインを１２０％にするなどして低域の追従性を高くすることも可能であるが、強め過ぎると過補正になるので注意が必要である。

また、その他のゲイン設定方法として、フィルタ処理６０５においてＰＬＦやＰＤＦを用いる場合に、ＰＤＦやＰＬＦのカットオフ周波数を変更するとしてもよい。

低域のゲインが高くなるようにフィルタのカットオフ周波数を設定することにより抑振効果を高めることができる。

算出された光学補正加算量を光学式像振れ補正制御部１０４のターゲット算出６０１に加算され、その合算値がレンズ制御６０２に渡される。

これらの処理を行うことにより、光学振れ補正後の揺れ残りが動きベクトルとして現れ、その動きベクトル量を打ち消すような光学補正を行うように加算量が算出される。

この時、可動端に近く光学補正を強めてしまうような状況では、補正係数としてのゲインを調整して加算量を小さくすることにより端当たりなどを防ぐことができより滑らかな振れ補正を行うことができる。

一方、同様にゲイン算出６０６において、動きベクトルに応じた電子補正量に対して掛けあわせる電子補正ゲインも算出する。

前述したように電子振れ補正と水平補正で余剰画素を分け合うので、水平補正を行っている時は電子補正を抑えて光学補正を強めることを実施するが、その時の電子補正ゲインの算出に関する詳細は後で述べる。

ゲイン算出６０６で算出された電子補正ゲインを用いて電子補正量を算出する（６０７）時の電子補正量の算出は式（２）で表される。
電子補正量＝（動きベクトルを元に算出した補正量）×電子補正ゲイン［％］ ・・・式（２）

算出された電子補正量は映像信号処理部１１１に渡されて、切り出した画角を補正量分だけ動かして振れ補正が行われる。

ここでゲイン算出６０６で状況に応じて光学補正ゲインと電子補正ゲインを変えることを述べたが、補正量算出後に補正量に制限をかけることで補正量を小さくするとしても良い。

具体的には、光学補正加算量を小さくしたい場合には、ゲインをそのままで算出して光学補正加算量算出６０８で算出された補正量を一定の値でクランプする。

それにより、加算量を小さくすることが出来る。電子補正量算出６０７に関しても同様の考えができる。

（シフトレンズ位置に応じて補正量のゲインを変化させる形態）
この様子を図４のフローチャートで示す。動きベクトルによる振れ補正を行う場合には、まずＳ１０１で連続した撮影画像の主被写体の差分から動きベクトルを求める。

次に、光学振れ補正用のシフトレンズが可動範囲の所定範囲内かどうかを判定し、可動範囲内だったらＳ１０３に進み、動きベクトル量による光学式振れ補正への補正加算量を大きくする。

ここで、補正加算量を大きくする方法として、前述したように動きベクトル量による補正加算量に対して光学補正ゲインを掛ける時に、そのゲインを大きくすることが挙げられる（例えば光学補正ゲインを１００％とする）。また、補正ゲインの設定ではなく、補正量の制限値を小さくすることにより補正量を小さくするとしても良い。

Ｓ１０２に置いてシフトレンズ位置が所定範囲より外側で可動端付近だった場合には、Ｓ１０４に進み光学式振れ補正への補正加算量を小さくする。

ここで、補正加算量を小さくするには加算量への光学補正ゲインを小さくする（例えば光学補正ゲインを５０％とする）。

そして、Ｓ１０５において電子補正の補正量を大きくする。

補正量を大きくする方法としては、補正係数としての電子補正ゲインを大きくする（例えば電子補正ゲインを１２０％）、または補正量の制限値を大きくすることが挙げられる。

そして、Ｓ１０６において、操作部１１５により振れ補正のモードをＯＦＦにした時など動きベクトルによる振れ補正が終了するかどうかを判定する。

そして、終了する場合はこれらの処理を終える。続けて動きベクトルによる振れ補正を行う場合にはＳ１０１に戻り、これらの処理を繰り返す。

以上のように、本実施形態によれば、光学振れ補正に用いるシフトレンズが所定範囲外で端付近にある場合を考える。

その場合、端当たりによる見えの悪化を防ぐために光学振れ補正のゲインを小さくして揺れ残りが大きくなっても、電子補正の補正量を大きくすることで振れ補正後の画像を安定させることができる。

上述した内容はシフトレンズが所定範囲内かどうかで判定していたが、中心からの距離（またはシフトレンズ位置）に応じて補正係数としての補正ゲインを段階的に変えるとしても良い。

（第２実施形態）
次に、本発明の第２実施形態について図７のブロック図と図５のフローチャートを用いて説明する。

第２実施形態について、第１実施形態と同じ機能の部分は説明を簡略し、異なる部分についてのみ詳細を述べる。

（シャッタースピードに応じて補正量の割合を変化させる形態）
図７において全体的な処理は第１の実施形態で説明したものと同じであるが、ゲイン算出６０６でカメラシステム制御部１１９からシャッタスピード情報を取得して、その値により光学補正ゲインと電子補正ゲインを算出する部分が異なる。

具体的にはシャッタースピードが所定値以下（露光時間が長い）だった場合に光学補正ゲインを上げ電子補正ゲインを下げる。

これは、シャッタースピードが所定値以下の場合は露光時間が長くなることによる露光時間中の揺れ残り（蓄積ブレ）が影響して、ライブビュー表示や記録された動画がブレた画像になるのを防ぐためである。

光学振れ補正の加算量を大きくすることにより露光中の振れをしっかりと補正して、蓄積ブレを小さくすることにより見えのよいライブビュー表示および動画を撮影することができる。

また、シャッタースピードが所定値より大きい（露光時間が短い）場合には光学補正ゲインを下げて電子補正ゲインを上げることにより、光学補正を弱め端当たりが起きにくいようにするとともに揺れ残りを電子補正で補正する。

この時、電子補正量が大きくなるが、シャッタースピードが大きく露光時間が短いので蓄積ブレによる影響は少なくなる。

これらの処理を図５のフローチャートに示す。

まずＳ２０１で連続した撮影画像の主被写体の差分から動きベクトルを求める。

動きベクトル算出後、Ｓ２０２においてライブビュー表示や動画撮影での連続撮影時のシャッタースピードが所定値以下（例えば１／８秒より遅い）かどうかを判断する。

ここでシャッタースピードが所定値以下の場合はＳ２０３に進み、光学振れ補正への補正加算量を大きくし（Ｓ２０３）、電子補正の補正量を小さくする（Ｓ２０４）。

光学振れ補正への補正加算量を大きくするのと電子補正の補正量を小さくすることは実施形態１と同様に光学補正ゲインと電子補正ゲインを変える事によって行う。また、補正量の制限値を変える事によっても実施することができる。

シャッタースピードが所定値より大きい場合には（１／８秒より速い）、光学補正への補正量を小さくし（Ｓ２０５）、電子補正の補正量を大きくする（Ｓ２０６）。これらも同様に補正ゲインまたは制限値を変える事によって実施する。

シャッタースピードが速いので電子補正の補正量を大きくしても蓄積ブレはさほど目立たたない一方で光学補正の補正量を小さくすることにより可動端への端当たりを少なくすることができる。

また、シフトレンズが中心から離れることによる周辺光量落ちや解像度低下などの光学性能の劣化も抑える事ができる。

そして、Ｓ２０７において、操作部１１５により振れ補正のモードをＯＦＦにした時など動きベクトルによる振れ補正を終了するかどうかを判定する。

そして、終了する場合には、これらの処理を終える。続けて動きベクトルによる振れ補正を行う場合にはＳ１０１に戻り、これらの処理を繰り返す。

（第３実施形態）
次に、本発明の第３実施形態について図８のブロック図と図９のフローチャートを用いて説明する。

第３実施形態について、第１実施形態と同じ機能の部分は説明を簡略し、異なる部分についてのみ詳細を述べる。図８において全体的な処理は第１の実施形態で説明したものと同じであるが、ゲイン算出６０６で水平補正量算出６０９から水平補正量を取得して、その値により光学補正ゲインと電子補正ゲインを算出する部分が異なる。

具体的には余剰画素を用いる水平傾き補正などが行われている時は光学振れ補正の補正加算量を大きくして（光学補正ゲインを大きくして）、電子振れの補正量を小さくする（電子補正ゲインを小さくする）。

以上の処理を図９のフローチャートにて示す。

まずＳ３０１で連続した撮影画像の主被写体の差分から動きベクトルを求める。
動きベクトル算出後、Ｓ３０２において水平補正機能がＯＮかどうかを判断する。

ここで、ＯＮの場合は。Ｓ３０３に進み、光学振れ補正への補正加算量を大きくし（Ｓ３０３）、電子補正の補正量を小さくする（Ｓ３０４）。

光学振れ補正への補正加算量を大きくすると電子補正の補正量を小さくすることは実施形態１と同様に光学補正ゲインと電子補正ゲインを変える事によって行う。また、補正量の制限値を変える事によっても実施することができる。

光学補正の加算量を大きくすることにより、振れ補正効果が強まり、揺れ残りが小さくなるので動きベクトル量が小さくなり電子補正は少なくて済む。

その分を水平補正で用いることにより振れ補正と水平補正を最適な割り振りで行うことが可能となる。

ここで、Ｓ３０２において、水平補正機能がＯＦＦの場合には、光学補正への補正量を小さくし（Ｓ３０５）、電子補正の補正量を大きくする（Ｓ３０６）。

これらも同様に、補正係数としての補正ゲイン、または、制限値を変える事によって実施する。

水平補正がＯＦＦのため、余剰画素を全て電子振れ補正に用いる事ができその分光学補正を弱める事により端当たりを少なくし滑らかな振れ補正を行うことができる。

そして、Ｓ３０７において、操作部１１５により振れ補正のモードをＯＦＦにした時など動きベクトルによる振れ補正を終了するかどうかを判定する。

そして、終了する場合はこれらの処理を終える。

続けて動きベクトルによる振れ補正を行う場合にはＳ１０１に戻り、これらの処理を繰り返す。

ここで、条件判定を水平補正のＯＮ／ＯＦＦの例で示したが、所定の水平補正量以上なのかそれより小さいのかで判定してもよい。

このように電子振れ補正のために用いる余剰画素が他の機能によって使用されている時に、光学振れ補正を強め、電子振れ補正を弱めることにより、撮影状況に応じて動きベクトルを用いた振れ補正を最適に行なうことが出来る。

以上のように、本実施形態によれば、撮影状況に応じて動きベクトルを用いた光学式の振れ補正と電子式の振れ補正のそれぞれの効き量を変える事により、最適な振れ補正を行なうことが出来る。

（その他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の光学機器を包含することが意図されている。

１０１ ズームユニット
１０２ ズーム駆動制御部
１０３ 補正レンズ
１０４ 防振制御部
１０９ 撮像部
１１０ 撮像信号処理部
１１１ 映像信号処理部
１１５ 操作部
１１７ 振れ検出部
１１８ 電子式像振れ補正制御部
１１９ カメラシステム制御部

Claims (5)

1. 撮像光学系を通過した光束を撮像する撮像素子から出力された撮像信号を用いて画像の動きベクトルを算出するベクトル算出手段と、前記動きベクトルを用いて算出される第１の振れ補正量に基いて電子的に像振れを補正する電子補正手段を制御する第１の制御手段と、前記動きベクトルを用いて算出される第２の振れ補正量に基いて光学的に像振れを補正する光学補正手段を制御する第２の制御手段と、撮影される状況に応じて前記第１の振れ補正量の補正係数、及び前記第２の振れ補正量の補正係数を変化させるように制御する第３の制御手段と、を有する画像処理装置であって、
   前記第３の制御手段は、水平傾き補正の補正量が所定値よりも大きい場合の前記第２の振れ補正量のゲインを前記水平傾き補正の補正量が前記所定値よりも小さい場合の前記第２の振れ補正量のゲインよりも大きくするとともに、前記水平傾き補正の補正量が所定値よりも大きい場合の前記第１の振れ補正量のゲインを前記水平傾き補正の補正量が前記所定値よりも小さい場合の前記第１の振れ補正量のゲインよりも小さくすることを特徴とする画像処理装置。
2. 前記第３の制御手段は、前記光学補正手段の補正中心が所定値よりも離れている場合の前記第２の振れ補正量のゲインを前記光学補正手段の補正中心が前記所定値よりも近づいている場合の前記第２の振れ補正量のゲインよりも小さくするとともに、前記光学補正手段の補正中心が所定値よりも離れている場合の前記第１の振れ補正量のゲインを前記光学補正手段の補正中心が前記所定値よりも近づいている場合の前記第１の振れ補正量のゲインよりも大きくする請求項１に記載の画像処理装置。
3. 前記第３の制御手段は、シャッタースピードが所定値よりも遅い場合の前記第２の振れ補正量のゲインを前記シャッタースピードが前記所定値よりも速い場合の前記第２の振れ補正量のゲインよりも大きくするとともに、前記シャッタースピードが所定値よりも遅い場合の前記第１の振れ補正量のゲインを前記シャッタースピードが前記所定値よりも速い場合の前記第１の振れ補正量のゲインよりも小さくする請求項１又は２に記載の画像処理装置。
4. 請求項１乃至４の何れか一項に記載の画像処理装置を有する光学機器。
5. 撮像光学系を通過した光束を撮像する撮像素子から出力された撮像信号を用いて画像の動きベクトルを算出するベクトル算出工程と、前記動きベクトルを用いて算出される第１の振れ補正量に基いて電子的に像振れを補正する電子補正手段を制御する第１の制御工程と、前記動きベクトルを用いて算出される第２の振れ補正量に基いて光学的に像振れを補正する光学補正手段を制御する第２の制御工程と、撮影される状況に応じて前記第１の振れ補正量の補正係数、及び前記第２の振れ補正量の補正係数を変化させるように制御する第３の制御工程と、を有する画像処理方法であって、
   前記第３の制御工程は、水平傾き補正の補正量が所定値よりも大きい場合の前記第２の振れ補正量のゲインを前記水平傾き補正の補正量が前記所定値よりも小さい場合の前記第２の振れ補正量のゲインよりも大きくするとともに、前記水平傾き補正の補正量が所定値よりも大きい場合の前記第１の振れ補正量のゲインを前記水平傾き補正の補正量が前記所定値よりも小さい場合の前記第１の振れ補正量のゲインよりも小さくすることを特徴とする画像処理方法。

Images