JP6245968B2 - 画像処理装置、撮像装置および制御方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置および制御方法に関する。

撮像装置で被写体を撮影する際に、撮影者の手振れによって生じる撮像画像のブレを補正するために、加速度センサ（ジャイロ）や画像の動きベクトルを検出し、撮像画像のブレを補正する手振れ補正が提案されている。この手振れ補正処理は、一般的に防振処理と呼ばれる。防振処理の一例として、特許文献１は、ジャイロから算出された撮像装置に発生した角度ブレ量、動きベクトル、その信頼度を用いて防振処理を実現する揺れ補正装置を開示している。

特開２００２−１６８３６号公報

撮像装置内で防振処理を実現するために、撮像装置は、低回路規模、低コスト、リアルタイム演算といった要件を満たした上で品質の高い動きベクトルを検出する動きベクトル検出回路を備えることが望ましい。しかし、すべての要件を満たした動きベクトル検出回路を撮像装置内に実装することは困難である。したがって、撮影対象となる被写体の特徴、撮影条件、撮影姿勢等によっては、撮影する全てのフレームで品質の高い動きベクトルが算出できるとは限らず、品質の低い動きベクトルが算出されると、高精度な防振結果を得ることができなかった。

本発明は、撮像時に低品質の動きベクトルが検出された場合であっても、高精度な防振処理を実現する画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、動画像の撮像時に、撮像された動画像に含まれる画像の第１の動きベクトルを検出する第１の検出手段と、前記第１の検出手段によって検出された前記第１の動きベクトルの信頼度を算出して記憶する信頼度算出手段と、前記第１の検出手段によって検出された動きベクトルに基づいて、前記動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出手段と、前記防振パラメータに基づいて、前記撮像された動画像を防振処理する防振処理手段と、前記防振処理される前の前記動画像に含まれる画像を防振処理前画像として記憶する記憶手段と、動画像の撮像時以外の所定の動作時に、前記記憶手段によって記憶された防振処理前画像に基づいて、前記第１の動きベクトルよりも信頼度が高い第２の動きベクトルを検出する第２の検出手段とを備える。前記第１の動きベクトルの信頼度が規定値より低い画像については、前記防振パラメータ算出手段が、前記第２の動きベクトルに基づいて前記防振パラメータを算出し、前記防振処理手段が、当該防振パラメータに基づいて、前記防振処理前画像を防振処理して防振処理後画像を生成する。

本発明の画像処理装置によれば、撮像時に低品質の動きベクトルが検出された場合であっても、高精度な防振処理を実現することができる。

実施例１の画像処理装置の構成例を示す図である。 実施例１の画像処理装置の構成例を示す図である。 画像の記録時における撮像装置の動作処理例を説明する図である。 画像の再生時の撮像装置の動作処理例を説明する図である。 ブロックマッチング法を説明する図である。 動きベクトルの信頼度を説明する図である。 階層型動きベクトル検出の方法の概念図である。 実施例２の撮像装置の構成例を示す図である。 実施例２の撮像装置の構成例を示す図である。 実施例３の撮像装置の、画像記録時の構成例を示す図である。

（実施例１）
図１および図２は、実施例１の画像処理装置の構成例を示す図である。図１、２に示す画像処理装置は撮像装置である。

図１は、画像処理装置の構成のうち、撮像時の処理に関する構成を示す。具体的には、図１は、撮像された動画像に含まれる画像の記憶処理に関する構成を示す。
図１（Ａ）において、１０１はレンズ、１０２はレンズを通して入力される光信号をアナログの電気信号に変換するセンサから取得されたアナログの電気信号をディジタル化してセンサ補正、ノイズ除去、現像処理等を行なうカメラ信号処理部である。

１０３は動きベクトル検出部である。動きベクトル検出部１０３は、カメラ信号処理部の出力に対して現フレームと過去フレームとの相関演算を行ない動きベクトル（第１の動きベクトル）を検出する第１の検出手段として機能する。動きベクトルの検出の代表的な手法としてブロックマッチング法がある。

図５は、ブロックマッチング法を説明する図である。まず、現フレームである３０１に対してＮ×Ｎブロックの基準ブロック３０２を複数配置する。次に、現フレーム３１２の任意基準ブロック３１３に対して、過去フレーム３１１において探索範囲（Ｎ＋ｎ）×（Ｎ＋ｎ）に存在するＮ×Ｎブロック内の画素について相関演算を行い、最も相関度の高い位置を動きベクトルとする。図５に示す例では、３１５の位置にあるＮ×Ｎブロックが最も相関が高いので、３１４を動きベクトルとして検出する。なお、相関値である評価値を算出する手段として、Ｎ×Ｎブロック内の画素に対する、差分絶対値和、差分二乗和、正規相互相関値等がある。ここでは、差分絶対値和を評価値とすると、差分絶対値和が最も低い時が最も相関が高い。

図６は、動きベクトルの信頼度を説明する図である。
動きベクトル検出部１０３は、動きベクトルの検出処理を実行するほか、動きベクトルの信頼度を算出する信頼度算出手段として機能する。図６中の４０１から４０４の各グラフは、横軸が基準ブロックに対する水平方向の探索範囲の座標位置、縦軸が各座標位置における差分絶対値和である。なお、図６は水平方向の２次元表示であるが、実際には垂直方向を考慮した３次元的な分布として表現される。

グラフ４０１では、差分絶対値和の極小値が１つでかつ他の差分絶対値和よりも十分小さいので、動きベクトルの信頼度が高いと言える。一方、グラフ４０２では、差分絶対値和の極小値が存在するが、全ての差分絶対値和の値が高いため、相関が高いブロックが検出できなかったため、動きベクトルの信頼度が低いと言える。また、グラフ４０３では、差分絶対値和の極小値が存在するが、全ての差分絶対値和の値が低いため、動きベクトルが検出しにくい平坦部や低コントラスト部であると推測できる。さらに、グラフ４０４では、差分絶対値和の極小値が複数存在するため、動きベクトルが検出しにくい縞模様、格子模様、線であると推測できる。このように、動きベクトル検出時に算出される差分絶対値和を用いて、検出された動きベクトルの信頼度が算出される。

なお、動きベクトルの信頼度情報算出は、上述した方法に限定されない。例えば、撮像装置にジャイロセンサが具備されている場合は、ジャイロセンサ出力から得られる角度ブレ量と動きベクトルの乖離度を信頼度として、乖離が大きい場合に信頼度が低いとする方法を用いてもよい。なお、信頼度情報にはフレーム番号等の情報が付与されているものとする。

防振パラメータ算出部１０４は、撮像装置に設けられたジャイロセンサの出力の積分値から撮像装置の角度ブレ量を算出し、角度ブレ量と動きベクトルとに基づいて、動画像中の揺れを低減するための防振パラメータを算出する。ここでいう防振パラメータとは、具体的には幾何変形部１０５に対する射影変換行列やアフィン変換行列である。幾何変形部１０５は、防振パラメータ算出部１０４が算出した防振パラメータを用いて、カメラ信号処理部１０２から出力される画像に対して防振処理する。

縮小部１０６は、幾何変形部１０５で防振処理された画像を表示部の画素数に適合するように縮小する。表示部１０７は、縮小部１０６によって縮小された画像を表示する。表示部は、例えばＥＶＦ等である。なお、表示部１０７に表示される防振処理後の画像（以下、「防振処理後画像」と記述する）は、動きベクトルの信頼度が低い場合に、高精度の防振処理が施されておらず、揺れ残りや画角ずれが起きた画像が表示される。

１０８は、防振処理前の画像（以下、「防振処理前画像」と記述する）を記憶する防振処理前画像記憶部である。１０９は、動きベクトル検出部１０３によって検出された動きベクトルを記憶する動きベクトル記憶部である。また、１１０は、動きベクトル検出部１０３で動きベクトルを検出する際に算出される動きベクトルの信頼度情報を記憶する信頼度情報記憶部である。

図３は、実施例１における画像の記録（記憶）時における撮像装置の動作処理例を説明するフローチャートである。
Ｓ２０１で、本撮像装置の記録動作が開始され、Ｓ２０２に移行する。Ｓ２０２で、レンズ１０１を通じて本撮像装置に画像が入力されＳ２０３に移行する。Ｓ２０３で、カメラ信号処理部１０２で画像の現像処理が行なわれＳ２０４に移行する。Ｓ２０４で、動きベクトル検出部１０３が、図５を参照して説明した方法で、現フレームの画像と過去フレームの画像を用いて、動きベクトルと動きベクトル検出時に用いる差分絶対値和を算出しＳ２０５に移行する。Ｓ２０５で、動きベクトル検出部１０３が、差分絶対知和を用いて動きベクトルの信頼度情報を算出し、Ｓ２０６とＳ２０８に移行する。

Ｓ２０６で、動きベクトル検出部１０３が、算出した動きベクトルの信頼度情報を信頼度情報記憶部１１０に記憶する。また、Ｓ２０７で、撮像装置は、防振処理前画像を防振処理前画像記憶部１０８に記録して、Ｓ２１１に移行する。

一方、Ｓ２０８で、防振パラメータ算出部１０４が、動きベクトルとジャイロセンサ出力とを用いて防振パラメータを算出し、Ｓ２０９に移行する。続いて、Ｓ２０９で、幾何変形部１０５が、防振パラメータを用いて画像に防振処理を行ない、Ｓ２１０に移行する。

防振処理理後の画像に対して縮小部１０６が縮小処理を行なった後、Ｓ２１０で、表示部１０７が、縮小処理後の画像を表示する。これにより、防振処理後画像が表示対象となり、高精度の防振処理が実現される。Ｓ２１１で、本撮像装置に対する記録終了の指示がある場合は、記録を終了し、指示がない場合は、Ｓ２０２に移行して、上述した処理を記録終了まで繰り返す。

図２は、画像処理装置の構成のうち、画像の表示処理に関する構成例を示す図である。なお、図１中に示す処理部と同一の処理部については同一番号を付与し説明を省略する。高品位動きベクトル検出部１２０は、階層型動きベクトル検出処理を実行することで、高品位の動きベクトル（第２の動きベクトル）を検出する第２の検出手段として機能する。なお、この例では、高品位動きベクトル検出部１２０は、画像が表示される際に、高品位の動きベクトルを検出するが、高品位動きベクトル検出部１２０は、撮像時以外、すなわちカメラ記録時以外の所定の動作時に高品位の動きベクトルを検出してもよい。例えば、高品位動きベクトル検出部１２０が、スタンバイ時、充電時等に高品位の動きベクトルを検出するようにしてもよい。

図７は、階層型動きベクトル検出の方法の概念図である。５０１は記録された画像であり、画像５０２、画像５０３となるに連れて画像サイズが小さくなっていく。最下位層の画像５０３では動きベクトル精度が粗いものの、広い探索範囲から動きベクトルを検出することができ、おおよその動きを求めることができる。次に、中間階層、最上位階層で、下位階層で算出した動きベクトル位置を中心に探索すれば、探索範囲を狭めて候補を絞りながら、動きベクトル精度を上げていくことができる。すなわち、高品位動きベクトル検出部１２０は、防振処理前画像に対応する、画像サイズおよび動きベクトルの探索範囲とが異なる複数の階層の画像に基づいて、第２の動きベクトルを検出する。

なお、高品位の動きベクトルを算出する手段は図７を参照して説明した方法に限定されない。例えば、サーバやスマートフォン等の撮像装置外部に存在するＣＰＵや専用ハードウェアを用いて被写体のコーナー等の特徴点の対応関係から動きベクトルを算出しても良い。

図２の説明に戻る。スイッチ１２１は、動きベクトル記憶部１０９に記憶されている動きベクトルと、高品位動きベクトル検出部１２０で検出した高品位の動きベクトルとのうちのいずれを選択するかを、動きベクトル信頼度情報に基づいて切り替える。スイッチ１２１は、動きベクトル記憶部１０９に記憶されている動きベクトルの信頼度が規定値以上である場合は、当該動きベクトル（画像記録時に記録した動きベクトル）を選択して防振パラメータ算出部１０４に出力する。スイッチ１２１は、動きベクトル記憶部１０９に記憶されている動きベクトルの信頼度が規定値より低い場合は、高品位動きベクトル検出部１２０で検出した高品位の動きベクトルを選択して防振パラメータ算出部１０４に出力する。

幾何変形部１０５は、防振パラメータ算出部１０４で算出した新たな防振パラメータを用いて画像を防振処理し、防振処理後画像を防振処理後画像記憶部１２２に記録（記憶）する。

図４は、実施例１における画像の再生時の撮像装置の動作処理例を説明するフローチャートである。なお、このフローチャートは、撮像装置が備える図示しないＣＰＵの制御にしたがって実行される。
Ｓ２２１で、本撮像装置の再生動作が開始され、Ｓ２２２に移行する。撮像装置が、防振処理前画像記憶部に記録済の防振処理前画像を高品位動きベクトル検出部１２０に入力して、Ｓ２２３に移行する。Ｓ２２３で、撮像装置が、信頼度情報記憶部１１０から、動きベクトル信頼度情報をスイッチ１２１に入力し、Ｓ２２４に移行する。入力される動きベクトル信頼度情報は、画像記録時に算出された現フレームの動きベクトルの信頼度である。

Ｓ２２４で、スイッチ１２１が、記録時に算出された現フレームの動きベクトルの信頼度が低いかを判断する。記録時に算出された現フレームの動きベクトルの信頼度が低い場合は、Ｓ２２５に移行する。画像記録時に算出された現フレームの動きベクトルの信頼度が高い（規定値以上である）場合は、Ｓ２２６に移行する。

Ｓ２２５で、高品位動きベクトル検出部１２０が、高品位の動きベクトルを算出する。そして、スイッチ１２１が、高品位の動きベクトルを防振パラメータ算出部１０４に入力して、Ｓ２２７に移行する。Ｓ２２６で、スイッチ１２１が、動きベクトル記憶部１０９から、記録済の現フレームの動きベクトルを防振パラメータ算出部１０４に入力して、Ｓ２２７に移行する。

Ｓ２２７で、防振パラメータ算出部１０４が、スイッチ１２１から入力された動きベクトルに基づいて、防振パラメータを算出する。なお、記録時にジャイロセンサの出力情報が記録されている場合、防振パラメータ算出部１０４が、その出力情報も用いて防振パラメータを算出するようにしてもよい。

Ｓ２２８で、幾何変形部１０５が、防振パラメータ算出部１０４によって算出された防振パラメータを用いて幾何変形処理（防振処理）を行ない、防振処理後画像を生成する。そして、処理がＳ２２９に移行する。Ｓ２２９で、幾何変形部１０５が、防振処理後画像を防振処理後画像記憶部１２２に記録する。また、Ｓ２３０で、表示部１０７が、防振処理後画像を表示する。

Ｓ２３１で、本撮像装置に対する再生終了の指示がある場合、もしくは再生するデータの最終フレームまで再生した場合は、再生を終了し、指示がなく、最終フレームまで再生していない場合はＳ２２２に移行して、上述した処理を再生終了まで繰り返す。

再生時の動作については、本撮像装置に再生指示が与えられた場合だけでなく、充電時等の本撮像装置を使用していない時に、バックグラウンド処理として行なっても良い。なお、その際、表示部への防振画像の表示は不要なので、表示部への出力は行なわないものとする。さらに、この動作は複数回行なうことも可能である。

（実施例２）
実施例２の撮像装置は、動きベクトル信頼度が低いフレームは、防振処理前画像と防振処理後画像記録し、各々の画像で動きベクトルを算出して、品質が高い方を選択する。

図８および図９は、実施例２の撮像装置の構成例を示す。図８は記録時の構成、図９は再生時の構成を示す。

図８において、６０１はレンズ、６０２はレンズを通して入力される光信号をアナログの電気信号に変換するセンサから取得されたアナログの電気信号をディジタル化してセンサ補正、ノイズ除去、現像処理等を行なうカメラ信号処理部である。

６０３は動きベクトル検出部であり、実施例１と同様に、カメラ信号処理部の出力に対して現フレームと過去フレームとの相関演算を行ない、動きベクトルと動きベクトルの信頼度とを算出する。

６０４は防振パラメータ算出部である。防振パラメータ算出部６０４は、撮像装置にジャイロセンサが具備されている場合は、ジャイロセンサ出力の積分値から撮像装置の角度ブレ量を算出し、動きベクトルと合わせて、揺れを抑制するための防振パラメータを算出する。６０５は幾何変形部である。幾何変形部６０５は、防振パラメータ算出部６０４が算出した防振パラメータに基づいて、カメラ信号処理部６０２からの画像に対して幾何変形処理（防振処理）を実行する。６０６は縮小部であり、幾何変形部６０５で防振処理された防振処理後画像を表示部の画素数に適合するように縮小する。表示部６０７は、縮小された画像を表示する。

６０８は、防振処理前画像を記憶する防振処理前画像記憶部である。６０９は、動きベクトル検出部６０３で算出された動きベクトルを記憶する動きベクトル記憶部である。６１０は、動きベクトル検出部６０３で動きベクトルを検出する際に算出される動きベクトルの信頼度情報を記憶する信頼度情報記憶部である。

６１１はスイッチである。スイッチ６１１は、本撮像装置で防振処理した防振処理後画像を防振処理後画像記憶部６１２に記録するかどうかを、信頼度情報記憶部６１０に記憶された動きベクトルの信頼度に基づき決定する。動きベクトルの信頼度が低い場合は、防振処理後画像を記録する。動きベクトルの信頼度が高い場合は、防振処理後の画像を記録しないようにする。

図９を説明する。６２０、６２１は、高品位動きベクトル検出部である。高品位動きベクトル検出部６２０は、防振処理前画像記憶部６０８に記憶されている防振処理前画像を用いて動きベクトルを検出する。高品位動きベクトル検出部６２１は、画像記録時の防振処理後画像を防振処理後画像記憶部６１２から取得し、取得した防振処理後画像を用いて動きベクトルを検出する。なお、具体的な検出方法は、実施例１と同様に、階層型動きベクトル検出や、外部ＣＰＵや外部専用ハードウェアを用いた動きベクトル検出である。

６２２はスイッチ、６２３は信頼度判定部である。信頼度判定部６２３は、高品位動きベクトル検出部６２０、６２１のそれぞれが出力する動きベクトルのうち、いずれの動きベクトルの信頼度が高いかを判定し、信頼度が高い動きベクトルを選択して出力するようにスイッチ６２２に指示する。

スイッチ６２２は、信頼度情報記憶部６１０から、記録済の動きベクトルの信頼度を取得する。記録済の動きベクトルの信頼度が低い場合は、スイッチ６２２で選択された高品位の動きベクトルを選択して出力する。記録済の動きベクトルの信頼度が高い場合は、記録済の動きベクトルを出力する。

防振パラメータ算出部６０４が、スイッチ６２４が出力した動きベクトルを用いて防振パラメータを算出し、幾何変形部６０５が防振処理を実行する。幾何変形部６０５は、防振処理後画像を防振処理後画像記憶部６２５に記憶する。また、表示部６０７が、防振処理後画像を表示する。

（実施例３）
実施例３の撮像装置は、動きベクトルの信頼度が低いフレームが発生（動きベクトルエラーが発生）するかを予測し、動きベクトルエラーが発生すると予測した場合は、画像の特徴を強調して、高品位の動きベクトル検出が行ないやすい画像を合わせて記録する。

図１０は、実施例３の撮像装置の、画像記録時の構成例を示す図である。なお、画像再生時の構成は、実施例１もしくは実施例２の再生時の構成と同様なので、説明を省略する。

図１０において、レンズ７０１乃至表示部７０６は、図８のレンズ６０１乃至表示部６０７と同様である。また、防振処理前画像記憶部７０８乃至動きベクトル記憶部７０６は、図８の防振処理前画像記憶部６０８乃至動きベクトル記憶部７０９と同様である。

７１１は動きベクトルエラー発生予測部である。動きベクトルエラー発生予測部７１１は、動きベクトルエラーが発生するか否かを予測する。動きベクトルエラー発生予測部７１１は、少なくとも、撮影姿勢がテレ側で歩き撮りである場合、カメラワークが大きい場合、ジャイロで算出した角度ブレ量が所定量以上である場合のうちのいずれかの場合に、動きベクトルエラーが発生すると予測する。動きベクトルエラー発生予測部７１１は、動きベクトルエラーの発生の予測結果（予測情報）を出力する。この予測情報はスイッチ７１３に入力される。

７１２はフィルタ処理部である。フィルタ処理部７１２は、動きベクトルを検出しやすいように、エッジ等の高周波成分を強めるハイパスフィルタで画像の特徴を強調する強調処理（フィルタ処理）を実行し、防振処理前画像としてスイッチ７１３に出力する。

スイッチ７１３は、入力された予測情報に基づき、動きベクトルエラーが発生することが予測されるフレームに対しては、フィルタ処理された画像を防振処理前画像記憶部７１４に記憶する。

画像再生時には、防振処理前画像記憶部７１４、７０８が、例えば、図９の防振処理前画像記憶部６０８として機能する。したがって、高品位動きベクトル検出部６２０は、動きベクトルエラーが発生すると予測されるフレームについては、防振処理前画像記憶部７１４から取得した画像に基づいて動きベクトルを検出する。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ レンズ
１０２ カメラ信号処理部
１０３ 動きベクトル検出部
１０４ 防振パラメータ算出部
１０５ 幾何変形部
１０６ 縮小部
１０７ 表示部

Claims (9)

1. 動画像の撮像時に、撮像された動画像に含まれる画像の第１の動きベクトルを検出する第１の検出手段と、
   前記第１の検出手段によって検出された前記第１の動きベクトルの信頼度を算出して記憶する信頼度算出手段と、
   前記第１の検出手段によって検出された動きベクトルに基づいて、前記動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出手段と、
   前記防振パラメータに基づいて、前記撮像された動画像を防振処理する防振処理手段と、
   前記防振処理される前の前記動画像に含まれる画像を防振処理前画像として記憶する記憶手段と、
   動画像の撮像時以外の所定の動作時に、前記記憶手段によって記憶された防振処理前画像に基づいて、前記第１の動きベクトルよりも信頼度が高い第２の動きベクトルを検出する第２の検出手段とを備え、
   前記第１の動きベクトルの信頼度が規定値より低い画像については、前記防振パラメータ算出手段が、前記第２の動きベクトルに基づいて前記防振パラメータを算出し、前記防振処理手段が、当該防振パラメータに基づいて、前記防振処理前画像を防振処理して防振処理後画像を生成する
   ことを特徴とする画像処理装置。
2. 前記第１の動きベクトルの信頼度が規定値より高い画像については、前記防振パラメータ算出手段が、前記第１の動きベクトルに基づいて前記防振パラメータを算出し、前記防振処理手段が、当該防振パラメータに基づいて、前記防振処理前画像を防振処理する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記動画像の撮像時に、第１の動きベクトルの信頼度が規定値より低い画像については、前記防振処理手段が当該画像を防振処理して防振処理後画像として記憶し、
   動画像の撮像時以外の所定の動作時に、前記第２の検出手段は、第１の動きベクトルの信頼度が規定値より低い画像については、前記防振処理前画像と前記防振処理後画像のそれぞれに基づいて算出される動きベクトルのうち、信頼度が高いほうの動きベクトルを前記第２の動きベクトルとして検出する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記動画像の撮像時に、前記第１の動きベクトルの信頼度が規定値より低くなるエラーの発生が予測される画像については、前記記憶手段は、当該画像の高周波成分を強調した画像を前記防振処理前画像として記憶する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記エラーの発生を予測し、当該エラーの発生の予測情報を出力する予測手段と、
   前記撮像された動画像に含まれる画像の高周波成分を強調する処理を実行する強調処理手段と備え、
   前記記憶手段は、前記エラーの発生の予測情報に基づいて、当該エラーが発生するかを判断し、当該エラーが発生すると判断した画像については、前記強調処理によって得られた画像を前記防振処理前画像として記憶する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記予測手段は、少なくとも、前記動画像の撮像を行う撮像装置の撮影姿勢がテレ側で歩き撮りである場合、カメラワークが大きい場合、または前記撮像装置の角度ブレ量が規定値以上である場合のうちのいずれかの場合に、前記エラーの発生を予測する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記第２の検出手段は、前記防振処理前画像に対応する、画像サイズおよび動きベクトルの探索範囲とが異なる複数の階層の画像に基づいて、前記第２の動きベクトルを検出する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 請求項１乃至７のいずれか１項の記載の画像処理装置として機能する撮像装置。
9. 動画像の撮像時に、撮像された動画像に含まれる画像の第１の動きベクトルを検出する第１の検出工程と、
   前記第１の検出工程によって検出された前記第１の動きベクトルの信頼度を算出して記憶する信頼度算出工程と、
   前記第１の検出工程によって検出された動きベクトルに基づいて、前記動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出工程と、
   前記防振パラメータに基づいて、前記撮像された動画像を防振処理する防振処理工程と、
   前記防振処理される前の前記動画像に含まれる画像を防振処理前画像として記憶する記憶工程と、
   動画像の撮像時以外の所定の動作時に、前記記憶された防振処理前画像に基づいて、前記第１の動きベクトルよりも信頼度が高い第２の動きベクトルを検出する第２の検出工程とを有し、
   前記第１の動きベクトルの信頼度が規定値より低い画像については、前記防振パラメータ算出工程によって、前記第２の動きベクトルに基づいて前記防振パラメータを算出し、前記防振処理工程によって、当該防振パラメータに基づいて、前記防振処理前画像を防振処理して防振処理後画像を生成する
   ことを特徴とする画像処理装置の制御方法。

Images