JP5279453B2 - 画像振れ補正装置、撮像装置及び画像振れ補正方法 - Google Patents

Description

本発明は、撮像装置により取得された動画像中の不要な振れを低減する画像防振技術に関する。

動画像を取得可能なビデオカメラ等の撮像装置には、手振れ等に起因する動画像中の振れを低減する画像防振装置が搭載されているものが多い。従来の画像防振装置は、撮影者が立ち止まって手持ち撮像を行い、かつ撮像光学系が望遠側に設定されている場合に、手振れによる撮像装置の動き（姿勢変化）が顕著に動画像中に現れることを抑えることを主目的とするものである。

撮像装置の姿勢変化を検出する方式には、撮像装置に角速度センサや加速度センサ等の振れ検出センサを搭載し、撮像装置の回転を検出する方式がある。また、振れ検出センサを用いず、動画像を構成する２つの画像（フレーム画像）から動きベクトルを算出し、撮像装置の姿勢変化を推定する方式もある（特許文献１参照）。これらいずれの方式も、手振れのような微小な回転運動による撮像装置の姿勢変化に起因して動画像中に現れる振れを低減する場合に好適である。

画像防振処理では、撮像光学系が望遠側に設定されているために撮像装置の回転運動による動画像の振れを上下左右の動きに近似できることを利用して、姿勢変化の検出結果に応じて撮像素子からの読み出し領域を変更することで動画像中の振れを低減する
上記のよう姿勢変化の検出方式を用いる場合、一般に、振れ検出センサの出力や動きベクトルの算出値に上限を設け、姿勢変化の検出結果に対して例外処理を設けることで、画像防振処理のエラーを削減する。

一方、撮像装置を持って歩行しながら撮像を行う場合も多い。この場合、撮像光学系は広角側に設定されることが多いため、手振れに起因して動画像に現れる振れはそれほど大きくはない。

ただし、歩行に伴う撮像装置の姿勢変化（着地時の振動や体の揺れに起因する姿勢変化）は、手振れに比べて大きく、かつ複雑である。そして、歩行に伴って発生する動画像中の振れは手振れに起因する動画像中の振れとは振れの種類が異なり、また、撮像光学系も広角側に設定されているため、手振れを想定した防振方法では、歩行に伴って発生する動画像中の振れを良好に低減することはできない。

歩行に伴って発生する動画像中の振れを低減する方法としては、非特許文献１にて開示されたものがある。この方法では、動画像中の隣接するフレーム画像間で算出した動きベクトルから、撮像装置のパン、チルト及び光軸周り回転の３軸の回転情報を推定し、その回転情報を利用して画像防振処理を行う。
特許第２５８６６８６号公報 M.Irani, et al,"Recovery of Ego-Motion Using Image Stabilization",IEEE Computer Society Conference on Computer Vision and Pattern Recognition,1994

しかしながら、上述のように動きベクトルを用いて、撮像装置の複雑な姿勢変化を推定して動画像中の振れを低減するためには、シーンや被写体の配置や動き、動きベクトルの推定誤差等によって誤った推定値を算出する場合が多くなる。例えば、撮像装置又は被写体の運動速度が想定した速さより速い場合やシーンに特徴のない場合等では、動きベクトルが正しく算出されないことが多い。

また、動きベクトルが正しく算出されている場合でも、シーン中の被写体の配置や複数の被写体の動き等により、撮像装置の姿勢変化が誤って推定される。

この例を図７（ａ）及び図７（ｂ）に示す。これらの図において、横軸は時刻を、縦軸は推定した撮像装置の姿勢変化に関連する要素１〜８の時間変化を示している。図７（ａ）は、姿勢変化の推定結果を表している。図７（ｂ）は、図７（ａ）に示した姿勢変化による動画像の振れを抑制するための補正量である。

要素１〜要素４において、７０１で誤った推定値が算出されている。このため、これらの誤った推定結果に基づいて補正量を算出すると、７０２に示すように、誤推定値がそれ以降の時刻での補正量に影響してしまう。そして、誤推定結果の影響により不適切な画像防振処理が行われた動画像が出力されてしまう。

本発明は、撮像装置の複雑な姿勢変化をも良好に推定し、適切な像振れ補正処理を行えるようにした画像振れ補正装置、撮像装置及び画像振れ補正方法を提供する。

本発明の一側面としての画像振れ補正装置は、動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出手段と、前記動きベクトルを用いて、撮像装置の姿勢変化の結果として画像中に現れる複数の変形の要素に基づいて前記２つの画像間での画像変化量を推定する推定手段と、前記画像変化量の複数の要素のそれぞれについて、前記撮像装置の特定の姿勢変化に対応する条件を満足するか否かを判定し、当該判定結果によって、前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定する判定手段と、前記判定手段による判定結果及び前記推定された画像変化量に基づいて前記動画像中の振れを低減するための像振れ補正パラメータを算出する像振れ補正パラメータ算出手段と、前記像振れ補正パラメータを用いて像振れ補正処理を行う処理手段とを有することを特徴とする。

なお、光学系を用いて被写体像を撮像する撮像部と、上記画像振れ補正装置とを有する撮像装置も本発明の他の一側面を構成する。

本発明の他の一側面としての画像振れ補正方法は、撮像装置によって取得された動画像中の振れを低減する像振れ補正処理を行う画像振れ補正方法であって、前記動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出ステップと、前記動きベクトルを用いて、撮像装置の姿勢変化の結果として画像中に現れる複数の変形の要素に基づいて前記２つの画像間での画像変化量を推定する推定ステップと、前記画像変化量の複数の要素のそれぞれについて、前記撮像装置の特定の姿勢変化に対応する条件を満足するか否かを判定し、当該判定結果によって、前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定する判定ステップと、前記判定ステップによる判定結果及び前記推定された画像変化量に基づいて前記動画像中の振れを低減するための像振れ補正パラメータを算出する像振れ補正パラメータ算出ステップと、前記像振れ補正パラメータを用いて像振れ補正処理を行う処理ステップとを有することを特徴とする。

本発明によれば、推定された画像変化量の特定の姿勢変化に対する妥当性を判定するので、撮像装置の複雑な姿勢変化をも良好に推定することができ、適切な像振れ補正処理を行うことができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像防振装置を搭載した撮像装置の構成を示している。

１００は撮像光学系であり、被写体からの光を撮像素子１０２上に結像させる。１０１は絞りやシャッタ等を含む露光制御部材であり、撮像素子１０２の露光量を制御する。

１０２は被写体像（光学像）を電気信号に変換して出力する撮像素子であり、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサにより構成される。

１０３は画像形成回路であり、撮像素子１０２からのアナログ出力信号をデジタル信号に変換し、該デジタル信号に各種処理を行って所定の周期で画像（フレーム画像）を順次生成する。画像形成回路１０３は、不図示のＡ／Ｄ変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換処理等回路等を含む。撮像素子１０２及び画像形成回路１０３により撮像部が構成される。

１０４は露光制御部材１０１を制御する露光制御部であり、１０５は撮像光学系１００のフォーカシングを制御するフォーカス制御部である。露光制御部１０４及びフォーカス制御部１０５は、ＴＴＬ方式等を用いて制御される。

１０６は撮像装置１の全体の動作の制御を司るシステム制御回路である。１０７はシステム制御回路１０６での動作制御用のデータ及び処理プログラム等を記憶したＦＬＡＳＨ ＲＯＭ等を用いたメモリである。

１０８は各種調整値等の情報を記憶する電気的に消去及び記録が可能なＥＥＰＲＯＭ等の不揮発性メモリである。

１０９は画像防振装置としての防振処理回路であり、画像形成回路１０３にて所定の周期で連続して生成される複数のフレーム画像により構成される動画像中の振れを低減するための画像防振処理を行う。

１１０は画像形成回路１０３で生成されたフレーム画像を数フレーム分、記憶保持する第１のフレームメモリである。１１１は防振処理回路１０９で画像防振処理されたフレーム画像（以下、防振フレーム画像という）を一時的に記憶保持する第２のフレームメモリである。

１１２は第１及び第２のフレームメモリ１１０，１１１に対するフレーム画像の入出力を制御するメモリ制御回路である。１１３は防振処理回路１０９から出力される防振フレーム画像（つまりは振れが低減された動画像）を、不図示の画像出力装置に表示又は記録する画像出力部である。

次に、防振処理回路１０９の構成について説明する。１０９１は、画像形成回路１０３で順次生成される２つのフレーム画像から動きベクトルを検出する動きベクトル検出回路（動きベクトル算出手段）である。

１０９２は、動きベクトル検出回路１０９１で検出された動きベクトルから、撮像装置１の姿勢変化（動き）に関連した画像変化量を推定する画像変化量推定回路（推定手段）である。

１０９３は妥当性判定回路（判定手段）である。妥当性判定回路１０９３は、画像変化量推定回路１０９２で推定された画像変化量の時間的な変化（時間変化）から、推定された画像変化量が撮像装置１の特定の姿勢変化による画像変化量か否かを判定する。言い換えれば、推定された画像変化量が撮像装置１の特定の姿勢変化による値として「妥当性」を有するか否かを判定する。

ここにいう「特定の姿勢変化」とは、速度が所定の低速範囲内である撮像装置１の動きや、シーン中の被写体の配置や複数の被写体の動き等の影響によらない純粋な撮像装置の動きを意味し、基本的には、時間的に滑らか（緩やか）な動きに相当する。

１０９４は妥当性判定回路１０９３での判定結果及び画像変化量推定回路１０９２で推定された画像変化量に基づいて、画像防振処理のための防振パラメータを算出する防振パラメータ算出回路（防振パラメータ算出手段）である。

１０９５は防振パラメータ算出回路１０９４で算出された防振パラメータを用いてフレーム画像に対して幾何変換処理を行い、防振フレーム画像を生成する防振映像生成回路（幾何変換手段）である。

１０９６は一時記憶用メモリ回路であり、１０９７は電気的に消去及び記録可能なＥＥＰＲＯＭ等の不揮発性メモリである。１０９８は防振処理回路１０９内の各回路を制御する防振制御回路であり、ＭＰＵ等で構成されている。

次に、撮像装置１の動作について、図２のフローチャートを用いて説明する。図２は、撮像装置１により動画像を取得し、該動画像中の振れを低減する画像防振処理（画像防振方法）を実行し、画像出力装置に表示又は記録するまでの処理を示す。これらの処理は、システム制御回路１０６及び防振処理回路１０９が、メモリ１０７及び防振制御回路１０９８内に格納されたコンピュータプログラムに従って行われる。

ステップＳ２０１では、システム制御回路１０６は、不図示の撮像開始スイッチが投入されると、露光制御部１０４やフォーカス制御部１０５に、露光条件の決定や撮像光学系１００のフォーカス制御を行わせる。そして、撮像素子１０２は、撮像光学系１００により形成された被写体像を光電変換し、被写体輝度に応じたアナログ信号を出力する。

ステップＳ２０２では、システム制御回路１０６は、画像形成回路１０３に、撮像素子１０２からの出力信号からフレーム画像を順次生成させ、フレームメモリ１１０に記録保持させる。

ステップＳ２０３では、システム制御回路１０６は、動画像に対して画像防振処理を行う防振モードが設定されているか否かを判定する。防振モードが設定されていない場合は、システム制御回路１０６は、ステップＳ２０６にて、画像形成回路１０３で生成された画像防振処理されていないフレーム画像を画像出力装置に送る。防振モードが設定されている場合は、ステップＳ２０４に進む。

ステップＳ２０４では、システム制御回路１０６は、１時刻前のフレーム画像（以下、前フレーム画像という）が第１のフレームメモリ１１０に保持されているか否かを確認する。前フレーム画像が保持されていない場合は、システム制御回路１０６は、ステップＳ２０６にて、その前フレーム画像を画像出力装置に送る。前フレーム画像が保持されている場合は、ステップＳ２０５に進む。

ステップＳ２０５では、防振処理回路１０９は画像防振処理を行う。画像防振処理を図３のフローチャートを用いて説明する。

ステップＳ３０１において、防振制御回路１０９８は、動きベクトル検出回路１０９１に、前フレーム画像と前フレーム画像よりも１時刻後のフレーム画像（以下、現フレーム画像という）の２つのフレーム画像間での動きベクトルを算出させる。本実施例にいう「２つのフレーム画像」は、時間的に連続した２つのフレーム画像であるが、本発明にいう「２つのフレーム画像」は必ずしも時間的に連続している必要はない。

動きベクトルの算出には、テンプレートマッチングや勾配法等によるマッチング方法を用いる。また、動きベクトルは、フレーム画像を複数の領域に分割して得られる分割領域ごとに算出してもよいし、動きベクトルを算出しやすい特徴的な領域を事前に抽出しておき、その領域で算出してもよい。ただし、動きベクトルの算出方法はこれらに限られない。

次に、ステップＳ３０２では、防振制御回路１０９８は、防振パラメータの算出処理を行う。このステップでの処理を、図４のフローチャートを用いて説明する。

まずステップＳ４０１では、防振制御回路１０９８は、画像変化量推定回路１０９２に、ステップＳ３０１で算出された動きベクトルから画像変化量を推定（算出）させる。

ここでは、画像変化量として射影ホモグラフィを用いる。前フレーム画像における座標を（ｕ_ｉ，ｖ_ｉ）とし、現フレーム画像における座標を（ｕ_ｉ′，ｖ_ｉ′）とする（ｉ＝１，２，…，ｍ：ｍは動きベクトルを算出する前フレーム画像と現フレーム画像での対応点の数を表す）。この場合、式１のような線形式が得られる。

（式１）
式１の線形式は、対応点数ｍが８つあれば算出可能であり、８つ以上ある場合は、最小二乗式として解くことにより、ｈ１，…ｈ９が求められる。

これを３ｘ３の行列式に整形することにより、式２に示すような行列Ｈを得る。この行列Ｈが画像変化量を表す射影ホモグラフィである。

（式２）

射影ホモグラフィＨは、撮像装置１の投影中心（光軸と撮像面との交点）から３次元空間中の基準となる平面（以下、基準面という）までの距離ｄと撮像装置１の回転行列Ｒと並進ベクトル

の情報から構成され、式３のようにも表現できる。

（式３）

は基準面の法線ベクトルであり、λは任意の定数である。

ただし、射影ホモグラフィは式１のように時刻ごとに算出された動きベクトルから算出されるため、基準面の法線ベクトル

は時刻ごとに異なる。このため、各時刻に求まる射影ホモグラフィをそのまま用いても良好な画像防振処理を行うことができない。

そこで、画像変化量推定回路１０９２は、各時刻において求められる射影ホモグラフィの基準面を、撮像装置１（撮像光学系１００）の光軸に対して直交するように再計算する。具体的には、射影ホモグラフィを撮像装置１の回転行列Ｒと、基準面の法線ベクトル

と、並進ベクトル

及び深度ｄの積

に分解する。そして、画像変化量を分解して得られた

のうち、基準面の法線ベクトル

を光軸に直交する法線

に置き換え、式４のように画像変化量を再計算する。

（式４）
これにより、基準面を撮像装置１の光軸に直交する方向に整列し直した射影ホモグラフィＨ′を得る。

次に、ステップＳ４０２において、防振制御回路１０９８は、妥当性判定回路１０９３に、連続する２つのフレーム画像間において再計算した射影ホモグラフィＨ′が撮像装置１の特定の姿勢変化による値として妥当か否か（妥当性を有するか否か）を判定させる。

式２に示したように、射影ホモグラフィは９つの要素からなる行列式である。また、式３に示したように、撮像装置の姿勢変化の結果として画像中に現れる全ての変形を表す行列である。

これらの関係から、式２に表される行列（射影ホモグラフィ）Ｈの要素として、ｈ_１，ｈ_２，ｈ_４，ｈ_５は画像の回転および拡大縮小が混合している要素、ｈ_３，ｈ_４は画像の上下左右の並進を表す要素である。ｈ_７，ｈ_８は上下左右のあおりを表している要素であることが分かる。

これらの値を、時間的に滑らかであるという「特定の姿勢変化」に対応する制約条件を満足するか否かを判定することで、射影ホモグラフィ（画像変化量）の推定結果が妥当性を有するか否かを判定する。すなわち、ここでは、画像変化量を表す各要素の時間変化量を用いて上記判定を行う。

今、時刻ｔにおいて推定した射影ホモグラフィをＨ（ｔ）とし、その時刻における妥当性をＶ（ｔ）（∈［０，１］）とすると、Ｖ（ｔ）は式５のように表される。

（式５）
ただし、ΔＨ＝｛Δｈ_ｉ｝（ｉ＝１，…，９）であり、ΔＨは射影ホモグラフィの各要素の滑らかさを表す値である。ΔＨが所定の閾値より小さい場合は「妥当性」を有すると判定し、ΔＨが所定の閾値より大きい場合は「妥当性」がないと判定する。

このように、射影ホモグラフィの妥当性を検証することで、例えば図７（ａ）に示すように、突発的に要素の値が大きく変化する場合を検出することが可能となる。

なお、ここでは射影ホモグラフィの全ての要素の時間変化量に基づいて「妥当性」を判定する場合について説明したが、「妥当性」の判定は少なくとも１つの要素の時間変化量に基づいて行うことが可能である。また、「妥当性」の判定手法として、各要素の所定時間での累積変化量が所定の閾値より小さいか否かにより判定したり、値が所定の閾値を超えた要素の数と超えない要素の数との多数決によって判定したりしてもよい。

さらに、「妥当性」の判定に、撮像装置１の姿勢変化の時間的滑らかさとは別の判定基準を用いることも可能である。例えば、射影ホモグラフィにおける特定の要素のみに着目し、その時間変化が単調増加又は単調減少であるかをカウントし、そのカウント値が所定の閾値以上か否かで「妥当性」を判定してもよい。

このような基準を付加することで、例えば、あおり成分を表すｈ_７，ｈ_８が時間的に単調に増加／減少しているような、現実の撮像装置の姿勢変化としてはあり得ない画像変化量を「妥当性」がないと判断することが可能となる。

また、回転やあおり等の複数の要素間の関係から「妥当性」を判定するようにしてもよい。例えば、回転運動がないのにあおり成分が出現するような場合等は、「妥当性」がない又は低いと考えられる。

以上のような１つ又は複数のルールを用いて、画像変化量の「妥当性」を判定する。

次にステップＳ４０３では、防振制御回路１０９８は、ステップＳ４０２で画像変化量の「妥当性」Ｖがない（低い）と判定した場合（Ｖ＝０）は、ステップＳ４０４に進む。一方、ステップＳ４０２で画像変化量の「妥当性」Ｖがあると判定された場合（Ｖ＝１）は、ステップＳ４０５に進む。

ステップＳ４０４では、防振制御回路１０９８は、現時刻までの間に推定された画像変化量を用いて現在の画像変化量を修正する。ここでは、単純に、１時刻前の画像変化量を用いる。

なお、１時刻前の画像変化量を用いる以外に、画像変化をしない（すなわち、単位行列を画像変化量とする）としたり、現時刻より前の複数の時刻での画像変化量から公知の時系列線形予測方法を用いて予測する等したりして、画像変化量を修正可能である。

次に、ステップＳ４０５では、防振制御回路１０９８は、防振パラメータ算出回路１０９４に、ステップＳ４０２で推定された画像変化量又はステップＳ４０４で修正された画像変化量を用いて、画像補正量としての防振パラメータを算出させる。ここでは、防振パラメータ算出回路１０９４に入力される画像変化量をＨ′と表現する。

防振パラメータ算出回路１０９４は、式（６）を用いて、２つのフレーム画像間の画像変化量Ｈ′を、撮像装置１の姿勢変化に直接対応するように、
並進（上下左右）：

拡大縮小：ｓ
回転：

あおり（上下左右）：

せん断：

に分解する。

（式６）
ただし、

である。

ここでは、まず

なる関係からＲＫを求め、上三角行列であるＫの性質を利用して、ＱＲ分解によりＲとＫを分離する。

以上のように分解した８つのパラメータ（ｔ_ｘ，ｔ_ｙ，ｓ，θ，ν_ｘ，ν_ｙ，α，φ）に対してフィルタリングを行う。ただし、せん断成分α，φは、ステップＳ４０１において射影ホモグラフィの基準面を撮像装置１の光軸に直交するよう補正しているためフィルタリングする必要はない。
このため、

(ｉ＝１，…，ｋ)の各成分に対してフィルタリングを行う。ただし、拡大縮小成分ｓについては、変化を線形とするため、式７のように対数変換をした後にデジタルフィルタリングを適用する。

（式７）
また、あおり成分

については、撮像装置１の姿勢変化に対応するよう分解する際の演算順から、拡大縮小成分の影響が含まれた値となる。この影響を除去するため、画像上の見えを改善するためにデジタルフィルタリングを適用する。このため、式８のように、あおり成分を拡大縮小成分ｓを乗じた画像の見えに変換してフィルタリングを適用する。

（式８）
以上のように、拡大縮小及びあおりのフィルタリング結果は、それぞれ式７及び式８の逆変換を施すことでフィルタリング結果とする。

フィルタリング結果をそれぞれ「′」で表現すると、防振パラメータは、式９のように射影ホモグラフィの形式に復元される。

（式９）
ただし、

、

、

、

である。

以上のようにして、防振パラメータ算出回路１０９４は、振れを低減するための防振パラメータとしての射影ホモグラフィＨ_filを算出する。次に、図３のフローチャートのステップＳ３０３に進む。

ステップＳ３０３では、防振制御回路１０９８は、防振映像生成回路１０９５に、ステップＳ３０２で算出された防振パラメータである射影ホモグラフィＨ_filを用いて、現フレーム画像に対して幾何変換処理を行い、防振フレーム画像を生成する。

以上説明したように、本実施例では、画像変化量として算出した射影ホモグラフィの妥当性を判定することで、動きベクトル又は画像変化量を誤推定した場合でも、適切に対処することが可能となる。つまり、撮像装置の複雑な姿勢変化をも良好に推定することができ、適切な画像防振処理を行うことができる。

また、この妥当性の判定を行うことで、動きベクトルの検出結果に対して複雑な規則を適用して画像変化量の誤推定を削減するような処理を行わなくてもよく、処理全体の並列化やハードウェア規模を削減することができる。

なお、本実施例では、ステップＳ４０２において、妥当性Ｖを０と１の２値表現としたが、必ずしもそのようにする必要はない。例えば、０，１の間で連続値をとるようにし、その値に応じて、ステップＳ４０４で前時刻の画像変化量と現時刻の推定値の結合比率を変えて画像変化量を修正するといった手法も採用可能である。

また、本実施例では、画像変化量として射影ホモグラフィを用いた場合について説明したが、必ずしもこれに限定される必要はなく、アフィン変換やヘルマート変換等、自由度を削減した２次元の画像変化量を用いることも可能である。

次に、本発明の実施例２について説明する。本実施例では、画像変化量として、時間的に連続する２つのフレーム画像間から推定される撮像装置の姿勢変化そのものを利用する。本実施例は、時間的に連続する２つのフレーム画像間の変化が少ない場合に適用可能であり、撮像装置の動作速度が遅い場合、被写体の動きが少ない場合、及び高速度撮像を行う場合等に利用できる。撮像装置の姿勢変化を直接推定することで、抑制したい振れやその例外値の判定がより行いやすい。

図５には、本実施例の撮像装置２の構成を示す。撮像装置２において、実施例１（図１）の撮像装置１と同じ又は同様の機能を有する構成要素には実施例１と同符号を付して説明に代える。

防振処理回路５０９のうち姿勢変化推定回路（推定手段）５０９２は、動きベクトル検出回路１０９１で算出された動きベクトルを用いて、撮像装置２の回転及び並進からなる姿勢変化を推定（算出）する。

妥当性判定回路５０９３は、姿勢変化推定回路５０９２で推定された姿勢変化の時間変動から、該推定結果が撮像装置２の特定の姿勢変化に相当するか否か、つまりは特定の姿勢変化を表す推定結果として「妥当性」を有するか否かを判定する。「特定の姿勢変化」の意味は、実施例１と同じである。

防振パラメータ算出回路５０９４は、姿勢変化妥当性判定回路５０９３での判定結果及び姿勢変化推定回路５０９２で推定された姿勢変化に基づいて、防振パラメータを算出する。

次に、撮像装置２の動作について、図６のフローチャートを用いて説明する。図６は、防振処理回路５０９での防振パラメータの算出処理を示している。この処理は、防振制御回路１０９８内に格納されたコンピュータプログラムに従って行われる。防振パラメータの算出処理以外の撮像装置２の動作は、実施例１（図２及び図３）で説明した動作と同様である。

ステップＳ６０１において、防振制御回路１０９８は、姿勢変化推定回路５０９２に、図３のステップ３０１で算出された動きベクトルから撮像装置２の姿勢変化、すなわちｘ，ｙ，ｚ軸回りでの回転量

とｘ，ｙ，ｚ軸方向での並進量

とを算出させる。この算出には、「金谷健一、“画像理解−３次元認識の数理−”、ｐｐ．１２９−１３５、森北出版（１９９０）」に記載された手法を用いる。

次にステップＳ６０２では、防振制御回路１０９８は、姿勢変化妥当性判定回路５０９３に、ステップＳ６０１で推定された撮像装置２の姿勢変化が、特定の姿勢変化を表す推定結果として「妥当性」を有するか否かを判定する。ここでは、姿勢変化の時間変化量が所定の閾値より小さいか否か、各要素の累積変化量が所定の閾値より小さいか否か、複数の要素間の関係等、実施例１と同様の判定基準を用いることができる。

次に、ステップＳ６０３では、防振制御回路１０９８は、ステップＳ６０２で「妥当性」がないと判定された場合はステップＳ６０４にて、実施例１と同様の手法により姿勢変化量を修正する。

一方、「妥当性」があると判定された場合は、ステップＳ６０５にて、防振制御回路１０９８は、防振パラメータ算出回路５０９４に防振パラメータを算出させる。防振パラメータ算出回路５０９４は、推定された撮像装置２の姿勢変化を用いて、防振パラメータとしての射影ホモグラフィを式１１のように算出する。

（式１１）
ただし、

であり、

は、

の微小回転を表す。また、

とする。

このように、本実施例では、撮像装置２の姿勢変化の推定結果の妥当性を判定するので、動きベクトル又は撮像装置の姿勢変化を誤って推定した場合でも、適切に対処することが可能となる。このため、撮像装置の複雑な姿勢変化をも良好に推定することができ、適切な画像防振処理を行うことができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１の撮像装置の動作を示すフローチャート。 実施例１の撮像装置における画像防振処理を示すフローチャート。 実施例１の撮像装置における防振パラメータ算出処理を示すフローチャート。 本発明の実施例２である撮像装置の構成を示すブロック図。 実施例２の撮像装置における防振パラメータ算出処理を示すフローチャート。 推定した画像変化量の時間変化の例を表したグラフ。

符号の説明

１，２ 撮像装置
１００ 撮像光学系
１０１ 露光制御部材
１０２ 撮像素子
１０３ 画像形成回路
１０４ 露光制御部
１０５ フォーカス制御部
１０６ システム制御回路
１０７ メモリ
１０８ 不揮発メモリ
１０９ 防振処理回路
１１０，１１１ フレームメモリ
１１２ メモリ制御回路
１１３ 画像出力部

Claims (9)

1. 動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトルを用いて、撮像装置の姿勢変化の結果として画像中に現れる複数の変形の要素に基づいて前記２つの画像間での画像変化量を推定する推定手段と、
   前記画像変化量の複数の要素のそれぞれについて、前記撮像装置の特定の姿勢変化に対応する条件を満足するか否かを判定し、当該判定結果によって、前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定する判定手段と、
   前記判定手段による判定結果及び前記推定された画像変化量に基づいて前記動画像中の振れを低減するための像振れ補正パラメータを算出する像振れ補正パラメータ算出手段と、
   前記像振れ補正パラメータを用いて像振れ補正処理を行う処理手段とを有することを特徴とする画像振れ補正装置。
2. 前記判定手段は、前記複数の要素のうち少なくとも１つの要素の時間変化量又は累積変化量を用いて、前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定することを特徴とする請求項１に記載の画像振れ補正装置。
3. 前記判定手段は、前記判定結果の多数決によって、前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定することを特徴とする請求項１に記載の画像振れ補正装置。
4. 前記判定手段は、前記画像変化量の複数の要素間の関係に基づいて前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定することを特徴とする請求項１に記載の画像振れ補正装置。
5. 光学系を用いて被写体像を撮像する撮像部と、
   請求項１から４のいずれか１つに記載の画像振れ補正装置とを有することを特徴とする撮像装置。
6. 撮像装置によって取得された動画像中の振れを低減する像振れ補正処理を行う画像振れ補正方法であって、
   前記動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出ステップと、
   前記動きベクトルを用いて、撮像装置の姿勢変化の結果として画像中に現れる複数の変形の要素に基づいて前記２つの画像間での画像変化量を推定する推定ステップと、
   前記画像変化量の複数の要素のそれぞれについて、前記撮像装置の特定の姿勢変化に対応する条件を満足するか否かを判定し、当該判定結果によって、前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定する判定ステップと、
   前記判定ステップによる判定結果及び前記推定された画像変化量に基づいて前記動画像中の振れを低減するための像振れ補正パラメータを算出する像振れ補正パラメータ算出ステップと、
   前記像振れ補正パラメータを用いて像振れ補正処理を行う処理ステップとを有することを特徴とする画像振れ補正方法。
7. 前記判定ステップは、前記複数の要素のうち少なくとも１つの要素の時間変化量又は累積変化量を用いて、前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定することを特徴とする請求項６に記載の画像振れ補正方法。
8. 前記判定ステップは、前記判定結果の多数決によって、前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定することを特徴とする請求項６に記載の画像振れ補正方法。
9. 前記判定ステップは、前記画像変化量の複数の要素間の関係に基づいて前記推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定することを特徴とする請求項６に記載の画像振れ補正方法。