JP6231816B2 - 撮像装置およびその制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、画像の像振れを低減する防振技術に関する。

従来のデジタルカメラでは、時間的に前後の２枚のフレーム画像間の動きベクトルを検出し、検出された動きベクトルを用いてフレーム画像間の位置ずれ量を推定し、位置ずれを打ち消すように画像に幾何変形処理を施すことで電子防振機能を実現している。ここで、フレーム画像間の動きベクトルを検出する方法としては、ジャイロセンサを用いる方法やフレーム画像から推定する方法などがある。また、テンプレートマッチングを用いてフレーム画像間の動きベクトルを推定する方法もある。

上記テンプレートマッチングを用いて動きベクトルを推定する方法では、まず撮影した映像の２枚のフレーム画像の一方を原画像、もう一方を参照画像と定義する。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の輝度値の分布との相関を求める。このとき、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、原画像のテンプレートブロックの位置を基準とした移動先への向きと移動量が動きベクトルとなる。このようにして求められた複数の動きベクトルを用いて統計的な処理などを行うことでフレーム画像間の動きを幾何変形量として算出する。

画像に生じる像振れの動き成分としては、並進、回転、変倍（拡大、縮小）、あおりなどがあり、撮影状況に応じて支配的な像振れの種類は異なっいる。そこで、撮影状況により異なる支配的な像振れの種類に応じて防振処理の内容を変更することで、より良好な防振制御を実現する方法が提案されている（例えば、特許文献１）。

特開２００７−１６６２６９号公報

従来の電子防振機能は、フレーム画像の領域全体について動きベクトルを検出し、その検出結果を用いて幾何変形量の推定を行い、さらに推定結果を幾何変形モジュールに与えているため、演算量や消費電力が多大となる。

また、上記特許文献１は、防振処理の安定性向上のために、撮影状況に応じて防振対象とする像振れの動き成分を変更し、像振れの情報に基づいて防振用の幾何変形パラメータの推定方法を変更しているものの、演算量や消費電力の削減に着目していない。また、防振対象とする像振れの動き成分に応じて動きベクトルの検出方法を変更することについても示唆がされていない。

本発明は、上記課題に鑑みてなされ、その目的は、防振処理に要する演算量を削減し、消費電力を抑える技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、画像の像振れを補正する撮像装置であって、画像を撮影する撮像手段と、前記撮像手段による撮影パラメータを取得する取得手段と、前記撮像手段から得られる第１の画像と第２の画像から動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトルを用いて、前記第１の画像と前記第２の画像の間の像振れを幾何変形パラメータとして推定する幾何変形パラメータ推定手段と、前記幾何変形パラメータ推定手段により推定された幾何変形パラメータを用いて前記第１の画像と前記第２の画像に幾何変形を施して像振れを補正する幾何変形手段と、前記撮影パラメータに基づいて、前記幾何変形パラメータ推定手段よる幾何変形パラメータ推定方法を変更する防振制御手段と、を有する。

本発明によれば、防振処理に要する演算量を削減し、消費電力を抑えることができる。

本発明に係る実施形態の装置構成を示すブロック図。 本実施形態の撮像装置による防振処理を示すフローチャート。 動きベクトル検出方法を説明する図。 テンプレートマッチングを用いた動きベクトル検出方法を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］
以下、本発明を、例えば、動画や静止画を撮影するデジタルビデオカメラなどの撮像装置に適用した実施形態について説明する。

＜装置構成＞まず、図１を参照して、本発明に係る実施形態の撮像装置の構成および機能の概略について説明する。

撮像光学系１０１は、ズームレンズやフォーカスレンズからなるレンズ群および絞り機構を含む。撮像部１０２は、ＣＣＤやＣＭＯＳ等の撮像素子からなるイメージセンサを含み、撮像光学系１０１により撮像素子に結像された被写体像を光電変換して電気信号に変換する。

現像処理部１０３は、ＡＤ変換部やＡＧＣ（オートゲイン制御部）、ＡＷＢ（オートホワイトバランス部）を含む。現像処理部１０３は、撮像素子から出力されるアナログ信号をＡＤ変換部によって、例えば１２ビットのデジタル信号に変換し、ＡＧＣおよびＡＷＢによって信号レベル補正や白レベル補正などを施して映像信号を生成する。

メモリ１０４は、現像処理部１０３により生成された映像信号の１つ又は複数のフレーム画像データを一時的に保持する。

撮影パラメータ取得部１０５は、撮像光学系１０１のレンズの焦点距離情報を取得する。なお、焦点距離情報は、撮像光学系１０１がズームレンズの場合には、ズーム倍率に応じて変更される。

防振制御部１０６は、撮影パラメータ取得部１０５により得られた焦点距離情報に基づいて、後述する動きベクトル検出部１０７および幾何変形パラメータ推定部１０８の処理内容を変更する。

動きベクトル検出部１０７は、現像処理部１０３で生成され、メモリ１０４に保持されているフレーム画像を読み出し、時間的に前後の２枚のフレーム画像間の差分から動きベクトルを検出する。動きベクトルの検出方法としては、後述するテンプレートマッチングを用いた方法がある。

幾何変形パラメータ推定部１０８は、動きベクトル検出部１０７により検出された動きベクトルを用いて、撮像装置の手振れにより発生するフレーム画像間の像振れを補正するための補正量を防振処理の幾何変形パラメータとして算出する。

幾何変形処理部１０９は、防振処理の幾何変形パラメータに基づいて、フレーム画像に対して像振れを補正するための幾何変形処理を行う。ここでの幾何変形処理とは、並進、回転、変倍（拡大、縮小）、あおりの少なくとも１つを含む。

画像記録部１１０は、防振処理により像振れが補正された映像データを所定の記録フォーマットに圧縮して記録媒体に記録する。また、画像記録部１１０は、記録媒体から映像データを読み出して伸張してメモリ１０４に保持する。画像記録部１１０での記録フォーマットは、静止画データの場合にはＪＰＥＧ圧縮、動画データの場合にはＭｏｔｉｏｎＪＰＥＧやＨ．２６４／ＡＶＣ圧縮などが適用される。特に、Ｈ．２６４／ＡＶＣに代表される動画データの圧縮方式は、フレーム間参照などを使用することにより、高圧縮率を実現できる。記録媒体は、ハードディスク等の内蔵メモリや、着脱可能なメモリカードである。

画像表示部１１１は、メモリ１０４に保持されている映像データをＬＣＤパネルや有機ＥＬディスプレイなどの表示装置に表示する。

なお、本実施形態の撮像装置は、上述した構成以外に、撮像光学系１０１のレンズや撮像部１０２の撮像素子の駆動などを制御することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理を実施する。

＜防振処理＞次に、図２を参照して、本実施形態の撮像装置による防振処理について説明する。

なお、図２の処理は、防振制御部１０６が、不図示の不揮発性メモリに格納されたファームウェアのプログラムを実行することにより実現される。

図２において、ステップＳ２０１では、撮像光学系１０１から入力される被写体像が、撮像部１０２にて光電変換されて被写体輝度に応じたアナログ信号として現像処理部１０３に出力され、現像処理部１０３で映像信号が生成される。現像処理部１０３により所定のフレームレートで順次生成されるフレーム画像はメモリ１０４に保持されると共に、メモリ１０４に保持されたフレーム画像が動きベクトル検出部１０７に出力され、メモリ１０４に保持されるフレーム画像が順次更新される。

ステップＳ２０２では、撮影パラメータ取得部１０５が撮像光学系１０１のレンズの焦点距離情報を取得する。

ステップＳ２０３では、防振制御部１０６が、撮影パラメータ取得部１０５から得られる撮像装置の焦点距離情報に基づいて動きベクトル検出部１０７で検出された動きベクトルの検出領域および検出数を選択する。

表１は、防振の対象とする像振れの動き成分と、その動き成分を精度良く補正するために必要となる動きベクトルの検出領域および動きベクトル検出数の関係を示している。図３は、像振れの動き成分と検出領域の関係を示している。表１からわかるように、防振の対象とする像振れの動き成分として、あおりの動きを補正する場合には、画面全域から多数の動きベクトルを検出する必要がある。その理由は以下の通りである。

図３（ａ）はフレーム画像間で縦方向のあおりが発生している場合に検出される動きベクトルの大きさと方向を模式的に示しており、３０１はフレーム画像全体、３０２はあおりの動きを表す動きベクトル、３０３は動きベクトルの検出を行う領域を示している。図３（ａ）に示すように、あおりの動きは画像上の各位置において動きベクトルの大きさや方向が異なるため、画面全域から動きベクトルを検出しなければ、あおりの動きを精度良く推定することはできない。また、あおりのような複雑な動きに対しては多数の動きベクトルを用いなければ推定精度を安定化させることができない。このような理由により、あおりの動きを防振の対象とする場合には、検出領域３０３のようにフレーム画像の全域から多数の動きベクトルを検出する必要がある。

また、回転の動き成分を防振の対象とする場合には、画面の中央近辺の領域から動きベクトルを検出すれば良い。ここで、画像上に生じる回転の動きベクトルは、図３（ｂ）の３０４に示すように画像中心を回転中心とした点対称の動きとなる。従って、回転の動きの推定には画像中心を基準として点対称の位置関係にある動きベクトル対を検出すれば良く、必ずしも画面全域から動きベクトルを検出する必要はない。つまり、図３（ｂ）の３０５に示すような画像中心を含み、垂直方向が狭くなっている領域を動きベクトルの検出領域としても、回転の動きを検出するのに必要な動きベクトルを検出することできる。この場合、画像は上から下へ向かってラスタ的に入力されるため、検出領域３０５を画像の上部に配置することで画像全域の入力が完了するよりも早い時点で動きベクトルの検出を完了することができる。また、あおりの検出領域３０３と比較して検出領域が狭くなる分だけ、検出する動きベクトルの数を少なくすることができる。以上のことから、回転の動き成分を防振対象とすることで、あおりの動きを防振の対象とした場合よりも処理時間を短く、演算量を少なくすることができる。

これに対して、図３（ｃ）の動きベクトル群３０６に示されるような並進の動きのみを防振の対象とする場合には、検出領域３０７のように画像上のごく一部の領域について動きベクトルの検出を行えば良い。撮像装置の支配的な動きが並進の動きである場合には、検出される動きベクトルは画像上のどの位置においても同じ大きさと方向を有している。従って、動きベクトルを検出する位置に制限がなく、さらに回転の動きよりも少ない数の動きベクトルからでも精度良く並進の動きを推定できる。また、回転の動きの場合とは異なり、点対称の位置関係で動きベクトルを検出する必要もないため、検出領域を画像のより上部に配置することが可能となる。これにより、並進の動きを推定する場合には更なる演算量の削減と処理時間の短縮を図ることが可能となる。

上述したように、補正の対象とする像振れの動き成分の種類に応じて動きベクトルの検出領域および検出数を変更することで演算量を削減し、処理時間の短縮および消費電力を少なくすることが可能となる。

ここで、表１の上位に記載されている検出対象の像振れの動き成分は、それより下位にある像振れの動き成分を包含している。例えば、あおりの動きを対象とした動きベクトルの検出領域と検出数を選択した場合には、同時に回転および並進の幾何変形成分を推定するための動きベクトルを検出することが可能である。

本実施形態では、像ぶれの動き成分として、あおり、回転、並進に基づいて動きベクトルの検出領域と検出数を変更する例を説明したが、これに限るものではなく、例えば変倍（拡大／縮小）やせん断などの動き成分についても同様に適用できる。

図２の説明に戻り、ステップＳ２０３で設定された動きベクトル検出領域および検出数の情報は動きベクトル検出部１０７へ送出される。

ステップＳ２０４では、動きベクトル検出部１０７が、防振制御部１０６で設定された動きベクトル検出領域および検出数に基づいて、２枚のフレーム画像間での動きベクトルの検出を行う。本実施形態では、動きベクトル検出方法の一例としてテンプレートマッチングを用いた方法について説明する。

図４はテンプレートマッチングを用いた動きベクトル検出方法を説明する図である。

図４（ａ）は原画像、図４（ｂ）は参照画像を示しており、これらの画像は現像処理部１０３およびメモリ１０４から入力されるフレーム画像である。図示のように原画像中の任意の位置にテンプレートブロック４０１を配置し、テンプレートブロック４０１と参照画像の各領域との相関値を算出する。この場合、参照画像の全領域に対して相関値を算出するのでは演算量が膨大となるため、実際には参照画像上の相関値を算出する矩形領域をサーチ範囲４０２として設定する。ここで、サーチ範囲４０２の位置や大きさについては特に制限はないが、サーチ範囲４０２の内部にテンプレートブロック４０１の移動先に相当する領域が含まれていないと正しい動きベクトルを検出することはできない。

本実施形態では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。ＳＡＤは式１から求められる。

式１において、ｆ（ｉ，ｊ）はテンプレートブロック４０１内の座標（ｉ，ｊ）における輝度値を表し、ｇ（ｉ，ｊ）はサーチ範囲４０２において相関値算出の対象となるブロック４０３内の各輝度値を表している。ＳＡＤは、両ブロック内の各輝度値ｆ（ｉ，ｊ）およびｇ（ｉ，ｊ）について差の絶対値を算出し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることができる。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレートブロック４０１と相関値算出領域のブロック４０３内のテクスチャが類似していることを意味する。

本実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）などの他の相関値を用いても良い。この場合は、サーチ範囲４０２の全領域について相関値対象ブロック４０３を移動させて相関値を算出する。そしてテンプレートブロック４０１とサーチ範囲４０２との間で相関値を算出し、相関が最も高くなる位置を判定することにより、原画像上のテンプレートブロックが参照画像においてどの位置に移動したか、つまり画像間の動きベクトルを検出することができる。

以上のような動きベクトルの検出処理を、入力されたフレーム画像間の複数の領域で行い、検出された動きベクトル群は幾何変形パラメータ推定部１０８に送出される。

ステップＳ２０５では、防振制御部１０６が、防振の対象とする像振れの動き成分の種類に応じて幾何変形パラメータの推定方法を選択する。本実施形態では、幾何変形を表す手段の一例としてホモグラフィ行列と呼ばれる３×３の行列式を用いる場合について説明する。

まず、画像上のある点ａ、

が次フレームにおいて点ａ′、

に移動したとする。ここで、添え字Ｔは転置行列であること表す。式２の点ａと式３の点ａ′の対応関係は、ホモグラフィ行列Ｈを用いることにより、

と表すことができる。

ホモグラフィ行列Ｈは画像間の並進、回転、変倍、せん断、あおりによる変形量を示す行列式であり、以下の式により表すことができる。

ホモグラフィ行列Ｈの各要素は、ステップＳ２０４で得られる動きベクトル群、つまりフレーム画像間における代表点の対応関係を用いて推定処理を行うことにより求めることができる。

表１に、防振対象とする像振れの動き成分に対する幾何変形パラメータの推定方法が示されている。表１から、あおりの動きを防振の対象とした場合には８自由度の最小二乗法を使用して、幾何変形パラメータを推定する必要がある。ここで、式５のホモグラフィ行列Ｈでは、パラメータｈ１３、ｈ２３が並進の動き成分、ｈ１１、ｈ１２、ｈ２１、ｈ２２が回転、変倍、せん断の動き成分を表し、そしてｈ３１、ｈ３２があおりの動き成分を表している。従って、あおりの動き成分を防振の対象とする場合には上記８個のパラメータ全てを推定しなければならないため、８自由度の最小二乗法を使用する必要がある。

次に、回転の動き成分を防振の対象とする場合には、あおりの動き成分を表すパラメータであるｈ３１およびｈ３２を推定する必要がないため、それ以外の６個のパラメータを推定、つまり６自由度での最小二乗法による推定を行えば良いことになる。従って、補正する像振れの動き成分を回転の動き成分までとした場合には、あおりまでの場合と比較して自由度が少ない分、ベクトル数が少なくても安定した結果を得ることが可能であり、演算量を削減することができる。

そして、並進の動き成分のみを防振の対象とする場合には、式５におけるｈ１３およびｈ２３のパラメータについてのみ推定を行えば良い。また、並進の動き成分は画像の平行移動という簡単な動きであるため、最小二乗法のような統計的な推定方法を使用する必要はなく、ヒストグラム処理のような多数決処理でも精度良く推定を行うことが可能となる。

さらに、画像上に生じているのが並進の動きのみであれば、画像上のどの位置においても同じ大きさ、同じ方向の動きとなるため、少ない数の動きベクトルでも精度良く並進の動きを推定することが可能である。

以上のように、並進の幾何変形量の推定では少ない動きベクトルによる単純な推定方法でパラメータの推定が可能であるため、演算量を大幅に削減することができる。

本実施形態では、幾何変形量の推定方法として最小二乗法やヒストグラム処理を用いているが、これに限られるものではなく他の推定手法を用いても良い。

ステップＳ２０５では、防振対象とする像振れの動き成分に応じて推定方法を変更することで演算量の削減を図っているが、総合的な演算量はステップＳ２０３で設定された動きベクトルの検出方法との組み合わせで決定される。表１から、あおりの動き成分に対しては画面全体から多くの動きベクトルを検出し、統計的な処理で式５に示した８個全ての幾何変形パラメータを求める必要があるため演算量は増大する。これに対して、例えば並進の幾何変形に対しては画面の一部の領域から少数の動きベクトルを検出すれば良く、さらに推定方法もヒストグラム処理のような単純なもので良いため演算量を大幅に削減することが可能である。

上述のように選択された幾何変形量推定方法の情報は幾何変形パラメータ推定部１０８へ送出される。

ステップＳ２０６では、動きベクトル検出部１０７から得られた動きベクトル群と、防振制御部１０６で選択された幾何変形量推定方法とを用いてフレーム画像間の幾何変形量の推定を行い、像振れの補正量を算出する。

ステップＳ２０５で述べた方法で推定されたホモグラフィ行列Ｈは、画像の像振れによる画像の変形量を表す。このため、画像の像振れを補正するには、像振れによる変形を打ち消すような画像変形量となるようにホモグラフィ行列Ｈを変換する必要がある。つまり、ホモグラフィ行列Ｈを逆行列Ｈに変換することにより、点ａ′と点ａの対応関係は、

と表すことができる。式６により、像振れが生じた後の点ａ´を、像振れが生じる前の点ａと同じ座標に戻すことが可能となる。

上述した実施形態によれば、防振対象とする像振れの動き成分の種類に応じて、動きベクトルの検出方法および幾何変形量の推定方法を切り替えることにより演算量を削減することができる。

次に、防振対象とする像振れの動き成分の種類を判定する方法について説明する。

本実施形態では、判定を行うための情報として、撮影パラメータ取得部１０５で得られる焦点距離情報を用いるため、像振れの動き成分の大きさと焦点距離との関係を考慮する必要がある。

ここで、像振れの動き成分の大きさとは、像振れの動き成分を表すホモグラフィで画像を変形する場合に、画像上のある着目画素が移動する量を意味している。例えば、画像の四隅の点に対して、像振れの動き成分を表すホモグラフィによる移動量をそれぞれ求め、そのうち絶対値が最大のものを、その成分の大きさとする。

画像の像振れの動きを表すホモグラフィＲは、ヨー方向、ピッチ方向、ロール方向の像振れ角度をα、β、γとすると、以下の式７のように表すことができる。

なお、ここでは簡単のため、撮像装置の回転の動きだけを考えたが、並進の動きを考慮した場合も、以下について同様のことが言える。

画像の像振れの動きを補正するためのホモグラフィは、式７の逆行列を取ることで、次のように表すことができる。

式８を簡略するため、（３，３）要素で正規化すると以下の式９のようになる。

さらに、撮影パラメータの影響を考慮するため、式１０の撮影パラメータ行列Ｋを用いて正規化を行うと、式１１のように表すことができる。

ここで、ｆはピクセル単位の焦点距離、ｃｘ、ｃｙは光軸中心のＸ座標、Ｙ座標を表す。また簡単のためｃｘ＝ｃｙ＝０として考えた。

ところで、画像の変形量を表すホモグラフィＨは、並進、回転、変倍、せん断、あおりの各成分を用いて、以下の式１２のように表すことができる。

ここで、Ｈｓは並進、回転、変倍による画像の変形量を表すホモグラフィ、Ｈａはせん断による画像の変形量を表すホモグラフィ、Ｈｐはあおりによる画像の変形量を表すホモグラフィである。

また、ｖｘ、ｖｙは水平方向と垂直方向のあおり成分、θは画像中心を基準とした回転成分、ｔｘ、ｔｙは水平方向と垂直方向の並進成分、ｓは変倍成分、ａおよびφはせん断成分を表す。

式１２は、式１１のホモグラフィを、並進、回転、変倍、せん断、あおりの各成分を用いて表現したものと考えられる。両者は等価であるから、ｖｘ、ｖｙ、θ、ｔｘ、ｔｙは、焦点距離ｆとα、β、γを用いて、以下のように表すことができる。

ここで、α、β、γが焦点距離に依存せず一定であれば、像振れの動き成分の大きさと焦点距離の関係について次のことが言える。

式１３から、あおり成分は焦点距離に反比例する。式１４から、回転成分は焦点距離に依存せず一定である。式１５から、並進成分は焦点距離に比例する。

しかし、実際に撮像装置を使用する際は、焦点距離に応じて撮影方法が変化することで、α、β、γは、焦点距離が長くなるほど小さくなる傾向がある。

焦点距離が短い場合は、α、β、γが大きくなりやすい。なぜなら、画角（撮像装置で撮影できる範囲）が大きいため、画像の像振れが大きくても被写体が画面に収まりやすく、撮影者が意図的に像振れを抑えることが少ないためである。そのため、焦点距離が短い場合は、歩き撮りのような撮影方法が多くなり、α、β、γが大きくなる。

焦点距離が長い場合は、α、β、γが小さくなりやすい。なぜなら、画角が小さいため、画像の像振れが大きいと被写体が画面に収まらず、撮影者が意図的に像振れを抑えることが多いためである。そのため、焦点距離が長い場合には、両手持ち撮影のようにしっかりと固定した撮影方法が多くなり、α、β、γが小さくなる。

焦点距離が中程度の場合は、短い場合と長い場合の中間に位置するので、片手持ち撮影のように、歩き撮りよりは像振れが小さく、両手持ち撮影よりは像振れが大きくなるような撮影方法が多くなり、α、β、γも中間的な値になると考える。

最終的に、像振れの動き成分の大きさと焦点距離の関係は、α、β、γが、焦点距離が長くなるほど小さくなることを考慮すると、次のように考えられる。

あおり成分は、式１３から焦点距離に反比例するが、焦点距離が長くなるほどα、βも小さくなるため、急激に小さくなる。回転成分は、式１４からγそのもので、焦点距離が長くなるほど小さくなる。並進成分は、式１５から焦点距離に比例するが、焦点距離が長くなるほどα、β、γが小さくなるため、両者が相殺し、焦点距離による変動は小さい。

表２は、像振れの動き成分と焦点距離の関係を示しており、表２から以下のことがわかる。すなわち、
焦点距離が短い場合には、あおり、回転、並進成分のいずれも大きい。一方、焦点距離が中程度の場合には、回転、並進成分は大きく、あおり成分は小さい。また、焦点距離が長い場合には、並進成分は大きく、あおりと回転の成分は小さい。

従って、防振対象とする像振れの動き成分の種類の判定は、焦点距離に応じて以下のように行うべきである。
（１）焦点距離が所定の閾値Ｔ１より短い場合は、あおり、回転、並進成分の全ての成分を防振対象と判定する。
（２）焦点距離が所定の閾値Ｔ１とＴ２（Ｔ１＜Ｔ２）の間である場合は、支配的な回転、並進成分だけを防振対象と判定する。
（３）焦点距離が所定の閾値Ｔ２より長い場合は、支配的な並進成分だけを防振対象と判定する。

上記判定結果に対して、動きベクトル検出方法および幾何変形パラメータ推定方法をどのように切り替えるかについては、表１で説明した通りである。

以上のように、本実施形態によれば、支配的な像振れの動き成分の種類を、撮像装置の焦点距離情報から判定し、その判定結果に基づいて、動きベクトル検出方法および幾何変形パラメータ推定方法を切り替える。

その結果、支配的な像振れを抑えた良好な防振を行いつつも、防振処理に要する演算量を減らし、消費電力を抑えることができる。

本実施形態によれば、焦点距離が長い状態が多いほど、動きベクトル検出領域を狭くし、さらに推定すべき幾何変形パラメータ数を減らすことができるので、演算量の削減、消費電力の抑圧が見込める。

しかしながら、撮影中に防振処理内容をそのまま切り替えてしまうと、切り替えの前後で幾何変形のモデルが変わるため、不連続な動きが生じてしまう可能性がある。これを解消する方法の一例としては、幾何変形パラメータに時間的な平滑化処理を施す方法がある。

これは、防振処理中は過去の数フレーム分の幾何変形パラメータを記憶しておき、切り替わった直後の数フレームについては過去の幾何変形パラメータの影響を考慮に入れた幾何変形パラメータを生成して防振処理を行う方法である。これにより、切り替えの瞬間の不連続を抑制し、徐々に異なる推定方法での防振結果に切り替わることが可能となる。ここで、平滑化の方法に特に制限はなく、移動平均や、ＩＩＲフィルタなど、どのような方法を用いても良い。以上の処理は幾何変形パラメータ推定部１０８において行われる。

図２の説明に戻り、ステップＳ２０７では、ステップＳ２０６で得られた防振用の幾何変形量を用いて、幾何変形処理部１０９が画像に幾何変換処理を施すことで防振を行う。

ステップＳ２０８では防振処理が施された映像データを、画像記録部１１０によって記憶媒体に記憶したり、画像表示部１１１によって表示装置に表示する。

以上説明したように、本実施形態によれば、撮像装置の焦点距離情報に応じて動きベクトルの検出方法および画像幾何変形量の推定方法を変更することで、防振処理に要する演算量を削減する。これにより、撮像装置の手振れに応じた効率的な防振処理を行うことが可能となり消費電力を削減することができる。

なお、本実施形態では撮影パラメータとして焦点距離を例に挙げたが、撮影パラメータとして焦点距離が得られないような場合などに、ＡＦセンサにより得られた被写体距離を用いることもできる。この場合、被写体距離が近い場合は、被写体が画面に収まる大きさで写るようにするために、焦点距離を短くして撮影していると判定し、前述した焦点距離が短いときの防振処理を行う。一方、被写体距離が遠い場合は、被写体が画面に大きく写るようにするために、焦点距離を長くして撮影していると判定し、先述した焦点距離が長いときの防振処理を行う。

上述した実施形態では、本発明をデジタルビデオカメラなどの撮像装置に適用した場合を例にして説明したが、これに限定されるものではない。例えば、ゲーム機器、携帯電話、スマートフォン、タブレット端末のように、撮影機能が搭載された装置にも本発明は適用可能である。また、パーソナルコンピュータなどの画像処理装置が、撮影機能を有する装置から取得した画像データを対象として、動きベクトルを検出し、像振れを補正するような構成であっても、本発明は適用可能である。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims (11)

1. 画像の像振れを補正する撮像装置であって、
   画像を撮影する撮像手段と、
   前記撮像手段による撮影パラメータを取得する取得手段と、
   前記撮像手段から得られる第１の画像と第２の画像から動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段により検出された動きベクトルを用いて、前記第１の画像と前記第２の画像の間の像振れを幾何変形パラメータとして推定する幾何変形パラメータ推定手段と、
   前記幾何変形パラメータ推定手段により推定された幾何変形パラメータを用いて前記第１の画像と前記第２の画像に幾何変形を施して像振れを補正する幾何変形手段と、
   前記撮影パラメータに基づいて、前記幾何変形パラメータ推定手段よる幾何変形パラメータ推定方法を変更する防振制御手段と、を有することを特徴とする撮像装置。
2. 前記防振制御手段は、前記撮影パラメータに基づいて、前記動きベクトル検出手段による動きベクトルの検出方法を変更し、前記撮影パラメータに応じて、前記動きベクトル検出手段による動きベクトルの検出領域の大きさと検出数を変更することを特徴とする請求項１に記載の撮像装置。
3. 前記動きベクトル検出手段が検出対象とする像振れの動き成分は、並進、回転、およびあおりの少なくともいずれかを含み、
   前記動きベクトルの検出領域の大きさは、前記動きベクトル検出手段が検出対象とする像振れの動き成分の種類が少ないほど小さくなり、
   前記動きベクトルの検出数は、前記動きベクトル検出手段が検出対象とする像振れの動き成分の種類が少ないほど少なくなることを特徴とする請求項２に記載の撮像装置。
4. 前記撮影パラメータは、前記撮像装置の焦点距離と被写体距離のいずれかを含み、
   前記防振制御手段は、前記撮影パラメータとして前記焦点距離が長いほど、前記動きベクトル検出手段が検出対象とする像振れの動き成分の種類が少なくなるように制御することを特徴とする請求項２または３に記載の撮像装置。
5. 前記防振制御手段は、前記撮影パラメータとして前記焦点距離が得られない場合は、前記被写体距離を用いて前記動きベクトルの検出方法と前記幾何変形パラメータ推定方法を変更し、
   前記被写体距離が長い場合は、前記被写体距離が短い場合と比べて、前記防振の対象となる像振れの動き成分の種類が少なくなるように制御することを特徴とする請求項４に記載の撮像装置。
6. 前記防振制御手段は、前記撮影パラメータに応じて、前記幾何変形パラメータ推定手段が算出する幾何変形パラメータの数を変更することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記撮影パラメータは、前記撮像装置の焦点距離と被写体距離のいずれかを含み、
   前記防振制御手段は、前記撮影パラメータとして前記焦点距離が長いほど、前記幾何変形パラメータ推定手段が算出する幾何変形パラメータの数が少なくなるように制御することを特徴とする請求項６に記載の撮像装置。
8. 前記幾何変形パラメータ推定手段は、算出された幾何変形パラメータに対して、過去に算出された幾何変形パラメータを用いた平滑化処理を行うことを特徴とする請求項６または７に記載の撮像装置。
9. 画像の像振れを補正する撮像装置の制御方法であって、
   撮像手段による撮影パラメータを取得する取得ステップと、
   前記撮像手段から得られる第１の画像と第２の画像から動きベクトルを検出する動きベクトル検出ステップと、
   前記動きベクトル検出ステップにより検出された動きベクトルを用いて、前記第１の画像と前記第２の画像の間の像振れを幾何変形パラメータとして推定する幾何変形パラメータ推定ステップと、
   前記幾何変形パラメータ推定ステップにより推定された幾何変形パラメータを用いて前記第１の画像と前記第２の画像に幾何変形を施して像振れを補正する幾何変形ステップと、
   前記撮影パラメータに基づいて、前記幾何変形パラメータ推定ステップよる幾何変形パラメータ推定方法を変更する防振制御ステップと、を有することを特徴とする撮像装置の制御方法。
10. コンピュータを、請求項１ないし８のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項１ないし８のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを記憶した記憶媒体。

Images