JP5414405B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明は、撮像装置の振れに起因した画像の振れを画像処理によって低減する画像処理装置及び画像処理方法に関する。

手振れ等の撮像装置の振れに起因した画像の振れを低減するための防振方式として、いわゆる電子防振方式がある。この電子防振方式では、撮像素子からの出力を用いて生成された画像の中から実際に出力（記録又は表示）する切り出し領域を撮像装置の振れに応じてシフトさせることで、画像の振れを低減する。

ただし、撮像装置には、手振れ等の撮影者が意図しない振れだけでなく、パンニングやチルティングといった撮影者による意図的なカメラワークによる動きも加わり、このようなカメラワークによっても、画像の振れと同様な画像の動きが発生する。

このため、特許文献１にて開示された画像振れ低減手法では、撮像装置の振れを検出し、該振れが撮像装置の意図的な動きによるものか意図的でない振れによるものかを識別する。そして、意図的な動きに対しては振れ低減量を小さくし、意図的ではない振れに対しては振れ低減量を大きくするように、画像に対して行う振れ低減処理用のパラメータを制御する。これにより、意図的な撮像装置の動きに対する画像の追従性を良くしつつ、意図的でない撮像装置の振れに対する画像の振れを良好に低減することができる。

さらに、従来の電子防振手法では、画像全体の変化量を表す１つの動きベクトル等の画像変化量を算出し、該画像変化量に基づいて画像に対して振れ低減処理を行うものがある。

ただし、実際の撮像装置の振れには、並進、回転、あおり等の互いに種類が異なる複数の振れ成分が混在することが多い。この場合、これらの複数種類の振れ成分をひと纏めにした画像変化量を用いて振れ低減処理を行っても、十分な振れ低減効果が得られない振れ成分が生じる。

特許文献２には、水平方向と垂直方向の振れ成分を別々に検出し、これら水平方向と垂直方向の振れ成分に対して個別に振れ低減処理を行う画像振れ低減手法が開示されている。

特許第３６４２０８５号 特許第３６７１９７２号

しかしながら、特許文献２にて開示された画像振れ低減手法では、水平方向と垂直方向の振れ成分に対して個別に振れ低減処理を行うにもかかわらず、振れ低減処理用パラメータとしては両方の振れ成分に対して同じものを用いている。手振れ程度の小さな振れであれば水平方向と垂直方向の振れ成分の特徴に大きな差が生じないため、水平方向と垂直方向の振れ成分に対して同じ振れ低減処理用パラメータを用いても、概ね良好な振れ低減効果が得られると考えられる。

ただし、撮影者が歩行しながら撮影を行う場合のように、水平方向や垂直方向の振れ成分が大きく、かつ回転、あおり等の複雑な振れ成分も生じた場合には、各振れ成分の特徴に大きな違いが表れる。この場合に、全ての振れ成分に対して同じ振れ低減処理用パラメータを用いたのでは、全ての振れ成分に対する良好な画像振れの低減効果が得られない。

本発明は、電子防振において、手振れよりも大きく、かつ複雑な振れに対しても良好な画像振れ低減効果が得られるようにした画像処理装置及び画像処理方法を提供する。

本発明の一側面としての画像処理装置は、撮像装置の振れに伴う画像の振れを低減する画像処理装置であって、前記撮像装置の振れを検出する振れ検出手段と、前記振れ検出手段にて検出された振れを並進成分および回転成分およびあおり成分を少なくとも含む複数の振れ成分に分解する分解手段と、前記複数の振れ成分毎に異なり且つ前記複数の振れ成分の各々の特徴に応じたフィルタリング処理パラメータを算出する算出手段と、前記画像に対して、前記振れ成分毎に算出された前記フィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ補正量を算出し、前記振れ補正量に基づいて振れ補正処理を行う処理手段と、を有することを特徴とする。

また、本発明の他の一側面としての画像処理方法は、撮像装置の振れに伴う画像の振れを低減する画像処理方法であって、前記撮像装置の振れを検出する振れ検出工程と、前記振れ検出工程にて検出された振れを並進成分および回転成分およびあおり成分を少なくとも含む複数の振れ成分に分解する分解工程と、前記複数の振れ成分毎に異なり且つ前記複数の振れ成分の各々の特徴に応じたフィルタリング処理パラメータを算出する算出工程と、前記画像に対して、前記振れ成分毎に算出された前記フィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ補正量を算出し、前記振れ補正量に基づいて振れ補正処理を行う処理工程と、を有することを特徴とする。

本発明によれば、撮像装置の複数の振れ成分に対して、それぞれの特徴に応じたフィルタリング処理パラメータを用いてフィルタリング処理を行うことにより、各振れ成分に対する良好な画像振れ低減効果を得ることができる。

本発明の実施例１である撮像装置の構成を示す図。 実施例１における振れ補正処理の流れを示すフローチャート。 垂直並進振れの変化量と周波数特性を示す図。 水平並進振れの変化量と周波数特性を示す図。 拡大縮小振れの変化量と周波数特性を示す図。 回転振れの変化量と周波数特性を示す図。 せん断振れの変化量と周波数特性を示す図。 水平あおり振れの変化量と周波数特性を示す図。 垂直あおり振れのの変化量と周波数特性を示す図。 実施例１におけるフィルタリング処理の流れを示すフローチャート。 本発明の実施例２である撮像装置の構成を示す図。 実施例２における振れ補正処理の流れを示すフローチャート。 本発明の実施例３である画像処理装置を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像処理装置を含むビデオカメラ、デジタルスチルカメラ等の撮像装置を示す。図１において、１０１は被写体像を形成する撮影光学系であり、１０２は光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。１０３は撮像素子１０２から出力されたアナログ信号からデジタル映像信号を生成する画像生成回路（画像生成手段）である。映像信号は、連続した複数のフレーム画像により構成されている。

画像生成回路１０３は、Ａ／Ｄ変換回路１０４、オートゲイン制御回路（ＡＧＣ）１０５及びオートホワイトバランス（ＡＷＢ）回路１０６を含む。Ａ／Ｄ変換回路１０４は、アナログ信号をデジタル信号に変換する。ＡＧＣ１０５は、デジタル信号のレベル補正を行う。また、ＡＷＢ１０６は、映像の白レベル補正を行う。撮像素子１０２及び画像生成回路１０３により撮像系が構成される。

１０７は画像生成回路１０３により生成された映像信号の１又は複数のフレーム画像を一時的に記憶保持するフレームメモリである。１０８はフレームメモリ１０７に入出力される映像信号を制御するメモリ制御回路である。

１０９は画像変化量算出回路（振れ検出手段）であり、振れ量検出回路１１０と振れ量算出回路１１１とにより構成されている。振れ量検出回路１１０は、連続（隣接）する２つのフレーム画像から該撮像装置の振れに対応する動きベクトルを算出する。言い換えれば、画像変化量算出回路１０９は、動きベクトルを算出することで、該撮像装置の振れを検出する。振れ量算出回路１１１は、動きベクトルから、該撮像装置の振れ量に相当する画像変化量を算出する。

１１２は振れ解析回路（振れ解析手段）であり、画像変化量算出回路１０９において算出された画像変化量を、互いに種類が異なる複数の振れ成分に対応する画像変化量（以下、この画像変化量を振れ成分という）に分解する。そして、振れ解析回路１１２は、各振れ成分の特徴を求める。

ここで、種類が異なる複数の振れ成分には、並進（水平及び垂直）、拡大縮小（変倍）、回転、せん断、あおり（水平及び垂直）等がある。

１１３は振れ補正パラメータ算出回路（パラメータ算出手段）であり、振れ解析回路１１２により得られた各振れ成分の特徴に応じた振れ補正パラメータ（フィルタリング処理パラメータ）を算出する。

１１４は振れ補正回路（処理手段）であり、振れ補正パラメータ算出回路１１３によって算出された振れ補正パラメータを用いたフィルタリング処理により振れ補正量を算出し、さらに該振れ補正量に基づいて画像の幾何変換処理である座標変換処理を行う。

１１５は映像出力回路であり、振れ補正が行われた映像を、不図示のディスプレイに出力したり、半導体メモリ、光ディスク、磁気テープ等の記録媒体に出力したりする。

１００はメインコントローラであり、撮像素子１０２、画像生成回路１０３、メモリ制御回路１０８、画像変化量算出回路１０９、振れ解析回路１１２、振れ補正パラメータ算出回路１１３、振れ補正回路１１４及び映像出力回路１１５の動作を制御する。メインコントローラ１００は、ＣＰＵ等により構成されている。

なお、画像変化量算出回路１０９、振れ解析回路１１２、振れ補正パラメータ算出回路１１３及び振れ補正回路１１４により、撮像装置の振れに伴う画像の振れを低減する画像処理装置が構成される。

以上のように構成された撮像装置の動作（画像処理方法）について、図２に示すフローチャートを用いて説明する。なお、ここで説明する動作は、メインコントローラ１００の不図示のメモリに格納されたコンピュータプログラム（ソフトウェア）に従って実行される。このことは以下の実施例でも同様である。

図２において、ステップＳ２０１では、光学系１０１により形成された被写体像が撮像素子１０２によって光電変換される。撮像素子１０２は、被写体輝度に応じたアナログ信号を出力し、該アナログ信号は画像生成回路１０３に入力される。画像生成回路１０３は、Ａ／Ｄ変換回路１０４によってアナログ信号を、例えば１２ビットのデジタル信号に変換する。さらに、ＡＧＣ１０５及びＡＷＢ１０６は、デジタル信号の信号レベル補正や白レベル補正を行う。こうして、デジタル映像信号を構成する入力画像としてのフレーム画像が生成される。フレーム画像は、フレームメモリ１０７に一時的に格納される。

本撮像装置では、所定のフレームレートで順次フレーム画像が生成され、フレームメモリ１０７に保持されたフレーム画像は、順次、画像変化量算出回路１０９に入力される。

ステップＳ２０２では、振れ量検出回路１１０は、連続する２つのフレーム画像間での被写体像の変位とその方向を示す動きベクトルを検出する。動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法を用いればよいが、その方法には制限はない。また、動きベクトルは、フレーム画像中の複数の画像領域において検出される。この動きベクトルが、映像中に見かけ上現れる被写体の振れ量とその方向を示す振れ情報となる。

振れ量検出回路１１０によって検出された複数の画像領域の動きベクトルは、振れ量算出回路１１１に入力される。振れ量算出回路１１１は、入力された複数の画像領域の動きベクトルを統合して、画像全体の変化量である画像変化量を算出する。ここにいう画像変化量の算出は、画像変化量を示す式、例えばホモグラフィ行列式を生成することに相当する。

ステップＳ２０３では、振れ解析回路１１２は、振れ量算出回路１１１にて算出された画像変化量を種類が異なる複数の振れ成分に分解して、それぞれの振れ成分の特徴を求める。以下、振れ解析回路１１２における振れの解析手法について説明する。

ステップＳ２０２において、画像変化量は、例えば、

で表されるホモグラフィ行列Ｈとして算出される。

振れの解析を行うためには、振れ量算出回路１１１にて、ｉ番目のフレーム画像とｉ−１番目のフレーム画像との間で算出される画像変化量を累積させて、時系列的な画素変化量の変化を求める必要がある。

ここで、ｉ番目のフレーム画像とｉ−１番目のフレーム画像との間の画像変化量をＨｉとする。ｋ番目のフレームを基準フレームとしたときの累積画像変化量（以下、単に累積変化量という）Ｈａｃｃは、ｋ番目以降の画像変化量を以下のように積算することにより求められる。

したがって、Ｈａｃｃに対してフレーム画像間の画像変化量を順次積算していくことにより、ｋ番目のフレーム画像を基準とした画像変化量の変化の推移を求めることが可能となる。

ただし、Ｈａｃｃの各項は、複数の振れ成分が混在した値である。このため、各項の時系列的な変化の推移からでは、画像内にて実際に生じている動きの変化を知ることはできない。

そこで、Ｈａｃｃの各項を成分変換することによって、画像中の具体的な変化量を表す振れ成分に分解する。
まず、累積変化量Ｈａｃｃについて、ｈ_ａｃｃ９＝１となるように、ｈ_ａｃｃ９でＨａｃｃの各項を割り、正規化を行う。
そして、以下の式により、累積変化量Ｈａｃｃを、種類が異なる複数の振れ成分としての並進

、拡大縮小（変倍）ｓ、回転Ｒ、せん断Ｋ、あおり

に変換する。

ここで、上式の右辺中のＡは、

である。このため、

を求め、さらに、せん断Ｋは上三角行列であるという性質を利用すれば、ｑｒ分解を利用することにより、せん断Ｋ及び回転Ｒを分離することが可能となる。
ここで、水平並進をｔｘ、垂直並進をｔｙ、回転角をθ、せん断の非等方倍率をα、せん断の方向角をφ、水平あおりをνｘ、垂直あおりをνｙで表すと、上式で算出した各振れ成分は、

と表される。

したがって、累積変化量Ｈａｃｃを、水平並進ｔｘ、垂直並進ｔｙ、回転角θ、せん断の非等方倍率α、せん断の方向角φ、水平あおりνｘ、垂直あおりνｙ及び拡大縮小ｓの８つの振れ成分に分解することができる。

次に、以上のようにして算出した各振れ成分の特徴を求める。振れ解析の例を示すために、撮影者が歩行しながら撮影を行った場合における水平並進振れ、垂直並進振れ及び拡大縮小振れの変化の様子（実測値）と、その周波数特性をそれぞれ図３、図４及び図５に示す。

図３の３０１は、垂直並進振れの実測値である。垂直並進振れは、ほぼ一定の周波数の振れ成分として発生している。３０２は垂直並進振れの周波数特性である。垂直並進振れの周波数は、図中の３０３に示すように、６Ｈｚ付近の狭い範囲に集中するという特徴を有する。

図４の４０１は、水平並進振れの実測値である。水平並進振れは、様々な種類の振れが混在した振れとして発生している。４０２は水平並進振れの周波数特性である。水平並進の周波数は、図中の４０３に示すように、２〜６Ｈｚ付近の広い範囲に分布するという特徴を有する。

図５の５０１は、拡大縮小振れの実測値である。この例では、意図的な撮像装置の動きによって拡大縮小を示す値が滑らかに変化しているが、拡大縮小振れ自体はほとんど生じていない。５０２は拡大縮小振れの周波数特性である。拡大縮小振れには、振れの特徴と判定できるような周波数のピークは存在していない。

図６、図７、図８及び図９にはそれぞれ、回転振れ、せん断振れ、水平あおり振れ及び垂直あおり振れの実測値６０１，７０１，８０１，９０１と周波数特性６０２，７０２，８０２，９０２を示す。周波数特性６０２，７０２，８０２，９０２はそれぞれ、特徴６０３，７０３，８０３，９０３を有する。

なお、本実施例では、各振れ成分の周波数特性における特徴を求める場合について説明するが、周波数特性に限らず、振幅の大きさを振れ成分の特徴として求めたり、各振れ成分のカメラワークによる動きとの差を特徴として求めたりしてもよい。

以上のようにして求められた振れ成分の特徴の解析結果は、補正パラメータ算出回路１１３に入力される。

図２において、ステップＳ２０４では、補正パラメータ算出回路１１３は、ステップＳ２０３で得られた各振れ成分の特徴に応じた振れ補正パラメータを算出する。さらに、振れ補正回路１１４は、算出された振れ補正パラメータを用いて各振れ成分にフィルタリング処理を行い、各振れ成分を補正（低減）するための振れ補正量（振れ低減量）を算出する。そして、該振れ補正量を用いて、振れ補正処理（振れ低減処理）としての座標変換処理を行うための座標変換行列を生成する。

振れ補正量の算出にフィルタリング処理を用いることにより、パンニングやチルティング等の撮影者による意図的な撮像装置の動きには影響を与えずに、上述した振れ成分のみを低減することが可能となる。

本実施例では、各振れ成分に対するフィルタリング処理を行うために、各振れ成分の特徴に応じた振れ補正パラメータであるカットオフ周波数とタップ数とを有するＦＩＲフィルタを作成する。ここでは、フィルタリング処理の例として、水平並進ｔｘに関して、ｎタップのフレーム画像に適用されるＦＩＲフィルタを作成してフィルタリング処理を行う手法について説明する。

ＦＩＲフィルタは、ある１つのフレーム画像に対する振れ補正量を算出するために、そのフレーム画像の前後ｎフレーム画像の振れ成分の累積変化量を必要とする。

図１０に、ステップＳ２０４にて行われる処理の手順を示す。まず、ステップＳ６０１では、補正パラメータ算出回路１１３は、現在の入力フレーム画像とそれよりも１つ前（過去）のフレーム画像との間で算出された水平並進ｔｘの変化量から、入力系列の先頭を基準とした累積変化量の系列Ｓである、

を算出する。

ここで、ｋ番目のフレーム画像を基準として、それよりｉフレーム後のフレーム画像の水平並進ｔｘの変化量である、

を累積した場合の累積変化量、

は、

と表すことができる。

次に、ステップＳ６０２では、補正パラメータ算出回路１１３は、ステップＳ２０３で求められた水平並進ｔｘの特徴に応じた振れ補正パラメータであるカットオフ周波数とタップ数を有するＦＩＲフィルタを作成する。そして、ステップＳ６０１で算出した累積変化量の系列Ｓに対してフィルタリング処理を行う。ＦＩＲフィルタとは、現在及び過去の入力信号の重み付け平均により出力信号を算出するフィルタであり、例えば、入力信号として系列Ｓが入力されたときの出力信号が、

となる場合のＦＩＲフィルタは、

と表される。ここで、ｎはタップ数であり、α_ｉはフィルタ係数、つまり各入力信号に対する重み付けの値を表している。

フィルタの作成には、フーリエ級数法や窓関数を組み合わせてカットオフ周波数を決定し、さらに遷移領域やタップ数等の特性を設定することにより、フィルタの係数の算出を行うという手法が多く用いられている。カットオフ周波数を決定する際に、ステップＳ２０３にて求めた各振れ成分の特徴を利用することで、各振れ成分を補正（低減）するのに適したフィルタを作成することが可能となる。

図３に示したように、垂直並進振れは６Ｈｚ付近に集中しているので、垂直並進振れを補正するためには、６Ｈｚ付近の周波数のみをカットオフ周波数とするようなフィルタ係数を設定すればよい。

また、図４に示したように、水平並進振れは２〜６Ｈｚ付近の範囲に分布しているので、水平並進振れを補正するためには、２〜６Ｈｚ付近の範囲の周波数をカットオフ周波数とするようなフィルタ係数を設定すればよい。

また、フィルタの作成において、タップ数を多くすると急峻なフィルタ特性を得られる代わりに遅延が大きくなり、逆にタップ数を少なくするとフィルタ特性は緩やかになるが遅延を少なくすることができる。

そこで、本実施例では、ステップＳ２０３で求められた各振れ成分の特徴に応じてフィルタのタップ数を設定することにより、フィルタリング処理による振れ補正量の算出の遅延を抑えたフィルタを作成する。

例えば、垂直並進振れに関しては、６Ｈｚ付近に集中している振れのみを除去しなければならないために多くのタップ数を必要とするが、水平並進振れに関してはある程度の広がりを持つ範囲の周波数の振れを除去するため、タップ数を少なくしても問題はない。

このようにして、振れ成分の特徴に応じてフィルタのタップ数を設定することで、より少ない遅延量で振れ補正量を得ることが可能となる。

ただし、同一フレーム画像に対して振れ補正量が得られるまでの遅延量が振れ成分ごとに異なっていると、良好な振れ補正処理を行うことはできないため、最も遅延量の大きい振れ成分に他の振れ成分の遅延量を合わせる等の処置を行う必要がある。

以上のようにして作成したＦＩＲフィルタを用いて累積変化量の系列Ｓに対してフィルタリング処理を行うことにより、出力信号として、フィルタリング振れ成分である、

を得ることができる。

ところで、振れ補正量の算出にフィルタリング処理を用いることの主な目的は、意図的な撮像装置の動きに影響を与えずに、振れのみを補正することにある。このため、撮像装置を動かさずに撮影を行った場合においては、画像上に生じるのは撮像装置の振れに起因する振れのみであるから、フィルタリング処理を行わずに単純な幾何変換処理のみで振れ補正を行ってもよい。

また、図５に示した拡大縮小振れでは、前述したように、意図的な撮像装置の動きがあるだけで振れ自体は生じていないので、振れ補正処理を行う必要がないと判断してもよい。

ステップＳ６０３では、補正パラメータ算出回路１１３は、フィルタリング動き成分である、

と、振れ補正の対象となっているフレーム画像での水平並進振れの累積変化量である、

とを用いて、振れ補正量である、

を算出する。

そして、以下の式により、水平並進振れの累積変化量から意図的なカメラワークである周波数成分の動きを残しつつ、水平並進振れのみを除去することができる振れ補正量を算出することができる。

本実施例では、以上説明した水平並進振れに対する振れ補正量の算出手法と同様の手法によって、全ての振れ成分に対する良好な振れ補正を行うための振れ補正量を算出する。

なお、本実施例では、フィルタリング処理にＦＩＲフィルタを用いる場合について説明したが、ＩＩＲフィルタやカルマンフィルタ等の他のフィルタを用いてもよい。また、より単純なモデルとして、移動平均値を算出する等の手法を用いてもよい。

ステップＳ６０４では、振れ補正回路１１４は、ステップＳ６０３で算出された振れ補正量を用いて振れ補正処理としての座標変換処理を行うための座標変換行列を作成する。

ここで、ステップＳ６０３で得られた振れ補正量は、画像変化量を表すホモグラフィ行列に対して成分変換を行うことで分解された各振れ成分の振れ補正量である。このため、フレーム画像に対して座標変換処理を行うには、各振れ成分の振れ補正量から振れ補正用ホモグラフィ行列を生成する必要がある。

ここで、ステップＳ６０３において求められた各振れ成分の振れ補正量をそれぞれ、

とする。
このときの、

以上のことから、振れ補正用ホモグラフィ行列は、

と表すことができる。

図２のステップＳ２０５では、振れ補正回路１１４は、算出された振れ補正用ホモグラフィ行列を振れ補正の対象となっているフレーム画像の各画素に対して適用して振れ補正後の各画素の座標値を算出することで、振れ補正のための座標値変換データを作成する。そして、作成された座標値変換データに基づいて、フレームメモリ１０７に保持されているフレーム画像から画素値の読出しを行い、読み出した画素値により構成される画像を振れ補正画像として映像出力回路１１５に伝送する。

ステップＳ２０６では、映像出力回路１１５は、ディスプレイや記録媒体に振れ補正画像を出力する。

なお、本実施例では、フレーム画像間の画像変化量を表現するのにホモグラフィ行列を用いたが、アフィン行列やヘルマート行列のような振れ成分のモデルを簡略化したものを用いてもよい。

以上説明したように、本実施例では、撮像装置の振れに起因して生じた振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求める。そして、該特徴が互いに異なることを利用して振れ成分ごとにフィルタリング処理を行うことで、各振れ成分に対する適切な振れ補正処理を行う。これにより、手振れに比べて大きく、かつ複雑な振れが撮像装置に発生した場合でも、良好に振れ補正がなされた画像を生成することができる。

図１１には、本発明の実施例２である撮像装置の構成を示す。実施例１では、撮像装置の振れを検出するために動きベクトルを用いる場合について説明した。これに対し、本実施例では、ジャイロセンサや加速度センサ等の振れ検出センサ（振れ検出手段）を用いて、撮像装置の振れを直接取得する。

なお、図１１において、図１に示した構成要素と共通する構成要素については、図１と同符号を付して説明に代える。なお、図１に示したメインコントローラは、図１１では省略している。

本実施例の撮像装置は、図１に示した画像変化量算出回路１０９の代わりに、撮像装置の振れを直接計測する振れ検出センサ７１６を有している。本実施例では、振れ検出センサ７１６と、振れ解析回路１１２と、補正パラメータ算出回路１１３と、振れ補正回路１１４により画像処理装置が構成される。

本実施例の撮像装置の動作について、図１２に示すフローチャートを用いて説明する。ステップＳ８０１では、実施例１において図２に示したステップＳ２０１と同様の動作が行われる。

ステップＳ８０２では、振れ解析回路１１２は、振れ検出センサ７１６により検出された撮像装置の振れを用いて、実施例１において図２に示したステップＳ２０３と同様にして、各振れ成分の特徴を求める。本実施例では、撮像装置の振れを直接検出することが可能なジャイロセンサや加速度センサ等の振れ検出センサ７１６を用いることにより、実施例１のように動きベクトルを算出する等の演算を不要としている。

ジャイロセンサは、該センサを中心とした回転量を検出することが可能なセンサであり、例えば３軸のジャイロセンサであれば、パン、チルト及びヨー方向での回転量を検出することができる。また、加速度センサは、該センサに加わった加速度を検出するものであり、例えば３軸の加速度センサであれば、ｘ軸、ｙ軸及びｚ軸方向での加速度を検出することが可能である。各軸方向での加速度を時間積分することにより、撮像装置の振れ量を算出することができる。このような振れ検出センサ７１６を撮像装置に１つ又は複数搭載することにより、撮像装置の各振れ成分の変化量を個別に取得することができる。

ステップＳ８０３、ステップＳ８０４及びステップＳ８０５では、実施例１において図２に示したステップＳ２０４、ステップＳ２０５及びステップＳ２０６とそれぞれ同様の処理を行う。

本実施例でも、撮像装置の振れに起因して生じた振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求め、該特徴が互いに異なることを利用して振れ成分ごとにフィルタリング処理を行うことで、各振れ成分に対する適切な振れ補正処理を行う。これにより、手振れに比べて大きく、かつ複雑な振れが撮像装置に発生した場合でも、良好に振れ補正がなされた画像を生成することができる。

また、本実施例では、撮像装置の振れを直接検出することが可能な振れ検出センサを用いているので、実施例１のように動きベクトルを算出する等の演算処理を必要とする場合に比べて、振れ補正処理の高速化を図ることができる。

上記実施例１，２では、撮像装置に画像処理装置を内蔵した場合について説明したが、本発明はこれに限らない。

例えば図１３に示すように、撮像装置１４０１で撮像した画像（フレーム画像）をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。

そして、パーソナルコンピュータ１４０２において、図２のフローチャートに示した処理を行ってもよい。この場合、パーソナルコンピュータ１４０２が画像処理装置として機能する。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

電子防振において、手振れよりも大きく、かつ複雑な振れに対しても良好な画像振れ低減効果が得られる画像処理装置及び撮像装置を実現できる。

１００ メインコントローラ
１０１ 光学系
１０２ 撮像素子
１０３ 画像生成回路
１０４ Ａ／Ｄ変換回路
１０５ オートゲインコントロール回路
１０６ オートホワイトバランス回路
１０７ フレームメモリ
１０８ メモリ制御回路
１０９ 画像変化量算出回路
１１０ 振れ量検出回路
１１１ 振れ量算出回路
１１２ 振れ解析回路
１１３ 補正パラメータ算出回路
１１４ 振れ補正回路
１１５ 映像出力回路
７１６ 動き検出センサ

Claims (9)

1. 撮像装置の振れに伴う画像の振れを低減する画像処理装置であって、
   前記撮像装置の振れを検出する振れ検出手段と、
   前記振れ検出手段にて検出された振れを並進成分および回転成分およびあおり成分を少なくとも含む複数の振れ成分に分解する分解手段と、
   前記複数の振れ成分毎に異なり且つ前記複数の振れ成分の各々の特徴に応じたフィルタリング処理パラメータを算出する算出手段と、
   前記画像に対して、前記振れ成分毎に算出された前記フィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ補正量を算出し、前記振れ補正量に基づいて振れ補正処理を行う処理手段と、を有することを特徴とする画像処理装置。
2. 前記振れ成分の特徴は、前記振れ成分の周波数特性における特徴であることを特徴とする請求項１に記載の画像処理装置。
3. 前記振れ成分の特徴は、前記振れ成分の振幅の大きさにおける特徴であることを特徴とする請求項１に記載の画像処理装置。
4. 前記振れ成分の特徴は、前記複数の振れ成分のカメラワークによる動きとの差における特徴であることを特徴とする請求項１に記載の画像処理装置。
5. 前記フィルタリング処理パラメータは、カットオフ周波数及びタップ数であることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記複数の振れ成分は、水平並進成分および垂直並進成分および拡大縮小成分および回転角成分およびせん断の非等方倍率成分およびせん断の方向角成分および水平あおり成分および垂直あおり成分を有することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 前記振れ補正処理時に、前記複数の振れ成分のうち最も遅延量の大きい振れ成分に他の振れ成分の遅延量を合わせることを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. 請求項１乃至７の何れか一項に記載の画像処理装置を有することを特徴とする撮像装置。
9. 撮像装置の振れに伴う画像の振れを低減する画像処理方法であって、
   前記撮像装置の振れを検出する振れ検出工程と、
   前記振れ検出工程にて検出された振れを並進成分および回転成分およびあおり成分を少なくとも含む複数の振れ成分に分解する分解工程と、
   前記複数の振れ成分毎に異なり且つ前記複数の振れ成分の各々の特徴に応じたフィルタリング処理パラメータを算出する算出工程と、
   前記画像に対して、前記振れ成分毎に算出された前記フィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ補正量を算出し、前記振れ補正量に基づいて振れ補正処理を行う処理工程と、を有することを特徴とする画像処理方法。