JP4926920B2 - 防振画像処理装置及び防振画像処理方法 - Google Patents

Description

本発明は、撮像装置において画像処理によって画像振れを抑制する画像処理装置及びその方法に関する。

画像振れを抑制するための防振方式には、光学防振方式と電子防振方式とがある。光学防振方式では、角速度センサや加速度センサ等の動き検出センサを用いてカメラの回転角度を検出し、該回転角度に基づいて撮像光学系内のレンズや被写体像を光電変換する撮像素子を変位させる。
一方、電子防振方式の１つとして、動画像を構成するフレーム画像間で動きベクトルを検出し、該動きベクトルに基づいて、各フレーム画像における出力領域を変化させることで振れが抑制された動画像を得る方式がある。
さらに、特許文献１には、動き検出センサを用いて得られた動き情報とフレーム画像間で得られた動きベクトルのうち信頼性が高い方を用いて防振動作を行う防振方式が開示されている。
ただし、これらの従来の防振方式は、特に撮像光学系が望遠側に設定された状態で、手振れ等の小さな振れによるカメラの回転角度が画像中に現れる上下左右方向での並進量に近似可能であることから成立している方式である。このため、例えば撮像光学系を広角側に設定して撮影者が歩行しながら撮像を行うような場合において、歩行に伴うショックやカメラの向きの変化等による、手振れに比べて大きく、かつ複雑な動きに対して防振効果を得ることはできない。
大きな振れにも対応可能な防振方法として、非特許文献１には、フレーム画像間で得られた動きベクトルからカメラの水平方向、垂直方向及び光軸周りでの回転を含む３軸周りでの回転情報を推定し、該回転情報を用いて画像の振れを抑制する方法が開示されている。
特許第２９４１８１５号公報 M.Irani,B. Rousso,S. Peleg,"Recovery of Ego-Motion Using Image Stabilization", International Conference on Computer Vision and Pattern Recognition ,page.454-460,1994

しかしながら、非特許文献１にて開示されている３軸周りでの回転情報だけでは、歩行に伴う上下左右及び前後方向等での複雑な振れに対して十分な防振効果を得ることが難しい。
本発明は、撮像装置の大きく、かつ複雑な動きに伴う画像の振れを良好に抑制できるようにした防振画像処理装置及び防振画像処理方法を提供する。

本発明の一側面としての画像処理装置は、動き検出センサを用いて得られる装置の動きに関する動き情報に基づいて、撮像により順次生成されるフレーム画像のうち第１のフレーム画像に対する幾何変換処理を行う幾何変換手段と、前記幾何変換処理により得られた幾何変換画像と前記第１のフレーム画像よりも後に得られた第２のフレーム画像との間での動きベクトルを検出する動きベクトル検出手段と、前記動き情報と前記動きベクトルをそれぞれ用いて、前記装置の動きの各動き成分に対する防振パラメータを算出する防振パラメータ算出手段と、前記防振パラメータを用いて前記第２のフレーム画像又はこれよりも後に生成されたフレーム画像に対する変形処理を行って防振画像を生成する防振画像生成手段とを有することを特徴とする。
また、本発明の他の一側面としての防振画像処理方法は、動き検出センサを用いて得られる装置の動きに関する動き情報に基づいて、撮像により順次生成されるフレーム画像のうち第１のフレーム画像に対する幾何変換処理を行うステップと、前記幾何変換処理により得られた幾何変換画像と、前記第１のフレーム画像よりも後に得られた第２のフレーム画像との間での動きベクトルを検出するステップと、前記動き情報と前記動きベクトルをそれぞれ用いて、前記装置の動きの各動き成分に対する防振パラメータを算出するステップと、前記防振パラメータを用いて前記第２のフレーム画像又はこれよりも後に生成されるフレーム画像に対する変形処理を行って防振画像を生成するステップとを有することを特徴とする。

本発明によれば、撮影者の歩行等によって撮像装置に生じた大きく、かつ複雑な動きによる画像の振れが十分に抑制された防振画像を得ることができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

《カメラの構成》
図１には、本発明の実施例１である画像処理装置を備えたカメラ（撮像用機器、撮像装置）１の構成を示している。カメラ１には、デジタルスチルカメラやビデオカメラが含まれる。なお、本実施例及び後述する実施例２では、撮像レンズを一体的に備えたカメラについて説明するが、本発明は、レンズ交換型のカメラにも適用することができる。この場合、後述する動き検出部を交換レンズ（撮像用機器）に搭載してもよい。

１００は撮像レンズ（撮像光学系）であり、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子１０２上に被写体像を形成する。１０１は絞りやシャッタ等を含む露光制御部材である。
被写体から撮像レンズ１００を介してカメラ１内に入射した光は、露光制御部材１０１によって光量が調節されて撮像素子１０２に到達する。撮像素子１０２は、被写体像を光電変換する。
１０３は撮像素子１０２からのアナログ出力信号をデジタル信号に変換し、該デジタル信号に対して、オートホワイトバランス処理、画素補間処理、色変換処理等の各種画像処理を行うことで動画像を生成する画像生成回路である。ここで、動画像は、所定の周期で順次生成される複数のフレーム画像によって構成されている。撮像素子１０２と画像生成回路１０３により撮像系が構成される。
１０４はカメラ１の動きを検出する動き検出部（動き検出センサ）であり、ジャイロセンサ（角速度センサ）や加速度センサ等の機械的又は物理的に動きを検出するセンサによって構成されている。動き検出部１０４は、カメラ１の回転運動を検出し、該回転運動を表す回転情報（動き情報）を生成する。回転運動には、垂直回転であるピッチ、水平回転であるヨー及び撮像レンズ１００の光軸周りでの回転が含まれる。ただし、以下の説明では、動き検出部１０４は、カメラ１のパン及びチルトの２軸周りでの回転を検出するものとする。このことは、後述する実施例２でも同じである。
１０５は露光制御部材１０１の動作を制御する露光制御部である。１０６は撮像レンズ１００に含まれるフォーカレンズの動作を制御するＡＦ制御部である。露光制御部１０５及びＡＦ制御部１０６は、例えばＴＴＬ方式により制御される。
１０７はカメラ１全体の動作の制御を司るシステム制御回路である。１０８はシステム制御回路１０７で行なわれる制御に必要なデータやコンピュータプログラム等を格納するメモリ（ＲＯＭ）である。１０９は各種調整値等の情報を記憶する不揮発性メモリ（ＥＥＰＲＯＭ）である。
１１０は防振回路（防振画像処理装置）であり、画像形成回路１０３で順次生成されるフレーム画像に対して防振処理を行って、出力画像である防振画像を生成する。
１１１は画像生成回路１０３で生成された所定数のフレーム画像を一時的に記憶保持するフレームメモリ１である。１１２は防振回路１１０で生成された防振画像を一時的に記憶保持するフレームメモリ２である。１１３はフレームメモリ１１１，１１２に入出力される画像信号を制御するメモリ制御回路である。
１１４は防振回路１１０で生成された画像を、不図示のディスプレイや記録媒体に表示又は記録する画像出力部である。

次に、防振回路１１０の内部構成について説明する。
１１００は幾何変換回路（幾何変換手段）である。幾何変換回路１１００は、画像生成回路１０３で生成された前フレーム画像（第１のフレーム画像）に対して、動き検出部１０４で生成されたカメラ１の回転情報に基づいて幾何変換（変形）処理を行う。この幾何変換回路１１００によって前フレーム画像を幾何変換処理することで得られる画像を、以下、幾何変換画像という。
１１０１は動きベクトル検出回路（動きベクトル検出手段）である。動きベクトル検出回路１１０１は、幾何変換画像と、画像生成回路１０３で前フレーム画像よりも後に生成された現フレーム画像（第２のフレーム画像）との間での動きベクトルを検出する。動きベクトルの検出方法については後述する。
ここで、現フレーム画像は、フレーム画像の生成周期において前フレーム画像の次に、つまりは連続して生成されたフレーム画像であってもよいし、前フレーム画像と現フレーム画像との間に１又は複数のフレーム画像が存在していてもよい。このことは、後述する実施例２でも同じである。
以下の説明では、現フレーム画像は、フレーム画像に連続して生成されたフレーム画像とする。
１１０２は防振パラメータ算出回路（防振パラメータ算出手段）である。防振パラメータ算出回路１１０２は、動きベクトル検出回路１１０１で検出された動きベクトルの情報から、カメラ１に生じ得る複数種類の動きのうち、動き検出部１０４で検出された動き（回転運動）以外の動きに対する座標変換パラメータを算出（推定）する。さらに、防振パラメータ算出回路１１０２は、動き検出部１０４で得られた回転情報と座標変換パラメータとをそれぞれ用いて、互いに異なる動きに対する防振パラメータを算出する。
１１０３は防振画像生成回路（防振画像生成手段）であり、防振パラメータ算出回路１１０２によって算出された防振パラメータを用いてフレーム画像に対する変形処理を行い、防振画像を生成する。ここで、変形処理の対象は、現フレーム画像であってもよいし、現フレーム画像よりも後に生成されるフレーム画像であってもよい。以下の説明では、現フレーム画像に対して変形処理が行われるものとする。
１１０４は画像データを一時的に記憶保持するメモリ回路であり、１１０５は防振処理に必要な各種データを記憶する不揮発性メモリである。１１０６は、防振回路１１０内の各回路を制御する防振制御回路であり、ＭＰＵ等で構成される。

《カメラの動作》
次に、カメラ１の動作について、図２のフローチャートを用いて説明する。図２のフローチャートは、被写体を撮像し、出力画像を画像出力部１１４を通じてディスプレイや記録媒体に表示又は記録されるまでの処理を示す。この動作は、システム制御回路１０７及び防振制御回路１１０６によって、コンピュータプログラムに従って実行される。このことは、後述する実施例２でも同じである。

ステップＳ２０１において、不図示の撮像開始ボタンが押されると、システム制御回路１０７は、撮像素子１０２からの信号を用いて測光及び焦点検出を行い、露光制御部１０５及びＡＦ制御部１０６を通じて露光制御部材１０１及びフォーカスレンズを動作させる。その後、システム制御回路１０７は、撮像素子１０２上に形成された被写体像を光電変換して、被写体像に対応したアナログ信号を生成する。

ステップＳ２０２では、システム制御回路１０７は、画像化処理を行う。すなわち、画像生成回路１０３にステップＳ２０１で生成されたアナログ信号のデジタル信号への変換処理及びフレーム画像の生成処理を行わせる。こうして生成された所定数のフレーム画像は、フレームメモリ１１１に一時的に保持される。

ステップＳ２０３では、システム制御回路１０７は、防振処理を実行する防振モードか否かを判定する。防振モードか否かは、撮影者による不図示のＩＳスイッチを通じて選択される。防振モードでない場合は、後述するステップＳ２０６において、防振処理が行われていない現フレーム画像を画像出力部１１４に出力する。防振モードである場合は、ステップＳ２０４に進む。
ステップＳ２０４では、システム制御回路１０７は、前フレーム画像がフレームメモリ１１１に保持されているか否かを確認する。保持されていない場合は、ステップＳ２０６にて、防振処理が行われていない現フレーム画像を画像出力部１１４に出力する。前フレーム画像が保持されている場合は、ステップＳ２０５に進む。

ステップＳ２０５では、防振制御回路１１０６は、前フレーム画像及び現フレーム画像を用いて現フレーム画像に対する防振処理（画像変換処理）を行い、防振画像を生成する。この場合、ステップＳ２０６では、防振画像を画像出力部１１４に出力する。
防振処理（防振画像処理方法）について、図３のフローチャートを用いて詳しく説明する。

ステップＳ３０１では、防振制御回路１１０６は、動き検出部１０４によって検出されたカメラ１の回転情報（本実施例では、パン情報及びチルト情報）を取得する。すなわち、前フレーム画像が取得された時刻から現フレーム画像が取得された時刻までのカメラ１の回転量（パン角及びチルト角）Ｒを取得する。
この回転量Ｒは、動き検出部１０４が角速度センサで構成されている場合には、角速度センサの出力信号を前フレームと現フレーム間の時間で積分することで得られる。また、動き検出部１０４が加速度センサで構成されている場合には、加速度センサの出力信号を前フレームと現フレーム間の時間で２回積分することで得られる。いずれの場合も、センサ固有のノイズは補正されているものとする。
なお、動き検出部１０４による回転情報の生成は、フレーム画像の生成周期（撮像素子１０２からの信号読み出し周期）と同期して順次行われ、複数の時刻の回転情報がメモリ１０８に記憶される。

次にステップＳ３０２では、防振制御回路１１０６は、幾何変換回路１１００、動きベクトル検出回路１１０１及び防振パラメータ算出回路１１０２に、前フレーム画像Ｉ（ｔ−１）と現フレーム画像Ｉ（ｔ）間の振れを抑制するための防振パラメータを算出させる。この防振パラメータの算出処理を、図４のフローチャートを用いて説明する。

まず、ステップＳ４０１において、幾何変換回路１１００は、前フレーム画像Ｉ（ｔ−１）を上記回転量Ｒと（式１）とを用いて幾何変換し、幾何変換画像Ｉ′（ｔ−１）を生成する。

（式１）をより詳細に記述する。幾何変換前の画素座標を（ｘ，ｙ）（但し、撮像レンズ１００の光軸に対応した画像の中心を原点とする）とし、幾何変換後の画素座標を（ｘ′，ｙ′）として斉次座標で表現すると、（式２）のように記述できる。

ただし、φ，θ，ψはそれぞれ、光軸回りでの回転角、チルト角、パン角を表している。本実施例では、動き検出部１０４はパン角とチルト角を検出しているので、φ＝０として計算し、幾何変換画像Ｉ′（ｔ−１）を生成する。

次に、ステップＳ４０２では、動きベクトル検出回路１１０１は、ステップＳ４０１で算出された幾何変換画像Ｉ′（ｔ−１）と幾何変換処理を受けていない現フレーム画像Ｉ（ｔ）間での動きベクトルを検出する。さらに、防振パラメータ算出回路１１０２は、該動きベクトルに基づいて、幾何変換画像Ｉ′（ｔ−１）と現フレーム画像Ｉ（ｔ）間での座標変換パラメータ（最終的には、後述する全体代表座標変換パラメータ）を算出する。ここでは、動き検出部１０４によって得られた回転量Ｒに対応する動き（パン及びチルト）以外の動きに関する座標変換パラメータを算出する。すなわち、カメラ１のパン及びチルト以外の動きとは、本実施例では、上下左右及び前後（光軸方向）の並進運動と、光軸周りでの回転運動である。
本実施例では、動きベクトルの検出方法及び座標変換パラメータの算出方法として、特開２００５−２６９４１９号公報にて開示された方法を用いる。ただし、本発明における動きベクトルの検出方法及び座標変換パラメータの算出方法はこれに限られない。

ここで、特開２００５−２６９４１９号公報にて開示された方法について簡単に説明する。

まず、フレーム画像間における局所的な動きベクトルを検出する。このとき、局所動きベクトルの検出位置として、例えば図５に示すように、各フレーム画像の中心位置を中心とした複数の同心円上に複数個ずつの検出点５０１を設定する。さらに詳しくは、各検出点５０１に対して、画像の中心に関する点対称となる位置に他の検出点が存在するように、各同心円上に複数の検出点５０１を設定する。そして、検出点５０１ごとに局所動きベクトルを算出する。動きベクトルは、テンプレートマッチングや勾配法等の公知の手法で算出することができる。
図５において、左側に幾何変換によって変形した幾何変換画像Ｉ′（ｔ−１）を示し、右側に現フレーム画像Ｉ（ｔ）を示す。また、図５に示した動きベクトルの検出点の配置は例にすぎず、他の配置を採用してもよい。

次に、各検出点５０１で検出された局所動きベクトルを用いて、（式３）のａ，ｂ，ｃ，ｄの４つの局所座標変換パラメータを算出する。ここで、（ｘ，ｙ）は幾何変形画像Ｉ′（ｔ−１）の任意の座標であり、（ｘ′，ｙ′）は現フレーム画像Ｉ（ｔ）の座標（ｘ，ｙ）が局所座標変換パラメータａ，ｂ，ｃ，ｄによって移動した座標を表す。（式３）は、アフィン変換を示す。

局所座標変換パラメータａ，ｂ，ｃ，ｄを算出するためには、画像の中心に関して点対称の位置関係にある２つの検出点５０１での局所動きベクトルを用いる。座標（ｘ，ｙ）の検出点５０１における局所動きベクトルは、（式４）のように表される。

また、座標（ｘ，ｙ）に対する点対称の検出点（−ｘ，−ｙ）での局所動きベクトルは、（式５）のように表すことができる。

ここでνｘ，νｙは、それぞれの検出点５０１において検出された局所動きベクトルのｘ成分とｙ成分である。
以上の関係式により、（式３）における局所座標変換パラメータａ，ｂ，ｃ，ｄは以下の（式６）で求めることができる。

このようにして、全ての点対称の関係にある検出点の組において、局所座標変換パラメータを算出する。

次に、局所座標変換パラメータから代表座標変換パラメータを算出する。まず、図６に示すように、図５に示した複数の同心円上に設定された複数の検出点５０１を、同じグループは同じ同心円上の検出点５０１のみを含むことを選択規則として、複数のグループに分ける、そして、グループ毎に局所座標変換パラメータの代表値を算出する。この代表値を算出するには、そのグループの同心円上にある局所座標変換パラメータの頻度分布を作成し、図７Ａに示すように、該頻度分布に対してガウシアン関数をコンボリューションする。
図７Ｂには、図７Ａに示した局所座標変化パラメータの頻度分布に対してガウシアン関数をコンボリューションした結果得られた頻度分布を模式的に示す。このガウシアン関数がコンボリューションされた頻度分布で最大となる値をそのグループを代表する座標変換パラメータ、すなわち代表座標変換パラメータとして決定する。
これら一連の処理によって、局所座標変換パラメータの頻度分布を平滑化し、その周辺に分布を持つ値が最大頻度値になりやすくすることで、同心円ごとに正確な代表値を算出する。同様にして、グループごとの代表座標変換パラメータを決定する。

そして最後に、各代表座標変換パラメータに対して適当な重み付けを行い、画像全体の座標変換を表す全体代表座標変換パラメータを算出する。このとき、微小な拡大／縮小や回転等を示す動きベクトルは画像の周辺にしか現れない場合があるため、画像の中心からの距離が大きいほど重み付けを大きくするとよい。

このようにして、前フレーム画像を動き検出部１０４で検出した回転量Ｒに応じて幾何変換した幾何変換画像Ｉ′（ｔ−１）と現フレームの画像Ｉ（ｔ）間での座標変換パラメータ（全体代表座標変換パラメータ）を決定する。

次に、ステップＳ４０３では、防振パラメータ算出回路１１０２は、現フレーム画像Ｉ（ｔ）の変形処理に用いる防振パラメータを算出するための時系列処理を行う。すなわち、動き検出部１０４からの回転量Ｒと幾何変換画像−現フレーム画像間の全体代表座標変換パラメータ（ａ，ｂ，ｃ，ｄ）とから、パン、チルト、光軸周り回転、上下左右並進、前後並進の各成分に対する防振パラメータを算出する。

本実施例では、防振処理の対象となる動き（振れ）は高周波の動きで、保存したい撮影者の意図的な動きは低周波の動きとする。防振処理には、ＦＩＲ（Finite Impulse Response）フィルタを用いたデジタルフィルタリング処理を適用する。すなわち、所定のフレーム数分蓄積されたパン、チルト、光軸周り回転、上下左右並進及び前後並進の各成分の値を用いてデジタルフィルタリング処理を行う。その後、フィルタリング結果とフィルタリング処理を行っていない蓄積値との比較を行い、その差分を表す各成文に対する画像変形パラメータＲ′，ａ′，ｂ′，ｃ′，ｄ′を防振パラメータとして算出する。以上で、防振パラメータの算出処理を終了する。

次に、図３のフローチャートのステップＳ３０３に進み、防振画像生成回路１１０３は、ステップＳ３０２（Ｓ４０３）で算出された防振パラメータを用いて現フレーム画像の変形処理を行い、防振画像を生成する。具体的には、まず現フレーム画像Ｉ（ｔ）を（式３）により幾何変換した後、（式２）の逆変換によって防振処理後の現フレーム画像（つまりは防振画像）を得るように防振パラメータＲ′，ａ′，ｂ′，ｃ′，ｄ′を適用する。この処理を順次生成されるフレーム画像（その時点での現フレーム画像）に対して行っていくことにより、振れが抑制された出力動画像を得ることができる。

なお、本実施例では、動き検出部１０４によってパン及びチルトの２自由度の回転運動を検出し、防振パラメータ算出回路１１０２において、光軸回りの回転運動と上下左右及び前後の並進運動に関する座標変換パラメータを算出した。しかし、動き検出部１０４によってパン、チルト及び光軸回り回転の３自由度の回転運動を検出し、防振パラメータ算出回路１１０２で上下左右及び前後の並進運動に関する座標変換パラメータを算出するようにしてもよい。このことは、後述する実施例２でも同じである。
以上説明したように、本実施例では、動き検出部１０４による回転情報を用いて前フレーム画像を幾何変換して得られた幾何変換画像と現フレーム画像とから、回転情報に対応する動き以外の動きに関する座標変換パラメータを算出する。そして、動き検出部１０４による回転情報と座標変換パラメータをそれぞれ用いて、互いに異なる動きに対する防振パラメータを算出する。これにより、カメラ１の多くの動きに対応した画像の振れを抑制することができる。この結果、歩行しながらの撮像のようにカメラに大きく、かつ複雑な動きが生じても、良好な防振画像を得ることができる。

次に、撮像レンズとして、魚眼レンズ等、光学系により発生する幾何学的歪が大きい超広角光学系が用いられるカメラにおける実施例を説明する。

本実施例は、例えば図８に示すようなカメラ２に適用される。
≪カメラの構成≫
図８に示すカメラ２において、実施例１（図１）に示したカメラ１と同じ構成要素には、実施例１と同符号を付して説明を省略する。

カメラ２において、８００は魚眼レンズ等の超広角光学系により構成される撮像レンズである。８０１は超広角光学系である撮像レンズ８００の幾何学的な歪情報（以下、単に歪情報という）を記憶した歪情報メモリである。

防振回路８１０には、実施例１で説明した回路１１００〜１１０６に加えて、歪補正回路（歪低減処理手段）８１００が設けられている。歪補正回路８１００は、撮像レンズ８００を用いて取得された画像データ（フレーム画像）に含まれる、撮像レンズ８００により発生する幾何学的歪に対応した画像歪成分を低減する歪低減処理（以下、歪補正処理という）を行う。
≪カメラの動作≫
次に、本実施例のカメラ２の動作について説明する。被写体を撮像し、出力画像を画像出力部１１４を通じてディスプレイや記録媒体に表示又は記録されるまでの基本的な流れは、図２に示した実施例１のカメラ１と同じであるが、防振処理（画像変換処理）が実施例１とは異なる。このため、ここでは、図９及び図１０を用いて、本実施例における防振処理を説明する。
図９において、ステップＳ９０１では、防振制御回路１１０６は、動き検出部１０４によって検出されたカメラ２の回転情報を取得するとともに、歪情報メモリ８０１から撮像レンズ８００の歪情報を取得する。回転情報は、実施例１と同様に、前フレーム画像が取得された時刻から現フレーム画像が取得された時刻までの間のカメラの回転量（ピッチ角及びヨー角）Ｒである。

次にステップＳ９０２では、防振制御回路１１０６は、歪補正回路８１００、幾何変換回路１１００、動きベクトル検出回路１１０１及び防振パラメータ算出回路１１０２に、前フレーム画像Ｉ（ｔ−１）と現フレーム画像Ｉ（ｔ）間の防振パラメータを算出させる。この防振パラメータの算出処理を、図１０のフローチャートを用いて説明する。

まずステップＳ１００１では、歪補正回路８１００は、前フレーム画像Ｉ（ｔ−１）及び現フレーム画像Ｉ（ｔ）の歪補正処理を行い、歪補正処理後のフレーム画像である前フレーム画像Ｉ′（ｔ−１）及び後フレーム画像Ｉ′（ｔ）を得る。

ここで、歪補正処理について簡単に説明する。撮像光学系の光軸位置に対応した光学中心座標を（ｘ０，ｙ０）とし、歪補正処理前のフレーム画像中の座標を（ｘ，ｙ）とし、歪補正処理後のフレーム画像中の座標を（ｘ′，ｙ′）とする。また、像高（光学中心からの距離）ｒに対する歪量をｆ_ｄｉｓｔ（ｒ）とすると、歪補正処理は（式７）に従って行われる。

ただし、ｒ＝ｓｑｒｔ｛（ｘ−ｘ０）^２＋（ｙ−ｙ０）^２｝
α＝ｔａｎ^−１｛（ｘ−ｘ０）／（ｙ−ｙ０）｝
である。ｆ_ｄｉｓｔ（ｒ）は多項式で表現されるのが一般的であり、その多項式の係数が歪情報として歪情報メモリ８０１に格納されている。
なお、歪補正処理に関しては上述した計算式（７）によるものに限られない。例えば、歪補正処理前のフレーム画像中の座標（ｘ，ｙ）に対して表形式で歪補正処理後の座標を与える方式や、光学系の射影方式に基づいた歪補正処理用の数式を用いて行う方式を採用してもよい。

次に、ステップＳ１００２では、幾何変換回路１１００は、歪補正後の前フレーム画像Ｉ′（ｔ−１）に対して、動き検出部１０４により得られた回転量Ｒを用いて幾何変換処理を行い、幾何変換画像Ｉ″（ｔ−１）を得る。

次に、ステップＳ１００３では、動きベクトル検出回路１１０１及び防振パラメータ算出回路１１０２は、前フレーム画像Ｉ″（ｔ−１）と幾何変換処理は受けていない歪補正処理後の現フレーム画像Ｉ′（ｔ）間の座標変換パラメータを算出する。この算出は、実施例１で説明した方法と同様の方法で行われる。

次に、ステップＳ１００４では、防振パラメータ算出回路１１０２は、実施例１と同様にして、歪補正処理後の現フレーム画像Ｉ′（ｔ）の変形処理に用いる防振パラメータを算出するための時系列処理を行う。

続いて、ステップＳ９０３に進み、防振画像生成回路１１０３は、ステップＳ１００４で算出された防振パラメータを用いて歪補正処理後の現フレーム画像Ｉ′（ｔ）の変形処理を行い、防振画像を生成する。この変形処理も、実施例１と同様に行われる。
以上説明したように、魚眼光学系等の超広角光学系を用いて撮像を行う場合でも、歪補正処理を行った前フレーム画像及び現フレーム画像を用いて実施例１と同様の防振処理を行うことで、カメラ２の多くの動きに対応した画像の振れを抑制することができる。この結果、広い画角（撮像範囲）で大きく、かつ複雑な動きが生じても、良好な防振画像を得ることができる。 以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

本発明の実施例１である防振画像処理装置を備えたカメラの構成を示すブロック図。 実施例１のカメラの動作を示すフローチャート。 実施例１における防振処理の流れを示すフローチャート。 実施例１における防振パラメータ算出処理の流れを示すフローチャート。 実施例１におけるフレーム画像間での動きベクトル検出点の配置例を示す図。 実施例１において座標変換パラメータを算出する際の選択規則を示す図。 実施例１における座標変換パラメータの頻度分布に対するコンボリューションを示す図。 実施例１における上記コンボリューションの結果を示す図。 本発明の実施例２であるカメラの構成を示すブロック図。 実施例２における防振処理の流れを示すフローチャートである。 実施例２における防振パラメータ算出処理の流れを示すフローチャート。

符号の説明

１，２ カメラ
１００，８００ 撮像レンズ
１０１ 露光制御部材
１０２ 撮像素子
１０３ 画像生成回路
１０４ 動き検出部
１０５ 露光制御部
１０６ ＡＦ制御部
１０７ システム制御回路
１１０，８１０ 防振回路

Claims (7)

1. 動き検出センサを用いて得られる装置の動きに関する動き情報に基づいて、撮像により順次生成されるフレーム画像のうち第１のフレーム画像に対する幾何変換処理を行う幾何変換手段と、
   前記幾何変換処理により得られた幾何変換画像と前記第１のフレーム画像よりも後に得られた第２のフレーム画像との間での動きベクトルを検出する動きベクトル検出手段と、
   前記動き情報と前記動きベクトルをそれぞれ用いて、前記装置の動きの各動き成分に対する防振パラメータを算出する防振パラメータ算出手段と、
   前記防振パラメータを用いて前記第２のフレーム画像又はこれよりも後に生成されたフレーム画像に対する変形処理を行って防振画像を生成する防振画像生成手段とを有することを特徴とする防振画像処理装置。
2. 前記装置の動きには、少なくとも回転運動と並進運動に関する動きが含まれることを特徴とする請求項１に記載の防振画像処理装置。
3. 前記動き情報には、前記回転運動に関する動き成分が含まれ、
   前記回転運動のうち、水平方向への回転運動であるパンニングと、垂直方向への回転運動であるチルティングに関する情報が少なくとも含まれることを特徴とする請求項２に記載の防振画像処理装置。
4. 前記防振パラメータ算出手段は、前記動き情報を用いて前記回転運動に対する前記防振パラメータを算出し、前記動きベクトルを用いて前記並進運動に対する前記防振パラメータを算出することを特徴とする請求項２に記載の防振画像処理装置。
5. 前記フレーム画像に含まれる、前記撮像用機器の光学系によって発生する幾何学的歪に対応した画像歪成分を低減する歪低減処理を行う歪低減手段を有し、
   前記幾何変換手段は、前記歪低減処理を受けた後の前記第１のフレーム画像に対して前記幾何変換処理を行い、
   前記動きベクトル検出手段は、前記歪低減処理と前記幾何変換処理を行った第１のフレーム画像と、前記歪低減処理を行った第２のフレーム画像との間での動きベクトルを検出することを特徴とする請求項１から４のいずれか１項に記載の防振画像処理装置。
6. 被写体像を光電変換する撮像素子を用いて撮像を行う撮像系と、
   前記動き検出センサと、
   前記撮像系により順次生成されるフレーム画像を処理する請求項１から５のいずれか１項に記載の防振画像処理装置とを有することを特徴とする撮像装置。
7. 動き検出センサを用いて得られる装置の動きに関する動き情報に基づいて、撮像により順次生成されるフレーム画像のうち第１のフレーム画像に対する幾何変換処理を行うステップと、
   前記幾何変換処理により得られた幾何変換画像と、前記第１のフレーム画像よりも後に得られた第２のフレーム画像との間での動きベクトルを検出するステップと、
   前記動き情報と前記動きベクトルをそれぞれ用いて、前記装置の動きの各動き成分に対する防振パラメータを算出するステップと、
   前記防振パラメータを用いて前記第２のフレーム画像又はこれよりも後に生成されるフレーム画像に対する変形処理を行って防振画像を生成するステップとを有することを特徴とする防振画像処理方法。