JP5534187B2 - 画像処理装置、画像処理方法及び画像処理プログラム等 - Google Patents

Description

本発明は、画像に表示される物体を認識する装置及び方法等の技術分野に関する。

画像に表示される物体を認識する画像処理技術は、様々な分野で利用されている。例えば、デジタルカメラ及びデジタルビデオカメラでは、かかる画像処理技術によって、手ぶれ補正技術が実現されている。

例えば、手ぶれ補正機能を搭載したデジタルビデオカメラでは、撮影可能領域を一定のサイズに狭め、撮影の際にバッファメモリに画像を読み込む。そして、最初に撮影した画像の特徴のある場所を認識し、それ以降に撮影した画像の特徴のある場所とを比較し、その特徴のある場所の前記撮影画像からのずれ量を演算する。そして、当該特徴のある場所が、撮影画像領域の元の場所に来るように、当該撮影画像領域を自動的にずらして記録するようになっている。

この画像認識技術において、最初に撮影した画像の特徴のある場所を認識し、それ以降に撮影した画像の特徴のある場所とを比較する処理は、特徴点及び動きベクトルを抽出することにより実現されている。上記動きベクトルは、連続する２つの画像における当該画像を構成する画素のうち任意の点を特徴点とし、かかる特徴点の移動ベクトルとして現したものである。

すなわち、手ぶれ補正は、この特徴点及び動きベクトルを抽出することにより実現されている。

また、この手ぶれ補正機能を応用した技術として、特許文献１では、手ぶれ補正を行う電子カメラにおいて、撮像倍率が大きくなるにつれて手ぶれ補正領域の幅を大きくし、かかる手ぶれ補正を行う技術が開示されている。

また、特許文献２では、撮像情報の所定エリアについて手ぶれ補正を行う方法について開示されている。この所定エリアは、ズーム倍率やシャッタースピード又は、被写体の位置などの条件によって変更されるようになっている。

また、特許文献３では、撮像領域（画面）をタイル状に分割し、分割された領域ごとに手ぶれ補正を行う（画面全体をタイル状に分割し全パネルについて処理する）技術が開示されている。

また、特許文献４では、手ぶれ補正を行う撮像装置において、記録画像サイズに基づいて手ぶれ補正量の最大値を求め、当該補正量に応じて手ぶれ補正を行う技術が開示されている。

特許第３７３３８２８号公報 特許第４３０５４３４号公報 特許第４０４７１５２号公報 特許第３８６７６９１号公報

しかしながら、上記特徴量及び動きベクトルを抽出する処理は、極めて膨大なデータ量を扱うため、処理装置の高機能化が要求され、また、膨大な処理時間がかかってしまう。

また、ズーム機構を備える装置において撮像される画像では、上記動きベクトルを得る探索領域及び動きベクトルの数が変化するが、上記技術においては、かかる変化について考慮されておらず、適切な手ぶれ補正が行えないとの問題点があった。

そこで、本発明は上記各問題点に鑑みてなされたもので、その目的の一例は、ズーム機構を備えた光学系レンズによって所定の拡大率で撮像された画像の拡大率に応じた適切な手ぶれ補正を行う装置及び方法等を提供することである。

上記課題を解決するために、請求項１に記載の発明は、ズーム機構を備えた光学系レンズによって、所定の拡大率で撮像された動画像を、画素情報を含む連続する静止画像に変換する入力画像取得手段と、前記拡大率を数値化する拡大率算出手段と、前記拡大率に応じて定められる第１の静止画像の所定の範囲から、前記拡大率に応じて定められる所定の数の特徴点を抽出する特徴点抽出手段と、前記第１の静止画像に連続する第２の静止画像から、前記第１の静止画像から抽出された所定の数の特徴点が移動する移動量を算出し、前記特徴点が移動する方向を示す動きベクトルを抽出する動きベクトル抽出手段と、前記抽出された各動きベクトルが示す方向に応じて、手ぶれ補正を行う方向を決定する手ぶれ補正方向決定手段と、前記決定された方向に応じて前記手ぶれ補正を行う手ぶれ補正手段と、を備える。

従って、ズーム機構を備えた光学系レンズによって所定の拡大率で撮像された画像の拡大率に応じて上記特徴量及び動きベクトルを抽出し手ぶれ補正を行うため、処理速度の高速化及び処理装置の小型化を図ることができ、さらに、所定の拡大率で撮像された画像の拡大率に応じた適切な手ぶれ補正を行うことができる。

請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記手ぶれ補正方向決定手段は、前記抽出された各動きベクトルが示す方向のうち、同じ方向を示す動きベクトルの数が最も多い動きベクトルが示す方向を、前記手ぶれ補正を行う方向とする。

従って、ズーム機構を備えた光学系レンズによって所定の拡大率で撮像された画像の拡大率に応じて上記特徴量及び動きベクトルを抽出し手ぶれ補正を行うため、処理速度の高速化及び処理装置の小型化を図ることができ、さらに、所定の拡大率で撮像された画像の拡大率に応じたより適切な手ぶれ補正を行うことができる。

請求項３に記載の発明は、請求項１又は２の何れか１項に記載の画像処理装置であって、前記特徴点抽出手段は、前記拡大率が増加するほど、前記所定の範囲を拡大し、前記抽出する特徴点の数を減少させる。

従って、ズーム機構を備えた光学系レンズによって所定の拡大率で撮像された画像の拡大率に応じて上記特徴量及び動きベクトルを抽出し手ぶれ補正を行うため、処理速度の高速化及び処理装置の小型化を図ることができ、さらに、所定の拡大率で撮像された画像の拡大率に応じたより適切な手ぶれ補正を行うことができる。

請求項４に記載の発明は、ズーム機構を備えた光学系レンズによって、所定の拡大率で撮像された動画像を、画素情報を含む連続する静止画像に変換する入力画像取得ステップと、前記拡大率を数値化する拡大率算出ステップと、前記拡大率に応じて定められる第１の静止画像の所定の範囲から、前記拡大率に応じて定められる所定の数の特徴点を抽出する特徴点抽出ステップと、前記第１の静止画像に連続する第２の静止画像から、前記第１の静止画像から抽出された所定の数の特徴点が移動する移動量を算出し、前記特徴点が移動する方向を示す動きベクトルを抽出する動きベクトル抽出ステップと、前記抽出された各動きベクトルが示す方向に応じて、手ぶれ補正を行う方向を決定する手ぶれ補正方向決定ステップと、前記決定された方向に応じて前記手ぶれ補正を行う手ぶれ補正ステップと、を有する。

請求項５に記載の発明は、画像処理装置に含まれるコンピュータを、ズーム機構を備えた光学系レンズによって、所定の拡大率で撮像された動画像を、画素情報を含む連続する静止画像に変換する入力画像取得手段、前記拡大率を数値化する拡大率算出手段、前記拡大率に応じて定められる第１の静止画像の所定の範囲から、前記拡大率に応じて定められる所定の数の特徴点を抽出する特徴点抽出手段、前記第１の静止画像に連続する第２の静止画像から、前記第１の静止画像から抽出された所定の数の特徴点が移動する移動量を算出し、前記特徴点が移動する方向を示す動きベクトルを抽出する動きベクトル抽出手段、前記抽出された各動きベクトルが示す方向に応じて、手ぶれ補正を行う方向を決定する手ぶれ補正方向決定手段、及び、前記決定された方向に応じて前記手ぶれ補正を行う手ぶれ補正手段、として機能させる。

請求項６に記載の発明は、請求項５に記載の画像処理プログラムがコンピュータ読み取り可能に記録されている。

以上のように、本発明によれば、画像処理装置は、ズーム機構を備えた光学系レンズによって所定の拡大率で撮像された画像の拡大率に応じて上記特徴量及び動きベクトルを抽出し手ぶれ補正を行うため、処理速度の高速化及び処理装置の小型化を図ることができ、さらに、所定の拡大率で撮像された画像の拡大率に応じた適切な手ぶれ補正を行うことができる。

本実施形態にかかる画像処理装置の構成を示すブロック図である。 拡大率が大きい場合の特徴点を抽出する範囲及び特徴点の抽出を示す概念図である。 拡大率が小さい場合の特徴点を抽出する範囲及び特徴点の抽出を示す概念図である。 本実施形態における動きベクトルの抽出の一例を示す概念図である。 制御部５の動作を示すフローチャートである。 本実施形態における手ぶれ補正が行われた静止画像を示す概念図である。 複数毎の静止画からなる動画像における手ぶれ補正を行う際の制御部５の動作を示すフローチャートである。

まず、本願の最良の実施形態を添付図面に基づいて説明する。なお、以下に説明する実施の形態は、画像処理装置に対して本願を適用した場合の実施形態である。

まず、本実施形態にかかる画像処理装置の構成及び機能概要について、図１を用いて説明する。

図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。

画像処理装置Ｓは、光学系システム１、拡大率入力部２、拡大率制御部３、入力画像取得部４（本願の入力画像取得手段の一例）、制御部５及び出力データとしての画像を表示する表示部６等、とを備える。

光学系システム１では、ズーム機構を備えた光学系レンズ１aから取り込まれた光が、図示しない絞り機構等によって調節され、イメージセンサ１ｂ上に光学像（画像）として結像される。かかる画像は、イメージセンサ１ｂによって電気信号に変換され、入力画像取得部４（カメラI／Ｆ２）へ出力されるようになっている。

ズーム機構は、撮影された像をズーム（拡大）するために配置されるズーム機構を備える。ズーム機構は公知の技術であるため詳しい説明は省略するが、かかるズーム機構は、拡大率入力部２によって入力される所定の拡大率に応じて、拡大率制御部３の機械的制御に基づいて、かかる光学系レンズ１aに含まれるレンズの焦点距離を変動させることにより、光学系レンズ１aによって撮影された像を拡大する。

イメージセンサ1ｂは、上記結像された光学像を、例えばマトリクス配置されたフォトダイオード等を用いた光電交換機能によって光学像の明るさに比例した電気信号に変換し、カメラＩ／Ｆ２へ出力する。

イメージセンサ１ｂの一例として、例えば、ＣＣＤ（Charge Couple Semiconductor）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が適用される。

拡大率入力部２は、テンキー、タッチパネル、ジョグダイヤル又はその他の入力機構を備え、所定の拡大率を拡大率制御部３へ入力できる。

拡大率制御部３は、拡大率入力部２から入力された拡大率に応じて、機械的制御により光学系レンズ１aに含まれるレンズの焦点距離を変動させ、光学系レンズ１aによって撮影された像を拡大させる。

入力画像取得部４は、所定の拡大率で撮像された画像を、前記画像を構成する画素を示す画素情報（上記各画素に対応する電気信号等）と前記画素に対応する色情報（前記Ｒ，Ｇ，Ｂの何れかの原色成分に対応した電荷等）を示す静止画像として、制御部５（後述する入力画像格納部７）へ出力する。

入力画像取得部４の一例として、例えば、産業用デジタルカメラと画像入力ボードを接続する規格仕様である公知のカメラリンク（Camera Link）に対応したインターフェースが適用される。

制御部５は、上記静止画像に基づいて、画像処理を行い二次元的に視認可能な平面画像及び動画像を示す出力データを生成するための処理回路である。また制御部５は、例えば手ぶれ補正機能を行う。

例えば、手ぶれ補正機能を搭載したデジタルビデオカメラでは、撮影可能領域を一定のサイズに狭め、撮影の際にバッファメモリに画像を読み込む。そして、最初に撮影した画像の特徴がある点を認識し、それ以降に撮影した画像の特徴がある点とを比較し、その画像の前記撮影可能領域からの移動量を演算する。そして、当該特徴がある点が、撮影可能領域の元の場所に来るように、当該撮影可能領域を自動的にずらして撮影し記録するようになっている。

この画像認識技術において、最初に撮影した画像の特徴がある点を認識し、それ以降に撮影した画像の特徴がある点とを比較する処理は、特徴点及び動きベクトルを抽出することにより実現されている。上記動きベクトルは、連続する２つの画像における当該画像を構成する画素のうち任意の点を特徴点とし、かかる特徴点の移動方向及び移動量をベクトルとして現したものである。すなわち、手ぶれ補正は、この特徴量及び動きベクトルを抽出することにより実現されている。

本実施形態における制御部５は、ズーム機構を備えた光学系レンズ１aによって撮像された画像に対して、上記手ぶれ補正を行うべく以下の構成を採用している。

制御部５には、一例として、一般的なＣＰＵの他、ＡＳＩＣ(Application Specific Integrated Circuit)を適用可能だが、ＦＰＧＡ(Field Programmable Gate Array)に組み込むことができるＣＰＵ（MicroBlazeやNios II等）の登場でＦＰＧＡなどの安易に構成できるデバイスも適用することができる。

この手ぶれ補正を実現するために、制御部５は、入力画像格納部７（入力画像取得手段の一例）、拡大率算出部８（拡大率算出手段の一例）、特徴点抽出部９（特徴点抽出手段の一例）、動きベクトル抽出部１０（動きベクトル抽出手段の一例）、手ぶれ補正方向決定部１１（手ぶれ補正方向決定手段の一例）、手ぶれ補正部１２（手ぶれ補正手段の一例）、画像加工部１３、出力フレームメモリ１４等とから構成される。

入力画像格納部７は、上記静止画像を記憶するための記憶領域であり、例えば、揮発性又は不揮発性メモリ又はハードディスク等が適用される。

拡大率算出部８は、上記拡大率を数値化する。具体的には、拡大率入力部２に入力された拡大率、又は、上記静止画像に基づいて、拡大率を数値化するようになっている。

この拡大率は任意の数値又は記号によって表すことができ、例えば、上記ズーム機構を用いないで撮像した画像（すなわちズーム撮影しない映像。以下、「通常画像」とする。）を１とした場合に、通常画像に示される撮像された物体（撮像対象）と上記ズーム機構を用いて撮像した画像に示される撮像対象の大きさを比較し、拡大率を整数倍表示（例えば、８倍、１０倍等）として表すようにしてもよい。

特徴点抽出部９は、前記拡大率に応じて定められる第１の静止画像の所定の範囲から、前記拡大率に応じて定められる所定の数の上記特徴点を抽出する。具体的には、上記静止画を構成する画素情報に対して座標値を付与し、特定の座標値を上記特徴点とする。

ここで、図２及び図３を用いて本実施形態における特徴点を抽出する範囲及び特徴点の抽出について説明する。

図２は、拡大率が大きい場合の特徴点を抽出する範囲及び特徴点の抽出を示す概念図である。

図２に示すように、静止画像２１には、撮像対象２３としてゴルファーが撮像されている。そして、静止画像２１は、ズーム機構を用いて撮像されているため、当該静止画像２１の拡大率は高くなっている（たとえば８倍）。

この場合、特徴点を抽出する範囲２２（本実施形態における第１の静止画像の所定の範囲の一例）は、静止画像２１と比較して大きく（例えば、静止画像２１の５０％の大きさ）し、特徴点の抽出個数は５個（特徴点２４ａ〜特徴点２７ａ）と少なく（減少させる）するようになっている。

このようにして、本実施形態では、ワイド時と比べて拡大時は、動きベクトルとしては手ぶれが支配的となるため、上記拡大率が増加するほど、上記所定の範囲を拡大し、上記抽出する特徴点の数を減少させるようになっている。ワイド時の動きベクトルは、手ぶれよりも被写体の変化が支配的となるため多くの特徴点を要する。

この隣り合う特徴点同士の間隔は任意に設定することができ、例えば、上記所定の範囲内を当該特徴点の数量分等間隔に分割（すなわち、所定の範囲を同一の面積を有する範囲に分割）し、分割された範囲内の中心にひとつの特徴点を配置するようにしてもよい。

なお、図２では、特徴点２４ａ〜特徴点２７ａに基づいて抽出される動きベクトルを、仮想的に動きベクトル２４ｂ〜動きベクトル２７ｂとして表している。この動きベクトルは後述する動きベクトル抽出部１０によって抽出される。

図３は、拡大率が小さい場合の特徴点を抽出する範囲及び特徴点の抽出を示す概念図である。

図３に示すように、静止画像３１には、撮像対象３３としてゴルファーが撮像されている。そして、静止画像３１は、ズーム機構を用いないで撮像されている（すなわち、拡大率１倍）。

この場合、特徴点を抽出する範囲３２（本実施形態における第１の静止画像の所定の範囲の一例）は、静止画像３１と比較して小さく（例えば、静止画像２１の５％の大きさ）し、特徴点の抽出個数は１１個（特徴点３４ａ〜特徴点４４ａ）と多く（増加させる）するようになっている。

このようにして、本実施形態では、上記拡大率が増加するほど、上記所定の範囲を拡大し、上記抽出する特徴点の数を減少させるようになっている。

なお、図３では、特徴点３４ａ〜特徴点４４ａに基づいて抽出される動きベクトルを、仮想的に動きベクトル３４ｂ〜動きベクトル４４ｂとして表している。この動きベクトルは後述する動きベクトル抽出部１０によって抽出される。

このようにして拡大率が小さい場合（すなわちワイド時）に、特徴点抽出領域を狭くし、また、動きベクトルの探索範囲も狭くすることにより、ＣＰＵの演算量が減り、消費電力も減り、ターンアラウンドタイムも減少することで、例えば充電池を備える画像処理装置（携帯電子機器）の動作時間が延びる。

なお、上述した特徴点及び動きベクトルの抽出される個数は、後述する補正方向決定部１１によって、同じ方向を示す動きベクトルの数が最も多い動きベクトルが示す方向を、手ぶれ補正を行う方向とする（すなわち、多数決で決める）ため、奇数個としたが、これに限定されるものではない。

なお、拡大率が小さいものから大きいものへ変化する場合の、中間の値を示す拡大率の場合における上記特徴点及び動きベクトルの数は、拡大率に応じて二次関数的（非線形）に、または、線形的に変動させるようにしてもよい。

具体的には、上記拡大率が８倍であった場合には、上記特徴点を５個、動きベクトルの数５個、特徴点抽出領域は撮像画像の５０％とし、上記拡大率が３２倍であった場合には、上記特徴点を３個、動きベクトルの数３個、特徴点抽出領域は撮像画像の９０％と刷るようにしてもよい。

図２の説明に戻り、動きベクトル抽出部１０は、上記第１の静止画像に連続する第２の静止画像から、当該第１の静止画像から抽出された所定の数の特徴点が移動する移動量を算出し、前記特徴点が移動する方向を示す動きベクトルを抽出する。

具体的に、動きベクトル抽出部１０は、上記特徴点の座標値と、第２の静止画に示される当該特徴点の座標値を算出し、当該特徴点の移動量を算出し、前記特徴点が移動する方向を示す動きベクトルを抽出する。

なお、本実施形態における動きベクトルの抽出は、特徴点の周辺の色パターンを用いて、フレーム中のパターンマッチングを行う。

具体的には、静止画像から、最も似ているパターンをスキャン（探索）し、次の静止画像（フレーム）での位置を推定し、その変異量（ずれ）を動きベクトルとして扱う。ここで、全ての上記パターンをスキャンするのは処理効率が悪いため、特定パターン（上記パターン）の探索範囲は設定が可能である。すなわち、かかる探索範囲を狭めると、探索にかかる時間が減るが、大きな動き（ぶれ）に追従できない。また、かかる探索範囲を広げると、探索時間が大きくなるが、大きな動き（ぶれ）に追従できる。

一方、ワイド（広角）での撮影時は、あまり手ぶれの影響がないので狭い探索範囲（小さい動きベクトル）が適している。僅かなズレ補正を行うことで高精細な画像を得ることができるからである。

そして、マクロやテレなどの光学拡大、デジタル拡大時は、ブレが大きくなるのでズレ幅が大きく、広い範囲で動きベクトルを得る必要がある。探索範囲が広いと、逐次処理が増えターンアラウンドタイムが長くなる。また消費電力が増えてしまう。

そこで、上述した特徴点抽出領域に応じて、上記スキャンを行うようになっている。

図４は、本実施形態における動きベクトルの抽出の一例を示す概念図である。

特定パターン４１の動きベクトルを抽出するために、第２の静止画像４２（次フレーム）では、特徴点抽出領域４３において、画素を１ドットずつずらしながら（図４のスキャン方向４６）最も近い色パターンを探索する。すなわち、最もパターンが似ているものを探し出し、元の位置とのズレ量を補正幅とするようになっている。

図４では、特定パターン４１は、特定パターン４５の位置まで移動したものとする。そして最終的に動きベクトル４６が求められる。

図２の説明に戻り、手ぶれ補正方向決定部１１は、抽出された各動きベクトルが示す方向に応じて、前記手ぶれ補正を行う方向を決定する。

本実施形態における手ぶれ補正方向決定部１１は、前記抽出された各動きベクトルが示す方向のうち、同じ方向を示す動きベクトルの数が最も多い動きベクトルが示す方向を、前記手ぶれ補正を行う方向とするようになっている。

具体的には、例えば、静止画像２１又は静止画像３１に示される動きベクトル２４ｂ〜動きベクトル２７ｂ又は動きベクトル３４ｂ〜動きベクトル４４ｂが示す方向のうち、同じ方向を示す動きベクトルの数が最も多い動きベクトル（静止画像２１又は静止画像３１では、画面を正面視して右斜め下方向）と反対方向を手ぶれ補正を行う方向とするようになっている。

手ぶれ補正部１２は、上記決定された方向に応じて上記手ぶれ補正を行う。

画像加工部１３は、手ぶれ補正を行った上記静止画像を出力データとて生成するための処理が行われ、例えば所定のファイル形式（ＪＰＥＧ等）に変換される。

出力フレームメモリ１４は、出力データを書込むための制御を行う。

次に、本実施形態における制御部５の動作を、図５及び図６を対比させて説明する。

図５は制御部５の動作を示すフローチャートであり、図６は本実施形態における手ぶれ補正が行われた静止画像を示す概念図である。

図５に示すように、まず、所定の拡大率で画像が撮像され入力されると（ステップＳ１）、拡大率算出部８は、上記拡大率を数値化する（ステップＳ２）。

次に、特徴点抽出部９は、前記拡大率に応じて定められる第１の静止画像（図６の第１の静止画像６１ａ）の所定の範囲（図６の特徴点抽出領域６２）から、前記拡大率に応じて定められる所定の数の上記特徴点（図６の特徴点６４ａ〜特徴点６８ａ）を抽出する（ステップＳ３及びステップＳ４）。

次に、動きベクトル抽出部１０は、特徴点の周辺の色パターンを用いて、フレーム中のパターンマッチングを行う（ステップＳ５）。

次に、パターンマッチングにより、前フレーム（第１の静止画像）との動きベクトルを抽出する（ステップＳ６）。

具体的には、図６の第２の静止画像６１ｂに示される特徴点６４ｃ〜特徴点６８ｃと、特徴点６４ａ〜特徴点６８ａから、動きベクトル６４ｂ〜６８ｂが抽出される。

そして、手ぶれ補正方向決定部１１は、手ぶれ補正の方向を多数決により決定し（ステップＳ７）、手ぶれ補正を行い（ステップＳ８）、ステップＳ１の処理へと移行する。

次に、複数毎の静止画からなる動画像における手ぶれ補正を行う際の制御部５の動作について、図７を用いて説明する。

図７は、複数枚の静止画からなる動画像における手ぶれ補正を行う際の制御部５の動作を示すフローチャートである。

複数枚の静止画からなる動画像における手ぶれ補正を行う際の制御部５は、累積手ぶれ補正を行う。

上述したように、手ぶれ補正では、最初に撮影した画像（最初の静止画）の特徴がある点を認識し、それ以降に撮影した画像（後続する静止画）の特徴がある点とを比較し、その画像の前記撮影可能領域からの移動量を演算する。そして、当該特徴がある点が、撮影可能領域の元の場所に来るように、当該撮影可能領域を自動的にずらして撮影し記録する。

すなわち複数枚の静止画では、後続する画像における上記移動量は、最初に撮影した画像を基準に考えると、連続する静止画の上記移動量を累積した値となる。

そこで、本実施形態における制御部５は、各静止画における手ぶれ補正の方向を多数決により決定し、この手ぶれ補正方向を累積的に加算した値を、複数枚の静止画からなる動画像における手ぶれ補正とする。

具体的には、まず制御部５は、静止画像を計数するためのカウンタｎを初期化する（ステップＳ１１）。そして、所定の拡大率で複数枚の静止画像が撮像され入力されると（ステップＳ１２）、制御部５は、静止画像の枚数を計数（すなわち、ｎをインクリメント）する（ステップＳ１３）。

そして、制御部５は、静止画像の枚数が所定の枚数より多いか否か（すなわち、ｎが初手の値より大きいか否か）を判断する（ステップＳ１３）。

静止画像の枚数が所定の枚数より多かった場合には（ステップＳ１４：ＹＥＳ）、制御部５は、手ぶれ補正を行わず（後述する累積手ぶれ補正方向をリセットする。ステップＳ１５）、静止画像を計数するためのカウンタｎを初期化する（ステップＳ１６）。そして、制御部５は、手ぶれ補正を行わず画像を表示する（ステップＳ１７）。その後、ステップＳ１２の処理へと移行する。

一方、静止画像の枚数が所定の枚数より少なかった場合には（ステップＳ１４：ＮＯ）、拡大率算出部８は、拡大率を数値化（取得）する（ステップＳ１８）。

次に、特徴点抽出部９は、前記拡大率に応じて定められる第１の静止画像（例えば、上述した図６の第１の静止画像６１ａ）の所定の範囲（例えば、上述した図６の特徴点抽出領域６２）から、前記拡大率に応じて定められる所定の数の上記特徴点（例えば、上述した図６の特徴点６４ａ〜特徴点６８ａ）を抽出する（ステップＳ１９及びステップＳ２０）。特徴点座標にある画像のパターンを取得する（ステップS２１）。

次に、動きベクトル抽出部１０は、特徴点の周辺の色パターンを用いて、フレーム中のパターンマッチングを行う（ステップＳ２２）。

次に、パターンマッチングにより、前フレーム（第１の静止画像）との動きベクトルを抽出する（ステップＳ２２）。

具体的には、例えば、上述した図６の第２の静止画像６１ｂに示される特徴点６４ｃ〜特徴点６８ｃと、特徴点６４ａ〜特徴点６８ａから、動きベクトル６４ｂ〜６８ｂが抽出される。

そして、手ぶれ補正方向決定部１１は、手ぶれ補正の方向を多数決により決定する（ステップＳ２３）。

次に、制御部５は、手ぶれ補正の方向の大きさを定量化し、手ぶれ補正量を算出する。この手ぶれ補正量は、例えば、手ぶれ補正の方向をベクトル化し、定量化することによって求められる。

そして、制御部５は、手ぶれ補正量が所定の大きさより大きいか否かを判断する（ステップＳ２４）。

例えば、手ぶれ補正量があまりにも大きい場合には、画像処理装置Ｓが、例えば、左右に大きく振られた結果（すなわち、パンされた）、ある静止画像と次に撮像された静止画像における特徴点の移動量が極めて大きくなってしまう。かかる状態の場合は手ぶれはおきていないと考えられるため、手ぶれ補正は行わないようになっている。

具体的には、手ぶれ補正量が所定の大きさより大きい場合には（ステップＳ２４：ＹＥＳ）、制御部５は、手ぶれ補正を行わず（後述する累積手ぶれ補正方向をリセットする。ステップＳ１５）、静止画像を計数するためのカウンタｎを初期化する（ステップＳ１６）。そして、制御部５は、手ぶれ補正を行わず画像を表示する（ステップＳ１７）。

一方、手ぶれ補正量が所定の大きさより小さい場合には（ステップＳ２４：ＮＯ）、手ぶれ補正部１１は、各静止画における手ぶれ補正の方向を多数決により決定し、この手ぶれ補正方向を累積的に加算した値を、複数毎の静止画からなる動画像における手ぶれ補正方向とする（ステップＳ２５）。そして、手ぶれ補正部１１は、この手ぶれ補正方向を用いて手ぶれ補正を行い（ステップＳ２６）、手ぶれ補正後の画像を表示する（ステップＳ１７）。そしてステップＳ１２の処理へと移行する。

なお、以上説明した実施形態は特許請求の範囲にかかる発明を限定するものではない。そして、上記実施形態の中で説明されている構成の組み合わせ全てが発明の課題解決に必須の手段であるとは限らない。

また、図５又は図７に夫々示すフローチャートに対応するプログラムをフレキシブルディスク又はハードディスク等の記録媒体に記録しておき、或いはネットワークＮＴを介して取得して記憶しておき、これらを汎用のマイクロコンピュータ等に読み出して実行させることにより、当該マイクロコンピュータ等を上記実施形態に係る画像処理装置１のＣＰＵが示す動作と同様に機能させることも可能である。

以上説明したように、本実施形態においては、入力画像格納部７は、ズーム機構を備えた光学系レンズによって、所定の拡大率で撮像された画像を、画素情報を含む連続する静止画像に変換し、拡大率算出部８は、前記拡大率を数値化し、特徴点抽出部９は、前記拡大率に応じて定められる第１の静止画像の所定の範囲から、前記拡大率に応じて定められる所定の数の特徴点を抽出し、前記第１の静止画像に連続する第２の静止画像から、前記第１の静止画像から抽出された所定の数の特徴点が移動する移動量を算出し、動きベクトル抽出部１０は、前記特徴点が移動する方向を示す動きベクトルを抽出し、手ぶれ補正方向決定部１１は、前記抽出された各動きベクトルが示す方向に応じて、前記手ぶれ補正を行う方向を決定し、手ぶれ補正部１２は、前記決定された方向に応じて手ぶれ補正を行うように構成したため、ズーム機構を備えた光学系レンズによって所定の拡大率で撮像された画像の拡大率に応じて上記特徴量及び動きベクトルを抽出し手ぶれ補正を行うため、処理速度の高速化及び処理装置の小型化を図ることができ、さらに、所定の拡大率で撮像された画像の拡大率に応じた適切な手ぶれ補正を行うことができる。

なお、上記実施形態においては、本願を画像処理装置に対して適用した場合の例を示したが、その他にも例えば、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ又は家庭用等の電子機器、監視カメラ、車載用カメラ又はＷＥＢカメラ等に対しても適用可能である。

１ 光学系システム
２ 拡大率入力部
３ 拡大率制御部
４ 入力画像取得部
５ 制御部
６ ディスプレイモニタ
７ 入力画像格納部
８ 拡大率算出部
９ 特徴点抽出部
１０ 動きベクトル抽出部
１１ 手ぶれ補正方向決定部
１２ 手ぶれ補正部
１３ 画像加工部
１４ 出力フレームメモリ
Ｓ 画像処理装置

Claims (6)

1. ズーム機構を備えた光学系レンズによって、所定の拡大率で撮像された画像を、画素情報を含む連続する静止画像に変換する入力画像取得手段と、
   前記拡大率を数値化する拡大率算出手段と、
   前記拡大率に応じて定められる第１の静止画像の所定の範囲から、前記拡大率に応じて定められる所定の数の特徴点を抽出する特徴点抽出手段と、
   前記第１の静止画像に連続する第２の静止画像から、前記第１の静止画像から抽出された所定の数の特徴点が移動する移動量を算出し、前記特徴点が移動する方向を示す動きベクトルを抽出する動きベクトル抽出手段と、
   前記抽出された各動きベクトルが示す方向に応じて、手ぶれ補正を行う方向を決定する手ぶれ補正方向決定手段と、
   前記決定された方向に応じて前記手ぶれ補正を行う手ぶれ補正手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記手ぶれ補正方向決定手段は、前記抽出された各動きベクトルが示す方向のうち、同じ方向を示す動きベクトルの数が最も多い動きベクトルが示す方向を、前記手ぶれ補正を行う方向とすることを特徴とする画像処理装置。
3. 請求項１又は２の何れか１項に記載の画像処理装置であって、
   前記特徴点抽出手段は、前記拡大率が増加するほど、前記所定の範囲を拡大し、前記抽出する特徴点の数を減少させることを特徴とする画像処理装置。
4. ズーム機構を備えた光学系レンズによって、所定の拡大率で撮像された動画像を、画素情報を含む連続する静止画像に変換する入力画像取得ステップと、
   前記拡大率を数値化する拡大率算出ステップと、
   前記拡大率に応じて定められる第１の静止画像の所定の範囲から、前記拡大率に応じて定められる所定の数の特徴点を抽出する特徴点抽出ステップと、
   前記第１の静止画像に連続する第２の静止画像から、前記第１の静止画像から抽出された所定の数の特徴点が移動する移動量を算出し、前記特徴点が移動する方向を示す動きベクトルを抽出する動きベクトル抽出ステップと、
   前記抽出された各動きベクトルが示す方向に応じて、手ぶれ補正を行う方向を決定する手ぶれ補正方向決定ステップと、
   前記決定された方向に応じて前記手ぶれ補正を行う手ぶれ補正ステップと、
   を有することを特徴とする画像処理方法。
5. 画像処理装置に含まれるコンピュータを、
   ズーム機構を備えた光学系レンズによって、所定の拡大率で撮像された動画像を、画素情報を含む連続する静止画像に変換する入力画像取得手段、
   前記拡大率を数値化する拡大率算出手段、
   前記拡大率に応じて定められる第１の静止画像の所定の範囲から、前記拡大率に応じて定められる所定の数の特徴点を抽出する特徴点抽出手段、
   前記第１の静止画像に連続する第２の静止画像から、前記第１の静止画像から抽出された所定の数の特徴点が移動する移動量を算出し、前記特徴点が移動する方向を示す動きベクトルを抽出する動きベクトル抽出手段、
   前記抽出された各動きベクトルが示す方向に応じて、手ぶれ補正を行う方向を決定する手ぶれ補正方向決定手段、及び、
   前記決定された方向に応じて前記手ぶれ補正を行う手ぶれ補正手段、
   として機能させることを特徴とする画像処理プログラム。
6. 請求項５に記載の画像処理プログラムがコンピュータ読み取り可能に記録されていることを特徴とする記録媒体。