JP5300413B2

JP5300413B2 - 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム

Info

Publication number: JP5300413B2
Application number: JP2008276984A
Authority: JP
Inventors: 賢一宮迫
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-10-28
Filing date: 2008-10-28
Publication date: 2013-09-25
Anticipated expiration: 2028-10-28
Also published as: JP2010109461A

Description

本発明は、画像の動きベクトルを検出し、検出された動きベクトルを用いて撮影された動画像のぶれを補正する技術に関するものである。

ビデオカメラなどの動画像を撮影する撮像装置においては、特にレンズを望遠側にズームしたときに、手ぶれにより画像がぶれることが問題となる。このような手ぶれによる画像のぶれを防止するために、従来より、撮影した画像信号から画像の動きベクトルを検出し、この動きベクトルに基づいて画像のぶれを補正する技術が提案されている。

画像の動きベクトルを検出する方法としては、相関演算に基づく相関法やブロックマッチング法等が知られている。

ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック領域（例えば８画素×８ライン）に分割する。そして、このブロック単位で前のフィールド（またはフレーム）の一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフィールド（またはフレーム）のブロックを探索する。そして、画面間の相対的なずれが、そのブロックの動きベクトルを示している。

また、マッチング演算については、尾上守夫等により、情報処理Ｖｏｌ．１７，Ｎｏ．７，ｐ．６３４〜６４０Ｊｕｌｙ１９７６で詳しく論じられている。

次に、ブロックマッチング法を用いた従来の動きベクトル検出法の一例を、図面を用いて説明する。図１１は従来の動きベクトル検出法によりぶれを防止する装置の概略ブロック図である。

まず動きベクトルの検出対象となる画像信号（フィールドまたはフレーム）が画像メモリ１０１及び空間周波数成分を抽出するフィルタ１０２に加えられる。画像メモリ１０１は画像信号を一時記憶する。フィルタ１０２は画像信号から動きベクトル検出に有用な空間周波数成分を抽出する。即ち、画像信号の低空間周波数成分及び高空間周波数成分を除去する。

フィルタ１０２を通過した画像信号は２値化回路１０３に加えられる。２値化回路１０３は画像信号を、ゼロレベルを基準として２値化する。具体的には出力信号の符号ビットを出力する。

２値化された画像信号は相関演算回路１０４及び１フィールド期間遅延手段としてのメモリ１０５に加えられる。相関演算回路１０４には更にメモリ１０５から前フィールドの画像信号が加えられている。

相関演算回路１０４はブロックマッチング法に従い、上記のように適当な大きさのブロック領域に画像領域を分割し、ブロック単位に現フィールドと前フィールドとの相関演算を行い、その結果の相関値を動きベクトル検出回路１０６に加える。動きベクトル検出回路１０６は算出された相関値からブロック単位の動きベクトルを検出する。具体的には相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。

このブロック単位の動きベクトルは動きベクトル決定回路１０７に加えられる。動きベクトル決定回路１０７はブロック単位の動きベクトルから全体の動きベクトルを決定する。具体的には、ブロック単位の動きベクトルの中央値または平均値を画像全体の動きベクトルとしている。

動きベクトル決定回路１０７は全体の動きベクトルをメモリ読み出し制御回路１０８に加える。メモリ読み出し制御回路１０８は上記の全体の動きベクトルに応じて画像の動きが相殺されるように画像メモリ１０１の読み出し位置を制御し、画像メモリ１０１からぶれが補正された画像信号が出力される。

しかしながら、上記の方法では、パンニング撮影を行った場合、例えば検出された動きベクトルの平均値を全体の動きベクトルにすると、画面が元の位置にとどまるように画像メモリの読み出し位置を変化させることになる。これによって、ユーザーのパンニング操作を妨げてしまうという問題点があった。

この問題点を解決する方法として、特許文献１には、次のような方法が開示されている。即ち、画面の４隅の位置を含む周辺部画像データに対し、パンニング判定を行い、パンニング状態であるという判定が行われた場合は、ぶれ補正動作を行わないことにより、ユーザーのパンニング操作を妨げることを回避する方法が開示されている。
特開平６−３５０８９５号公報尾上守夫ａｔｅｌ．：残差逐次検定法による画像の重ね合わせ，情報処理Ｖｏｌ．１７，Ｎｏ．７，ｐ．６３４〜６４０Ｊｕｌｙ１９７６

上記の特許文献１の方法では、画面の真ん中で移動している被写体を追いかける撮影を行った場合、画面の周辺部の画像データの領域ではパンニング状態であるという判定が行われる。パンニング状態であるという判定が行われると、ぶれ補正動作を行わなくなり、ユーザーのパンニング操作が妨げられることを防止することができる。しかしこのとき、特に望遠撮影では、ぶれ補正を行わなくなることにより、手ぶれによる画面の揺れが激しくなるため、撮影している被写体の位置が激しく揺れ、非常に見づらい映像となってしまうという問題点があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、パンニング撮影時に、ユーザーのパンニング操作を妨げることを防止しつつ、ぶれ補正も確実に行うことのできる動きベクトル検出装置を提供することである。

上述した課題を解決し、目的を達成するために、本発明に係る動きベクトル検出装置は、画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出する検出手段と、前記それぞれのブロック領域ごとに、パンニングされているかの判定を行うパンニング判定手段と、前記ブロック領域ごとの動きベクトルを、その大きさを階級とする度数分布上に振り分ける動きベクトル分類手段と、前記度数の大きさに基づいて、代表動きベクトルを定める動きベクトル演算手段とを備え、前記動きベクトル分類手段は、前記パンニング判定手段によってパンニング状態であると判定されたブロック領域が所定数を超えない場合は、当該ブロック領域を前記度数分布上への振り分けの対象から除外することを特徴とする。

また、本発明に係る撮像装置は、上記の動きベクトル検出装置を備えることを特徴とする。

また、本発明に係る動きベクトル検出方法は、画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出する検出工程と、前記それぞれのブロック領域ごとに、パンニングされているかの判定を行うパンニング判定工程と、前記ブロック領域ごとの動きベクトルを、その大きさを階級とする度数分布上に振り分ける動きベクトル分類工程と、前記度数の大きさに基づいて、代表動きベクトルを定める動きベクトル演算工程とを備え、前記動きベクトル分類工程は、前記パンニング判定工程によってパンニング状態であると判定されたブロック領域が所定数を超えない場合は、当該ブロック領域を前記度数分布上への振り分けの対象から除外することを特徴とする。

本発明によれば、パンニング撮影時に、ユーザーのパンニング操作を妨げることを防止しながら、ぶれ補正を確実に行うことが可能となる。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係わる動きベクトル検出装置を組み込んだ撮像装置としてのビデオカメラの構成を示すブロック図である。図１は、一実施形態のビデオカメラの電気的構成を示すブロック図である。

図１において、１１はレンズおよび絞りからなる撮像光学系、１２はＣＣＤやＣＭＯＳセンサ等からなる固体撮像素子である。２１は、撮像光学系１１の内部の不図示のズームレンズ、フォーカスレンズ、絞り等を駆動するための駆動回路である。２３は、撮像素子１２を駆動するための駆動回路である。１３は撮影した画像データに必要な信号処理を行う信号処理回路である。１４は信号処理回路１３で信号処理された画像データから、動きベクトルを検出する動きベクトル検出装置である。１５は動きベクトル検出装置１４により検出された動きベクトルから、記録または表示する画像データの範囲を決める制御を行うメモリ読み出し制御回路である。１６は信号処理された画像データを記憶する画像メモリである。

１８はメモリカード、ハードディスク等からなる記録媒体、１７は信号処理された画像データを記録媒体１８に記録するための記録回路、２０は信号処理された画像データを表示する表示装置、１９は表示装置２０に画像を表示する表示回路である。２２はビデオカメラ全体を制御するシステム制御部である。

以下、上記のように構成されるビデオカメラにおける撮影動作について説明する。

まず、駆動回路２１は、システム制御部２２からの制御信号に基づいて、撮像光学系１１内のズームレンズ、フォーカスレンズ、絞りを駆動して、被写体像を撮像素子１２上に結像させる。

撮像素子１２は、システム制御部２２により制御される駆動回路２１が発生する駆動パルスにより駆動され、被写体像を光電変換して電気信号に変換し、アナログ画像信号を出力する。撮像素子１２から出力されたアナログ画像信号は、信号処理回路１３の内部の不図示のＡ／Ｄ変換器でデジタル画像信号に変換される。

次に、システム制御部２２により制御される信号処理回路１３では、デジタル画像信号に対して、不図示の色変換、ホワイトバランス補正、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等が行われる。画像メモリ１６は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。

動きベクトル検出装置１４は、信号処理回路１３で信号処理された画像データから動きベクトルを検出する（詳細は後述する）。メモリ読み出し制御回路１５は、動きベクトル検出装置１４により検出された動きベクトル情報に基づいて、画像ぶれが補正されるように、記録または表示する画像データの範囲を決定する制御を行う。

信号処理回路１３で信号処理された画像データや画像メモリ１６に記憶されている画像データは、記録回路１７において記録媒体１８への記録に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて記録媒体１８に記録される。また、信号処理回路１３で解像度変換処理が実施された後、表示回路１９において表示装置２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて表示装置２０に表示されたりする。

図２は、動きベクトル検出装置１４の概略構成を示すブロック図である。図１１と同一符号は同一構成要素を示しており、重複する説明は省略する。

相関演算回路１０４によってブロックマッチング法に従い、適当な大きさのブロック領域に画像領域を分割することで画像データを複数のブロックに分割し、ブロック単位に現フィールドと前フィールドとの相関演算を行う。その結果の相関値を動きベクトル検出回路１０６に加え、そして動きベクトル検出回路１０６は算出された相関値からブロック単位の動きベクトルを検出する。この動きベクトル検出回路１０６の後段に、パンニング判定回路３０と動きベクトル分類回路３１と動きベクトル演算回路３２が備えられている点が、図２と図１１で相違している。

図３のフローチャートを用いてパンニング判定回路３０の動作について説明する。パンニング判定回路３０では、動きベクトル検出回路１０６で検出された前記ブロック単位の動きベクトルを用いて、全ブロックに対して以下の処理を行う。

まず、図３のステップＳ１０において、前記動きベクトル検出回路１０６で検出された動きベクトルに対して、高周波数成分除去処理を行う。高周波数成分除去処理には、公知のローパスフィルタ回路等を用いる。

次に、ステップＳ１１に進み、前記高周波数成分除去処理を行った後の出力（以下、高周波数成分除去出力とする）がパンニング判定を行う閾値である所定値超えたかどうかの判定を行う。ステップＳ１１において、前記高周波数成分除去出力が所定値を超えた場合、ステップＳ１２に進む。また、ステップＳ１１において、前記高周波数成分除去出力が所定値を超えない場合、ステップＳ１３に進む。

ステップＳ１２においては、現在パンニング判定を行っているブロックが、パンニング状態であるという判定を行う。ステップＳ１３においては、現在パンニング判定を行っているブロックが、パンニング状態ではないという判定を行う。

ここで、図４及び図５を用いて、パンニング判定回路３０の動作について更に詳細を説明する。

図４Ａは、撮影した現フィールドの画面上に、動きベクトル検出のためのブロック領域を示した一例を示す図である。図４Ｂは、直前のフィールドとの差により得られた各ブロック領域における動きベクトルを矢印にて示した図である。

図４Ａにおいて、画面内に存在する被写体４０１は左方向に移動している状態であり、撮影者は被写体の画面内での位置が変わらないように、パンニング撮影を行っているものとする。図４Ｂにおいては、撮影者が撮影装置を被写体４０１の画面内での位置が変わらないようにパンニング撮影を行っているので、被写体領域と背景領域で動きベクトルの出力が異なり、被写体領域４０２を抽出することができる。

図５Ａと図５Ｂは、画面のブロック領域における動きベクトルの時間的な推移を示す図である。図４Ａにおける、被写体が存在するブロック領域の動きベクトルの時間的な推移は、図５Ａに示すグラフの動きベクトル信号５０１（図５Ａの点線）のようになる。即ち、撮影者が被写体の画面内での位置が変わらないように撮影を行うため、動きベクトル検出結果は、ゼロをまたいでプラスマイナスに振れるように推移する。このとき、動きベクトル検出結果に対して、高周波数成分除去処理を行った結果は、図５Ａの動きベクトル信号の高周波数成分除去出力５０２（図５Ａの太線）のように、ゼロ近傍で推移する。

一方被写体が存在しないブロック領域の動きベクトルの時間的な推移は、撮影者が被写体の画面内での位置が変わらないように撮影を行うため、被写体のない各ブロックの動きベクトル検出結果は、プラスもしくはマイナス方向に偏って推移する。このとき、動きベクトル検出結果に対して、高周波数成分除去処理を行った結果もプラスもしくはマイナス方向に偏って推移する。例えば、被写体が存在しないブロック領域の動きベクトルの時間的な推移が図５Ｂに示すグラフの動きベクトル信号５０３のようにマイナス方向に偏った場合は、動きベクトル信号の高周波数成分除去出力５０４（図５Ｂの太線）も、マイナス方向に偏ることになる。

また、高周波数成分除去出力のパンニング判定閾値５００を図５Ａ及び図５Ｂに示すように設定するとする。すると、図５Ｂの動きベクトル信号の高周波数成分除去出力５０４がパンニング判定閾値５００を越えた点５１０の時点からパンニング状態であるという判定が行われることとなる。なお図５Ａの例では、動きベクトル信号の高周波数成分除去出力５０２がパンニング判定閾値５００を越えないため、パンニング判定は行わない。

次に、動きベクトル分類回路３１の動作について、図６のフローチャートを用いて説明する。また、動きベクトル演算回路３２の動作について、図７のフローチャートを用いて説明する。

動きベクトル分類回路３１では、動きベクトル検出回路１０６で検出された前記ブロック単位の動きベクトルと、パンニング判定回路３０で得られたパンニング判定結果を用いて以下の処理を行う。

まず、図６のステップＳ２０において、パンニング判定回路３０でパンニング状態であると判定されたブロック数が、例えば全ブロック数の９０％のブロック数というように、所定数を超えたかどうかの判定を行う。

ステップＳ２０において、パンニング判定回路３０でパンニング状態であると判定されたブロック数が所定数を超えていなかった場合、ステップＳ２１に進む。

ステップＳ２１においては、ステップＳ２０においてパンニング状態でないと判定されたブロックの動きベクトルを用いて、ヒストグラムの作成を行う。このパンニング状態でないと判定されたブロックの動きベクトルを用いたヒストグラムの作成について具体的に図７を用いて説明する。

図７Ａは、図４Ｂに示した全ブロック領域の動きベクトルのＸ方向（画面横方向）の大きさの頻度を示すヒストグラム（度数分布）である。ヒストグラムは、度数分布の横軸を動きベクトルの大きさとし、所定の大きさ（範囲）ごとに区切って階級を設定する。そして、検出された各ブロックの動きベクトルを、度数分布上にその大きさにより何れの階級に属するかを判断して、それぞれの度数としてプロットする。

図４Ｂの例では、各ブロックの動きベクトルとして、トータル４０個の動きベクトルが検出されるが、度数分布上にこの４０の度数が属する階級に振り分けてプロットすることで各階級の度数（頻度）を得ることができる。なお、それぞれ範囲を持つ階級の階級値としては、その階級の上限値と下限値の中間値を用いればよい。また、Ｙ方向（画面縦方向）の処理とＸ方向（画面横方向）の処理は同様の処理を行うため、以下ではＸ方向の処理のみを例にとって説明を行う。

図７Ａは、全ブロック領域の動きベクトルをヒストグラム作成の対象として作成したヒストグラムである。そのため被写体領域に対応するグループ１１と、被写体が存在しない背景領域に対応するグループ１０の、２つの異なる動きを示すグループが現れる。もし、グループ１０とグループ１１全てを含めた、動きベクトル全体の平均値を全体の動きベクトルにしたとすると、動きベクトルにパンニング成分が重畳されてしまい、撮影者のパンニング操作を妨げてしまう結果となる。

また、特許文献１に開示されているように画面の周辺部のみを用いた場合を考える。この場合、図７Ａのヒストグラムにおいて、被写体領域に対応するグループ１１は、画面の中央部に位置するため動きベクトル検出の対象とならず、背景領域であるグループ１０に属するブロックのみが動きベクトル検出の対象となる。このとき、グループ１０の背景領域はパンニング状態であると判定されるため、ぶれ補正が行われず、手ぶれがそのまま残った映像となってしまう。

一方、本発明においては、図６のフローチャートのステップＳ２１において、パンニング状態であると判定されたブロックの動きベクトルを除外する。よってパンニング状態でないと判定されたブロックの動きベクトルを用いてヒストグラムの作成を行う。これによって、図７Ｂに示すように、被写体領域に対応するグループ１１のみがヒストグラムの作成の対象となる。またパンニング状態であると判定されたブロック、すなわち図７Ａのグループ１０に属するブロックの動きベクトルはヒストグラムの作成の対象とならない。これによって、パンニング成分が含まれない被写体領域のぶれのみを抽出することができる。

また、ステップＳ２０において、パンニング状態であると判定されたブロック数が所定数を超えた場合は、ステップＳ２２に進み、パンニング状態であると判定されたブロックの動きベクトルを用いてヒストグラムの作成を行う。

例えば、図８Ａに示すように、画面内に移動する被写体が存在しない状態でパンニング撮影を行った場合、各ブロック領域における動きベクトル検出結果は図８Ｂに示すようになる。このとき、ステップＳ２２の処理においては、パンニング判定回路３０では全ブロック領域がパンニング状態であると判定されるため、図８Ｃに示すようなパンニング状態であると判定されたブロック領域の動きベクトル検出結果を用いたヒストグラムを作成する。

次に、動きベクトル演算回路３２では、図９のフローチャートに示す処理を行う。

まず、ステップＳ３０においては、パンニング判定回路３０でパンニング状態であると判定されたブロック数が所定数を超えたかどうかの判定を行う。ここでの所定数とは、図６のステップＳ２０の所定数と同じ数値である。ステップＳ３０において、パンニング判定回路３０でパンニング状態であると判定されたブロック数が所定数を超えていなかった場合、ステップＳ３１に進む。

なお、ステップＳ２０とステップＳ３０においては、どちらもパンニング判定回路３０でパンニング状態であると判定されたブロック数が所定数を超えたかどうかの判定を行う。よって、図７と図９の処理のうち、ステップＳ２１の後にステップＳ３１の処理を行い、ステップＳ２２の後にステップＳ３２の処理を行っても良い。この場合も、前述した通り、ステップＳ２０（ステップＳ３０）においてはパンニング判定回路３０が判定を行う。また、ステップＳ２１とステップＳ２２は動きベクトル分類回路３１が処理を行い、ステップＳ３１とステップＳ３２は後述の通り動きベクトル演算回路３２が処理を行う。

ステップＳ３１においては、ステップＳ２１において作成されたパンニング状態でないと判定されたブロックの動きベクトルを用いたヒストグラムの極値を画面全体の代表となる動きベクトル（以下、代表動きベクトルとする。）とする。例えば、図７Ｂに示すようなパンニング状態でないと判定されたブロックの動きベクトルを用いて作成したヒストグラムに対し、極値（ピーク）を探索し、この極値を代表動きベクトルとする。

また、ステップＳ３０において、パンニング判定回路３０でパンニング状態であると判定されたブロック数が所定数を超えていた場合はステップＳ３２に進む。

ステップＳ３２においては、ステップＳ２２において作成されたヒストグラムの極値から低周波数成分を除去した値を代表動きベクトルとする。

図１０Ａに示すように、ステップＳ２２において作成されたヒストグラムの極値が示す動きベクトル１０００は、パンニング成分（低周波数成分）が重畳された値である。パンニング判定回路３０でパンニング状態であると判定されたブロック数が所定数を超えていた場合は、動きベクトル演算回路３２にて低周波数成分を除去する処理を行うことによって、パンニング成分の除去を行うことができる。この低周波数成分除去によってパンニング成分を除去した動きベクトル信号は、図１０Ｂの動きベクトル信号低周波数成分除去成分１００１に示すような正負どちらにも偏りの無いグラフになる。なお、ステップＳ３２の低周波数成分を除去する処理には、公知のハイパスフィルタ回路等を用いる。

そして、この代表動きベクトルに応じて、メモリ読み出し制御回路１５は、画像ぶれが補正されるように、記録または表示する画像データの範囲を決定する制御を行う。すなわち画像のぶれが相殺されるように画像メモリ１０１の読み出し位置を制御する。これにより、ユーザーのパンニング操作を妨げることなく、被写体領域のぶれ補正を確実に行うことが可能となる。

このように、図６のステップＳ２２及び図９のステップＳ３２の処理によって、移動する被写体を追いかけるような撮影状態ではないパンニング撮影の場合も、ユーザーのパンニング操作を妨げることない。また、パンニング成分ではない高周波のぶれ補正を確実に行うことが可能となる。

以上説明したように、本発明の動きベクトル検出装置を用いることにより、パンニング状態と判定された動きベクトル検出のブロック領域ではヒストグラムの作成を行わない。そのため、パンニング状態と判定されなかった動きベクトル検出のブロック領域でのみヒストグラムを作成するので、被写体領域のぶれをより確実に抽出できる。よって、ユーザーのパンニング操作を妨げることなく、被写体領域のぶれ補正を確実に行うことが可能な撮像装置を提供することが可能となる。

（その他の実施例）
なお、本発明は、以下の構成でも達成され得る。

前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、コンピュータあるいは装置に供給するとする。これによって、このコンピュータあるいは装置の制御部が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成され得る。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

本発明の一実施形態に係わる動きベクトル検出装置を組み込んだ撮像装置としてのビデオ・カメラの構成を示すブロック図である。動きベクトル検出装置の概略構成を示すブロック図である。パンニング判定のフローチャートである。Ａは画面内に移動物が存在する場合のパンニング動作中の画面の状態を示す図である。Ｂは図４Ａの場合の動きベクトルの分布を示す図である。Ａは図４Ａにおける、被写体が存在するブロック領域の動きベクトルの時間的な推移を示す図である。Ｂはパンニング判定回路３０による被写体が存在しないブロック領域の動きベクトルの時間的な推移を示す図である。動きベクトル分類回路３１によるパンニング状態であるとするブロック数によるヒストグラムの作成処理に関するフローチャートである。Ａは図４Ａの場合のパンニング判定する前の動きベクトルのヒストグラムを示す図である。Ｂは図４Ａの場合のパンニング判定した後の動きベクトルのヒストグラムを示す図である。Ａは画面内に移動物が存在しない場合のパンニング動作中の画面の状態を示す図である。Ｂは図８Ａの場合の動きベクトルの分布を示す図である。Ｃは図８Ａの場合の動きベクトルのヒストグラムを示す図である。動きベクトル分類回路３１による代表ベクトルの決定方法を説明するフローチャートである。Ａは図８Ａの場合のヒストグラムの極値が示す動きベクトルの大きさの時間経過を示す図である。Ｂは図８Ａの場合の動きベクトル信号から低周波数成分を除去した場合のヒストグラムの極値が示す動きベクトルの大きさの時間経過を示す図である。従来の動きベクトル検出法によりぶれを防止する装置の概略ブロック図である。

符号の説明

４０１被写体
４０２被写体領域
１０００動きベクトル信号
１００１動きベクトル信号低周波数成分除去出力

Claims

画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出する検出手段と、
前記それぞれのブロック領域ごとに、パンニングされているかの判定を行うパンニング判定手段と、
前記ブロック領域ごとの動きベクトルを、その大きさを階級とする度数分布上に振り分ける動きベクトル分類手段と、
前記度数の大きさに基づいて、代表動きベクトルを定める動きベクトル演算手段とを備え、
前記動きベクトル分類手段は、前記パンニング判定手段によってパンニング状態であると判定されたブロック領域が所定数を超えない場合は、当該ブロック領域を前記度数分布上への振り分けの対象から除外することを特徴とする動きベクトル検出装置。
前記パンニング判定手段は、前記それぞれのブロック領域ごとに、前記動きベクトル検出手段によって検出された動きベクトルの高周波数成分を除去する、高周波数成分除去手段を備え、
前記高周波数成分除去手段の出力が所定値を超えたブロック領域をパンニング状態であると判定することを特徴とする請求項１に記載の動きベクトル検出装置。
前記パンニング判定手段の判定の結果、パンニング状態であると判定されたブロック領域の数が所定数を超えた場合、前記動きベクトル分類手段は、パンニング状態であると判定されたブロック領域ごとの動きベクトルを、その大きさを階級とする度数分布上に振り分け、
前記動きベクトル演算手段は、前記動きベクトル分類手段によって前記度数分布上に振り分けられた動きベクトルから前記度数の大きさに基づいて代表動きベクトルを定めることを特徴とする請求項１または２に記載の動きベクトル検出装置。
前記動きベクトル演算手段は、動きベクトルの低周波数成分を除去する低周波数成分除去手段を備え、
前記動きベクトル演算手段は、前記度数の大きさに基づいて定めた１つの動きベクトルから、前記低周波数成分除去手段によって低周波数成分を除去した動きベクトルを代表動きベクトルとして定めることを特徴とする請求項３に記載の動きベクトル検出装置。
請求項１ないし４のいずれか１項に記載の動きベクトル検出装置と、
前記動きベクトル検出装置によって検出された動きベクトルに基づいて画像のぶれを補正する補正手段を備えることを特徴とする撮像装置。
画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出する検出工程と、
前記それぞれのブロック領域ごとに、パンニングされているかの判定を行うパンニング判定工程と、
前記ブロック領域ごとの動きベクトルを、その大きさを階級とする度数分布上に振り分ける動きベクトル分類工程と、
前記度数の大きさに基づいて、代表動きベクトルを定める動きベクトル演算工程とを備え、
前記動きベクトル分類工程は、前記パンニング判定工程によってパンニング状態であると判定されたブロック領域が所定数を超えない場合は、当該ブロック領域を前記度数分布上への振り分けの対象から除外することを特徴とする動きベクトル検出方法。
請求項６に記載の動きベクトル検出方法をコンピュータに実行させるためのプログラム。
請求項７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。