JP4207763B2 - 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。さらに詳細には、動画像データからの動きベクトル検出処理を実行する動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。

近年の情報処理装置、通信端末の高機能化、高速通信インフラの整備、さらに、ＤＶＤ、Ｂｌｕ−ｒａｙディスクなどの高密度記録媒体の普及などに伴い、ネットワークを介した動画像データの配信、あるいは高密度記録媒体を利用した動画像データの記憶、再生などが盛んに行なわれるようになってきた。このような状況に伴って、動画像データに対するデータ処理、例えば符号化処理などにおける効率性や高速性の向上が求められている。

動画像データの高能率符号化における動き補償型画像符号化、交通監視システムあるいは自律走行車両の視覚センサにおける動物体の検出処理、速度検出処理などにおいては、画像データ中に含まれる各物体の動きの方向および大きさ（速度）を検出する処理、すなわち、動きベクトルの検出処理が必要となる。

例えば、動き補償型画像符号化処理の一例として、動画の高能率符号化の国際的標準方式であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が提案されているが、このＭＰＥＧ方式は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と動き補償予測符号化とを組み合わせた符号化を行なう方式である。動き補償予測符号化においては、動画像データを構成する現フレームと、１つ前の前フレームの連続フレームにおける画像信号レベルの相関を検出し、検出した相関に基づいて動きベクトルを求め、検出した動きベクトルに基づく動き画像の補正処理を行うことで、効率的な符号化を達成している。

動きベクトルの検出方法の一つとして、ブロックマッチング法が知られている。図１を参照して、ブロックマッチング法の概要を説明する。動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間（ｔ）の現フレーム［Ｆ_ｔ］２０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］１０を抽出する。フレーム画像の１画面を複数の画素で構成される小さな領域（以下、ブロックと称する）ｍ画素×ｎラインに分割する。

現フレーム［Ｆ_ｔ］２０を参照フレームとし、参照フレームの検査ブロックＢｙ２１を、所定のサーチエリア２２内で移動し、前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１と最も画素値差分の少ない、すなわち画素値が最も合致する（最も相関の大きな）検査ブロックを検出する。前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１が、この現フレーム［Ｆ_ｔ］２０から検出した相関の高い検査ブロックの位置に動いたと推定する。この推定された動きを示すベクトルに基づいて、各画素の動きベトクルを求める。このように、ブロックマッチング法は、所定のブロック（ｍ×ｎ）単位で、フレーム間の相関判定（マッチング判定）処理を行い、動きベクトルを求める手法である。

ブロックマッチング法において、動きベクトルはブロック毎に求められる。各ブロックの相関、すなわち合致の程度を表す評価値としては、例えば、基準ブロックＢｘ内の複数の画素と、検査ブロックＢｙ内の複数の画素との間で空間的に同一位置の画素同士の値を減算してフレーム差を求め、算出したフレーム差の絶対値を積算することで算出されるフレーム差絶対値和が適用される。あるいは、フレーム差の二乗和等を使用することも可能である。

しかし、上述のブロックマッチング法は、サーチエリア内の全てのデータの比較を行う全探索であるため、検出に要する比較の回数が非常に多く、動き検出に時間がかかる欠点があった。

また、ブロック内に動き部分と静止部分とが含まれるような場合、ブロックを単位として検出された動きは、正確にはブロック内の個々の画素の動きに対応するとは言えない。このような問題は、ブロックサイズの設定により調整可能であるが、例えば、ブロックを大きくすると、演算量の増大に加えて、ブロック内の複数動きの問題が発生し易くなる。逆に、ブロック内に複数の動きが含まれないように、ブロックのサイズを小さくした場合には、マッチングの判断の領域が小さくなるので、動き検出の精度が低下する問題が生じる。すなわち、ブロックマッチングを行う際、基準ブロックと似た検査ブロック、すなわち基準ブロックと相関の高い検査ブロックが多数出現する可能性が高くなる。これらは、動きに起因しないものが含まれるからであり、動き検出の精度が低下する。例えば、文字テロップが水平または垂直方向に動く時には、反復パターンの影響が現れやすい。漢字の文字パターンの場合では、同じ文字でも、小さな部分に分割すると、同一のパターンとなることが多い。従って、ブロック内に複数の動きが混在する場合には、正確な動きを求めることが難しいという問題があった。

本特許出願に係る出願人は、例えば特許文献１において、演算量を増大させることなく、１画素毎の動きベクトルを検出でき、且つ、誤検出を防止した動きベクトル検出方法および検出装置を提案している。

特許文献１において開示している動きベクトル検出処理のポイントは、画素またはブロック毎に評価値を算出して動きベクトルを決定するのではなく、第１ステップの処理として、フレームの一方に複数画素からなる複数ブロックを設定して、各ブロックの代表点を設定し、各代表点と他方のフレームに設定したサーチエリアの各画素との相関を調べ、相関情報に基づく評価値を算出して、評価値に基づく相関情報としての評価値テーブルを形成し、その評価値テーブルから、複数の候補ベクトルを抽出する。次に、第２ステップの処理として、抽出した候補ベクトルから、１画素毎に最良と思われる候補ベクトルを選択して対応付けて、各画素毎の動きベクトルとして決定する。このように、
評価値テーブルの生成処理、
評価値テーブルに基づく候補ベクトルの選択処理、
各画素対応の動きベクトルとして、複数の候補ベクトルから最適なものを対応付ける処理
以上の処理によって、各画素毎の動きベクトルを求める方式である。この方式を、以下、候補ベクトル方式と称する。

候補ベクトル方式による動きベクトル検出処理の利点は、評価テーブルに基づいて、限られた数の候補ベクトルを抽出しておくことで、演算量の軽減が図れること。また、動きベクトルの誤検出が起りやすい被写体の境界部分においても、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定することが可能となることなどがある。従来は、各画素の動きベクトルをフレーム間の画素の差分などを評価値として算出し、評価値をフレーム全画素について求める全探索処理を実行する方式がとられていたが、候補ベクトル方式では、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定する処理が可能であるので、全探索処理と比較して、同じ評価値が発生する確率が減り、誤検出が防止される。

しかし、この候補ベクトル方式においても、以下の問題点がある。すなわち、評価値テーブルを形成する際、フレーム差の絶対値を積算していた為、例えば画素値データが０〜２５５の８ｂｉｔである場合、フレーム差の絶対値データは、０〜２５５の８ｂｉｔのデータが必要となり、評価値テーブルをメモリで構成する場合、メモリ容量が多く必要となる。メモリ容量を小さくするためには、評価値情報の構成ビットを圧縮することが有効であり、例えば、ビット数の縮減を行なうことが有効であると想定されるが、ビット数の縮減によって、正確な評価値テーブルが得られなくなるという問題が発生する。
特開２００１−６１１５２号公報

本発明は、上述の問題点に鑑みてなされたものであり、例えば候補ベクトル方式に基づく動きベクトル検出処理において評価値テーブルを生成する際の評価値データを、画像の特性に応じて重み付けを行い、画像特性に応じた正確な評価値テーブルを生成可能とすることで、１画素単位での効率的で正確な動きベクトルの検出を可能とした動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データから動きベクトルを検出する動きベクトル検出装置であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出部とを有し、
前記評価値テーブル形成部は、
時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算部と、
注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成部と、
前記相関演算部の算出した相関情報と、前記可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく仮評価値を算出する相関判定部と、
画像特性に基づく重み情報を算出し、前記相関判定部の算出した仮評価値および前記重み情報に基づく演算を実行して最終評価値を算出する評価値調整部と、
前記評価値調整部の出力する最終評価値を積算し、評価値テーブルを生成する評価値テーブル算出部と、
を有することを特徴とする動きベクトル検出装置にある。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値調整部は、画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、前記乗算部における乗算結果を最終評価値として前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値調整部は、画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、前記重み決定部は、前記相関演算部から入力するフレーム差分絶対値｜ΔＦ｜と、前記可変閾値生成部から入力する閾値ＴＨを適用して、下記式に従って重み情報Ｗ_１を算出する処理を実行し、
Ｗ_１＝ＴＨ−｜ΔＦ｜＋１
前記乗算部は、前記相関判定部の算出した仮評価値と前記重み情報Ｗ_１との乗算を実行し、乗算結果を最終評価値として前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値調整部は、画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、前記重み決定部は、前記可変閾値生成部から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って重み情報Ｗ_２を算出する処理を実行し、
Ｗ_２＝ＤＲ
前記乗算部は、前記相関判定部の算出した仮評価値と前記重み情報Ｗ_２との乗算を実行し、乗算結果を最終評価値として前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値調整部は、画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、前記重み決定部は、前記可変閾値生成部から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って重み情報Ｗ_２'を算出する処理を実行し、
Ｗ_２'＝ＤＲ／ｎ
ただし、ｎは２以上の自然数
前記乗算部は、前記相関判定部の算出した仮評価値と前記重み情報Ｗ_２'との乗算を実行し、乗算結果を最終評価値として前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値調整部は、画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、前記重み決定部は、前記相関演算部から入力するフレーム差分絶対値｜ΔＦ｜と、前記可変閾値生成部から入力する閾値ＴＨと、画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って、複数の重み情報Ｗ_１，Ｗ_２に基づく重み情報Ｗ_３を算出する処理を実行し、
Ｗ_１＝ＴＨ−｜ΔＦ｜＋１
Ｗ_２＝ＤＲ
Ｗ_３＝αＷ_１＋βＷ_２
α，β：係数
前記乗算部は、前記相関判定部の算出した仮評価値と前記重み情報Ｗ_３との乗算を実行し、乗算結果を最終評価値として、前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記相関判定部は、前記相関演算部の算出した相関情報と、前記可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく１ビットの仮評価値を算出し、前記評価値調整部は、画像特性に基づく重み情報を算出し、前記相関判定部の算出した１ビット仮評価値と前記重み情報に基づく演算を実行して複数ビットの最終評価値を算出する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル検出装置は、さらに、前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出部を有し、前記動きベクトル検出部は、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記可変閾値生成部は、注目画素を含む近傍領域画素のダイナミックレンジを算出し、該ダイナミックレンジを特徴量として、該特徴量に基づく可変閾値を設定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記可変閾値生成部は、前記相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記可変閾値生成部は、前記相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するとともに、該ダイナミックレンジ構成ビットのビット情報圧縮処理により閾値を算出する構成であることを特徴とする。

さらに、本発明の第２の側面は、
動画像データから動きベクトルを検出する動きベクトル検出方法であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算ステップと、
注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成ステップと、
前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく仮評価値を算出する相関判定ステップと、
画像特性に基づく重み情報を算出し、前記相関判定ステップにおいて算出した仮評価値および前記重み情報に基づく演算を実行して最終評価値を算出する評価値調整ステップと、
前記評価値調整ステップにおいて算出する最終評価値を積算し、評価値テーブルを生成する評価値テーブル算出ステップと、
を有することを特徴とする動きベクトル検出方法にある。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記評価値調整ステップは、画像特性に基づく重み情報を算出する重み決定ステップと、前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、前記乗算ステップにおける乗算結果を最終評価値として設定する処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記評価値調整ステップは、画像特性に基づく重み情報を算出する重み決定ステップと、前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、前記重み決定ステップは、前記相関演算ステップにおいて算出されるフレーム差分絶対値｜ΔＦ｜と、前記可変閾値生成ステップにおいて算出される閾値ＴＨを適用して、下記式に従って重み情報Ｗ_１を算出する処理を実行し、
Ｗ_１＝ＴＨ−｜ΔＦ｜＋１
前記乗算ステップは、前記相関判定ステップにおいて算出した仮評価値と前記重み情報Ｗ_１との乗算を実行し、乗算結果を最終評価値として算出する処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記評価値調整ステップは、画像特性に基づく重み情報を算出する重み決定ステップと、前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、前記重み決定ステップは、前記可変閾値生成ステップにおいて算出される画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って重み情報Ｗ_２を算出する処理を実行し、
Ｗ_２＝ＤＲ
前記乗算ステップは、前記相関判定ステップにおいて算出される仮評価値と前記重み情報Ｗ_２との乗算を実行し、乗算結果を最終評価値として算出する処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記評価値調整ステップは、画像特性に基づく重み情報を算出する重み決定ステップと、前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、前記重み決定ステップは、前記可変閾値生成ステップにおいて算出される画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って重み情報Ｗ_２'を算出する処理を実行し、
Ｗ_２'＝ＤＲ／ｎ
ただし、ｎは２以上の自然数
前記乗算ステップは、前記相関判定ステップにおいて算出される仮評価値と前記重み情報Ｗ_２'との乗算を実行し、乗算結果を最終評価値として算出する処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記評価値調整ステップは、画像特性に基づく重み情報を算出する重み決定ステップと、前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、前記重み決定ステップは、前記相関演算ステップにおいて算出されるフレーム差分絶対値｜ΔＦ｜と、前記可変閾値生成ステップにおいて算出される閾値ＴＨと、画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って、複数の重み情報Ｗ_１，Ｗ_２に基づく重み情報Ｗ_３を算出する処理を実行し、
Ｗ_１＝ＴＨ−｜ΔＦ｜＋１
Ｗ_２＝ＤＲ
Ｗ_３＝αＷ_１＋βＷ_２
α，β：係数
前記乗算ステップは、前記相関判定ステップにおいて算出される仮評価値と前記重み情報Ｗ_３との乗算を実行し、乗算結果を最終評価値として算出する処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記相関判定ステップは、前記相関演算ステップにおいて算出される相関情報と、前記可変閾値生成ステップにおいて算出される閾値との比較処理を実行し、該比較処理結果に基づく１ビットの仮評価値を算出し、前記評価値調整ステップは、画像特性に基づく重み情報を算出し、前記相関判定ステップにおいて算出される１ビット仮評価値と前記重み情報に基づく演算を実行して複数ビットの最終評価値を算出することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル検出方法は、さらに、前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップを有し、前記動きベクトル検出ステップは、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記可変閾値生成ステップは、注目画素を含む近傍領域画素のダイナミックレンジを算出し、該ダイナミックレンジを特徴量として、該特徴量に基づく可変閾値を設定するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記可変閾値生成ステップは、前記相関演算ステップにおいて算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記可変閾値生成ステップは、前記相関演算ステップにおいて算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するとともに、該ダイナミックレンジ構成ビットのビット情報圧縮処理により閾値を算出することを特徴とする。

さらに、本発明の第３の側面は、
動画像データから動きベクトルを検出する動きベクトル検出処理を実行するコンピュータ・プログラムであり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算ステップと、
注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成ステップと、
前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく仮評価値を算出する相関判定ステップと、
画像特性に基づく重み情報を算出し、前記相関判定ステップにおいて算出した仮評価値および前記重み情報に基づく演算を実行して最終評価値を算出する評価値調整ステップと、
前記評価値調整ステップにおいて算出する最終評価値を積算し、評価値テーブルを生成する評価値テーブル算出ステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、動画像データからの動きベクトル検出処理において生成する評価値テーブルの生成情報としての評価値を、画像特性に応じた重み情報を加味した評価値として設定することが可能となり、より正確な動きベクトル検出を可能とする評価値テーブルを生成することが可能となる。

本発明の構成によれば、注目画素を含む近傍領域画素の特徴量に基づく可変閾値と、相関情報との比較処理結果に基づいて算出する１ビットの仮評価値に対して、画像特性に基づく重み情報に基づく演算を実行して、画像特性に応じた重み情報を加味した最終評価値を算出し、この最終評価値を評価値テーブルの生成情報としたので、画像特性に応じた評価値テーブルを生成することが可能となり、正確な動きベクトル検出が可能となる。

本発明の構成によれば、相関演算部から入力するフレーム差分絶対値、可変閾値生成部から入力する閾値ＴＨ、または可変閾値生成部から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して重み情報Ｗを算出し、相関判定部の算出した仮評価値と重み情報Ｗとの乗算により最終評価値を算出し、この最終評価値を評価値テーブルの生成情報としたので、画像特性に応じた評価値テーブルを生成することが可能となり、正確な動きベクトル検出が可能となる。

以下、図面を参照しながら本発明の動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムの詳細について説明する。なお、説明は、以下の項目順に行なう。
１．代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要
２．動きベクトル検出装置全体構成および動きベクトル検出処理手順
３．画像特性に基づく重みを設定した評価値テーブル形成処理の詳細

［１．代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要］
以下、説明する動きベクトル検出処理においては、代表点マッチング法を適用する。代表点マッチング法については、本特許出願人が先に出願し、特許取得済みである特許２０８３９９９号公報に開示されている。すなわち、以下、説明する動きベクトル検出処理は、前述の背景技術の欄で説明した候補ベクトル方式（特開２００１−６１１５２号公報に開示）を適用するとともに、代表点マッチング法を利用した処理例である。

なお、以下の説明においては、動画像データを構成する１フレームを１画面として、各画面（フレーム）間の相互検証処理によってフレームにおける動きベクトル検出処理を行う例について説明するが、本発明は、このような処理例に限らず、例えば、１フレームを細分化とした１フィールドを１画面として扱い、１フィールド単位の動きベクトル検出処理を行なう場合などにも適用可能である。

また、以下に説明する処理例は、主にテレビジョン信号に基づく動画像データに対する処理例として説明するが、本発明は、テレビジョン信号以外の様々な動画像データに対しても適用可能である。また、映像信号を処理対象とする場合においてもインターレース信号およびノンインターレース信号の何れでもよい。

図２〜図４を参照して、本発明における動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトル設定処理の概要について説明する。

動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間（ｔ）の現フレーム［Ｆ_ｔ］８０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］７０を抽出する。

例えば、現フレーム［Ｆ_ｔ］８０を参照フレームとし、前フレーム［Ｆ_ｔ−１］７０を、ｍ画素×ｎラインの複数のブロックに分割し、各ブロックを代表する代表点Ｒｙを設定する。各ブロックの代表点は、例えば、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。

代表点マッチング法では、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点Ｒｙ７１に対応させて、現フレーム［Ｆ_ｔ］８０に所定のサーチエリア８１を設定し、設定したサーチエリア８１内に含まれる各画素の画素値と代表点Ｒｙ７１の画素値との比較を行なう。サーチエリア８１は例えば、ｐ画素×ｑラインの画素領域として設定される。

すなわち、上記ａ〜ｃのいずれかの代表点画素値と、サーチエリア８１内の各画素の画素値を比較検証して、評価値（例えば、フレーム差や判定結果）を算出する。評価値は、サーチエリア８１の各偏移毎（各画素位置毎）に算出される。前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点各々に対応して、現フレーム［Ｆ_ｔ］８０にサーチエリアが設定され、代表点画素値と、対応するサーチエリア内の各画素の画素値を比較に基づく評価値を取得し、１画面内の全ての代表点について積算する。従って、サーチエリアと同一の大きさの評価値テーブルが形成される。

なお、各代表点に対応するサーチエリアは、図３（ａ）に示すように隣接するサーチエリアと一部が重なり合うように設定しても良い。図３（ａ）に示す例では、サーチエリアをｐ×ｑ（画素またはライン）の領域に設定した例であり、例えば、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ａに対応するサーチエリア８１ａと、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ｂに対応するサーチエリア８１ｂとが重なりを持つ領域として設定される。

このように、サーチエリアは、各代表点に対応付けられて設定され、各代表点と、その代表点に対応して設定されたサーチエリア内の画素との比較が実行されて、比較値に基づいて、例えば相関の度合いが高いほど（画素値の一致度合いが高いほど）高い評価値が設定され、各サーチエリアの構成画素に対応する評価値が設定される。

各サーチエリアにおける評価値は、図３（Ｂ）に示すように積算され、その結果として、図３（Ｃ）に示すような評価値テーブル９０が生成される。評価値テーブルは、前フレーム［Ｆ_ｔ−１］７０に設定した例えばｎ個のブロックに設定された各ブロックの代表点Ｒｙ１〜ｎと、参照フレームである現フレーム［Ｆ_ｔ］８０に設定した各代表点Ｒｙ１〜ｎに対応するサーチエリア内の各画素との比較に基づく評価値、例えば差分絶対値の積算値として算出され、サーチエリアと同一の大きさの評価値テーブルとして形成される。

なお、従来技術においては、画素値（例えば０〜２５５の８ビット）の差分値としての８ビットデータを積算していたが、本発明においては、後述するように、差分データに基づく例えば１ビットの仮評価値を算出し、さらに、画像の特性に応じた重み情報Ｗを算出し、１ビットの仮評価値に対して重み情報Ｗを乗算した結果を最終的な出力評価値として設定し、この最終評価値の積算を行なって評価値テーブルを生成する構成を持つ。この処理の詳細については、後述する。

評価値テーブル９０においては、サーチエリアの各偏移位置（ｉ，ｊ）における画素値と代表点との相関が高い場合に、ピーク（極値）が発生する。評価値テーブルに出現するピークは、動画像データの画面の表示物体の移動に対応する。

例えば、画面（フレーム）全体が同一の動きをした場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その動き方向、距離を持つベクトルの終点に対応する位置に１つのピークが出現する。また、画面（フレーム）内に２つの異なる動きをした物体があった場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その異なる動き方向、距離を持つ２つのベクトルの終点に対応する２つの位置に２つのピークが出現する。なお、静止部分がある場合は、静止部分に対応するピークも出現する。

このような評価値テーブルに出現するピークに基づいて、前フレーム［Ｆ_ｔ−１］７０と、参照フレームである現フレーム［Ｆ_ｔ］８０とにおける動きベクトルの候補（候補ベクトル）を求める。

評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出した後、フレームの各画素について、抽出した候補ベクトルから最も適応する候補ベクトルをそれぞれ選択して、各画素に対応する動きベクトルとして設定する。

抽出候補ベクトルに基づいて実行する各画素に対応する動きベクトルの設定処理について図４を参照して説明する。

図４において、中央の画素９１が前フレーム［Ｆ_ｔ−１］の１つの画素を示している。この画素は例えば輝度値（α）を有している。また、前述の評価値テーブルに出現したピークに基づいて、複数の候補ベクトルが抽出済みであり、これらの候補ベクトルを図に示す候補ベクトルＡ，Ｂ，Ｃであるとする。前フレーム［Ｆ_ｔ−１］の１つの画素９１は、これらの候補ベクトルのいずれかに従って移動して、現フレーム［Ｆ_ｔ］の画素に対応する位置に表示されると判定される。

図４において、画素ａ９５、画素ｂ９６、画素ｃ９７は、前フレーム［Ｆ_ｔ−１］の１つの画素９１から候補ベクトルＡ，Ｂ，Ｃに基づいて移動先として推定される各画素位置の現フレーム［Ｆ_ｔ］の画素を示している。これらの３画素を含むブロックの画素値と、画素９１を含むブロックの画素値との相関がブロックマッチング処理によって判定され、最も高い対応にある組が選択され、その選択した組に設定された候補ベクトルを画素９１の動きベクトルとする。

１つの画面（フレーム）に含まれるすべての画素について、同様の処理、すなわち候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きベクトルを設定する。

上述したように、代表点マッチングは、各ブロックを代表する代表点を設定し、設定した代表点のみについての評価値算出を行なって候補ベクトルを設定することが可能であり、限られた数の代表点のみの評価値算出を行なうことで、評価値算出に要する演算量を減少させることができ、高速処理が可能となる。

以下、説明する本発明の動きベクトル検出装置および動きベクトル検出方法の実施例においては、上述の代表点マッチングを適用した候補ベクトル抽出処理を伴う動きベクトル検出構成を説明する。

［２．動きベクトル検出装置全体構成および動きベクトル検出処理手順］
動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を図５に示し、動きベクトル検出処理の処理シーケンスを図６のフローチャートに示す。

動きベクトル検出装置は、図５に示すように、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル検出部１０３、制御部（コントローラ）１０４を有する。評価値テーブル形成部１０１は、動きベクトル検出処理対象となる画像データを入力端子を介して入力し、評価値テーブルを生成する。入力画像は、例えば、ラスタスキャンにより得られる画像データである。画像データは、例えば、ディジタルカラー映像信号のコンポーネント信号中の輝度信号を含む。

入力画像データは、評価値テーブル形成部１０１に供給され、前述した代表点マッチング法をベースとして、サーチエリアと同一の大きさの評価値テーブルを形成する。図６のフローにおけるステップＳ１０１の処理である。

候補ベクトル抽出部１０２は、評価値テーブル形成部１０１において生成した評価値テーブルから、１画面内の候補ベクトルとして、複数の動きベクトルを抽出する。すなわち、前述したように、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。図６のフローにおけるステップＳ１０２の処理である。

動きベクトル決定部１０３では、候補ベクトル抽出部１０２において抽出した複数の候補ベクトルを対象として、全フレームの各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素間の相関をブロックマッチング等により判定し、最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。図６のフローにおけるステップＳ１０３の処理である。この処理は、先に図４を参照して説明した処理である。

動きベクトル決定部１０３では、１つの画面（フレーム）に含まれるすべての画素について、候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きベクトルを決定し、決定した動きベクトルを出力する。

制御部１０４は、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル検出部１０３における処理タイミングの制御、中間データのメモリに対する格納、出力処理制御などを行なう。

以上が、本発明の動きベクトル検出装置において実行する代表点マッチングをベースとした評価値テーブルの生成と、候補ベクトル方式を適用した動きベクトル検出処理の流である。

［３．画像特性に基づく重みを設定した評価値テーブル形成処理の詳細］
次に、本発明の動きベクトル検出装置における評価値テーブル形成部の詳細について説明する。評価値テーブル形成部の詳細構成を図７に示す。

図７に示すように、本発明の動きベクトル検出装置における評価値テーブル形成部２００は、相関演算部２１０、可変閾値生成部２２０、相関判定部２３０、評価値調整部２４０、評価値テーブル算出部２５０を有する。

相関演算部２１０は、代表点メモリ２１１、画素値の差分データを算出する減算回路２１２、絶対値算出部２１３を有する。可変閾値生成部２２０は、特徴量抽出部２２１、特徴量メモリ２２２、閾値生成部２２３を有する。相関判定部２３０は、相関演算部２１０からの出力値であるフレーム差絶対値データと、可変閾値生成部２２０からの出力である閾値データとの比較処理を行なう比較部２３０を有し、各代表点と各画素の１つの評価値として、例えば１ビットデータの仮評価値を算出し、評価値調整部２４０の乗算部２４２に出力する。

評価値調整部２４０は、重み決定部２４１と乗算部２４２を有する。重み決定部２４１は、相関演算部２１０からの出力データであるフレーム差絶対値と、可変閾値生成部２２０の出力データである可変閾値を入力して重み情報Ｗ_１を生成し、乗算部２４２に出力する。あるいは、可変閾値生成部２２０の生成データである特徴量データ（ダイナミックレンジデータ）を入力して重み情報Ｗ_２を生成し、乗算部２４２に出力する。これらの処理の詳細については、後述する。

乗算部２４２は、相関判定部２３０からの出力である１ビットデータの仮評価値と、重み決定部２４１からの出力である重み情報Ｗ_１またはＷ_２を入力して、１ビットの仮評価値と重み情報Ｗ_１またはＷ_２の乗算処理を実行し、最終的に出力する複数ビットの最終評価値を生成して、評価値テーブル算出部２５０に出力する。評価値テーブル算出部２５０は、例えば乗算部２４２から入力する最終評価値を評価値積算部２５１において積算し、評価値テーブルを生成して評価値テーブルメモリ２５２に格納する。

まず、相関演算部２１０の処理について説明する。入力端子を介して画像データが、例えばフレーム単位で、相関演算部２１０に入力される。相関演算部２１０に入力された画像データは、減算回路２１２及び代表点メモリ２１１に供給される。

代表点メモリ２１１に記憶される画像データは、例えばフレーム単位で入力される画像データから生成される予め決められた代表点データである。例えば、先に図２、図３を参照して説明した画面を分割して設定されたブロック、例えばｍ×ｎ画素のブロックにおいて代表点が１つ設定される。なお、代表点は、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。

具体的には、例えば、入力フレーム画像から、空間的に均等に間引かれた画素位置の画像データ（画素値データ）が、制御部（コントローラ）１０４（図５参照）からの信号によるタイミング制御によって選択されて、代表点データとして代表点メモリ２１１に記憶される。

代表点メモリ２１１から読み出された前フレームの代表点データと、現フレームの画像データが、減算回路２１２に供給される。

減算回路２１１は、前フレームの代表点の画素値と、現フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレーム差（相関演算結果）を算出し、絶対値算出部２１３に出力する。

絶対値算出部２１３では、減算回路２１１から入力する前フレームの代表点データと、現フレームの画像データに基づくフレーム差（相関演算結果）を入力し、フレーム差絶対値を算出する。なお、画素値は、例えば輝度値として０〜２５５からなる２５６階調の輝度レベルを有しており、この２５６階調を示す画素値データとして８ビットが適用されている。従って、相関演算部２１０では、８ビットの代表点画素値データとサーチエリアにおける各画素の画素値８ビットの減算によって８ビットのフレーム差、およびフレーム差絶対値が算出される。

相関演算部２１０からの出力として得られる８ビットのフレーム差絶対値は、相関判定部２３０に入力され、相関判定部２３０で例えば１ビットデータに縮退し、この１ビットデータを仮評価値とする。

この１ビットの仮評価値は、例えば、
ビット値［１］は、代表点の画素値と、サーチエリアの比較対照となる画素値との相関あり
ビット値［０］は、代表点の画素値と、サーチエリアの比較対照となる画素値との相関なし
のいずれかを示すことになる。

この出力に基づいて、ビット値［１］の数を積算し、相関ありの結果が多いか否かを示す度数分布型の評価値テーブルを生成することも可能であるが、本発明の構成においては、さらに、仮評価値を評価値調整部２４０に入力し、評価値調整部２４０の乗算部２４２において、重み決定部２４１からの出力である重み情報Ｗ_１またはＷ_２との乗算処理を実行し、最終的な出力評価値を生成して、評価値テーブル算出部２５０に出力する。

評価値テーブル算出部２５０においては、最終的な出力評価値、すなわち、評価値調整部２４０の乗算部２４２から入力する最終評価値を積算して、評価値テーブルを生成する。評価値テーブルは、サーチエリア内の各偏移（ｉ，ｊ）において、代表点と参照点に相関がある場合に乗算部２４２から出力される重み付けされた最終評価値が加算され、１画面の全ての代表点の相関判定結果が積算されたものとなる。つまり、評価値テーブルの各偏移（ｉ，ｊ）において、相関が高いほど積算値が高くなり、形成された評価値テーブルには、動画像データの画面の表示物体の移動に対応したピーク（極値）が出現する。

従って、生成した評価値テーブルには、動画像データの画面の表示物体の移動に対応したピーク（極値）が出現し、候補ベクトルの選定が可能となる。

図７に示す本発明の評価値テーブル算出部２５０における相関判定部２３０では、可変閾値を可変閾値生成部２２０から入力して、相関演算部２１０から入力する差分データとしてのフレーム差絶対値との比較処理を行なう。

固定閾値を用いず、可変閾値を適用する理由は、実際の動きの程度に対応した、より正確な動き検出を行うことを可能とするためである。

空間内に於けるレベル変動の大きい画像、つまり、ある注目画素の近傍で大きなレベル変化（画素値変動）のある画像、例えば、縦方向の複数本のストライプ状のパターン画像など、エッジ部分の多い画像の場合には、次のフレームで画像に僅かの動きがあってもフレーム差が非常に大きくなる。従って、相関演算部２１０から出力されるフレーム差分は大きな値になる。一方、空間内に於けるレベル変動の小さい画像、例えば人の顔の頬の部分、あるいは緑一色の草原や、空に雲が浮かんでいるような全体的に平坦な輝度分布を持つ画像の場合には、次のフレームで画像に動きがあってもフレーム差が小さくなる。従って、相関演算部２１０から出力されるフレーム差分は小さな値となる。

固定閾値を用いて、相関演算部２１０から出力されるフレーム差分データを一律に「相関有り」、または「相関無し」のいずれかに区別してしまうと、全体的に平坦な輝度分布を持つ画像の場合には、動きがあった場合にも相関なしと判定され、動きのない画像データであると判定されてしまう恐れがある。

そこで、注目画素の時間方向変動を空間内変動で正規化し、この正規化出力に基づいて動きの有無を判断する。この処理のために、可変閾値生成部２２０において、注目画素の時間方向変動を空間内変動で正規化したデータを用いて可変閾値を生成して、可変閾値を適用して、相関演算部２１０から出力されるフレーム差分データとの比較を行う。

すなわち、画像データに応じた異なる閾値を適用して、相関判定部２３０の比較部２３１において相関演算部２１０から入力する差分データとしてのフレーム差絶対値との比較処理を行なって相関あり［１］、相関なし［０］の仮評価値を生成する。

可変閾値に基づく相関判定を行なうことで、時間方向変動のみに基づいてなされる動きの有無の判断（固定閾値を適用した判定に対応する）と比較して、実際の動きの程度に対応した、より正確な動き検出を行うことができる。

つまり、可変閾値を用いた相関の判定を行なうことで、時間方向変動が大きい場合であっても、フレーム内に於けるレベル変動、即ち、空間内変動が比較的大きい場合には動き検出感度が低下する。また、時間方向変動が小さい場合であっても、フレーム内に於けるレベル変動、即ち、空間内変動が比較的小さい場合には、動き検出感度が向上し、画像データに応じた正確な動き判定、すなわち、相関判定処理が可能となる。

可変閾値生成部２２０の処理について説明する。可変閾値生成部２２０は、空間内変動を表す特徴量を抽出し、特徴量に対応して異なる閾値を設定する。空間内変動を表す特徴量の抽出は、特徴量抽出部２２１において実行する。

特徴量抽出部２２１は、相関演算部２１０の減算回路２１２の出力値、すなわち、フレム差分データを入力し、空間内変動を表す特徴量として、代表点の近傍領域（３×３）のダイナミックレンジ（ＤＲ）を算出する。

なお、ここでは、空間内変動を表す特徴量として、代表点の近傍領域（３×３）のダイナミックレンジ（ＤＲ）を適用する例を説明するが、空間内変動を表す特徴量としては、例えば、代表点の両隣３画素のダイナミックレンジや、差分和、近傍領域の平均偏差和等を用いることが可能である。

代表点近傍領域（３×３）のダイナミックレンジ（ＤＲ）は、代表点マッチングの相関演算結果を利用することで算出可能である。代表点マッチングの相関演算結果を利用した代表点近傍領域（３×３）のダイナミックレンジ（ＤＲ）算出処理について、図８を参照して説明する。

図８（Ａ）には、現フレーム［Ｆ_ｔ］、現フレーム［Ｆ_ｔ］の１つ前の前フレーム［Ｆ_ｔ−１］、現フレーム［Ｆ_ｔ］の２つ前のフレーム［Ｆ_ｔ−２］の３つの連続フレームを示している。

現フレーム［Ｆ_ｔ］の１つ前の前フレーム［Ｆ_ｔ−１］のある代表点Ｒｙの近傍領域（３×３）は、例えば、代表点Ｒｙの画素を中心画素（ｉ，ｊ）とすると、図８（Ｂ）に示す９点の画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）によって構成される。代表点Ｒｙ近傍領域（３×３）のダイナミックレンジ（ＤＲ）は、これらの９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）の各画素値の最大値と最小値の差で表される値である。

可変閾値生成部２２０の特徴量抽出部２２１は、この前フレーム［Ｆ_ｔ−１］のある代表点Ｒｙの近傍領域（３×３）のダイナミックレンジを、２フレーム前［Ｆ_ｔ−２］の代表点Ｐｙにおける相関演算のフレーム差に基づいて算出する。この処理を実行する特徴量抽出部２２１の構成例を図９に示す。

特徴量抽出部２２１には、連続するフレームの代表点とサーチエリアにおける画素値の差分データがフレーム差として入力される。図８に示す２フレーム前［Ｆ_ｔ−２］の代表点Ｐｙと、前フレーム［Ｆ_ｔ−１］のある代表点Ｒｙの近傍領域（３×３）の差分データがそれぞれ入力されたと仮定する。

差分データは、代表点Ｐｙと、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）各々の差分データは、順次入力され、最大値検出部３０１、最小値検出部３０３において、代表点Ｐｙと、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）各々の差分データの最大値と最小値が求められる。まず最初の入力差分データは、最大値検出部３０１、最小値検出部３０３を通過して、レジスタ３０２，３０４に格納され、次に入力する差分データと、最大値検出部３０１、最小値検出部３０３において比較され、それぞれ最大差分値がレジスタ３０２に格納され、最小差分値がレジスタ３０４に格納される。これを繰り返し実行することで、代表点Ｐｙと、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）各々の差分データの最大値と最小値が求められる。

この結果求められた代表点Ｐｙと、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）各々の差分データの最大値と最小値は、減算回路３０５において減算され、この結果が代表点Ｒｙの近傍領域（３×３）、すなわち、９画素（ｉ−１，ｊ−１）〜（ｉ＋１，ｊ＋１）のダイナミックレンジ（ＤＲ）としてラッチ３０６を介して出力される。

前述したように、代表点Ｒｙの近傍領域（３×３）のダイナミックレンジとは、図８（Ｂ）に示す９点の画素の画素値の最大値と最小値の差で表される値である。２フレーム前［Ｆ_ｔ−２］の代表点Ｐｙと、この９点とのフレーム差は、９点のＤＣ成分が変化しただけなので、この９点のフレーム差の最大値と最小値の差も、上記のダイナミックレンジと同値となる。

具体的な画素値を設定した例で説明する。前フレーム［Ｆ_ｔ−１］の９点の画素値が、１０、１１、７、９、９、１２、１５、１１、８の各画素値（輝度レベル）を有するとする。２フレーム前の［Ｆ_ｔ−２］の代表点Ｒｙの画素値が、［１１］であったとする。この場合、代表点Ｒｙと、前フレーム［Ｆ_ｔ−１］の９点の画素値のフレーム差は、其々、
１０−１１＝−１
１１−１１＝０
７−１１＝−４
９−１１＝−２
９−１１＝−２
１２−１１＝＋１
１５−１１＝＋４
１１−１１＝０
８−１１＝−３
となり、これら９個の差分データに基づいて、図９に示す特徴量抽出部２２１において求められる値（ＤＲ）は、上記９式の結果の最大値［＋４］から最小値［−４］を減算した値であり、［８］となる。一方、前フレーム［Ｆ_ｔ−１］の９点の画素値｛１０、１１、７、９、９、１２、１５、１１、８｝から直接求めたダイナミックレンジは、１５（ＭＡＸ）−７（ＭＩＮ）＝８であり、いずれの値も［８］となって、いずれも同値となる。

このように、２フレーム前［Ｆ_ｔ−２］と前フレーム［Ｆ_ｔ−１］とを対象として相関演算部２１０において実行する代表点マッチング処理における相関結果、すなわち、フレーム差分データを用いて、前フレーム［Ｆ_ｔ−１］の代表点近傍のダイナミックレンジを算出可能であり、このダイナミックレンジ（ＤＲ）を空間内変動の特徴量として適用する。

可変閾値生成部２２１において実行する可変閾値生成処理手順について、図１０に示すフローを参照して説明する。

まず、ステップＳ１５１では、相関演算部２１０において実行する代表点マッチング処理により算出されるフレーム差分データを取り込む。ステップＳ１５２では、特徴量抽出部２２１が、上述した処理に従ってフレーム差分データに基づいて代表点近傍のダイナミックレンジ（ＤＲ）を算出する。

ステップＳ１５３において、算出したダイナミックレンジ（ＤＲ）を、代表点に対応させて特徴量メモリ２２２に記憶する。ステップＳ１５４において、特徴量メモリ２２２から、代表点に対応するダイナミックレンジ（ＤＲ）データを読み出す。ステップＳ１５５において、読み出したダイナミックレンジ（ＤＲ）を閾値生成部２２３で閾値に変換し、ステップＳ１５６において、変換した可変閾値を、相関判定部２３０に出力する。

このように、図７（Ａ）における可変閾値生成部２２０の特徴量抽出部２２１では、上述した処理によって、相関演算部２１０から入力するフレーム差分データに基づいて、特徴点近傍のダイナミックレンジを算出し、これを空間内変動を表す特徴量として特徴量メモリ２２２に格納し、閾値生成部２２３は、この特徴量を閾値として設定し、相関判定部２３０に出力する。

閾値生成部２２３における閾値生成処理、すなわち、空間内変動の特徴量としての代表点近傍のダイナミックレンジデータに基づく閾値生成処理について、図１１を参照して説明する。

閾値生成部２２３には、特徴量抽出部２２１において、フレーム差分データに基づいて算出されたダイナミックレンジ（ＤＲ）データが入力される。このデータは、８ビット画素値の差分データであり８ビットデータである。

閾値生成部２２３のビット分解部３５１では、入力された８ビットのダイナミックレンジ（ＤＲ）をＭＳＢから１ビット単位で分解し、上位６ビットのみを抽出する。上位ビットから、それぞれ、Ｄ７、Ｄ６、Ｄ５、Ｄ４、Ｄ３、Ｄ２とする。

ＯＲ回路３５２には、ＭＳＢから３ビットＤ７、Ｄ６、Ｄ５が入力され、ＯＲ演算が実行され、１ビットの出力がなされる。３ビットＤ７、Ｄ６、Ｄ５のいずれかにビット値［１］が含まれれば［１］が出力される。

さらに、ＯＲ回路３５２の出力と、ビット分解部３５１の出力Ｄ４が、ＯＲ回路３５３に入力され、ＯＲ演算の結果が出力値とされる。さらに、ＯＲ回路３５３の出力と、ビット分解部３５１の出力Ｄ３が、ＯＲ回路３５４に入力され、ＯＲ演算の結果が出力値とされる。さらに、ＯＲ回路３５４の出力と、ビット分解部３５１の出力Ｄ２が、ＯＲ回路３５５に入力され、ＯＲ演算の結果が出力値とされる。

ＯＲ回路３５３の出力と、ＯＲ回路３５４の出力と、ＯＲ回路３５５の出力の計３ビットｄ２，ｄ１，ｄ０が、ビット合成部３５６に入力され、ビット合成部３５６では、上位から、ｄ２、ｄ１、ｄ０の３ビットデータ［０００］〜［１１１］を１０進数に変換し、値０〜７を、閾値として出力する。このように、閾値生成部２２３は、注目画素近傍の空間内変動の特徴量としての代表点近傍のダイナミックレンジデータの構成ビットのビット情報圧縮処理により閾値を算出する。

図１２は、この閾値生成部２２３の入出力関係をプロットしたグラフであり、閾値の上限リミッターを設けた可変閾値が生成される。図１２は、横軸が、可変閾値生成部に入力されるフレーム差分に基づいて算出されるダイナミックレンジ（ＤＲ）であり、縦軸がダイナミックレンジ（ＤＲ）に基づいて算出し、相関判定部２３０に出力する可変閾値を示す。

例えば、ダイナミックレンジ（ＤＲ）が０〜３では、相関判定部２３０に出力する可変閾値は０となる。ダイナミックレンジ（ＤＲ）が４〜７では、相関判定部２３０に出力する可変閾値は１となる。以下、同様であり、ダイナミックレンジ（ＤＲ）が２８以上においては、相関判定部２３０に出力する可変閾値は７となり、閾値の上限リミッターを設けた可変閾値が生成される。

ダイナミックレンジ（ＤＲ）が小さい、すなわち平坦な画像であっても、閾値は比較的小さく設定されるので、相関判定部２３０における相関判定では、相関ありなしの判定が比較的正確に行なわれることになる。

相関判定部２３０は、相関演算部２１０からの出力値であるフレーム差絶対値データを入力し、さらに、可変閾値生成部２２０から、上述の可変閾値を入力して比較部２３１において比較処理を実行する。フレーム差絶対値データが、可変閾値より小であれば、１ビットデータとして、相関あり［１］を仮評価値として乗算部２４２に出力し、可変閾値より大であれば、相関なし［０］を仮評価値として乗算部２４２に出力する。

この相関判定部２３０の出力する仮評価値は、相関あり［１］、相関なし［０］の１ビットデータである。

相関判定部２３０に対して相関演算部２１０から入力するフレーム差絶対値を｜ΔＦ｜とし、可変閾値生成部２２０から入力する閾値をＴＨとしたとき、以下の式（式１）に示す条件が成立する場合は、相関判定部２３０の出力する仮評価値は、相関あり［１］として設定される。
｜ΔＦ｜＜ＴＨ・・・（式１）

例えば、可変閾値生成部２２０から入力する閾値ＴＨ＝５の場合、相関判定部２３０の出力する仮評価値は、図１３に示すような結果となる。すなわち、相関演算部２１０から入力するフレーム差分絶対値が０〜５の場合は、相関判定部２３０の出力する仮評価値は、相関あり［１］となり、フレーム差分絶対値が６以上の場合は、相関判定部２３０の出力する仮評価値は、相関なし［０］となる。

しかしながら、相関判定部２３０の出力する仮評価値が、同じ相関あり［１］となった場合であっても、実際には、相関演算部２１０から入力するフレーム差分絶対値が０である場合の方が、相関演算部２１０から入力するフレーム差分絶対値が５である場合よりも、相関度が高い。

本発明においては、このような画像の属性に応じた重み情報を重み決定部２４１において算出し、算出した重み情報によって、相関判定部２３０の出力する仮評価値を調整し、最終的な出力評価値を算出する。

以下、重み決定部２４１における処理例として、
（ａ）相関演算部２１０から入力するフレーム差分絶対値｜ΔＦ｜と、可変閾値生成部２２０から入力する閾値ＴＨを適用して重み情報Ｗ_１を算出する処理例
（ｂ）可変閾値生成部２２０から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して重み情報Ｗ_２を算出する処理例
これらの２通りの処理例について説明する。

（ａ）相関演算部２１０から入力するフレーム差分絶対値｜ΔＦ｜と、可変閾値生成部２２０から入力する閾値ＴＨを適用して重み情報Ｗ_１を算出する処理例
まず、相関演算部２１０から入力するフレーム差分絶対値｜ΔＦ｜と、可変閾値生成部２２０から入力する閾値ＴＨを適用して重み情報Ｗ_１を算出する処理例について説明する。

図１４を参照して評価値調整部２４０の構成および処理について説明する。評価値調整部２４０内の重み決定部２４１は、重み情報算出部２４３を有する。重み情報算出部２４３は、相関演算部２１０から入力するフレーム差分絶対値｜ΔＦ｜と、可変閾値生成部２２０から入力する閾値ＴＨを適用して、下式（式２）に従って、重み情報Ｗ_１を算出する。
Ｗ_１＝ＴＨ−｜ΔＦ｜＋１・・・（式２）

重み決定部２４１は、上記式（式２）に従って算出した重み情報Ｗ_１を乗算部２４２に出力する。乗算部２４２では、相関判定部２３０から入力する１ビットの仮評価値に対して、重み情報Ｗ_１を乗算して最終評価値を算出し、算出した最終評価値を評価値テーブル算出部２５０に出力する。

可変閾値生成部２２０から入力する閾値ＴＨ＝５の場合における、相関判定部２３０の出力する仮評価値と、重み決定部２４１において上記式（式２）に従って算出した重み情報Ｗ_１を適用して乗算部２４２が算出する最終評価値の対応例を図１５に示す。

図１５に示すように、可変閾値生成部２２０から入力する閾値ＴＨ＝５の場合、相関演算部２１０から入力するフレーム差分絶対値が０〜５の場合は、相関判定部２３０の出力する仮評価値は、相関あり［１］となり、フレーム差分絶対値が６以上の場合は、相関判定部２３０の出力する仮評価値は、相関なし［０］となる。しかし、重み決定部２４１において上記式（式２）に従って算出した重み情報Ｗ_１を適用して乗算部２４２が算出する最終評価値は、
フレーム差絶対値＝０→最終評価値＝６
フレーム差絶対値＝１→最終評価値＝５
フレーム差絶対値＝２→最終評価値＝４
フレーム差絶対値＝３→最終評価値＝３
フレーム差絶対値＝４→最終評価値＝２
フレーム差絶対値＝５→最終評価値＝１
のように、相関演算部２１０から入力するフレーム差分絶対値の値に応じた最終評価値が得られることになる。この場合、最終評価値は０〜６の値であり、最大３ビット情報となる。従って、フレーム差絶対値をそのまま評価値とする場合に必要となる８ビット情報に比較するとデータ量が削減され、評価値テーブルメモリの容量を小さくすることができる。

乗算部２４２が出力する画像特性に基づいて決定される重みを考慮した最終評価値は、評価値テーブル形成部２００の評価値テーブル算出部２５０に出力され、評価値テーブル算出部２５０内の評価値積算部２５１において積算され、積算結果に基づく評価値テーブルが生成されて、評価値テーブルメモリ２５２に格納される。

この結果として、画像の特性、すなわち、フレーム差分情報に対応した相関評価値に基づいた評価値テーブルの生成が可能となる。

（ｂ）可変閾値生成部２２０から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して重み情報Ｗ_２を算出する処理例
次に、可変閾値生成部２２０から入力する画像特性情報としての代表点近傍のダイナミックレンジＤＲを適用して重み情報Ｗ_２を算出する処理例について説明する。

注目点の近傍領域の高周波成分特徴量（例えば、ダイナミックレンジ）が、大きい方が、動き量ミスが起きた場合、目立つ劣化となってしまうため、ダイナミックレンジが大きい代表点の動きは、出来るだけ評価値テーブルから抽出できるようにしたい。従って、本実施例では、代表点近傍の高周波成分特徴量としてのダイナミックレンジ（ＤＲ）を重み情報として設定する。

図１６を参照して評価値調整部２４０の構成および処理について説明する。評価値調整部２４０内の重み決定部２４１は、重み情報算出部２４４を有する。重み情報算出部２４４は、可変閾値生成部２２０から入力する画像特性情報としての代表点近傍のダイナミックレンジＤＲを適用して、下式（式３）に従って、重み情報Ｗ_２を算出する。
Ｗ_２＝ＤＲ・・・（式３）

重み決定部２４１は、上記式（式３）に従って算出した重み情報Ｗ_２を乗算部２４２に出力する。乗算部２４２では、相関判定部２３０から入力する１ビットの仮評価値に対して、重み情報Ｗ_２を乗算して最終評価値を算出し、算出した最終評価値を評価値テーブル算出部２５０に出力する。

乗算部２４２が出力する画像特性に基づいて決定される重みを考慮した最終評価値は、評価値テーブル形成部２００の評価値テーブル算出部２５０に出力され、評価値テーブル算出部２５０内の評価値積算部２５１において積算され、積算結果に基づく評価値テーブルが生成されて、評価値テーブルメモリ２５２に格納される。

この結果として、画像の特性、すなわち、画像特性情報に対応した相関評価値に基づいた評価値テーブルの生成が可能となる。

なお、上記式（式３）に従って算出した重み情報Ｗ_２は、ダイナミックレンジが例えば８ビットデータである場合は、８ビットの重み情報となるが、積算対象となる評価値の情報量を削減するための処理として、下式（式４）に従って、重み情報Ｗ_２'を算出する校正としてもよい。
Ｗ_２'＝ＤＲ／ｎ・・・（式４）
ただし、ｎは２以上の自然数

上記式（式４）に従って算出した重み情報Ｗ_２'を乗算部２４２に出力し、相関判定部２３０から入力する１ビットの仮評価値に対して、重み情報Ｗ_２'を乗算して最終評価値を算出し、算出した最終評価値を評価値テーブル算出部２５０に出力する構成としてもよい。この構成とすることにより、最終評価値のビット数が削減され、評価値テーブルメモリ２５２の容量を削減できる。

なお、ここでは、特徴量として代表点近傍のダイナミックレンジ（ＤＲ）を用いた例について説明したが、他に、代表点の両隣３画素のダイナミックレンジや、差分和、近傍領域の平均偏差和等を用いても良い。

なお、評価値調整部２４０内の重み決定部２４１における処理例として、
（ａ）相関演算部２１０から入力するフレーム差分絶対値｜ΔＦ｜と、可変閾値生成部２２０から入力する閾値ＴＨを適用して重み情報Ｗ_１を算出する処理例
（ｂ）可変閾値生成部２２０から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して重み情報Ｗ_２を算出する処理例
これらの２通りの処理例について説明したが、重み決定部２４１では、これらいずれかの処理を実行するか、あるいは、これらの処理の双方を実行し、双方の結果に基づく重み情報Ｗ_３を算出し、重み情報Ｗ_３を乗算部２４２に出力する構成としてもよい。

例えば下式（式５）に従って、重み情報Ｗ_１と重み情報Ｗ_２とから重み情報Ｗ_３を算出する。
Ｗ_３＝αＷ_１＋βＷ_２・・・（式５）
α，β：係数

図１７に示すフローチャートを参照して、本発明における評価値テーブル形成部の処理シーケンスを説明する。

まず、ステップＳ２０１において、入力画像データに基づいて代表点マッチング処理を実行し、フレーム差分データを算出する。次に、ステップＳ２０２において、フレーム差分データの絶対値を算出する。これらの処理は、図７の評価値テーブル形成部２００の相関演算部２１０において実行する処理である。

ステップＳ２０３では、相関演算部２１０がステップＳ２０１において生成したフレーム差分データに基づいて可変閾値を生成する。この処理は、図７の評価値テーブル形成部２００の可変閾値生成部２２０において実行する処理である。

ステップＳ２０４では、相関演算部２１０がステップＳ２０２において生成した差分データの絶対値と、可変閾値生成部２２０が、ステップＳ２０３において生成した可変閾値との比較により、「相関あり」または「相関なし」を示す仮評価値としての１ビットデータを生成する。この処理は、図７の評価値テーブル形成部２００の相関判定部２３０において実行する処理である。

次にステップＳ２０５において、評価値調整部２４０内の重み決定部２４１において重み情報Ｗを決定する。この処理は、上述したように、
（ａ）相関演算部２１０から入力するフレーム差分絶対値｜ΔＦ｜と、可変閾値生成部２２０から入力する閾値ＴＨを適用して重み情報Ｗ_１を算出する処理、あるいは、
（ｂ）可変閾値生成部２２０から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して重み情報Ｗ_２を算出する処理、
のいずれか、または、両処理を実行して双方の重みを考慮した重み情報Ｗ_３を算出する処理などである。

ステップＳ２０６は、評価値調整部２４０内の乗算部２４２の処理であり、相関判定部２３０からの出力（１ビット）に対して重み決定部２４１から入力する重み情報を乗算し、最終評価値（複数ビット）を算出する。

次に、ステップＳ２０７において、乗算部２４２の生成した画像特性に基づく重み情報を考慮した最終評価値を積算し、評価値テーブルを生成する。この処理は、図７の評価値テーブル形成部２００の評価値テーブル算出部２５０において実行する処理である。

このように、本実施例の評価値テーブル形成部は、画像特性に基づく重み情報を算出し、相関判定部２３０から出力される相関の有無のみを示す１ビットの仮評価値を、重み情報によって調整した値を最終評価値（複数ビット）として算出し、この最終評価値による積算データに基づく評価値テーブルを生成する構成としたので、評価値テーブルが、画像特性を反映したテーブルとして生成されることになり、より高精度な評価値テーブルを生成することが可能となる。結果として評価値テーブルに出現するピーク（極値）は、処理対象となる動画像データの動きに対応するより急峻度が大きなピーク（極値）となり、誤検出の恐れを低下させ、図５に示す候補ベクトル抽出部１０２において評価値テーブルに基づいて実行する候補ベクトル抽出処理を効率的に正確な処理として実行することが可能となり、さらにその結果として、動きベクトル検出部１０３において実行する各画素対応の動きベクトルの設定、すなわち候補ベクトルの対応付けをより正確に実行することが可能となる。

上述した評価値テーブル形成部構成を持つ動きベクトル検出装置を適用し、実際の動画像データに対する処理を実行した場合に生成される評価値テーブルの例を説明する。

具体的な、動画像データとして、図１８に示すような、静止背景４００の前景に移動物体（Ａ）４０１と、移動物体（Ｂ）４０２とが存在するデータを適用した。

移動物体（Ａ）４０１は水平右方向に移動する物体であり、この物体の表示領域の画素に対応する正しい動きベクトルは（Ｖｘ，Ｖｙ）＝（９，０）である。つまり水平右方向の動きベクトルが設定されるべき画素領域である。移動物体（Ｂ）４０２は、水平左方向に移動する物体あり、この物体の表示領域の画素に対応する正しい動きベクトルとしては、（Ｖｘ，Ｖｙ）＝（−９，０）である。つまり、水平左方向の動きベクトルが設定されるべき画素領域である。

この動画像データに対して、本発明を適用した評価値テーブル生成処理、すなわち相関判定部２３０からの出力である仮評価値（１ビット）に対して、評価値調整部２４０内の重み決定部２４１から入力する重み情報を乗算し、最終評価値（複数ビット）を算出して、最終評価値を積算することで生成した評価値テーブルの例を図１９（ａ）に示す。一方、相関判定部２３０からの出力（１ビット）を、そのまま積算した結果として得られる度数分布型の評価値テーブルの例を図１９（ｂ）に示す。なお、図１９（ａ），（ｂ）とも評価値テーブルの２次元データである。

図１９（ａ），（ｂ）とも、移動物体（Ａ）に対応する動きベクトル（９，０）に対応するピーク（極値）４１１，４２１と、移動物体（Ｂ）に対応する動きベクトル（−９，０）に対応するピーク（極値）４１２，４２２と、背景の静止領域に対応する静止を示す動きベトクル（０，０）に対応するピーク（極値）４１３，４２３の３つのピーク（極値）が出現しているが、本発明に従った重み情報を考慮して生成した最終評価値に基づいて生成した評価値テーブルにおいて出現するピークは、相関判定部２３０からの出力（１ビット）を、そのまま積算した結果として得られる度数分布型評価値テーブルに比較して、より急峻なピークとして形成される。

従って、評価値テーブルに出現したピーク（極値）に基づく候補ベクトル抽出処理において、より正確な候補ベクトル抽出が可能となる。

評価値テーブルにおいて出現するピーク（極値）の位置が、１画面に存在する動きに対応し、この評価値テーブルにおいて出現するピーク（極値）の位置に基づいて候補ベクトルが取得される。例えば図１９（ａ）に示した型評価値テーブルでは、動きベクトル（９，０）と、動きベクトル（−９，０）、動き（静止）ベクトル（０，０）が候補ベクトルとして抽出可能である。

評価値テーブルにおけるピーク（極値）の急峻度が大きい方が信憑性が高く、ピーク（極値）が高い方も信憑性が高いと言える。評価値テーブルからの候補ベクトル抽出処理を実行するのは、図５に示す動きベクトル検出装置における候補ベクトル抽出部１０２である。候補ベクトル抽出部１０２は、評価値テーブル形成部１０１が、前述した手法で生成した型評価値テーブルを受領し、受領した評価値テーブルからピーク（極値）検出を実行して、検出したピーク（極値）の座標に基づいて、候補ベクトルを抽出する。

評価値テーブルはサーチエリアに対応した大きさを持つ。サーチエリアの範囲が、水平方向が−Ｈ〜（Ｈ−１）、垂直方向が−Ｖ〜（Ｖ−１）に設定したとすると、評価値テーブルの大きさは、水平が２Ｈ、垂直が２Ｖの大きさとなる。この場合の評価値テーブルの概念図を、図２０に示す。図２０は、評価値テーブルの平面図を示しており、水平：２Ｈ、垂直：２Ｖはサーチエリアの大きさに対応する。

図５に示す候補ベクトル抽出部１０２は、評価値テーブル形成部１０１が生成した評価値テーブルを受領し、受領した評価値テーブルからピーク（極値）を調べるために、図２０に示す評価値テーブル５００における注目点５０１の近傍を参照する。注目点５０１は、座標（ｉ，ｊ）を有する。

例えば、サーチエリアの中心位置にピークがある場合は、静止ベクトル（０，０）に対応する。候補ベクトル抽出部１０２は、各座標（ｉ，ｊ）地点にピークがあるか否かを判定する処理を行い、ピークがあると判定された座標（ｉ，ｊ）に対応する候補ベクトルを抽出する。サーチエリアの中央、例えば座標（０，０）にピークがある場合は、静止ベクトル（０，０）が候補ベクトルとして抽出される。

候補ベクトル抽出部１０２は、評価値テーブル５００におけるピークを検出する処理を実行するが、この場合、評価値テーブル情報を格納するメモリの情報領域をサーチエリアと同一の大きさに設定すると、ピーク位置が、評価値テーブルの上下左右の端に位置する場合に、正確なピーク位置の検出が困難となる場合がある。従って、評価値テーブルメモリの大きさは、サーチエリアより少し広めに設定しておくことが好ましい。

候補ベクトル抽出部１０２は、例えば評価値テーブル５００におけるピーク（極値）の高いものから順に予め設定された数の候補ベクトルを選択する。すなわちピーク（極値）大きい値から、順番に、予め設定された候補ベクトル数に対応するデータを順に取り出し、これらを候補ベクトルとする。

図５に示す動きベクトル検出部１０３は、候補ベクトル抽出部１０２が評価値テーブルから抽出した複数の候補ベクトルから、各画素毎に最適なベクトルを選択して対応付ける処理を行い、各画素毎の動きベクトルを決定する処理を実行する。

動きベクトル検出部１０３においては、複数の候補ベクトルから、各画素毎に最適なベクトルを選択して対応付けて、各画素毎の動きベクトルを決定する。この処理においては、基本的に、各候補ベクトルに基づく移動位置とのブロックマッチングによる評価を行い、最も相関の高い画素データを指す候補ベクトルを選択する。すなわち、複数の候補ベクトルに対するマッチング評価に基づいて、各画素に対応付ける動きベクトルを決定する。

例えば、予め設定された候補ベクトル数を３として、前フレーム［Ｆ_ｔ−１］と現フレーム［Ｆ_ｔ］との間で、上述した評価値テーブル形成した後、評価値テーブルに基づいて候補ベクトルの抽出を行った結果、図２１に図示するような３つの候補ベクトルＶ１，Ｖ２，Ｖ３が得られたものと仮定する。

静止ベクトル（０，０）も本来考慮すべきであるが、一例として、ここでは、３つの候補ベクトルＶ１，Ｖ２，Ｖ３から動きベクトルが選択される場合の処理例を説明する。

前フレーム［Ｆ_ｔ−１］のある注目画素をＰ（０）として、この注目画素に３つの候補ベクトルの中から最良な動きベクトルを決定する処理について説明する。前フレーム［Ｆ_ｔ−１］の注目画素Ｐ（０）が、候補ベクトル分移動した先の、現フレーム［Ｆ_ｔ］の画素を、其々、Ａ（０），Ｂ（０），Ｃ（０）とする。

また、注目画素Ｐ（０）の周辺の隣接画素は、図示するように、Ｐ（１），・・・，Ｐ（８）の８画素からなるブロックがあるものとする。３つの候補ベクトルＶ１，Ｖ２，Ｖ３によって指定される現フレーム［Ｆ_ｔ］の画素位置、Ａ（０），Ｂ（０），Ｃ（０）の周辺にも、図示しないが、それぞれ同様に、Ａ（１），・・・，Ａ（８）、Ｂ（１），・・・，Ｂ（８）、Ｃ（１），・・・，Ｃ（８）の画素からなるブロックが存在する。

動きベクトル検出部１０３におけるブロックマッチングは、注目画素の周辺画素を含むブロック領域を設定して、前フレーム［Ｆ_ｔ−１］のある注目画素をＰ（０）含むブロックと、候補ベクトル（Ｖ１，Ｖ２，Ｖ３）によって指定される現フレーム［Ｆ_ｔ］の画素位置、Ａ（０），Ｂ（０），Ｃ（０）を含むブロックの画素値の相関を判別する処理である。ここでは、ブロックマッチングサイズは、説明を分かりやすくするために、一例として、３画素×３画素としている。

動きベクトル検出部１０３は、フレームメモリから、現フレーム［Ｆ_ｔ］の画素値データと、前フレーム［Ｆ_ｔ−１］の画素値データを読み出して、予め取得済みの候補ベクトルデータに基づいて、各画素を含むブロックを設定して、ブロックマッチング処理を実行し、最も相関の高いブロックに対応する候補ベクトルをその画素の動きベクトルとして設定する処理を実行する。

この結果、動画像データのフレームを構成する画素に対応する動きベクトルが決定される。この動きベクトルに基づいて、例えばＭＰＥＧ符号化処理など、各種の動画像データに対する処理が実行される。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、動画像データからの動きベクトル検出処理において生成する評価値テーブルの生成情報としての評価値を、画像特性に応じた重み情報を加味した評価値として設定することが可能となり、より正確な動きベクトル検出を可能とする評価値テーブルを生成することが可能となる。従って、動画像データの符号化処理などを実行する画像処理装置などにおいて本発明を適用することにより、より正確な動きベクトル検出処理が可能となる。

本発明の構成によれば、注目画素を含む近傍領域画素の特徴量に基づく可変閾値と、相関情報との比較処理結果に基づいて算出する１ビットの仮評価値に対して、画像特性に基づく重み情報に基づく演算を実行して、画像特性に応じた重み情報を加味した最終評価値を算出し、この最終評価値を評価値テーブルの生成情報としたので、画像特性に応じた評価値テーブルを生成することが可能となり、正確な動きベクトル検出が可能となる。従って、動画像データの符号化処理などを実行する画像処理装置などにおいて本発明を適用することにより、より正確な動きベクトル検出処理が可能となる。

本発明の構成によれば、相関演算部から入力するフレーム差分絶対値、可変閾値生成部から入力する閾値ＴＨ、または可変閾値生成部から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して重み情報Ｗを算出し、相関判定部の算出した仮評価値と重み情報Ｗとの乗算により最終評価値を算出し、この最終評価値を評価値テーブルの生成情報としたので、画像特性に応じた評価値テーブルを生成することが可能となり、正確な動きベクトル検出が可能となる。従って、動画像データの符号化処理などを実行する画像処理装置などにおいて本発明を適用することにより、より正確な動きベクトル検出処理が可能となる。

ブロックマッチング法の概要を説明する図である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図（その１）である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図（その２）である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図（その３）である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を示す図である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の処理シーケンスを説明するフローチャートである。 本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成を示す図である。 代表点マッチングの相関演算結果を利用した代表点近傍領域（３×３）のダイナミックレンジ（ＤＲ）算出処理について説明する図である。 特徴量抽出部の構成例を示す図である。 可変閾値生成部において実行する可変閾値生成処理手順について説明するフロー図である。 閾値生成部における空間内変動の特徴量としての代表点近傍のダイナミックレンジデータに基づく閾値生成処理について説明する図である。 閾値生成部の入出力関係をプロットしたグラフを示す図である。 フレーム差絶対値と、仮評価値との対応を説明する図である。 評価値調整部における重み決定部および乗算部における処理（処理例１）を説明する図である。 フレーム差絶対値と、仮評価値と、重み情報に基づいて調整された評価値としての最終評価値の対応を説明する図である。 評価値調整部における重み決定部および乗算部における処理（処理例２）を説明する図である。 評価値テーブル形成部の処理シーケンスを説明するフローチャートを示す図である。 評価値テーブル生成処理対象となる動画像データの例を示す図である。 重み情報を適用して生成した評価値テーブルと適用しないで生成した評価値テーブルの例を示す図である。 水平が２Ｈ、垂直が２Ｖの大きさを持つ評価値テーブルの概念図（平面図）を示す図である。 動きベクトル検出装置における動きベクトル検出部の処理概要を説明する図である。

符号の説明

１０ 前フレーム
１１ 検査ブロックＢｙ
１２ サーチエリア
２０ 現フレーム
２１ 基準ブロックＢｘ
７０ 前フレーム
７１ 代表点Ｒｙ
８０ 現フレーム
８１ サーチエリア
９０ 評価値テーブル
９１ 前フレーム画素
９５，９６，９７ 現フレーム画素
１０１ 評価値テーブル形成部
１０２ 候補ベクトル抽出部
１０３ 動きベクトル検出部
１０４ 制御部（コントローラ）
２００ 評価値テーブル形成部
２１０ 相関演算部
２１１ 代表点メモリ
２１２ 減算回路
２１３ 絶対値算出部
２２０ 可変閾値生成部
２２１ 特徴量抽出部
２２２ 特徴量メモリ
２２３ 閾値生成部
２３０ 相関判定部
２３１ 比較部
２４０ 評価値調整部
２４１ 重み決定部
２４２ 乗算部
２４３，２４４ 重み情報算出部
２５０ 評価値テーブル算出部
２５１ 評価値積算部
２５２ 評価値テーブルメモリ
３０１ 最大値検出部
３０２ レジスタ
３０３ 最小値検出部
３０４ レジスタ
３０５ 減算回路
３０６ ラッチ
３５１ ビット分解部
３５２〜３５５ ＯＲ回路
３５６ ビット合成部
４００ 静止背景
４０１ 移動物体（Ａ）
４０２ 移動物体（Ｂ）
４１１〜４１３ ピーク（極値）
４２１〜４２３ ピーク（極値）
５００ 評価値テーブル
５０１ 注目点

Claims (23)

1. 動画像データから動きベクトルを検出する動きベクトル検出装置であり、
   時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
   前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出部とを有し、
   前記評価値テーブル形成部は、
   時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算部と、
   注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成部と、
   前記相関演算部の算出した相関情報と、前記可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく仮評価値を算出する相関判定部と、
   画像特性に基づく重み情報を算出し、前記相関判定部の算出した仮評価値および前記重み情報に基づく演算を実行して最終評価値を算出する評価値調整部と、
   前記評価値調整部の出力する最終評価値を積算し、評価値テーブルを生成する評価値テーブル算出部と、
   を有することを特徴とする動きベクトル検出装置。
2. 前記評価値調整部は、
   画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、前記乗算部における乗算結果を最終評価値として前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記評価値調整部は、
   画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、
   前記重み決定部は、
   前記相関演算部から入力するフレーム差分絶対値｜ΔＦ｜と、前記可変閾値生成部から入力する閾値ＴＨを適用して、下記式に従って重み情報Ｗ_１を算出する処理を実行し、
   Ｗ_１＝ＴＨ−｜ΔＦ｜＋１
   前記乗算部は、
   前記相関判定部の算出した仮評価値と前記重み情報Ｗ_１との乗算を実行し、乗算結果を最終評価値として前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
4. 前記評価値調整部は、
   画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、
   前記重み決定部は、
   前記可変閾値生成部から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って重み情報Ｗ_２を算出する処理を実行し、
   Ｗ_２＝ＤＲ
   前記乗算部は、
   前記相関判定部の算出した仮評価値と前記重み情報Ｗ_２との乗算を実行し、乗算結果を最終評価値として前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
5. 前記評価値調整部は、
   画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、
   前記重み決定部は、
   前記可変閾値生成部から入力する画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って重み情報Ｗ_２'を算出する処理を実行し、
   Ｗ_２'＝ＤＲ／ｎ
   ただし、ｎは２以上の自然数
   前記乗算部は、
   前記相関判定部の算出した仮評価値と前記重み情報Ｗ_２'との乗算を実行し、乗算結果を最終評価値として前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
6. 前記評価値調整部は、
   画像特性に基づく重み情報を算出する重み決定部と、前記仮評価値と前記重み情報との乗算を実行する乗算部を有し、
   前記重み決定部は、
   前記相関演算部から入力するフレーム差分絶対値｜ΔＦ｜と、前記可変閾値生成部から入力する閾値ＴＨと、画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って、複数の重み情報Ｗ_１，Ｗ_２に基づく重み情報Ｗ_３を算出する処理を実行し、
   Ｗ_１＝ＴＨ−｜ΔＦ｜＋１
   Ｗ_２＝ＤＲ
   Ｗ_３＝αＷ_１＋βＷ_２
   α，β：係数
   前記乗算部は、
   前記相関判定部の算出した仮評価値と前記重み情報Ｗ_３との乗算を実行し、乗算結果を最終評価値として、前記評価値テーブル算出部に出力する処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
7. 前記相関判定部は、
   前記相関演算部の算出した相関情報と、前記可変閾値生成部の生成した閾値との比較処理を実行し、該比較処理結果に基づく１ビットの仮評価値を算出し、
   前記評価値調整部は、
   画像特性に基づく重み情報を算出し、前記相関判定部の算出した１ビット仮評価値と前記重み情報に基づく演算を実行して複数ビットの最終評価値を算出する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
8. 前記動きベクトル検出装置は、さらに、
   前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出部を有し、
   前記動きベクトル検出部は、
   動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
9. 前記可変閾値生成部は、
   注目画素を含む近傍領域画素のダイナミックレンジを算出し、該ダイナミックレンジを特徴量として、該特徴量に基づく可変閾値を設定する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
10. 前記可変閾値生成部は、
    前記相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出する構成であることを特徴とする請求項９に記載の動きベクトル検出装置。
11. 前記可変閾値生成部は、
    前記相関演算部の算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するとともに、該ダイナミックレンジ構成ビットのビット情報圧縮処理により閾値を算出する構成であることを特徴とする請求項９に記載の動きベクトル検出装置。
12. 動画像データから動きベクトルを検出する動きベクトル検出方法であり、
    時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
    前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
    前記評価値テーブル形成ステップは、
    時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算ステップと、
    注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成ステップと、
    前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく仮評価値を算出する相関判定ステップと、
    画像特性に基づく重み情報を算出し、前記相関判定ステップにおいて算出した仮評価値および前記重み情報に基づく演算を実行して最終評価値を算出する評価値調整ステップと、
    前記評価値調整ステップにおいて算出する最終評価値を積算し、評価値テーブルを生成する評価値テーブル算出ステップと、
    を有することを特徴とする動きベクトル検出方法。
13. 前記評価値調整ステップは、
    画像特性に基づく重み情報を算出する重み決定ステップと、
    前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、
    前記乗算ステップにおける乗算結果を最終評価値として設定する処理を実行することを特徴とする請求項１２に記載の動きベクトル検出方法。
14. 前記評価値調整ステップは、
    画像特性に基づく重み情報を算出する重み決定ステップと、前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、
    前記重み決定ステップは、
    前記相関演算ステップにおいて算出されるフレーム差分絶対値｜ΔＦ｜と、前記可変閾値生成ステップにおいて算出される閾値ＴＨを適用して、下記式に従って重み情報Ｗ_１を算出する処理を実行し、
    Ｗ_１＝ＴＨ−｜ΔＦ｜＋１
    前記乗算ステップは、
    前記相関判定ステップにおいて算出した仮評価値と前記重み情報Ｗ_１との乗算を実行し、乗算結果を最終評価値として算出する処理を実行することを特徴とする請求項１２に記載の動きベクトル検出方法。
15. 前記評価値調整ステップは、
    画像特性に基づく重み情報を算出する重み決定ステップと、前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、
    前記重み決定ステップは、
    前記可変閾値生成ステップにおいて算出される画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って重み情報Ｗ_２を算出する処理を実行し、
    Ｗ_２＝ＤＲ
    前記乗算ステップは、
    前記相関判定ステップにおいて算出される仮評価値と前記重み情報Ｗ_２との乗算を実行し、乗算結果を最終評価値として算出する処理を実行することを特徴とする請求項１２に記載の動きベクトル検出方法。
16. 前記評価値調整ステップは、
    画像特性に基づく重み情報を算出する重み決定ステップと、前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、
    前記重み決定ステップは、
    前記可変閾値生成ステップにおいて算出される画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って重み情報Ｗ_２'を算出する処理を実行し、
    Ｗ_２'＝ＤＲ／ｎ
    ただし、ｎは２以上の自然数
    前記乗算ステップは、
    前記相関判定ステップにおいて算出される仮評価値と前記重み情報Ｗ_２'との乗算を実行し、乗算結果を最終評価値として算出する処理を実行することを特徴とする請求項１２に記載の動きベクトル検出方法。
17. 前記評価値調整ステップは、
    画像特性に基づく重み情報を算出する重み決定ステップと、前記仮評価値と前記重み情報との乗算を実行する乗算ステップを有し、
    前記重み決定ステップは、
    前記相関演算ステップにおいて算出されるフレーム差分絶対値｜ΔＦ｜と、前記可変閾値生成ステップにおいて算出される閾値ＴＨと、画像特徴量としてのダイナミックレンジ（ＤＲ）を適用して、下記式に従って、複数の重み情報Ｗ_１，Ｗ_２に基づく重み情報Ｗ_３を算出する処理を実行し、
    Ｗ_１＝ＴＨ−｜ΔＦ｜＋１
    Ｗ_２＝ＤＲ
    Ｗ_３＝αＷ_１＋βＷ_２
    α，β：係数
    前記乗算ステップは、
    前記相関判定ステップにおいて算出される仮評価値と前記重み情報Ｗ_３との乗算を実行し、乗算結果を最終評価値として算出する処理を実行することを特徴とする請求項１２に記載の動きベクトル検出方法。
18. 前記相関判定ステップは、
    前記相関演算ステップにおいて算出される相関情報と、前記可変閾値生成ステップにおいて算出される閾値との比較処理を実行し、該比較処理結果に基づく１ビットの仮評価値を算出し、
    前記評価値調整ステップは、
    画像特性に基づく重み情報を算出し、前記相関判定ステップにおいて算出される１ビット仮評価値と前記重み情報に基づく演算を実行して複数ビットの最終評価値を算出することを特徴とする請求項１２に記載の動きベクトル検出方法。
19. 前記動きベクトル検出方法は、さらに、
    前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップを有し、
    前記動きベクトル検出ステップは、
    動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行することを特徴とする請求項１２に記載の動きベクトル検出方法。
20. 前記可変閾値生成ステップは、
    注目画素を含む近傍領域画素のダイナミックレンジを算出し、該ダイナミックレンジを特徴量として、該特徴量に基づく可変閾値を設定するステップであることを特徴とする請求項１２に記載の動きベクトル検出方法。
21. 前記可変閾値生成ステップは、
    前記相関演算ステップにおいて算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出することを特徴とする請求項２０に記載の動きベクトル検出方法。
22. 前記可変閾値生成ステップは、
    前記相関演算ステップにおいて算出するフレーム間差分情報を入力し、該フレーム間差分情報に基づいて、前記注目画素を含む近傍領域画素のダイナミックレンジを算出するとともに、該ダイナミックレンジ構成ビットのビット情報圧縮処理により閾値を算出することを特徴とする請求項２０に記載の動きベクトル検出方法。
23. 動画像データから動きベクトルを検出する動きベクトル検出処理を実行するコンピュータ・プログラムであり、
    時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
    前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
    前記評価値テーブル形成ステップは、
    時間軸上における異なるフレーム間の相関情報の算出処理を実行する相関演算ステップと、
    注目画素を含む近傍領域画素の特徴量に基づく可変閾値を生成する可変閾値生成ステップと、
    前記相関演算ステップにおいて算出した相関情報と、前記可変閾値生成ステップにおいて生成した閾値との比較処理を実行し、該比較処理結果に基づく仮評価値を算出する相関判定ステップと、
    画像特性に基づく重み情報を算出し、前記相関判定ステップにおいて算出した仮評価値および前記重み情報に基づく演算を実行して最終評価値を算出する評価値調整ステップと、
    前記評価値調整ステップにおいて算出する最終評価値を積算し、評価値テーブルを生成する評価値テーブル算出ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images