JP4622264B2 - 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。さらに詳細には、動画像データからの動きベクトル検出処理を実行する動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。

近年の情報処理装置、通信端末の高機能化、高速通信インフラの整備、さらに、ＤＶＤ、Ｂｌｕ−ｒａｙディスクなどの高密度記録媒体の普及などに伴い、ネットワークを介した動画像データの配信、あるいは高密度記録媒体を利用した動画像データの記憶、再生などが盛んに行なわれるようになってきた。このような状況に伴って、動画像データに対するデータ処理、例えば符号化処理などにおける効率性や高速性の向上が求められている。

動画像データの高能率符号化における動き補償型画像符号化、交通監視システムあるいは自律走行車両の視覚センサにおける動物体の検出処理、速度検出処理などにおいては、画像データ中に含まれる各物体の動きの方向および大きさ（速度）を検出する処理、すなわち、動きベクトルの検出処理が必要となる。

例えば、動き補償型画像符号化処理の一例として、動画の高能率符号化の国際的標準方式であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が提案されているが、このＭＰＥＧ方式は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と動き補償予測符号化とを組み合わせた符号化を行なう方式である。動き補償予測符号化においては、動画像データを構成する現フレームと、１つ前の前フレームの連続フレームにおける画像信号レベルの相関を検出し、検出した相関に基づいて動きベクトルを求め、検出した動きベクトルに基づく動き画像の補正処理を行うことで、効率的な符号化を達成している。

動きベクトルの検出方法の一つとして、ブロックマッチング法が知られている。図１を参照して、ブロックマッチング法の概要を説明する。動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間（ｔ）の現フレーム［Ｆ_ｔ］２０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］１０を抽出する。フレーム画像の１画面を複数の画素で構成される小さな領域（以下、ブロックと称する）ｍ画素×ｎラインに分割する。

現フレーム［Ｆ_ｔ］２０を参照フレームとし、参照フレームの検査ブロックＢｙ２１を、所定のサーチエリア２２内で移動し、前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１と最も画素値差分の少ない、すなわち画素値が最も合致する（最も相関の大きな）検査ブロックを検出する。前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１が、この現フレーム［Ｆ_ｔ］２０から検出した相関の高い検査ブロックの位置に動いたと推定する。この推定された動きを示すベクトルに基づいて、各画素の動きベトクルを求める。このように、ブロックマッチング法は、所定のブロック（ｍ×ｎ）単位で、フレーム間の相関判定（マッチング判定）処理を行い、動きベクトルを求める手法である。

ブロックマッチング法において、動きベクトルはブロック毎に求められる。各ブロックの相関、すなわち合致の程度を表す評価値としては、例えば、基準ブロックＢｘ内の複数の画素と、検査ブロックＢｙ内の複数の画素との間で空間的に同一位置の画素同士の値を減算してフレーム差を求め、算出したフレーム差の絶対値を積算することで算出されるフレーム差絶対値和が適用される。あるいは、フレーム差の二乗和等を使用することも可能である。

しかし、上述のブロックマッチング法は、サーチエリア内の全てのデータの比較を行う全探索であるため、検出に要する比較の回数が非常に多く、動き検出に時間がかかる欠点があった。

また、ブロック内に動き部分と静止部分とが含まれるような場合、ブロックを単位として検出された動きは、正確にはブロック内の個々の画素の動きに対応するとは言えない。このような問題は、ブロックサイズの設定により調整可能であるが、例えば、ブロックを大きくすると、演算量の増大に加えて、ブロック内の複数動きの問題が発生し易くなる。逆に、ブロック内に複数の動きが含まれないように、ブロックのサイズを小さくした場合には、マッチングの判断の領域が小さくなるので、動き検出の精度が低下する問題が生じる。すなわち、ブロックマッチングを行う際、基準ブロックと似た検査ブロック、すなわち基準ブロックと相関の高い検査ブロックが多数出現する可能性が高くなる。これらは、動きに起因しないものが含まれるからであり、動き検出の精度が低下する。例えば、文字テロップが水平または垂直方向に動く時には、反復パターンの影響が現れやすい。漢字の文字パターンの場合では、同じ文字でも、小さな部分に分割すると、同一のパターンとなることが多い。従って、ブロック内に複数の動きが混在する場合には、正確な動きを求めることが難しいという問題があった。

本特許出願に係る出願人は、例えば特許文献１において、演算量を増大させることなく、１画素毎の動きベクトルを検出でき、且つ、誤検出を防止した動きベクトル検出方法および検出装置を提案している。

特許文献１において開示している動きベクトル検出処理のポイントは、画素またはブロック毎に評価値を算出して動きベクトルを決定するのではなく、第１ステップの処理として、フレームの一方に複数画素からなる複数ブロックを設定して、各ブロックの代表点を設定し、各代表点と他方のフレームに設定したサーチエリアの各画素との相関を調べ、相関情報に基づく評価値を算出して、評価値に基づく相関情報としての評価値テーブルを形成し、その評価値テーブルから、複数の候補ベクトルを抽出する。次に、第２ステップの処理として、抽出した候補ベクトルから、１画素毎に最良と思われる候補ベクトルを選択して対応付けて、各画素毎の動きベクトルとして決定する。このように、
評価値テーブルの生成処理、
評価値テーブルに基づく候補ベクトルの選択処理、
各画素対応の動きベクトルとして、複数の候補ベクトルから最適なものを対応付ける処理
以上の処理によって、各画素毎の動きベクトルを求める方式である。この方式を、以下、候補ベクトル方式と称する。

候補ベクトル方式による動きベクトル検出処理の利点は、評価値テーブルに基づいて、限られた数の候補ベクトルを抽出しておくことで、演算量の軽減が図れること。また、動きベクトルの誤検出が起りやすい被写体の境界部分においても、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定することが可能となることなどがある。従来は、各画素の動きベクトルをフレーム間の画素の差分などを評価値として算出し、評価値をフレーム全画素について求める全探索処理を実行する方式がとられていたが、候補ベクトル方式では、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定する処理が可能であるので、全探索処理と比較して、同じ評価値が発生する確率が減り、誤検出が防止される。

しかし、評価値テーブルを形成する際の処理は、各ブロックの代表点を設定し、各代表点と他方のフレームに設定したサーチエリアの各画素との相関を調べ、相関情報に基づく評価値を算出して、評価値を積算する処理である。

例えば、代表点画素Ｘとサーチエリア内に含まれる入力画素Ｙとの差分絶対値がある閾値ＴＨ以下であれば積算評価値として設定する。すなわち、
｜Ｘ-Ｙ｜＜ＴＨ
を満足する場合、評価値テーブルの対応位置に＋１カウントし、画面内の全ての代表点の演算結果を評価値テーブルに足し込むことで評価値テーブルを生成する。

評価値テーブルの生成において、代表点の輝度レベルと、サーチエリア内における入力画素の輝度レベルのみの相関判定を行っているので、図２に示す様な現フレーム３１と前フレーム３０とを用いて、動きベクトル検出のための評価値テーブルを生成する場合、前フレーム３０内の代表点３８に対応する相関の高い画素、すなわち輝度レベルのほぼ等しい画素を現フレーム３１に設定されたサーチエリア３２内において探索して、評価値テーブルの積算カウントとする。

図２の右側に示すグラフは、それぞれ前フレーム３０の代表点３８を通るＸ方向の１つのラインの画素レベルと、現フレームのサーチエリア３２内のＸ方向の１つのラインの画素レベルを示している。

前フレーム３０の代表点３８の画素レベル＝１００と相関の高い、すなわち画素レベルがより近い画素をサーチエリア３８内から探索すると、３つの画素３５，３６，３７が検出される。これらの３つの画素は、いずれも上記条件
｜Ｘ-Ｙ｜＜ＴＨ
を満足するので、評価値テーブルに対する積算ポイントとして設定される。しかし、実際は、３つの画素３５，３６，３７中、正しい動きベクトルに対応するのは、画素３６のみであり、他の２つの画素３５，３７は、誤った積算ポイントとして評価値テーブルに加算されることになる。

このように、従来の評価値テーブルの生成においては、誤った情報に基づく積算が行われる可能性があり、評価値テーブルのピークとして示される候補ベクトルが全て正しいと判断出来ない。従来の評価値テーブルの生成プロセスにおける問題点をまとめると以下のようにまとめることができる。
（ａ）検出した代表点との相関のみに基づいて＋１カウントする方式では、評価値テーブルの頻度が画像内の物体の面積に依存する。従って評価値テーブルから画面内に存在する複数の物体の動きベクトルを検出するのが困難になる。
（ｂ）評価値テーブルのピークの大きさが物体の面積に依存することになるため、物体の面積は小さいが画像内では目立つ物体、例えばテロップなどの候補ベクトルのピークが小さくなり、その候補ベクトルを読み出すのが困難になる。
特開２００１−６１１５２号公報

本発明は、上述の問題点に鑑みてなされたものであり、代表点マッチング処理に基づく評価値テーブルの生成において、代表点のみならず代表点近傍の画素レベルとしての空間波形を考慮した相関判定処理を行なうことで、より精度の高い評価値テーブルの生成を可能とし、動きベクトル検出をより正確に実行することを可能とした動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データから動きベクトルを検出する動きベクトル検出装置であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル決定部とを有し、
前記評価値テーブル形成部は、
時間軸上における異なるフレーム間の相関情報の算出処理を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算部と、
注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算部と、
前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算部と、
前記画素相関演算部の演算結果に基づく画素相関情報、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成する重み算出処理部と、
前記重み算出処理部の算出した信頼度指数αに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出部と、
を有することを特徴とする動きベクトル検出装置にある。

さらに、本発明の動きベクトル検出装置の一実施態様において、フラグデータ演算部は、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを、画素値差分データより少ないビット数として算出する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出処理部は、前記画素相関演算部の演算結果に基づく画素相関情報から算出する重み係数として、代表点画素の画素値：Ｘと相関判定対象画素の画素値Ｙ、予め定めた閾値：ＴＨ１とに基づいて、下式、
Ｗ＝（ＴＨ１−｜Ｘ−Ｙ｜）
によって算出する値Ｗを重み係数Ｗとする構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出処理部は、前記画素相関演算部の演算結果に基づく画素相関情報と、前記フラグ相関演算部の演算結果に基づくフラグ相関情報から算出する重み係数として、代表点画素の画素値：Ｘと代表点画素の２つの隣接画素の画素値差分データに基づくフラグデータ：Ｘ_ｆ０，Ｘ_ｆ１とし、相関判定対象画素の画素値Ｙ、と、該画素の２つの隣接画素の画素値差分データに基づくフラグデータ：Ｙ_ｆ０，Ｙ_ｆ１としたとき、予め定めた閾値：ＴＨ１、ＴＨ２とに基づいて、下式、
Ｗ＝（ＴＨ１-｜Ｘ-Ｙ｜）＋（ＴＨ２-｜Ｘ_ｆ０-Ｙ_ｆ０｜）＋（ＴＨ２-｜Ｘ_ｆ１-Ｙ_ｆ１｜）
によって算出する値Ｗを重み係数Ｗとして算出する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出処理部は、前記フラグデータ演算部の算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
α＝Ａ×Ｗ
によって、信頼度指数αを算出する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出処理部は、前記画素相関演算部の算出するフレーム差分絶対値に基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
α＝Ａ×Ｗ
によって、信頼度指数αを算出する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル検出装置は、さらに、前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出部を有し、前記動きベクトル決定部は、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する構成であることを特徴とする。

さらに、本発明の第２の側面は、
動画像データから動きベクトルを検出する動きベクトル検出方法であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出処理を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算ステップと、
前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算ステップと、
前記画素相関演算ステップにおける演算結果に基づく画素相関情報、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成する重み算出処理ステップと、
前記重み算出処理ステップの算出した信頼度指数αに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
を有することを特徴とする動きベクトル検出方法にある。

さらに、本発明の動きベクトル検出方法の一実施態様において、フラグデータ演算ステップは、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを、画素値差分データより少ないビット数として算出する処理を実行するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記重み算出処理ステップは、前記画素相関演算ステップにおける演算結果に基づく画素相関情報から算出する重み係数として、代表点画素の画素値：Ｘと相関判定対象画素の画素値Ｙ、予め定めた閾値：ＴＨ１とに基づいて、下式、
Ｗ＝（ＴＨ１−｜Ｘ−Ｙ｜）
によって算出する値Ｗを重み係数Ｗとして設定することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記重み算出処理ステップは、前記画素相関演算ステップにおける演算結果に基づく画素相関情報と、前記フラグ相関演算ステップにおける演算結果に基づくフラグ相関情報から算出する重み係数として、代表点画素の画素値：Ｘと代表点画素の２つの隣接画素の画素値差分データに基づくフラグデータ：Ｘ_ｆ０，Ｘ_ｆ１とし、相関判定対象画素の画素値Ｙ、と、該画素の２つの隣接画素の画素値差分データに基づくフラグデータ：Ｙ_ｆ０，Ｙ_ｆ１としたとき、予め定めた閾値：ＴＨ１、ＴＨ２とに基づいて、下式、
Ｗ＝（ＴＨ１-｜Ｘ-Ｙ｜）＋（ＴＨ２-｜Ｘ_ｆ０-Ｙ_ｆ０｜）＋（ＴＨ２-｜Ｘ_ｆ１-Ｙ_ｆ１｜）
によって算出する値Ｗを重み係数Ｗとして設定することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記重み算出処理ステップは、前記フラグデータ演算ステップにおいて算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、
該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
α＝Ａ×Ｗ
によって、信頼度指数αを算出する処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記重み算出処理ステップは、前記画素相関演算ステップにおいて算出するフレーム差分絶対値に基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
α＝Ａ×Ｗ
によって、信頼度指数αを算出する処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル検出方法は、さらに、前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップを有し、前記動きベクトル検出ステップは、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行するステップであることを特徴とする。

さらに、本発明の第３の側面は、
動画像データから動きベクトルを検出する処理をコンピュータで実行させるコンピュータ・プログラムであり、
時間軸上における異なるフレーム間の相関情報の算出処理を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算ステップと、
前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算ステップと、
前記画素相関演算ステップにおける演算結果に基づく画素相関情報、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成する重み算出処理ステップと、
前記重み算出処理ステップの算出した信頼度指数αに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップと
を前記コンピュータで実行させるコンピュータ・プログラム。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、代表点マッチング処理に基づく評価値テーブルの生成において、代表点のみならず代表点近傍の画素レベルとしての空間波形を考慮した相関判定処理を行なう構成であるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

本発明の構成によれば、代表点画素の相関情報と、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータに基づくフラグ相関情報に基づいて、重み係数Ｗを算出し、算出した重み係数Ｗと、画像データの複雑性を示す指標値としてのアクティビティＡとに基づく算出値としての信頼度指数αを生成して、信頼度指数αに対応する評価値を積算した評価値テーブルを生成する構成とした。本構成により、代表点と代表点近傍の画素値の差分を考慮して重みが設定された評価値に基づく評価値テーブルを生成することが可能となり、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

さらに、本発明の構成によれば、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを、画素値差分データより少ないビット数として算出する処理を実行する構成としたのでフラグ相関算出処理の演算を少ないビット数データの処理として実行することが可能となり、処理速度を落とすことなく精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

以下、図面を参照しながら本発明の動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムの詳細について説明する。なお、説明は、以下の項目順に行なう。
１．代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要
２．動きベクトル検出装置全体構成および動きベクトル検出処理手順
３．近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳細
４．評価値テーブルの具体例

［１．代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要］
以下、説明する動きベクトル検出処理においては、代表点マッチング法を適用する。代表点マッチング法については、本特許出願人が先に出願し、特許取得済みである特許２０８３９９９号公報に開示されている。すなわち、以下、説明する動きベクトル検出処理は、前述の背景技術の欄で説明した候補ベクトル方式（特開２００１−６１１５２号公報に開示）を適用するとともに、代表点マッチング法を利用した処理例である。

なお、以下の説明においては、動画像データを構成する１フレームを１画面として、各画面（フレーム）間の相互検証処理によってフレームにおける動きベクトル検出処理を行う例について説明するが、本発明は、このような処理例に限らず、例えば、１フレームを細分化とした１フィールドを１画面として扱い、１フィールド単位の動きベクトル検出処理を行なう場合などにも適用可能である。

また、以下に説明する処理例は、主にテレビジョン信号に基づく動画像データに対する処理例として説明するが、本発明は、テレビジョン信号以外の様々な動画像データに対しても適用可能である。また、映像信号を処理対象とする場合においてもインターレース信号およびノンインターレース信号の何れでもよい。

図３〜図５を参照して、本発明における動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトル設定処理の概要について説明する。

動画像を構成する時間的に連続するフレーム画像、例えば図３に示す時間（ｔ）の現フレーム［Ｆ_ｔ］８０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］７０を抽出する。

例えば、現フレーム［Ｆ_ｔ］８０を参照フレームとし、前フレーム［Ｆ_ｔ−１］７０を、ｍ画素×ｎラインの複数のブロックに分割し、各ブロックを代表する代表点Ｒｙを設定する。各ブロックの代表点は、例えば、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。

代表点マッチング法では、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点Ｒｙ７１に対応させて、現フレーム［Ｆ_ｔ］８０に所定のサーチエリア８１を設定し、設定したサーチエリア８１内に含まれる各画素の画素値と代表点Ｒｙ７１の画素値との比較を行なう。サーチエリア８１は例えば、ｐ画素×ｑラインの画素領域として設定される。

すなわち、上記ａ〜ｃのいずれかの代表点画素値と、サーチエリア８１内の各画素の画素値を比較検証して、評価値（例えば、フレーム差や判定結果）を算出する。評価値は、サーチエリア８１の各偏移毎（各画素位置毎）に算出される。前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点各々に対応して、現フレーム［Ｆ_ｔ］８０にサーチエリアが設定され、代表点画素値と、対応するサーチエリア内の各画素の画素値を比較に基づく評価値を取得し、１画面内の全ての代表点について積算する。従って、サーチエリアと同一の大きさの評価値テーブルが形成される。

なお、各代表点に対応するサーチエリアは、図４（Ａ）に示すように隣接するサーチエリアと一部が重なり合うように設定しても良い。図４（Ａ）に示す例では、サーチエリアをｐ×ｑ（画素またはライン）の領域に設定した例であり、例えば、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ａに対応するサーチエリア８１ａと、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ｂに対応するサーチエリア８１ｂとが重なりを持つ領域として設定される。

このように、サーチエリアは、各代表点に対応付けられて設定され、各代表点と、その代表点に対応して設定されたサーチエリア内の画素との比較が実行されて、比較値に基づいて、例えば相関の度合いが高いほど（画素値の一致度合いが高いほど）高い評価値が設定され、各サーチエリアの構成画素に対応する評価値が設定される。

各サーチエリアにおける評価値は、図４（Ｂ）に示すように積算され、その結果として、図４（Ｃ）に示すような評価値テーブル９０が生成される。評価値テーブルは、前フレーム［Ｆ_ｔ−１］７０に設定した例えばｎ個のブロックに設定された各ブロックの代表点Ｒｙ１〜ｎと、参照フレームである現フレーム［Ｆ_ｔ］８０に設定した各代表点Ｒｙ１〜ｎに対応するサーチエリア内の各画素との比較に基づく評価値、例えば差分絶対値の積算値として算出され、サーチエリアと同一の大きさの評価値テーブルとして形成される。

評価値テーブル９０においては、サーチエリアの各偏移位置（ｉ，ｊ）における画素値と代表点との相関が高い場合に、ピーク（極値）が発生する。評価値テーブルに出現するピークは、動画像データの画面の表示物体の移動に対応する。

例えば、画面（フレーム）全体が同一の動きをした場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その動き方向、距離を持つベクトルの終点に対応する位置に１つのピークが出現する。また、画面（フレーム）内に２つの異なる動きをした物体があった場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その異なる動き方向、距離を持つ２つのベクトルの終点に対応する２つの位置に２つのピークが出現する。なお、静止部分がある場合は、静止部分に対応するピークも出現する。

このような評価値テーブルに出現するピークに基づいて、前フレーム［Ｆ_ｔ−１］７０と、参照フレームである現フレーム［Ｆ_ｔ］８０とにおける動きベクトルの候補（候補ベクトル）を求める。

評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出した後、フレームの各画素について、抽出した候補ベクトルから最も適応する候補ベクトルをそれぞれ選択して、各画素に対応する動きベクトルとして設定する。

抽出候補ベクトルに基づいて実行する各画素に対応する動きベクトルの設定処理について図５を参照して説明する。

図５（ａ）において、中央の画素９１が前フレーム［Ｆ_ｔ−１］の１つの画素を示している。この画素は例えば輝度値（α）を有している。また、前述の評価値テーブルに出現したピークに基づいて、複数の候補ベクトルが抽出済みであり、これらの候補ベクトルを図に示す候補ベクトルＡ，Ｂ，Ｃであるとする。前フレーム［Ｆ_ｔ−１］の１つの画素９１は、これらの候補ベクトルのいずれかに従って移動して、現フレーム［Ｆ_ｔ］の画素に対応する位置に表示されると判定される。

図５（ａ）において、画素ａ９５、画素ｂ９６、画素ｃ９７は、前フレーム［Ｆ_ｔ−１］の１つの画素９１から候補ベクトルＡ，Ｂ，Ｃに基づいて移動先として推定される各画素位置の現フレーム［Ｆ_ｔ］の画素を示している。これらの３画素を含むブロックの画素値と、画素９１を含むブロックの画素値との相関がブロックマッチング処理によって判定され、最も高い対応にある組が選択され、その選択した組に設定された候補ベクトルを画素９１の動きベクトルとする。

ブロックマッチング処理を適用する理由は、１つの画素のみの対応を検査すると以下の問題点が発生するからである。
（１）着目するフレームのある画素と参照フレーム内でｎ個の候補ベクトルに関して、動きベクトル先の画素との相関性が同じ、もしくは似ている画素が複数存在し、どの動きベクトルが正しい動きベクトルか、相関性の高さを表す画素差分絶対値（以後ＭＣ残差と呼ぶ）だけでは判断することが困難である。
（２）正しい動きベクトルであれば、その動きベクトル先の画素とのＭＣ残差が最も小さいと考えられるが、実際には画像データにはノイズなどの影響により、正しい動きベクトル先の画素とのＭＣ残差が候補ベクトルの中で最小とは限らない。

これらの問題点があるために、１画素だけのＭＣ残差だけでは判断できないので、ブロックサイズの複数の画素を用いて、着目する画素を中心としたブロック内の画素と候補ベクトル先のブロック内の画素の相関を検査する。

具体的なブロックマッチング処理について、図５（ｂ）を参照して説明する。図５（ｂ）に示す様に、候補ベクトルによって指示されるブロックに含まれる複数画素の相関の指標値として、差分絶対値総和（ＳＡＤ）を下式に従って算出する。

ここでＦ_ｔ−１（ｘ、ｙ）は着目するフレームの輝度レベル、Ｆ_ｔ（ｘ＋ｖ_ｘ、ｙ＋ｖ_ｙ）は参照先のフレームにおける動きベクトル先の輝度レベル、Ｍ×Ｎは評価に用いるブロックサイズである。

上記式によって算出される差分絶対値総和（ＳＡＤ）が最小となる候補ベクトル（ｖ_ｘ，ｖ_ｙ）を着目画素の動きベクトルとする方法などが適用される。

なお、上述したように、代表点マッチングは、各ブロックを代表する代表点を設定し、設定した代表点のみについての評価値算出を行なって候補ベクトルを設定することが可能であり、限られた数の代表点のみの評価値算出を行なうことで、評価値算出に要する演算量を減少させることができ、高速処理が可能となる。

［２．動きベクトル検出装置全体構成および動きベクトル検出処理手順］
動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を図６に示し、動きベクトル検出処理の処理シーケンスを図７のフローチャートに示す。

動きベクトル検出装置は、図６に示すように、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル決定部１０３、制御部（コントローラ）１０４を有する。評価値テーブル形成部１０１は、動きベクトル検出処理対象となる画像データを入力端子を介して入力し、評価値テーブルを生成する。入力画像は、例えば、ラスタスキャンにより得られる画像データである。画像データは、例えば、ディジタルカラー映像信号のコンポーネント信号中の輝度信号を含む。

入力画像データは、評価値テーブル形成部１０１に供給され、前述した代表点マッチング法をベースとして、サーチエリアと同一の大きさの評価値テーブルを形成する。図７のフローにおけるステップＳ１０１の処理である。

候補ベクトル抽出部１０２は、評価値テーブル形成部１０１において生成した評価値テーブルから、１画面内の候補ベクトルとして、複数の動きベクトルを抽出する。すなわち、前述したように、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。図７のフローにおけるステップＳ１０２の処理である。

動きベクトル決定部１０３では、候補ベクトル抽出部１０２において抽出した複数の候補ベクトルを対象として、全フレームの各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素間の相関をブロックマッチング等により判定し、最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。図７のフローにおけるステップＳ１０３の処理である。この処理は、先に図５を参照して説明した処理である。

動きベクトル決定部１０３では、１つの画面（フレーム）に含まれるすべての画素について、候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きベクトルを決定し、決定した動きベクトルを出力する。具体的な一例として、ある着目画素に対して、例えば３ライン×３画素の合計９画素で構成される矩形ブロックを用いて、ブロックマッチング処理により最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その着目画素の動きベクトルとして決定する。

制御部１０４は、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル決定部１０３における処理タイミングの制御、中間データのメモリに対する格納、出力処理制御などを行なう。

以上が、代表点マッチングをベースとした動きベクトル検出装置において実行する評価値テーブル生成と、候補ベクトル方式を適用した動きベクトル検出処理の概要である。

［３．近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳細］
次に、本発明の動きベクトル検出装置における評価値テーブル形成部の処理の詳細、すなわち、近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳細について説明する。評価値テーブル形成部の詳細構成を図８に示す。

図８に示すように、本発明の動きベクトル検出装置における評価値テーブル形成部２００は、画素相関演算部２１０、フラグデータ演算部２２０、フラグ相関演算部２３０、比較部２４１，２４２、重み算出処理部２５０、演算部２６０、評価値テーブル算出部２７０を有する。

画素相関演算部２１０は、代表点メモリ２１１、画素値の差分データを算出する差分算出部２１２、差分データの絶対値を算出する絶対値算出部２１３を有する。フラグ相関演算部２３０は、フラグデータ演算部２２０の算出したフラグデータを格納するフラグデータ格納メモリ２３１、フラグデータの差分データを算出する差分算出部２３２、差分データの絶対値を算出する絶対値算出部２２３を有する。

重み算出処理部２５０は、アクティビティ算出部２５１、重み算出部２５２、変換テーブル（ＬＵＴ）２５３、デコーダ２５４を有する。評価値テーブル算出部２７０は、演算部２６０から出力する例えば８ビットデータからなる評価値を評価値積算部２７１において積算し、評価値テーブルを生成して評価値テーブルメモリ２７２に格納する。

はじめに、画素相関演算部２１０の処理について説明をする。画素相関演算部２１０は、代表点マッチング処理を実行する。

入力端子を介して画像データが、例えばフレーム単位で、画素相関演算部２１０に入力される。画素相関演算部２１０に入力された画像データは、差分算出部２１２及び代表点メモリ２１１に供給される。

代表点メモリ２１１に記憶される画像データは、例えばフレーム単位で入力される画像データから生成される予め決められた代表点データである。例えば、先に図３、図４を参照して説明した画面を分割して設定されたブロック、例えばｍ×ｎ画素のブロックにおいて代表点が１つ設定される。なお、代表点は、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。

具体的には、例えば、入力フレーム画像から、空間的に均等に間引かれた画素位置の画像データ（画素値データ）が、制御部（コントローラ）１０４（図６参照）からの信号によるタイミング制御によって選択されて、代表点データとして代表点メモリ２１１に記憶される。

代表点メモリ２１１から読み出された前フレームの代表点データと、現フレームの画像データが、差分算出部２１２に供給される。

差分算出部２１１は、前フレームの代表点の画素値と、現フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレーム差（相関演算結果）を算出し、絶対値算出部２１３に出力する。

絶対値算出部２１３では、差分算出部２１１から入力する前フレームの代表点データと、現フレームの画像データに基づくフレーム差（相関演算結果）を入力し、フレーム差絶対値を算出する。

フレーム差絶対値は、比較部２４１に入力され、予め定めた閾値１（ＴＨ１）と比較され、フレーム差絶対値が閾値１（ＴＨ１）より小さい場合は、相関ありと判定し、相関ありを示すビットデータ（例えば［１］）が比較部２４１から出力され、フレーム差絶対値が閾値１（ＴＨ１）以上である場合は、相関なしと判定し、相関なしを示すビットデータ（例えば［０］）が比較部２４１から出力される。

従来は、この比較部２４１からの出力値をそのまま、積算ポイントとして評価値テーブルが生成されていた。すなわち、１画面内の全ての代表点に対する相関演算結果を積算することで、評価値テーブルが生成され、生成した評価値テーブルに出現するピーク（極値）によって、候補ベクトルの抽出が実行されていた。

しかし、先に図２を参照して説明したように、代表点のみの相関判定による評価値テーブル生成を行なうと誤検出された積算ポイントによって正確なベクトルに対応するピークを持つ評価値テーブルが生成されない場合がある。

そこで、本発明では、代表点近傍の画素レベル、すなわち代表点近傍の空間波形を考慮した評価値テーブルの生成を行なう。比較部２４１の代表点の相関情報のみからなる相関有無を示す１ビットデータは、演算部２６０において、重み算出部２５０からの出力に基づいて例えば８ビットデータに変換され、８ビットデータが、評価値積算部２７１に出力されて、８ビットデータに基づく評価値テーブルが生成される。

以下、フラグデータ演算部２２０、フラグ相関演算部２３０、重み算出部２５０の処理の詳細について説明する。

（ａ）フラグデータ演算部
フラグデータ演算部２２０は、画像データを入力し、入力される画素全てに対して、隣接する画素データの関係をフラグデータに変換する処理を実行する。

フラグデータ演算部２２０の詳細構成を図９に示す。フラグデータ演算部２２０の処理について、図１０の隣接画素差分値をフラグに変換する例を参照して説明する。

入力信号としての画素信号ラスタ順に入力され、図９に示すレジスタ２２１と差分算出部２２６に供給される。差分算出部２２６は、レジスタ２２１からの出力画素レベルと、後続する入力画素の画素レベルの差分値を算出する。

レジスタ２２１からの出力は、レジスタ２２２に格納されるとともに、差分算出部２２３に供給され、レジスタ２２２からの先行画素の画素レベルと、レジスタ２２１に格納された後続する画素の画素レベルの差分値が、差分算出部２２３において算出される。

すなわち、図１０（ａ）の例では、着目画素（ｘ，ｙ）３００に対して、前後の隣接画素（ｘ＋１，ｙ）３０２と画素（ｘ−１，ｙ）３０３の画素レベルとの差分値が算出されることになる。

これらの差分データは、例えば画素レベルが０〜２５５の８ビットデータである場合、８ビットの差分データとして各差分算出部２２３，２２６から出力される。

各差分算出部２２３，２２６から出力された８ビットの差分データは、量子化器２２４，２２７に入力され、変換テーブル２２５に基づいて、４ビットのフラグデータに変換されて、フラグデータ格納メモリ２３１に出力される。

変換テーブル２２５は、図１０（ｂ）に示すテーブルによって構成される。各量子化器２２４，２２７は、各差分算出部２２３，２２６から入力する差分データｄの値に基づいて、変換テーブル２２５を参照して所定のフラグデータに変換する。例えば
−２５５＜ｄ≦−３２→フラグ＝０
−３２＜ｄ≦−１６→フラグ＝１
：
１６＜ｄ≦３２→フラグ＝１４
３２＜ｄ≦２５５→フラグ＝１５
であり、各量子化器２２４，２２７は、各差分算出部２２３，２２６から入力する８ビット差分データｄ（０〜２５５）の値に基づいて４ビットのフラグデータ（０〜１５）を生成してフラグデータ格納メモリ２３１に出力する。

画像データの一般的な性質として、隣接する画素データとの相関が高く、隣接画素との差分値の上限を決めて少ないビット数で表現しても、元の画素データに復元した時の画像全体における量子化誤差は小さいと考えられる。従って本実施例の構成では、着目画素データと隣接画素データの各３画素を表現するためのビット数は、８ｂｉｔ×３＝２４ｂｉｔとなるが、差分情報を４ｂｉｔフラグデータに縮減する。

フラグデータに基づく相関判定を実行するフラグ相関演算部２３０では、４ビットに縮減されたデータに基づく相関判定を行なうことが可能となり、演算処理の高速化、ハードウェア規模の削減が実現される。

なお、画素の差分データからフラグデータへの変換処理は、図１０（ｂ）に示す変換テーブルを適用した処理に限らず、例えば隣接する画素データの差分テータ８ｂｉｔを４ｂｉｔに縮退する構成や、上位４ｂｉｔをフラグ情報とする方法を適用してもよい。

上述した隣接画素差分をフラグに変換する方式は、入力画素がラスタ順に入力されるので余分なラインメモリなども必要とせず小さな演算回路で、効率よく空間波形を記述できる手法の一例である。また差分データをフラグに変換するので３画素で構成される大まかな波形情報が失われないなどの利点がある。

（ｂ）フラグ相関演算部
次に、フラグデータ演算部２２０から上述した説明に従って生成するフラグデータを入力するフラグ相関演算部２３０の処理について説明する。

フラグ相関演算部２３０は、フラグデータ演算部２２０から入力するフラグデータをフラグデータ格納メモリ２３１に格納する。フラグデータ格納メモリ２３１から読み出された前フレームのフラグデータと、現フレームのフラグデータが、差分算出部２３２に供給される。

差分算出部２３２は、前フレームのフラグデータと、現フレームのフラグデータとのフラグ差分を算出し、絶対値算出部２３３に出力する。

絶対値算出部２３３では、差分算出部２３２から入力する前フレームのフラグデータと、現フレームのフラグデータに基づくフレーム差（フラグ相関演算結果）を入力し、フレーム差絶対値を算出し、比較部２４２に出力する。

比較部２４２では、フラグ相関演算部２３０から入力するフラグデータ差分値絶対値と、予め定めた閾値２（ＴＨ２）との比較を実行し、フラグデータ差分値絶対値が予め定めた閾値２（ＴＨ２）より小さい場合は相関あり、フラグデータ差分値絶対値が予め定めた閾値２（ＴＨ２）以上である場合は相関なしのビットデータを重み算出部２５２に出力する。

（ｃ）重み算出処理部
次に重み算出処理部２５０の処理について説明する。重み算出処理部２５０は、フラグ相関演算部２３０の算出したフラクデータ差分値をデコーダ２５４に入力して、画像データのアクティビティを算出する。

アクティビティとは画像データが複雑であるほど値が大きくなる指数である。すなわち輝度レベルなどの画素値レベルが狭い範囲で大きく変化するエッジ領域などでは、アクティビティが高く、空など、平坦な画素値からなる画像データの場合はアクティビティが低い。代表点の近傍領域のアクティビティが大きい時、その代表点が動いたかどうか判断しやすく、人の視覚特性に大きく影響を与える。アクティビティの大きな物体面積が小さい時、従来方式では評価値テーブル内のピークが面積に依存するため、ピークの大きさが小さくなるので、候補ベクトル抽出が困難になる。その結果、アクティビティの大きな物体の動きベクトルが含まれていない候補ベクトルでは、動きベクトル決定の時に確らしい動きベクトル決定が困難になる。また、画像の特性上、アクティビティの大きな画素データ動くとき、画像データのサンプリング以下の動き量の場合は大きなレベル変化生じる。このような特性があるにも関わらず、画素レベルデータによる相関性が高いと判断されるとき、その検出した候補動きベクトルの信頼性は高いと判断できる。

アクティビティの算出処理の詳細について、図１１を参照して説明する。図１１（ａ）は、重み算出処理部２５０が保持する変換テーブル２５３である。これは、先に図１０（Ｂ９を参照して説明した変換テーブルの逆変換処理を行うテーブルであり、フラグデータから、画素値差分を求めるものである。隣接画素との画素値差分が大である場合は、アクティビティが高いと判断される。

図１１に示す例では、左画素のフラグデータ情報として［３］、右画素のフラグデータ情報として［９］が入力された例を示している。この場合、デコーダ２５４は、図１１（ａ）に示す変換テーブル２５３から、対応する代表値差分を取得してアクティビティ算出部２５１に出力する。

左画素のフラグデータ情報［３］に対応する代表値差分は［−１０］
右画素のフラグデータ情報［９］に対応する代表値差分は［２］
であり、この場合のアクティビティＡは、
Ａ＝｜−１０｜＋｜２｜
＝１２となる。

上記計算が実行される場合の具体的な画素値の設定例を図１１（ｂ）に示してある。
着目画素の画素値＝１２８、
右隣接画素の画素値＝１３０、
左隣接画素の画素値＝１１８、
この設定において、上記計算によって算出されるアクティビティは、
Ａ＝｜１３０−１２８｜＋｜１１８−１２８｜
＝１２
であり、この３画素間の画素値最大値（ＭＡＸ）＝１３０、画素値最小値（ＭＩＮ）＝１１８の差分であるダイナミックレンジ（ＤＲ）に等しい値となる。

すなわち、フラグデータから算出されるアクティビティ（Ａ）はダイナミックレンジ（ＤＲ）に相当する値となる。

なお、上述した例では、重み算出処理部２５０において、フラグ相関演算部２３０からフラグデータを入力して、変換テーブル（図１１参照）に基づいて変換した画素値差分データに基づくアクティビティ算出を行なう処理例を説明したが、例えば、図１２に示すように、画素相関演算２１０からの出力であるフレーム差分絶対値データを、アクティビティ算出部２５１が入力し、フレーム差分絶対値データに基づいてアクティビティＡを算出する構成としてもよい。

フラグデータ、または、フレーム差分絶対値データに基づいてアクティビティ算出部２５１において算出されたアクティビティＡの値は、重み算出部２５２に出力される。重み算出部２５２では、比較部２４１、２４２から入力する閾値（ＴＨ１，ＴＨ２）との比較結果である相関の有無判定データに基づいて重みＷを算出し、アクティビティＡの値と算出した重みＷに基づいて信頼度指数αを算出する。

比較部２４１では代表点の画素データと、異なるフレームに設定したサーチエリア内の相関に基づいて、画素相関演算部の算出した画素相関演算結果と閾値（ＴＨ１）との比較が実行され、比較部２４２ではフラグデータ間の相関に基づいて、フラグ相関演算部の算出したフラグ相関演算結果と閾値（ＴＨ２）との比較が実行され、その比較結果を出力する。

相関判定の一例として、代表点の画素データと代表点のフラグデータをそれぞれＸ、Ｘ_ｆ０、Ｘ_ｆ１、入力画素データと入力画素のフラグデータをそれぞれＹ、Ｙ_ｆ０、Ｙ_ｆ１とすると、
比較部２４１では、
｜Ｘ-Ｙ｜＜ＴＨ１ ・・・ （式１）
が成立するか否かが判定され、
比較部２４２では
｜Ｘｆ０-Ｙｆ０｜＜ＴＨ２ ・・・ （式２）
｜Ｘｆ１-Ｙｆ１｜＜ＴＨ２ ・・・ （式３）
が成立するか否かが判定され、これらの判定結果を重み算出部２５２に入力する。

なお、ここでは閾値ＴＨ１、ＴＨ２は固定としたが、その他の例としては画像データからこの閾値を算出して可変にしても良い。

重み算出部２５２では、上記３式（式１〜３）の判定結果に基づき、相関性の高さを重みとして算出する。例えば、式１、２、３の全て満足する時、相関性は高いと判断できる。一方、式１は条件を満たすが、式２と式３の条件が満たされない時、相関性は低いと判断できる。従って、相関判定の度合いにより検出した候補動きベクトルの信頼性を判断する事ができる。

また、式１から算出できる残差により、画素レベルの相関判定の度合いを計算することも出来る。例えば、式１の条件を満たした時、相関性の度合いを表す指数としての重み係数をＷとすると、
Ｗ＝（ＴＨ１-｜Ｘ-Ｙ｜） ・・・ （式４）
と示すことができる。ただし、式２と式３が満たされない場合はＷ＝０とする。従って重み係数Ｗの値が大きい程、検出した候補動きベクトルの信頼度は大きいと判断される。さらに、式２、３の相関の度合いを重み係数Ｗに反映する構成としてもよい。すなわち、
Ｗ_ａｌｌ＝（ＴＨ１-｜Ｘ-Ｙ｜）＋（ＴＨ２-｜Ｘ_ｆ０-Ｙ_ｆ０｜）＋（ＴＨ２-｜Ｘ_ｆ１-Ｙ_ｆ１｜） ・・・（式５）
ただし、式２と式３が満たされない場合はＷ_ａｌｌ＝０とする。

重み算出部２５２は、上述したいずれかの方法で算出した重み係数Ｗと、前述したアクティビティＡとに基づいて信頼度指数αを算出する。信頼度指数αは下記の演算子器によって算出される。
α＝Ａ×Ｗ ・・・（式６）

重み算出部２５２は、上記式（式６）によって重み係数ＷとアクティビティＡとに基づいて算出した信頼度指数αを演算部２６０に出力し、比較部２４１から出力される代表点の画素に基づく相関有無の結果ビットに対する乗算を実行する。結果として、比較部２４１から出力される代表点の画素に基づく相関有無の結果ビットが相関ありを示すビット［１］である場合に、信頼度指数［α］の値が評価値テーブル算出部２７０に出力される。

例えば、代表点データとの相関性を判断する閾値をＴＨ１＝５、着目画素と隣接する左右２画素とのアクティビティの上限を６ｂｉｔとすれば上記信頼度の範囲は０≦α≦２５２となり、従来の１ｂｉｔに比べて約８ｂｉｔの重みを評価値テーブルに加算する事が出来るので、信頼性の高い評価値テーブルの形成が可能となる。

なお、上述した実施例では、アクティビティとして着目画素に対して隣接する水平２画素との差分絶対値の総和を用いて説明したが、その他の例としてダイナミックレンジなどを用いてもよい。

評価値テーブル算出部２７０は、入力する信頼度指数に対応する評価値を評価値積算部２７１において積算し評価値テーブルを生成して、評価値テーブルメモリ２７２に格納する。

評価値積算部２７１は、演算部２６０から入力する信頼度指数に対応する評価値を積算する処理を行なう。この結果として、信頼度指数に基づく評価値テーブルが生成される。

以上説明した本発明の動きベクトル検出装置における評価値テーブル生成処理のシーケンスについて図１３のフローを参照して説明する。

ステップＳ２０１において、前フレーム画像データに代表点を配置（決定）する。各ブロックの代表点は、前述したように、例えば、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。

ステップＳ２０２では、現フレームデータを入力する。例えばラスタ順に入力される。ステップＳ２０３では、フラグデータ演算部２２０（図８参照）において、入力画素と左右隣接画素との差分をフラグに変換する処理を実行する。

これは、図９、図１０を参照して説明したように、例えば８ビットの画素値差分データを４ビット（０〜１５）のフラグデータに変換する処理である。

ステップＳ２０４では、代表点データと入力画素データとの相関判定処理が実行される。この処理は、図８に示す画素相関演算部２１０の処理および比較部２４１の処理である。代表点メモリ２１１から読み出された前フレームの代表点データと、現フレームの画像データが、差分算出部２１２に供給され、前フレームの代表点の画素値と、現フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレーム差（相関演算結果）を算出し、絶対値算出部２１３に出力し、フレーム差絶対値が算出される。フレーム差絶対値は、比較部２４１に入力され、予め定めた閾値１（ＴＨ１）と比較され、フレーム差絶対値が閾値１（ＴＨ１）より小さい場合は、相関ありと判定し、相関ありを示すビットデータ（例えば［１］）が比較部２４１から出力され、フレーム差絶対値が閾値１（ＴＨ１）以上である場合は、相関なしと判定し、相関なしを示すビットデータ（例えば［０］）が比較部２４１から出力される。

ステップＳ２０５では、代表点フラグデータと、入力画素フラグデータとの相関判定処理を実行する。この処理は、図８に示すフラグ相関演算部２３０と比較部２４２において実行される。

フラグ相関演算部２３０は、フラグデータ演算部２２０から入力するフラグデータをフラグデータ格納メモリ２３１に格納する。フラグデータ格納メモリ２３１から読み出された前フレームのフラグデータと、現フレームのフラグデータが、差分算出部２３２に供給される。

差分算出部２３２は、前フレームのフラグデータと、現フレームのフラグデータとのフラグ差分を算出し、絶対値算出部２３３に出力する。

絶対値算出部２３３では、差分算出部２３２から入力する前フレームのフラグデータと、現フレームのフラグデータに基づくフレーム差（フラグ相関演算結果）を入力し、フレーム差絶対値を算出し、比較部２４２に出力する。

比較部２４２では、フラグ相関演算部２３０から入力するフラグデータ差分値絶対値と、予め定めた閾値２（ＴＨ２）との比較を実行し、フラグデータ差分値絶対値が予め定めた閾値２（ＴＨ２）より小さい場合は相関あり、フラグデータ差分値絶対値が予め定めた閾値２（ＴＨ２）以上である場合は相関なしのビットデータを重み算出部２５２に出力する。

ステップＳ２０６では、信頼度指数αを算出する。この信頼度指数αの算出処理は、重み算出部２５０において実行される。

前述したように、フラグデータ、または、フレーム差分絶対値データに基づいてアクティビティ算出部２５１においてアクティビティＡを算出し、比較部２４１，２４２からの出力に基づいて重み係数Ｗが算出され、アクティビティＡと重み係数Ｗとに基づいて、
α＝Ａ×Ｗ
として信頼度指数αが算出される。

ステップＳ２０７では、信頼度指数αを評価値テーブルの積算ポイントとして出力する。ステップＳ２０８では、全代表点と、サーチエリア内の画素との相関判定処理が終了したか否かを判定し、終了していない場合は、ステップＳ２０２以下の処理を未処理画素について実行し、すべての画素の処理が終了すると処理を終了する。

［４．評価値テーブルの具体例］
上述した評価値テーブル形成部構成を持つ動きベクトル検出装置を適用し、実際の動画像データに対する処理を実行した場合に生成される度数分布型評価値テーブルの例を説明する。

具体的な、動画像データ８００として、図１４に示すような、静止背景に移動物体（Ａ）８０１、移動物体（Ｂ）８０２、移動物体（Ｃ）８０３、移動物体（Ｄ）８０４とが存在するデータを適用した。

移動物体（Ａ）８０１、移動物体（Ｃ）８０３は水平左方向（−Ｘ方向）に移動する物体であり、この物体の表示領域の画素に対応する正しい動きベクトルは（Ｖｘ，Ｖｙ）＝（−ｎ，０）である。つまり水平左方向の動きベクトルが設定されるべき画素領域である。移動物体（Ｂ）８０２は、水平右方向（＋Ｘ方向）に移動する物体あり、この物体の表示領域の画素に対応する正しい動きベクトルとしては、（Ｖｘ，Ｖｙ）＝（ｎ，０）である。つまり、水平左方向の動きベクトルが設定されるべき画素領域である。

また、移動物体（Ｄ）８０４は、垂直上方向（＋Ｙ方向）に移動する物体あり、この物体の表示領域の画素に対応する正しい動きベクトルとしては、（Ｖｘ，Ｖｙ）＝（０，ｎ）である。つまり、垂直上方向の動きベクトルが設定されるべき画素領域である。

この動画像データに対して、従来手法、例えば特開２００１−６１１５２号公報に開示されている評価値テーブル生成処理を適用して、代表点の相関データのみ積算し生成した評価値テーブルを図１５に示す。図１５に示す評価値テーブルは垂直方向（−Ｙまたは＋Ｙ方向）の動きベクトルに対応するピークのみを示す２次元的に表現した評価値テーブルである。

すなわち、図１５は、画素相関演算部から出力されるデータを、そのまま適用して積算し生成した評価値テーブルの２次元データであり、このテーブルには、（Ｖｙ＝０）すなわち、背景領域の静止画素の静止ベクトルに対応するピークのみが出現している。

図１６は、本発明に従って、アクティビティＡと重み係数Ｗに基づく信頼度指数αに基づいて生成した評価値テーブルの２次元データである。この評価値テーブルには、静止画素に対応するピークのみならず、垂直方向（Ｙ方向）に移動する物体Ｄに対応するピークが出現している。

このように、本発明に従った処理、すなわち、アクティビティＡと重み係数Ｗに基づく信頼度指数αに基づいて生成した評価値テーブルでは、画像データの表示領域における占有面積が小さい物体の移動に対応するピークを評価値テーブルに出現させることができ、正確な候補ベクトルの抽出、動きベクトルの決定処理が可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、代表点マッチング処理に基づく評価値テーブルの生成において、代表点のみならず代表点近傍の画素レベルとしての空間波形を考慮した相関判定処理を行なう構成であるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

さらに、本発明の構成によれば、代表点画素の相関情報と、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータに基づくフラグ相関情報に基づいて、重み係数Ｗを算出し、算出した重み係数Ｗと、画像データの複雑性を示す指標値としてのアクティビティＡとに基づく算出値としての信頼度指数αを生成して、信頼度指数αに対応する評価値を積算した評価値テーブルを生成する構成とした。本構成により、代表点と代表点近傍の画素値の差分を考慮して重みが設定された評価値に基づく評価値テーブルを生成することが可能となり、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

さらに、本発明の構成によれば、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを、画素値差分データより少ないビット数として算出する処理を実行する構成としたのでフラグ相関算出処理の演算を少ないビット数データの処理として実行することが可能となり、処理速度を落とすことなく精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。従って、動画像データの符号化処理などを実行する画像処理装置などに本発明を適用することにより、効率的な動きベクトル検出処理が可能となり、装置の小型化も達成される。

ブロックマッチング法の概要を説明する図である。 代表点マッチングを適用した動きベクトル検出処理の問題点について説明する図である。 動きベクトル検出処理において適用する代表点マッチング法の概要について説明する図である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図である。 動きベクトル検出処理における候補ベクトルからの動きベクトル決定処理の概要について説明する図である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を示す図である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の処理シーケンスを説明するフローチャートである。 本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成を示す図である。 評価値テーブル形成部におけるフラグデータ演算部の詳細構成について説明する図である。 フラグデータ演算部の実行する処理の具体例について説明する図である。 重み算出処理部の実行する処理の具体例について説明するフロー図である。 本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成例２を示す図である。 本発明の動きベクトル検出装置の評価値テーブル形成処理シーケンスを説明するフローチャートを示す図である。 評価値テーブル生成処理対象となる動画像データの例を示す図である。 画素相関演算部から出力されるデータを、そのまま適用して積算し生成した評価値テーブル例を示す図である。 本発明に係る評価値テーブル形成部の処理に従って生成した評価値テーブル例を示す図である。

符号の説明

１０ 前フレーム
１１ 検査ブロックＢｙ
１２ サーチエリア
２０ 現フレーム
２１ 基準ブロックＢｘ
３０ 前フレーム
３１ 現フレーム
３２ サーチエリア
３５，３６，３７ 画素
３８ 代表点
７０ 前フレーム
７１ 代表点Ｒｙ
８０ 現フレーム
８１ サーチエリア
９０ 評価値テーブル
９１ 前フレーム画素
９５，９６，９７ 現フレーム画素
１０１ 評価値テーブル形成部
１０２ 候補ベクトル抽出部
１０３ 動きベクトル決定部
１０４ 制御部（コントローラ）
２００ 評価値テーブル形成部
２１０ 画素相関演算部
２１１ 代表点メモリ
２１２ 差分算出部
２１３ 絶対値算出部
２２０ フラグデータ演算部
２２１，２２２ レジスタ
２２３，２２６ 差分算出部
２２４，２２７ 量子化器
２２５ 変換テーブル
２３０ フラグ相関演算部
２３１ フラグデータ格納メモリ
２３２ 差分算出部
２３３ 絶対値算出部
２４１，２４２ 比較部
２５０ 重み算出処理部
２５１ アクティビティ算出部
２５２ 重み算出部
２５３ 変換テーブル
２５４ デコーダ
２６０ 演算部
２７０ 評価値テーブル算出部
２７１ 評価値積算部
２７２ 評価値テーブルメモリ
３００ 着目画素
３０１，３０２ 隣接画素
８００ 動画像データ
８０１〜８０４ 移動物体

Claims (15)

1. 動画像データから動きベクトルを検出する動きベクトル検出装置であり、
   時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
   前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル決定部とを有し、
   前記評価値テーブル形成部は、
   時間軸上における異なるフレーム間の相関情報の算出処理を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算部と、
   注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算部と、
   前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算部と、
   前記画素相関演算部の演算結果に基づく画素相関情報、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成する重み算出処理部と、
   前記重み算出処理部の算出した信頼度指数αに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出部と、
   を有することを特徴とする動きベクトル検出装置。
2. 前記フラグデータ演算部は、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを、画素値差分データより少ないビット数として算出する処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記重み算出処理部は、
   前記画素相関演算部の演算結果に基づく画素相関情報から算出する重み係数として、代表点画素の画素値：Ｘと相関判定対象画素の画素値Ｙ、予め定めた閾値：ＴＨ１とに基づいて、下式、
   Ｗ＝（ＴＨ１−｜Ｘ−Ｙ｜）
   によって算出する値Ｗを重み係数Ｗとする構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
4. 前記重み算出処理部は、
   前記画素相関演算部の演算結果に基づく画素相関情報と、前記フラグ相関演算部の演算結果に基づくフラグ相関情報から算出する重み係数として、代表点画素の画素値：Ｘと代表点画素の２つの隣接画素の画素値差分データに基づくフラグデータ：Ｘ_ｆ０，Ｘ_ｆ１とし、相関判定対象画素の画素値Ｙ、と、該画素の２つの隣接画素の画素値差分データに基づくフラグデータ：Ｙ_ｆ０，Ｙ_ｆ１としたとき、予め定めた閾値：ＴＨ１、ＴＨ２とに基づいて、下式、
   Ｗ＝（ＴＨ１-｜Ｘ-Ｙ｜）＋（ＴＨ２-｜Ｘ_ｆ０-Ｙ_ｆ０｜）＋（ＴＨ２-｜Ｘ_ｆ１-Ｙ_ｆ１｜）
   によって算出する値Ｗを重み係数Ｗとして算出する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
5. 前記重み算出処理部は、
   前記フラグデータ演算部の算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、
   該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
   α＝Ａ×Ｗ
   によって、信頼度指数αを算出する処理を実行する構成であることを特徴とする請求項３または４に記載の動きベクトル検出装置。
6. 前記重み算出処理部は、
   前記画素相関演算部の算出するフレーム差分絶対値に基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、
   該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
   α＝Ａ×Ｗ
   によって、信頼度指数αを算出する処理を実行する構成であることを特徴とする請求項３または４に記載の動きベクトル検出装置。
7. 前記動きベクトル検出装置は、さらに、
   前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出部を有し、
   前記動きベクトル決定部は、
   動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
8. 動画像データから動きベクトルを検出する動きベクトル検出方法であり、
   時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
   前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
   前記評価値テーブル形成ステップは、
   時間軸上における異なるフレーム間の相関情報の算出処理を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
   注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算ステップと、
   前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算ステップと、
   前記画素相関演算ステップにおける演算結果に基づく画素相関情報、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成する重み算出処理ステップと、
   前記重み算出処理ステップの算出した信頼度指数αに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
   を有することを特徴とする動きベクトル検出方法。
9. 前記フラグデータ演算ステップは、
   注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを、画素値差分データより少ないビット数として算出する処理を実行するステップであることを特徴とする請求項８に記載の動きベクトル検出方法。
10. 前記重み算出処理ステップは、
    前記画素相関演算ステップにおける演算結果に基づく画素相関情報から算出する重み係数として、代表点画素の画素値：Ｘと相関判定対象画素の画素値Ｙ、予め定めた閾値：ＴＨ１とに基づいて、下式、
    Ｗ＝（ＴＨ１−｜Ｘ−Ｙ｜）
    によって算出する値Ｗを重み係数Ｗとして設定することを特徴とする請求項８に記載の動きベクトル検出方法。
11. 前記重み算出処理ステップは、
    前記画素相関演算ステップにおける演算結果に基づく画素相関情報と、前記フラグ相関演算ステップにおける演算結果に基づくフラグ相関情報から算出する重み係数として、代表点画素の画素値：Ｘと代表点画素の２つの隣接画素の画素値差分データに基づくフラグデータ：Ｘ_ｆ０，Ｘ_ｆ１とし、相関判定対象画素の画素値Ｙ、と、該画素の２つの隣接画素の画素値差分データに基づくフラグデータ：Ｙ_ｆ０，Ｙ_ｆ１としたとき、予め定めた閾値：ＴＨ１、ＴＨ２とに基づいて、下式、
    Ｗ＝（ＴＨ１-｜Ｘ-Ｙ｜）＋（ＴＨ２-｜Ｘ_ｆ０-Ｙ_ｆ０｜）＋（ＴＨ２-｜Ｘ_ｆ１-Ｙ_ｆ１｜）
    によって算出する値Ｗを重み係数Ｗとして設定することを特徴とする請求項８に記載の動きベクトル検出方法。
12. 前記重み算出処理ステップは、
    前記フラグデータ演算ステップにおいて算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、
    該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
    α＝Ａ×Ｗ
    によって、信頼度指数αを算出する処理を実行することを特徴とする請求項１０または１１に記載の動きベクトル検出方法。
13. 前記重み算出処理ステップは、
    前記画素相関演算ステップにおいて算出するフレーム差分絶対値に基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、
    該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
    α＝Ａ×Ｗ
    によって、信頼度指数αを算出する処理を実行することを特徴とする請求項１０または１１に記載の動きベクトル検出方法。
14. 前記動きベクトル検出方法は、さらに、
    前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップを有し、
    前記動きベクトル検出ステップは、
    動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行するステップであることを特徴とする請求項８に記載の動きベクトル検出方法。
15. 動画像データから動きベクトルを検出する処理をコンピュータで実行させるコンピュータ・プログラムであり、
    時間軸上における異なるフレーム間の相関情報の算出処理を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
    注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算ステップと、
    前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算ステップと、
    前記画素相関演算ステップにおける演算結果に基づく画素相関情報、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成する重み算出処理ステップと、
    前記重み算出処理ステップの算出した信頼度指数αに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
    前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップと
    を前記コンピュータで実行させるコンピュータ・プログラム。

Images