JP5136295B2 - 動きベクトル検出装置、動きベクトル検出方法及びプログラム - Google Patents

Description

本発明は、動画像データから動きベクトルを検出して、高能率符号化などの画像処理を行う場合に適用して好適な動きベクトル検出装置及び動きベクトル検出方法、並びにその動きベクトル検出処理を実行するプログラムに関する。

従来、動画像の処理の分野において、動きの情報、即ち時間的に異なる画像中の物体の動き方向と大きさを用いて、画像処理を効率的に行うことが行われている。例えば、画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フィルタによるテレビジョン雑音低減装置における動きによるパラメータ制御などに、動き権検出結果を利用することが行われている。動きを求める手法としては、ブロックマッチング法が知られている。ブロックマッチング法は、１フレームの画像を所定画素単位のブロックとしたブロック単位で、そのブロックが動いた領域を探索するものである。このブロックマッチングによる動きベクトル検出処理は、ＭＰＥＧ方式などで実用化されている、動きベクトルを利用した画像処理として、最も普及した一般的な処理である。

ところが、ブロックマッチング法では、ブロックを単位とした処理であるため、各フレーム内の画像の動き検出を必ずしも高精度に検出しているとは言えなかった。このため、本出願人は、先に特許文献１に記載した動きベクトル検出処理を提案した。この動きベクトル検出処理は、画像信号から、各画素位置の動きに関する評価値を検出し、その検出した評価値を評価値テーブルとして持ち、評価値テーブルのデータから、１画面内の候補ベクトルとして複数のベクトルを抽出する。そして、その抽出した複数の候補ベクトルを対象として、全画面の各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素の相関を判定し、最も相関が高いと判定された画素を結ぶ候補ベクトルを、その画素に対する動きベクトルとして決定するものである。この処理の詳細は、後述する実施の形態の中で説明する。

図５０は、この評価値テーブルを使用して、動きベクトルを決定する場合の、先に提案した評価値テーブル形成部の構成を示した図である。図５０の構成を説明すると、入力端子１に得られる画像信号は、相関演算部２に供給される。相関演算部２は、注目点メモリ２ａと減算器２ｂと絶対値算出部２ｃとを備える。入力端子１に得られる画像信号の中で、注目画素の画素値を、注目点メモリ２ａに記憶する。そして、その注目点メモリ２ａに記憶された注目点の画素（注目画素）の画素値と、入力端子１に入力した参照点の画素（参照画素）の画素値とのフレーム間の差分を減算器２ｂで検出する。検出した差分のデータを、絶対値算出部２ｃに供給し、絶対値化されたデータを、相関判定部３に供給する。相関判定部３は、比較部３ａを備えて、設定された閾値と比較し、その閾値と比較し、評価値を得る。評価値としては、一例として相関値を用いることができ、例えば差分が閾値以下であるとき、相関が高いとする。

相関判定部３で得られた評価値は、評価値テーブル算出部４に供給し、評価値積算部４ａで積算し、その積算結果を評価値テーブルメモリ４ｂに記憶させる。そして、評価値テーブルメモリ４ｂの記憶データを、評価値テーブルデータとして出力端子５から後段の回路に供給する。

図５１は、この図５０に示す従来の評価値テーブルを使用して動きベクトルを決定する処理状態の概要を示した図である。図５１（ａ）に示すように、まず現在のフレーム（現フレーム）Ｆ１の１フレーム前の画像データである前フレームＦ０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ０とする。この注目画素ｄ０が決まると、その注目画素ｄ０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ１として評価値が算出され、評価テーブルに登録される。そして、評価値テーブルに登録された値から、サーチエリアＳＡで最も評価値が高い参照画素が、前フレームの注目画素から動いた現フレームの画素位置として求まる。このように最も評価値が高い参照画素が求まることで、図５１（ｂ）に示されるように、その評価値が最も高い参照画素と注目画素との動き量から、動きベクトルが定まる。
この図５０，図５１に示す処理を行うことで、評価値テーブルデータに基づいて動きベクトルを検出することができる。
特開２００５−１７５８６９号公報

評価値テーブルデータに基づいて動きベクトルを検出する場合、最適な動きベクトルの決定は、評価値テーブルの性能に依存する。図５０に示した従来方式では、注目画素と未来フレーム（現フレーム）内の探索範囲における、動き候補先画素との相関判定、具体的には輝度値の差分絶対値がある閾値以下であれば、動き候補として、評価値テーブルに度数がカウントされる。

ところが、この従来手法による処理では、画像が平坦である箇所や縞模様の箇所などで、空間傾斜が全て、あるいは、一部の方向に対して、ほとんどない画像の場合には、上述した相関判定のみで評価値テーブルを作成すると、誤った動きを足しこんでしまう可能性があり、評価値テーブルの信頼性が低下してしまう。評価値テーブルの信頼性が低下すると、検出される動きベクトルの精度も低下してしまう。
また、従来の評価値テーブルでは、画像中に複数の動きがあった場合には、誤った動きが足されてしまうために、それぞれの動きに起因する評価値が埋もれ、それぞれの動きベクトルを検出することが困難であった。

本発明はかかる点に鑑みてなされたものであり、動きベクトルの評価値情報を使用して動きベクトルを検出する場合の精度を向上させることを目的とする。また、複数の動きがある場合にも複数の動きを検出できるようにすることを目的とする。

本発明は、動画像データから動きベクトルを検出する場合に適用される。
その処理構成としては、複数フレーム間の画素値相関情報に基づいて評価値情報を生成し、評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを抽出する。そして、抽出された候補となる動きベクトルの中から、動きベクトルを決定する。そして本発明においては、画素の動き方向に基づいて生成させた画素値相関情報より評価値情報を形成するようにしたものである。この評価値情報を作成する際には、例えば動きベクトルを判断する注目画素の動き方向と、注目画素の動き候補先の参照画素に隣接する隣接画素との空間傾斜状態から作成する。

本発明によると、候補ベクトルから動きベクトルを検出する際に、その候補ベクトルを得るための評価値情報として、画素の動き方向に基づいた情報を使用して、候補を絞った画素値相関情報を得ることが可能となり、適切な評価値テーブルが得られるようになる。

本発明によると、相関判定結果の度数分布である評価値情報を作成する際に、注目画素の動き方向又は動き方位に基づいた情報、或いは、動き候補先の点の動き方向に基づいた情報を考慮することで、画像の平坦部や繰り返しパターン部などの動きの誤りを軽減できる。従って、信頼性の高い評価値情報を作成することが可能となり、検出される動きベクトルの精度を向上させることが可能になる。また、例えばサーチエリア内に複数の動きがあった場合でも、それぞれの動きに対する評価値が適切に得られて、複数の動きを同時に算出することが可能となる。

本発明の実施の形態の例について、以下の順序で説明を行う。
１．動きベクトルを検出する全体の構成の概要：図１
２．動きベクトルを検出する全体の処理の概要：図２
３．第１の実施の形態の例：図３〜図５
４．第１の実施の形態でＬＵＴを使用した例：図６〜図７
５．第１の実施の形態で作成される評価値テーブルの例：図８〜図１０
６．第２の実施の形態の例：図１１〜図１３
７．第２の実施の形態でＬＵＴを使用した例：図１４〜図１５
８．第２の実施の形態で作成される評価値テーブルの例：図１６
９．第３の実施の形態の例：図１７〜図１９
１０．第３の実施の形態でＬＵＴを使用した例：図２０〜図２１
１１．第４の実施の形態の例：図２２〜図２３
１２．第４の実施の形態の変形例：図２４〜図２５
１３．第４の実施の形態で作成される評価値テーブルの例：図２６〜図２７
１４．第５の実施の形態の例：図２８〜図３０
１５．第５の実施の形態の他の例：図３１〜図３３
１６．第５の実施の形態で作成される評価値テーブルの例：図３４
１７．第５の実施の形態の変形例：図３５〜図３６
１８．第６の実施の形態の例：図３７〜図４１
１５．第６の実施の形態でＬＵＴを使用した例：図４２〜図４３
１６．第６の実施の形態で作成される評価値テーブルの例：図４４
１７．動きベクトル抽出部の構成及び動作例：図４５〜図４６
１８．動きベクトル決定部の構成及び動作例：図４７〜図４８
１９．実施の形態の変形例の説明

［１．動きベクトルを検出する全体構成の概要］
以下、本発明の第１の実施の形態を、図１〜図１０を参照して説明する。
本実施の形態においては、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、その検出処理として、動きベクトルの評価値テーブルを形成させて、その評価値テーブルのデータを積算して、動きベクトルを判定するものである。なお、以下の説明では、動きベクトルの評価値情報を記憶したものを評価値テーブルと称するが、この評価値テーブルは、必ずしもテーブル状の記憶情報として構成されてなくてもよく、動くベクトルの評価値を示す情報であれば良い。例えば、評価値をヒストグラム化した情報として、そのヒストグラム化された評価値情報を持つようにしてもよい。

図１は、動きベクトル検出装置の全体構成を示した図である。画像信号入力端子１１に得られる画像信号を、評価値テーブル形成部１２に供給して、評価値テーブルを形成させる。画像信号は、例えば、各フレーム内の各画素で個別の輝度値が得られるデジタル映像信号である。評価値テーブル形成部１２では、例えばサーチエリアと同一の大きさの評価値テーブルを作成する。

評価値テーブル形成部１２が作成した評価値テーブルデータは、動きベクトル抽出部１３に供給して、評価値テーブルから、１画面内（１フレーム内）の候補ベクトルとして、複数の動きベクトルを抽出する。ここでは、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。動きベクトル抽出部１３で抽出した複数の候補ベクトルは、動きベクトル決定部１４に供給する。動きベクトル決定部１４では、候補ベクトル抽出部１３において抽出した複数の候補ベクトルを対象として、全画面の各画素ごとに、候補ベクトルによって対応付けられるフレーム間の画素間の相関を領域マッチング等により判定し、最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。これらの動きベクトルを得る処理は、制御部（コントローラ）１６による制御で実行される。
設定された動きベクトルのデータは、動きベクトル出力端子１５から出力させる。このとき、必要により入力端子１１に得られる画像信号に付加して出力させてもよい。出力された動きベクトルデータは、例えば画像データの高能率符号化に使用される。或いは、画像をテレビジョン受像機で表示させる際の高画質化処理に使用される。さらにまた、その他の画像処理に、本例の処理で検出された動きベクトルを使用してもよい。

［２．動きベクトルを検出する全体の処理の概要］
図２のフローチャートは、この動きベクトルを決定するまでの処理例を示したものである。まず、入力した画像信号から評価値テーブルを形成させ（ステップＳ１１）、その形成された評価値テーブルから、候補となる複数のベクトルを抽出する（ステップＳ１２）。そして、その抽出された複数の候補ベクトルの中から、最も相関の高い動きベクトルを決定する（ステップＳ１１）。この図２のフローチャートの処理が、各フレームで実行される。ここまでは、評価値テーブルを使用した動きベクトル検出構成として一般的な構成である。

［３．第１の実施の形態の例］
本実施の形態においては、評価値テーブル形成部１２での評価値テーブルの形成処理として、図３に示す構成で実行する。図３の例は、評価値テーブルの形成時に、注目画素の動き方位の空間傾斜を加味して形成させるようにしたものである。ここでの注目画素とは、動きベクトルを判定する上での基準となる点（基準点）の画素位置（注目画素）であり、参照画素とは、その注目画素から動いた先である可能性がある点の画素位置（参照画素）である。参照画素は、注目画素とは後又は前の別のフレームで、注目画素の画素位置の近傍（即ちサーチエリア内）の画素である。また、本明細書中での「動き方向」とは、注目画素と参照画素との相対位置（動き）の方向を示し、本明細書中での「動き方位」とは、動き方向に最も近接する方向である、注目画素と所定周辺隣接画素とのベクトルと定義する。

図３の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０に供給する。相関演算部２０は、注目点メモリ２１と減算器２２と絶対値算出部２３とを備える。入力端子１１に得られる画像信号の中で、注目画素の画素値を、注目点メモリ２１に記憶する。この際、後述する空間傾斜の判定を行うために、注目点メモリ２１では、注目画素の周辺画素の値についても記憶する。

そして、その注目点メモリ２１に記憶された注目画素の画素値と、入力端子１１に入力した画素値とのフレーム間の差分を減算器２２で検出する。検出した差分のデータを、絶対値算出部２３に供給し、絶対値化されたデータを、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。

相関判定部３０で得られた評価値は、画素選別部４０に供給する。画素選別部４０は、相関判定部３０が出力する２値を選別するゲート部４１を備える。このゲート部４１を制御する構成として、動き方位算出部４２と、空間傾斜判定部４３と、比較部４４とを備える。動き方位算出部４２は、注目点メモリ２１に記憶されたデータから、注目画素と参照画素との相対位置を算出し、その相対位置から動き方位を算出する。動き方位が算出されると、空間傾斜判定部４３で、注目画素と同じフレーム内での注目画素からの動き方位方向の隣接画素のデータを注目点メモリ２１から読み出し、注目画素の画素データと隣接画素データとの画素値の差分を算出する。ここでの画素値の差分とは、各画素の輝度値の差分である。算出された差分の値は、比較部４４に送られて予め設定された隣接差分判定用の閾値と比較し、その比較結果で差分が閾値を超えていない場合に、ゲート部４１に供給される評価値の通過を阻止させる。比較部４４での比較で差分が閾値を超えている場合には、ゲート部４１に供給される評価値を通過させる。空間傾斜判定部４３で空間傾斜ありと判定された隣接画素の数は、画素選別部４０が備えるカウンタ（図示せず）でカウントされる。

画素選別部４０のゲート部４１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。そして、評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。

この図３の構成での処理動作を示したのが、図４のフローチャートである。
図４に沿って説明すると、図３に示した構成での処理としては、相関演算部２０及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、さらに、画素選別部４０で選別する処理とが行われる。以下のフローチャートでは、画素選別部４０での処理を中心にして説明する。

まず、注目点メモリ２１の記憶データを使用して、動き方位算出部４２で、前フレームの注目画素と現フレームの参照画素との相対位置を算出する（ステップＳ２１）。その相対位置が算出されると、注目画素から見た相対位置が、ここでの動きとなり、その注目画素から見た動き方位を動き方位算出部４２で得る（ステップＳ２２）。
そして、注目画素から見た、同じフレーム内での動き方位の隣接画素を注目点メモリ２１から読み出し（ステップＳ２３）、その読み出した隣接画素の画素値と注目画素の画素値との差分を空間傾斜判定部４３で算出する。差分の値が算出されると、その差分の値が、比較部４４で閾値と比較され（ステップＳ２５）、差分の値が閾値を超えている場合には、ゲート部４１で現在の注目画素の評価値を通過させ、空間傾斜判定で傾斜ありと判定された数をカウントするカウンタをカウントアップさせる（ステップＳ２６）。差分の値が閾値を超えていない場合には、ゲート部４１で現在の注目画素の評価値の通過を阻止させ、評価値テーブルへのその評価値の書き込みを禁止させる（ステップＳ２７）。

また、注目画素と参照画素との差分の絶対値が相関演算部２０で検出されて、その差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２８）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部４０のゲート部４１に送られる。そして、閾値未満でない場合には、ゲート部４１に送られず、評価値テーブルへのその評価値の書き込みを禁止させる（ステップＳ２７）。
ここまでの処理が行われると、相関判定部３０から画素選別部４０のゲート部４１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部４１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２９）。このようにして、評価値テーブルに書き込ませることで、空間傾斜有り、かつ、相関判定有りの数が、評価値テーブルに書き込まれる。相関判定有りの数が頻度であり、評価値となる。なお、この頻度そのものを評価値としてもよいが、例えばステップＳ２６でのカウント値で、頻度の値を割った値を、評価値として、評価値を正規化してもよい。後述する他のフローチャートの例の場合にも、評価値を得る場合に、頻度そのものを評価値とする場合とカウント値で正規化する場合のいずれでもよい。

図３の構成及び図４のフローチャートでの処理状態の概要を示したのが、図５である。
まず、図５（ａ）に示すように、現在のフレーム（現フレーム）Ｆ１の１フレーム前の画像データである前フレームＦ０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ０とする。この注目画素ｄ０が決まると、その注目画素ｄ０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ１として評価値が算出される。

ここで本例においては、図５（ｂ）に示すように、前フレームＦ０の注目画素ｄ０と参照画素ｄ１との相対位置から動き方位を判断する。この図５（ｂ）の例では、水平方向に左に動いた例としてある。
このような動き方位の判断をした際には、図５（ｃ）に示すように、前フレームＦ０内で、注目画素とその画素に隣接する周囲の８画素の内で、動き方位で示される方向に隣接した画素を読み出し、その読み出した隣接画素と、注目画素ｄ０との差分を判定し、注目画素の空間傾斜を判定する。この判定で、空間傾斜があると判断された場合にだけ、そのときの参照画素ｄ１の評価値が、評価値テーブルに書き込まれることになる。

なお、図３及び図４の例では、画素選別部４０からの制御で、評価値積算部５１で積算を行う際のカウントを行うようにしたが、そのカウント値を用いて評価値テーブルの度数の正規化を行うようにしてもよい。例えば、動き方位を、注目画素を中心とした３×３の８方位とし、注目画素の空間傾斜のカウントを用いる場合に、注目画素の各８方位に対する空間傾斜ありのカウントを、全画面（全注目画素）で合計する。そして、各８方位のカウント値で、評価値テーブルの各８方位のエリアの度数を正規化するようにする。このように正規化することで、より良好な評価値が得られるようになる。

［４．第１の実施の形態でＬＵＴを使用した例］
図３及び図４の例では、注目画素の動き方位の隣接画素との判断に基づいて、空間傾斜を判定するようにしたが、例えば相対位置（動き）と動き方位の関係を予め計算して持っているテーブル（ルックアップテーブル：以下ＬＵＴと称する）と、各点の周辺画素との空間傾斜の有無を０，１（或いは０，１，２）で、予め計算して持っているパターンメモリとを設けて、ＬＵＴとパターンメモリとの比較で、評価値テーブルへの書き込みの制限を行うようにしてもよい。ＬＵＴとパターンメモリとを使用することで、演算処理量などを削減することができる。ＬＵＴとパターンメモリとを使用することによる効果は、後述する第２の実施の形態以降の処理構成の場合も同様である。
図６は、注目画素の動き方位の空間傾斜を加味する場合において、このＬＵＴとパターンメモリとを使用する構成としたときの評価値テーブル形成部１２の構成例を示したものである。

以下、図６を参照してその構成を説明する。図６に示した評価値テーブル形成部１２は、画素選別部６０の構成が、図３に示した評価値テーブル形成部１２の画素選別部４０とは異なるものであり、その他の部分（即ち相関演算部２０，相関判定部３０，評価値テーブル算出部５０）については、図３の構成と同じである。図６の評価値テーブル形成部１２において、図３の評価値テーブル形成部１２と同一部分には同一符号を付す。
図６の構成において、画素選別部６０はゲート部６１を備えて、相関判定部３０が出力する２値を、ゲート部６１で選別する。このゲート部６１を制御する構成として、空間傾斜パターン算出部６２と、注目点パターンメモリ６３と、パターン比較部６４と、動き方位ＬＵＴ６５と、動き方位算出部６６とを備える。

空間傾斜パターン算出部６２は、各フレームの画素データが供給されるごとに、各画素に対して、注目画素と周辺画素との空間傾斜の有無を０と１で表現し、フラグとして注目点パターンメモリ６３に格納する。そして、動きが検出された方位に応じて、そのフラグを参照して、空間傾斜を判定する。また、ある時刻ｔのとき、現在フレーム（参照画素）で作成した画素ごとの空間傾斜の有無を示すフラグは、次のフレームが得られる時刻ｔ＋１のとき、前フレーム（注目画素）の各画素の空間傾斜の有無を示すフラグとして使用できる。
動き方位算出部６６では、探索範囲内の相対位置（動き）と、近接方向との関係を予め計算して、その計算されたデータを動き方位ＬＵＴ６５として記憶しておく。記憶されたルックアップテーブルの値は、注目点パターンメモリ６３に送り、空間傾斜パターン算出部６２で算出された空間傾斜と、動き方位ＬＵＴ６５から読み出した動き方位の隣接画素のパターンとを、パターン比較部６４で比較し、その比較結果で傾斜ありと判定された場合に、ゲート部６１で評価値を通過させ、傾斜なしの場合に通過を阻止させる制御を行う。また、パターン比較部６４で空間傾斜ありと判定した場合には、空間傾斜ありの数をカウントするカウンタをカウントアップさせる。

図７は、この図６の構成による処理例を示したフローチャートである。
図７に沿って説明すると、図６に示した構成での処理としては、相関演算部２０及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、さらに、画素選別部６０で選別する処理とが行われる。以下のフローチャートでは、画素選別部６０での処理を中心にして説明する。

まず、注目点メモリ２１の記憶データを使用して、空間傾斜パターン算出部６２で、前フレームの注目画素と現フレームの参照画素との相対位置を算出し（ステップＳ３１）、その相対位置から動き方位を判定する。その判定した動き方位のデータを動き方位ＬＵＴ６５から読み出し（ステップＳ３２）、さらに注目点パターンメモリ６３から動き方位の隣接画素のパターンを読み出し（ステップＳ３３）、隣接画素の差分のパターンを判定する（ステップＳ３４）。この判定で、空間傾斜ありと判定した場合には、空間傾斜ありを示す値のカウンタをカウントアップさせる（ステップＳ３５）。

また、相関演算部２０で得られた、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ３７）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部６０のゲート部６１に送られる。また、ステップＳ３４で空間傾斜なしと判定した場合と、ステップＳ３７で注目画素と参照画素との差分が閾値を越えていると判定した場合には、ゲート部６１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ３６）。
そして、相関判定部３０から画素選別部６０のゲート部６１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部６１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ３８）。
この図６、図７に示すように、ルックアップテーブルを使用しても、注目画素の動き方位を利用した評価値テーブルの作成処理が可能となる。

［５．第１の実施の形態で作成される評価値テーブルの例］
図９及び図１０は、評価値テーブルでの積算結果の例を示したものである。図９は相関判定のみで得た評価値テーブル（即ち従来技術で得た評価値テーブルに相当）であり、図１０は、図３の処理構成で得た本実施の形態による評価値テーブルであり、いずれも図８に示すテスト画像に対して求めた評価値である。即ち、図８に示すように、２種類の背景色の境界部を移動する２つの物体が示された、同じ画像信号に対して処理したテスト画像に対して評価値を求めた例である。図８のテスト画像では、背景は静止しており、背景とは若干異なる色（白色）の円形の物体ｍ１が矢印ａで示す方向に、各フレームで順に移動しており、さらに、一方の背景色に近い色（黒色）の円形の物体ｍ２が矢印ｂで示す方向（矢印ａで示す方向とは反対方向）に、各フレームで順に移動している状態を示している。ここでは、矢印ａ，ｂで示す２つの物体ｍ１，ｍ２は、その面積が異なり、また移動方向は、２種類の背景色の境界部を移動している。

図９は、相関判定のみから積算した評価値テーブルを得た例であり、従来処理で得られる評価値に相関値テーブルに相当する。図８の画像中の動く物体（ｍ１、ｍ２）内部、あるいは、背景部のそれぞれは、平坦で、同じ輝度値であるため、相関判定のみで評価値テーブルへ積算を行うと、図９に示すように、誤った動きが評価値テーブルに多く積算されてしまい、この誤った動きに埋もれてしまい、評価値テーブルから正しい動きベクトルを求めることは困難になる。

図１０は、図３の構成で処理して、注目画素の空間傾斜を加味して積算させた例である。この図１０に示すように、本実施の形態によると、ピーク位置Ｐ１，Ｐ２が明確化している。さらに、２つのピーク位置Ｐ１，Ｐ２が候補として正しく示されている。このため、評価値テーブルに登録された値から、注目画素から動いた画素位置が正しく判定され、動きベクトルが定まる。しかも、複数の動きがある場合であっても、その複数の動きをそれぞれ個別に判定できる効果がある。

［６．第２の実施の形態の例］
次に、本発明の第２の実施の形態を、図１１〜図１６を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第１の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。

そして本実施の形態においては、図１に示した動きベクトル検出装置の評価値テーブル形成部１２を、図１１に示す構成としたものである。図１１の評価値テーブル形成部１２において、第１の実施の形態で説明した図３の評価値テーブル形成部１２と同一部分には同一符号を付す。
本実施の形態においては、注目画素と参照画素の双方の動き方位の空間傾斜を加味して、画素値相関情報を得て評価値テーブルを形成させるようにしたものである。注目画素と参照画素の定義については、既に第１の実施の形態で説明したものと同じである。即ち、注目画素は、動きベクトルを判定する上での基準となる点（基準点）の画素位置であり、参照画素は、注目画素とは後又は前の別のフレームのサーチエリア内の画素である。

図１１の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０′に供給する。相関演算部２０′は、参照点メモリ２４と注目点メモリ２５と絶対値算出部２６とを備える。参照点メモリ２４は、入力端子１１に得られる現在のフレームの画像信号の各画素値を記憶し、１フレーム期間経過すると、その記憶データを注目点メモリ２５に移す処理を行う。このようにして、２つのメモリ２４，２５に、参照画素の画素データと注目画素の画素データとが記憶される。絶対値算出部２６では、注目点メモリ２５から読み出した注目画素の画素値と、参照点メモリ２４から読み出した参照画素の画素値とを比較して、その差分の絶対値を算出する。

そして、検出した差分のデータを、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。

相関判定部３０で得られた評価値は、画素選別部７０に供給する。画素選別部７０は、相関判定部３０が出力する２値を選別するゲート部７１を備える。このゲート部７１を制御する構成として、動き方位算出部７２と、空間傾斜判定部７３と、比較部７４とを備える。動き方位算出部７２は、参照点メモリ２４の記憶データと注目点メモリ２５の記憶データとから、注目画素と参照画素との相対位置を算出し、その相対位置から動き方位を算出する。

動き方位が算出されると、空間傾斜判定部７３で、参照画素と動き方位の隣接画素の画素データを参照点メモリ２４から読み出し、参照画素の画素データと隣接画素データとの画素値の差分を算出する。また、注目画素と動き方位の隣接画素の画素データを注目点メモリ２５から読み出し、注目画素の画素データと隣接画素データとの画素値の差分を算出する。
そして、比較部７４で、注目画素と参照画素の双方で動き方位の隣接画素との閾値以上の差があるか否か判断し、閾値を超える差がある場合に、ゲート部７１に供給される評価値を通過させる。参照画素と注目画素のいずれか一方でも閾値を超えていない場合には、ゲート部７１に供給される評価値の通過を阻止させる。空間傾斜判定部７３で空間傾斜ありと判定した場合には、空間傾斜ありをカウントするカウンタ（図示せず）をカウントアップさせる。

画素選別部７０のゲート部７１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。そして、評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。

この図１１の構成での処理動作を示したのが、図１２のフローチャートである。
図１２に沿って説明すると、図１１に示した構成での処理としては、相関演算部２０及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、画素選別部７０で選別する処理とが行われる。以下のフローチャートでは、画素選別部７０での処理を中心にして説明する。

まず、動き方位算出部７２で、参照画素とその参照画素に対応する注目画素との相対位置を算出し（ステップＳ４１）、その相対位置から動き方位を算出する（ステップＳ４２）。そして、注目点メモリ２５から、動き方位の隣接画素の画素データを読み出し（ステップＳ４３）、その読み出した隣接画素と注目画素の画素との差分を算出する（ステップＳ４４）。隣接画素との差分を算出すると、その差分が予め設定された閾値を超えているか否か判断し（ステップＳ４５）、その判断で閾値を超えていない場合には、現在の評価値のゲート部７１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる（ステップＳ５０）。

ステップＳ４５で、注目画素と隣接画素との差分が閾値を超えていると判断した場合には、隣接画素との判定で空間傾斜ありと判定されたことを示す値のカウンタをカウントさせ
（ステップＳ４６）、参照点メモリ２４から動き方位の隣接画素の読み出しを行い（ステップＳ４７）、その読み出した隣接画素と参照画素の画素との差分を算出する（ステップＳ４８）。隣接画素との差分を算出すると、その差分が予め設定された閾値を超えているか否か判断し（ステップＳ４９）、その判断で閾値を超えていない場合には、現在の評価値のゲート部７１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる（ステップＳ５０）。

また、相関演算部２０及び相関判定部３０での画素相関の検出処理として得られた、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２０１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部７０のゲート部７１に送られる。閾値未満でない場合には、評価値テーブルへの書き込みを禁止させる（ステップＳ５０）。
そして、相関判定部３０から画素選別部７０のゲート部７１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部７１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２０２）。

なお、この図１２のフローチャートでは、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部７１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

図１１の構成及び図１２のフローチャートでの処理状態の概要を示したのが、図１３である。
まず、図１３（ａ）に示すように、現在のフレーム（現フレーム）Ｆ１の１フレーム前の画像データである前フレームＦ０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ０とする。この注目画素ｄ０が決まると、その注目画素ｄ０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ１として評価値が算出される。

ここで本例においては、図１３（ｂ）に示すように、前フレームＦ０の注目画素ｄ０と参照画素ｄ１との相対位置から動き方位を判断する。この図１３（ｂ）の例では、水平方向に左に動いた例としてある。
このような動き方位の判断をした際に、図１３（ｂ）に太線の矢印で示すように、前フレームＦ０内で、注目画素とその画素に隣接する周囲の８画素の内で、動き方位で示される方向に隣接した画素を読み出し、その読み出した隣接画素と、注目画素ｄ０との差分を判定し、注目画素の空間傾斜を判定する。さらに、図１３（ｂ）に太線の矢印で示すように、現フレームＦ１内で、参照画素とその画素に隣接する周囲の８画素の内で、動き方位で示される方向に隣接した画素を読み出し、その読み出した隣接画素と、参照画素ｄ１との差分を判定し、参照画素の空間傾斜を判定する。
この判定で、注目画素と参照画素のそれぞれで空間傾斜があると判断された場合にだけ、そのときの参照画素ｄ１の評価値が、評価値テーブルに書き込まれることになる。

［７．第２の実施の形態でＬＵＴを使用した例］
図１１の例では、演算処理で空間傾斜の有無を判定するようにしたが、本実施の形態の場合にも、ルックアップテーブル（ＬＵＴ）とパターンメモリとを使用して空間傾斜の有無を判定する構成としてもよい。
図１４は、注目画素と参照画素の双方で、動き方位の隣接画素との差分から空間傾斜を判断する場合における、ＬＵＴとパターンメモリとを使用した構成例を示した図である。

以下、図１４を参照してその構成を説明する。図１４に示した評価値テーブル形成部１２は、画素選別部８０の構成が、図１１に示した評価値テーブル形成部１２の画素選別部７０とは異なるものであり、その他の部分（即ち相関演算部２０′，相関判定部３０，評価値テーブル算出部５０）については、図１１の構成と同じである。図１４の評価値テーブル形成部１２において、図１１の評価値テーブル形成部１２と同一部分には同一符号を付す。
図１４の構成において、画素選別部８０はゲート部８１を備えて、相関判定部３０が出力する評価値を、ゲート部８１で選別する。このゲート部８１を制御する構成として、空間傾斜パターン算出部８２と、参照点パターンメモリ８３と、注目点パターンメモリ８４と、パターン比較部８５と、動き方位ＬＵＴ８６と、動き方位算出部８７とを備える。

空間傾斜パターン算出部８２は、各フレームの画素データが供給されるごとに、各画素に対して、注目画素と周辺画素との空間傾斜の有無を０と１で表現し、フラグとして参照点パターンメモリ８３に格納する。そして、動きが検出された方位に応じて、そのフラグを参照して、空間傾斜を判定する。また、ある時刻ｔのとき、現在フレーム（参照画素）で作成した画素ごとの空間傾斜の有無を示すフラグは、次のフレームが得られる時刻ｔ＋１のとき、前フレーム（注目画素）の各画素の空間傾斜の有無を示すフラグとして使用できる。このため、参照点パターンメモリ８３の記憶データを、注目点パターンメモリ８４に移す構成としてある。

動き方位算出部８７では、探索範囲内の相対位置（動き）と、近接方向との関係を予め計算して、その計算されたデータを動き方位ＬＵＴ８６として記憶しておく。記憶されたルックアップテーブルの値は、参照点パターンメモリ８３と注目点パターンメモリ８４に送り、空間傾斜パターン算出部８２で算出された空間傾斜パターンと、動き方位ＬＵＴ８６から読み出した動き方位の隣接画素のパターンとを、参照画素と注目画素のそれぞれについてパターン比較部８５で比較し、その比較結果で、注目画素と参照画素の双方で空間傾斜ありと判定された場合に、ゲート部８１で評価値を通過させ、傾斜なしの場合に通過を阻止させる制御を行う。また、パターン比較部８５で傾斜ありと判定した場合には、空間傾斜ありをカウントするカウンタ（図示せず）をカウントアップさせる。

図１５は、この図１４の構成による処理例を示したフローチャートである。
図１５に沿って説明すると、図１４に示した構成での処理としては、相関演算部２０及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、さらに、画素選別部８０で選別する処理とが行われる。以下のフローチャートでは、画素選別部８０での処理を中心にして説明する。

まず、空間傾斜パターン算出部８２で、前フレームの注目画素と現フレームの参照画素との相対位置を算出し（ステップＳ５１）、その相対位置から動き方位を判定する。その判定した動き方位のデータを動き方位ＬＵＴ８６から読み出し（ステップＳ５２）、さらに注目点パターンメモリ８４から動き方位の隣接画素のパターンを読み出し（ステップＳ５３）、隣接画素の差分のパターンを判定する（ステップＳ５４）。この判定で、注目画素が空間傾斜なしと判定した場合には、ゲート部８１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ５８）。

そして、空間傾斜ありと判定した場合には、空間傾斜ありを示す値のカウンタのカウントアップを行い（ステップＳ５５）、参照点パターンメモリ８３から動き方位の隣接画素のパターンを読み出し（ステップＳ５６）、隣接画素の差分のパターンを判定する（ステップＳ５７）。この判定で、参照画素が空間傾斜なしと判定した場合には、ゲート部８１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ５８）。

また、相関演算部２０及び相関判定部３０での画素相関の検出で得られた、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２１１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部８０のゲート部８１に送られる。閾値未満でない場合には、ゲート部８１に送らず、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ５８）。
そして、相関判定部３０から画素選別部８０のゲート部８１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部８１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２１２）。
この図１４、図１５に示すように、ルックアップテーブルとパターンメモリを使用しても、注目画素の動き方位と参照画素の動き方位とを利用した評価値テーブルの作成処理が可能となる。このようにルックアップテーブルとパターンメモリを使用することで、演算処理量を削減することが可能になる。

なお、この図１５のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部８１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

［８．第２の実施の形態で作成される評価値テーブルの例］
図１６は、本実施の形態による評価値テーブルの例を示したものである。図１６は、既に説明した図８に示すテスト画像（２種類の背景色の境界部を移動する２つの物体が示された画像）に対して求めた評価値である。
この図１６に示すように、本実施の形態にも、２つのピーク位置Ｐ１，Ｐ２が明確化し、候補として正しく示されており、例えば複数の動きがある場合でも、その複数の動きをそれぞれ個別に判定できる。

［９．第３の実施の形態の例］
次に、本発明の第３の実施の形態を、図１７〜図２１を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報から評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第１の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。

そして本実施の形態においては、図１に示した動きベクトル検出装置の評価値テーブル形成部１２を、図１７に示す構成としたものである。図１７の評価値テーブル形成部１２において、第１，第２の実施の形態で説明した図３，図１１の評価値テーブル形成部１２と同一部分には同一符号を付す。
本実施の形態においては、注目画素と参照画素の双方の動き方位の複数の空間傾斜を加味して、評価値テーブルを形成させるようにしたものである。ここでも複数の空間傾斜としては、例えば、動き方位に対する最近接方位と、その最近接方位の次に近い方位である第２近接方位の２つを参照するものである。注目画素と参照画素の定義については、既に第１，第２の実施の形態で説明したものと同じである。即ち、注目画素は、動きベクトルを判定する上での基準となる点（基準点）の画素位置であり、参照画素は、注目画素とは後又は前の別のフレームのサーチエリア内の画素である。

図１７の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０′に供給する。相関演算部２０′は、参照点メモリ２４と注目点メモリ２５と絶対値算出部２６とを備える。参照点メモリ２４は、入力端子１１に得られる現在のフレームの画像信号の各画素値を記憶し、１フレーム期間経過する
と、その記憶データを注目点メモリ２５に移す処理を行う。絶対値算出部２６では、注目点メモリ２５から読み出した注目画素の画素値と、参照点メモリ２４から読み出した参照画素の画素値とを比較して、その差分の絶対値を算出する。

そして、検出した差分のデータを、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。

相関判定部３０で得られた評価値は、画素選別部９０に供給する。画素選別部９０は、相関判定部３０が出力する２値を選別するゲート部９１を備える。このゲート部９１を制御する構成として、動き方位算出部９２と、空間傾斜判定部９３と、比較部９４とを備える。動き方位算出部９２は、参照点メモリ２４の記憶データと注目点メモリ２５の記憶データとから、注目画素と参照画素との相対位置を算出し、その相対位置から動き方位を算出する。

動き方位が算出されると、空間傾斜判定部９３で、参照画素と動き方位の隣接画素の画素データを参照点メモリ２４から読み出し、参照画素の画素データと隣接画素データとの画素値の差分を算出する。ここで本例においては、隣接画素として、動き方位に最も近い方位である最近接方位の隣接画素と、最近接方位の次に動き方位に近い第２近接方位の隣接画素の２つを読み出し、最近接方位の隣接画素との差分と、第２近接方位の隣接画素との差分のそれぞれを算出する。

また、注目画素と動き方位の隣接画素の画素データを注目点メモリ２５から読み出し、注目画素の画素データと隣接画素データとの画素値の差分を算出する。この場合にも、隣接画素として、動き方位に最も近い方位である最近接方位の隣接画素と、最近接方位の次に動き方位に近い第２近接方位の隣接画素の２つを読み出し、最近接方位の隣接画素との差分と、第２近接方位の隣接画素との差分のそれぞれを算出する。

そして、比較部９４で、注目画素と参照画素の双方で、最近接方位及び第２近接方位の隣接画素との閾値以上の差があるか否か判断し、閾値を超える差がある場合に、ゲート部９１に供給される評価値を通過させる。参照画素と注目画素のいずれか一方でも閾値を超えていない場合には、ゲート部９１に供給される評価値の通過を阻止させる。また、比較部９４で閾値以上の差がありと判定した場合（即ち空間傾斜ありと判定した場合）には、空間傾斜ありを示すカウンタ（図示せず）をカウントアップさせる。

画素選別部９０のゲート部９１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。そして、評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。

この図１７の構成での処理動作を示したのが、図１８のフローチャートである。
図１８に沿って説明すると、図１７に示した構成での処理としては、相関演算部２０及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、さらに、画素選別部９０で選別する処理とが行われる。以下のフローチャートでは、画素選別部９０での処理を中心にして説明する。

まず、動き方位算出部９２で、参照画素とその参照画素に対応する注目画素との相対位置を算出し（ステップＳ６１）、その相対位置から動き方位を算出する（ステップＳ６２）。そして、注目点メモリ２５から、動き方位の最近接方位と第２近接方位の隣接画素の画素データを読み出し（ステップＳ６３）、その読み出した最近接方位と第２近接方位の隣接画素と注目画素の画素との差分を算出する（ステップＳ６４）。各隣接画素との差分を算出すると、その差分が予め設定された閾値を超えているか否か判断し（ステップＳ６５）、その判断でいずれも閾値を超えていない場合には、現在の評価値のゲート部９１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる（ステップＳ７０）。

ステップＳ６５で、注目画素と隣接画素との差分が、最近接方位と第２近接方位の双方で閾値を超えていると判断した場合には、空間傾斜ありを示す値のカウンタをカウントさせ（ステップＳ６６）、参照点メモリ２４から最近接方位と第２近接方位の動き方位の隣接画素の読み出しを行い（ステップＳ６７）、その読み出した最近接方位と第２近接方位の隣接画素と参照画素の画素との差分を算出する（ステップＳ６８）。隣接画素との差分を算出すると、その差分が予め設定された閾値を超えているか否か判断し（ステップＳ６９）、その判断でいずれかの方位で閾値を超えていない場合には、現在の評価値のゲート部９１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる（ステップＳ７０）。

また、相関演算部２０及び相関判定部３０での画素相関の検出で得られた、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２２１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部９０のゲート部９１に送られる。そして、相関判定部３０から画素選別部９０のゲート部９１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部９１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２２２）。

なお、この図１８のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部９１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

図１７の構成及び図１８のフローチャートでの処理状態の概要を示したのが、図１９である。
まず、図１９（ａ）に示すように、現在のフレーム（現フレーム）Ｆ１の１フレーム前の画像データである前フレームＦ０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ０とする。この注目画素ｄ０が決まると、その注目画素ｄ０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ１として評価値が算出される。

そして、図１９（ｂ）に示すように、前フレームＦ０の注目画素ｄ０と参照画素ｄ１との相対位置から動き方位を判断する。この図１９（ｂ）の例では、水平方向よりも若干斜め上の左に動いた例としてある。
このような動き方位の判断をした際に、図１９（ｃ）に太線の矢印で示すように、前フレームＦ０内で、注目画素とその画素に隣接する周囲の８画素の内で、動き方位に最も近い最近接方位（この例では左横）に隣接した画素を読み出し、その読み出した隣接画素と、注目画素ｄ０との差分を判定する。また、動き方位に２番目に近い方位である第２近接方位（この例では斜め左上）に隣接した画素を読み出し、その読み出した隣接画素と、注目画素ｄ０との差分を判定する。

さらに、参照画素に隣接する画素についても、動き方位に最も近い最近接方位（この例では左横）に隣接した画素と、動き方位に２番目に近い方位である第２近接方位（この例では斜め左上）に隣接した画素を読み出し、その読み出したそれぞれの隣接画素と、参照画素ｄ１との差分を判定する。
この判定で、注目画素側で、最近接方位と第２近接方位のいずれかの隣接画素との間で空間傾斜があり、さらに、参照画素側でも、最近接方位と第２近接方位のいずれかの隣接画素との間で空間傾斜があると判断された場合にだけ、そのときの参照画素ｄ１の評価値が、評価値テーブルに書き込まれることになる。

［１０．第３の実施の形態でＬＵＴを使用した例］
図１７，図１８の例では、演算処理で空間傾斜の有無を判定するようにしたが、本実施の形態の場合にも、ルックアップテーブル（ＬＵＴ）とパターンメモリを使用して空間傾斜の有無を判定する構成としてもよい。
図２０は、注目画素と参照画素の双方で、動き方位の最近接方位及び第２近接方位の隣接画素との差分から空間傾斜を判断する場合における、ＬＵＴとパターンメモリとを使用した構成例を示した図である。

以下、図２０を参照してその構成を説明する。図２０に示した評価値テーブル形成部１２は、画素選別部１００の構成が、図１７に示した評価値テーブル形成部１２の画素選別部９０とは異なるものであり、その他の部分（即ち相関演算部２０′，相関判定部３０，評価値テーブル算出部５０）については、図１７の構成と同じである。図２０の評価値テーブル形成部１２において、図１７の評価値テーブル形成部１２と同一部分には同一符号を付す。
図２０の構成において、画素選別部１００はゲート部１０１を備えて、相関判定部３０が出力する評価値を、ゲート部１０１で選別する。このゲート部１０１を制御する構成として、空間傾斜パターン算出部１０２と、参照点パターンメモリ１０３と、注目点パターンメモリ１０４と、パターン比較部１０５と、動き方位ＬＵＴ１０６と、動き方位算出部１０７とを備える。

空間傾斜パターン算出部１０２は、各フレームの画素データが供給されるごとに、各画素に対して、注目画素と周辺画素との空間傾斜の有無を０と１で表現し、フラグとして参照点パターンメモリ１０３に格納する。そして、動きが検出された方位に応じて、そのフラグを参照して、空間傾斜を判定する。また、ある時刻ｔのとき、現在フレーム（参照画素）で作成した画素ごとの空間傾斜の有無を示すフラグは、次のフレームが得られる時刻ｔ＋１のとき、前フレーム（注目画素）の各画素の空間傾斜の有無を示すフラグとして使用できる。このため、参照点パターンメモリ１０３の記憶データを、注目点パターンメモリ１０４に移す構成としてある。

動き方位算出部１０７では、探索範囲内の相対位置（動き）と、近接方向との関係を予め計算して、その計算されたデータを動き方位ＬＵＴ１０６として記憶しておく。記憶されたルックアップテーブルの値は、参照画素パターンメモリ１０３と注目点パターンメモリ１０４に送り、空間傾斜パターン算出部１０２で算出された最近接方位と第２近接方位の空間傾斜パターンと、動き方位ＬＵＴ１０６から読み出した、これら２つの動き方位の隣接画素のパターンとを、参照画素と注目画素のそれぞれについてパターン比較部１０５で比較し、その比較結果で、注目画素と参照画素の双方で空間傾斜ありと判定された場合に、ゲート部１０１で評価値を通過させ、傾斜なしの場合に通過を阻止させる制御を行う。また、パターン比較部１０５で空間傾斜ありと判定した場合には、空間傾斜ありの数をカウントするカウンタをカウントアップさせる。

図２１は、この図２０の構成による処理例を示したフローチャートである。
図２１に沿って説明すると、図２０に示した構成での処理としては、相関演算部２０′及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、さらに、画素選別部１００で選別する処理との２つの処理とが行われる。以下のフローチャートでは、画素選別部１００での処理を中心にして説明
する。

まず、空間傾斜パターン算出部１０２で、前フレームの注目画素と現フレームの参照画素との相対位置を算出し（ステップＳ７１）、その相対位置から動き方位を判定する。その判定した動き方位のデータを動き方位ＬＵＴ１０６から読み出し（ステップＳ７２）、さらに注目点パターンメモリ１０４から動き方位（最近接方位と第２近接方位）の隣接画素のパターンを読み出し（ステップＳ７３）、隣接画素の差分のパターンを判定する（ステップＳ７４）。この判定で、注目画素が空間傾斜なしと判定した場合には、ゲート部１０１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ７８）。

そして、空間傾斜ありと判定した場合には、空間傾斜ありの数をカウントするカウンタのカウントアップを行い（ステップＳ７５）、参照点パターンメモリ１０３から動き方位（最近接方位と第２近接方位）の隣接画素のパターンを読み出し（ステップＳ７６）、隣接画素の差分のパターンを判定する（ステップＳ７７）。この判定で、参照画素が空間傾斜なしと判定した場合には、ゲート部１０１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ７８）。

また、相関演算部２０′及び相関判定部３０での画素相関の検出で得られた、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２３１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１００のゲート部１０１に送られる。閾値未満でない場合には、ゲート部１０１に送らず、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ７８）。
ここまでの処理が行われると、相関判定部３０から画素選別部１００のゲート部１０１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部１０１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２３２）。
この図２０、図２１に示すように、ルックアップテーブルとパターンメモリを使用しても、注目画素の動き方位と参照画素の動き方位とを利用した評価値テーブルの作成処理が可能となる。ルックアップテーブルとパターンメモリとを使用することで、演算量を削減することができる。

なお、この図２１のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部１０１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

［１１．第４の実施の形態の例］
次に、本発明の第４の実施の形態を、図２２〜図２５を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報から評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第１の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。また、図１に示した動きベクトル検出装置の評価値テーブル形成部１２の構成についても、基本的な構成は、ここまで説明した各実施の形態での評価値テーブル形成部１２の構成と同じであり、各部でのデータ処理状態として、図２２のフローチャートに示した処理を行うようにしたものである。以下の説明では、評価値テーブル形成部１２は、図２０の構成を適用したものとして説明する。

本実施の形態においては、注目画素と参照画素の双方の動き方位の複数の空間傾斜を加味して、評価値テーブルを形成させるようにしたものである。ここでも複数の空間傾斜としては、動き方位に最も近い方位と、動き方位の法線方向の方位の２つを参照するものである。注目画素と参照画素の定義については、既に第１，第２の実施の形態で説明したものと同じである。即ち、注目画素は、動きベクトルを判定する上での基準となる点（基準点）の画素位置であり、参照画素は、注目画素とは後又は前の別のフレームのサーチエリア内の画素である。

図２２のフローチャートにおいて、図２１のフローチャートと同一処理ステップには、同一のステップ番号を付与してあり、本例ではステップＳ７３′及びステップＳ７６′で読み出す方位が異なるものである。
即ち、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２３１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１００のゲート部１０１に送られる。

画素選別部１００での処理としては、空間傾斜パターン算出部１０２で、前フレームの注目画素と現フレームの参照画素との相対位置を算出し（ステップＳ７１）、その相対位置から動き方位を判定する。その判定した動き方位のデータを動き方位ＬＵＴ１０６から読み出す（ステップＳ７２）。
そして、注目点パターンメモリ１０４から、動き方位の隣接画素と、その動き方位と直交する方位である法線方位の隣接画素の空間傾斜パターンを読み出す（ステップＳ７３′）。このようにして読み出された隣接画素と動き方位ＬＵＴ１０６から読み出したパターンとの差分のパターンを判定する（ステップＳ７４）。この判定で、注目画素が空間傾斜なしと判定した場合には、ゲート部１０１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ７８）。空間傾斜ありと判定した場合には、空間傾斜ありの数をカウントするカウンタのカウントアップを行う（ステップＳ７５）。

さらに、参照点パターンメモリ１０３から、動き方位の隣接画素と、その動き方位と直交する方位である法線方位の隣接画素の空間傾斜パターンを読み出す（ステップＳ７６′）。このようにして読み出された隣接画素と動き方位ＬＵＴ１０６から読み出したパターンとの差分のパターンを判定する（ステップＳ７７）。この判定で、参照画素が空間傾斜なしと判定した場合には、ゲート部１０１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ７８）。
また、相関演算部２０′及び相関判定部３０での画素相関の検出で得られた、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２３１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１００のゲート部１０１に送られる。閾値未満でない場合には、ゲート部１０１に送らず、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ７８）。
そして、相関判定部３０から画素選別部１００のゲート部１０１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部１０１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２３２）。

なお、この図２２のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部１０１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

図２２のフローチャートでの処理状態の概要を示したのが、図２３である。
まず、図２３（ａ）に示した現フレームＦ１での注目画素ｄ０と現フレームＦ１のサーチエリアＳＡ内に参照画素ｄ１が設定される点は、ここまで説明した他の実施の形態と同じである。図２３（ｂ）に示すように、前フレームＦ０の注目画素ｄ０と参照画素ｄ１との相対位置から動き方位を判断する点も、他の実施の形態と同じである。この図２３（ｂ）の例では、水平方向よりも若干斜め上の左に動いた例としてある。

本実施の形態では、このような動き方位の判断をした際に、図２３（ｃ）に太線の矢印で示すように、前フレームＦ０内で、注目画素とその画素に隣接する周囲の８画素の内で、動き方位に最も近い方位（この例では左横）に隣接した画素を読み出し、その読み出した隣接画素と、注目画素ｄ０との差分を判定する。また、動き方位と直交する方位である法線方向（この例では注目画素の真上及び真下）に隣接した画素を読み出し、その読み出した隣接画素と、注目画素ｄ０との差分を判定する。

さらに、参照画素に隣接する画素についても、動き方位に最も近い方位（この例では左横）に隣接した画素と、動き方位と直交する方位である法線方向（この例では注目画素の真上及び真下）に隣接した画素を読み出し、その読み出したそれぞれの隣接画素と、参照画素ｄ１との差分を判定する。
この判定で、注目画素側で、近接方位と法線方位の全ての隣接画素との間で空間傾斜があり、さらに、参照画素側でも、近接方位と法線方位のいずれかの隣接画素との間で空間傾斜があると判断された場合にだけ、そのときの参照画素ｄ１の評価値が、評価値テーブルに書き込まれることになる。
このように動き方位と法線方位から空間傾斜を判断することでも、良好な空間傾斜の判断が可能となる。

［１２．第４の実施の形態の変形例］
図２２、図２３の例では、動きのある方位の隣接画素は、動き方位に最も近い１つの方位の隣接画素を選び出すようにしたが、第３の実施の形態で説明したように、動き方位の隣接画素として、動き方位に最も近い最近接方位の隣接画素と、動き方位に次に近い第２近接方位の隣接画素とを読み出して、その上で最近接方位及び第２近接方位と直交する方位である法線方向の隣接画素を読み出すようにしてもよい。
図２４のフローチャートは、この場合の例を示したものである。図２４のフローチャートにおいて、図２１及び図２２のフローチャートと同一処理ステップには、同一のステップ番号を付与してあり、本例ではステップＳ７３″及びステップＳ７６″で読み出す方位が異なるものである。
注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２３１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１００のゲート部１０１に送られる。

画素選別部１００での処理としては、空間傾斜パターン算出部１０２で、前フレームの注目画素と現フレームの参照画素との相対位置を算出し（ステップＳ７１）、その相対位置から動き方位を判定する。その判定した動き方位のデータを動き方位ＬＵＴ１０６から読み出す（ステップＳ７２）。
そして、注目点パターンメモリ１０４から、動き方位に最も近い方位である最近接方位の隣接画素と、次に近い方位である第２近接方位の隣接画素と、最近接方位と直交する方位である法線方位の隣接画素の空間傾斜パターンと、第２近接方位と直交する方位である法線方位の隣接画素の空間傾斜パターンとを読み出す（ステップＳ７３″）。このようにして読み出された隣接画素と動き方位ＬＵＴ１０６から読み出したパターンとの差分のパターンを判定する（ステップＳ７４）。この判定で、注目画素が空間傾斜なしと判定した場合には、ゲート部１０１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ７８）。空間傾斜ありと判定した場合には、空間傾斜ありの数をカウントするカウンタのカウントアップを行う（ステップＳ７５）。

さらに、参照点パターンメモリ１０３から、動き方位に最も近い方位である最近接方位の隣接画素と、次に近い方位である第２近接方位の隣接画素と、最近接方位と直交する方位である法線方位の隣接画素の空間傾斜パターンと、第２近接方位と直交する方位である法線方位の隣接画素の空間傾斜パターンとを読み出す（ステップＳ７６″）。このようにして読み出された隣接画素と動き方位ＬＵＴ１０６から読み出したパターンとの差分のパターンを判定する（ステップＳ７７）。この判定で、参照画素が空間傾斜なしと判定した場合には、ゲート部１０１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ７８）。
また、相関演算部２０′及び相関判定部３０での画素相関の検出で得られた、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２３１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１００のゲート部１０１に送られる。閾値未満でない場合には、ゲート部１０１に送らず、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ７８）。
そして、相関判定部３０から画素選別部１００のゲート部１０１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部１０１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２３２）。

なお、この図２４のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部１０１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

また、図２４のフローチャートでは、最近接方位の法線方位の隣接画素と、第２近接方位の隣接画素とを読み出すようにしたが、例えば最近接方位については法線方位の隣接画素まで読み出しを行い、第２近接方位については法線方位の隣接画素は読み出さないようにしてもよい。
あるいは、注目画素と参照画素のいずれか一方でだけ、第２近接方位の隣接画素まで読み出して、空間傾斜を判断するようにしてもよい。

図２４のフローチャートでの処理状態の概要を示したのが、図２５である。
まず、図２５（ａ）の現フレームＦ１での注目画素ｄ０と現フレームＦ１のサーチエリアＳＡ内に参照画素ｄ１が設定される点は、ここまで説明した他の実施の形態と同じであり、図２５（ｂ）に示すように、前フレームＦ０の注目画素ｄ０と参照画素ｄ１との相対位置から動き方位（水平方向よりも若干斜め上の左の方位）を判断する点も、他の実施の形態と同じである。

そして、このような動き方位の判断をした際に、図２５（ｃ）に太線の矢印で示すように、前フレームＦ０内で、注目画素とその画素に隣接する周囲の８画素の内で、動き方位に最も近い方位である最近接方位（この例では左横）に隣接した画素を読み出し、さらに、次に近接した方位である第２近接方位（この例では斜め左上）に隣接した画素を読み出し、その読み出したそれぞれの隣接画素と、注目画素ｄ０との差分を判定する。また、動き方位と直交する方位である法線方向（この例では注目画素の真上及び真下）に隣接した画素を読み出し、その読み出した隣接画素と、注目画素ｄ０との差分を判定する。また、第２近接方位と直交する方位である法線方向（この例では注目画素の斜め左下及び斜め右上）に隣接した画素を読み出し、その読み出した隣接画素と、注目画素ｄ０との差分を判定する。

参照画素に隣接する画素についても、動き方位に最も近い方位である最近接方位（この例では左横）に隣接した画素を読み出し、さらに、次に近接した方位である第２近接方位（この例では斜め左上）に隣接した画素を読み出し、動き方位と直交する方位である法線方向（この例では注目画素の真上及び真下）に隣接した画素を読み出し、第２近接方位と直交する方位である法線方向（この例では注目画素の斜め左下及び斜め右上）に隣接した画素を読み出し、読み出したそれぞれの隣接画素と、参照画素ｄ１との差分を判定する。
この判定で、注目画素側で、近接方位と法線方位のいずれかの隣接画素との間で空間傾斜があり、さらに、参照画素側でも、近接方位と法線方位のいずれかの隣接画素との間で空間傾斜があると判断された場合にだけ、そのときの参照画素ｄ１の評価値が、評価値テーブルに書き込まれることになる。
このように動き方位と法線方位から空間傾斜を判断することでも、良好な空間傾斜の判断が可能となる。
なお、ここまでの説明では、動き方位に近接した方位と法線方位のそれぞれで隣接画素との間で閾値を超える差分がある場合に、空間傾斜ありと判定するようにしたが、動き方位に近接した方位と１つ（又は２つ）の法線方位の隣接画素とのいずれかで閾値を超える差分がある場合に、空間傾斜ありと判定するようにしてもよい。

［１３．第４の実施の形態で作成される評価値テーブルの例］
図２６、図２７は、テスト画像（図８例の画像とは異なる画像）に対して、第３及び第４の実施の形態で処理して評価値テーブルを形成させた例を示した図である。
図２６は、第３の実施の形態による評価値テーブルの例を示したものである。即ち、注目画素と参照画素のそれぞれで、最近接方位の空間傾斜と第２近接方位の空間傾斜から判定を行って、積算した評価値テーブルである。この例のテスト画像中には、２つの動いた物体があり、その２つの物体の動いた位置を示すピークが、それぞれの位置に正しく示されている。
図２７は、第４の実施の形態による評価値テーブルの例を示したものである。即ち、注目画素と参照画素のそれぞれで、動き方位の空間傾斜と法線方位の空間傾斜から判定を行って、積算した評価値テーブルである。この例でも２つの物体の動いた位置を示すピークが、それぞれの位置に正しく示されている。

［１４．第５の実施の形態の例］
次に、本発明の第５の実施の形態を、図２８〜図３６を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報から評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した第１の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。

そして本実施の形態においては、図１に示した動きベクトル検出装置の評価値テーブル形成部１２を、図２８に示す構成としたものである。図２８の評価値テーブル形成部１２において、第１〜第３の実施の形態で説明した図３，図１１，図１７の評価値テーブル形成部１２と同一部分には同一符号を付す。
本実施の形態においては、動き方位に関する隣接画素として、その動き方位と逆の方位の隣接画素を読み出して、差分を判断するようにしたものである。注目画素と参照画素の定義については、既に他の実施の形態で説明したものと同じである。即ち、注目画素は、動きベクトルを判定する上での基準となる点（基準点）の画素位置であり、参照画素は、注目画素とは後又は前の別のフレームのサーチエリア内の画素である。

図２８の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０′に供給する。相関演算部２０′は、参照点メモリ２４と注目点メモリ２５と絶対値算出部２６とを備える。参照点メモリ２４は、入力端子１１に得られる現在のフレームの画像信号の各画素値を記憶し、１フレーム期間経過すると、その記憶データを注目点メモリ２５に移す処理を行う。絶対値算出部２６では、注目点メモリ２５から読み出した注目画素の画素値と、参照点メモリ２４から読み出した参照画素の画素値とを比較して、その差分の絶対値を算出する。

そして、検出した差分のデータを、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。

相関判定部３０で得られた評価値は、画素選別部１１０に供給する。画素選別部１１０は、相関判定部３０が出力する２値を選別するゲート部１１１を備える。このゲート部１１１を制御する構成として、動き方位算出部１１２と、空間傾斜判定部１１３と、比較部１１４とを備える。動き方位算出部１１２は、参照点メモリ２４の記憶データと注目点メモリ２５の記憶データとから、注目画素と参照画素との相対位置を算出し、その相対位置から動き方位を算出する。

動き方位が算出されると、空間傾斜判定部１１３で、参照画素と動き方位と逆方位の隣接画素の画素データを参照点メモリ２４から読み出し、参照画素の画素データと隣接画素データとの画素値の差分を算出する。
また、注目画素と動き方位と逆方位の隣接画素の画素データを注目点メモリ２５から読み出し、注目画素の画素データと隣接画素データとの画素値の差分を算出する。

そして、比較部１１４で、注目画素と参照画素の双方で、動き方位と逆方位の隣接画素との閾値以上の差があるか否か判断し、閾値を超える差がある場合に、ゲート部１１１に供給される評価値を通過させる。参照画素と注目画素のいずれか一方でも閾値を超えていない場合には、ゲート部１１１に供給される評価値の通過を阻止させる。

画素選別部１１０のゲート部１１１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。そして、評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。なお、画素選別部１１０で閾値を用いた判定で、空間傾斜ありと判断された数は、カウンタ（図示せず）でカウントされる。

この図２８の構成での処理動作を示したのが、図２９のフローチャートである。
図２９に沿って説明すると、図２８に示した構成での処理としては、相関演算部２０′及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、さらに、画素選別部１１０で選別する処理とが行われる。以下のフローチャートでは、画素選別部１１０での処理を中心にして説明する。

まず、動き方位算出部１１２で、参照画素とその参照画素に対応する注目画素との相対位置を算出し（ステップＳ８１）、その相対位置から動き方位を算出する（ステップＳ８２）。そして、注目点メモリ２５から、動き方位と逆方位の隣接画素の画素データを読み出し（ステップＳ８３）、その読み出した動き方位と逆方位の隣接画素と注目画素の画素との差分を算出する（ステップＳ８４）。隣接画素との差分を算出すると、その差分が予め設定された閾値を超えているか否か判断し（ステップＳ８５）、その判断で閾値を超えていない場合には、現在の評価値のゲート部１１１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる（ステップＳ９０）。

ステップＳ８５で、注目画素と隣接画素との差分が、閾値を超えていると判断した場合には、空間傾斜ありの数をカウントするカウンタをカウントアップさせ（ステップＳ８６）、参照点メモリ２４から動き方位と逆方位の隣接画素の読み出しを行い（ステップＳ８７）、その読み出した動き方位と逆方位の隣接画素と参照画素の画素との差分を算出する（ステップＳ８８）。隣接画素との差分を算出すると、その差分が予め設定された閾値を超えているか否か判断し（ステップＳ８９）、その判断で閾値を超えていない場合には、現在の評価値のゲート部１１１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる（ステップＳ９０）。
また、相関演算部２０′で得られた、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２４１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１１０のゲート部１１１に送られる。閾値未満でない場合には、ゲート部１０１に送らず、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ９０）。
そして、ステップＳ２４１で閾値未満である場合には、相関判定部３０から画素選別部１１０のゲート部１１１に送られる。
ここまでの処理が行われると、相関判定部３０から画素選別部１１０のゲート部１１１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部１１１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２４２）。

なお、この図２９のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部１１１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

図２８の構成及び図２９のフローチャートでの処理状態の概要を示したのが、図３０である。
まず、図３０（ａ）に示した現フレームＦ１での注目画素ｄ０と現フレームＦ１のサーチエリアＳＡ内に参照画素ｄ１が設定される点は、ここまで説明した他の実施の形態と同じである。図３０（ｂ）に示すように、前フレームＦ０の注目画素ｄ０と参照画素ｄ１との相対位置から動き方位を判断する点も、他の実施の形態と同じである。この図３０（ｂ）の例では、左横に水平に動いた例としてある。

本実施の形態では、このような動き方位の判断をした際に、図３０（ｃ）に太線の矢印で示すように、前フレームＦ０内で、注目画素とその画素に隣接する周囲の８画素の内で、動き方位と逆方位（この例では右横）に隣接した画素を読み出し、その読み出した隣接画素と、注目画素ｄ０との差分を判定する。

参照画素に隣接する画素についても、動き方位と逆方位（この例では右横）に隣接した画素を読み出し、その読み出した隣接画素と、参照画素ｄ１との差分を判定する。
この判定で、注目画素側で、隣接画素との間で空間傾斜があり、さらに、参照画素側でも、隣接画素との間で空間傾斜があると判断された場合にだけ、そのときの参照画素ｄ１の評価値が、評価値テーブルに書き込まれることになる。
このように動き方位と逆の方位から空間傾斜を判断することでも、良好な空間傾斜の判断が可能となる。

［１５．第５の実施の形態の他の例］
図２８，図２９の例では、動き方位と逆方位の隣接画素だけを読み出して、差分を判断するようにしたが、動き方位の隣接画素と、その逆方位の隣接画素との双方などの複数の隣接画素を読み出し、それぞれの隣接画素の差分を判断するようにしてもよい。
図３１及び図３２は、動き方位の隣接画素と、その逆方位の隣接画素を読み出して、各隣接画素の差分を判断する構成及びフローチャートを示したものである。

まず図３１を参照して、構成を説明する。図３１に示した評価値テーブル形成部１２は、画素選別部１２０の構成が、図２０に示した評価値テーブル形成部１２の画素選別部１００とは異なるものであり、その他の部分（即ち相関演算部２０′，相関判定部３０，評価値テーブル算出部５０）については、図２０の構成と同じである。図３１の評価値テーブル形成部１２において、図２０の評価値テーブル形成部１２と同一部分には同一符号を付す。
図３１の構成において、画素選別部１２０はゲート部１２１を備えて、相関判定部３０が出力する評価値を、ゲート部１２１で選別する。このゲート部１２１を制御する構成として、空間傾斜パターン算出部１２２と、参照点パターンメモリ１２３と、注目点パターンメモリ１２４と、パターン比較部１２５と、動き方位ＬＵＴ１２６と、動き方位算出部１２７とを備える。

空間傾斜パターン算出部１２２は、各フレームの画素データが供給されるごとに、各画素に対して、注目画素と周辺画素との空間傾斜の有無を０と１で表現し、フラグとして参照点パターンメモリ１２３に格納する。そして、動きが検出された方位に応じて、そのフラグを参照して、空間傾斜を判定する。また、ある時刻ｔのとき、現在フレーム（参照画素）で作成した画素ごとの空間傾斜の有無を示すフラグは、次のフレームが得られる時刻ｔ＋１のとき、前フレーム（注目画素）の各画素の空間傾斜の有無を示すフラグとして使用できる。このため、参照点パターンメモリ１２３の記憶データを、注目点パターンメモリ１２４に移す構成としてある。

動き方位算出部１２７では、探索範囲内の相対位置（動き）と、近接方向との関係を予め計算して、その計算されたデータを動き方位ＬＵＴ１２６として記憶しておく。記憶されたルックアップテーブルの値は、参照点パターンメモリ１２３と注目点パターンメモリ１２４に送り、空間傾斜パターン算出部１２２で算出された動き方位と同じ方位の隣接画素と逆方位の隣接画素を考慮した空間傾斜パターンと、動き方位ＬＵＴ１２６から読み出した、これら２つの方位のパターンとを、参照画素と注目画素のそれぞれについてパターン比較部１２５で比較し、その比較結果で、注目画素と参照画素の双方で空間傾斜ありと判定された場合に、ゲート部１２１で評価値を通過させ、傾斜なしの場合に通過を阻止させる制御を行う。また、パターン比較部１２５で傾斜ありと判定した場合には、空間傾斜ありの数をカウントするカウンタをカウントアップさせる。

図３２は、この図３１の構成による処理例を示したフローチャートである。
図３２に沿って説明すると、図３１に示した構成での処理としては、相関演算部２０′及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、さらに、画素選別部１２０で選別する処理とが行われる。以下のフローチャートでは、画素選別部１２０での処理を中心にして説明する。

まず、空間傾斜パターン算出部１２２で、前フレームの注目画素と現フレームの参照画素との相対位置を算出し（ステップＳ９１）、その相対位置から動き方位を判定する。その判定した動き方位のデータと逆方位のデータとを動き方位ＬＵＴ１２６から読み出し（ステップＳ９２）、さらに注目点パターンメモリ１２４から動き方位と逆方位の隣接画素のパターンを読み出し（ステップＳ９３）、隣接画素の差分のパターンを判定する（ステップＳ９４）。この判定で、注目画素が空間傾斜なしと判定した場合には、ゲート部１２１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ９８）。

そして、空間傾斜ありと判定した場合には、空間傾斜ありの数をカウントするカウンタのカウントアップを行い（ステップＳ９５）、参照点パターンメモリ１２３から動き方位とその反対の方位の隣接画素のパターンを読み出し（ステップＳ９６）、隣接画素の差分のパターンを判定する（ステップＳ９７）。この判定で、参照画素が空間傾斜なしと判定した場合には、ゲート部１２１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ９８）。

また、相関演算部２０′及び相関判定部３０で得られた、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２５１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１２０のゲート部１２１に送られる。閾値未満でない場合には、ゲート部１２１に送られず、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ９８）。
ここまでの処理が行われると、相関判定部３０から画素選別部１２０のゲート部１２１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部１２１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２５２）。

なお、この図３２のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部１２１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

図３３は、図３１の構成及び図３２のフローチャートでの処理状態の概要を示した図である。
まず、図３３（ａ）に示した現フレームＦ１での注目画素ｄ０と現フレームＦ１のサーチエリアＳＡ内に参照画素ｄ１が設定される点は、ここまで説明した他の実施の形態と同じである。図３３（ｂ）に示すように、前フレームＦ０の注目画素ｄ０と参照画素ｄ１との相対位置から動き方位を判断する点も、他の実施の形態と同じである。この図３３（ｂ）の例では、左横に水平に動いた例としてある。

本実施の形態では、このような動き方位の判断をした際に、図３３（ｃ）に太線の矢印で示すように、前フレームＦ０内で、注目画素とその画素に隣接する周囲の８画素の内で、動き方位（この例では左横）に隣接した画素を読み出し、さらに動き方位と逆方位（この例では右横）に隣接した画素を読み出し、その読み出した２つの隣接画素と、注目画素ｄ０との差分を判定する。

参照画素に隣接する画素についても、動き方位（この例では左横）に隣接した画素を読み出すと共に、その動き方位と逆方位（この例では右横）に隣接した画素を読み出し、その読み出した隣接画素と、参照画素ｄ１との差分を判定する。
この判定で、注目画素側で、両方向の隣接画素との間で空間傾斜があり、さらに、参照画素側でも、両方向の隣接画素との間で空間傾斜があると判断された場合にだけ、そのときの参照画素ｄ１の評価値が、評価値テーブルに書き込まれることになる。

［１６．第５の実施の形態で作成される評価値テーブルの例］
図３４は、テスト画像に対して、第５の実施の形態で処理して評価値テーブルを形成させた例を示した図である。注目画素と参照画素のそれぞれで、動き方位の空間傾斜と逆方位の空間傾斜から判定を行って、積算した評価値テーブルである。この例のテスト画像についても、２つの物体が毎フレームで動いている画像であり、その２つの物体の動いた位置を示すピークが、それぞれの位置に正しく示されている。
このように動き方位と逆の方位の双方から空間傾斜を判断することでも、良好な空間傾斜の判断が可能となる。

［１７．第５の実施の形態の変形例］
なお、動き方位の隣接画素と動きと逆方位の隣接画素に、さらに別の隣接画素を組み合わせて、空間傾斜を判断するようにしてもよい。
例えば、動き方位の隣接画素と動きと逆方位の隣接画素の他に、さらに法線方位の隣接画素と、第２近接方位の隣接画素とから、空間傾斜の有無を判断してもよい。

図３５のフローチャートは、この動き方位の隣接画素と動きと逆方位の隣接画素の他に、さらに法線方位の隣接画素と、第２近接方位の隣接画素とから、空間傾斜の有無を判断する例を示した図である。
図３５のフローチャートにおいて、図３２のフローチャートと同一処理ステップには、同一のステップ番号を付与してあり、本例ではステップＳ９２′とステップＳ９３′とステップＳ９６′で読み出す方位が異なるものである。

即ち、空間傾斜パターン算出部１２２で、前フレームの注目画素と現フレームの参照画素との相対位置を算出し（ステップＳ９１）、その相対位置から動き方位を判定する。その判定した動き方位の最近接方位のデータと逆方位のデータと法線方位のデータと第２近接方位のデータとを動き方位ＬＵＴ１２６から読み出し（ステップＳ９２′）、さらに注目点パターンメモリ１２４から動き方位の最近接方位と逆方位と法線方位と第２近接方位の隣接画素のパターンを読み出し（ステップＳ９３′）、隣接画素の差分のパターンを判定する（ステップＳ９４）。この判定で、いずれか１つ又は全ての差分が閾値を超えてなく、注目画素が空間傾斜なしと判定した場合には、ゲート部１２１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ９８）。

そして、全ての方位で閾値を超えて空間傾斜ありと判定した場合には、空間傾斜ありの数をカウントするカウンタのカウントアップを行い（ステップＳ９５）、参照点パターンメモリ１２３から動き方位の最近接方位とその反対の方位と法線方位と第２近接方位の隣接画素のパターンを読み出し（ステップＳ９６′）、隣接画素の差分のパターンを判定する（ステップＳ９７）。この判定で、いずれか１つ又は全ての差分が閾値を超えてなく、参照画素が空間傾斜なしと判定した場合には、ゲート部１２１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ９８）。
また、相関演算部２０′で検出された注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２５１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１２０のゲート部１２１に送られる。閾値未満でない場合には、ゲート部１２１に送られず、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ９８）。
ここまでの処理が行われると、相関判定部３０から画素選別部１２０のゲート部１２１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部１２１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２５２）。

なお、この図３５のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部１２１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

図３６は、図３５のフローチャートの処理例の概要を示した図である。図３６（ａ）及び（ｂ）は、図２３の（ａ）及び（ｂ）などと同じであり、図３６（ａ）は参照画素が存在する現フレーム及び注目画素が存在する前フレームを示した図である。
そして、図３５（ｃ）に示すように、参照画素と注目画素のそれぞれで、太線の矢印で示したように、動き方位の最近接方位と、その最近接方位と逆の方位と、最近接方位と直交する２つの法線方位と、最近接方位の次に近い第２近接方位の５つの方位の隣接画素と、中央の画素（参照画素又は注目画素）との差分を判断して、空間傾斜の有無を判断する。
なお、図３４のフローチャートでは、空間傾斜の有無を判断する場合に、全ての隣接画素との間で閾値を超える差を検出した場合に空間傾斜ありと判断するようにしたが、例えば図３５に太線の矢印で示した５つの方位の内で、予め決めた複数個（例えば３個又は４個）の方位の隣接画素が、閾値を超える差がある場合に、空間傾斜ありと判断するようにしてもよい。

［第６の実施の形態の例］
次に、本発明の第６の実施の形態を、図３７〜図４４を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報から評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、先に説明した各実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。

そして本実施の形態においては、図１に示した動きベクトル検出装置の評価値テーブル形成部１２を、図３７に示す構成としたものである。図３７の評価値テーブル形成部１２において、第１〜第５の実施の形態で説明した図３，図１１，図１７，図２８の評価値テーブル形成部１２と同一部分には同一符号を付す。
本実施の形態においては、動き方位の隣接画素（下位階層の隣接画素）と、動き方位の所定画素数離れた画素（上位階層の隣接画素）とを読み出して、下位階層と上位階層とのそれぞれで差分を判断するようにしたものである。下位階層の隣接画素と上位階層の隣接画素については、後述する図３９及び図４０で説明する。注目画素と参照画素の定義については、既に他の実施の形態で説明したものと同じである。即ち、注目画素は、動きベクトルを判定する上での基準となる点（基準点）の画素位置であり、参照画素は、注目画素とは後又は前の別のフレームのサーチエリア内の画素である。

図３７の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０′に供給する。相関演算部２０′は、参照点メモリ２４と注目点メモリ２５と絶対値算出部２６とを備える。参照点メモリ２４は、入力端子１１に得られる現在のフレームの画像信号の各画素値を記憶し、１フレーム期間経過すると、その記憶データを注目点メモリ２５に移す処理を行う。絶対値算出部２６では、注目点メモリ２５から読み出した注目画素の画素値と、参照点メモリ２４から読み出した参照画素の画素値とを比較して、その差分の絶対値を算出する。

そして、検出した差分のデータを、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。

相関判定部３０で得られた評価値は、画素選別部１３０に供給する。画素選別部１３０は、相関判定部３０が出力する２値を選別するゲート部１３１を備える。このゲート部１３１を制御する構成として、動き方位算出部１３２と、空間傾斜判定部１３３と、比較部１３４とを備える。動き方位算出部１３２は、参照点メモリ２４の記憶データと注目点メモリ２５の記憶データとから、注目画素と参照画素との相対位置を算出し、その相対位置から動き方位を算出する。

動き方位が算出されると、空間傾斜判定部１３３で、参照画素と動き方位の下位階層の隣接画素の画素データと上位階層の隣接画素の画素データとを参照点メモリ２４から読み出し、参照画素の画素データと隣接画素データとの画素値の差分を算出する。
そして、比較部１３４で、注目画素と参照画素の双方で、動き方位の下位階層の隣接画素と上位階層の隣接画素とのそれぞれに、閾値以上の差があるか否か判断し、閾値を超える差がある場合に、ゲート部１３１に供給される評価値を通過させる。参照画素と注目画素のいずれか１つの階層でも、閾値を超えていない場合には、ゲート部１３１に供給される評価値の通過を阻止させる。

画素選別部１３０のゲート部１３１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。また、画素選別部１３０のゲート部１３１に供給される空間傾斜ありの数をカウントするカウンタ（図示せず）を備える。そして、評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。

この図３７の構成での処理動作を示したのが、図３８のフローチャートである。
図３８に沿って説明すると、図３１に示した構成での処理としては、相関演算部２０′及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、さらに、画素選別部１３０で選別する処理とが行われる。以下のフローチャートでは、画素選別部１３０での処理を中心にして説明する。

まず、動き方位算出部１３２で、参照画素とその参照画素に対応する注目画素との相対位置を算出し（ステップＳ１０１）、その相対位置から動き方位を算出する（ステップＳ１０２）。そして、注目点メモリ２５から、動き方位の隣接画素（下位階層の隣接画素及び上位階層での隣接画素）の画素データを読み出す（ステップＳ１０３）。

以後は上位階層での処理と下位階層での処理が並行して行われる。
まず上位階層での処理（図３８の右側）を説明すると、注目画素との上位階層での隣接差分を算出する（ステップＳ１０４）。その算出した注目画素との上位階層での隣接差分が、閾値を超えているか否か判断し（ステップＳ１０５）、超えていない場合には、ステップＳ１１０に移って、現在の評価値のゲート部１３１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる。
ステップＳ１０５で閾値を超える差分があると判断した場合には、上位階層で空間傾斜があることを示す値のカウンタをカウントさせ（ステップＳ１０６）、参照点メモリ２４から動き方位の上位階層の隣接画素の読み出しを行い（ステップＳ１０７）、その読み出した上位階層の隣接画素と参照画素の画素との差分を算出する（ステップＳ１０８）。上位階層での隣接画素との差分を算出すると、その差分が予め設定された閾値を超えているか否か判断し（ステップＳ１０９）、その判断で閾値を超えていない場合には、現在の評価値のゲート部１３１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる（ステップＳ１１０）。
また、相関演算部２０′で検出された注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２６１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１３０のゲート部１３１に送られる。閾値未満でない場合には、ゲート部１３１に送られない（ステップＳ１１０）。

下位階層での処理（図３８の左側）を説明すると、注目画素との下位階層での隣接差分を算出する（ステップＳ１１１）。その算出した注目画素との下位階層での隣接差分が、閾値を超えているか否か判断し（ステップＳ１１２）、超えていない場合には、ステップＳ１１０に移って、現在の評価値のゲート部１３１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる。
ステップＳ１１２で閾値を超える差分があると判断した場合には、下位階層で空間傾斜があることを示す値のカウンタをカウントさせ（ステップＳ１１３）、参照点メモリ２４から動き方位の下位階層の隣接画素の読み出しを行い（ステップＳ１１４）、その読み出した下位階層の隣接画素と参照画素の画素との差分を算出する（ステップＳ１１５）。下位階層での隣接画素との差分を算出すると、その差分が予め設定された閾値を超えているか否か判断し（ステップＳ１１６）、その判断で閾値を超えていない場合には、現在の評価値のゲート部１３１での通過を阻止させて、評価値テーブルへの書き込みを禁止させる（ステップＳ１１０）。
また、相関演算部２０′で検出された注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２６２）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１３０のゲート部１３１に送られる。閾値未満でない場合には、ゲート部１３１に送られない（ステップＳ１１０）。

そして、ここまでの処理で、上位階層と下位階層とのそれぞれで、注目画素と参照画素のそれぞれが閾値を超える差分があると判断した場合に、相関判定部３０から画素選別部１３０のゲート部１３１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部１３１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２６３）。

なお、この図３８のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部１３１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

また、図３８のフローチャートの説明では、上位階層と下位階層とのそれぞれで、注目画素及び参照画素で隣接差分を算出して、空間傾斜の有無を判定した結果に基づいて、同じ条件で画素選別部１３０での選別を行うようにしたが、上位階層と下位階層とで、選別条件を変更するようにしてもよい。例えば、下位階層では、注目画素と参照画素との相関判定のみを行い、上位階層では、参照画素と注目画素のそれぞれで空間傾斜の有無を基づいて選別する構成としてもよい。さらに、空間傾斜の有無で選別する場合には、参照画素と注目画素の双方で空間傾斜がある場合だけでなく、参照画素と注目画素のいずれか一方で空間傾斜がある画素を選別する構成としてもよい。さらにまた、これらとは逆に、上位階層で、注目画素と参照画素との相関判定のみを行い、下位階層で、参照画素と注目画素のそれぞれで（又は参照画素と注目画素のいずれかで）空間傾斜の有無を基づいて選別する構成としてもよい。

図３７の構成及び図３８のフローチャートでの処理状態の概要を示したのが、図３９〜図４１である。
まず、図３９に、注目画素での上位階層での隣接画素と下位階層での隣接画素の例を示す。この例では、下位階層での隣接画素については、第１から第５の実施の形態で説明したように、注目画素の画素に、直接隣接する画素である。即ち図３９（ａ）に示すように、中央の画素を注目画素とすると、その画素に直接隣接する画素が下位階層での隣接画素であり、動き方位に応じて、いずれかの方位の隣接画素が選択される。
一方、上位階層での注目画素の隣接画素は、予め決めた画素数を単位としてブロックを決めてあり、その１ブロックだけ離れた位置の画素を隣接画素とする。図３９の例では、１ブロックを縦３画素×横３画素の９画素としてあり、隣接ブロックの中央の画素を、上位階層の隣接画素とする。例えば、動き方位が左横であるとき、左横のブロックの中央の画素を、上位階層での動き方位での隣接画素とする。そして、その選び出した隣接画素と注目画素の画素とを比較して、差分を得る。

或いは、図３９（ｂ）に示すように、注目画素が属する９画素のブロックの輝度値の平均を出し、動き方位に隣接するブロック内の９画素の輝度値の平均を出し、それぞれの平均の差分から、上位階層での注目画素の動き方位での差分を得るようにしてもよい。

図４０は、参照画素の場合の例を示した図である。参照画素の場合も、下位階層での隣接画素については、参照画素の画素に、直接隣接する画素である。即ち図４０（ａ）に示すように、中央の画素を参照画素とすると、その画素に直接隣接する画素が下位階層での隣接画素であり、動き方位に応じて、いずれかの方位の隣接画素が選択される。
一方、上位階層での参照画素の隣接画素は、予め決めた画素数を単位としてブロックを決めてあり、その１ブロックだけ離れた位置の画素を隣接画素とする。図３９の例では、１ブロックを縦３画素×横３画素の９画素としてあり、隣接ブロックの中央の画素を、上位階層の隣接画素とする。例えば、動き方位が左横であるとき、左横のブロックの中央の画素を、上位階層での動き方位での隣接画素とする。そして、その選び出した隣接画素と参照画素の画素とを比較して、差分を得る。

或いは、図４０（ｂ）に示すように、参照画素が属する９画素のブロックの輝度値の平均を出し、動き方位に隣接するブロック内の９画素の輝度値の平均を出し、それぞれの平均の差分から、上位階層での参照画素の動き方位での差分を得るようにしてもよい。

このように隣接階層を設定して、図４１（ａ）に示すように、前フレームＦ０の注目画素ｄ０と現フレームＦ１の参照画素ｄ１とを設定して、評価値を算出する際に、図４１（ｂ）に示すように、注目画素と参照画素のそれぞれで、動きの方位の隣接階層の隣接画素などを読み出して、空間傾斜の判定を行うようにする。図４１において丸で示されるものは、１つの階層での画素又はブロックであり、図４１（ａ）に示されるサーチエリアＳＡの範囲は、下位階層と上位階層で範囲を変えてもよい。

［１５．第６の実施の形態でＬＵＴを使用した例］
図３７及び図３８の例では、動き方位の各階層の隣接画素を読み出して差分の閾値との比較から空間傾斜を判定するようにしたが、この例においてもＬＵＴとパターンメモリを使用して、そのＬＵＴとパターンメモリとの比較で、評価値テーブルへの書き込みの制限を行うようにしてもよい。
図４２は、このＬＵＴとパターンメモリを使用した場合の評価値テーブル形成部１２の構成例を示したものである。

図４２に示した評価値テーブル形成部１２は、画素選別部１４０の構成が、既に説明した他の実施の形態の例での評価値テーブル形成部１２の画素選別部（図２０，図３１の画素選別部１００，１２０など）とは異なるものであり、その他の部分（即ち相関演算部２０′，相関判定部３０，評価値テーブル算出部５０）については、図２０，図３１の構成と同じである。図４２の評価値テーブル形成部１２において、図２０，図３１の評価値テーブル形成部１２と同一部分には同一符号を付す。
図４２の構成において、画素選別部１４０はゲート部１４１を備えて、相関判定部３０が出力する評価値を、ゲート部１４１で選別する。このゲート部１４１を制御する構成として、空間傾斜パターン算出部１４２と、参照点パターンメモリ１４３と、注目点パターンメモリ１４４と、パターン比較部１４５と、動き方位ＬＵＴ１４６と、動き方位算出部１４７とを備える。

空間傾斜パターン算出部１４２は、各フレームの画素データが供給されるごとに、各画素に対して、注目画素と周辺画素との空間傾斜の有無を０と１で表現し、フラグとして参照点パターンメモリ１４３に格納する。そして、動きが検出された方位に応じて、そのフラグを参照して、空間傾斜を判定する。また、ある時刻ｔのとき、現在フレーム（参照画素）で作成した画素ごとの空間傾斜の有無を示すフラグは、次のフレームが得られる時刻ｔ＋１のとき、前フレーム（注目画素）の各画素の空間傾斜の有無を示すフラグとして使用できる。このため、参照点パターンメモリ１４３の記憶データを、注目点パターンメモリ１４４に移す構成としてある。

動き方位算出部１４７では、探索範囲内の相対位置（動き）と、近接方向との関係を予め計算して、その計算されたデータを動き方位ＬＵＴ１４６として記憶しておく。動き方位ＬＵＴ１４６では、下位階層での空間傾斜パターンと、上位階層での空間傾斜パターンとを記憶する。記憶されたルックアップテーブルの値は、参照点パターンメモリ１４３と注目点パターンメモリ１４４に送り、空間傾斜パターン算出部１４２で算出された動き方位と同じ方位の隣接画素と逆方位の隣接画素を考慮した空間傾斜パターンと、動き方位ＬＵＴ１４６から読み出した、これら２つの方位のパターンとを、参照画素と注目画素のそれぞれについて、下位階層と上位階層のそれぞれについてパターン比較部１４５で比較し、その比較結果で、注目画素と参照画素の双方で空間傾斜ありと判定された場合に、ゲート部１４１で評価値を通過させ、傾斜なしの場合に通過を阻止させる制御を行う。また、パターン比較部１４５で傾斜ありと判定した場合には、傾斜ありをカウントするカウンタをカウントアップさせる。

図４３は、この図４２の構成による処理例を示したフローチャートである。
図４３に沿って説明すると、図４２に示した構成での処理としては、相関演算部２０′及び相関判定部３０での画素相関があることの検出に基づいた候補検出処理と、その相関判定部３０で得られた候補を、さらに、画素選別部１２０で選別する処理との２つの処理が行われる。以下のフローチャートでは、画素選別部１２０での処理を中心にして説明する。

まず、空間傾斜パターン算出部１４２で、前フレームの注目画素と現フレームの参照画素との相対位置を算出し（ステップＳ１２１）、その相対位置から動き方位を判定する。その判定した動き方位のデータを動き方位ＬＵＴ１４６から読み出し（ステップＳ１２２）、さらに注目点パターンメモリ１４４から動き方位の下位階層と上位階層とのそれぞれの隣接画素のパターンを読み出し（ステップＳ１２３）、階層ごとに隣接画素の差分のパターンを判定する（ステップＳ１２４）。この判定で、注目画素が空間傾斜なしと判定した場合には、ゲート部１４１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ１２８）。

そして、２つの階層の判断で空間傾斜ありと判定した場合には、空間傾斜ありの数をカウントするカウンタのカウントアップを行い（ステップＳ１２５）、参照点パターンメモリ１４３から動き方位の下位階層と上位階層とのそれぞれの隣接画素のパターンを読み出し（ステップＳ１２６）、階層ごとに隣接画素の差分のパターンを判定する（ステップＳ１２７）。この判定で、参照画素が空間傾斜なしと判定した場合には、ゲート部１４１で評価値の通過を阻止させ、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ１２８）。
また、相関演算部２０′で検出された、注目画素と参照画素との差分の絶対値が、閾値未満であるか否か判断される（ステップＳ２７１）。この判断で、閾値未満である場合には、相関判定部３０から画素選別部１４０のゲート部１４１に送られる。閾値未満でない場合には、ゲート部１４１に送られず、評価値テーブル５２に該当する評価値を書き込ませない（ステップＳ１２８）。
ここまでの処理が行われると、相関判定部３０から画素選別部１４０のゲート部１４１に送られたデータ（画素相関のあるデータ）の内で、画素選別でゲート部１４１を通過させた数（頻度）が、評価値テーブルに書き込まれる（ステップＳ２５２）。
このように、階層ごとの空間傾斜の判断を、ＬＵＴとパターンメモリを使用することによっても可能である。

なお、この図４３のフローチャートについても、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断の両方が条件を満たした場合に、評価値テーブルに書き込みを行うようにしたが、注目画素での空間傾斜の判断と、参照画素での空間傾斜の判断のいずれか一方での判断で条件を満たした場合に、ゲート部１４１を通過させて、評価値テーブルに書き込みを行うようにしてもよい。

また、図４３のフローチャートの説明では、上位階層と下位階層とのそれぞれで、注目画素及び参照画素で隣接差分を算出して、空間傾斜の有無を判定した結果に基づいて、同じ条件で画素選別部１３０での選別を行うようにしたが、上位階層と下位階層とで、選別条件を変更するようにしてもよい。例えば、下位階層では、注目画素と参照画素との相関判定のみを行い、上位階層では、参照画素と注目画素のそれぞれで空間傾斜の有無を基づいて選別する構成としてもよい。さらに、空間傾斜の有無で選別する場合には、参照画素と注目画素の双方で空間傾斜がある場合だけでなく、参照画素と注目画素のいずれか一方で空間傾斜がある画素を選別する構成としてもよい。さらにまた、これらとは逆に、上位階層で、注目画素と参照画素との相関判定のみを行い、下位階層で、参照画素と注目画素のそれぞれで（又は参照画素と注目画素のいずれかで）空間傾斜の有無を基づいて選別する構成としてもよい。

［１６．第６の実施の形態で作成される評価値テーブルの例］
図４４は、図８に示したテスト画像に対して、図３７及び図３８の階層を用いて動き方向の隣接画素との差分を判断して、評価値テーブルへの書き込みの制限を構成なって形成させた評価値テーブルの例を示した図である。
この図４４に示すように、階層を用いて空間傾斜を判断することによっても、テスト画像中の２つの物体の動きに対応したピーク位置が正確に定まった評価値テーブルが形成される。従って、動きベクトルなどを正確に検出することが可能となる。

なお、この第６の実施の形態では、階層を用いて空間傾斜の有無を判断する場合に、動きの方位に隣接する下位階層と上位階層での隣接画素との比較から判断するようにしたが、第１〜第５の実施の形態で説明したように、動き方位とは反対方向や、法線方向、あるいは動き方位に最も近い最近接方位と次に近い第２近接方位の隣接画素についても判断する処理構成として、その場合に、各方位を下位階層と上位階層での隣接画素との比較から判断するようにしてもよい。

［１７．動きベクトル抽出部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル抽出部１３の構成及び動作の例について、図４５〜図４６を参照して説明する。
図４５は、図１の動きベクトル抽出部１３の例を示したものである。
動きベクトル抽出部１３では、入力端子１３ａに、評価値テーブルデータが供給される。この評価値テーブルデータは、例えば、既に説明した第１〜第３の実施の形態のいずれかの処理構成で得られた動きベクトルの評価値テーブルのデータであり、１つのフレーム内で候補ベクトルとなる可能性のある動くベクトルを積算したデータである。
例えば、図３の評価値テーブル算出部５０内の評価値テーブルメモリ５２から供給されるデータであり、評価値テーブルデータ変換部１１１に供給する。

評価値テーブルデータ変換部１１１では、供給された評価値テーブルデータを、頻度値或いはその微分値などのデータに変換する。変換されたデータは、頻度順ソート処理部１１２で、１フレーム内で候補ベクトルを頻度順に並び替える処理を行う。頻度順に並び替えられた候補ベクトルの評価値テーブルデータは、候補ベクトル評価部１１３に供給する。ここでは、頻度順に並び替えられた候補ベクトルの内で、上位の所定順位までの候補ベクトルを、候補ベクトル評価部１１３に供給する。例えば、１フレーム内に存在する頻度の高い候補ベクトルの内で、最も頻度の高いものから１０番目までの候補ベクトルを抽出して、候補ベクトル評価部１１３に供給する。

候補ベクトル評価部１１３では、供給された頻度の高い候補ベクトルのそれぞれを、さらに、決められ条件で評価する処理を行う。ここでの評価処理としては、例えば頻度値が上位の所定順位以内の候補ベクトルであっても、頻度値が予め決めた閾値以下などで、それほど高くない候補ベクトルについては除外するなど、決められた条件での評価を行う。
あるいは、例えば動きベクトル抽出部１３の前段の評価値テーブル形成部１２（図１）での画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価するようにしてもよい。画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価する場合には、例えば、図３の画素選別部４０などで画素選別に使用された、選別された注目画素のデータを使う。その選別された注目画素のデータを、評価値テーブル形成部１２から得て、選別された各注目画素から見たとき、どの候補ベクトルが最も適しているかを評価して、候補ベクトルの評価を行う。

このようにして候補ベクトル評価部１１３で得られた、各候補ベクトルの評価結果に基づいて、候補ベクトル信頼度判定部１１４で、候補ベクトルの内で信頼度の高い候補ベクトルを選定して、その信頼度の高い候補ベクトルのデータを出力端子１３ｂから出力する。
出力端子１３ｂから出力される候補ベクトルの信頼度データは、図１の動きベクトル決定部１４に供給する。

図４６は、図４５に示した動きベクトル抽出部１３で、評価値テーブルデータから候補ベクトルを抽出する際の、処理動作例を示したフローチャートである。
まず、評価値テーブルデータで示された候補ベクトルを、頻度順にソートする処理を行う（ステップＳ１１１）。その頻度順に並び替えられた評価値テーブルの中から、頻度の高いものから順に、所定番目までの候補ベクトルを取り出す。この所定番目としては、例えば頻度の最も高いものから１０番目などの決められた順位のものを取り出す（ステップＳ１１２）。
その後、取り出した複数の候補ベクトルが、候補ベクトルとして適正であるか否か評価し、必要により候補ベクトルを絞る処理が（ステップＳ１１３）。例えば、取り出したそれぞれの候補ベクトルの頻度値がどの程度が判断して、閾値以下の頻度値の候補ベクトルについては評価値を低くする評価処理を行う。この候補ベクトルの評価処理については、種々の処理が考えられ、その評価処理が、候補ベクトルを取り出す精度に影響する。

その評価処理結果に基づいて、各候補ベクトルの信頼度を判定し、信頼度が高い候補ベクトル、即ち画像に割当てられる可能性の高い候補ベクトルだけを、後段のベクトル割当て部１４（図１）に供給する（ステップＳ１１４）。

［１８．動きベクトル決定部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル決定部１４の構成及び動作の例について、図４７〜図４９を参照して説明する。
図４７は、図１の動きベクトル決定部１４の構成例を示したものである。動きベクトル決定部１４は、１フレーム内のそれぞれの画素に、前段の動きベクトル抽出部１３から供給される複数の候補ベクトルのいずれかを割当てる処理を行うものである。
この例では、それぞれの画素位置を注目画素としたとき、その注目画素の周囲に、所定の画素数で構成される領域である固定ブロックを設定して、動きベクトルを判定する例である。

図４７に従って構成を説明すると、動きベクトル割当て部１４の入力端子１４ａには、動きベクトルの候補のデータと、その候補ベクトルについての画像信号とが供給される。画像信号は、フレームメモリである参照点メモリ２１１に供給されて１フレーム記憶される。そして、参照点メモリ２１１に記憶された画像信号が、フレーム期間ごとに注目点メモリ２１２に移される。従って、参照点メモリ２１１に記憶される画像信号と、注目点メモリ２１２に記憶される画像信号とは、常に１フレーム期間ずれた信号である。

そして、注目点メモリ２１２に記憶された画像信号から、注目画素を中心として決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。同様に、参照点メモリ２１１に記憶された画像信号から、参照画素を中心とした決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。このデータ読出し部２１３で読出される注目画素と参照画素の画素位置（注目画素と参照画素）は、動きベクトル抽出部１３（図１）から供給された候補ベクトルのデータから、データ読出し部２１３で判断される。即ち、例えば候補ベクトルが１０個ある場合には、注目画素からその１０個の候補ベクトルで動いた先の１０個の参照画素が判断されることになる。

そして、データ読出し部２１３で読出された、注目画素を中心とした固定領域の画素信号と、参照画素を中心とした固定領域の画素信号とを、評価値算出部２１４に供給して、両固定領域内の画素信号の差分が検出される。このようにして、評価値算出部２１４では、現在評価中の注目画素と候補ベクトルで接続された全ての参照画素の固定領域の画素信号を判断し、注目画素を中心とした固定領域の画素信号と比較する。
そして、評価値算出部２１４では、比較の結果で、注目画素を中心とした固定領域の画素信号と最も類似した固定領域を持った参照画素を選定する。
選定された参照画素と注目画素とを結ぶ候補ベクトルのデータは、ベクトル決定部２１５に送る。ベクトル決定部２１５では、該当する候補ベクトルを、注目画素からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子２１５から出力させる。

図４８のフローチャートは、この図４７のベクトル決定（割当て）処理動作例を示したフローチャートである。
図４８に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ１２１）。読出された候補ベクトルについての注目画素の座標位置を判断し、その位置の画素（注目画素）とその周辺画素で構成される固定ブロックの画素を注目点メモリ５２から読出す（ステップＳ１２２）。また、読出された候補ベクトルについての参照画素の座標位置を判断し、その位置の画素（参照画素）とその周辺画素で構成される固定ブロックの画素を参照点メモリ５１から読出す（ステップＳ１２３）。
そして、それぞれの固定ブロック内の各画素の画素レベル（画素値：ここでは輝度値）と、注目画素について設定した固定ブロック内の各画素の画素レベルとの差を求め、その差を絶対値化したものをブロック全てで加算し、絶対値差分和を算出する（ステップＳ１２４）。ここまでの処理を、現在の注目画素についての全ての候補ベクトルで示された参照画素について行う。
そして、複数の参照画素ごとに注目画素と比較して得た絶対値差分和の内で、値が最小になる参照画素を探す。この処理で、値が最小になる参照画素を判断すると、その判断された参照画素と注目画素を結ぶ候補ベクトルを、注目画素についての動きベクトルとして割り当てることを決定する（ステップＳ１２５）。

図４９は、この図４７の構成及び図４８のフローチャートでの処理状態の概要を示した図である。
この例では、フレームＦ１０（注目フレーム）に注目画素ｄ１０が存在し、その時間軸上の次のフレームＦ１１（参照フレーム）内との間で、複数の候補ベクトルＶ１１，Ｖ１２が存在しているとする。フレームＦ１１には、候補ベクトルＶ１１，Ｖ１２で注目画素ｄ１０と結ばれた参照画素ｄ１１，ｄ１２が存在している。
このような図４９の状態を想定すると、図４８のステップＳ２２では、フレームＦ１０内で、注目画素ｄ１０の中心にして固定した所定画素数の固定ブロックＢ１０が設定され、その固定ブロックＢ１０内の画素値が判断される。同様に、図４８のステップＳ２３では、フレームＦ１１内で、参照画素ｄ１１，ｄ１２の中心にして固定した所定画素数の固定ブロックＢ１１，Ｂ１２が設定され、その固定ブロックＢ１１，Ｂ１２内の画素値が、それぞれ判断される。

そして、固定ブロックＢ１１内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。同様に、固定ブロックＢ１２内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。そして、いずれの絶対値差分和の方が小さいか比較される。この比較で、例えば固定ブロックＢ１１を使った絶対値差分和の方が小さいと判断すると、その固定ブロックＢ１１の中心の参照画素ｄ１１と、注目画素ｄ１０とを結ぶ候補ベクトルＶ１１が選択される。この選択された候補ベクトルＶ１１を、注目画素ｄ１０の動きベクトルとして割り当てる。
なお、図４９では説明を簡単にするために候補ベクトルを２つとして説明したが、実際には１つの注目画素に対してより多くの候補ベクトルが存在することがある。また、説明を簡単にするために１つの注目画素だけを示してあるが、実際には、１フレーム内の代表となる複数の画素又は全ての画素が、このような注目画素となる。

このようにして候補ベクトルから選定するベクトルを決定する処理を行うことで、注目画素の周囲の画素の状態と、参照画素の周囲の画素の状態とが、近いものが選定されることになり、それぞれの画素に割り当てる動きベクトルの選定が、良好に行える。
特に、上述した本実施の形態の評価値テーブル形成処理と組み合わせることで、候補が適正に絞られた評価値テーブルを使った候補ベクトルの抽出と、その適正な候補ベクトルからの決定処理が行われ、非常に良好な動きベクトル割り当てが可能となる。

［１９．実施の形態の変形例の説明］
なお、ここまで説明した各実施の形態の処理は、それぞれの実施の形態で説明した構成やフローチャートで実行する場合の他に、各実施の形態で説明した処理を組み合わせて実行するようにしてもよい。また、第１の実施の形態では、注目画素の空間傾斜を判断して処理を行うようにしたが、この第１の実施の形態で説明した処理を、参照画素だけについて行うようにしてもよい。

また、ここまで説明した各実施の形態の処理は、空間傾斜の有無を判断し、空間傾斜のある画素に対してのみ評価値テーブルに所定値を足し込む構成とする場合のほかに、空間傾斜の大きさ、画素値相関情報を用いて画素毎に評価値テーブルに足し込む値を可変とする構成にするようにしてもよい。

また、上述した各実施の形態では、注目画素の選定処理については具体的に説明しなかったが、例えば１フレーム内の全ての画素を順に注目画素として選定して、それぞれの画素について動きベクトルを検出させる構成としてもよい。或いは、１フレーム内で代表となる画素を注目画素として選び出し、その選び出した画素についての動きベクトルを検出させる場合にも適用してもよい。

また、上述した各実施の形態では、動きベクトル検出装置として構成させた例について説明したが、この動きベクトル検出装置は、各種画像処理装置に組み込むようにしてもよい。例えば、高能率符号化を行う符合化装置に組み込み、動きベクトルデータを利用して符号化を行うようにすることができる。或いは、入力（受信）した画像データによる表示を行う画像表示装置や記録を行う画像記録装置に組み込み、高画質化するために動きベクトルデータを利用するようにしてもよい。
また、本発明の動きベクトル検出を行う各構成要素をプログラム化して、例えば各種データ処理を行うコンピュータ装置などの各種情報処理装置に、そのプログラムを実装させて、その情報処理装置に入力した画像信号から動きベクトルを検出する処理を実行する際に、同様の処理を行うようにしてもよい。

本発明の実施の形態による装置構成例を示すブロック図である。 本発明の実施の形態による全体処理例を示すフローチャートである。 本発明の第１の実施の形態による評価値テーブルデータ取得処理例（例１：注目画素の動き方位の空間傾斜を加味した例）を示すブロック図である。 図３の例による処理例を示したフローチャートである。 図３の例による処理の概要を示す説明図である。 本発明の第１の実施の形態による評価値テーブルデータ取得処理例（例２：注目画素の動き方位の空間傾斜を加味した場合のＬＵＴを使用した例）を示すブロック図である。 図６の例による処理例を示したフローチャートである。 テスト画像の例を示す説明図である。 図８のテスト画像に対して従来の相関判定で生成させた評価値テーブルの例を示した特性図である。 図８のテスト画像に対して図３の例で生成させた評価値テーブルの例を示した特性図である。 本発明の第２の実施の形態による評価値テーブルデータ取得処理例（例１：注目画素と参照画素の動き方位の空間傾斜を加味した例）を示すブロック図である。 図１１の例による処理例を示したフローチャートである。 図１１の例による処理の概要を示す説明図である。 本発明の第２の実施の形態による評価値テーブルデータ取得処理例（例２：注目画素と参照画素の動き方位の空間傾斜を加味した場合のＬＵＴを使用した例）を示すブロック図である。 図１４の例による処理例を示したフローチャートである。 図８のテスト画像に対して図１１の例で生成させた評価値テーブルの例を示した特性図である。 本発明の第３の実施の形態による評価値テーブルデータ取得処理例（例１：注目画素と参照画素の動き方位の空間傾斜を加味した例）を示すブロック図である。 図１７の例による処理例を示したフローチャートである。 図１８の例による処理の概要を示す説明図である。 本発明の第３の実施の形態による評価値テーブルデータ取得処理例（例２：注目画素と参照画素の動き方位の空間傾斜を加味した場合のＬＵＴを使用した例）を示すブロック図である。 図２０の例による処理例を示したフローチャートである。 本発明の第４の実施の形態による注目画素と参照画素の動き方位と法線方向の空間傾斜を加味した場合の処理例（例１）を示すフローチャートである。 図２２の例による処理の概要を示す説明図である。 本発明の第４の実施の形態による注目画素と参照画素の動き方位と法線方向の空間傾斜を加味した場合のＬＵＴを使用した例（例２）を示すフローチャートである。 図２４の例による処理の概要を示す説明図である。 図１７の例で生成させた評価値テーブルの例を示した特性図である。 図２２の例で生成させた評価値テーブルの例を示した特性図である。 本発明の第５の実施の形態による評価値テーブルデータ取得処理例（例１：注目画素と参照画素の逆方向の空間傾斜を加味した例）を示すブロック図である。 図２８の例による処理例を示したフローチャートである。 図２８の例による処理の概要を示す説明図である。 本発明の第５の実施の形態による評価値テーブルデータ取得処理例（例２：注目画素と参照画素の逆方向の空間傾斜を加味した場合のＬＵＴを使用した例）を示すブロック図である。 図３１の例による処理例を示したフローチャートである。 図３１の例による処理の概要を示す説明図である。 図３１の例で生成させた評価値テーブルの例を示した特性図である。 注目画素の動きの逆方向と法線方向の空間傾斜を加味した場合の処理例を示したフローチャートである。 図３５の例による処理の概要を示す説明図である。 本発明の第６の実施の形態による評価値テーブルデータ取得処理例（例１：注目画素と参照画素の動き方位の階層空間傾斜を加味した例）を示すブロック図である。 図３７の例による処理例を示したフローチャートである。 注目画素の階層例を示す説明図である。 参照画素の階層例を示す説明図である。 図３７の処理例の概要を示す説明図である。 本発明の第６の実施の形態による評価値テーブルデータ取得処理例（例２：注目画素と参照画素の動き方位の階層空間傾斜を加味した場合のＬＵＴを使用した例）を示すブロック図である。 図４２の例による処理例を示したフローチャートである。 図８のテスト画像に対して図３７の例で生成させた評価値テーブルの例を示した特性図である。 本発明の実施の形態による動きベクトル抽出部の構成例を示すブロック図である。 図４５の例による処理を示したフローチャートである。 本発明の実施の形態による動きベクトル決定部の構成例を示すブロック図である。 図４７の例による処理を示したフローチャートである。 図４７の例による動きベクトル決定処理状態の例を示す説明図である。 従来の評価値テーブルデータ生成処理構成の一例を示すブロック図である。 従来の評価値テーブルデータ生成処理例の概要を示す説明図である。

符号の説明

１１…画像信号入力端子、１２…評価値テーブル形成部、１２ａ…評価値テーブルデータ出力端子、１３…動きベクトル抽出部、１４…動きベクトル決定部、１５…動きベクトル出力端子、２０，２０′…相関演算部、２１…注目点メモリ、２２…減算器、２３…絶対値算出部、３０…相関判定部、３１…比較部、４０…画素選別部、４１…ゲート部、４２…動き方位算出部、４３…空間傾斜判定部、４４…比較部、５０…評価値テーブル算出部、５１…評価値積算部、５２…評価値テーブルメモリ、６０…画素選別部、６１…ゲート部、６２…空間傾斜パターン算出部、６３…注目点パターンメモリ、６４…パターン比較部、６５…動き方位ＬＵＴ、６６…動き方位算出部、７０…画素選別部、７１…ゲート部、７２…動き方位算出部、７３…空間傾斜算出部、７４…比較部、８０…画素選別部、８１…ゲート部、８２…空間傾斜パターン算出部、８３…参照点パターンメモリ、８４…注目点パターンメモリ、８５…パターン比較部、８６…動き方位ＬＵＴ、８７…動き方位算出部、９０…画素選別部、９１…ゲート部、９２…動き方位算出部、９３…空間傾斜算出部、９４…比較部、１００…画素選別部、１０１…ゲート部、１０２…空間傾斜パターン算出部、１０３…参照点パターンメモリ、１０４…注目点パターンメモリ、１０５…パターン比較部、１０６…動き方位ＬＵＴ、１０７…動き方位算出部、１１０…画素選別部、１１１…ゲート部、１１２…動き方位算出部、１１３…空間傾斜算出部、１１４…比較部、１２０…画素選別部、１２１…ゲート部、１２２…空間傾斜パターン算出部、１２３…参照点パターンメモリ、１２４…注目点パターンメモリ、１２５…パターン比較部、１２６…動き方位ＬＵＴ、１２７…動き方位算出部、１３０…画素選別部、１３１…ゲート部、１３２…動き方位算出部、１３３…空間傾斜判定部、１３４…比較部、１４０…画素選別部、１４１…ゲート部、１４２…空間傾斜パターン算出部、１４３…参照点パターンメモリ、１４４…注目点パターンメモリ、１４５…パターン比較部、１４６…動き方位ＬＵＴ、１４７…動き方位算出部、１１１…評価値テーブルデータ変換部、１１２…頻度順ソート処理部、１１３…候補ベクトル評価部、１１４…候補ベクトル信頼度判定部、２１１…参照点メモリ、２１２…注目点メモリ、２１３…データ読出し部、２１４…評価値算出部、２１５…ベクトル決定部

Claims (15)

1. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成するとともに、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成部と、
   前記評価値情報形成部が形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出部と、
   動きベクトル抽出部で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定部とを備え、
   前記評価値情報形成部は、
   動きベクトルを判断する注目画素の動き方向と、前記注目画素の動き候補先の参照画素に隣接する隣接画素との空間傾斜状態から評価値情報を作成する
   動きベクトル検出装置。
2. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成するとともに、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成部と、
   前記評価値情報形成部が形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出部と、
   動きベクトル抽出部で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定部とを備え、
   前記評価値情報形成部は、
   動きベクトルを判断する注目画素の動き方向と、前記注目画素に隣接する隣接画素との空間傾斜状態と、前記注目画素の動き候補先の参照画素に隣接する隣接画素との空間傾斜状態から評価値情報を作成する
   動きベクトル検出装置。
3. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成するとともに、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成部と、
   前記評価値情報形成部が形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出部と、
   動きベクトル抽出部で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定部とを備え、
   前記評価値情報形成部は、
   動きベクトルを判断する注目画素の動き方位と、その注目画素の周辺方位にある注目画素と参照画素のいずれか一方又は双方の隣接画素との空間傾斜状態から評価値情報を作成し、
   注目画素又は参照画素のいずれか一方又は双方の動きに対する最近接方位と、その最近接方位の次の第２近接方位にある隣接画素との空間傾斜状態を使用した
   動きベクトル検出装置。
4. 前記隣接画素との空間傾斜状態は、注目画素又は参照画素のいずれか一方又は双方の動きに対する最近接方位と、その最近接方位の法線方位にある隣接画素との空間傾斜状態である
   請求項３記載の動きベクトル検出装置。
5. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成するとともに、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成部と、
   前記評価値情報形成部が形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出部と、
   動きベクトル抽出部で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定部とを備え、
   前記評価値情報形成部は、
   動きベクトルを判断する注目画素の動きの逆方向における注目画素と参照画素のいずれか一方又は両方の空間傾斜状態から評価値情報を作成する
   動きベクトル検出装置。
6. 前記空間傾斜状態は、動きの逆方向における注目画素又は参照画素の隣接画素との空間傾斜である
   請求項５記載の動きベクトル検出装置。
7. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成するとともに、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成部と、
   前記評価値情報形成部が形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出部と、
   動きベクトル抽出部で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定部とを備え、
   前記評価値情報形成部は、
   動きベクトルを判断する注目画素の動き方向と、注目画素の階層空間傾斜状態と、動き候補先の参照画素の階層空間傾斜状態から評価値テーブルを作成する
   動きベクトル検出装置。
8. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成すると共に、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成処理と、
   前記評価値情報形成処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出処理と、
   動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定処理とを行う動きベクトル検出方法であり、
   前記評価値情報形成処理は、
   動きベクトルを判断する注目画素の動き方向と、前記注目画素の動き候補先の参照画素に隣接する隣接画素との空間傾斜状態から評価値情報を作成する
   動きベクトル検出方法。
9. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成すると共に、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成処理と、
   前記評価値情報形成処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出処理と、
   動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定処理とを行う動きベクトル検出方法であり、
   前記評価値情報形成処理は、
   動きベクトルを判断する注目画素の動き方向と、前記注目画素に隣接する隣接画素との空間傾斜状態と、前記注目画素の動き候補先の参照画素に隣接する隣接画素との空間傾斜状態から評価値情報を作成する
   動きベクトル検出方法。
10. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成すると共に、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成処理と、
    前記評価値情報形成処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出処理と、
    動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定処理とを行う動きベクトル検出方法であり、
    前記評価値情報形成処理は、
    動きベクトルを判断する注目画素の動き方位と、その注目画素の周辺方位にある注目画素と参照画素のいずれか一方又は双方の隣接画素との空間傾斜状態から評価値情報を作成し、
    注目画素又は参照画素のいずれか一方又は双方の動きに対する最近接方位と、その最近接方位の次の第２近接方位にある隣接画素との空間傾斜状態を使用した
    動きベクトル検出方法。
11. 前記隣接画素との空間傾斜状態は、注目画素又は参照画素のいずれか一方又は双方の動きに対する最近接方位と、その最近接方位の法線方位にある隣接画素との空間傾斜状態である
    請求項１０記載の動きベクトル検出方法。
12. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成すると共に、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成処理と、
    前記評価値情報形成処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出処理と、
    動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定処理とを行う動きベクトル検出方法であり、
    前記評価値情報形成処理は、
    動きベクトルを判断する注目画素の動き方位と、その注目画素の周辺方位にある注目画素と参照画素のいずれか一方又は双方の隣接画素との空間傾斜状態から評価値情報を作成し、
    注目画素又は参照画素のいずれか一方又は双方の動きに対する最近接方位と、その最近接方位の次の第２近接方位にある隣接画素との空間傾斜状態を使用した
    動きベクトル検出方法。
13. 前記空間傾斜状態は、動きの逆方向における注目画素又は参照画素の隣接画素との空間傾斜である
    請求項１２記載の動きベクトル検出方法。
14. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成すると共に、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成処理と、
    前記評価値情報形成処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出処理と、
    動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定処理とを行う動きベクトル検出方法であり、
    前記評価値情報形成処理は、
    動きベクトルを判断する注目画素の動き方向と、注目画素の階層空間傾斜状態と、動き候補先の参照画素の階層空間傾斜状態から評価値テーブルを作成する
    動きベクトル検出方法。
15. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成するとともに、前記画素の動き方向を使用して生成又は制限を行った画素値相関情報より、動きベクトルの評価値情報を作成する評価値情報形成処理と、
    前記評価値情報形成処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出処理と、
    動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定処理とを、
    情報処理装置に実装して実行させるプログラムであり、
    前記評価値情報形成処理は、
    動きベクトルを判断する注目画素の動き方向と、前記注目画素の動き候補先の参照画素に隣接する隣接画素との空間傾斜状態から評価値情報を作成する
    プログラム。