JP4697275B2 - 動きベクトル検出装置、動きベクトル検出方法及びプログラム - Google Patents

Description

本発明は、動画像データから動きベクトルを検出して、高能率符号化などの画像処理を行う場合に適用して好適な動きベクトル検出装置及び動きベクトル検出方法、並びにその動きベクトル検出処理を実行するプログラムに関する。

従来、動画像の処理の分野において、動きの情報、即ち時間的に異なる画像中の物体の動き方向と大きさを用いて、画像処理を効率的に行うことが行われている。例えば、画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フィルタによるテレビジョン雑音低減装置における動きによるパラメータ制御などに、動き権検出結果を利用することが行われている。動きを求める手法としては、ブロックマッチング法が知られている。ブロックマッチング法は、１フレームの画像を所定画素単位のブロックとしたブロック単位で、そのブロックが動いた領域を探索するものである。このブロックマッチングによる動きベクトル検出処理は、ＭＰＥＧ方式などで実用化されている、動きベクトルを利用した画像処理として、最も普及した一般的な処理である。

ところが、ブロックマッチング法では、ブロックを単位とした処理であるため、各フレーム内の画像の動き検出を必ずしも高精度に検出しているとは言えなかった。このため、本出願人は、先に特許文献１に記載した動きベクトル検出処理を提案した。この動きベクトル検出処理は、画像信号から、各画素位置の動きに関する評価値を検出し、その検出した評価値を評価値テーブルとして持ち、評価値テーブルのデータから、１画面内の候補ベクトルとして複数のベクトルを抽出する。そして、その抽出した複数の候補ベクトルを対象として、全画面の各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素の相関を判定する。その結果、最も相関が高いと判定された画素を結ぶ候補ベクトルを、その画素に対する動きベクトルとして決定するものである。この処理の詳細は、後述する実施の形態の中で説明する。

図２４は、この評価値テーブルを使用して、動きベクトルを決定する場合の、先に提案した評価値テーブル形成部の構成を示した図である。図２４の構成を説明すると、入力端子１に得られる画像信号は、相関演算部２に供給される。相関演算部２は、参照点メモリ２ａと注目点メモリ２ｂと絶対値算出部２ｃとを備える。入力端子１に得られる画像信号を、最初に参照点メモリ２ａに記憶させ、さらに参照点メモリ２ａの記憶データを注目点メモリ２ｂに移して、参照点メモリ２ａと注目点メモリ２ｂとで１フレームの差がある画素信号を記憶させる。そして、注目点メモリ２ｂに記憶された画像信号の中の、注目点の画素値と、参照点メモリ２ａに記憶された画像信号の中の参照点として選定された画素位置の画素値とを読み出し、両信号の差分を絶対値検出部２ｃで検出する。検出した差分の絶対値のデータを、相関判定部３に供給する。相関判定部３は、比較部３ａを備えて、設定された閾値と比較し、その閾値と比較し、評価値を得る。評価値としては、一例として相関値を用いることができ、例えば差分が閾値以下であるとき、相関が高いとする。

相関判定部３で得られた評価値は、評価値テーブル算出部４に供給し、評価値積算部４ａで評価値を積算し、その積算結果を評価値テーブルメモリ４ｂに記憶させる。そして、評価値テーブルメモリ４ｂの記憶データを、評価値テーブルデータとして出力端子５から後段の回路に供給する。

図２５は、この図２４に示す従来の評価値テーブルを使用して動きベクトルを決定する処理状態の概要を示した図である。図２５（ａ）に示すように、まず現在のフレーム（現フレーム）Ｆ１の１フレーム前の画像データである前フレームＦ０内の、動きベクトルを判断する基準となる画素位置を注目点ｄ０とする。この注目点ｄ０が決まると、その注目点ｄ０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照点ｄ１として評価値が算出され、評価テーブルに登録される。そして、評価値テーブルに登録された値から、サーチエリアＳＡで最も評価値が高い参照点が、前フレームの注目点から動いた現フレームの画素位置として求まる。このように最も評価値が高い参照点が求まることで、図２５（ｂ）に示されるように、その評価値が最も高い参照点と注目点との動き量から、動きベクトルが定まる。
この図２４，図２５に示す処理を行うことで、評価値テーブルデータに基づいて動きベクトルを検出することができる。
特開２００５−１７５８６９号公報

評価値テーブルデータに基づいて動きベクトルを検出する場合、最適な動きベクトルの決定は、評価値テーブルの性能に依存する。図２４に示した従来方式では、注目点と未来フレーム（現フレーム）内の探索範囲における、動き候補先画素との相関判定、具体的には輝度値の差分絶対値がある閾値以下であれば、動き候補として、評価値テーブルに度数がカウントされる。

ところが、この従来手法による処理では、画像が平坦である箇所や縞模様の箇所などで、空間傾斜が全て、あるいは、一部の方向に対して、ほとんどない画像の場合には、上述した相関判定のみで評価値テーブルを作成すると、誤った動きを足しこんでしまう可能性があり、評価値テーブルの信頼性が低下してしまう。評価値テーブルの信頼性が低下すると、検出される動きベクトルの精度も低下してしまう。
また、従来の評価値テーブルでは、画像中に複数の動きがあった場合には、誤った動きが足されてしまうために、それぞれの動きに起因する評価値が埋もれ、それぞれの動きベクトルを検出することが困難であった。

これらの問題点を解決するために本出願人は先に、図２６に示した評価値テーブル形成処理構成を提案した。
図２６において、図２４の構成と異なるのは、相関判定部３の出力を、画素選別部６で選別してから、評価値テーブル算出部４で評価値テーブル４ｂに書き込ませる点である。
画素選別部６は、相関判定部３の出力を通過させるゲート部６ａを備えて、そのゲート部６ａの出力を、評価値テーブル算出部４の評価値積算部４ａに供給する。

画素選別部６では、注目点メモリ２ｂに記憶された注目画素と、その注目画素に隣接する画素との変化状態を示す注目点空間傾斜パターンを、空間傾斜パターン算出部６ｂで算出する。また、参照点メモリ２ａに記憶された参照画素と、その参照画素に隣接する画素との変化状態を示す参照点空間傾斜パターンについても、空間傾斜パターン算出部６ｂで算出する。算出した注目点空間傾斜パターンと参照点空間傾斜パターンは、パターン比較部６ｃに供給して、両パターンの相関を判定する。その比較の際には、空間傾斜パターンメモリ６ｄを参照する。
そして、パターン比較部６ｃで得られた相関判定状態の結果により、ゲート部６ａの通過を制御する構成とする。

この図２６に示すように、注目画素や参照画素のパターンに応じて画素選別を行うことで、空間傾斜に相関がある参照画素だけが注目画素に対する動き候補を示す評価値テーブルに書き込ませることになる。従って、動きベクトルを検出するための評価値の精度が高くなるという効果を有する。
しかしながら、図２６に示した画素選別部６で、信頼性の高い選別を行うためには、注目点と参照点の単なる空間傾斜パターンの相関判定だけでは不十分であった。

即ち、図２６の構成で、画素選別部６内のゲート部６ａでの画素選別により、動きベクトルの候補が、ある程度の画素に絞られ、評価値テーブルメモリ４ｂに記憶される評価値テーブルは、ある程度確からしいと思われる動きベクトルの集合となる。しかしながら、その結果得られた評価値テーブルは、依然として大きな数の動きベクトルの集合である。評価値テーブルのデータから、最終的にそのフレームの動きベクトルがいずれであるかを決定するまでには、さらに何らかの処理で評価値テーブル内の動きベクトルを絞る必要があるが、従来提案されている手法では、検出される精度が十分ではなかった。

また、隣接する２つのフレーム間で、動きベクトルがいくつ存在するかは、そのときの画像により異なり、従来の手法で最適な数の動きベクトルが検出されているとは言えなかった。即ち、例えばある手法では、評価値テーブル内の複数の動きベクトルを、最も頻度の高いものから順に、固定的に定めた数だけ抽出するようにしてある。これは、隣接する２つのフレーム間で動きベクトルが何個程度存在するということを経験的に求めて、採取的に動きベクトルとして決定する数を定めたものである。ところが実際には、動きがある画像でも、動きベクトルが２フレーム間で多数存在する比較的動きの激しい画像の場合と、動きベクトルが２フレーム間で僅かな数しか存在しない静止状態に近い画像の場合とがあり、固定的な数とするのには無理がある。

本発明はかかる点に鑑みてなされたものであり、動きベクトルを評価した評価値テーブルを使用して動きベクトルを検出する場合の精度を向上させることを目的とする。また、画像中に複数の動きがある場合にも、その複数の動きを的確に検出できるようにすることを目的とする。

本発明は、動画像データから動きベクトルを検出する場合に適用される。
その処理構成としては、動きベクトルの候補となり得るかを評価した動きベクトルの評価値情報を生成する処理と、評価値情報に基づいて動きベクトルの候補を抽出する処理と、抽出された候補となる動きベクトルの中から動きベクトルを決定する動きベクトル決定処理とを行う。
評価値情報を生成する処理は、一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を生成させる処理である。
評価値情報に基づいて動きベクトルを抽出する処理は、一方のフレーム内の注目画素を中心とした所定領域内の画素と、他方のフレーム内の参照画素を中心とした所定領域内の画素とを、領域全体で比較する。その比較結果に基づいて、評価値テーブルの各候補ベクトルを評価して、評価値の高い動きベクトルを候補として抽出する処理である。
そして、評価値テーブルの形成を行う処理を行う際に、注目画素及びその周辺画素との空間傾斜状態と、参照画素及びその周辺画素との空間傾斜状態に基づいて、画素選別を行った結果に基づいて評価値情報を形成する。
また、動きベクトルの候補を抽出する処理を行う際に、画素選別により選別された画素の動きベクトルに対して、一方のフレーム内の注目画素を中心とした所定領域内の画素と、他方のフレーム内の参照画素を中心とした所定領域内の画素との相関を、領域全体で比較して、注目画素を中心とした所定領域内の画素と、参照画素を中心とした所定領域内の画素との差分を得て、その差分の絶対値を前記所定領域内で加算した差分絶対値和を得る処理を行う。
さらに、所定領域は、注目画素又は参照画素を中心とした第１の画素数の領域と、注目画素又は参照画素を中心とした第１の画素数とは異なる第２の画素数の領域とを設定する。
そして、第１の画素数の領域内で加算した差分絶対値和を得て、その差分絶対値和が最小となる動きベクトルについての評価値を加算する共に、第２の画素数の領域内で加算した差分絶対値和を得て、その差分絶対値和が最小となる動きベクトルについての評価値を加算し、評価値が最も高い値の候補ベクトルを動きベクトルに決定する処理を行う。

本発明によると、評価値情報に基づいて動きベクトルを抽出する処理として、注目画素を中心とした所定領域内の画素と、参照画素を中心とした所定領域内の画素との相関を領域全体比較し、その比較結果に基づいて各候補ベクトルが評価される。従って、評価値情報として選別された画素のデータが、注目画素の周辺領域の状態と参照画素の周辺領域の状態との比較で、さらに選別されることになる。

本発明によると、評価値情報内の動きベクトルの評価値が、さらに各動きベクトルの動き元である注目画素の周辺領域の差分値の和と、動き先である参照画素の周辺領域の差分値の和とで比較されて、候補ベクトルの信頼度が的確に評価されることになる。
このようにして得られた候補ベクトルの信頼度を利用することで、最終的に動きベクトルを候補の中から決定することが、的確に行えるようになる。また、１つの画像内に複数の動きがある場合でも、信頼度の高い候補ベクトルがどの程度あるかによって、その複数のベクトルを的確に決定できるようになる。

本発明の一実施の形態の例について、図１〜図２０を参照して、以下の順序で説明を行う。
１．動きベクトルを検出する全体の構成の概要：図１
２．動きベクトルを検出する全体の処理の概要：図２，図６
３．選別画素データを生成させる構成例：図３，図６〜図８
４．動きベクトル抽出部の構成例：図４
５．選別画素データを生成させる処理例：図５
６．評価値テーブルデータの信頼度を評価する処理例（下位階層のみの例）：図９
７．評価値テーブルデータの信頼度を評価する原理の説明：図１０
８．評価値テーブルデータの信頼度を評価する処理例（下位と上位の階層を使った例）：図１１
９．評価値テーブルデータの信頼度を評価する原理の説明（下位と上位の階層を使った例）：図１２，図１３
１０．下位階層と上位階層の説明：図１４，図１５
１１．評価値テーブルと評価結果の例：図１６〜図２０
１２．動きベクトル決定部の構成及び動作例：図２１〜図２３
１３．一実施の形態の変形例の説明

［動きベクトルを検出する全体構成の概要］
本実施の形態においては、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、その検出処理として、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータを積算して、動きベクトルを判定するものである。なお、以下の説明では、動きベクトルの評価値情報を記憶したものを評価値テーブルと称するが、この評価値テーブルは、必ずしもテーブル状の記憶情報として構成されてなくてもよく、動くベクトルの評価値を示す情報であれば良い。例えば、評価値をヒストグラム化した情報として、そのヒストグラム化された評価値情報を持つようにしてもよい。

図１は、動きベクトル検出装置の全体構成を示した図である。画像信号入力端子１１に得られる画像信号を、評価値テーブル形成部１２に供給して、評価値テーブルを形成させる。画像信号は、例えば、各フレーム内の各画素で個別の輝度値が得られるデジタル映像信号である。評価値テーブル形成部１２では、サーチエリアと同一の大きさの評価値テーブルを作成する。

評価値テーブル形成部１２が作成した評価値テーブルデータは、動きベクトル抽出部１３に供給する。動きベクトル抽出部１３では、評価値テーブルから、候補ベクトルとして複数の動きベクトルを抽出する。動きベクトル抽出部１３では、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。複数の候補ベクトルを抽出する処理の詳細については後述する。動きベクトル抽出部１３で抽出した複数の候補ベクトルは、動きベクトル決定部１４に供給する。
動きベクトル決定部１４では、候補ベクトル抽出部１３において抽出した複数の候補ベクトルを対象として、全画面の画素ごとに、候補ベクトルによって対応付けられるフレーム間の画素間の相関を領域マッチング等により判定する。そして、最も相関の高い対応となった画素又はブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。これらの動きベクトルを得る処理は、制御部（コントローラ）１６による制御で実行される。
設定された動きベクトルのデータは、動きベクトル出力端子１５から出力させる。このとき、必要により入力端子１１に得られる画像信号に付加して出力させてもよい。出力された動きベクトルデータは、例えば画像データの高能率符号化に使用される。或いは、画像をテレビジョン受像機で表示させる際の高画質化処理に使用される。さらにまた、その他の画像処理に、本例の処理で検出された動きベクトルを使用してもよい。

［動きベクトルを検出する全体の処理の概要］
図２のフローチャートは、この動きベクトルを決定するまでの処理例を示したものである。まず、入力した画像信号から評価値テーブルを形成させ（ステップＳ１１）、その形成された評価値テーブルから、候補となる複数のベクトルを抽出する（ステップＳ１２）。そして、その抽出された複数の候補ベクトルの中から、最も相関の高い動きベクトルを決定する（ステップＳ１３）。この図２のフローチャートの処理が、各フレームで実行される。ここまでは、評価値テーブルを使用した動きベクトル検出構成として一般的な構成である。

そして本実施の形態においては、評価値テーブル形成部１２での評価値テーブルの形成処理として、図３に示す構成で行う。ここでの注目点とは、動きベクトルを判定する上での基準となる点（基準点）の画素位置（注目画素）である。参照点とは、その注目点から動いた先である可能性がある点の画素位置（参照画素）である。参照点は、注目点とは後又は前の別のフレームで、注目点の画素位置の近傍（即ちサーチエリア内）の画素である。なお、以下の説明では、注目点と参照点を、注目画素及び参照画素と称する場合がある。注目画素と述べた場合には、注目点の位置の画素を示し、参照画素と述べた場合には、参照点の位置の画素を示す。

図３の構成を説明する前に、注目点と参照点との関係について、図６（ａ）を参照して説明する。
図６（ａ）に示すように、現在のフレーム（現フレーム）Ｆ１１の１フレーム前の画像データである前フレームＦ１０内の、動きベクトルを判断する基準となる画素位置を注目点ｄ１０とする。この注目点ｄ１０が決まると、その注目点ｄ１０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照点ｄ１１として評価値が算出される。なお、図６（ａ）では説明のために１点の注目点だけを示してあるが、実際には、１フレーム内の全ての画素又は代表となる複数の画素を、注目点として順に設定して、その注目点ごとに設定されるサーチエリアＳＡ内の各画素を参照点とするものである。

［選別画素データを生成させる構成例］
図６（ａ）に示したように注目点と参照点とを設定して、図３の構成により評価値テーブルのデータが生成される。
図３の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０に供給する。相関演算部２０は、参照点メモリ２１と注目点メモリ２２と絶対値算出部２３とを備える。入力端子１１に得られる画像信号の中で、参照点として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ２２に移す処理が行われる。この例では、参照点が１フレーム前の信号の例である。

そして、注目点メモリ２２に記憶された注目点の画素値と、参照点メモリ２１に記憶された参照点の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した絶対値の差分のデータは、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。

相関判定部３０で得られた評価値は、画素選別部４０に供給する。画素選別部４０は、相関判定部３０が出力する２値を選別するゲート部４１を備える。このゲート部４１を制御する構成として、空間傾斜パターン算出部４２と、パターン比較部４３と、空間傾斜メモリ４４とを備える。
空間傾斜パターン算出部４２は、注目画素とその画素に隣接する周辺の８画素との空間傾斜状態を算出し、また参照画素とのその画素に隣接する周辺の８画素との空間傾斜状態を算出する。この注目画素の空間傾斜状態の判断及び参照画素の空間傾斜状態の判断は、それぞれの画素が属するフレーム内で、隣接する周辺画素と比較して判断するものである。

図６（ａ）及び（ｂ）は、空間傾斜パターンの判断例を示した図である。既に説明したように、隣接した２フレームＦ１０，Ｆ１１で、注目点と参照点とが設定されると、それぞれのフレーム内で、自らの画素（注目点の画素又は参照点の画素）の輝度値と、周辺の８画素の輝度値が判断される。

図７は、中央の注目画素又は参照画素の輝度値と、周辺画素の輝度値を比較して、空間傾斜符号を判断する際の原理を示した図である。
即ち、図７の左上に示すように、注目点の画素を決めたとき、その注目点に隣接する８つの画素を隣接画素とする。そして、注目点の画素値と、隣接点の画素値とを比較して、画素値（輝度値）の差が、注目点を基準として一定範囲内であるか、一定範囲を＋方向に超えた場合であるか、一定範囲をマイナス方向に超えた場合であるか判断する。
図７（ａ）は、注目点を基準として隣接画素との差が一定範囲内である場合であり、この場合は該当する隣接画素との空間傾斜なしとして、空間傾斜０とする。この空間傾斜０は、隣接画素との空間傾斜がほぼない状態である。図７に示した差を判断する一定範囲を狭くすることで、空間傾斜なしと判断される差分の許容値が狭くなり、一定範囲を広くすることで、空間傾斜なしと判断される差分の許容値が広くなる。
図７（ｂ）は、注目点を基準として、隣接画素の値の方が大きいために、一定範囲を＋方向に越えた場合であり、この場合は該当する隣接画素との空間傾斜ありとして、差分符号＋とする。
図７（ｃ）は、注目点を基準として、隣接画素の値の方が小さいために、一定範囲を−方向に越えた場合であり、この場合は該当する隣接画素との空間傾斜ありとして、差分符号−とする。
図７では、注目点の空間傾斜の符号を求める処理について説明したが、参照点の場合にも同じである。参照点の場合には、図７の基準が参照点の画素値に変わり、隣接画素はその参照点に隣接する画素の値になる。

本実施の形態においては、この図７に示した処理で得た中央の注目画素又は参照画素とその周辺の８画素との空間傾斜符号を見て、空間傾斜パターンを判断する。具体的には、注目画素又は参照画素と周辺の８画素との空間傾斜符号が、全て空間傾斜０である場合には、周辺画素と輝度の変化がほとんどない画素、即ち空間傾斜がない画素と判定する。そして、いずれかの方向で空間傾斜＋又は−である場合に、その空間傾斜＋又は−となる空間傾斜パターンによって、空間傾斜がある画素と判定する。

図８は、空間傾斜パターンの例を示した図である。図８の左側は１フレーム内の９画素のパターンＰとして示し、図８の右側は、その９画素のパターンＰを拡大して示したものである。図８の例では、注目点（注目画素）ｄ１０とその周辺の８画素の例であり、中央の注目点ｄ１０と周辺８画素との空間傾斜符号が、全て符号＋又は−となっている状態を示している。
図８のパターンは一例であり、周辺８画素との空間傾斜符号の組み合わせで、様々な空間傾斜パターンが設定可能である。

図３の構成の説明に戻ると、画素選別部４０内の空間傾斜パターン算出部４２では、１フレーム内の各点（注目画素又は参照画素）が、どのような空間傾斜パターンかが算出される。その算出結果がパターン比較部４３に送られて、画素選別対象の空間傾斜パターンか否か比較される。この比較を行うために、空間傾斜パターンメモリ４４から、選別画素に該当するパターンのデータがパターン比較部４３に送られる。
例えば、選別される画素として、図８に示したような空間傾斜パターンの画素であるとした場合には、空間傾斜パターンメモリ４４から、この図８のパターンのデータが送られ、パターン比較部４３で、そのパターンに該当するか否か比較される。ここでの比較としては、注目点と参照点の双方で行うのが最も好ましいが、いずれか一方でもよい。

このパターン比較部４３での比較で、空間傾斜があると判定されるパターンと一致した場合に、画素選別を行う画素であるとして、そのことをゲート部４１に指示する。この指示を行うデータが、選別画素データである。
ゲート部４１では、選別画素データで選択された画素と指示された場合に、該当する注目点と参照点とに関する評価値を通過させる。
画素選別部４０のゲート部４１を通過した評価値は、評価値テーブル算出部５０に供給し、評価値テーブル算出部５０内の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。このようにして得られた評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路（動きベクトル抽出部１３：図１）に供給する。
さらに本実施の形態においては、ゲート部４１に供給される選別画素データを、出力端子１２ａから、動きベクトル抽出部１３に供給する構成としてある。

［動きベクトル抽出部の構成例］
図４は、図１の動きベクトル抽出部１３の構成例を示した図である。動きベクトル抽出部１３では、入力端子１３ａに、評価値テーブルデータと、画素選別データと、画像データとが供給される。
評価値テーブルデータは、図３の評価値テーブル算出部５０から供給されるデータであり、評価値テーブルデータ変換部６１に供給する。
画素選別データは、図３の画素選別部４０のゲート部４１から供給されるデータであり、ゲート部４１で選別された注目点の画素位置を示すデータである。この注目点の画素選別データを選別画素メモリ７３に供給して、該当するフレームの処理が終了するまで記憶させる。
画像データは、処理を行っている各フレームの画像データであり、フレームメモリ７４に供給して、該当するフレームの処理が終了するまで記憶させる。

評価値テーブルデータ変換部６１では、供給された評価値テーブルデータを、頻度値或いはその微分値などのデータに変換する。変換されたデータは、頻度順ソート処理部６２で、１フレーム内で候補ベクトルを頻度順に並び替える処理を行う。頻度順に並び替えられた候補ベクトルの評価値テーブルデータは、候補ベクトル信頼度判定部７０に供給する。

候補ベクトル信頼度判定部７０では、頻度順に並び替えられた評価値テーブルデータを候補ベクトル評価部７１に供給する。この候補ベクトル評価部７１では、選別画素メモリ７３に記憶された注目点の選別画素データで示される各選別画素の位置での、候補ベクトルの信頼性の評価を行う。評価された結果は、候補ベクトル信頼度判定部７２に供給し、候補ベクトルの信頼度データを生成させて、その候補ベクトルの信頼度データを、出力端子１３ｂから後段の処理部（図１の動きベクトル決定部１４）に供給する。

［選別画素データを生成させる処理例］
次に、図３及び図４の構成で、選別画素データの生成と、その生成された選別画素データを使用した信頼性の評価が行われる処理例について説明する。
まず、図５のフローチャートを参照して、選別画素を決定する処理状態について説明する。この選別画素を決定する処理は、図３の構成で実行される。
図５に沿って説明すると、図３に示した構成での処理は、注目点と参照点の空間傾斜パターンを用いて、評価値の選別を行う処理である。以下のフローチャートでは、画素選別部４０での処理を中心にして説明する。

この図５のフローチャートの例では、図８に示す空間傾斜パターンを使用した例である。即ち、隣接８画素と中央の１画素の９画素のパターンとして、中央の注目点又は参照点と、隣接８画素との関係が、全て０以外（即ち符号＋又は−）である場合である。

まず、空間傾斜パターン算出部４２で、注目点との隣接差分による空間傾斜パターンから空間傾斜符号を算出し、参照点についても、同様に参照点との隣接差分による空間傾斜パターンから空間傾斜符号を算出し、空間傾斜パターンを得る（ステップＳ２１）。
そして、予め空間傾斜パターンメモ４４に用意されていた空間傾斜パターンと一致するか否か判断する（ステップＳ２２）。この判断で、一致した場合には、注目点の画素の輝度値と参照点の画素の輝度値が、所定の閾値以下で同じと判断されるか否か判断する（ステップＳ２３）。
ここで、同じと判断された場合には、ゲート部４１を通過させて、該当する評価値を評価値テーブルに積算させる（ステップＳ２４）。そして、その注目点を選別画素とする情報を保持させる（ステップＳ２５）。
また、ステップＳ２２で空間傾斜パターンが一致しない場合と、ステップＳ２３で注目点と参照点との差分が閾値以下でない場合とには、そのときの評価値のゲート部４１の通過を阻止させて、評価値テーブルへの書き込みを禁止させる（ステップＳ２６）。

［評価値テーブルデータの信頼度を評価する処理例］
次に、図９のフローチャートを参照して、このようにして得られた評価値テーブル内の評価値を評価する処理例について説明する。この評価値テーブル内の評価値を評価する処理は、図４に示した動きベクトル抽出部１３で実行される。
まず、候補ベクトル信頼度評価部７１では、頻度順ソート処理部６２から、候補ベクトルを読み出す（ステップＳ３１）。この候補ベクトルは、頻度順ソート処理部６２で頻度順にソートされたものから抽出した候補ベクトルであり、１フレーム内の候補ベクトルの内で、頻度が高いものから上位の所定順位のものを候補ベクトルとする。例えば、ここでは１フレーム内で頻度が最も高いものから順に、２０番目までの候補ベクトルを取り出す。

そして、候補ベクトル信頼度評価部７１で、選別画素データメモリ７３から供給された選別画素データで示された注目点の選別画素について、それぞれの注目画素を中心とした所定の領域を設定する。そして、その注目画素から、ステップＳ３１で取り出したそれぞれの候補ベクトルで示される動き先候補の参照点を設定する。例えば上述したように２０番目までの候補ベクトルを取出した場合には、１つの注目点の選別画素について、２０個の参照画素を設定することになる。
複数の参照画素が設定されると、それぞれの参照画素を中心とした所定の領域を設定する。この領域のサイズは、注目画素を中心として設定した領域のサイズと同じである。
そして、選別された注目画素を中心とした領域の画素値と、それぞれの参照画素を中心とした領域の画素値を、フレームメモリ７４から取得する（ステップＳ３２）。
各領域内の画素値を取得すると、注目画素を中心とした領域内の各画素の画素値と、各参照画素を中心とした領域内の各画素の画素値との差分を取得し、その差分の領域毎の絶対値和を算出する（ステップＳ３３）。この算出で、選別された注目画素からの候補ベクトルの内で、差分絶対値和が最小値となる参照画素の候補ベクトルを、信頼度が高いと判断して、信頼度のカウント値を＋１する（ステップＳ３４）。
そして、１フレーム内の全ての選別された注目画素について、同様の候補ベクトルの信頼性の評価をした後、候補ベクトルの信頼度を決定する（ステップＳ３５）。

［評価値テーブルデータの信頼度を評価する原理の説明］
次に、図１０を参照して、図４の構成及び図９のフローチャートの処理で実行される、評価値テーブルデータの信頼度を評価する処理で、信頼度が判定される原理について説明する。上述した説明では、候補ベクトルとして、頻度が高いものから２０個取り出すとしたが、ここでは説明を簡単にするために、頻度の高いものから３つの候補ベクトルを取り出したものとする。

まず、図１０（ａ）に示すように、前フレームＦ１０内に選別された注目点ｄ１０が存在すると、その注目点ｄ１０を中心として、３つの動き先候補としての候補ベクトルを割り当てる。この候補ベクトルの割り当てを行うことで、現フレームＦ１１内に、その候補ベクトルで示される動き先候補としての３つの参照点ｄ１１，ｄ１２，ｄ１３が得られる。

このとき、図９のフローチャートのステップＳ３２では、図１０（ｂ）に示すように、注目点ｄ１０を中心とした領域ａ１０を、前フレームＦ１０内に設定する。また、各参照点ｄ１１，ｄ１２，ｄ１３を中心とした領域ａ１１，ａ１２，ａ１３を、現フレームＦ１１内に設定する。
各領域ａ１０，ａ１１，ａ１２，ａ１３のサイズは等しいサイズとする。例えば、それぞれの領域を、垂直方向８画素×水平方向１６画素の１２８画素の領域とする。

その上で、図９のフローチャートのステップＳ３３で、注目点の周囲の領域ａ１０内の各画素と、参照点の周囲の領域ａ１１，ａ１２，ａ１３内の各画素との画素値が比較され、差分値が得られる。比較して得られた各画素位置の差分値は、絶対値化されて１つの領域ごとに加算されて、差分絶対値和が得られる。具体的には、図１０（ｂ）に示されるように、領域ａ１０内の各画素と、領域ａ１１内の各画素との差分値を得て、その差分値の絶対値を領域内で加算して差分値絶対値和Δα１を得る。また、領域ａ１０内の各画素と、領域ａ１２内の各画素との差分値を得て、その差分値の絶対値を領域内で加算して差分値絶対値和Δβ１を得る。また、領域ａ１０内の各画素と、領域ａ１３内の各画素との差分値を得て、その差分値の絶対値を領域内で加算して差分値絶対値和Δγ１を得る。

そして、それぞれの差分絶対値和Δα１，Δβ１，Δγ１が比較されて、差分絶対値和が最小のものが、信頼度が高いものと判定される。図１０（ｂ）の例では、差分絶対値和Δα１が最小であったとする。このとき、注目点ｄ１０と参照点ｄ１１とを結ぶ動きベクトルが、このときの注目点ｄ１０についての候補ベクトルの中で、最も信頼度が高い候補ベクトルとする。注目点ｄ１０に対する最も信頼度が高い候補ベクトルが決まると、図９のフローチャートのステップＳ３１で取り出した候補ベクトルの中で、該当する信頼度が高いと判断された候補ベクトルについての評価値を示すカウント値を＋１する。この処理が図９のフローチャートのステップＳ３４に相当する。

そして、このようにして信頼度を得る処理を、１フレーム内の選別された全ての注目画素について行い、最終的に得られた評価値のカウント値を使用して、図９のフローチャートのステップＳ３１で取り出した複数の候補ベクトルそれぞれの信頼度を決定する。

［評価値テーブルデータの信頼度を評価する処理例（下位と上位の階層の例）］
図９及び図１０の例では、１つの注目点とその注目点から候補ベクトルで示される参照点について、その注目点及び参照点を中心とした１つの領域を設定して、それぞれの領域内の画素の差分絶対値和を判断するようにしたが、各注目点及び参照点に、複数の領域を設定してもよい。ここでは、複数の領域を設定する例として、上位階層での領域設定と、下位階層での領域設定を行う例について、図１１及び図１２を参照して説明する。

まず図１１のフローチャートを参照して、選別された注目画素についての候補ベクトルを、上位と下位の２つの階層で評価する処理例について説明する。この候補ベクトルを評価する処理は、図４に示した動きベクトル抽出部１３で実行される。
図１１に従って説明すると、候補ベクトル信頼度評価部７１では、頻度順ソート処理部６２から、候補ベクトルを読み出す（ステップＳ４１）。この候補ベクトルは、頻度順ソート処理部６２で頻度順にソートされたものから抽出した候補ベクトルであり、１フレーム内の候補ベクトルの内で、頻度が高いものから上位の所定順位のものを候補ベクトルとする。例えば、ここでは１フレーム内で頻度が最も高いものから順に、２０番目までの候補ベクトルを取り出す。以後は、下位階層での処理と上位階層での処理が並行して行われる。

下位階層での処理としては、ステップＳ４２に移り、候補ベクトル信頼度評価部７１で、選別画素データメモリ７３から供給された選別画素データで示された注目点の選別画素について、それぞれの注目画素を中心とした下位階層での所定の領域を設定する。そして、その注目画素から、ステップＳ４１で取り出したそれぞれの候補ベクトルで示される動き先候補の参照点を設定する。例えば上述したように２０番目までの候補ベクトルを取出した場合には、１つの注目点の選別画素について、２０個の参照画素を設定することになる。
複数の参照画素が設定されると、それぞれの参照画素を中心とした下位階層での所定の領域を設定する。この参照画素を中心とした下位階層での領域のサイズは、注目画素を中心として設定した下位階層での領域のサイズと同じである。
そして、選別された注目画素を中心とした下位階層での領域の画素値と、それぞれの参照画素を中心とした下位階層での領域の画素値を、フレームメモリ７４から取得する（ステップＳ４２）。ここでの下位階層での領域としては、例えば垂直方向８画素×水平方向１６画素の１２８画素の領域とする。

各領域内の画素値を取得すると、注目画素を中心とした領域内の各画素の画素値と、各参照画素を中心とした領域内の各画素の画素値との差分を取得し、その差分の領域毎の絶対値和を算出する（ステップＳ４３）。この算出で、選別された注目画素からの候補ベクトルの内で、差分絶対値和が最小値となる参照画素の候補ベクトルを、下位階層で信頼度が高いベクトルと判断して、信頼度のカウント値を＋１する（ステップＳ４４）。

また、上位階層での処理としては、ステップＳ４５に移り、候補ベクトル信頼度評価部７１で、選別画素データメモリ７３から供給された選別画素データで示された注目点の選別画素について、それぞれの注目画素を中心とした上位階層での所定の領域を設定する。そして下位階層と同じ位置の各参照点に対しても、各参照画素を中心とした上位階層での所定の領域を設定する。この参照画素を中心とした上位階層での領域のサイズは、注目画素を中心として設定した上位階層での領域のサイズと同じである。ここでの上位階層での領域としては、例えば垂直方向２４画素×水平方向４８画素の１１５２画素の領域とする。但し、上位階層では、垂直方向３画素×水平方向３画素の単位ごとにブロック化し、ブロックごとに平均化した画素値を得る。

そして、注目画素を中心とした領域内のブロックの平均画素値と、各参照画素を中心とした領域内のブロックの平均画素値との差分を取得し、その差分の領域毎の絶対値和を算出する（ステップＳ４６）。この算出で、選別された注目画素からの候補ベクトルの内で、差分絶対値和が最小値となる参照画素の候補ベクトルを、上位階層で信頼度が高いと判断して、信頼度のカウント値を＋１する（ステップＳ４７）。

そして、１フレーム内の全ての選別された注目画素について、同様の下位階層での候補ベクトルの信頼性の評価と、上位階層での候補ベクトルの信頼性の評価をした後、候補ベクトルの信頼度を決定する（ステップＳ４８）。

［評価値テーブルデータの信頼度を評価する原理の説明（下位と上位の階層の例）］
次に、図１２を参照して、図１１のフローチャートの処理で実行される、下位階層と上位階層を使って、評価値テーブルデータの信頼度を評価する処理で、信頼度が判定される原理について説明する。この例でも説明を簡単にするために、頻度の高いものから３つの候補ベクトルを取り出したものとする。なお、図１２において、下位階層での処理については、図１０で説明した処理と全く同じである。
まず、図１２（ａ）に示すように、前フレームＦ１０内に選別された注目点ｄ１０が存在すると、その注目点ｄ１０を中心として、３つの動き先候補としての候補ベクトルを割り当てる。この候補ベクトルの割り当てを行うことで、現フレームＦ１１内に、その候補ベクトルで示される動き先候補としての３つの参照点ｄ１１，ｄ１２，ｄ１３が得られる。この図１２（ａ）の状態は、図１０（ａ）の状態と同じである。

そして、図１１のフローチャートのステップＳ４２の下位階層の処理では、図１２（ｂ）に示すように、注目点ｄ１０を中心とした下位階層での領域ａ１０を、前フレームＦ１０内に設定する。また、各参照点ｄ１１，ｄ１２，ｄ１３を中心とした下位階層での領域ａ１１，ａ１２，ａ１３を、現フレームＦ１１内に設定する。
下位階層での各領域ａ１０，ａ１１，ａ１２，ａ１３のサイズは等しいサイズとする。例えば、それぞれの領域を、垂直方向８画素×水平方向１６画素の１２８画素の領域とする。

図１１のフローチャートのステップＳ４５の上位階層の処理では、図１２（ｂ）に示すように、注目点ｄ１０を中心とした上位階層での領域Ａ１０を、前フレームＦ１０内に設定する。また、各参照点ｄ１１，ｄ１２，ｄ１３を中心とした上位階層での領域Ａ１１，Ａ１２，Ａ１３を、現フレームＦ１１内に設定する。

上位階層については、図１３に示すようにブロック化を行う。即ち、図１３（ａ）に示すように、注目点ｄ１０又は参照点ｄ１１について、その周辺に領域を設定する際に、垂直方向３画素×水平方向３画素の９画素単位でのブロックＢ０，Ｂ１，Ｂ２，Ｂ３，Ｂ４・・・を設定する。各ブロック内の９画素の画素値（輝度値）は、平均化して、ブロック単位で平均画素値を持つようにする。

そして、図１３（ｂ）に示すように、その各ブロックを、垂直方向８ブロック×水平方向１６ブロックの１２８ブロック用意する。この１２８ブロックの平均画素値の絶対値和差分を算出する。

各領域Ａ１０，Ａ１１，Ａ１２，Ａ１３は、それぞれ等しいサイズであり、また、下位階層での領域ａ１０，ａ１１，ａ１２，ａ１３よりも大きな領域としてある。例えば、それぞれの領域を、垂直方向２４画素×水平方向４８画素の１１５２画素の領域とする。

図１２（ｂ）の説明に戻ると、図１１のフローチャートのステップＳ４３の下位階層での処理で、注目点の周囲の領域ａ１０内の各画素と、参照点の周囲の領域ａ１１，ａ１２，ａ１３内の各画素との画素値が比較され、差分値が得られる。比較して得られた各画素位置の差分値は、絶対値化されて１つの領域ごとに加算されて、差分絶対値和が得られる。具体的には、図１０（ｂ）に示されるように、領域ａ１０内の各画素と、領域ａ１１内の各画素との差分値を得て、その差分値の絶対値を領域内で加算して、下位階層での差分値絶対値和Δα１を得る。また、領域ａ１０内の各画素と、領域ａ１２内の各画素との差分値を得て、その差分値の絶対値を領域内で加算して、下位階層での差分値絶対値和Δβ１を得る。また、領域ａ１０内の各画素と、領域ａ１３内の各画素との差分値を得て、その差分値の絶対値を領域内で加算して、下位階層での差分値絶対値和Δγ１を得る。

同様に、図１１のフローチャートのステップＳ４６の上位階層での処理で、注目点の周囲の領域Ａ１０内の各画素と、参照点の周囲の領域Ａ１１，Ａ１２，Ａ１３内の各画素との画素値が比較され、差分値が得られる。比較して得られた各画素位置の差分値は、絶対値化されて１つの領域ごとに加算されて、差分絶対値和が得られる。具体的には、図１２（ｂ）に示されるように、領域Ａ１０内の各画素と、領域Ａ１１内の各画素との差分値を得て、その差分値の絶対値を領域内で加算して、上位階層での差分値絶対値和Δα２を得る。また、領域Ａ１０内の各画素と、領域Ａ１２内の各画素との差分値を得て、その差分値の絶対値を領域内で加算して、上位階層での差分値絶対値和Δβ２を得る。また、領域Ａ１０内の各画素と、領域Ａ１３内の各画素との差分値を得て、その差分値の絶対値を領域内で加算して、上位階層での差分値絶対値和Δγ２を得る。

そして、下位階層でのそれぞれの差分絶対値和Δα１，Δβ１，Δγ１が比較されて、差分絶対値和が最小のものが、下位階層で信頼度が高いものと判定される。図１２（ｂ）の例では、差分絶対値和Δα１が下位階層で最小であったとする。このとき、下位階層での判断処理で、注目点ｄ１０と参照点ｄ１１とを結ぶ動きベクトルが、このときの選別された注目点ｄ１０についての候補ベクトルの中で、最も信頼度が高い候補ベクトルとする。
下位階層で注目点ｄ１０に対して信頼度が高い候補ベクトルが決まると、図１１のフローチャートのステップＳ４１で得た候補ベクトルの中で、該当する信頼度が高いと判断された候補ベクトルについての下位階層での評価値を示すカウント値を＋１する。この処理が図１１のフローチャートのステップＳ４４に相当する。
同様に、上位階層でのそれぞれの差分絶対値和Δα２，Δβ２，Δγ２が比較されて、差分絶対値和が最小のものが、上位階層で信頼度が高いものと判定される。図１２（ｂ）の例では、差分絶対値和Δα２が上位階層で最小であったとする。このとき、上位階層での判断処理で、注目点ｄ１０と参照点ｄ１１とを結ぶ動きベクトルが、このときの選別された注目点ｄ１０についての候補ベクトルの中で、最も信頼度が高い候補ベクトルとする。
上位階層で注目点ｄ１０に対して信頼度が高い候補ベクトルが決まると、図１１のフローチャートのステップＳ４１で得た候補ベクトルの中で、該当する信頼度が高いと判断された候補ベクトルについての上位階層での評価値を示すカウント値を＋１する。この処理が図１１のフローチャートのステップＳ４７に相当する。

そして、このようにして信頼度を得る処理を、１フレーム内の選別された全ての注目画素について行い、最終的に得られた評価値のカウント値を使用して、図９のフローチャートのステップＳ３１で取り出した複数の候補ベクトルそれぞれの信頼度を決定する。
なお、図１２の例では、下位階層での処理で、最も信頼度が高いと判断される候補ベクトルと、上位階層での処理で、最も信頼度が高いと判断される候補ベクトルとは同じベクトルとしたが、必ずしも最も信頼度が高いと判断される候補ベクトルが、上位と下位で同じになるとは限らない。

このようにして得られた下位階層での候補ベクトルの信頼度についての評価値（カウント値）と、上位階層での候補ベクトルの信頼度についての評価値（カウント値）を使用して、１フレーム内の画面全体の候補ベクトルの中から信頼度の高いものを決定する。

なお、図１１のフローチャートでは、下位階層と上位階層との双方で処理を行う例について説明したが、上位階層の領域だけを設定して、その上位階層で得たブロックの平均画素値の差分の絶対値の和から、候補ベクトルの信頼性を評価してもよい。

［下位階層と上位階層の説明］
図１２で示した候補ベクトルの信頼性を評価する処理例を、下位階層と上位階層とで個別に示すと、図１４及び図１５に示す状態となる。
即ち、下位階層では、図１４に示すように、選別された注目画素ｄ１０と、その注目画素から候補ベクトルで示された参照画素ｄ１１，ｄ１２，ｄ１３を中心とした８画素×１６画素の領域ａ１０，ａ１１，ａ１２，・・・が設定される。そして、それぞれの領域内の画素の絶対値差分和が得られ、比較される。
上位階層では、図１５に示すように、注目画素ｄ１０と、その注目画素から候補ベクトルで示された参照画素ｄ１１，ｄ１２，ｄ１３を中心とした２４画素×４８画素の領域Ａ１０，Ａ１１，Ａ１２，・・・が設定され、３画素×３画素のブロック単位とされる。そして、それぞれの領域のブロック平均の絶対値差分和が得られ、比較される。
このようにして、評価値テーブルで示された動きベクトルの候補について、信頼性を示すカウント値が得られ、その信頼性を示すカウント値に基づいて、候補ベクトルが絞られる。

［評価値テーブルと評価結果の例］
ここで、評価値テーブルで得られた候補ベクトルと評価結果の例について、図１６〜図２０を参照して説明する。
まず、１フレームの全画面に対して検出した評価値テーブルの例を、図１６に示す。この図１６は、画面全体が１つの方向に動いている状態の例である。この例では、１フレーム間で、画面全体として、水平方向（Ｖｘ）に−３（つまり３画素の動き）、垂直方向（Ｖｙ）に０（つまり動きなし）の動きがあった例を示している。
この例では、評価値テーブルデータとして、正解の動きベクトル位置である（−３，０）の位置にピークがあるデータとなっているが、その他のベクトル位置についても、ある程度の数の動きベクトルが候補として残っている。

この図１６に示す状態の評価値テーブル内の動きベクトルを、頻度のカウント値の順に抽出した候補ベクトルが、図１７に示したものである。この図１７の例では、頻度が高い順に２０番目までを抽出してあり、頻度が高いものから番号（ｉｄ）を０，１，２，・・・，１９と付与してある。

図１８は、この図１７の頻度２０番目までの候補ベクトルの内で、選別された注目画素についての下位階層での領域の絶対値差分和の判断で、信頼性が高いとなってカウントされた結果の数値を示したものである。この下位階層での処理では、カウント値が１以上である候補ベクトルの内で、最も頻度が低い候補ベクトルがｉｄ＝９である。但し、ｉｄ＝９より頻度が高い候補ベクトルでも、ｉｄ＝４とｉｄ＝６は、カウント値が０である。ｉｄ＝９よりも頻度の低い候補ベクトルは、全てカウント値が０で、どの選別画素でも信頼性が高くないと判断されたものである。
この例では、ｉｄ＝０からｉｄ＝９までの頻度順で１０番までの座標位置の候補ベクトルを、最終的な候補ベクトルとして選ぶ。このようにして選定された候補ベクトルのデータを図１に示した動きベクトル決定部１４に送り、最終的な動きベクトルが決定される。
この図１８の例は、下位階層だけで判断しているので、図９のフローチャートの処理を実行したものに相当する。

図１９は、図１７の頻度２０番目までの候補ベクトルの内で、選別された注目画素についての上位階層での領域の絶対値差分和の判断で、信頼性が高いとなってカウントされた結果の数値を示したものである。この上位階層での処理では、ｉｄ＝０と、ｉｄ＝３と、ｉｄ＝７との３つの座標位置の候補ベクトルに対して、カウント値があり、それ以下の候補ベクトルは、全てカウント値が０で、どの選別画素でも信頼性が高くないと判断されたものである。
従って、この例では、ｉｄ＝０と、ｉｄ＝３と、ｉｄ＝７との３つの座標位置の候補ベクトルを、最終的な候補ベクトルとして選ぶ。このようにして選定された候補ベクトルのデータを図１に示した動きベクトル決定部１４に送り、最終的な動きベクトルが決定される。
この図１９の例は、上位階層だけで判断しているので、図１１のフローチャートの一部の処理（ステップＳ４１，Ｓ４５，Ｓ４６，Ｓ４７，Ｓ４８の処理）を実行したものに相当する。

図２０は、下位階層での判断で信頼性が高いとなってカウントされた結果の数値と、上位階層での判断で信頼性が高いとなってカウントされた結果の数値とを並べて示したものであり、図１８と図１９を合わせたものである。この図２０の例は、図１１のフローチャートの処理を実行したものに相当する。
この図２０に示した候補ベクトルから、それぞれのカウント値の状態を判断して、所定の頻度順以上のカウント値の候補ベクトルを、候補ベクトルとして抽出して、動きベクトル決定部に送る。

下位階層だけから判断を行う場合と、上位階層だけから判断を行う場合と、下位と上位の２つの階層から判断を行う場合は、実際の画像の状態によってどれを選ぶのが好ましいか異なる。即ち、比較的小さな動きが多い画像の場合には、下位階層だけを使って、良好に候補ベクトルの信頼性を評価して、候補を絞ることが可能になっている。また、比較的大きな動きが多い画像の場合には、上位階層だけを使って、良好に候補ベクトルの信頼性を評価して、候補を絞ることが可能になっている。
さらに、下位階層と上位階層を組み合わせることで、比較的小さな動きと比較的大きな動きのいずれにも対処できるようになる。但し、下位階層と上位階層とを組み合わせた場合には、２つの階層で得た２種類のカウント値から、最終的にどこまでを候補とするのかの判断処理が必要になる。

このようにして本実施の形態の処理構成とすることで、画素選別データによって絞られた評価値テーブルのデータに対して、信頼性を評価でき、最終的に動きベクトルを決定する処理が、良好に行える。具体的には、評価されたカウント値に基づいて信頼性が高いと判断されたベクトルの数をある程度反映して、最終的に１フレームの画像内の動きベクトル数を決定するようにしたことで、１画像中に複数の動きがある場合の動きベクトル検出を良好に行える。従来、１フレーム内の動きベクトル数を、経験的に求まる一定の値に制限して決定していた場合に比べて、実際の画像状態に応じて適応的に設定でき、特に動きの変化が多い画像に好適な動きベクトル検出が行えるようになる。

［動きベクトル決定部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル決定部１４の構成及び動作の例について、図２１〜図２３を参照して説明する。
図２１は、図１の動きベクトル決定部１４の構成例を示したものである。動きベクトル決定部１４は、１フレーム内のそれぞれの画素に、前段の動きベクトル抽出部１３から供給される複数の候補ベクトルのいずれかを割当てる処理を行うものである。
この例では、それぞれの画素位置を注目点としたとき、その注目点の周囲に、所定の画素数で構成される領域である固定ブロックを設定して、動きベクトルを判定する例である。

図２１に従って構成を説明すると、動きベクトル割当て部１４の入力端子１４ａには、動きベクトルの候補のデータと、その候補ベクトルについての画像信号とが供給される。画像信号は、フレームメモリである参照点メモリ２１１に供給されて１フレーム記憶される。そして、参照点メモリ２１１に記憶された画像信号が、フレーム期間ごとに注目点メモリ２１２に移される。従って、参照点メモリ２１１に記憶される画像信号と、注目点メモリ２１２に記憶される画像信号とは、常に１フレーム期間ずれた信号である。

そして、注目点メモリ２１２に記憶された画像信号から、注目点を中心として決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。同様に、参照点メモリ２１１に記憶された画像信号から、参照点を中心とした決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。このデータ読出し部２１３で読出される注目点と参照点の画素位置（注目画素と参照画素）は、動きベクトル抽出部１３（図１）から供給された候補ベクトルのデータから、データ読出し部２１３で判断される。即ち、例えば候補ベクトルが１０個ある場合には、注目点からその１０個の候補ベクトルで動いた先の１０個の参照点が判断されることになる。

そして、データ読出し部２１３で読出された、注目点を中心とした固定領域の画素信号と、参照点を中心とした固定領域の画素信号とを、評価値算出部２１４に供給して、両固定領域の画素信号の差分が検出される。このようにして、評価値算出部２１４では、現在評価中の注目点と候補ベクトルで接続された全ての参照点の固定領域の画素信号を判断し、注目点を中心とした固定領域の画素信号と比較する。
そして、評価値算出部２１４では、比較の結果で、注目点を中心とした固定領域の画素信号と最も類似した固定領域を持った参照点を選定する。
選定された参照点と注目点とを結ぶ候補ベクトルのデータは、ベクトル決定部２１５に送る。ベクトル決定部２１５では、該当する候補ベクトルを、注目点からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子２１５から出力させる。

図２２のフローチャートは、この図２１のベクトル決定（割当て）処理動作例を示したフローチャートである。
図２２に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ１２１）。読出された候補ベクトルについての注目点の座標位置を判断し、その位置の画素（注目画素）とその周辺画素で構成される固定ブロックの画素を注目点メモリ５２から読出す（ステップＳ１２２）。また、読出された候補ベクトルについての参照点の座標位置を判断し、その位置の画素（参照画素）とその周辺画素で構成される固定ブロックの画素を参照点メモリ２１１から読出す（ステップＳ１２３）。
そして、それぞれの固定ブロック内の画素レベル（画素値：ここでは輝度値）の差分の絶対値和を算出する（ステップＳ１２４）。ここまでの処理を、現在の注目点についての全ての候補ベクトルで示された参照点について行う。
そして、参照点について設定した固定ブロックについて算出した差分の絶対値和の内で、注目点について設定した固定ブロックの差分の絶対値和と比較して、差が最小になる参照点を探す。この処理で、差が最小になる参照点を判断すると、その判断された参照点と注目点を結ぶ候補ベクトルを、注目点についての動きベクトルとして割り当てることを決定する（ステップＳ１２５）。

図２３は、この図２１の構成及び図２２のフローチャートでの処理状態の概要を示した図である。
この例では、フレームＦ１０（注目フレーム）に注目点ｄ１０が存在し、その時間軸上の次のフレームＦ１１（参照フレーム）内との間で、複数の候補ベクトルＶ１１，Ｖ１２が存在しているとする。フレームＦ１１には、候補ベクトルＶ１１，Ｖ１２で注目点ｄ１０と結ばれた参照点ｄ１１，ｄ１２が存在している。
このような図２７の状態を想定すると、図２３のステップＳ１２２では、フレームＦ１０内で、注目点ｄ１０の中心にして固定した所定画素数の固定ブロックＢ１０が設定され、その固定ブロックＢ１０内の画素値の差分の絶対値和が算出される。同様に、図２３のステップＳ１２３では、フレームＦ１１内で、参照点ｄ１１，ｄ１２の中心にして固定した所定画素数の固定ブロックＢ１１，Ｂ１２が設定され、その固定ブロックＢ１１，Ｂ１２内の画素値の差分の絶対値和が、それぞれ個別に算出される。

そして、固定ブロックＢ１１の差分の絶対値和と、固定ブロックＢ１２の差分の絶対値和の内で、固定ブロックＢ１０の差分の絶対値和に近い方がいずれか比較される。この比較で、例えば固定ブロックＢ１１の差分の絶対値和の方が、固定ブロックＢ１０の差分の絶対値和に近いと判断すると、その固定ブロックＢ１１の中心の参照点ｄ１１と、注目点ｄ１０とを結ぶ候補ベクトルＶ１１が選択される。この選択された候補ベクトルＶ１１を、注目点ｄ１０の動きベクトルとして割り当てる。
なお、図２３では説明を簡単にするために候補ベクトルを２つとして説明したが、実際には１つの注目点に対してより多くの候補ベクトルが存在することがある。また、説明を簡単にするために１つの注目点だけを示してあるが、実際には、１フレーム内の全ての画素又は代表となる複数の画素が、このような注目点となる。

このようにして候補ベクトルから選定するベクトルを決定する処理を行うことで、注目点の周囲の画素の状態と、参照点の周囲の画素の状態とが、近いものが選定されることになり、それぞれの画素に割り当てる動きベクトルの選定が、良好に行える。

［実施の形態の変形例の説明］
なお、上述した実施の形態では、注目点の選定処理については具体的に説明しなかったが、例えば１フレーム内の全ての画素を順に注目点として選定して、それぞれの画素について動きベクトルを検出させる構成としてもよい。或いは、１フレーム内で代表となる画素を注目点として選び出し、その選び出した画素についての動きベクトルを検出させる場合にも適用してもよい。
また、注目点に対する参照点の選定処理についても、図６などに図示したサーチエリアＳＡは一例であり、様々なサーチエリアの選定を適用することができる。

また、上述した実施の形態では、図１８〜図２０に示した候補ベクトルの評価結果から、最終的な候補ベクトルを選択する処理としては、信頼性があると判断される候補ベクトルが存在しない範囲、即ち図１８などでカウント値として０が続く範囲を除外した。そして、それよりも上位の範囲を選択する処理を行うようにしたが、カウント値が０以外の個所の候補ベクトルについても除去するようにしてもよい。例えば、図１８の例では、上位１０番目まで候補ベクトルとするようにしたが、カウント値が１桁などの少ない数の候補ベクトルについては除外するようにしてもよい。

また、上述した実施の形態で示した各階層での領域の画素サイズは一例であり、その他のサイズの領域としてもよい。
また、各領域の内の信号は、領域内の各画素値ごとの差分の絶対値の和を求めるようにしたが、その他の演算処理で各領域間の相関を判定するようにしてもよい。例えば、領域域内の画素値の差分を絶対値化せずに、そのまま和を求めるようにして、画素値の変化がいずれの方向にあるのか判定するようにしてもよい。また、差分絶対値和以外の演算処理で、２つの領域の相関値を得て、その相関値の大小から判断するようにしてもよい。
また、上述した実施の形態では、画像信号の画素値として、輝度信号を適用した例について説明したが、色信号や色差信号などの、画素単位で得られるその他の信号成分を使うようにしてもよい。

また、上述した各実施の形態では、画像信号の動きベクトル検出装置として構成させた例について説明したが、この動きベクトル検出装置は、各種画像処理装置に組み込むようにしてもよい。例えば、高能率符号化を行う符合化装置に組み込み、動きベクトルデータを利用して符号化を行うようにすることができる。或いは、入力（受信）した画像データによる表示を行う画像表示装置や記録を行う画像記録装置に組み込み、高画質化するために動きベクトルデータを利用するようにしてもよい。

また、本発明の動きベクトル検出を行う各構成要素をプログラム化して、例えば各種データ処理を行うコンピュータ装置などの各種情報処理装置に、そのプログラムを実装させて、その情報処理装置に入力した画像信号から動きベクトルを検出する処理を実行する際に、同様の処理を行うようにしてもよい。

本発明の一実施の形態による装置構成例を示すブロック図である。 本発明の一実施の形態による全体処理例を示すフローチャートである。 本発明の一実施の形態による評価値テーブル形成例（空間傾斜パターンを用いて、画素選別した例）を示すブロック図である。 本発明の一実施の形態の例による動きベクトル抽出部の処理構成例を示すブロック図である。 図３の例により選別画素を決定する処理例を示すフローチャートである。 図３の例により空間傾斜パターンを比較する処理例を示す説明図である。 図３の例による空間傾斜符号の例を示す説明図である。 図３の例による空間傾斜パターンの例を示す説明図である。 本発明の一実施の形態による候補ベクトルの信頼度決定処理例（例１）を示したフローチャートである。 図９の処理例により信頼度が決定される処理の概要を示した説明図である。 本発明の一実施の形態による候補ベクトルの信頼度決定処理例（例２：２つの階層で行う例）を示したフローチャートである。 図１１の処理例により信頼度が決定される処理の概要を示した説明図である。 本発明の一実施の形態による上位階層と下位階層との例を示した説明図である。 本発明の一実施の形態による下位階層での処理例を示した説明図である。 本発明の一実施の形態による上位階層での処理例を示した説明図である。 本発明の一実施の形態による評価値テーブルの例を示した説明図である。 本発明の一実施の形態の例による評価値テーブルから抽出した候補ベクトルを、頻度順に示した説明図である。 本発明の一実施の形態の例による候補ベクトルの下位階層での評価結果例を示した説明図である。 本発明の一実施の形態の例による候補ベクトルの上位階層での評価結果例を示した説明図である。 本発明の一実施の形態の例による候補ベクトルの上位階層と下位階層での評価結果例を示した説明図である。 本発明の一実施の形態の例による動きベクトルの決定処理の構成例を示したブロック図である。 図２１の例による処理を示したフローチャートである。 図２１の例による動きベクトル決定処理状態の例を示す説明図である。 従来の評価値テーブルデータ生成処理構成の一例を示すブロック図である。 従来の評価値テーブルデータ生成処理例の概要を示す説明図である。 従来の評価値テーブルデータ生成処理構成の別の例を示すブロック図である。

符号の説明

１…画像信号入力端子、２…相関演算部、２ａ…参照点メモリ、２ｂ…注目点メモリ、２ｃ…絶対値算出部、３…相関判定部、３ａ…比較部、４…評価値テーブル算出部、４ａ…評価値積算部、４ｂ…評価値テーブルメモリ、５…評価値テーブルデータ出力端子、６…画素選別部、６ａ…ゲート部、６ｂ…空間傾斜パターン算出部、６ｃ…パターン比較部、６ｄ…空間傾斜パターンメモリ、１１…画像信号入力端子、１２…評価値テーブル形成部、１２ａ…評価値テーブルデータ出力端子、１３…動きベクトル抽出部、１３ａ…評価値テーブルデータ入力端子、１３ｂ…候補ベクトル信頼度データ出力端子、１４…動きベクトル決定部、１５…動きベクトル出力端子、１６…制御部（コントローラ）、２０…相関演算部、２１…参照点メモリ、２２…注目点メモリ、２３…絶対値算出部、３０…相関判定部、３１…比較部、４０…画素選別部、４１…ゲート部、４２…空間傾斜パターン算出部、４３…パターン比較部、４４…空間傾斜パターンメモリ、５０…評価値テーブル算出部、５１…評価値積算部、５２…評価値テーブルメモリ、６１…評価値テーブルデータ変換部、６２…頻度順ソート処理部、７０…候補ベクトル信頼度判定部、７１…候補ベクトル評価部、７２…候補ベクトル信頼度判定部、７３…選別画素メモリ、７４…フレームメモリ、２１１…参照点メモリ、２１２…注目点メモリ、２１３…データ読出し部、２１４…評価値算出部、２１５…ベクトル決定部

Claims (4)

1. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である動きベクトルの可能性を評価した評価値テーブルを形成する評価値情報形成部と、
   前記評価値情報形成部で形成された評価値テーブルに基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出し、その抽出する候補を、前記一方のフレーム内の注目画素を中心とした所定領域内の画素と、前記他方のフレーム内の参照画素を中心とした所定領域内の画素との相関を比較し、所定領域全体での相関状態の比較結果に基づいて、前記評価値テーブルの各候補ベクトルを評価して、評価値の高い動きベクトルを候補として抽出する動きベクトル抽出部とを備え、
   前記評価値情報形成部での評価値テーブル形成を行う際に、前記注目画素及びその周辺画素との空間傾斜状態と、前記参照画素及びその周辺画素との空間傾斜状態に基づいて、画素選別を行った結果に基づいて評価値テーブルを形成し、
   前記動きベクトル抽出部は、前記画素選別により選別された画素の動きベクトルに対して、前記一方のフレーム内の注目画素を中心とした所定領域内の画素と、前記他方のフレーム内の参照画素を中心とした所定領域内の画素との相関を、領域全体で比較して、注目画素を中心とした所定領域内の画素と、参照画素を中心とした所定領域内の画素との差分を得て、その差分の絶対値を前記所定領域内で加算した差分絶対値和を得る処理を行うものであり、
   前記所定領域は、前記注目画素又は参照画素を中心とした第１の画素数の領域と、前記注目画素又は参照画素を中心とした前記第１の画素数とは異なる第２の画素数の領域とを設定し、
   前記第１の画素数の領域内で加算した差分絶対値和を得て、その差分絶対値和が最小となる動きベクトルについての評価値を加算する共に、前記第２の画素数の領域内で加算した差分絶対値和を得て、その差分絶対値和が最小となる動きベクトルについての評価値を加算し、前記評価値が最も高い値の候補ベクトルを動きベクトルに決定する
   動きベクトル検出装置。
2. 前記第２の画素数の領域は、所定数の画素で構成されるブロックの集合で構成される領域であり、前記ブロック単位で画素値を平均化し、ブロック単位の差分絶対差分値和を比較する
   請求項１に記載の動きベクトル検出装置。
3. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値テーブルを形成し、
   前記形成された評価値テーブルに基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出し、
   前記動きベクトルの抽出を行う際の抽出する候補の選定として、前記一方のフレーム内の注目画素を中心とした所定領域内の画素の差分値の和と、前記他方のフレーム内の参照画素を中心とした所定領域内の画素の差分値の和とを比較し、比較結果に基づいて、前記評価値テーブルの各候補ベクトルを評価して、評価値の高い動きベクトルを候補とし、
   前記評価値の高い動きベクトルの中から、動きベクトルを決定する動きベクトル検出方法であり、
   前記評価値テーブルの形成を行う際に、前記注目画素及びその周辺画素との空間傾斜状態と、前記参照画素及びその周辺画素との空間傾斜状態に基づいて、画素選別を行った結果に基づいて評価値情報を形成し、
   前記動きベクトルの候補の抽出をする際に、前記画素選別により選別された画素の動きベクトルに対して、前記一方のフレーム内の注目画素を中心とした所定領域内の画素と、前記他方のフレーム内の参照画素を中心とした所定領域内の画素との相関を、領域全体で比較して、注目画素を中心とした所定領域内の画素と、参照画素を中心とした所定領域内の画素との差分を得て、その差分の絶対値を前記所定領域内で加算した差分絶対値和を得る処理を行うものであり、
   前記所定領域は、前記注目画素又は参照画素を中心とした第１の画素数の領域と、前記注目画素又は参照画素を中心とした前記第１の画素数とは異なる第２の画素数の領域とを設定し、
   前記第１の画素数の領域内で加算した差分絶対値和を得て、その差分絶対値和が最小となる動きベクトルについての前記評価値を加算する共に、前記第２の画素数の領域内で加算した差分絶対値和を得て、その差分絶対値和が最小となる動きベクトルについての前記評価値を加算し、前記評価値が最も高い値の候補ベクトルを動きベクトルに決定する
   動きベクトル検出方法。
4. 複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値テーブルを形成する処理と、
   前記形成された評価値テーブルに基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する処理と、
   前記動きベクトルの抽出を行う際の抽出する候補の選定として、前記一方のフレーム内の注目画素を中心とした所定領域内の画素の差分値の和と、前記他方のフレーム内の参照画素を中心とした所定領域内の画素の差分値の和とを比較し、比較結果に基づいて、前記評価値テーブルの各候補ベクトルを評価して、評価値の高い動きベクトルを候補とする動きベクトル評価処理と、
   動きベクトル評価処理で評価値が高い動きベクトルの候補の中から、動きベクトルを決定する動きベクトル決定処理とを、
   情報処理装置に実装して実行させる
   プログラムであり、
   前記評価値テーブルの形成を行う処理を行う際に、前記注目画素及びその周辺画素との空間傾斜状態と、前記参照画素及びその周辺画素との空間傾斜状態に基づいて、画素選別を行った結果に基づいて評価値情報を形成し、
   前記動きベクトルの候補を抽出する処理を行う際に、前記画素選別により選別された画素の動きベクトルに対して、前記一方のフレーム内の注目画素を中心とした所定領域内の画素と、前記他方のフレーム内の参照画素を中心とした所定領域内の画素との相関を、領域全体で比較して、注目画素を中心とした所定領域内の画素と、参照画素を中心とした所定領域内の画素との差分を得て、その差分の絶対値を前記所定領域内で加算した差分絶対値和を得る処理を行うものであり、
   前記所定領域は、前記注目画素又は参照画素を中心とした第１の画素数の領域と、前記注目画素又は参照画素を中心とした前記第１の画素数とは異なる第２の画素数の領域とを設定し、
   前記第１の画素数の領域内で加算した差分絶対値和を得て、その差分絶対値和が最小となる動きベクトルについての前記評価値を加算する共に、前記第２の画素数の領域内で加算した差分絶対値和を得て、その差分絶対値和が最小となる動きベクトルについての前記評価値を加算し、前記評価値が最も高い値の候補ベクトルを動きベクトルに決定する処理を行う
   プログラム。

Images