JP4512985B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、動きベクトル検出の精度を向上することができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。

画像のフレーム周波数を変換する画像処理装置において、着目ブロックの動きベクトルを検出する１つの方法として、勾配法が用いられる。この勾配法においては、微小動きに対しては、精度の高い結果を得ることができるが、実際の動画像の中で動きを求める場合には、その動きが大きすぎて、実用的ではない。したがって、特許文献１に示されるように、勾配法の演算を繰り返し行うことにより対応している。

勾配法の演算を行う場合、着目ブロックに対応する、演算の対象となるブロックに属する複数の画素が使用され、１つの動きベクトルが求められる。

特開昭６０−１５８７８６号公報

しかしながら、異なる動きの物体の境界付近などにおいては、勾配法の演算に用いるブロックの中に、それぞれに異なる動きをする画素が含まれることになる。このような場合、動きベクトルを正確に検出できないときがあるという課題があった。

本発明は、このような状況に鑑みてなされたものであり、より正確に動きベクトルを検出することができるようにするものである。

本発明の画像処理装置は、所定の画素の画素値の第１の方向の勾配、所定の画素の画素値の第２の方向の勾配、および所定の画素の画素値の時間方向の勾配を演算する勾配演算手段と、第１の方向の勾配、第２の方向の勾配、および時間方向の勾配を基に、第１の方向の動きを第１の軸とし、第２の方向の動きを第２の軸とする座標系における、画素の輝度が一定であるという条件を満たす画素の第１の方向の動きの成分および第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する切片演算手段と、着目画素に対する直線の傾きが０または無限大でない場合、着目画素に対する直線の第１の方向の切片を第１の基準位置として、第１の基準位置から判定の対象となる画素に対する直線の第１の方向の切片までの距離が、所定の閾値より小さく、かつ、着目画素に対する直線の第２の方向の切片を第２の基準位置として、第２の基準位置から判定の対象となる画素に対する直線の第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、着目画素の前記動きベクトルを勾配法により検出する演算処理に、画素を使用するか否かを判定する判定手段とを備える
ことを特徴とする。

判定手段は、着目画素に対する直線の傾きが０である場合、着目画素に対する直線の第２の方向の切片を第２の基準位置として、第２の基準位置から判定の対象となる画素に対する直線の第２の方向の切片までの距離が、所定の閾値より小さく、かつ、判定の対象となる画素に対する直線の第１の方向の勾配が０でないか否かを基に、演算処理に、画素を使用するか否かを判定するようにすることができる。

判定手段は、着目画素に対する直線の傾きが無限大である場合、着目画素に対する直線の第１の方向の切片を第１の基準位置として、第１の基準位置から判定の対象となる画素に対する直線の第１の方向の切片までの距離が、所定の閾値より小さく、かつ、判定の対象となる画素に対する直線の第２の方向の勾配が０でないか否かを基に、演算処理に、画素を使用するか否かを判定するようにすることができる。

画像処理装置は、着目画素近傍の予め定められた領域内の画素のうち、判定手段により演算処理に使用されると判定された画素を用いて演算処理を行ない、着目画素の動きベクトルを検出する検出手段をさらに設けることができる。

画像処理装置は、動きベクトルの信頼度の高さを評価する評価手段をさらに設け、切片演算手段は、前回検出された動きベクトルの評価の結果を表す評価値が、０ベクトルである動きベクトルの評価値よりも大きい場合、画素の位置に前回検出された動きベクトルを加算した位置からの画素の第１の方向の動きの成分および第２の方向の動きの成分の組に対応する点からなる直線の切片を算出するようにすることができる。

本発明の画像処理方法は、所定の画素の画素値の第１の方向の勾配、所定の画素の画素値の第２の方向の勾配、および所定の画素の画素値の時間方向の勾配を演算する勾配演算ステップと、第１の方向の勾配、第２の方向の勾配、および時間方向の勾配を基に、第１の方向の動きを第１の軸とし、第２の方向の動きを第２の軸とする座標系における、画素の輝度が一定であるという条件を満たす画素の第１の方向の動きの成分および第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する切片演算ステップと、着目画素に対する直線の傾きが０または無限大でない場合、着目画素に対する直線の第１の方向の切片を第１の基準位置として、第１の基準位置から判定の対象となる画素に対する直線の第１の方向の切片までの距離が、所定の閾値より小さく、かつ、着目画素に対する直線の第２の方向の切片を第２の基準位置として、第２の基準位置から判定の対象となる画素に対する直線の第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、着目画素の動きベクトルを勾配法により検出する演算処理に、画素を使用するか否かを判定する判定ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、所定の画素の画素値の第１の方向の勾配、所定の画素の画素値の第２の方向の勾配、および所定の画素の画素値の時間方向の勾配を演算する勾配演算ステップと、第１の方向の勾配、第２の方向の勾配、および時間方向の勾配を基に、第１の方向の動きを第１の軸とし、第２の方向の動きを第２の軸とする座標系における、画素の輝度が一定であるという条件を満たす画素の第１の方向の動きの成分および第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する切片演算ステップと、着目画素に対する直線の傾きが０または無限大でない場合、着目画素に対する直線の第１の方向の切片を第１の基準位置として、第１の基準位置から判定の対象となる画素に対する直線の第１の方向の切片までの距離が、所定の閾値より小さく、かつ、着目画素に対する直線の第２の方向の切片を第２の基準位置として、第２の基準位置から判定の対象となる画素に対する直線の第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、着目画素の動きベクトルを勾配法により検出する演算処理に、画素を使用するか否かを判定する判定ステップとを含むことを特徴とする。

本発明のプログラムは、所定の画素の画素値の第１の方向の勾配、所定の画素の画素値の第２の方向の勾配、および所定の画素の画素値の時間方向の勾配を演算する勾配演算ステップと、第１の方向の勾配、第２の方向の勾配、および時間方向の勾配を基に、第１の方向の動きを第１の軸とし、第２の方向の動きを第２の軸とする座標系における、画素の輝度が一定であるという条件を満たす画素の第１の方向の動きの成分および第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する切片演算ステップと、着目画素に対する直線の傾きが０または無限大でない場合、着目画素に対する直線の第１の方向の切片を第１の基準位置として、第１の基準位置から判定の対象となる画素に対する直線の第１の方向の切片までの距離が、所定の閾値より小さく、かつ、着目画素に対する直線の第２の方向の切片を第２の基準位置として、第２の基準位置から判定の対象となる画素に対する直線の第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、着目画素の動きベクトルを勾配法により検出する演算処理に、画素を使用するか否かを判定する判定ステップとを含むことを特徴とする。

本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、所定の画素の画素値の第１の方向の勾配、所定の画素の画素値の第２の方向の勾配、および所定の画素の画素値の時間方向の勾配が演算され、第１の方向の勾配、第２の方向の勾配、および時間方向の勾配を基に、第１の方向の動きを第１の軸とし、第２の方向の動きを第２の軸とする座標系における、画素の輝度が一定であるという条件を満たす画素の第１の方向の動きの成分および第２の方向の動きの成分の組に対応する点からなる直線の切片が算出され、着目画素に対する直線の傾きが０または無限大でない場合、着目画素に対する直線の第１の方向の切片を第１の基準位置として、第１の基準位置から判定の対象となる画素に対する直線の第１の方向の切片までの距離が、所定の閾値より小さく、かつ、着目画素に対する直線の第２の方向の切片を第２の基準位置として、第２の基準位置から判定の対象となる画素に対する直線の第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、着目画素の動きベクトルを勾配法により検出する演算処理に、画素を使用するか否かが判定される。

本発明によれば、より正確に動きベクトルを検出することができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明によれば、画像処理装置が提供される。この画像処理装置は、所定の画素の画素値の第１の方向の勾配、所定の画素の画素値の第２の方向の勾配、および所定の画素の画素値の時間方向の勾配を演算する勾配演算手段（例えば、図２６の勾配演算部６２２）と、第１の方向の勾配、第２の方向の勾配、および時間方向の勾配を基に、第１の方向の動きを第１の軸とし、第２の方向の動きを第２の軸とする座標系における、画素の輝度が一定であるという条件を満たす画素の第１の方向の動きの成分および第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する切片演算手段（例えば、図２６の切片演算部６２３）と、着目画素に対する直線の傾きが０または無限大でない場合、着目画素に対する直線の第１の方向の切片を第１の基準位置として、第１の基準位置から判定の対象となる画素に対する直線の第１の方向の切片までの距離が、所定の閾値より小さく、かつ、着目画素に対する直線の第２の方向の切片を第２の基準位置として、第２の基準位置から判定の対象となる画素に対する直線の第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、着目画素の前記動きベクトルを勾配法により検出する演算処理に、画素を使用するか否かを判定する判定手段（例えば、図２６の切片位置判定部６２４）とを備える。

本発明は、２４Ｐ信号から６０Ｐ信号へのフレーム周波数変換処理を行う信号処理装置に適用できる。

以下、図を参照して本発明の実施の形態について説明する。

図１は、本発明を適用した信号処理装置１の構成例を表している。信号処理装置１は、例えば、パーソナルコンピュータなどで構成される。図１において、ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２、または記憶部１８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）１３には、ＣＰＵ１１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、バス１４により相互に接続されている。

ＣＰＵ１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウス、マイクロフォンなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続されている。ＣＰＵ１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１１は、処理の結果、得られた画像や音声等を出力部１７に出力する。

入出力インタフェース１５に接続されている記憶部１８は、例えばハードディスクなどで構成され、ＣＰＵ１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。

入出力インタフェース１５に接続されているドライブ２０は、磁気ディスク３１、光ディスク３２、光磁気ディスク３３、或いは半導体メモリ３４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。

なお、信号処理装置１は、例えば、テレビジョン受像機、光ディスクプレーヤなど、または、それらの信号処理部とすることもできる。

図２は、信号処理装置１を示すブロック図である。

なお、信号処理装置１の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えてもよい。

図２に構成を示す信号処理装置１においては、例えば、フレーム周波数２４Ｈｚのプログレッシブ画像信号（以下、２４Ｐ信号と称する）の画像が入力され、入力された画像（入力画像）が、フレーム周波数６０Ｈｚのプログレッシブ画像信号（以下、６０Ｐ信号と称する）の画像に変換されて、出力される。すなわち、図２は、画像処理装置である信号処理装置の構成を示す図である。

信号処理装置１に入力された２４Ｐ信号の入力画像は、フレームメモリ５１、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、および画像補間部５８に供給される。フレームメモリ５１は、入力画像をフレーム単位で記憶する。フレームメモリ５１は、時刻ｔ＋１の入力画像の１つ前の時刻ｔのフレームを記憶する。フレームメモリ５１に記憶される時刻ｔのフレームは、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、および画像補間部５８に供給される。なお、以下、フレームメモリ５１上の時刻ｔのフレームをフレームｔと称し、時刻ｔ＋１の入力画像のフレームを、フレームｔ＋１と称する。

ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。ベクトル検出部５２の構成の詳細は、後述する。検出ベクトルメモリ５３は、フレームｔにおいて、ベクトル検出部５２により検出された動きベクトルを記憶する。

ベクトル割付部５４は、２４Ｐ信号のフレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号のフレーム（以下、６０Ｐ信号のフレームは、２４Ｐ信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。ベクトル割付部５４の構成の詳細は、後述する。

割付ベクトルメモリ５５は、ベクトル割付部５４により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。割付フラグメモリ５６は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、True(1)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、False(0)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

割付補償部５７は、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを割り付けた着目画素の割付フラグを１(True)に書き換える。割付補償部５７の構成の詳細は、後述する。

画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよび次のフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、図示せぬ後段に出力する。なお、以下においては、画素値を、適宜、輝度値とも称する。

図３は、本発明に係る信号処理装置１における処理の原理を説明する図である。図３の例においては、点線が、信号処理装置１に入力される、時刻ｔ，ｔ＋１，およびｔ＋２における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から信号処理装置１により、生成される時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，ｔ＋１．６，およびｔ＋２における６０Ｐ信号の内挿フレームを表している。

一般に、２４Ｐ信号を、６０Ｐ信号に変換するためには、５／２倍のフレームが必要になる。すなわち、２枚の２４Ｐ信号の画像から５枚の６０Ｐ信号の画像が生成されなければならない。このとき、生成される６０Ｐ信号の内挿フレームは、そのフレーム間隔を等しくするために、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に配置される。この中で、時間位相が０．０である時刻ｔの１フレームを除く４フレーム（ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６のフレーム）は、２４Ｐ信号上には存在しない画像である。したがって、信号処理装置１は、２４Ｐ信号の画像が入力されると、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、４つの内挿フレームを生成する。したがって、信号処理装置１からは、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚のフレームからなる６０Ｐ信号の画像が出力される。

以上のようにして、信号処理装置１は、２４Ｐ信号の画像から６０Ｐ信号の画像に、フレーム周波数を変換する処理を実行する。

なお、原理的には、上述したように、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚の６０Ｐ信号のフレームが新しく生成されるが、実際には、図３の例の場合、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームに基づいて、ｔ，ｔ＋０．４，ｔ＋０．８の６０Ｐ信号のフレームが生成され、２４Ｐ信号の時刻ｔ＋１およびｔ＋２の２枚のフレームに基づいて、ｔ＋１．２，ｔ＋１．６，およびｔ＋２の６０Ｐ信号のフレームが生成される。

図４は、本発明の処理をより具体的に説明する図である。図４の例においては、太線矢印は、各状態への遷移を表しており、矢印Ｔは、状態８１乃至８５における時間の経過方向を表している。また、状態８１乃至８５は、信号処理装置１を構成する各部への入出力時の、２４Ｐ信号の時刻ｔのフレームｔ、時刻ｔの次の時刻ｔ＋１のフレームｔ＋１、または、フレームｔおよびフレームｔ＋１の間に生成される６０Ｐ信号の内挿フレームＦの状態を概念的に表している。すなわち、実際には、例えば、状態８２に示されるような動きベクトルが検出されたフレームは入力されず、フレームと動きベクトルは、別々に入力される。

状態８１は、ベクトル検出部５２に入力される、２４Ｐ信号のフレームｔおよびフレームｔ＋１の状態を表している。状態８１のフレームｔ上の黒点は、フレームｔ上の画素を表している。ベクトル検出部５２は、状態８１のフレームｔ上の画素が、次の時刻のフレームｔ＋１において、どの位置に移動するかを検出し、その動きを、状態８２のフレームｔ上に示されるように、各画素に対応する動きベクトルとして出力する。この２フレーム間の動きベクトルの検出方法には、ブロックマッチング法または勾配法などが用いられる。なお、このとき、画素に複数の動きベクトルが検出された場合、ベクトル検出部５２は、各動きベクトルについて、後述する評価値を求め、その評価値に基づいて動きベクトルを選択する。

状態８２は、ベクトル割付部５４に入力される、フレームｔおよびフレームｔ＋１の状態を表している。状態８２において、フレームｔの各画素の矢印は、ベクトル検出部５２により検出された動きベクトルを表している。

ベクトル割付部５４は、状態８２のフレームｔの各画素に対して検出された動きベクトルを、次のフレームｔ＋１まで延長させ、予め設定されている時間位相（例えば、図３のｔ＋０．４）にある内挿フレームＦ上のどの位置を通過するかを求める。これは、フレームｔおよびフレームｔ＋１の間が一定動きであると仮定すると、動きベクトルが内挿フレームＦを通過した点が、そのフレームでの画素位置となるためである。したがって、ベクトル割付部５４は、この通過する動きベクトルを、状態８３の内挿フレームＦ上の近傍４画素に割り付ける。また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、あるいは、複数の動きベクトルが、割付候補となりうる場合がある。後者のような場合には、ベクトル割付部５４は、ベクトル検出部５２と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８３は、割付補償部５７に入力される、フレームｔおよびフレームｔ＋１、並びに動きベクトルが割り付けられた内挿フレームＦの状態を表している。状態８３の内挿フレームＦにおいては、ベクトル割付部５４により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられなかった画素が示されている。

割付補償部５７は、状態８３の動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであるからである。これにより、動きベクトルが割り付けられなかった画素にも、ある程度正確な動きベクトルが与えられ、状態８４の内挿フレームＦ上のすべての画素に動きベクトルが割り付けられる。なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部５７は、ベクトル割付部５４と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８４は、画像補間部５８に入力される、フレームｔおよびフレームｔ＋１、並びに、すべての画素に動きベクトルが割り付けられた内挿フレームＦの状態を表している。これらのすべての画素に割り付けられた動きベクトルにより、画像補間部５８は、内挿フレームＦ上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素の位置関係を決定することができる。したがって、画像補間部５８は、内挿フレームＦ上に割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、状態８５の内挿フレームＦの黒点に示されるように、内挿フレームＦ上の画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、図示せぬ後段に出力する。

次に、図５を参照して、本発明に係る信号処理装置１において用いられる動きベクトルの評価値を説明する。図４を参照して上述したように、信号処理装置１の各部（ベクトル検出部５２、ベクトル割付部５４、および割付補償部５７）において、後段の処理に最適な動きベクトルが選択される。このとき、信号処理装置１の各部においては、動きベクトルに対する評価値として、２つのフレームの注目するベクトル量分ずらしたブロック間の相関値を表す差分絶対値和（ＤＦＤ(Displaced Frame Difference)）が用いられる。

図５の例においては、時刻ｔのフレームｔ上の画素位置ｐを中心としたｍ×ｎのブロック、および、時刻ｔ＋１のフレームｔ＋１上の画素位置ｐから注目する動きベクトルｖのベクトル量分ずらした画素位置ｐ＋ｖを中心としたｍ×ｎのブロックの２つのブロックが示されている。これら２つのブロック間において求められる差分絶対値和ＤＦＤ_t（ｐ）は、次の式（１）で表される。

・・・（１）

ここで、Ｆ_t（ｐ）は、時刻ｔにおける画素位置ｐの輝度値を表しており、ｍ×ｎは、差分絶対値和を求めるためのＤＦＤ演算範囲（ブロック）を表している。この差分絶対値和は、２つのフレームにおけるＤＦＤ演算範囲（ブロック）間の相関値を表しているため、一般的には、この差分絶対値和が小さいほどフレーム間のブロックの波形が一致しており、差分絶対値和が小さいほど、動きベクトルｖの信頼度が高いと判定される。これにより、この差分絶対値和は、複数の候補の中から、最も確からしい動きベクトルを選ぶ場合などに用いられる。

したがって、以降、信号処理装置１の各部（ベクトル検出部５２、ベクトル割付部５４、および割付補償部５７）においては、動きベクトルが選択される場合の評価値として、特に言及しない場合には、差分絶対値和（以下、評価値ＤＦＤと称する）が用いられることとする。

次に、図６のフローチャートを参照して、信号処理装置１のフレーム周波数を変換する処理を説明する。

ステップＳ１において、ベクトル検出部５２は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力し、ステップＳ２に進む。なお、このとき、ベクトル割付部５４、割付補償部５７および画像補間部５８は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力する。

ステップＳ２において、ベクトル検出部５２は、動きベクトル検出処理を実行し、ステップＳ３に進む。すなわち、ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像である次のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶し、ステップＳ３に進む。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。また、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値ＤＦＤが求められ、求められた評価値ＤＦＤに基づいた信頼度の高い動きベクトルが検出される。すなわち、この場合、動きベクトルを検出する着目ブロックにおいて、最も確からしい動きベクトルが選択され、検出される。ステップＳ２における、動きベクトル検出処理の詳細は、後述する。

ステップＳ３において、ベクトル割付部５４は、ベクトル割付処理を実行し、ステップＳ４に進む。すなわち、ベクトル割付部５４は、ステップＳ３において、フレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する内挿フレーム上の着目画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。例えば、Trueである割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、Falseである割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。なお、各画素において、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値ＤＦＤが求められ、求められた評価値ＤＦＤに基づいた信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きベクトルが選択され、割り付けられる。ステップＳ３における、ベクトル割付処理の詳細は、後述する。

ステップＳ４において、割付補償部５７は、割付補償処理を実行し、ステップＳ５に進む。すなわち、割付補償部５７は、ステップＳ４において、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを補い、割付けた着目画素の割付フラグを１(True)に書き換える。なお、周辺画素の動きベクトルが複数ある場合には、各動きベクトルに対して、評価値ＤＦＤが求められ、求められた評価値ＤＦＤに基づいた、信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きベクトルが選択され、割り付けられる。ステップＳ４における、割付補償処理の詳細は、後述する。

ステップＳ５において、画像補間部５８は、画像補間処理を実行する。すなわち、画像補間部５８は、ステップＳ５において、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、ステップＳ６に進む。ステップＳ５における、画像補間処理の詳細は後述する。画像補間部５８は、ステップＳ６において、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、図示せぬ後段に出力し、ステップＳ７に進む。

ステップＳ７において、ベクトル検出部５２は、すべてのフレームの処理が終了したか否かを判断し、すべてのフレームの処理が終了していないと判断した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。一方、ベクトル検出部５２は、ステップＳ７において、すべてのフレームの処理が終了したと判断した場合、フレーム周波数を変換する処理を終了する。

以上のように、本発明に係る信号処理装置１は、２４Ｐ信号の入力画像のフレームから動きベクトルを検出し、検出した動きベクトルを、６０Ｐ信号のフレーム上の画素に割付け、割付けられた動きベクトルに基づいて、６０Ｐ信号のフレーム上の画素値を生成する。このとき、信号処理装置１は、各処理において、評価値ＤＦＤ（差分絶対値和）に基づく、より信頼度の高い動きベクトルを選択し、後段に出力する。したがって、信号処理装置１においては、動きが破綻することなどが抑制され、より精度のよい画像を生成することができる。

次に、画像補間部５８の構成の詳細について説明する。

図７は、画像補間部５８の構成を示すブロック図である。図７に構成を示す画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、６０Ｐ信号の画像を出力する処理を行う。

図７の例において、時刻ｔの画像のフレームｔは、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１は、空間フィルタ９２−２およびバッファ９５に入力される。

補間制御部９１は、割付ベクトルメモリ５５の内挿フレームの画素を選択し、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求める。すなわち、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。

また、補間制御部９１は、予め設定されている内挿フレームの時間位相（時刻）に基づいて、フレームｔとフレームｔ＋１の間における補間重みを求め、求めた補間重みを、乗算器９３−１および９３−２に設定する。例えば、内挿フレームの時刻が、フレームｔ＋１の時刻ｔ＋１から「ｋ」離れた時刻で、かつ、フレームｔの時刻ｔから「１−ｋ」離れた時刻である場合（すなわち、内挿フレームが時刻ｔと時刻ｔ＋１を「１−ｋ」：「ｋ」に内分する時刻に生成される場合）、補間制御部９１は、乗算器９３−１に「１−ｋ」の補間重みを設定し、乗算器９３−２に「ｋ」の補間重みを設定する。

空間フィルタ９２−１および９２−２は、例えば、キュービックフィルタなどにより構成される。空間フィルタ９２−１は、入力されるフレームｔ上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ上の画素値を求め、求めた画素値を乗算器９３−１に出力する。空間フィルタ９２−２は、入力されるフレームｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ＋１上の画素値を求め、求めた画素値を乗算器９３−２に出力する。

なお、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１上の画素の位置と一致しない場合（すなわち、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１において画素以下成分である場合）、空間フィルタ９２−１および９２−２は、フレームｔまたはフレームｔ＋１における内挿フレームの画素の位置の周辺４画素の画素値を用いて、周辺４画素の距離の逆比の和を求めることにより、内挿フレームの画素に対応するフレーム上の画素値を求める。すなわち、画素以下位置の画素値は、周辺４画素との距離を基にした線形補間で値が求められる（その詳細は後述する）。

乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。

加算器９４は、乗算器９３−１から入力される画素値と、乗算器９３−２から入力される画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された内挿フレームの画素値を、バッファ９５に出力する。バッファ９５は、入力されたフレームｔ＋１をバッファしている。バッファ９５は、生成された内挿フレームを出力し、その次に、予め設定されている６０Ｐフレームの時間位相（時刻）に基づいて、必要に応じて、バッファしているフレームｔ＋１を出力することにより、６０Ｐ信号の画像を、図示せぬ後段に出力する。

以上のように構成される画像補間部５８の画像補間処理の詳細を、図８のフローチャートを参照して説明する。

補間制御部９１は、ステップＳ５１において、処理する内挿フレームの時間位相に基づいて、フレームｔとフレームｔ＋１の間における内挿フレームの補間重み（例えば、「ｋ」および「１−ｋ」）を求め、求められた補間重みを、乗算器９３−１および９３−２にそれぞれ設定し、ステップＳ５２に進む。補間制御部９１は、ステップＳ５２において、割付ベクトルメモリ５５の内挿フレームの画素を選択し、ステップＳ５３に進む。なお、内挿フレーム上の画素は、フレームの左上の画素からラスタスキャン順に選択される。

補間制御部９１は、ステップＳ５３において、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求め、求められた空間シフト量を、それぞれ空間フィルタ９２−１および９２−２に供給し、ステップＳ５４に進む。具体的には、補間制御部９１は、ステップＳ５３において、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。

時刻ｔの画像のフレームｔの画素値は、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１の画素値は、空間フィルタ９２−２に入力されている。ステップＳ５４において、空間フィルタ９２−１および９２−２は、入力されるフレームｔおよびｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、各フレーム上の画素値を求め、求めた画素値を乗算器９３−１および９３−２にそれぞれ出力し、ステップＳ５５に進む。

乗算器９３−１および９３−２は、ステップＳ５５において、空間フィルタ９２−１または９２−２から入力される各フレーム上の画素値に、補間制御部９１により設定された補間重みを重み付けし、重み付けされた画素値を、加算器９４に出力し、ステップＳ５６に進む。すなわち、乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。

加算器９４は、ステップＳ５６において、乗算器９３−１により重み付けされた画素値と、乗算器９３−２により重み付けされた画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された画素値を、バッファ９５に出力し、ステップＳ５７に進む。補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したか否かを判断し、内挿フレーム上のすべての画素についての処理が終了していないと判断した場合、ステップＳ５２に戻り、それ以降の処理を繰り返す。互換制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したと判断した場合、画像補間処理を終了する。

以上のように、内挿フレームに割り付けられた動きベクトルに基づいて、内挿フレームの画素値が生成され、上述した図６のステップＳ６において、バッファ９５により、内挿フレームが出力され、その次に、必要に応じて、フレームｔ＋１が出力されることにより、６０Ｐ信号の画像が、後段に出力される。したがって、内挿フレームの画素に、最も確からしい動きベクトルが割り付くので、精度のよい内挿フレームを生成することができる。

次に、ベクトル検出部５２の構成の詳細について説明する。

図９は、ベクトル検出部５２の構成を示すブロック図である。図９に構成を示すベクトル検出部５２は、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、フレームｔ上の動きベクトルを検出する。この動きベクトルを検出する処理は、複数の画素からなる所定のブロック毎に実行される。

初期ベクトル選択部１０１は、所定のブロック毎に、過去の動きベクトルの検出結果から求められる信頼度が高い動きベクトルを、勾配法に用いられる初期値となる初期ベクトルＶ０として、反復勾配法演算部１０３に出力する。具体的には、初期ベクトル選択部１０１は、検出ベクトルメモリ５３に記憶される過去に求められた周辺のブロックの動きベクトルや、シフト初期ベクトルメモリ１０７に記憶されるシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部１０１は、フレームｔとフレームｔ＋１を用いて、候補ベクトルの評価値ＤＦＤを求め、候補ベクトルの中から、求められた評価値ＤＦＤに基づく、最も信頼度が高いものを選択し、初期ベクトルＶ０として出力する。なお、初期ベクトル選択部１０１の構成の詳細は、後述する。

プリフィルタ１０２−１および１０２−２は、ローパスフィルタやガウシアンフィルタにより構成され、それぞれ、入力される画像のフレームｔおよびフレームｔ＋１のノイズ成分を除去し、反復勾配法演算部１０３に出力する。

反復勾配法演算部１０３は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０と、プリフィルタ１０２−１および１０２−２を介して入力されるフレームｔおよびフレームｔ＋１を用いて、所定のブロック毎に、勾配法により、動きベクトルＶｎを算出する。反復勾配法演算部１０３は、初期ベクトルＶ０と、算出された動きベクトルＶｎをベクトル評価部１０４に出力する。また、反復勾配法演算部１０３は、ベクトル評価部１０４による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトルＶｎを算出する。なお、反復勾配法演算部１０３の構成の詳細は、後述する。

ベクトル評価部１０４は、反復勾配法演算部１０３からの動きベクトルＶｎ−１（または初期ベクトルＶ０）と、動きベクトルＶｎの評価値ＤＦＤを求め、求められた評価値ＤＦＤに基づいて、反復勾配法演算部１０３を制御し、勾配法の演算を繰り返し実行させ、最終的に、評価値ＤＦＤに基づく、信頼性の高いものを選択し、動きベクトルＶとして、検出ベクトルメモリ５３に記憶する。このとき、ベクトル評価部１０４は、動きベクトルＶとともに、その動きベクトルＶに対して求められた評価値ＤＦＤを、シフト初期ベクトル割付部１０５に供給する。

シフト初期ベクトル割付部１０５は、ベクトル評価部１０４より動きベクトルＶおよびその評価値ＤＦＤが供給されると、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。換言すると、シフト初期ベクトル割付部１０５は、動きベクトルＶの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトルを、シフト初期ベクトルとして設定する。そして、シフト初期ベクトル割付部１０５は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。

具体的には、シフト初期ベクトル割付部１０５は、シフト初期ベクトルとして割り付けられた動きベクトルＶの評価値ＤＦＤを、着目ブロックに対応させて、評価値メモリ１０６に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトルＶの評価値ＤＦＤと比較する。そして、シフト初期ベクトル割付部１０５は、評価値ＤＦＤに基づく、信頼度が高いとされた動きベクトルＶを、着目ブロックにシフトさせ、着目ブロックのシフト初期ベクトルとして、シフト初期ベクトルメモリ１０７に割り付ける。なお、シフト初期ベクトル割付部１０５の構成の詳細は、後述する。

次に、ベクトル検出部５２において用いられる勾配法の原理について説明する。まず、動画像中において、水平、垂直、時間軸を用いた座標（ｘ，ｙ，ｔ）で表される画素の輝度値をｇ（ｘ，ｙ，ｔ）とする。ここで、着目画素（ｘ₀，ｙ₀，ｔ₀）が、微小時間中に、（ｄｘ，ｄｙ，ｄｔ）だけ変位したとき、水平、垂直、時間軸の勾配（差分差）を、それぞれｇｘ（ｘ₀，ｙ₀，ｔ₀），ｇｙ（ｘ₀，ｙ₀，ｔ₀），ｇｔ（ｘ₀，ｙ₀，ｔ₀）と表すと、変位後の画素の輝度値は、Taylor展開近似を用いて、次の式（２）で表される。

ｇ（ｘ₀＋ｄｘ，ｙ₀＋ｄｙ，ｔ₀＋ｄｔ）
≒ ｇ（ｘ₀，ｙ₀，ｔ₀）＋ｇｘ（ｘ₀，ｙ₀，ｔ₀）ｄｘ
＋ ｇｙ（ｘ₀，ｙ₀，ｔ₀）ｄｙ＋ｇｔ（ｘ₀，ｙ₀，ｔ₀）ｄｔ
・・・（２）

ここで、動画像中のある着目画素が１フレーム後に水平ｖｘ，垂直ｖｙだけ移動した場合（以降、（ｖｘ，ｖｙ）と表す）、その画素の輝度値は、次の式（３）で表される。

ｇ（ｘ₀＋ｖｘ，ｙ₀＋ｖｙ，ｔ₀＋１） ＝ ｇ（ｘ₀，ｙ₀，ｔ₀）
・・・（３）

式（２）を式（３）に代入すると、次の式（４）で表される。

ｇｘ（ｘ₀，ｙ₀，ｔ₀）ｖｘ＋ｇｙ（ｘ₀，ｙ₀，ｔ₀）ｖｙ
＋ｇｔ（ｘ₀，ｙ₀，ｔ₀） ＝ ０
・・・（４）

式（４）は、ｖｘ，ｖｙの２変数の式であるので、着目１画素に対する単独の式では、その解を求めることができない。そこで、次に説明するように、着目画素の周辺領域であるブロックを１つの処理単位として考え、ブロック（周辺領域）内の全画素が同じ動き（ｖｘ，ｖｙ）をすると仮定し、各画素について同様の式を立てる。仮定が前提となるが、２変数に対して周辺画素の個数の式が得られる。したがって、それらの式を連立させ、ブロック内全画素の動き補償フレーム差分の自乗和が最小になるような（ｖｘ，ｖｙ）を求める。

画素（ｘ，ｙ，ｔ）が１フレーム間に（ｖｘ，ｖｙ）だけ移動したとき、その動き補償フレーム間差分dは、次の式（５）で表される。

ｄ ＝ ｇ（ｘ＋ｖｘ，ｙ＋ｖｙ，ｔ＋１）−ｇ（ｘ，ｙ，ｔ）
＝ Δｘｖｘ＋Δｙｖｙ＋Δｔ
・・・（５）

式（５）において、Δｘ=ｇｘ（ｘ，ｙ，ｔ）であり、水平方向の勾配を表し、Δｙ＝ｇｙ（ｘ，ｙ，ｔ）であり、垂直方向の勾配を表し、Δｔ＝ｇｔ（ｘ，ｙ，ｔ）であり、時間方向の勾配を表す。これらを用いて、動き補償フレーム間差分の自乗和をＥとすると、式（６）で表される。

Ｅ ＝ Σｄ²
＝ Σ（Δｘ²ｖｘ²＋Δｙ²ｖｙ²＋２ΔｘΔｙｖｘｖｙ
＋２ΔｘΔｔｖｘ＋２ΔｙΔｔｖｙ＋Δｔ²）
＝ｖｘ²ΣΔｘ²＋ｖｙ²ΣΔｙ²＋２ｖｘｖｙΣΔｘΔｙ
＋２ｖｘΣΔｘΔｔ＋２ｖｙΣΔｙΔｔ＋ΣΔｔ²
・・・（６）

ここで、Ｅが最小となる（ｖｘ，ｖｙ）は、各変数における偏微分値が０になるとき、すなわち、δＥ／δｖｘ＝δＥ／δｖｙ＝０の条件が成立するときなので、式（６）から、次の式（７）および式（８）となる。

ｖｘΣΔｘ²＋ｖｙΣΔｘΔｙ＋ΣΔｘΔｔ ＝ ０
・・・（７）
ｖｙΣΔｙ²＋ｖｘΣΔｘΔｙ＋ΣΔｙΔｔ ＝ ０
・・・（８）

これらの式（７）および式（８）から、求めたい動きである（ｖｘ，ｖｙ）は、次の式（９）を演算することにより求めることができる。

・・・（９）

ここで、図１０を参照して、具体的に説明する。図１０の例において、矢印Ｘは、水平方向を示しており、矢印Ｙは、垂直方向を示している。また、矢印Ｔは、図中、右奥の時刻ｔのフレームｔから、左手前の時刻ｔ＋１のフレームｔ＋１への時間の経過方向を示している。なお、図１０の例においては、各フレームは、着目画素ｐの周辺領域（ブロック）として、勾配法演算に用いられる８画素×８画素の領域のみ示されている。

フレームｔにおいて、左上の画素から下に５番目、右に５番目の画素である着目画素ｐの動きベクトルＶ（ｖｘ，ｖｙ）を、上述した勾配法を用いて求める場合、動きベクトルＶ（ｖｘ，ｖｙ）は、着目画素ｐのｘ，ｙ方向のそれぞれについて求められる隣接画素ｐｘおよびｐｙとの輝度の差分差（すなわち、勾配）ΔｘおよびΔｙ、フレームｔ＋１において求められる着目画素ｐの同位相に位置する画素ｑとの時間方向の輝度の差分差（勾配）Δｔを、着目画素ｐの周辺領域（８画素×８画素）のすべての画素について求め、それらの差分差を、式（９）を用いて演算することにより、求めることができる。

すなわち、勾配法とは、２フレーム間において、勾配Δｘ，Δｙ，およびΔｔを求め、求められたΔｘ，Δｙ，およびΔｔから、差分自乗和を用いて、統計的に、動きベクトルＶ（ｖｘ，ｖｙ）を算出するものである。

一般的に、このような勾配法を用いた動きベクトル検出方法においては、微小動きに対して精度の高い結果が得られる。しかしながら、実際の動画像の中で動きを求めようとするとする場合、この勾配法は、その動き量が大きすぎるため実用的とはいえない。これに対応して、この勾配法を複数回反復する方法が考えられる。勾配法を反復して実行することにより、各演算で求められる動き量が収束するため、徐々に正しい動きが求められる。

しかしながら、ただ、勾配法を反復するだけでは、リアルタイム処理を行おうとした場合、演算時間の面から実用的ではない。そこで、ベクトル検出部５２においては、過去フレームと現在フレームでの周辺画素の動きに基づいて求められる初期ベクトルを、初期値として用いることで、勾配法の繰り返し回数を軽減している。すなわち、動きの起点となる着目画素から、初期ベクトルが指す先へオフセットを予め加えることで大まかな動きを算出し、オフセットが加えられたその位置から勾配法を用いた演算を行うようにすれば、画素以下動きを含めた微調整を行うことができる。これにより、演算時間を増大させることなく、精度のよい動きベクトルを検出することができる。

図１１は、初期ベクトルを用いて実行される反復勾配法について具体的に説明する図である。図１１の例においては、矢印Ｔは、図中、左手前の時刻ｔのフレームｔから、右奥の時刻ｔ＋１のフレームｔ＋１への時間の経過を示している。なお、各画素ｐ，ｑ０，ｑ１，ｑ２，およびｑ３を中心としたブロックは、その画素の、勾配法演算に用いられる周辺領域（ブロック）を表している。

図１１の例の場合、フレームｔにおける着目画素ｐに対して、フレームｔ＋１においては、着目画素ｐの同位相に位置する画素ｑ０ではなく、予め求めておいた初期ベクトルｖ０をオフセット（移動）して計算した位置（画素）ｑ１を開始点として１回目の勾配法演算が行われ、その結果、動きベクトルｖ１が得られる。

次に、画素ｑ０からｖ０＋ｖ１をオフセットして計算した位置（画素）ｑ２を開始点として、２回目の勾配法演算が行われ、その結果、動きベクトルｖ２が得られる。これにより、最終的に動きベクトルＶは、式（１０）として求められる。

Ｖ ＝ ｖ０＋ｖ１＋ｖ２
・・・（１０）

以上のようにして、初期ベクトルを用いて、反復勾配法の演算を実行することにより、演算時間を短縮させつつ、精度の高い動きベクトルを求めることができる。

次に、図１２のフローチャートを参照して、動きベクトル検出処理の詳細について説明する。ベクトル検出部５２には、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１が入力される。

初期ベクトル選択部１０１は、ステップＳ１０１において、フレームｔ上の処理の対象となるブロックを、着目ブロックとして選択し、ステップＳ１０２に進む。なお、フレーム上においては、左上のブロックからラスタスキャン順に処理が実行される。

ステップＳ１０２において、初期ベクトル選択部１０１は、初期ベクトル選択処理を実行する。初期ベクトル選択部１０１は、ステップＳ１０１において、所定のブロック毎に、過去の動きベクトルの検出結果から、信頼度が高い動きベクトルを選択し、選択した動きベクトルを、勾配法に用いられる初期値となる初期ベクトルＶ０として、反復勾配法演算部１０３に出力し、ステップＳ１０３に進む。

すなわち、初期ベクトル選択部１０１は、過去の勾配法演算評価処理（後述するステップＳ１０３）において求められ、検出ベクトルメモリ５３に記憶された周辺ブロックの動きベクトルや、過去のシフト初期ベクトル割付処理（後述するステップＳ１０４）においてシフト初期ベクトルメモリ１０７に記憶されたシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部１０１は、フレームｔとフレームｔ＋１を用いて、候補ベクトルの評価値ＤＦＤを求め、候補ベクトルの中から、求められた評価値ＤＦＤに基づいた信頼度が高いものを選択し、選択された候補ベクトルを、初期ベクトルＶ０として出力する。なお、ステップＳ１０２における、初期ベクトル選択処理の詳細は、後述する。

ステップＳ１０３において、反復勾配法演算部１０３およびベクトル評価部１０４は、反復勾配法演算評価処理（なお、反復勾配法演算処理とも称する）を実行し、ステップＳ１０４に進む。具体的には、ステップＳ１０３において、反復勾配法演算部１０３は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０と、プリフィルタ１０２−１および１０２−２を介して入力されるフレームｔおよびフレームｔ＋１を用いて、ベクトル評価部１０４による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトルＶｎを算出する。また、ベクトル評価部１０４は、反復勾配法演算部１０３からの動きベクトルＶｎ−１と、動きベクトルＶｎの評価値ＤＦＤを求め、求められた評価値ＤＦＤに基づく、最も信頼性の高いものを選択し、動きベクトルＶとして、検出ベクトルメモリ５３に記憶する。このとき、ベクトル評価部１０４は、動きベクトルＶとともに、その動きベクトルＶに対して求めた評価値ＤＦＤを、シフト初期ベクトル割付部１０５に供給する。なお、ステップＳ１０３における、反復勾配法演算処理の詳細は、後述する。

ステップＳ１０４において、シフト初期ベクトル割付部１０５は、シフト初期ベクトル割付処理を実行し、ステップＳ１０５に進む。シフト初期ベクトル割付部１０５は、ベクトル評価部１０４より動きベクトルＶおよびその評価値ＤＦＤが供給されると、ステップＳ１０４において、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。すなわち、換言すると、動きベクトルＶの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトルが、シフト初期ベクトルとして設定される。そして、シフト初期ベクトル割付部１０５は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。

なお、具体的には、シフト初期ベクトル割付部１０５は、シフト初期ベクトルとして割り付けられた動きベクトルＶの評価値ＤＦＤを、着目ブロックに対応させて、評価値メモリ１０６に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトルＶの評価値ＤＦＤと比較し、評価値ＤＦＤに基づく、信頼度が高いとされた動きベクトルＶを、そのブロックにシフトさせてシフト初期ベクトルと設定し、シフトさせたブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。なお、シフト初期ベクトル割付部１０５の構成の詳細は、後述する。

ステップＳ１０５において、初期ベクトル選択部１０１は、フレームｔにおいて、すべてのブロックの処理が終了したか否かを判断し、すべてのブロックの処理が終了していないと判断した場合、ステップＳ１０１に戻り、それ以降の処理を繰り返す。また、ステップＳ１０５において、初期ベクトル選択部１０１は、フレームｔにおいて、すべてのブロックの処理が終了したと判断した場合、すなわち、フレームｔ上のすべてのブロックにおいて、動きベクトルＶが検出されたと判断し、動きベクトル検出処理を終了する。

以上のように、過去に検出された動きベクトルから初期ベクトルが選択され、選択された初期ベクトルに基づいて、反復勾配法の演算が用いられて、繰り返し動きベクトルが算出され、算出された動きベクトルの中から、評価値ＤＦＤに基づく、信頼度が高い（すなわち、最も確からしい）動きベクトルが検出される。この結果、検出ベクトルメモリ５３に、フレームｔ上のすべてのブロックに対応する動きベクトルＶが記憶される。

次に、シフト初期ベクトル割付部１０５の構成の詳細について説明する。

図１３は、シフト初期ベクトル割付部１０５の構成を示すブロック図である。図１３に構成を示すシフト初期ベクトル割付部１０５は、前（過去）フレームにおいて、ベクトル評価部１０４より検出された動きベクトルＶに基づいて、初期ベクトルの候補ベクトルとなるシフト初期ベクトルを設定し、シフト初期ベクトルメモリ１０７に割り付ける処理を行う。シフト初期ベクトル割付部１０５には、ベクトル評価部１０４より検出された動きベクトルＶ、および、その動きベクトルＶの評価値ＤＦＤが入力される。

割付対象位置演算部２０１は、ベクトル評価部１０４より検出された動きベクトルＶが、次の時刻のフレーム上において通過するブロックの位置（すなわち、現在のフレーム上において検出された動きベクトルＶの終点のブロックと同じ位置にある次のフレーム上のブロックの位置）を演算し、演算されたブロックの位置を、評価値メモリ１０６およびシフト初期ベクトル置換部２０３に供給する。

評価値比較部２０２は、動きベクトルＶ、および、その動きベクトルＶの評価値ＤＦＤが入力されると、割付対象位置演算部２０１からのブロックの位置の評価値ＤＦＤを、評価値メモリ１０６から読み出す。そして、評価値比較部２０２は、評価値メモリ１０６から読み出された評価値ＤＦＤと、ベクトル評価部１０４により検出された動きベクトルＶの評価値ＤＦＤとを比較判断し、検出された動きベクトルＶの評価値ＤＦＤの方が小さい（すなわち、信頼度が高い）と判断した場合、シフト初期ベクトル置換部２０３を制御し、シフト初期ベクトルメモリ１０７の、シフト初期ベクトル割付部１０５により供給されたブロックの位置のシフト初期ベクトルを、評価値ＤＦＤに基づく、信頼度が高いと判断した動きベクトルＶで書き換えさせる。また、それと同時に、評価値比較部２０２は、評価値置換部２０４を制御し、評価値メモリ１０６において、割付対象位置演算部２０１により選択されたブロックの位置の評価値ＤＦＤを、動きベクトルＶの評価値ＤＦＤで書き換えさせる。

シフト初期ベクトル置換部２０３は、シフト初期ベクトルメモリ１０７の、割付対象位置演算部２０１により供給されたブロックの位置のシフト初期ベクトルを、評価値比較部２０２から供給される動きベクトルＶ（すなわち、動きベクトルＶと同じ大きさで同じ向きの動きベクトル）で書き換える。評価値置換部２０４は、評価値比較部２０２の制御のもと、評価値メモリ１０６において、割付対象位置演算部２０１により選択されたブロックの位置の評価値ＤＦＤを、動きベクトルＶの評価値ＤＦＤで書き換える。

評価値メモリ１０６は、次のフレーム上における、各ブロックに割り当てられるシフト初期ベクトル候補の評価値ＤＦＤをブロック毎に記憶する。シフト初期ベクトルメモリ１０７は、次のフレームにおける各ブロックにおいて最も評価値ＤＦＤが小さい（すなわち、最も信頼度がある）動きベクトルを、シフト初期ベクトルとして、そのブロックに対応させて記憶する。

図１４は、シフト初期ベクトル割付部１０５により割り付けられるシフト初期ベクトルを１次元的に説明する図である。図１４の例においては、上から順に、時刻Ｔ＝ｔ−１のフレームｔ−１、時刻Ｔ＝ｔのフレームｔ、および、時刻Ｔ＝ｔ＋１のフレームｔ＋１が示されており、各フレーム上の仕切りは、各フレームにおけるブロックの境界を示している。

図１４の例の場合、フレームｔ−１上のブロックＢにおいて検出される動きベクトルを、動きベクトルＶ（図中、実線矢印）とし、ブロックＢを始点とする動きベクトルＶによるフレームｔ上の動き補償先（以下、オフセット先とも称する）を、ブロックＢｔとする。また、フレームｔ−１上の動きベクトルＶをフレームｔ上のブロックＢｔにシフトした動きベクトルを、シフト初期ベクトルＳＶ（図中、点線矢印）とする。なお、この場合、オフセット先とは、フレームｔ−１上において検出された動きベクトルＶの終点のブロックと同じ位置にあるフレームｔ上のブロックＢｔのことを表しており、シフトとは、フレームｔ−１上において検出された動きベクトルＶと同じ大きさで同じ向きの動きベクトルの始点を、フレームｔ−１上の動きベクトルＶの終点のブロックと同じ位置にあるフレームｔ上のブロックＢｔとすることをいう。すなわち、シフト初期ベクトルＳＶは、フレームｔ−１上において検出された動きベクトルＶの終点のブロックと同じ位置にあるフレームｔ上のブロックＢｔを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトルのことである。

一般的に、連続するフレーム間では、動物体の動き量にある程度の連続性があり、その動き量の変化が小さいとされるので、図１４の例においては、ブロックＢ上の物体が等速かそれに近い動きをする場合、ブロックＢｔにおける動きベクトルも、動きベクトルＶかそれに近い動きのベクトルになることが多い。

したがって、このシフト初期ベクトルＳＶを、フレームｔ上の着目ブロックＢｔの動きベクトルを検出する場合に、勾配法演算に与える初期ベクトルの候補として用いることにより、周辺ブロックの動きベクトルだけを初期ベクトルの候補として用いる場合よりも、勾配法演算による動きベクトル検出に、より適切な初期ベクトルを得ることができる。

以上のことを、図１５および図１６を参照して、具体的に説明する。なお、図１５および図１６においては、各フレーム上には、９つのブロックが示されている。

図１５は、大きな動きの物体が通過しているブロックと、その周辺ブロックの動きベクトルの例を表している。図１５の例の場合、１ブロックからなる、ある物体Ｏ１の画像オブジェクトは、大きな動きの動きベクトルＶ１で、フレームｔ−１上の最右端（左から９番目）のブロックから、フレームｔ上の左から５番目のブロックを経由して、フレームｔ＋１上の最左端のブロックへ移動している。一方、４ブロックからなる物体Ｏ２の画像オブジェクトは、動きベクトルＶ１よりも小さな動きの動きベクトルＶ２で、フレームｔ−１上の左から３乃至６番目の４ブロックから、フレームｔ上の左から４乃至７番目の４ブロックを経由して、フレームｔ＋１上の左から５乃至８番目の４ブロックへ移動している。すなわち、フレームｔ上の左から５番目のブロックにおいて、物体Ｏ１の画像オブジェクトと物体Ｏ２の画像オブジェクトは、物体Ｏ１の画像オブジェクトを手前にして交差している。

このとき、フレームｔ上において、物体Ｏ１の画像オブジェクトが動きベクトルＶ１で通過する、左から５番目のブロックの動きベクトルを検出するために、周辺ブロックの動きから初期ベクトルを抽出しようとしても、周辺ブロック（左から４または６番目のブロック）に、物体Ｏ２の画像オブジェクトが、物体Ｏ１の画像オブジェクトとは異なる動きベクトルＶ２で通過しているため、適切な動きベクトルは、存在しない。一方、シフト初期ベクトルＳＶ１（図中、点線矢印）は、このような場合であっても、過去のフレームＴ−１上で検出された動きベクトルＶ１を、そのフレームｔ上の左から５番目のブロックにシフトした動きベクトル（すなわち、フレームｔ−１上において検出された動きベクトルＶ１の終点のブロックと同じ位置にあるフレームｔ上のブロックを始点とした、動きベクトルＶ１と同じ大きさで同じ向きの動きベクトル）であるので、確実に取得することができる。

図１６は、動物体の境界のブロックと、その周辺ブロックの動きベクトルの例を表している。図１６の例の場合、１ブロックからなる、ある物体Ｏ３の画像オブジェクトは、動きベクトルＶ３で、フレームｔ−１上の左から６番目のブロックから、フレームｔ上の左から５番目のブロックを経由して、フレームｔ＋１上の左から４番目のブロックへ移動している。一方、９ブロック以上からなる物体Ｏ４の画像オブジェクトは、動きベクトルＶ１とは異なる動きベクトルＶ４で、フレームｔ−１上の全９ブロックから、フレームｔ上の左から２乃至９番目の８ブロックを経由して、フレームｔ＋１上の左から３乃至９番目の７ブロックへ移動している。すなわち、物体Ｏ３の画像オブジェクトは、フレームｔ−１の左から６番目のブロック、フレームｔ上の左から５番目のブロック、およびフレームｔ＋１左から４番目のブロックにおいて、物体Ｏ４の画像オブジェクトの手前を通過している。

このとき、フレームｔ上において、物体Ｏ３の画像オブジェクトが動きベクトルＶ３で通過する、左から５番目のブロックの動きベクトルを検出するために、周辺ブロックの動きから初期ベクトルを抽出しようとしても、周辺ブロック（左から４または６番目のブロック）に、物体Ｏ４の画像オブジェクトが、物体Ｏ３の画像オブジェクトとは異なる動きベクトルＶ４で通過しているため、適切な動きベクトルは、存在しない。しかしながら、この場合においても、図１５の場合と同様に、シフト初期ベクトルＳＶ３（図中、点線矢印）は、過去のフレームＴ−１上で検出された動きベクトルＶ３を、そのフレームｔ上の右から５番目のブロックにシフトしたベクトル（すなわち、フレームｔ−１上において検出された動きベクトルＶ３の終点のブロックと同じ位置にあるフレームｔ上のブロックを始点とした、動きベクトルＶ３と同じ大きさで同じ向きの動きベクトル）であるので、確実に取得することができる。

以上のように、図１５に示されるような大きな動きを持つ物体や、図１６に示されるように動いている物体の境界においては、動きベクトルを検出しようとする着目ブロックの初期ベクトルの候補となる周辺ブロックに、着目ブロックの初期ベクトルとして最適な動きベクトルが存在しない場合が多く存在する。これに対して、シフト初期ベクトルは、過去のフレームｔ−１上において検出された動きベクトルの終点のブロックと同じ位置にあるフレームｔ上のブロックを始点とした、動きベクトルと同じ大きさで同じ向きの動きベクトルであるので、ブロック間の空間距離に依存しないため、周辺ブロックに、着目ブロックの初期ベクトルとして適切な動きベクトルが存在しない場合にも、確実に取得することができ、初期ベクトルの最適な候補として用いることができる。

ここで、一旦、図１４に戻り、シフト初期ベクトルの決定方法について説明する。図１４の例において、動きベクトル検出処理を行うフレームｔ上の着目ブロックＢｔを基準として、フレームｔ−１から、着目ブロックＢｔを通過する動きベクトル（すなわち、フレームｔ上のブロックＢｔと同じ位置にあるフレームｔ−１のブロックを終点とする動きベクトル）を探索しようとすると、フレームｔ−１上の全ブロックの動きベクトルを検索しなければならず、処理が膨大になってしまう。したがって、この場合、動きベクトル検出時に、膨大な処理分の演算量をこなさなければならず、その実現（ハードウェア化）が困難であった。

そこで、シフト初期ベクトル割付部１０５は、フレームｔ−１における動きベクトル検出の際に、着目ブロックＢｔにおいて検出された動きベクトルＶが、次の時刻のフレームｔ上で通過するブロックの位置（すなわち、動きベクトルＶの終点のブロックと同じ位置のフレームｔ上のブロック）を求め、その動きベクトルＶを、ブロックＢｔに対するシフト初期ベクトルＳＶとして、予め割り付けておく。これにより、フレームｔ上での動きベクトル検出の際に必要となるシフト初期ベクトルを探索する演算量を削減することができ、ハードウェア化が実現できるようになり、現実的に、シフト初期ベクトルを、初期ベクトルの候補として用いることが可能になる。

図１７を参照して、シフト初期ベクトル割付部１０５によるシフト初期ベクトルの決定方法を具体的に説明する。図１７の例においては、矢印Ｔは、図中、左手前の時刻ｔ−１のフレームｔ−１から、右奥の時刻ｔのフレームｔへの時間の経過を示している。また、各フレーム上の丸は、画素を表している。

フレームｔ−１上において、ブロックＢ０は、４×４画素により構成される。ブロックＢ０において検出された動きベクトルＶｂとすると、ブロックＢ０をフレームｔ上にオフセット（動き補償）したオフセット先（ブロックＢ０の動きベクトルＶｂの終点のブロックと同じ位置のフレームｔ上のブロック）Ａ０は、一般的には、フレームｔ上の４×４画素により構成される４つのブロックＢｔ１乃至Ｂｔ４と重なりを持つ。したがって、図１７の例の場合においては、このオフセット先Ａ０と重なりを持つ４つのブロックＢｔ１乃至Ｂｔ４のすべてが、動きベクトルＶｂを、シフト初期ベクトルとして割り付ける対象ブロックとされる。

以上のようにして前のフレームにおいて検出された動きベクトルを、シフト初期ベクトルとして割り付ける。この場合、割り付けられる対象となるブロックの位置は、動きベクトルの大きさと向きによる。このため、フレームｔ−１上で検出される動きベクトルの分布によっては、図１８に示されるように、フレームｔ上において、複数のシフト初期ベクトルが割り付ける対象となり競合するブロックや、逆に、シフト初期ベクトルの割り付けが起こらないブロックが発生してしまう。

図１８は、シフト初期ベクトルの割り付けの例を示している。図１８の例において、各フレームの仕切りは、ブロックの境界を示しており、フレームｔ−１上には、図中左から、ブロックＢ１乃至Ｂ５により構成され、フレームｔ上には、図中左から、ブロックＢｔ１乃至Ｂｔ５が示されている。

ブロックＢ１においては、動きベクトルＶ１が検出され、ブロックＢ１のオフセット先Ａ１は、フレームｔ上のブロックＢｔ１およびＢｔ２と重なりを持つ。ブロックＢ２においては、動きベクトルＶ２が検出され、ブロックＢ２のオフセット先Ａ２は、フレームｔ上のブロックＢｔ１およびＢｔ２と重なりを持つ。ブロックＢ３おいては、動きベクトルＶ３が検出され、ブロックＢ３のオフセット先Ａ３は、フレームｔ上のブロックＢｔ４およびＢｔ５と重なりを持つ。ブロックＢ４においては、動きベクトルＶ４が検出され、ブロックＢ４のオフセット先Ａ４は、フレームｔ上のブロックＢｔ４およびＢｔ５と重なりを持つ。ブロックＢ５においては、動きベクトルＶ５が検出され、ブロックＢ５のオフセット先Ａ５は、フレームｔ上のブロックＢｔ５および図示せぬ隣接ブロックと重なりを持つ。

すなわち、図１８の例においては、フレームｔ上のブロックＢｔ１およびＢｔ２には、動きベクトルＶ１またはＶ２のどちらか一方がシフト初期ベクトルとして割り付けられる。また、フレームｔ上のブロックＢｔ４には、動きベクトルＶ３およびＶ４のどちらか一方がシフト初期ベクトルとして割り付けられ、フレームｔ上のブロックＢｔ５には、動きベクトルＶ３、Ｖ４、およびＶ５のうちのいずれかがシフト初期ベクトルとして割り付けられる。しかしながら、フレームｔ上のブロックＢｔ３には、シフト初期ベクトルの候補となる動きベクトルが存在せず、シフト初期ベクトルは割り付けられない。

したがって、シフト初期ベクトル割付部１０５は、ブロックＢｔ３のように、シフト初期ベクトルの割り付けが起こらないブロックに対して、０ベクトルをシフト初期ベクトルとして割り付ける。一方、シフト初期ベクトル割付部１０５は、ブロックＢｔ１，Ｂｔ２，Ｂｔ４，およびＢｔ５のように、複数の動きクトルが競合するブロックに対して、上述した評価値ＤＦＤに基づく、信頼度が高い動きベクトルを選択し、選択した動きベクトルを、シフト初期ベクトルとしてそれぞれのブロックに割り付ける。

なお、図１８の例においては、説明の便宜上、オフセット先Ａは、フレームｔ上から少しずらして示されている。

図１９は、競合する動きベクトルの例を示す図である。図１９の例においては、フレームｔ−１上のブロックＢ１およびＢ２から、それぞれにおいて検出された動きベクトルＶ１およびＶ２が、フレームｔ上のブロックＢｔを通過している。すなわち、ブロックＢｔは、動きベクトルＶ１のフレームｔ−１上の終点と同じ位置のフレームｔ上のブロックであり、動きベクトルＶ２のフレームｔ−１上の終点と同じ位置のフレームｔ上のブロックである。このように、複数の動きベクトルが同じブロックに対して競合する場合には、動きベクトルＶ１に対する評価値ＤＦＤ１と、動きベクトルＶ２に対する評価値ＤＦＤ２の値が比較され、評価値ＤＦＤが小さい方（すなわち、信頼度が高い方）がブロックＢｔに対応するシフト初期ベクトルＳＶ２として選択される。これにより、評価値ＤＦＤに基づく、信頼度の高いシフト初期ベクトルを得ることができる。

次に、図２０のフローチャートを参照して、シフト初期ベクトル割り付け処理の詳細について説明する。前段において、ベクトル評価部１０４は、フレームｔ−１上の着目ブロックの動きベクトルＶを検出すると、検出された動きベクトルＶとともに、その動きベクトルＶに対して求めた評価値ＤＦＤを、シフト初期ベクトル割付部１０５に供給する。

ステップＳ２０１において、評価値比較部２０２は、ベクトル評価部１０４から、動きベクトルＶとともに、その動きベクトルＶの評価値ＤＦＤを入力する。また、このとき、割付対象位置演算部２０１も、動きベクトルＶを入力し、ステップＳ２０２に進む。割付対象位置演算部２０１は、動きベクトルＶのフレームｔにおけるオフセット（動き補償）先の割付対象ブロックの位置を求める。すなわち、割付対象位置演算部２０１は、フレームｔ−１上において検出された動きベクトルＶの終点のブロックと同じ位置にあるフレームｔ上のブロックの位置を求め、ステップＳ２０３に進む。割付対象位置演算部２０１は、ステップＳ２０３において、求められた割付対象ブロックのうち、１つの割付対象ブロックを選択し、選択した割り付け対象ブロックの位置を、評価値メモリ１０６およびシフト初期ベクトル置換部２０３に供給し、ステップＳ２０４に進む。なお、ステップＳ２０３においては、割付対象ブロックのうち、フレームｔ上において左上のブロックから順に選択される。

ステップＳ２０４において、評価値比較部２０２は、評価値メモリ１０６から、割付対象位置演算部２０１により選択された割付対象ブロックの評価値ＤＦＤを取得し、ステップＳ２０５に進み、ステップＳ２０１において入力された動きベクトルＶの評価値ＤＦＤが、評価値メモリ１０６の評価値ＤＦＤよりも小さいか否か（すなわち、動きベクトルＶの評価値ＤＦＤが、評価値メモリ１０６の評価値ＤＦＤよりも信頼度が高いか否か）を判断し、動きベクトルＶの評価値ＤＦＤが、評価値メモリ１０６の評価値ＤＦＤよりも小さいと判断された場合、ステップＳ２０６に進む。

評価値比較部２０２は、ステップＳ２０６において、シフト初期ベクトル置換部２０３を制御し、割付対象位置演算部２０１により選択されたシフト初期ベクトルメモリ１０７の割付対象ブロックのシフト初期ベクトルを、動きベクトルＶ（すなわち、動きベクトルＶと同じ大きさで同じ向きの動きベクトル）に書き換えさせ、ステップＳ２０７に進み、評価値置換部２０４を制御し、割付対象位置演算部２０１により選択された割付対象ブロックの評価値ＤＦＤを、動きベクトルＶの評価値ＤＦＤで書き換えさせ、ステップＳ２０８に進む。

また、評価値比較部２０２は、ステップＳ２０５において、ステップＳ２０１において入力された動きベクトルＶの評価値ＤＦＤが、評価値メモリ１０６に記憶される評価値ＤＦＤよりも小さくないと判断した場合、ステップＳ２０６およびＳ２０７の処理をスキップし、ステップＳ２０８に進む。すなわち、この場合、評価値メモリ１０６の評価値ＤＦＤが、動きベクトルＶの評価値ＤＦＤよりも信頼度が高いと判断されるので、評価値メモリ１０６およびシフト初期ベクトルメモリ１０７の値は、書き換えられることはない。

割付対象位置演算部２０１は、ステップＳ２０８において、動きベクトルＶの割り付け対象ブロックすべての処理が終了したか否かを判断し、割り付け対象ブロックすべての処理が終了していないと判断した場合、ステップＳ２０３に戻り、それ以降の処理を繰り返す。また、割付対象位置演算部２０１は、ステップＳ２０８において、動きベクトルＶの割り付け対象ブロックすべての処理が終了したと判断した場合、シフト初期ベクトル割付処理を終了する。

なお、初回の処理においては、選択された割付対象ブロックに対応するシフト初期ベクトルが、シフト初期ベクトルメモリ１０７にまだ記憶されていない。したがって、そのシフト初期ベクトルの評価値ＤＦＤが、評価値メモリ１０６の対応する割付対象ブロックに、まだ記憶されていない場合には、ステップＳ２０４において、選択された割付対象ブロックから評価値ＤＦＤは、取得されないので、ステップＳ２０５においてはＹｅｓと判断されることとし、ステップＳ２０６およびＳ２０７の処理が実行される。

以上のように、着目ブロックの動きベクトルの検出を処理する際に、連続するフレーム間において動物体の動き量にはある程度の連続性があり、動き量の変化が小さいことに基づいて、前の時刻（過去）のフレームから、次の時刻のフレームの着目ブロックを通過する動きベクトル（すなわち、過去のフレーム上において検出された動きベクトルＶの終点のブロックと同じ位置にある次のフレーム上のブロックを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトル）であるシフト初期ベクトルを、初期ベクトルの候補ベクトルとすることにより、従来のように、周辺ブロックにおいて過去に求められている動きベクトルのみを初期ベクトルの候補ベクトルとする場合よりも、特に、動いている物体の境界においては、勾配法演算の初期値として適切な動きベクトルを与えることができ、これにより、勾配法の演算による動きベクトル検出の精度を向上させることができる。

また、シフト初期ベクトルを求める際に、前の時刻のフレームにおいて検出された動きベクトルが次の時刻のフレームにおいて通過するブロック（すなわち、フレームｔ−１上において検出された動きベクトルＶの終点のブロックと同じ位置にあるフレームｔ上のブロック）を求め、次の時刻のフレーム上の着目ブロックにおけるシフト初期ベクトルとして割り付けるようにしたので、着目ブロックを通過する動きベクトルを、前の時刻のフレームの全ブロックの動きベクトルから探索する場合よりも、処理の演算量が削減されるため、膨大な演算量により実現が困難であったハードウェア化を実現することができる。

次に、初期ベクトル選択部１０１の構成の詳細について説明する。

図２１は、初期ベクトル選択部１０１の構成を示すブロック図である。図２１に構成を示す初期ベクトル選択部１０１は、前（過去）フレームにおいて検出された動きベクトルや、シフト初期ベクトルなどの候補ベクトル（以下、初期候補ベクトルとも称する）から、信頼度の高い動きベクトルを、初期ベクトルとして選択する処理を行う。初期ベクトル選択部１０１には、時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１が入力される。

候補ベクトル位置演算部２５１は、フレームｔが入力されると、フレームｔ上の処理の対象となる着目ブロックを選択し、着目ブロックの周辺領域から、着目ブロックの初期候補ベクトルを取得する候補ブロックの位置、初期候補ベクトルとなる動きベクトルの種類および優先順位を求め、求められた優先順位の順に、候補ブロックの位置情報および初期候補ベクトルの種類情報を、検出ベクトル取得部２５２およびシフト初期ベクトル取得部２５３に供給する。また、候補ベクトル位置演算部２５１は、候補ブロックの位置情報を、オフセット位置演算部２５４にも供給する。

なお、信号処理装置１においては、初期候補ベクトルの数は、初期ベクトルの精度と、ハードウェア能力の兼ね合いなどに基づいて所定数に設定されており、さらに、候補ブロックの位置、初期候補ベクトルの種類、および優先順位も、例えば、図２３を参照して後述するように、予め設定されている。また、初期候補ベクトルの種類としては、過去フレームにおいて、所定のブロックを通過する動きベクトルを、その所定のブロックにシフトさせた動きベクトル（すなわち、過去フレーム上において検出された動きベクトルの終点のブロックと同じ位置にある次のフレーム上のブロックを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトル）であるシフト初期ベクトルＳＶ、過去フレームにおいて検出された動きベクトル（以下、過去ベクトルＰＶとも称する）、現在のフレームにおいて着目ブロックより手前のブロックにおいて検出された動きベクトル（現在ベクトルＣＶとも称する）、および０ベクトルがある。

したがって、候補ベクトル位置演算部２５１は、予め設定された初期候補ベクトルの種類情報が過去ベクトルまたは現在ベクトルであった場合、候補ブロックの位置情報および初期候補ベクトルの種類情報を、検出ベクトル取得部２５２に供給し、求めた初期候補ベクトルの種類情報がシフト初期ベクトルであった場合、候補ブロックの位置情報および初期候補ベクトルの種類情報を、シフト初期ベクトル取得部２５３に供給し、そのどちらでもなかった場合（例えば、初期候補ベクトルの種類情報が、０ベクトルである場合）、０ベクトルを設定し、０ベクトルと共に、候補ブロックの位置情報を、オフセット位置演算部２５４に供給する。

検出ベクトル取得部２５２は、候補ベクトル位置演算部２５１により供給された候補ブロックの位置情報および初期候補ベクトルの種類情報に応じた動きベクトルを、検出ベクトルメモリ５３より取得し、取得した動きベクトルを、初期候補ベクトルとして、オフセット位置演算部２５４に出力する。

シフト初期ベクトル取得部２５３は、候補ベクトル位置演算部２５１により供給された候補ブロックの位置情報および初期候補ベクトルの種類情報に応じて、候補ブロックの位置情報に対応したシフト初期ベクトルを、シフト初期ベクトルメモリ１０７から取得し、初期候補ベクトルとしてオフセット位置演算部２５４に出力する。また、シフト初期ベクトル取得部２５３は、候補ベクトル位置演算部２５１により指示されたブロックの位置に、シフト初期ベクトルが割り付けられていない場合、０ベクトルを、オフセット位置演算部２５４に出力する。なお、シフト初期ベクトルが割り付けられていない場合には、０ベクトルが、シフト初期ベクトルメモリ１０７に予め記憶されているようにしてもよい。

オフセット位置演算部２５４は、検出ベクトル取得部２５２またはシフト初期ベクトル取得部２５３から初期候補ベクトル（あるいは候補ベクトル位置演算部２５１からの０ベクトル）を入力すると、候補ベクトル位置演算部２５１により供給された候補ブロックの位置情報に基づいて、各初期候補ベクトルに対して、フレームｔの着目ブロックを、フレームｔ＋１にオフセット（動き補償）させたオフセット先のブロック位置を演算する。そして、オフセット位置演算部２５４は、初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を、評価値演算部２５５に出力する。

評価値演算部２５５は、オフセット位置演算部２５４より初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を入力すると、フレームｔとフレームｔ＋１を用いて、初期候補ベクトルの評価値ＤＦＤを求める。そして、評価値演算部２５５は、初期候補ベクトルとともに、求められた評価値ＤＦＤを、評価値比較部２５６に出力する。

評価値比較部２５６は、評価値演算部２５５により入力された評価値ＤＦＤと、最適候補格納用レジスタ２５７に格納されている最適候補ベクトルの評価値ＤＦＤを比較し、評価値演算部２５５により入力された初期候補ベクトルの評価値ＤＦＤが、最適候補ベクトルの評価値ＤＦＤよりも小さい、すなわち、初期候補ベクトルが最適候補ベクトルよりも信頼度が高いと判断された場合、最適候補格納用レジスタ２５７の最適候補ベクトルおよびその評価値ＤＦＤを、信頼度が高いとされた初期候補ベクトルおよびその評価値ＤＦＤで置き換える。そして、最終的に、評価値比較部２５６は、最適候補格納用レジスタ２５７を制御し、すべての候補ベクトルの中から、評価値ＤＦＤに基づく、信頼度が最も高いと判断された最適候補ベクトルを、初期ベクトルＶ０として、反復勾配法演算部１０３に出力させる。

最適候補格納用レジスタ２５７は、評価値比較部２５６により評価値ＤＦＤが小さい（信頼度が高い）とされた初期候補ベクトルが、最適候補ベクトルとして、その評価値ＤＦＤとともに記憶されている。そして、最適候補格納用レジスタ２５７は、評価値比較部２５６の制御のもと、最終的に記憶されている最適候補ベクトルを、初期ベクトルＶ０として、反復勾配法演算部１０３に出力する。

図２２は、初期ベクトルの候補ブロックとなり得る周辺領域を示している。図２２の例において、矢印Ｔは、図中、左手前の時刻ｔ−１の過去（前）フレームｔ−１から、右奥の時刻ｔの現在フレームｔへの時間の経過方向を示している。なお、図２２の例においては、初期ベクトルの候補となり得る周辺領域は、着目のブロックＢｔを中心とした７ブロック×７ブロックにより構成され、各ブロックは、画素数が４画素×４画素により構成されている。

動きベクトル検出処理は、上述したように、フレームの左上のブロックからラスタスキャン順に実行される。したがって、初期ベクトル選択部１０１は、現在フレームｔの着目ブロックＢｔの動きベクトル検出処理の際には、その直前のブロックまでの動きベクトル検出の結果を、初期ベクトルの候補とすることができる。

すなわち、着目ブロックＢｔの周辺領域は、着目ブロックＢｔよりも手前に処理されるブロックＣＶＢ、および着目ブロックＢｔよりも後に処理されるブロックＰＶＢにより構成されている。したがって、着目ブロックＢｔの初期ベクトルを求める場合、初期候補ベクトルは、ブロックＣＶＢの現在フレームｔ上で検出された動きベクトル（現在ベクトルＣＶ）、および、ブロックＰＶＢの過去フレームｔ−１上で検出された動きベクトル（過去ベクトルＰＶ）の中から選択することができる。なお、このとき、同じ周辺領域のブロックに割り付けられるシフト初期ベクトルも、初期候補ベクトルの候補となりうる。

図２３は、候補ベクトル位置演算部２５１において設定される初期ベクトルの候補ブロックの例を示している。図２３の例においては、着目ブロックＢｔの周辺領域のうち、「英字／数字」のシンボルがそれぞれ示されている８個の所定のブロックが、初期候補ベクトルが取得される候補ブロックとして設定されている。これらの８個の所定のブロックに示されている斜線の前後のシンボルは、「初期候補ベクトルの種類」と「優先順位」をそれぞれ表している。なお、初期候補ベクトルの種類のうち、Ｐは、過去フレームｔ−１で検出された過去ベクトルＰＶを表しており、Ｃは、現在フレームｔで検出された現在ベクトルを表しており、Ｓは、シフト初期ベクトルＳＶを表している。

着目ブロックＢｔの「Ｓ／１」は、着目ブロックＢｔに割り付けられたシフト初期ベクトルＳＶが初期候補ベクトルとして、優先順位「１」番目に用いられることを表している。着目ブロックＢｔの左隣のブロックの「Ｃ／２」は、現在フレームｔにおいて検出されたそのブロックの現在ベクトルＣＶが初期候補ベクトルとして、優先順位「２」番目に用いられることを表している。着目ブロックＢｔの右上のブロックの「Ｃ／３」は、現在フレームｔにおいて検出されたそのブロックの現在ベクトルＣＶが、優先順位「３」番目に初期候補ベクトルとして用いられることを表している。着目ブロックＢｔの右下のブロックの「Ｐ／４」は、過去フレームｔ−１において検出されたそのブロックの過去ベクトルＰＶが、優先順位「４」番目に初期候補ベクトルとして用いられることを表している。

周辺領域７×７の左上隅の右下のブロックの「Ｃ／６」は、現在フレームｔにおいて検出されたそのブロックの現在ベクトルＣＶが、優先順位「６」番目に初期候補ベクトルとして用いられることを表している。周辺領域７×７の右上隅の左下のブロックの「Ｃ／５」は、現在フレームｔにおいて検出されたそのブロックの現在ベクトルＣＶが、優先順位「５」番目に初期候補ベクトルとして用いられることを表している。周辺領域７×７の左下隅の右上のブロックの「Ｐ／７」は、過去フレームｔ−１において検出されたそのブロックの過去ベクトルＰＶが、優先順位「７」番目に初期候補ベクトルとして用いられることを表している。周辺領域７×７の右下隅の左上のブロックの「Ｐ／８」は、過去フレームｔ−１において検出されたそのブロックの過去ベクトルＰＶが、優先順位「８」番目に初期候補ベクトルとして用いられることを表している。

以上のように、図２３の例において、初期候補ベクトルは、着目ブロックＢｔを含む、着目ブロックＢｔに隣接するブロックのうち、着目ブロックＢｔ、着目ブロックＢｔの左隣、右上、および右下のブロックとされ、着目ブロックＢｔに隣接していないブロックのうち、周辺領域７×７の四隅から、それぞれ内側に１つ入った位置のブロックから選択される。

すなわち、図２３の例の場合、着目ブロックＢｔに隣接するブロック（空間的にも時間的にも近いブロック）のほうが少し離れたブロックよりも優先順位が高く、現在フレームｔで検出された現在ベクトルのほうが、過去フレームｔ−１で検出された過去ベクトルよりも優先順位が高く設定されている。なお、これらの初期ベクトルの候補の位置、種類、および優先度は、できるだけ少ない候補数で、確かな初期候補ベクトルを得ることができるように、着目ブロックＢｔの近傍だけでなく、少し離れた位置のブロックも含め、また、偏りのないようになど、空間的な相関や時間的な相関などに基づいて設定されたものである。したがって、このように、予め設定された所定のブロックの動きベクトルを初期候補ベクトルとして用いることにより、初期候補ベクトル数が多くなってしまい、処理の演算量が膨大になってしまうことが抑制される。

なお、候補ブロックの種類と候補ブロックの位置は、図２３の例に限定されるものではなく、他の種類のベクトルや、ブロックの位置を用いてもよい。また、周辺のブロックに、最適なベクトルが存在しない場合を考慮して、そのような場合に劣化を抑制する、０ベクトルを用いてもよい。また、候補ブロックの数も８個より多くても少なくてもよい。

次に、図２４のフローチャートを参照して、初期ベクトル選択処理の詳細について説明する。

候補ベクトル位置演算部２５１は、ステップＳ２５１において、選択された着目ブロックの周辺領域から、予め設定されている着目ブロックの初期候補ベクトルを取得する候補ブロックの位置、初期候補ベクトルの種類および優先順位を求め、ステップＳ２５２において、求められた優先順位の順に、候補ブロックの初期候補ベクトルの種類が、過去ベクトルまたは現在ベクトルであるか否かを判断する。ステップＳ２５２において、候補ベクトル位置演算部２５１は、候補ブロックの初期候補ベクトルの種類が、過去ベクトルまたは現在ベクトルであると判断した場合、ステップＳ２５３に進み、候補ブロックの位置情報および初期候補ベクトルの種類情報を、検出ベクトル取得部２５２に供給し、

検出ベクトル取得部２５２に、候補ブロックの位置情報および初期候補ベクトルの種類情報に応じた動きベクトル（過去ベクトルＰＶまたは現在ベクトルＣＶ）を、検出ベクトルメモリ５３から取得させ、取得させた動きベクトルを、オフセット位置演算部２５４に出力させ、ステップＳ２５７に進む。

ステップＳ２５２において、候補ベクトル位置演算部２５１は、候補ブロックの初期候補ベクトルの種類が、過去ベクトルまたは現在ベクトルでないと判断した場合、ステップＳ２５４に進み、候補ベクトル位置演算部２５１は、候補ブロックの初期候補ベクトルの種類が、シフト初期ベクトルであるか否かを判断する。ステップＳ２５４において、候補ベクトル位置演算部２５１は、候補ブロックの初期候補ベクトルの種類が、シフト初期ベクトルであると判断した場合、ステップＳ２５５に進み、候補ブロックの位置情報および初期候補ベクトルの種類情報を、シフト初期ベクトル取得部２５３に供給し、シフト初期ベクトル取得部２５３に、候補ブロックの位置情報に対応したシフト初期ベクトルを、シフト初期ベクトルメモリ１０７から取得させ、取得させたシフト初期ベクトルを、オフセット位置演算部２５４に出力させ、ステップＳ２５７に進む。

ステップＳ２５４において、候補ベクトル位置演算部２５１は、候補ブロックの初期候補ベクトルの種類が、シフト初期ベクトルではないと判断した場合（すなわち、候補ブロックの初期候補ベクトルの種類が、０ベクトルであると判断した場合）、ステップＳ２５６に進み、初期候補ベクトルに０ベクトルを設定し、０ベクトルと共に、候補ブロックの位置情報を、オフセット位置演算部２５４に供給し、ステップＳ２５７に進む。なお、ステップＳ２５３およびＳ２５５においても、候補ベクトル位置演算部２５１は、候補ブロックの位置情報を、オフセット位置演算部２５４に供給している。

オフセット位置演算部２５４は、ステップＳ２５７において、検出ベクトル取得部２５２またはシフト初期ベクトル取得部２５３から初期候補ベクトルを入力すると、候補ベクトル位置演算部２５１により供給された候補ブロックの位置情報に基づいて、各初期候補ベクトルに対して、フレームｔの着目ブロックを、フレームｔ＋１にオフセットさせたオフセット先のブロック位置を演算する。そして、オフセット位置演算部２５４は、初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を、評価値演算部２５５に出力し、ステップＳ２５８に進む。

評価値演算部２５５は、オフセット位置演算部２５４より初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を入力すると、ステップＳ２５８において、フレームｔとフレームｔ＋１を用いて、初期候補ベクトルの評価値ＤＦＤを求め、初期候補ベクトルとともに、求められた評価値ＤＦＤを、評価値比較部２５６に出力し、Ｓ２５９に進む。

評価値比較部２５６は、ステップＳ２５９において、評価値演算部２５５により求められた評価値ＤＦＤが、最適候補格納用レジスタ２５７に格納されている最適候補ベクトルの評価値ＤＦＤより小さいか否かを判断し、評価値演算部２５５により求められた評価値ＤＦＤが、最適候補格納用レジスタ２５７に格納されている最適候補ベクトルの評価値ＤＦＤより小さい、すなわち、初期候補ベクトルが最適候補ベクトルよりも信頼度が高いと判断された場合、ステップＳ２６０において、最適候補格納用レジスタ２５７の最適候補ベクトルおよびその評価値ＤＦＤを、信頼度が高いとされた初期候補ベクトルおよびその評価値ＤＦＤで書き換え、ステップＳ２６１に進む。

また、ステップＳ２５９において、評価値比較部２５６は、評価値演算部２５５により求められた評価値ＤＦＤが、最適候補格納用レジスタ２５７に格納されている最適候補ベクトルの評価値ＤＦＤより小さくないと判断した場合、ステップＳ２６０の処理をスキップし、ステップＳ２６１に進む。

ステップＳ２６１において、候補ベクトル位置演算部２５１は、すべての初期候補ベクトル（図２３の例の場合、８ベクトル）の処理が終了したか否かを判断し、すべての初期候補ベクトルの処理が終了していないと判断した場合、ステップＳ２５２に戻り、それ以降の処理を繰り返す。

ステップＳ２６１において、すべての初期候補ベクトルの処理が終了したと判断された場合、処理は、ステップＳ２６２に進み、評価値比較部２５６は、最適候補格納用レジスタ２５７を制御し、すべての初期候補ベクトルの中から、評価値ＤＦＤに基づく、信頼度が最も高いとされた最適候補ベクトルを、初期ベクトルＶ０として反復勾配法演算部１０３に出力させ、初期ベクトル選択処理を終了する。

以上のように、着目ブロックにおいて、複数の初期候補ベクトルの評価値ＤＦＤを求め、評価値ＤＦＤが最も小さい、すなわち、信頼度が最も高いとされる初期候補ベクトルを、初期ベクトルとして選択するようにしたので、後段の動きベクトル検出に最適な初期ベクトルを与えることができ、その結果、後段の動きベクトル検出の精度を向上させることができる。また、予め定められた所定のブロックの動きベクトルを、初期候補ベクトルとして用いるようにしたので、初期候補ベクトル数が多くなってしまい、処理の演算量が膨大になってしまうことが抑制される。

さらに、連続するフレーム間において動物体の動き量にはある程度の連続性があり、動き量の変化が小さいことに基づいて、前フレームから着目ブロックを通過する動きベクトルであるシフト初期ベクトルを、初期ベクトルの候補とするようにしたので、従来のように、周辺ブロックにおいて過去に求められている動きベクトルのみを初期ベクトルの候補とする場合よりも、精度の高い動き検出を行うことができる。これは、特に、動いている物体の境界において、効果的である。

次に、反復勾配法演算部１０３の構成の詳細について説明する。

図２５は、反復勾配法演算部１０３の構成を示すブロック図である。図２５に構成を示す反復勾配法演算部１０３は、入力される時刻ｔの画像のフレームｔおよび、時刻ｔ＋１の画像のフレームｔ＋１を用いて、正確な動きベクトルを検出する処理を行う。この動きベクトルを検出する処理は、複数の画素からなる所定のブロック毎に実行される処理であり、反復勾配法演算部１０３は、各ブロックにおいて、ブロック単位毎に、勾配法を用いた演算を繰り返し実行することにより、評価値ＤＦＤに基づく、信頼度が高い、正確な動きベクトルを出力する。

ここで、動きベクトルの検出処理単位としてのブロックは、着目画素を中心とする着目ブロックである。画像内のオブジェクトの動きを考えた場合、同じオブジェクトであれば、大方同じ動きをしていることが多い。そこで、反復勾配法演算部１０３は、着目ブロックを検出処理単位として、動きベクトルを検出し、ベクトル評価部１０４は、検出された動きベクトルを着目ブロック内の全ての画素に対し、動きベクトルとして設定する。

なお、着目ブロックは、前段において、初期ベクトル選択部１０１によって選択され、例えば、画像の左上のブロックからラスタスキャン順に選択される。

反復勾配法演算部１０３には、プリフィルタ１０２−１およびプリフィルタ１０２−２を介して、時刻ｔの画像のフレームｔおよび時刻ｔ＋１の画像のフレームｔ＋１が入力され、また、初期ベクトル選択部１０１から選択されている着目ブロックに対する初期ベクトルＶ０が入力される。

反復勾配法演算部１０３は、セレクタ６０１、有効画素判定部６０２、勾配法演算部６０３、および遅延部６０４を含むように構成される。

セレクタ６０１は、ベクトル評価部１０４からの制御のもと、初期ベクトル選択部１０１から入力された初期ベクトルＶ０または勾配法演算部６０３から出力された動きベクトルＶｎを、勾配法演算の初期値として用いる動きベクトル（以下、オフセットベクトルと称する）として、有効画素判定部６０２および勾配法演算部６０３に出力する。

有効画素判定部６０２は、着目画素を中心とする着目ブロック内の画素のそれぞれが、有効画素であるか否かを判断する。ここで、有効画素とは、後段の勾配法の演算に用いられる（使用される）画素をいう。有効画素判定部６０２における、有効画素であるか否かの判断の詳細は後述する。

また、有効画素判定部６０２は、着目ブロックにおいて、勾配法の演算に有効な有効画素の数が、しきい値より多いか否かを判断する。例えば、有効画素判定部６０２は、着目ブロックにおける、勾配法の演算に有効な有効画素の数が、あらかじめ記憶しているしきい値より多いか否かを判断する。

有効画素判定部６０２は、勾配法の演算に有効な有効画素の数が、しきい値以下であると判断した場合、勾配演算部６０３を制御し、動きベクトルを求める演算の実行を抑制させる。

有効画素判定部６０２は、着目ブロックにおいて、勾配法の演算に有効な画素の数が、しきい値より多いと判断した場合、勾配法演算部６０３を制御し、着目ブロック単位での勾配法演算処理を実行させる。

勾配法演算部６０３は、有効画素判定部６０２によって選択された有効画素を用いて、勾配法の演算を行い、動きベクトルＶｎを算出する。勾配法演算部６０３は、有効画素でないと判断された画素を勾配法の演算に使用しない。

より詳細には、勾配法演算部６０３は、有効画素判定部６０２の指令の基に、セレクタ６０１から出力されたオフセットベクトルを入力してから、プリフィルタ１０２−１およびプリフィルタ１０２−２を介して入力される、時刻ｔの画像のフレームｔおよび時刻ｔ＋１の画像のフレームｔ＋１のうち、フレームｔの着目ブロックの有効画素と、着目ブロックに対して、オフセットベクトルで指示される、フレームｔ＋１のブロックの対応する画素を基に、動きベクトルを求める勾配法演算を実行する。勾配法演算部６０３は、算出された動きベクトルＶｎを、遅延部６０４およびベクトル評価部１０４に出力する。

また、勾配法演算部６０３は、勾配法演算によって算出された動きベクトル（オフセットベクトルが加算される前の動きベクトル）ｖｎのノルム値（｜ｖｎ｜）を演算（算出）し、算出した動きベクトルｖｎのノルム値をベクトル評価部１０４に出力する。なお、ノルム値の詳細については後述する。

さらに、有効画素判定部６０２において、着目ブロックにおける、有効画素の数がしきい値以下であると判断された場合、勾配法演算部６０３は、勾配法の演算を実行しないで、０ベクトルを動きベクトルＶｎとして、遅延部６０４およびベクトル評価部１０４に出力する。

遅延部６０４は、勾配法演算部６０３から出力された動きベクトルＶｎを、有効画素判定部６０２および勾配法演算部６０３の次の処理のサイクルまで保持しており、セレクタ６０１の制御に応じて、保持する動きベクトルＶｎを有効画素判定部６０２に出力する。

図２６は、有効画素判定部６０２の詳細な構成を示すブロック図である。図２６で示される例において、有効画素判定部６０２は、画素位置演算部６２１、勾配演算部６２２、切片演算部６２３、切片位置判定部６２４、有効画素数カウンタ６２５、有効画素フラグメモリ６２６、および勾配法継続判定部６２７を含むように構成される。

画素位置演算部６２１は、セレクタ６０１により選択されたオフセットベクトルを入力してから、着目ブロックにおいて、着目画素または周辺画素を順に選択し、選択した画その位置を演算する。例えば、着目画素は、着目ブロックの中心に位置する画素であり、周辺画素は、着目画素の周辺の画素であって、着目ブロックに属する画素である。例えば、画素位置演算部６２１は、着目ブロックにおいて、順に選択した画素の位置を示す座標（ｘ，ｙ）を演算する。画素位置演算部６２１は、演算された画素の位置およびオフセットベクトルを勾配演算部６２２に出力する。

勾配演算部６２２は、フレームｔおよびフレームｔ＋１を基に、画素位置演算部６２１によって演算された画素（着目画素または周辺画素）の位置、およびオフセットベクトルを入力してから、選択された画素の画素値の勾配を演算する。

より詳細には、勾配演算部６２２は、画素位置演算部６２１から入力した画素の位置、プリフィルタ１０２−２を介して入力されるフレームｔ、およびプリフィルタ１０２−１を介して入力されるフレームｔ＋１を基に、選択された画素の画素値のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを演算し、オフセットベクトル、並びに演算したｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを切片演算部６２３に出力する。

ここで、勾配とは、図１０を参照して上述したように、選択された画素と選択された画素に隣接する画素との輝度の差分差（勾配）である。例えば、図１０において、着目画素ｐのｘ方向の勾配Δｘは、着目画素ｐと画素ｐｘとのｘ方向における輝度の差分差（勾配）であり、ｙ方向の勾配Δｙは、着目画素ｐと画素ｐｙとのｙ方向における輝度の差分差（勾配）であり、ｔ方向の勾配Δｔは、着目画素ｐと画素ｑとのｔ方向における輝度の差分差（勾配）である。

なお、以下、ｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを個々に区別する必要がないとき、単に勾配と称する。

切片演算部６２３は、勾配演算部６２２からオフセットベクトルおよび勾配を入力してから、入力したオフセットベクトルおよび勾配を基に、選択されている画素（着目画素または周辺画素）について、所定の条件を満たす動きベクトルの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線を求め、求めた直線の切片を演算する。切片演算部６２３は、演算された切片を切片位置判定部６２４に出力する。なお、切片の演算の詳細は後述する。

切片位置判定部６２４は、切片演算部６２３から供給された、選択されている画素についての、動きベクトルの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線の切片を基に、その選択されている画素が動きベクトルの算出に有効であるか否かを判断する。換言すれば、切片位置判定部６２４は、選択されている画素についての、動きベクトルの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線の切片を基に、その選択されている画素を動きベクトルに使用するか否かを判断する。

ここで、画素が動きベクトルの算出に有効であるとは、その画素が、より正確な動きベクトルの算出に寄与することをいう。すなわち、有効な画素が動きベクトルの算出に使用されると、より正確な動きベクトルが算出される。逆に、画素が動きベクトルの算出に有効でない場合、その画素が動きベクトルの算出に使用されると、より大きい誤差を含む動きベクトルが算出される。

例えば、切片位置判定部６２４は、選択されている着目画素について判断する場合、切片演算部６２３から着目画素に対応する直線の切片および周辺画素に対応する直線の切片を入力してから、着目画素に対応する直線の切片を基準位置として、基準位置から周辺画素に対応する直線の切片までの距離を演算し、演算した基準位置から周辺画素に対応する直線の切片までの距離を所定の閾値と比較することによって、選択された周辺画素が、着目画素の動きベクトルを検出するための勾配法の計算に用いるのに有効な画素であるか否かを判断する。

以下、有効な画素を単に有効画素とも称する。

切片位置判定部６２４は、選択された周辺画素が着目画素の動きベクトルを検出するための勾配法の計算に用いるのに有効な画素であると判断した場合、有効画素数カウンタ６２５の有効画素の数をインクリメントし、有効画素フラグメモリ６２６の判定の対象となる画素に対応するフラグを立てる（フラグに１を設定する）。

切片位置判定部６２４は、選択された周辺画素が着目画素の動きベクトルを検出するための勾配法の計算に用いるのに有効な画素でないと判断した場合、有効画素数カウンタ６２５の有効画素の数をインクリメントせず、また有効画素フラグメモリ６２６の判定の対象となる画素に対応するフラグを立てない（フラグに０を設定する）。

また、切片位置判定部６２４は、着目ブロック内の全ての画素の処理が終了したか否かを判断する。

有効画素数カウンタ６２５は、切片位置判定部６２４の制御によってその値がクリアされるか、またはインクリメントされ、着目ブロックについての動きベクトルの演算の毎に、切片位置判定部６２４によって、動きベクトルの計算に用いるのに有効であると判断された着目画素および周辺画素分の数をカウントする。また、有効画素数カウンタ６２５は、次の動きベクトルを算出しようとする場合、リセットされる。

有効画素フラグメモリ６２６は、着目ブロック内の画素が、有効画素であるか否かを示す有効画素情報を保持している。例えば、有効画素フラグメモリ６２６のそれぞれの１ビットのフラグは、１つの画素に対応する。１であるフラグは、対応する画素が有効画素であることを示し、０であるフラグは、対応する画素が有効画素でないことを示す。

なお、フラグに１を設定することをフラグを立てるとも称し、フラグに０を設定することをフラグをリセットするとも称する。

また、それぞれのフラグの値である、有効画素フラグメモリ６２６が保持している有効画素情報は、次の動きベクトルを算出しようとする場合、リセットされる。

勾配法継続判定部６２７は、有効画素数カウンタ６２５の値を基に、勾配法の演算を継続させるか否かを判断する。例えば、勾配法継続判定部６２７は、有効画素数カウンタ６２５の値を基に、着目ブロックに含まれる画素のうち、勾配法の演算に有効な画素の数が予め記憶しているしきい値より多いか否かを判断し、勾配法の演算に有効な画素の数がしきい値より多いと判断した場合、有効画素を用いて、勾配法による確からしい動きベクトルの検出ができるので勾配法演算部６０３に、勾配法演算を実行させる継続フラグ(flg＝１)を出力する。

勾配法継続判定部６２７は、着目ブロックに、勾配法の演算に有効な画素の数がしきい値以下であると判断した場合、勾配法の演算に用いる有効画その数が少ないので、大きな誤差を含む動きベクトルが算出されてしまう恐れがあるため、勾配法演算部６０３に勾配法演算を打ち切る継続フラグ(flg＝０)を出力する。

このようにして、有効画素判定部６０２の各部は、選択された画素に対して、有効画素判定処理を行う。

また、切片位置判定部６２４によって、着目ブロック内の全ての画素の処理が終了していないと判断された場合には、有効画素判定部６０２の各部は、次の選択した画素について、有効画素であるか否かを判定する。

図２７は、勾配法演算部６０３の詳細な構成を示すブロック図である。図２７の例において、勾配法演算部６０３は、画素値勾配演算部６５１、勾配積算部６５２、およびベクトル演算部６５３を含むように構成される。

画素値勾配演算部６５１は、有効画素判定部６０２から入力されるフラグに基づいて、勾配法演算部６０３の各部を制御する。すなわち、画素値勾配演算部６５１は、継続フラグが１である (flg＝１)場合には、勾配法演算部６０３の各部に、勾配法演算の処理を実行させる。

また、継続フラグによって有効画素判定部６０２から着目ブロックについて動きベクトルの演算が指示されている場合、画素値勾配演算部６５１は、着目ブロックに属する画素について勾配を演算する。

具体的には、勾配演算部６５１は、有効画素判定部６０２からフラグを入力すると、プリフィルタ１０２−１およびプリフィルタ１０２−２を介して入力される時刻ｔの画像のフレームｔおよび時刻ｔ＋１の画像のフレームｔ＋１のうち、フレームｔの着目ブロックの画素のうちの有効画素と、フレームｔの着目ブロックを始点とするオフセットベクトルによって指示されるフレームｔ＋１のブロックであって、着目ブロックに対応するブロックの画素のうちの有効画素に対応する画素とを選択する。そして、勾配演算部６５１は、着目ブロックの有効画素として選択された画素のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを算出し、算出された画素の勾配を、勾配積算部６５２に出力する。

また、画素値勾配演算部６５１は、着目ブロック内の全ての画素の処理が終了した場合に、オフセットベクトルを、ベクトル演算部６５３に出力する。

一方、フラグが０を示す(flg＝０)場合には、画素値勾配演算部６５１は、着目ブロック内の画素の勾配を算出しないので、勾配法演算部６０３の各部では、勾配法演算の処理が実行されず、処理は打ち切られる。なお、このとき、画素値勾配演算部６５１は、ベクトル演算部６５３を制御し、動きベクトルＶに０ベクトルを設定させる。

勾配積算部６５２は、着目ブロックの有効画素の勾配を積算する。すなわち、勾配積算部６５２は、画素値勾配演算部６５１により算出された各有効画素のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを基に、上述した式（９）におけるΣΔｙ²、ΣΔｘ²、ΣΔｔΔｘ、ΣΔｘΔｙ、およびΣΔｔΔｙを算出し、算出したΣΔｙ²、ΣΔｘ²、ΣΔｔΔｘ、ΣΔｘΔｙ、およびΣΔｔΔｙの値をベクトル演算部６５３に出力する。

より具体的には、勾配演算部６５２は、画素値勾配演算部６５１から供給される有効画素毎のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを基に、有効画素毎に、Δｙ²、Δｘ²、ΔｔΔｘ、ΔｘΔｙ、およびΔｔΔｙを算出して、算出したΔｙ²、Δｘ²、ΔｔΔｘ、ΔｘΔｙ、およびΔｔΔｙのそれぞれを、ΣΔｙ²、ΣΔｘ²、ΣΔｔΔｘ、ΣΔｘΔｙ、およびΣΔｔΔｙのそれぞれを算出するための変数に加算することにより、式（９）におけるΣΔｙ²、ΣΔｘ²、ΣΔｔΔｘ、ΣΔｘΔｙ、およびΣΔｔΔｙを算出する。

以下、勾配積算部６５２によって計算されたΣΔｙ²、ΣΔｘ²、ΣΔｔΔｘ、ΣΔｘΔｙ、およびΣΔｔΔｙの値を勾配の積算値とも称する。

ベクトル演算部６５３は、勾配積算部６５２から勾配の積算値が入力されてから、勾配積算部６５２によって積算された勾配の積算値を設定した式（９）を演算することにより、動きベクトルｖｎを演算（算出）する。また、ベクトル演算部６５３は、画素値勾配演算部６５１からのオフセットベクトルを算出した動きベクトルｖｎに加算して、動きベクトルＶｎを求め、求めた動きベクトルＶｎをベクトル評価部１０４および遅延部６０４に出力する。

さらに、ベクトル演算部６５３は、算出された動きベクトルｖｎのノルム値を算出し、算出した動きベクトルｖｎのノルム値をベクトル評価部１０４に出力する。

次に、図２８のフローチャートを参照して、図１２のステップＳ１０３の処理に対応する反復勾配法演算処理の詳細を説明する。前段より着目ブロックが選択され、セレクタ６０１に初期ベクトルＶ０が入力される。

セレクタ６０１は、ステップＳ６０１において、フレームｔ上のブロックを、検出対象ブロック（着目ブロック）とし、ベクトル評価部１０４からの制御に応じて、初期ベクトル選択部１０１から入力された初期ベクトルＶ０または遅延部６０４から入力された動きベクトルＶｎをオフセットベクトルとして選択し、選択したオフセットベクトルを、有効画素判定部６０２および勾配法演算部６０３に出力し、ステップＳ６０２に進む。

例えば、ステップＳ６０１において、セレクタ６０１は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０および遅延部６０４から入力された動きベクトルＶｎのそれぞれの評価値ＤＦＤを求め、求められたそれぞれの評価値ＤＦＤを比較することによって、信頼性の高いものをオフセットベクトルとして選択し、有効画素判定部６０２および勾配法演算部６０３に出力する。

ここで、遅延部６０４から入力された動きベクトルＶｎとは、後述する前回のステップＳ６０５の処理において、ベクトル評価部１０４によって求められた動きベクトルＶｎである。したがって、ステップＳ６０１において、１回目のオフセットベクトルの選択の処理を行う場合、勾配法演算処理が行われていないため、遅延部６０４には動きベクトルＶｎが保持されていないので、セレクタ６０１は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０をオフセットベクトルとして選択する。

ステップＳ６０２において、有効画素判定部６０２の各部は、セレクタ６０１によって選択されたオフセットベクトルを用いて、有効画素判定処理を実行し、ステップＳ６０３に進む。この有効画素判定処理の詳細は、図３７を参照して後述するが、この有効画素判定処理により、有効画素数カウンタ６２５には、着目ブロック内において、画素に対応する直線の切片が有効範囲内にあるか否かを基に、有効な画素であると判定された（すなわち、後段の勾配法演算で有効な画素であると判定された）有効画素の数がカウントされている。

ステップＳ６０３において、勾配法継続判定部６２７は、有効画素数カウンタ６２５にカウントされている画素数（有効画素数）が所定のしきい値αより多いか否かを判断し、有効画素数が所定のしきい値αより多いと判断した場合、勾配法演算を実行させるため、勾配法演算部６０３に、勾配法演算を実行させる継続フラグ(flg＝１)を出力し、ステップＳ６０４に進む。

ここで、しきい値αは、例えば、着目ブロック内の画素数の５０％の画素数の値とすることができる。なお、ここでの着目ブロック内の画素数の５０％の画素数の値は、しきい値αの一例であり、本発明を限定するものではない。

ステップＳ６０４において、勾配法演算部６０３は、勾配法継続判定部６２７からのフラグに基づいて、セレクタ６０１からのオフセットベクトルを用いて、勾配法演算処理を実行し、ステップＳ６０５に進む。この勾配法演算処理の詳細は、図３８を参照して後述するが、この勾配法演算処理により、動きベクトルＶｎが求められ、ベクトル評価部１０４および遅延部６０４に出力される。また、オフセットベクトルに加算される前の動きベクトルｖｎのノルムの値（｜ｖｎ｜）が求められ、ベクトル評価部１０４に出力される。

なお、動きベクトルＶｎは、ステップＳ６０４における今回の勾配法演算の処理により算出された動きベクトルｖｎに、オフセットベクトルＶ（ｎ−１）が加算されたもの（Ｖｎ＝Ｖ（ｎ−１）＋ｖｎ）である。例えば、動きベクトルＶ１は、１回目の勾配法演算により算出された動きベクトルｖ１に、オフセットベクトル（初期ベクトルＶ０）が加算されたもの（Ｖ１＝Ｖ０＋ｖ１）である。

また、ここで、ノルムとは、あるベクトル空間におけるベクトルの大きさを表し、例えば、原点（０，０）を起点とした（ｘ，ｙ）へのベクトルｖのノルムは、次の式（１１）で表される。

・・・（１１）

ステップＳ６０５において、ベクトル評価部１０４は、勾配法演算処理により求められた動きベクトルＶｎの評価値ＤＦＤ（ｎ）およびオフセットベクトルとして用いられた動きベクトルＶ（ｎ−１）の評価値ＤＦＤ（ｎ−１）を求め、求めた動きベクトルＶｎの評価値ＤＦＤ（ｎ）、オフセットベクトルとして用いられた動きベクトルＶ（ｎ−１）の評価値ＤＦＤ（ｎ−１）、およびベクトル演算部６５３から入力されたノルム値（｜ｖｎ｜）を基に、ノルム値が所定のしきい値β以下であり、かつ評価値ＤＦＤ（ｎ−１）よりも評価値ＤＦＤ（ｎ）が小さいか否かを判断する。

すなわち、勾配法演算においては、一般に、微小動きに対して、精度の高い結果が得られるが、勾配法により求められた動きベクトルのノルム値（｜ｖｎ｜）が所定の大きさを超えてしまうと、その大きい動きベクトルｖｎに対して精度の高い結果が得られているとは限らない。したがって、勾配法演算により求められた動きベクトルのノルム値（｜ｖｎ｜）が所定の大きさを超えたか否か判断することにより、動きベクトルｖｎの信頼度を判断し、さらにオフセットベクトルとして用いられた動きベクトルＶ（ｎ−１）よりも勾配法演算処理により求められた動きベクトルＶｎの信頼度が高いか否かを判断する。

具体的には、例えば、ノルム値（｜ｖｎ｜）は、着目ブロックが８×８の場合、１６などの所定の値と比較される。また、１回目の処理においては、求められた動きベクトルＶ１の評価値ＤＦＤ（１）と、オフセットベクトルとして用いられた初期ベクトルＶ０の評価値ＤＦＤ（０）とが比較され、２回目の処理においては、求められた動きベクトルＶ２の評価値ＤＦＤ（２）と、オフセットベクトルとして用いられた動きベクトルＶ１の評価値ＤＦＤ（１）とが比較される。

なお、ノルム値（｜ｖｎ｜）と比較される１６は、着目ブロックが８×８の場合の例であり、本発明を限定するものではない。

ベクトル評価部１０４は、ステップＳ６０５において、ノルム値（｜ｖｎ｜）がしきい値β以下であり、かつ評価値ＤＦＤ（ｎ−１）よりも評価値ＤＦＤ（ｎ）が小さいと判断した場合、すなわち、動きベクトルＶ（ｎ−１）よりも動きベクトルＶｎの信頼度が高いと判断された場合、ステップＳ６０６において、算出された動きベクトルＶｎ（１回目の場合、動きベクトルＶ１、２回目の場合、動きベクトルＶ２）を、検出対象ブロックの動きベクトルＶに設定して、ステップＳ６０７に進む。ベクトル評価部１０４は、ステップＳ６０７において、反復回数ｎを１つカウントし、ステップＳ６０８に進み、反復回数ｎが設定された最大反復回数（例えば、２回）になったか否かを判断し、まだ、反復回数ｎが設定された最大反復回数ではないと判断した場合、セレクタ６０１を制御し、ステップＳ６０１に戻り、それ以降の処理を繰り返させる。

すなわち、ステップＳ６０１において、セレクタ６０１は、ベクトル演算部６５３から出力され、遅延部６０４に保持された動きベクトルＶ（ｎ−１）または初期ベクトル選択部１０１から入力された初期ベクトルＶ０を、オフセットベクトルとして選択し、ステップＳ６０２において、有効画素判定部６０２の各部は、セレクタ６０１によって選択されたオフセットベクトルを用いて、有効画素判定処理を実行し、それ以降の処理を繰り返す。

ベクトル評価部１０４は、ステップＳ６０５において、ノルム値（｜ｖｎ｜）がしきい値β以下ではない、または評価値ＤＦＤ（ｎ−１）よりも評価値ＤＦＤ（ｎ）が小さくないと判断した場合、すなわち、動きベクトルＶ（ｎ−１）の方が、動きベクトルＶｎよりも信頼度が高いと判断した場合、ステップＳ６０９に進み、勾配法演算のオフセットベクトルとしたベクトルＶ（ｎ−１）（１回目の場合、初期ベクトルＶ０、２回目の場合、動きベクトルＶ１）を、検出対象ブロックの動きベクトルＶに設定して、ステップＳ６１０に進む。また、ベクトル評価部１０４は、ステップＳ６０８において、反復回数ｎが設定された最大反復回数になったと判断した場合、ステップＳ６１０に進む。

ベクトル評価部１０４は、ステップＳ６１０において、動きベクトルＶが、動きベクトルを検出する範囲として予め設定されたサーチエリア内であるか否かを判断し、動きベクトルＶが、サーチエリア内であると判断した場合、ステップＳ６１２に進み、動きベクトルＶを、検出対象ブロックに対応させて、検出ベクトルメモリ５３に記憶し、反復勾配法処理を終了する。

ベクトル評価部１０４は、ステップＳ６１０において、動きベクトルＶが、サーチエリア内ではないと判断した場合、ステップＳ６１１に進む。また、ステップＳ６０３において、勾配法継続判定部６２７は、有効画素数カウンタ６２５に保持されている有効画素数が所定のしきい値α以下であると判断した場合、勾配演算部６０３に勾配演算を打ち切るフラグ（flg＝０）を出力し、ステップＳ６１１に進む。

ステップＳ６１１において、ベクトル評価部１０４は、上述したステップＳ６０２における有効画素判定処理によって、確からしい動きベクトルを得ることができないと予測されるか、またはステップＳ６０４における勾配法演算処理によって、確からしい動きベクトルを得ることができなかったので、動きベクトルＶを０ベクトルに設定し、ステップＳ６１２に進み、動きベクトルＶ（０ベクトル）を、検出対象ブロックに対応させて、検出ベクトルメモリ５３に記憶し、反復勾配法処理を終了する。

このようにして、反復勾配法演算部６０３は、勾配法の演算を繰り返し行うことによって動きベクトルＶを算出し、算出した動きベクトルＶをベクトル評価部１０４に出力する。

次に、図２９乃至図３８を参照して、図２７のステップＳ６０２の有効画素判定処理について説明する。

図２８のステップＳ６０２の有効画素判定処理においては、例えば、着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）で表されるｖｘおよびｖｙを軸とする２次元平面上において、画素の輝度が一定であるという条件を満たす周辺画素の動きベクトルＶｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線の切片が、所定の有効範囲内にあるか否かを基に、有効画素であるか否かが判定される。

勾配法による２次元空間上での動きベクトルの検出は、式（５）乃至式（９）を用いて説明したように、複数要素を用いた近似計算を行うことで実現されており、複数要素としては、着目画素を中心とする周辺領域内の画素（周辺画素）を用いている。また、勾配法の計算においては、周辺領域内の全ての画素が、着目画素と同じ動き（ｖｘ，ｖｙ）をすると仮定して、演算が行われる。しかし、物体のエッジなどにおいては、着目画素の周辺領域内の画素が、着目画素と同じ動きをするとは限らず、一律にそれらの画素を勾配法の演算の要素に含めることは、行おうとする予測に対してノイズを取り入れることになり、動きベクトル検出の演算精度の低下につながる恐れがある。

そこで、あらかじめ設定された周辺領域内の画素を必要に応じて取捨選択することによって検出精度を向上させることができる。

具体的には、上述した式（５）で表される動き補償フレーム差分ｄは、時刻ｔの画像のフレームｔ上の画素が時刻ｔ＋１までの期間に（ｖｘ，ｖｙ）だけ変位した場合における、変位前の画素の輝度と変位後の画素の輝度との差を表している。動きベクトル検出の理想状態としては、動き補償フレーム差分ｄが０である状態、すなわち、画素の輝度が変位によらず一定である状態であり、式（１２）で表される。

ｄ＝ｇ（ｘ＋ｖｘ，ｙ＋ｖｙ，ｔ＋１）−ｇ（ｘ，ｙ，ｔ）
＝Δｘｖｘ＋Δｙｖｙ＋Δｔ＝０ （１２）

また、より詳細には、フレームｔ上における着目画素に対して、フレームｔ＋１では、あらかじめ求められたオフセットベクトルをオフセットとして計算した位置を開始点として勾配法演算が行われる。したがって、動きベクトルのｘ方向の成分ｖｘは、オフセットベクトルのｘ方向の成分とオフセットベクトルをオフセットとして計算した位置からのｘ方向の動きの成分との和で表され、動きベクトルのｙ方向の成分ｖｙは、オフセットベクトルのｙ方向の成分とオフセットベクトルをオフセットとして計算した位置からのｙ方向の動きの成分との和で表される。

そこで、実際には、勾配法の演算により求められた動きベクトルからシフトベクトルを引き算した結果が動きベクトルｖｎとして後段に出力される。

さらに、式（１２）を変形すると、式（１３）が得られる。

ｖｙ＝−（Δｘ／Δｙ）ｖｘ−（Δｔ／Δｙ） ・・・（１３）

すなわち、式（１３）は、動きベクトルの成分（ｖｘ，ｖｙ）で表されるｖｘおよびｖｙを軸とする２次元平面上において、図２９で示すような直線で表される。図２９において、縦軸は、動きベクトルの成分ｖｙを表し、横軸は、動きベクトルの成分ｖｘを表す。また、直線Ｗ１は、画素の輝度が一定であるという条件を満たす画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線であるといえる。

したがって、求めたい動きベクトルｖｎの成分（ｖｘ，ｖｙ）は、直線Ｗ１上にあると考えられるが、１つの要素（直線）では、動きベクトルｖｎの成分の値は、一意に決定することができない。

そこで、勾配法演算における場合と同様に、周辺領域内の画素が、着目画素と同じ動きをすると仮定した場合を考える。図３０は、画素の輝度が一定であるという条件を満たす各画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線のそれぞれを示図すである。

図３０において、縦軸は、動きベクトルの成分ｖｙを表し、横軸は、動きベクトルの成分ｖｘを表す。また、直線Ｗ１１は、画素の輝度が一定であるという条件を満たす着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線であり、直線Ｊ１１、直線Ｊ１２、および直線Ｊ１３のそれぞれは画素の輝度が一定であるという条件を満たす周辺画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線のそれぞれである。また、領域Ｒ１１は、確からしい着目画素の動きベクトルｖｎが含まれると予想される領域である。

直線Ｗ１１、直線Ｊ１１、直線Ｊ１２、および直線Ｊ１３に対応する画素のそれぞれが、着目画素と同じ動きをすると仮定した場合、理想的には、着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）は、直線Ｗ１１、直線Ｊ１１、直線Ｊ１２、および直線Ｊ１３の交点で示される。

しかしながら、実際には、周辺画素の中には、着目画素と異なる動きをする画素も含まれる。図３１は、着目画素と異なる動きをする周辺画素を含む場合における、画素の輝度が一定であるという条件を満たす各画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線のそれぞれを示す図である。

図３１において、縦軸は、着目画素の動きベクトルの成分ｖｙを表し、横軸は、着目画素の動きベクトルの成分ｖｘを表す。また、直線Ｗ２１は、画素の輝度が一定であるという条件を満たす着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線であり、直線Ｊ２１、直線Ｊ２２、直線Ｊ２３、直線Ｊ２４、および直線Ｊ２５のそれぞれは、画素の輝度が一定であるという条件を満たす周辺画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線のそれぞれである。また、領域Ｒ２１は、確からしい着目画素の動きベクトルｖｎが含まれると予想される領域である。

図３１において、直線Ｗ２１、直線Ｊ２１、直線Ｊ２２、直線Ｊ２３、直線Ｊ２４、および直線Ｊ２５は、１点で交わらないため、求めたい動きベクトルｖｎの成分は、直線Ｗ２１、直線Ｊ２１、直線Ｊ２２、直線Ｊ２３、直線Ｊ２４、および直線Ｊ２５からの距離が最小となる点で示され、領域Ｒ２１内にあると予想される。

図３１において、直線Ｊ２１および直線Ｊ２５のそれぞれは、着目画素と異なる動きをする周辺画素に対応する直線であり、他の直線の集中を妨げていることがわかる。すなわち、勾配法の演算をする場合、演算に用いられる周辺画素の中に直線Ｊ２１および直線Ｊ２５に対応するようなノイズ要因となる画素が含まれると、確からしい着目画素の動きベクトルｖｎが含まれると予想される領域Ｒ２１が広くなってしまう。換言すれば、着目画素と異なる動きをする周辺画素を用いて、勾配法演算を行うことによって、勾配法演算によって求められる動きベクトルｖｎの演算精度が低下してしまう（より大きい誤差を含む動きベクトルが算出されてしまう）。

そこで、図３２で示されるように、あらかじめｖｘ軸およびｖｙ軸上に所定の有効範囲を設けて、各直線の切片が有効範囲内にあるか否かを基に、有効画素判定処理を行うことによって、後段の動きベクトル検出の演算精度をより向上させることができる。

図３２において、縦軸は、動きベクトルの成分ｖｙを表し、横軸は、動きベクトルの成分ｖｘを表す。また、直線Ｗ３１は、画素の輝度が一定であるという条件を満たす着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線であり、直線Ｊ３１、直線Ｊ３２、直線Ｊ３３、および直線Ｊ３４のそれぞれは、画素の輝度が一定であるという条件を満たす周辺画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線のそれぞれである。また、領域Ｒ３１は、確からしい着目画素の動きベクトルｖｎが含まれると予想される領域であり、有効範囲Ｕ３１は、ｖｘ方向における有効範囲であり、有効範囲Ｕ３２は、ｖｙ方向における有効範囲である。

例えば、図３２で示すように、周辺画素の動きベクトルの成分に対応する直線のｖｘ方向の切片が、有効範囲Ｕ３１内にあるか否か、または、周辺画素の動きベクトルの成分に対応する直線のｖｘ方向の切片が、有効範囲Ｕ３１内にあり、かつｖｙ方向の切片が、有効範囲Ｕ３２内にあるか否かなどの条件を基に、勾配法演算に使用する周辺画素を取捨選択することができる。

例えば、周辺画素の動きベクトルの成分に対応する直線Ｊ３１乃至Ｊ３３のそれぞれのｖｘ方向の切片が、有効範囲Ｕ３１内にあり、直線Ｊ３１乃至Ｊ３３のそれぞれのｖｙ方向の切片が、有効範囲Ｕ３２内にあり、周辺画素の動きベクトルの成分に対応する直線Ｊ３４のｖｘ方向の切片が、有効範囲Ｕ３１内になく、直線Ｊ３４のｖｙ方向の切片が、有効範囲Ｕ３２内にないので、直線Ｊ３１乃至Ｊ３３のそれぞれに対応する画素を勾配法演算に使用し、直線Ｊ３４に対応する画素を勾配法演算に使用しないようにすることができる。この場合、直線Ｊ３４は考慮されず、直線Ｗ３１、および直線Ｊ３１乃至直線Ｊ３３のみが考慮されるので、領域Ｒ３１がより狭くなり、より正確な動きベクトルの算出が期待できる。

このように、所定の条件を基に、着目画素と同じ動きをすると予測することができる周辺画素を選択することによって、確からしい着目画素の動きベクトルｖｎが含まれると予想される領域Ｒ３１を狭くし、後段において、より確からしい動きベクトルｖｎを検出することができる。

図３３は、周辺画素の動きベクトルの成分に対応する直線のｖｘ方向の切片およびｖｙ方向の切片が、有効範囲内にあるか否かを基に、有効画素判定を行う場合の例である。

図３３において、縦軸は、着目画素の動きベクトルの成分ｖｙを表し、横軸は、着目画素の動きベクトルの成分ｖｘを表す。また、直線Ｗ４１は、画素の輝度が一定であるという条件を満たす着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線であり、直線Ｊ４１は、画素の輝度が一定であるという条件を満たす周辺画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線である。また、有効範囲Ｕ４１は、ｖｘ方向における有効範囲であって、直線Ｗ４１のｖｘ切片を中心として設けられた有効範囲である。Ｕ４２は、ｖｙ方向における有効範囲であって、直線Ｗ４１のｖｙ切片を中心として設けられた有効範囲である。

図３３において、直線Ｊ４１のｖｘ方向の切片が、有効範囲Ｕ４１内にあり、かつ直線Ｊ４１のｖｙ方向の切片が、有効範囲Ｕ４２内にあるので、直線Ｊ４１に対応する周辺画素は、有効画素であると判断され、後段の勾配法演算に使用される。

また、着目画素が垂直方向に動く場合、着目画素が水平方向に動く場合、または着目画素が動かない場合（すなわち、少なくともｖｘまたはｖｙのいずれかが０ベクトルである場合）には、着目画素の動きベクトルの成分に対応する直線の切片のうち、ｘ方向、ｙ方向の切片、またはｘ方向の切片およびｙ方向の切片が存在しないため、例外処理が行われる。

図３４は、着目画素の動きベクトルの成分に対応する直線のｖｙ方向の切片が存在しない場合、すなわち、画像が画面の垂直方向に動く場合における、画素の輝度が一定であるという条件を満たす各画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線のそれぞれを示す図である。

図３４において、縦軸は、動きベクトルの成分ｖｙを表し、横軸は、動きベクトルの成分ｖｘを表す。また、直線Ｗ５１は、画素の輝度が一定であるという条件を満たす着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線であり、直線Ｊ５１は、画素の輝度が一定であるという条件を満たす周辺画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線である。また、有効範囲Ｕ５１は、直線Ｗ５１のｖｘ切片を中心として設けられた有効範囲である。

図３４の例においては、直線Ｗ５１のｖｙ方向の切片が存在しないため、周辺画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線のｖｘ方向の切片が有効範囲Ｕ５１内にあるか否かを基に、有効画素判定がなされる。例えば、直線Ｊ５１のｖｘ方向の切片は、有効範囲Ｕ５１内にあるから、直線Ｊ５１に対応する周辺画素は、有効画素であると判断される。

図３５は、着目画素の動きベクトルの成分に対応する直線のｖｘ方向の切片が存在しない場合、すなわち、画像が画面の水平方向に動く場合における、画素の輝度が一定であるという条件を満たす各画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線のそれぞれを示すである。

図３５において、縦軸は、動きベクトルの成分ｖｙを表し、横軸は、動きベクトルの成分ｖｘを表す。また、直線Ｗ６１は、画素の輝度が一定であるという条件を満たす着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線であり、直線Ｊ６１は、画素の輝度が一定であるという条件を満たす周辺画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線である。また、有効範囲Ｕ６１は、直線Ｗ６１のｖｙ切片を中心として設けられた有効範囲である。

図３５の例においては、直線Ｗ６１のｖｘ方向の切片が存在しないため、周辺画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる直線のｖｙ方向の切片が有効範囲Ｕ６１内にあるか否かを基に、有効画素判定がなされる。例えば、直線Ｊ６１のｖｙ方向の切片は、有効範囲Ｕ６１内にあるので、直線Ｊ６１に対応する周辺画素は、有効画素であると判断される。

図３６は、着目画素の動きベクトルの成分に対応する直線（点）のｖｘ方向およびｖｙ方向の切片が存在しない場合、すなわち、画像が動かない場合における、画素の輝度が一定であるという条件を満たす着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点を示す図である。

図３６において、縦軸は、着目画素の動きベクトルの成分ｖｙを表し、横軸は、着目画素の動きベクトルの成分ｖｘを表す。画素の輝度が一定であるという条件を満たす着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）は、０ベクトルであり、勾配法演算に用いるのに有効な周辺画素は存在しないと判断することができる。この場合、図２８のステップＳ６０３の処理において、有効画素数が閾値α以下であると判断され、ステップＳ６１１において、動きベクトルとして、０ベクトルが設定される。

このようにして、周辺画素の動きベクトルの成分に対応する直線の切片が、あらかじめ設定された有効範囲内にあるか否かを基に、勾配法演算に用いる周辺画素を取捨選択することによって、動きベクトルの検出精度をより向上させることができる。

次に、図３７のフローチャートを参照して、ステップＳ６０２に対応する有効画素判定処理の詳細を説明する。

セレクタ６０１から、有効画素判定部６０２にオフセットベクトルが入力されてから、切片位置判定部６２４は、ステップＳ６３１において、有効画素数カウンタ６２５および有効画素フラグメモリ６２６をリセットし、ステップＳ６３２に進む。すなわち、ステップＳ６３１の処理において、有効画素数カウンタ６２５には、“０”が設定され、有効画素フラグメモリ６２６の全てのフラグには、“０”が設定される。

ステップＳ６３２において、画素位置演算部６２１は、着目画素の位置を演算（算出）し、演算した着目画素の位置を勾配演算部６２２に出力する。例えば、ステップＳ６３２において、画素位置演算部６２１は、画面上の垂直方向をｙ軸とし、水平方向をｘ軸とする２次元平面上における着目画素の位置（ｘ，ｙ）を演算する。また、着目画素は、選択された着目ブロックの中心に位置する画素とすることができる。

ステップＳ６３３において、勾配演算部６２２は、オフセットベクトル、並びに、プリフィルタ１０２−１およびプリフィルタ１０２−２を介して入力される時刻ｔの画像のフレームｔ、および時刻ｔ＋１の画像のフレームｔ＋１を用いて、画素位置演算部６２１によって算出された着目画素の画素位置を基に、着目画素の画素値の勾配を演算し、演算した勾配を切片演算部６２３に出力する。

例えば、ステップＳ６３３において、勾配演算部６２２は、上述したように、着目画素の輝度および着目画素に隣接する画素の輝度を基に、着目画素のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを演算する。例えば、ステップＳ６３３において、勾配演算部６２２は、着目画素のｘ方向の勾配Δｘとして、着目画素と着目画素にｘ方向に隣接する画素との輝度の差分を演算し、ｙ方向の勾配Δｙとして、着目画素と着目画素にｙ方向に隣接する画素との輝度の差分を演算し、時間方向の勾配Δｔとして、フレームｔの着目画素と、フレームｔ＋１における着目画素に対応する位置（例えば、着目画素を始点とするオフセットベクトルで示される位置）の画素との輝度の差分を演算する。

ステップＳ６３４において、切片演算部６２３は、勾配演算部６２２によって演算された着目画素の画素値の勾配を基に、画素の輝度が一定であるという条件を満たす着目画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなる動きベクトルの成分ｖｘおよびｖｙを軸とする２次元平面上の直線のｖｘ方向の切片およびｖｙ方向の切片を演算し、演算したｖｘ方向の切片およびｖｙ方向の切片を切片位置判定部６２４に出力する。

例えば、ステップＳ６３４において、切片演算部６２３は、勾配演算部６２２によって演算された着目画素のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを基に、上述した式（１３）を用いて式（１４）で表されるｖｘ方向の（Ｘintercept）切片および式（１５）で表されるｖｙ方向の切片（Ｙintercept）を演算する。

Ｘintercept＝Δｔ／Δｘ ・・・（１４）

Ｙintercept＝Δｔ／Δｙ ・・・（１５）

ステップＳ６３５において、画素位置演算部６２１は、着目ブロックにおいて、１つの周辺画素を選択し、選択した周辺画素の位置を演算する。画素位置演算部６２１は、演算された周辺画素の位置を勾配演算部６２２に出力する。なお、例えば、周辺画素は、着目ブロックの左上の画素からラスタスキャン順に選択される。

例えば、ステップＳ６３５において、画素位置演算部６２１は、画面上の垂直方向をｙ軸とし、水平方向をｘ軸とする２次元平面上における選択された周辺画素の位置（ｘ，ｙ）を演算する。

ステップＳ６３６において、勾配演算部６２２は、オフセットベクトル、並びにプリフィルタ１０２−１およびプリフィルタ１０２−２を介して入力される、時刻ｔの画像のフレームｔおよび時刻ｔ＋１の画像のフレームｔ＋１を用いて、画素位置演算部６２１によって算出された周辺画素の画素位置を基に、周辺画素画素の画素値の勾配を演算し、演算した勾配を切片演算部６２３に出力する。

例えば、ステップＳ６３６において、勾配演算部６２２は、上述したように、選択された周辺画素の輝度および選択された周辺画素に隣接する画素の輝度を基に、着目画素のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを演算する。例えば、ステップＳ６３６において、勾配演算部６２２は、選択された周辺画素について、ｘ方向の勾配Δｘとして、周辺画素と周辺画素にｘ方向に隣接する画素との輝度の差分を演算し、ｙ方向の勾配Δｙとして、周辺画素と周辺画素にｙ方向に隣接する画素との輝度の差分を演算し、時間方向の勾配Δｔとして、フレームｔの周辺画素と、フレームｔ＋１における周辺画素に対応する位置（例えば、周辺画素を始点とするオフセットベクトルで示される位置）の画素との輝度の差分を演算する。

ステップＳ６３７において、切片演算部６２３は、勾配演算部６２２によって演算された周辺画素の画素値の勾配を基に、画素の輝度が一定であるという条件を満たす周辺画素の動きベクトルｖｎの成分（ｖｘ，ｖｙ）の組に対応する点からなるｖｘおよびｖｙを軸とする２次元平面上の直線のｖｘ方向の切片およびｖｙ方向の切片を演算し、演算したｖｘ方向の切片およびｖｙ方向の切片を切片位置判定部６２４に出力する。

例えば、ステップＳ６３７において、切片演算部６２３は、上述した式（１４）および式（１５）を用いて、勾配演算部６２２によって演算された周辺画素のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを基に、周辺画素に対応する直線のｖｘ方向の切片およびｖｙ方向の切片を演算する。

ステップＳ６３８において、切片位置判定部６２４は、切片演算部６２３によって演算された着目画素に対応する直線のｖｘ方向の切片およびｖｙ方向の切片、並びに周辺画素に対応する直線のｖｘ方向の切片およびｖｙ方向の切片を基に、ｖｘ方向における着目画素に対応する直線の切片をｖｘ方向の基準位置として、ｖｘ方向の基準位置から周辺画素に対応する直線のｖｘ方向の切片までの距離およびｖｙ方向における着目画素に対応する直線の切片をｖｙ方向の基準位置として、ｖｙ方向の基準位置から周辺画素に対応する直線のｖｙ方向の切片までの距離を演算する。

より具体的には、ステップＳ６３８において、切片位置判定部６２４は、着目画素に対応する直線のｖｘ方向の切片およびｖｙ方向の切片が存在する場合、ｖｘ方向における着目画素に対応する直線の切片をｖｘ方向の基準位置として、ｖｘ方向の基準位置から周辺画素に対応する直線のｖｘ方向の切片までの距離およびｖｙ方向における着目画素に対応する直線の切片をｖｙ方向の基準位置として、ｖｙ方向の基準位置から周辺画素に対応する直線のｖｙ方向の切片までの距離を演算する。また、切片位置判定部６２４は、着目画素に対応する直線のｖｘ方向の切片またはｖｙ方向の切片が存在しない場合、すなわち、着目画素に対応する直線の傾きが、０または無限大である（着目画素に対応する直線が、ｖｘ方向の軸またはｖｙ方向の軸に平行である）場合、切片が存在しない方向における基準位置から周辺画素に対応する直線の切片までの距離の演算を行わない。

したがって、例えば、着目画素に対応する直線のｖｘ方向の切片が存在しない（着目画素に対応する直線の傾きが、０である）場合、ステップＳ６３８において、切片位置判定部６２４は、ｖｘ方向における基準位置から周辺画素に対応する直線の切片までの距離の演算を行わない。

ステップＳ６３９において、切片位置判定部６２４は、ステップＳ６３８において演算されたｖｘ方向における基準位置から周辺画素に対応する直線の切片までの距離が、所定の閾値ηより小さく、かつｖｙ方向における基準位置から周辺画素に対応する直線の切片までの距離が、所定の閾値θより小さいか否かを判断する。

より具体的には、ステップＳ６３９において、切片位置判定部６２４は、基準となる着目画素に対応する直線のｘ方向の勾配をΔxstdとし、基準となる着目画素に対応する直線のｙ方向の勾配をΔystdとし、基準となる着目画素に対応する直線のｔ方向の勾配をΔtstdとし、周辺画素に対応する直線のｘ方向の勾配をΔxiとし、周辺画素に対応する直線のｙ方向の勾配をΔyiとし、周辺画素に対応する直線のｔ方向の勾配をΔtiとすると、着目画素に対応する直線のｖｘ切片（Δtstd／Δxstd）およびｖｙ方向の切片（Δtstd／Δystd）が共に存在する場合、各勾配Δxstd、Δystd、Δtstd、Δxi、Δyi、およびΔtiのそれぞれを式（１６）および式（１７）のそれぞれに代入して得られる結果を基に、画素位置演算部６２１によって選択された周辺画素が、後段の勾配法演算に有効な画素であるか否かを判断する。

｜（Δtstd／Δxstd）−（Δti／Δxi）｜＜η ・・・（１６）

｜（Δtstd／Δystd）−（Δti／Δyi）｜＜θ ・・・（１７）

ここで、ηおよびθは、しきい値である。例えば、ηおよびθの値は、共に５.０とすることができる。

すなわち、ステップＳ６３９において、切片位置判定部６２４は、着目画素に対応する直線のｖｘ方向の切片（Δtstd／Δxstd）およびｖｙ方向の切片（Δtstd／Δystd）が共に存在する場合、各勾配Δxstd、Δystd、Δtstd、Δxi、Δyi、およびΔtiのそれぞれを式（１６）および式（１７）に代入した結果が、式（１６）および式（１７）のそれぞれの条件を満たす場合、選択された周辺画素が、後段の勾配法演算に有効な画素であると判断し、式（１６）および式（１７）のそれぞれの条件を満たさない場合、選択された周辺画素が、後段の勾配法演算に有効な画素でないと判断することができる。

ここで、各勾配を式（１６）および式（１７）に代入した結果が、式（１６）および式（１７）のそれぞれの条件を満たすか否かを基に、有効画素の判定を行うと説明したが、式（１６）または式（１７）のいずれかの条件を満たすか否かを基に、有効画素の判定を行うようにしてもよい。

また、例えば、ステップＳ６３９において、画素位置判定部６２４は、着目画素に対応する直線のｖｘ方向における切片が存在し、かつ、ｖｙ方向における切片が存在しない（着目画素に対応する直線の傾きが、無限大である）場合、各勾配Δxstd、Δystd、Δtstd、Δxi、Δyi、およびΔtiのそれぞれを式（１６）および式（１８）のそれぞれに代入して得られる結果を基に、画素位置演算部６２１によって選択された周辺画素が、後段の勾配法演算に有効な画素であるか否かを判断する。

Δyi≠０ ・・・（１８）

すなわち、各勾配Δxstd、Δystd、Δtstd、Δxi、Δyi、およびΔtiのそれぞれが式（１６）および式（１８）のそれぞれの条件を満たす場合、選択された周辺画素が、後段の勾配法演算に有効な画素であると判断し、式（１６）および式（１８）のそれぞれの条件を満たさない場合、選択された周辺画素が、後段の勾配法演算に有効な画素でないと判断することができる。

さらに、また、例えば、ステップＳ６３９において、画素位置判定部６２４は、着目画素に対応する直線のｖｘ方向における切片が存在せず、かつ、ｖｙ方向における切片が存在する（着目画素に対応する直線の傾きが、０である）場合、各勾配Δxstd、Δystd、Δtstd、Δxi、Δyi、およびΔtiのそれぞれを式（１７）および式（１９）のそれぞれに代入して得られる結果を基に、画素位置演算部６２１によって選択された周辺画素が、後段の勾配法演算に有効な画素であるか否かを判断する。

Δxi≠０ ・・・（１９）

すなわち、各勾配Δxstd、Δystd、Δtstd、Δxi、Δyi、およびΔtiのそれぞれが式（１７）および式（１９）のそれぞれの条件を満たす場合、選択された周辺画素が、後段の勾配法演算に有効な画素であると判断し、式（１７）および式（１９）のそれぞれの条件を満たさない場合、選択された周辺画素が、後段の勾配法演算に有効な画素でないと判断することができる。

さらに、また、例えば、ステップＳ６３９において、画素位置判定部６２４は、着目画素のｖｘ方向における切片およびｖｙ方向における切片が存在しない場合、後段の勾配法演算に有効な周辺画素が存在しないと判断する。この場合、図２８のステップＳ６０３の処理において、有効画素数がしきい値α以下であると判断され、ステップＳ６１１において、動きベクトルとして０ベクトルが設定される。

ステップＳ６３９において、切片位置判定部６２４は、選択された周辺画素が、後段の勾配法演算に有効な画素であると判断した場合、ステップＳ６４０に進み、有効画素数カウンタ６２５の有効画素の数をインクリメントし、ステップＳ６４１に進む。

ステップＳ６４１において、切片位置判定部６２４は、有効画素フラグメモリ６２６の選択されている周辺画素に対応するフラグを立てる（選択されている周辺画素に対応するフラグに１を設定する）。有効画素フラグメモリ６２６には、着目ブロック内の画素のそれぞれが、勾配法演算に有効な画素であるか否かを示す有効画素情報が保持されている。有効画素情報は、例えば、着目ブロック内の１つの画素に対応する１ビットのフラグが着目ブロック内の画素の数だけ並べられた１ビットフラグのテーブルである。

したがって、例えば、６４画素からなる着目ブロックの場合、有効画素情報は、６４ビットのテーブルであり、１番目に選択された画素が有効な画素であると判断された場合、選択された画素に対応する１番目のフラグが立てられる。

また、切片位置判定部６２４は、ステップＳ６３９において、選択された周辺画素が、後段の勾配法演算に有効な画素ではないと判断した場合、ステップＳ６４０およびステップＳ６４１の処理はスキップされ、手続きは、ステップＳ６４２に進む。

切片位置判定部６２４は、ステップＳ６４２において、着目ブロック内のすべての画素の処理が終了したか否かを判断し、着目ブロック内のすべての画素の処理が終了していないと判断した場合、ステップＳ６３５に戻り、画素位置演算部６２１は、次の周辺画素を選択し、次の画素について、それ以降の処理を繰り返す。一方、画素位置判定部６２４は、ステップＳ６４２において、着目ブロック内のすべての画素の処理が終了したと判断した場合、ステップＳ６４３において、勾配演算部６０３は、有効画素フラグメモリ６２６から有効画素情報を入力し、有効画素判定処理を終了し、図２８のステップＳ６０３の処理に戻る。

以上の処理により、有効画素カウンタ数６２５には、着目ブロック内において、後段の勾配法演算において有効であると判断された画素の数が格納される。したがって、勾配法継続判断部６２７は、図２８のステップＳ６０３の処理において、この有効画素カウンタ６２５の画素の数を参照することにより、勾配法演算を行うか否かを判断することができる。

次に、図３８のフローチャートを参照して、図２８のステップＳ６０４に対応する勾配法演算処理の詳細を説明する。したがって、図３８の例においては、画素値勾配演算部６５１には、勾配法継続判定部６２７から、勾配法演算を実行させる継続フラグが入力され、有効画素フラグメモリ６２６から有効画素情報が入力される。

勾配法継続判定部６２７から、動きベクトルの演算を指示する、１である継続フラグが入力され、有効画素フラグメモリ６２６から有効画素情報が入力されてから、ステップＳ６７１において、画素値勾配演算部６５１は、有効画素フラグメモリ６２６から入力した有効画素情報を基に、着目ブロックにおいて、有効であると判断された画素を選択し、ステップＳ６７２に進む。なお、有効画素は、着目ブロックの左上の画素からラスタスキャン順に選択される。

画素値勾配演算部６５１は、ステップＳ６７２において、セレクタ６０１からのオフセットベクトル、並びに、プリフィルタ１０２−１およびプリフィルタ１０２−２を介して入力される時刻ｔの画像のフレームｔ、および時刻ｔ＋１の画像のフレームｔ＋１を用いて、選択された画素のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、およびｔ方向の勾配Δｔを演算し、演算したｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、およびｔ方向の勾配Δｔを勾配積算部６５２に出力し、ステップＳ６７３に進む。

例えば、ステップＳ６７２において、画素値勾配演算部６５１は、図１０を参照して上述したように、選択された画素の輝度および選択された画素に隣接する画素の輝度を基に、選択された画素のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、およびｔ方向の勾配Δｔを演算する。

勾配積算部６５２は、ステップＳ６７３において、画素値勾配演算部６５１によって演算されたｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、およびｔ方向の勾配Δｔを積算し、積算した勾配の積算値をベクトル演算部６５３に出力する。

例えば、ステップＳ６７３において、勾配積算部６５２は、画素値勾配演算部６５１により算出された各有効画素のｘ方向の勾配Δｘ、ｙ方向の勾配Δｙ、および時間方向の勾配Δｔを基に、上述した式（９）におけるΣΔｙ²、ΣΔｘ²、ΣΔｔΔｘ、ΣΔｘΔｙ、およびΣΔｔΔｙを算出し、算出したΣΔｙ²、ΣΔｘ²、ΣΔｔΔｘ、ΣΔｘΔｙ、およびΣΔｔΔｙの値をベクトル演算部６５３に出力する。

ステップＳ６７４において、勾配積算部６５２は、着目ブロック内のすべての有効画素の処理が終了したか否かを判断し、着目ブロック内のすべての有効画素の処理が終了していないと判断された場合、ステップＳ６７１に戻り、次の有効画素を選択し、それ以降の処理を繰り返す。一方、勾配積算部６５２は、ステップＳ６７４において、着目ブロック内のすべての有効画素の処理が終了したと判断された場合、積算された勾配の積算値およびオフセットベクトルをベクトル積算部６５３に出力し、ステップＳ６７５に進む。

ステップＳ６７５において、ベクトル演算部６５３は、画素値勾配演算部６５１から勾配の積算値およびオフセットベクトルが入力されてから、勾配積算部６５２からの勾配の積算値および上述した式（９）の最小自乗和を用いて、動きベクトルｖｎを算出し、ステップＳ６７６に進む。すなわち、ステップＳ６７５において、ベクトル演算部６５３は、ΣΔｙ²、ΣΔｘ²、ΣΔｔΔｘ、ΣΔｘΔｙ、およびΣΔｔΔｙが設定された式（９）を解くことにより、動きベクトルｖｎを算出する。

ステップＳ６７６において、ベクトル演算部６５３は、演算（算出）した動きベクトルｖｎのノルム値を、上述した式（１１）を用いて、算出する。

ステップＳ６７７において、ベクトル演算部６５３は、画素値勾配演算部６５１からのオフセットベクトルに、算出された動きベクトルｖｎを加算した、動きベクトルＶｎを求め、求めた動きベクトルＶｎをベクトル評価部１０４および遅延部６０４に出力する。また、ベクトル演算部６５３は、算出された動きベクトルｖｎのノルム値をベクトル評価部１０４に出力し、勾配法演算処理を終了し、図２８のステップＳ６０５に戻る。

以上のように、着目ブロック内の選択された画素の動きベクトルの成分に対応する直線の切片が着目画素の動きベクトルの成分に対応する直線の切片を基準として設けた所定の有効領域内にない場合、選択された画素は、動きの乱れを発生させる恐れがあるとして、動きベクトルを検出するときの勾配法の演算から除外し、勾配法演算に用いられない画素数が、所定のしきい値よりも多かった場合、勾配法演算処理の処理を打ち切り、動きベクトルＶとして０ベクトルを設定するようにしたので、より安定した勾配法演算が実行され、その結果、確からしい動きベクトルが検出され、これにより、動きベクトル検出の精度がより向上する。

なお、勾配法演算による動きベクトルの検出を、着目ブロック毎に行うと説明したが、画素単位で勾配法の演算を行ってもよい。この場合、着目画素を選択し、着目画素に対するブロックについて勾配法の演算が行われる。

また、着目ブロック内のすべての画素に検出された動きベクトルを設定すると説明したが、有効画素判定処理において、有効ではないと判断された画素に対して、動きベクトルを設定しないようにしてもよい。

次に、ベクトル割付部５４の構成の詳細について説明する。

図３９は、ベクトル割付部５４の構成を示すブロック図である。図３９に構成を示すベクトル割付部５４は、２４Ｐ信号の入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、フレームｔ上において検出された動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号の内挿フレーム上の画素に割り付ける処理を行う。

図３９の例において、時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１は、画素情報演算部７０１、評価値演算部７０２、および着目画素差分演算部７０３に入力される。

画素情報演算部７０１は、検出ベクトルメモリ５３のフレームｔ上の画素に検出された動きベクトルを、左上の画素からラスタスキャン順に取得し、取得した動きベクトルを、次の時刻のフレームｔ＋１方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出する。そして、画素情報演算部７０１は、算出された動きベクトルと内挿フレームとの交点から、内挿フレーム上において、その動きベクトルの割付対象となる画素（以下、割付対象画素と称する）を設定し、動きベクトルおよび割付対象画素の位置の情報を、ベクトル選択部７０５に出力する。また、画像情報演算部７０１は、割付対象画素と、動きベクトルで対応付けられるフレームｔの位置Ｐおよびフレームｔ＋１上の位置Ｑを算出し、算出されたフレームｔおよびフレームｔ＋１上の位置情報を、評価値演算部７０２、および着目画素差分演算部７０３に出力する。

評価値演算部７０２は、画素情報演算部７０１から、割付対象画素と、動きベクトルで対応付けられるフレームｔおよびフレームｔ＋１上の位置情報を入力すると、フレームｔの位置Ｐおよびフレームｔ＋１の位置Ｑの評価値ＤＦＤを演算するため、位置Ｐおよび位置Ｑを中心とした一定範囲のＤＦＤ演算範囲（ｍ×ｎ）をそれぞれ設定し、それらのＤＦＤ演算範囲が画枠内にあるか否かを判断する。評価値演算部７０２は、ＤＦＤ演算範囲が画枠内にあると判断した場合、このＤＦＤ演算範囲を用いて演算することにより、動きベクトルに対する割付対象画素の評価値ＤＦＤを求め、求めた評価値ＤＦＤを、ベクトル評価部７０４に出力する。

着目画素差分演算部７０３は、画素情報演算部７０１から、割付対象画素と、動きベクトルで対応付けられるフレームｔおよびフレームｔ＋１上の位置情報を入力すると、フレームｔの位置Ｐおよびフレームｔ＋１の位置Ｑを用いて、割付対象画素に対する輝度差分絶対値を求め、求めた輝度差分絶対値を、ベクトル評価部７０４に出力する。

ベクトル評価部７０４は、画素差分判断部７１１および評価値判断部７１２により構成される。画素差分判断部７１１は、着目画素差分演算部７０３から入力された割付対象画素に対する輝度差分絶対値が所定のしきい値よりも小さいか否かを判断する。評価値判断部７１２は、画素差分判断部７１１により着目画素差分演算部７０３から入力された割付対象画素に対する輝度差分絶対値が所定のしきい値よりも小さいと判断された場合に、評価値演算部７０２から入力された割付対象画素の評価値ＤＦＤが、ベクトル選択部７０５が有するＤＦＤテーブルの最小評価値より小さいか否かを判断する。そして、評価値判断部７１２は、割付対象画素の評価値ＤＦＤが、ＤＦＤテーブルの最小評価値より小さいと判断した場合に、割付対象画素が対応する動きベクトルの信頼度が高いと判断し、ベクトル選択部７０５に、割付対象画素の評価値ＤＦＤを出力する。

ベクトル選択部７０５は、内挿フレーム上の各画素における最小評価値を保持するＤＦＤテーブルを有しており、内挿フレーム上の各画素に対して、０ベクトルを割り付けた場合の評価値ＤＦＤ０を、内挿フレーム上の各画素における最小評価値としてＤＦＤテーブルに予め保持している。ベクトル選択部７０５は、ベクトル評価部７０４からの割付対象画素の評価値ＤＦＤを入力すると、画素情報演算部７０１からの割付対象画素の位置の情報に基づいて、割付フラグメモリ５６のフラグを１(true)に書き換え、割付対象画素のＤＦＤテーブルの最小評価値を、その割付対象画素の評価値ＤＦＤに書き換える。また、ベクトル選択部７０５は、画素情報演算部７０１からの割付対象画素の位置の情報に基づいて、割付ベクトルメモリ５５の割付対象画素に、画素情報演算部７０１からの動きベクトルを割り付ける。

次に、動きベクトルの画素以下精度を説明する。上述した式（１）で表されるＤＦＤ評価の演算においては、フレームｔの画素位置ｐをベクトルｖ量分ずらした先のフレームｔ＋１上の位相ｐ＋ｖは、実際には、２４ｐ信号のフレームｔ＋１上の画素位置と一致しない場合が多く、その場合の輝度値は定義されていない。したがって、画素以下精度を有する動きベクトルｖに対する評価値ＤＦＤの演算を行うためには、画素以下の位相における輝度値を何らかの方法で生成しなければならない。

これに対応して、フレームｔの画素位置ｐをベクトルｖ量分ずらした先のフレームｔ＋１上の位相ｐ＋ｖに最も近い画素の輝度値をそのまま用いる方法がある。しかしながら、この方法では、評価する動きベクトルの画素以下成分を丸めてしまうため、動きベクトルの画素以下成分を捨てていることになり、これにより求められた評価値ＤＦＤの信頼度は、低くなってしまう。

そこで、本発明においては、周辺４画素の輝度値による４点補間処理を用いている。図４０は、本発明の４点補間処理の概念を示す図である。図４０においては、矢印Ｘが、フレームｔ＋１における水平方向を示しており、矢印Ｙが、フレームｔ＋１における垂直方向を示している。このフレームｔ＋１において、白丸は、フレームｔ＋１上の画素位置を表しており、黒点は、画素以下の位置を表している。また、フレームｔ＋１上における最左上の黒点ｐ＋ｖとその周辺４画素は、ウインドウＥに拡大して示されている。ウインドウＥにおいて、白丸内のアルファベットは、周辺４画素の輝度値を示している。

このフレームｔ＋１における最左上の黒点ｐ＋ｖが、フレームｔの画素位置ｐをベクトルｖ量分ずらした先の位相ｐ＋ｖとすると、位相ｐ＋ｖの輝度値Ｆ_t+1（ｐ＋ｖ）は、位相ｐ＋ｖの水平方向の画素以下成分αおよび垂直方向の画素以下成分β、並びに、位相ｐ＋ｖの周辺４画素の輝度値Ｌ０乃至Ｌ４を用いて、周辺４画素の距離の逆比の和で求められる。すなわち、輝度値Ｆ_t+1（ｐ＋ｖ）は、次の式（２０）で表される。

Ｆ_t+1（ｐ＋ｖ） ＝ （１―α）（１−β）Ｌ０＋α（１−β）Ｌ１
＋（１−α）βＬ２＋αβＬ３ ・・・（２０）

以上のように、４点補間処理により求められる輝度値Ｆ_t+1（ｐ＋ｖ）を用いて、ＤＦＤ評価の演算を行うことにより、ハードウェア実装上のコストを引き上げることなく、評価値ＤＦＤの信頼度の低下を抑制することができる。なお、以下においては、ベクトル割付の際の評価値ＤＦＤや輝度差分絶対値などの演算において、この４点補間を適用した例を説明するが、もちろん、上述した初期ベクトル選択処理やベクトル検出処理、または、後述する割付補償処理などのベクトルを評価する場合の評価値ＤＦＤの演算においても、この４点補間は適用される。

次に、ベクトル割付処理の概念を説明する。例えば、２４Ｐ信号上でオブジェクトが速度ｖで動いており、任意の２フレーム間で、このオブジェクトの動きについて等速仮定が成り立つと仮定した場合に、２４Ｐ信号のフレーム間に、新しくフレームを内挿することを考える。この場合、２４Ｐ信号のオブジェクトから動きベクトルｖを延ばすと、動きベクトルｖと内挿フレームとの交点は、同じオブジェクトであり、同じ速度ｖを有する。

したがって、ベクトル検出部５３で検出された２４Ｐ信号のフレーム（以下、内挿フレームに対して、元フレームとも称する）の動きベクトルを、その動きベクトルと、内挿する６０Ｐ信号の内挿フレーム上との交点に割り付けることで、内挿フレーム上の各画素の動きを求めることができる。また、逆に、割り付けられた動きベクトルから、内挿フレーム上の画素が２４Ｐ信号フレーム上でどの位置から動いたものなのかを求めることができる。

図４１は、２４Ｐ信号の元フレームで検出された動きベクトルと、６０Ｐ信号の内挿フレーム上の画素の例を１次元で示している。図４１の例においては、２つの２４Ｐ信号の時刻ｔのフレームｔおよび時刻ｔ＋１のフレームｔ＋１の間に、例えば、時刻ｔ＋０．４の内挿フレームＦ１、および時刻ｔ＋０．８の内挿フレームＦ２が２つ挿入されている。なお、この内挿フレームの位置は、上述したように、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に、６０Ｐ信号のフレームが置かれることから、信号処理装置１において予め設定されている。

各フレーム上の丸は、各画素を示している。前段のベクトル検出部５２によりフレームｔにおいて検出された動きベクトルｖ１、ｖ２、およびｖ３が、フレームｔ＋１方向に延ばされている。これらの動きベクトルを内挿フレームＦ１およびＦ２の各画素に割り付ける場合、内挿フレーム上の各画素の近傍を通る動きベクトルは、その画素に割り付けられる候補ベクトル（以下、割付候補ベクトルとも称する）とされる。

したがって、フレームｔの左側の画素から、フレームｔ＋１の左から４，５番目の画素近傍への動きベクトルｖ１は、内挿フレームＦ１上の左から２番目と３番目の画素の間、内挿フレームＦ２上の左から３番目と４番目の画素の間を通っている。したがって、動きベクトルｖ１は、動きベクトルｖ１が内挿フレームＦ１およびＦ２を交差する点の近傍Ｎ１に含まれる画素（内挿フレームＦ１の左から２番目と３番目の画素および内挿フレームＦ２の左から３番目と４番目の画素）に割り付けられる割付候補ベクトルとなる。

また、フレームｔの左から３番目の画素から、フレームｔ＋１の左から２，３番目の画素近傍への動きベクトルｖ２は、内挿フレームＦ１上の左から２番目と３番目の画素の間、内挿フレームＦ２上の左から２番目と３番目の画素の間を通っている。したがって、動きベクトルｖ２は、動きベクトルｖ２が内挿フレームＦ１およびＦ２を交差する点の近傍領域Ｎ２に含まれる画素（内挿フレームＦ１の左から２番目と３番目の画素および内挿フレームＦ２の左から２番目と３番目の画素）に割り付けられる割付候補ベクトルとなる。

さらに、フレームｔの左から５番目の画素から、フレームｔ＋１の左から４，５番目の画素近傍への動きベクトルｖ３は、内挿フレームＦ１上の左から４番目と５番目の画素の間、内挿フレームＦ２上の左から４番目と５番目の画素の間を通っている。したがって、動きベクトルｖ３は、動きベクトルｖ３が内挿フレームＦ１およびＦ２を交差する点の近傍領域Ｎ３に含まれる画素（内挿フレームＦ１の左から４番目と５番目の画素および内挿フレームＦ２の左から４番目と５番目の画素）に割り付けられる割付候補ベクトルとなる。

すなわち、内挿フレームＦ２の左から２番目の画素の割付候補ベクトルは、動きベクトルｖ２であり、内挿フレームＦ１上の左から２番目および３番目の画素、並びに内挿フレームＦ２の左から３番目の画素の割付候補ベクトルは、動きベクトルｖ１およびｖ２である。また、内挿フレームＦ２の左から４番目の画素の割付候補ベクトルは、動きベクトルｖ１およびｖ３であり、内挿フレームＦ１上の左から４番目および５番目の画素、並びに内挿フレームＦ２の左から５番目の画素の割付候補ベクトルは、動きベクトルｖ３である。

以上のように、元フレームにおいて検出された動きベクトルの中から、内挿フレーム上の各画素に割り付けられる割付候補ベクトルが求められる。なお、内挿フレームＦ１およびＦ２の左端の画素および右端の画素（図中黒丸）においては、近傍を通る動きベクトルは、示されていない。すなわち、内挿フレームＦ１およびＦ２の左端の画素および右端の画素には、割り付けられる割付候補ベクトルが存在しない。したがって、これらの画素については、後述する後段の割付補償部５７において割付補償処理が実行される。

さらに、図４２を参照して、元フレームで検出された動きベクトルと、６０Ｐ信号の内挿フレーム上の画素について詳しく説明する。図４２の例において、矢印Ｔは、図中、左前の時刻ｔのフレームｔから、右奥の時刻ｔ＋１のフレームｔ＋１への時間の経過方向を示している。また、時刻ｔと時刻ｔ＋１の間の時刻ｔ＋ｐｏｓ_tに内挿フレームＦ１が置かれている。

図４２の例の場合、フレームｔ上の画素（ｘ_a，ｙ_a）で検出された動きベクトルｖ_a（ｘ_va，ｙ_va）をフレームｔ＋１方向に延ばし、内挿フレームＦ１との交点（ｘ_ia，ｙ_ia）を演算する。交点は、２４Ｐ信号のフレームｔ上の動きベクトルｖ_aの端点にあたる画素が移動した点であると考えられるので、具体的には、式（２１）および式（２２）のように表される。

ｘ_ia ＝ ｘ_a＋ｐｏｓ_tｘ_va ・・・（２１）
ｙ_ia ＝ ｙ_a＋ｐｏｓ_tｙ_va ・・・（２２）

ここで、上述したように、動きベクトルｖ_aが画素以下精度を有する場合には、動きベクトルｖ_aの交点と、内挿フレームＦ１上の画素位置は、一致するとは限らない。一致しない場合、図４２に示されるように、動きベクトルｖ_aは、内挿フレームＦ１上の交点の近傍４画素Ｇ１乃至Ｇ４に対して割り付けられる。すなわち、動きベクトルｖ_aは、近傍の各画素Ｇ１乃至Ｇ４上にシフト（平行移動）されて、それぞれの画素に対して割り付けられる割付候補ベクトルとされ、割付補償処理が実行される。

なお、このように、１つの動きベクトルが、近傍４画素に対して割り付けられる候補となることもあるため、画素によっては、複数の動きベクトルが割付候補ベクトルとされる。この場合、ベクトル割付部５４は、各動きベクトルについて、内挿フレーム上の画素と、その動きベクトルで対応付けられる元フレーム上の交点を算出し、その交点を用いて、各動きベクトルを評価することにより、最終的に、内挿フレーム上の画素に、割り付ける動きベクトルを決定する。

図４３を参照して、ベクトル割付部５４における動きベクトルの評価について説明する。図４３は、下から、図４２の時刻ｔのフレームｔ、時刻ｔ＋ｐｏｓ_tの内挿フレームＦ１、および、時刻ｔ＋１のフレームｔ＋１を、１次元的に示している。

図４３の例において、動きベクトルｓｖ_aは、フレームｔ上の画素（ｘ_a，ｙ_a）において検出された動きベクトルｖ_aが、近傍の画素Ｇ４の割付候補ベクトルとして、画素Ｇ４上にシフト（平行移動）されたものである。ここで、画素Ｇ４上にシフトされた動きベクトルｓｖ_aと、フレームｔおよびフレームｔ＋１との交点を、それぞれ点Ｐおよび点Ｑとする。

ベクトル割付部５４は、動きベクトルｓｖ_aの第１の評価として、まず、点Ｐおよび点Ｑを中心としたＤＦＤ演算範囲をそれぞれ求め、求めたＤＦＤ演算範囲が画枠をはみ出してしまうか否かを判断する。したがって、点Ｐおよび点Ｑを中心としたＤＦＤ演算範囲が画枠をはみ出てしまった場合には、動きベクトルｓｖ_aは、候補から除外される。

また、この点Ｐおよび点Ｑが、例えば、異なるオブジェクトに属する場合、点Ｐの輝度値Ｆ_t（Ｐ）と、点Ｑの輝度値Ｆ_t+1（Ｑ）の差は、大きくなってしまう。したがって、ベクトル割付部５４は、動きベクトルｓｖ_aの第２の評価として、点Ｐと点Ｑを用いて、画素Ｇ４における輝度差分絶対値ｄｐを求め、輝度差分絶対値ｄｐが所定の値より大きいか否かを判断する。輝度差分絶対値ｄｐが所定の値より大きいと判断された場合には、画素Ｇ４における動きベクトルｓｖ_aの信頼度が低いとされ、動きベクトルｓｖ_aは、候補から除外される。なお、輝度差分絶対値ｄｐは、次の式（２３）で表される。

ｄｐ ＝ ｜Ｆ_t（Ｐ）― Ｆ_t+1（Ｑ）｜ ・・・（２３）

そして、動きベクトルｓｖ_aの第３の評価として、ベクトル割付部５４は、点Ｐおよび点Ｑを中心としたＤＦＤ演算範囲の相関値を表す差分絶対値による評価判断を行う。すなわち、ベクトル割付部５４は、点Ｐおよび点Ｑを中心としたＤＦＤ演算範囲を用いて、画素Ｇ４における動きベクトルｓｖ_aの評価値ＤＦＤ（差分絶対値）を求め、求められた評価値ＤＦＤがＤＦＤテーブルの最小評価値よりも小さいか否かを判断する。以上の評価の結果、ベクトル割付部５４は、求められた評価値ＤＦＤの中で最小の評価値ＤＦＤを有する動きベクトルを、画素Ｇ４に割り付ける。

以上のように、内挿フレームの画素における割付候補の動きベクトルを、割付対象画素の評価値ＤＦＤだけでなく、割付対象画素における輝度差分絶対値を用いて評価するようにしたので、従来の評価値ＤＦＤを用いるだけの場合よりも、確からしい動きベクトルを、割付対象画素に割り付けることができる。この結果、ベクトル割付の精度が向上する。

なお、上述したように内挿フレームの画素における割付候補の動きベクトルを評価するためには、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が用いられるが、輝度差分絶対値ｄｐおよび評価値ＤＦＤを求める際に、割付候補の動きベクトルは、内挿フレームの画素位置を基準に延長するため、動きベクトルと元フレーム上の交点は、元フレームの画素位置と一致しないことがあり、このままでは画素値を求めることができない。このような場合に、図４０を参照して上述した４点補間処理が実行される。

図４４は、ベクトル割付処理における４点補間の例を示している。図４４において、図４２および図４３における場合と対応する部分には対応する符号を付してあり、その説明は繰り返しになるので省略する。

図４４の例においては、割付候補の動きベクトルｓｖ_aは、内挿フレームＦ１の画素位置Ｇ４を基準に延長されているため、動きベクトルｓｖ_aとフレームｔとの交点Ｐは、フレームｔ上の画素位置（フレームｔ上の白丸）と一致しておらず、また、動きベクトルｓｖ_aとフレームｔ＋１との交点Ｑも、フレームｔ＋１上の画素位置（フレームｔ上の白丸）と一致していない。したがって、フレームｔおよびフレームｔ＋１においては、それぞれ交点Ｐおよび交点Ｑを中心とした近傍Ｅの４画素（フレームｔおよびフレームｔ＋１上の白丸）を用いて、上述した４点補間演算が行なわれ、交点Ｐおよび交点Ｑの画素値が求められる。

このように、本発明のベクトル割付処理においては、４点補間処理により求められる交点Ｐおよび交点Ｑの画素値が用いられて、輝度差分絶対値ｄｐおよび評価値ＤＦＤが演算されるので、従来の画素以下成分を丸めてしまう方法よりも、輝度差分絶対値ｄｐや評価値ＤＦＤを精度よく求めることができる。

次に、図４５のフローチャートを参照して、ベクトル割付処理の詳細を説明する。２４Ｐ信号の元フレームである、時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１は、画素情報演算部７０１、評価値演算部７０２、および着目画素差分演算部７０３に入力される。

画素情報演算部７０１は、新しい元フレームが入力されると、ベクトル選択部７０５を制御し、ステップＳ７０１において、割付フラグメモリ５６の割付フラグを０(False)で初期化させ、ステップＳ７０２に進み、割付ベクトルメモリ５５を０ベクトルで初期化させ、ステップＳ７０３に進む。これにより、結果的に、動きベクトルが割り付けられない画素に、０ベクトルが割り付けられる。

また、画素情報演算部７０１は、ステップＳ７０３において、評価値演算部７０２を制御し、内挿フレーム上のすべての画素に対して、０ベクトルを用いて評価値ＤＦＤ０を算出させ、ベクトル選択部７０５を制御し、評価値演算部７０２により算出された０ベクトルの評価値ＤＦＤ０を、内挿フレームの各画素に対する最小評価値としてＤＦＤテーブルに記憶させ、ステップＳ７０４に進む。すなわち、ステップＳ７０３において、評価値演算部７０２は、内挿フレームすべての画素に対して、０ベクトルを用いて評価値ＤＦＤ０を算出し、算出した評価値ＤＦＤ０を、ベクトル評価部７０４を介して、ベクトル選択部７０５に出力する。そして、ベクトル選択部７０５は、ベクトル評価部７０４を介して入力された評価値ＤＦＤ０を、ＤＦＤテーブルの対応する画素の最小評価値として記憶する。

画素情報演算部７０１は、ステップＳ７０４において、検出ベクトルメモリ５３上の元フレームから画素を選択し、ステップＳ７０５に進む。なお、この場合、フレームの左上からラスタスキャン順に画素が選択される。

画素情報演算部７０１は、ステップＳ７０５において、画素位置演算処理を実行し、ステップＳ７０６に進む。この画素位置演算処理の詳細は、図４６を参照して後述するが、この画素位置演算処理により、ステップＳ７０４において選択された画素において検出された動きベクトルが割り付けられる対象となる内挿フレーム上の割付対象画素が算出され、算出された割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が算出される。

画素情報演算部７０１は、ステップＳ７０６において、算出された割付対象画素を選択し、選択した割付対象画素と、その動きベクトルを、ベクトル選択部７０５に出力し、ステップＳ７０７に進む。このとき、同時に、画素情報演算部７０１は、選択した割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置の情報を、評価値演算部７０２および着目画素演算部７０３に出力する。なお、ステップＳ７０６において、画素情報演算部７０１は、割付対象画素が複数存在する場合には、左上の画素から選択する。

ステップＳ７０７において、画素情報演算部７０１は、選択された割付対象画素に関して、割付ベクトル評価処理を実行し、ステップＳ７０８に進む。この割付ベクトル評価処理の詳細は、図４７を参照して後述するが、この割付ベクトル評価処理により、割付対象画素における動きベクトルの評価値ＤＦＤおよび輝度差分絶対値が求められ、割付対象画素における動きベクトルの信頼度が判断され、これらの判断の結果、信頼度が高いとされた動きベクトルで、割付ベクトルメモリ５５の動きベクトルが書き換えられる。

画素情報演算部７０１は、ステップＳ７０８において、すべての割付対象画素の処理が終了したか否かを判断し、まだ、すべての割付対象画素の処理が終了していないと判断した場合には、ステップＳ７０６に戻り、次の割付対象画素を選択し、それ以降の処理を繰り返す。

ステップＳ７０８において、すべての割付対象画素の処理が終了したと判断された場合、画素情報演算部７０１は、ステップＳ７０９において、検出ベクトルメモリ５３上の元フレームのすべての画素の処理を終了したか否かを判断する。画素情報演算部７０１は、ステップＳ７０９において、検出ベクトルメモリ５３上の元フレームのすべての画素の処理を終了していないと判断した場合、ステップＳ７０４に戻り、検出ベクトルメモリ５３上の元フレームの次の画素を選択し、それ以降の処理を繰り返す。また、画素情報演算部７０１は、ステップＳ７０９において、検出ベクトルメモリ５３のすべての画素についての処理を終了したと判断した場合、ベクトル割付処理を終了する。

次に、図４６のフローチャートを参照して、画素位置演算処理の詳細を説明する。なお、図４６は、図４５のステップＳ７０５の画素位置演算処理の例を示している。

ステップＳ７２１において、画素情報演算部７０１は、ステップＳ７０４の処理により選択された画素で検出された動きベクトルを、検出メモリベクトル５３から取得し、ステップＳ７２２に進む。なお、選択された画素の動きベクトルが０ベクトルである場合、割付ベクトルメモリ５５には、初期値として０ベクトルが予め記憶されているので、以降のステップＳ７２２乃至Ｓ７２４、および、図４５のステップＳ７０６乃至Ｓ７０８の処理はスキップされ、処理は、ステップＳ７０９に進む。

画素情報演算部７０１は、ステップＳ７２２において、取得された動きベクトルと内挿フレームの交点を算出する。すなわち、画素情報演算部７０１は、取得した動きベクトルを、次フレームｔ＋１方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出し、ステップＳ７２３に進む。

画素情報演算部７０１は、ステップＳ７２３において、動きベクトルと内挿フレームから算出された交点から、割付対象画素を設定し、ステップＳ７２４に進む。このとき、画素情報演算部７０１は、交点が内挿フレーム上の画素位置に一致する場合には、交点を、割付対象画素に設定する。一方、画素情報演算部７０１は、交点が内挿フレーム上の画素位置に一致しない場合には、上述したように、内挿フレーム上の交点の近傍４画素を、割付対象画素に設定する。

ステップＳ７２４において、画素情報演算部７０１は、評価値演算部７０２および着目画素差分演算部７０３が評価値ＤＦＤおよび輝度差分絶対値を求める上で必要である、各割付対象画素を基準に、取得された動きベクトルで対応付けた元フレーム上の位置を算出する。具体的には、画素情報演算部７０１は、ステップＳ７２４において、取得された動きベクトルを、設定された割付対象画素にシフト（平行移動）し、シフトされた動きベクトルと、元フレーム上の交点の位置を求め、画素位置演算処理を終了し、図４４のステップＳ７０６に戻る。

次に、図４７のフローチャートを参照して、割付ベクトル評価処理の詳細を説明する。なお、図４７は、図４５のステップＳ７０７の割付ベクトル評価処理の例を示している。

図４５のステップＳ７０６において、画素情報演算部７０１により、選択した割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が求められ、求められた元フレーム上の位置の情報が、評価値演算部７０２および着目画素差分演算部７０３に入力される。

評価値演算部７０２は、画素情報演算部７０１から、元フレーム上の位置の情報が入力されると、ステップＳ７４１において、割付対象画素における動きベクトルの評価値ＤＦＤを求めるために、フレームｔおよびフレームｔ＋１上の位置を中心としたＤＦＤ演算範囲（ｍ×ｎ）をそれぞれ求め、ステップＳ７４２に進み、求められたＤＦＤ演算範囲が画枠内にあるか否かを判断する。評価値演算部７０２は、ステップＳ７４２において、ＤＦＤ演算範囲が画枠からはみ出していると判断した場合、その動きベクトルは、割付対象画素に割り付ける割付候補ベクトルにはならないと判断し、ステップＳ７４３乃至Ｓ７４９の処理をスキップし、割付ベクトル評価処理を終了し、図４５のステップＳ７０８に戻る。

評価値演算部７０２は、ステップＳ７４２において、求められたＤＦＤ演算範囲が画枠内にあると判断した場合、ステップＳ７４３に進み、画枠内にあると判断されたＤＦＤ演算範囲を用いて、割付対象画素の評価値ＤＦＤを演算し、求められた評価値ＤＦＤを、評価値判断部７１２に出力し、ステップＳ７４４に進む。なお、このとき、元フレーム上の位置が画素以下であった場合には、上述した４点補間を用いて、元フレーム上の交点の輝度値を求めることにより、割付対象画素の評価値ＤＦＤが演算される。

一方、着目画素差分演算部７０３は、画素情報演算部７０１から、元フレーム上の位置の情報が入力されると、ステップＳ７４４において、割付対象画素における輝度差分絶対値ｄｐを求め、求められた輝度差分絶対値ｄｐを、画素差分判断部７１１に出力し、ステップＳ７４５に進む。なお、このときも、元フレーム上の位置が画素以下であった場合には、着目画素差分演算部７０３は、上述した４点補間を用いて、元フレーム上の交点の輝度値を求めることにより、割付対象画素における輝度差分絶対値ｄｐを演算する。

画素差分判断部７１１は、ステップＳ７４５において、着目画素差分演算部７０３からの割付対象画素の輝度差分絶対値ｄｐが、所定のしきい値以下であるか否かを判断し、割付対象画素の輝度差分絶対値ｄｐが、所定のしきい値より大きいと判断した場合、フレームｔおよびフレームｔ＋１の交点がそれぞれ異なるオブジェクトに属する可能性が高いと判断し、すなわち、その動きベクトルは、割付対象画素における信頼度が低く、割付対象画素に割り付ける割付候補ベクトルにはならないと判断し、ステップＳ７４６乃至Ｓ７４９の処理をスキップし、割付ベクトル評価処理を終了し、図４５のステップＳ７０８に戻る。

画素差分判断部７１１は、ステップＳ７４５において、割付対象画素の輝度差分絶対値ｄｐが、所定のしきい値以下であると判断した場合、ステップＳ７４６に進む。評価値判断部７１２は、ステップＳ７４６において、ベクトル選択部７０５のＤＦＤテーブルを参照し、評価値演算部７０２からの割付対象画素の評価値ＤＦＤが、ＤＦＤテーブルに記憶されている割付対象画素の最小評価値（いまの場合、０ベクトルの評価値ＤＦＤ０）よりも小さいか否かを判断し、評価値演算部７０２からの割付対象画素の評価値ＤＦＤが、ＤＦＤテーブルに記憶されている割付対象画素の最小評価値以上であると判断した場合、その動きベクトルは、割付対象画素において、信頼度が高くないと判断し、ステップＳ７４７乃至Ｓ７４９の処理をスキップし、割付ベクトル評価処理を終了し、図４５のステップＳ７０８に戻る。

一方、評価値判断部７１２は、ステップＳ７４６において、評価値演算部７０２からの割付対象画素の評価値ＤＦＤが、ＤＦＤテーブルに記憶されている割付対象画素の最小評価値よりも小さいと判断した場合、その動きベクトルは、割付対象画素において、いままで比較した動きベクトルの中で最も、評価値ＤＦＤに基づく信頼度が高いと判断し、信頼度が高いと判断された割付対象画素の評価値ＤＦＤを、ベクトル選択部７０５に出力し、ステップＳ７４７に進む。

ベクトル選択部７０５は、評価値判断部７１２からの割付対象画素の評価値ＤＦＤを入力すると、ステップＳ７４７において、割付フラグメモリ５６の割付対象画素の割付フラグを１(True)に書き換え、ステップＳ７４８に進み、ＤＦＤテーブルの割付対象画素が対応する最小評価値を、評価値判断部７１２により信頼度が高いと判断された評価値ＤＦＤに書き換え、ステップＳ７４９に進む。

ベクトル選択部７０５には、ステップＳ７０６において、画素情報演算部７０１から選択した割付対象画素とその動きベクトルが入力されている。したがって、ベクトル選択部７０５は、ステップＳ７４９において、割付ベクトルメモリ５５の割付対象画素に割り付けられている動きベクトルを、信頼度が高いと判断された評価値ＤＦＤに対応する動きベクトルで書き換え、割付ベクトル評価処理を終了し、図４５のステップＳ７０８に戻る。

以上のように、内挿フレームの割付対象画素に割り付けられる動きベクトルを選ぶときに、評価値ＤＦＤだけでなく、割付対象画素を基準に動きベクトルで対応付けた元フレーム上の位置に基づいて求められる、割付対象画素の輝度差分絶対値を別扱いにし、評価するようにしたので、従来の評価値ＤＦＤを用いるだけの場合よりも、割付候補ベクトルの中から、最も確からしい動きベクトルを選んで、割付対象画素に割り付けることができる。これにより、ベクトル割付の精度が向上し、後段の画像補間処理において生成される画像の不連続性などを抑制することができ、画像の品質を向上させることができる。

さらに、評価値ＤＦＤや輝度差分絶対値を求める際などに、画素以下位置の画素値が必要な場合に、その画素以下位置の近傍４画素との距離を基にした線形補間で値を求めるようにしたので、画素以下位置精度の処理が可能になり、さらに、従来の画素以下成分を丸めてしまう方法よりも、輝度差分絶対値ｄｐや評価値ＤＦＤを精度よく求めることができ、これにより、割付候補ベクトルの中から、着目画素により確からしい動きベクトルを割り付けることができる。すなわち、ベクトル割付処理の精度が向上する。

また、０ベクトルによる評価値ＤＦＤを初期値として、ＤＦＤテーブルに予め保持しておき、動きベクトルを順次処理している間に、ある動きベクトルによる評価値ＤＦＤがその時点で最小評価値となった場合に、ＤＦＤテーブルの最小評価値と、割付ベクトルメモリ５５に割り付けられている動きベクトルを、随時更新するようにしたので、時間とリソースを効率的に使用することができる。

次に、割付補償部５７の構成の詳細について説明する。

図４８は、割付補償部５７の構成を示すブロック図である。図４８に構成を示す割付補償部５７は、割付ベクトル判定部８０１およびベクトル補償部８０２により構成され、ベクトル割付部５４により動きベクトルが割り付けられなかった６０Ｐ信号の内挿フレーム上の画素に、その周辺画素の動きベクトルを補って割り付ける処理を行う。

前段のベクトル割付部５４により、割付ベクトルメモリ５５上の内挿フレームの画素には動きベクトルが割り付けられている。また、ベクトル割付部５４により動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグには、１(True)が書き込まれており、動きベクトルが割り付けられなかった画素の割付フラグメモリ５６の割付フラグには、０(False)が書き込まれている。

割付ベクトル判定部８０１は、割付フラグメモリ５６の割付フラグを参照し、着目画素に、ベクトル割付部５４により動きベクトルが割り付けられているか否かを判定する。そして、割付ベクトル判定部８０１は、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素を選択し、選択した着目画素に対して、ベクトル補償部８０２を制御し、その着目画素の周辺画素の動きベクトルを選択して、割付ベクトルメモリ５５の内挿フレーム上に割り付けさせる。

ベクトル補償部８０２は、割付ベクトルメモリ５５から、着目画素の周辺画素に割り付けられている動きベクトルを取得し、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、取得した動きベクトルの評価値ＤＦＤを求めて比較することにより、着目画素の周辺画素に割り付けられた動きベクトルのうち、評価値ＤＦＤに基づく、最も信頼度が高い動きベクトルを、割付ベクトルメモリ５５の着目画素に割り付ける。また、ベクトル補償部８０２は、動きベクトルが割り付けられた着目画素の割付フラグを１(True)に書き換える。

図４９は、ベクトル補償部８０２の構成を示すブロック図である。図４９に構成を示すベクトル補償部８０２は、補償処理部８１１および評価値演算部８１２により構成される。

補償処理部８１１は、最小評価値ＤＦＤと、最小評価値ＤＦＤの動きベクトルを候補ベクトル（以下、補償候補ベクトルとも称する）として記憶するメモリ８２１を有しており、割付ベクトル判定部８０１により選択された着目画素の初期値として、０ベクトルの評価値ＤＦＤを最小評価値としてメモリ８２１に記憶し、０ベクトルを、補償候補ベクトルとしてメモリ８２１に記憶する。補償処理部８１１は、割付フラグメモリ５６を参照して、着目画素の周辺画素の動きベクトルの有無を判断し、割付ベクトルメモリ５５から、周辺画素に割り付けられている動きベクトルを取得し、評価値演算部８１２を制御し、その動きベクトルの評価値ＤＦＤを演算させる。

また、補償処理部８１１は、評価値演算部８１２により演算された評価値ＤＦＤがメモリ８２１に記憶されている最小評価値よりも小さいか否かを判断し、演算された評価値ＤＦＤが最小評価値よりも小さいと判断した場合、メモリ８２１の補償候補ベクトルと最小評価値を、演算された評価値ＤＦＤとその動きベクトルに書き換え、最終的に、評価値ＤＦＤが最も小さいと判断された周辺画素の動きベクトル（補償候補ベクトル）を、着目画素の動きベクトルとして、割付ベクトルメモリ５５の着目画素に割り付ける。さらに、補償処理部８１１は、動きベクトルが割り付けられた着目画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。

評価値演算部８１２は、割付ベクトルメモリ５５から周辺画素の動きベクトルを取得すると、入力される時刻ｔの２４Ｐ信号の画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、割付ベクトルメモリ５５からの動きベクトルの評価値ＤＦＤを演算し、演算した評価値ＤＦＤを補償処理部８１１に出力する。

図５０は、割付補償処理の原理を説明する図である。図５０の例においては、内挿フレーム上の各画素が示されている。画素から出力される矢印は、各画素に割り付けられている動きベクトルを表しており、矢印がない画素は、動きベクトルが割り付けられていない画素を表している。

ここで、前段のベクトル割付部５４により動きベクトルの割り付けられなかった中央の着目画素Ｐに対して、着目画素Ｐの近傍の周辺画素に割り付けられている動きベクトルの中から、評価値ＤＦＤに基づく、信頼度が高いものを選択して割り付ける。図５０の例の場合、着目画素Ｐには、着目画素Ｐの上の画素の動きベクトル（太線矢印）が選択され、割り付けられている。これは、次に説明する動き相関に基づいて実行される処理である。

図５１は、動き相関の原理について説明する図である。図５１の例においては、あるフレーム上を動きｖ１で動くオブジェクトＯ１と、動きｖ２で動くオブジェクトＯ２が示されている。オブジェクトＯ１に属している着目画素Ｐ１とその近傍Ｋ１は、オブジェクトＯ１とほぼ同一動きｖ１を有している。また、オブジェクトＯ２に属している着目画素Ｐ２とその近傍Ｋ２は、オブジェクトＯ２とほぼ同じ動きｖ２を有している。

このように、動き相関とは、ある同じ時間における空間内（同一フレーム内）において、あるオブジェクトに属する画素の動きは、ほぼ同一動きをしていることが多いということを表すものである。したがって、動きベクトルを割り付けることができなかった画素に対しては、ある同じ時間における空間内（同一フレーム内）において、このような動き相関があることを利用して、周辺画素の動きベクトルから、その画素の対応する動きベクトルを選択することができる。なお、説明は省略するが、時間方向の相関も同様である。

次に、図５２乃至図５８を参照して、動き相関に基づいて実行される動きベクトルの補償処理について説明する。すなわち、周辺画素の動きベクトルから、動きベクトルを選択し、着目画素の動きベクトルとして補う処理である。図５２の例においては、白丸は、内挿フレーム上の画素を表しており、動きベクトルを求めようとしている着目画素Ｐの周辺に、周辺８画素が示されている。この着目画素Ｐの動きベクトルは、この周辺８画素の動きベクトルを参照して求められる。

図５３の例においては、着目画素Ｐの周辺８画素の中で、左上画素、右上画素、および、右下画素（黒丸）に、前段の処理（例えば、上述したベクトル割付処理）などにより求められた動きベクトル（矢印）が示されている。すなわち、この場合の着目画素Ｐの補償候補ベクトルは、左上画素、右上画素、および、右下画素の動きベクトルとされる。なお、フレーム上において、動きベクトルは、フレーム上の左上の画素からラスタスキャン順に求められていくため、周辺８画素のうち、まだ動きベクトルの求められていない画素も存在する可能性もあるが、まだ動きベクトルは求められていないため、補償候補ベクトルにはできない。

ここで、図５４の例に示されるように、周辺８画素の中には、前段の処理において求められた動きベクトルを有する画素（黒丸）の他に、本処理により求められた動きベクトルを有する画素（ハッチングされた丸）も存在する。すなわち、本処理においては、本処理自体の前段の結果も利用される。したがって、図５４の例の場合の着目画素Ｐの補償候補ベクトルは、動きベクトルがすでに存在する画素（黒丸）の動きベクトルと、前段の本処理により求められた動きベクトルを有する画素（ハッチングされた丸）の動きベクトルにより構成されている。

また、図５５の例に示されるように、動き量を０とした０ベクトル（静止ベクトル）Ｓ０も補償候補ベクトルとして利用することができる。なお、図５４の例においては、本処理により求められた動きベクトルを有する画素と、動きベクトルがすでに存在する画素を別々に表したが、どちらも動きベクトルを有するという点で同じであるので、図５５乃至図５８においては、本処理により求められた動きベクトルを有する画素も、動きベクトルがすでに存在する画素（黒丸）に含まれることとする。したがって、図５５の例の場合、着目画素Ｐの補償候補ベクトルは、動きベクトルがすでに存在する画素（黒丸）の動きベクトルおよび０ベクトルＳ０により構成されている。

以上のようにして構成される補償候補ベクトルの信頼度（確からしさ）を比較するために、動きベクトルの評価方法である評価値ＤＦＤは、以降の図５６乃至図５８に示されるようにして求められる。図５６は、補償候補ベクトルとして、０ベクトルＳ０が用いられる例を示している。図５７は、補償候補ベクトルとして、周辺８画素の左上画素の動きベクトルＶＫ１が用いられる例を示している。図５８は、補償候補ベクトルとして、周辺８画素の上中央画素の動きベクトルＶＫ２が用いられる例を示している。

図５６の例においては、図中左側に示される着目画素Ｐの補償候補ベクトルの中から、０ベクトルＳ０が選択され、選択された０ベクトルＳ０の評価値ＤＦＤを求める例が示されている。すなわち、０ベクトルＳ０に対する評価値ＤＦＤは、着目画素Ｐ（６０Ｐ信号の内挿フレーム）を挟む、２４Ｐ信号のフレームｔとフレームｔ＋１上において、内挿フレーム上の着目画素Ｐを基準にして、選択された０ベクトルＳ０が対応付けられる交点を求め、この交点を中心として所定の範囲（ｍ×ｎ）のＤＦＤ演算範囲Ｄ１−１およびＤ１−２を算出し、算出されたＤＦＤ演算範囲Ｄ１−１およびＤ１−２を用いて、上述した式（１）を演算することにより求められる。

図５７の例においては、図中左側に示される着目画素Ｐの補償候補ベクトルの中から、周辺８画素の左上画素の動きベクトルＶＫ１が選択され、選択された動きベクトルＶＫ１の評価値ＤＦＤを求める例が示されている。すなわち、周辺８画素の左上画素の動きベクトルＶＫ１に対する評価値ＤＦＤは、着目画素Ｐ（内挿フレーム）を挟むフレームｔとフレームｔ＋１上において、内挿フレーム上の着目画素Ｐを基準にして、選択された動きベクトルＶＫ１が対応付けられる交点を求め、この交点を中心として所定の範囲（ｍ×ｎ）のＤＦＤ演算範囲Ｄ２−１およびＤ２−２を算出し、算出されたＤＦＤ演算範囲Ｄ２−１およびＤ２−２を用いて、上述した式（１）を演算することにより求められる。

図５８の例においては、図中左側に示される着目画素Ｐの補償候補ベクトルの中から、補償候補ベクトルとして、周辺８画素の上中央画素の動きベクトルＶＫ２が選択され、選択された動きベクトルＶＫ２の評価値ＤＦＤを求める例が示されている。すなわち、周辺８画素の上中央画素の動きベクトルＶＫ２に対する評価値ＤＦＤは、着目画素Ｐ（内挿フレーム）を挟むフレームｔとフレームｔ＋１上において、内挿フレーム上の着目画素Ｐを基準にして、選択された動きベクトルＶＫ２が対応付けられる交点を求め、この交点を中心として所定の範囲（ｍ×ｎ）のＤＦＤ演算範囲Ｄ３−１およびＤ３−２を算出し、算出されたＤＦＤ演算範囲Ｄ３−１およびＤ３−２を用いて、上述した式（１）を演算することにより求められる。

なお、図中左側に示される他の補償候補ベクトルについても、基本的に同様の処理であるため、その説明は省略するが、以上のようにして、着目画素Ｐの周辺画素の補償候補ベクトルすべての評価値ＤＦＤが求められ、求められたそれらの評価値ＤＦＤが比較され、その中で、最も評価値ＤＦＤが最小となる補償候補ベクトルが、図５９に示されるように、着目画素Ｐに割り付けられる最も信頼度がある、確からしい動きベクトルとして選択される。

図５９の例の場合、着目画素Ｐの周辺画素の補償候補ベクトルの中から、周辺８画素の左上画素の動きベクトルＶＫ１の評価値ＤＦＤが最も小さいとして判断され、動きベクトルＶＫ１が、着目画素Ｐの動きベクトルとして選択され、割り付けられている。

以上のように、ベクトル割付部５４において割り付けることができなかった画素の動きベクトルを、動き相関を利用して、周辺画素の動きベクトルから補償するようにしたので、動きベクトルが割り付けられず、例えば、０ベクトルが割り付けられていたような場合よりも、動きの乱れを抑制することができる。また、このようにして補償された画素の動きベクトルも、他の画素の補償候補ベクトルとして再度利用することができる。すなわち、空間方向の近傍の動きベクトルだけでなく、時間方向の近傍の動きベクトルも、補償候補ベクトルに用いることができるので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択され、誤りの少ない安定した動きベクトルを得ることができる。これにより、ベクトル割付の精度が向上する。

次に、図６０のフローチャートを参照して、割付補償処理の詳細を説明する。前段のベクトル割付部５４により、割付ベクトルメモリ５５上の内挿フレームの画素には動きベクトルが割り付けられている。また、ベクトル割付部５４により動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグには、１(True)が書き込まれており、動きベクトルが割り付けられなかった画素の割付フラグメモリ５６の割付フラグには、０(False)が書き込まれている。

割付ベクトル判定部８０１は、ステップＳ８０１において、割付フラグメモリ５６の内挿フレームの画素を、着目画素として選択し、ステップＳ８０２に進む。このとき、割付ベクトル判定部８０１は、フレームの左上の画素からラスタスキャン順に画素を選択する。

割付ベクトル判定部８０１は、ステップＳ８０２において、割付フラグメモリ５６内の着目画素の割付フラグが、０(False)であるか否かを判断し、割付フラグメモリ５６内の着目画素の割付フラグが、０(False)であると判断した場合、動きベクトルが割り付けられていないと判定し、ステップＳ８０３に進み、補償処理部８１１を制御し、ベクトル補償処理を実行させ、ステップＳ８０４に進む。このベクトル補償処理の詳細は、図６１を参照して後述するが、このベクトル補償処理により、周辺画素に割り付けられた動きベクトルの中から、評価値ＤＦＤの最小の動きベクトルが補償候補ベクトルとしてメモリ８２１に記憶される。

補償処理部８１１は、ステップＳ８０４において、メモリ８２１の補償候補ベクトルを、着目画素の動きベクトルとして、割付ベクトルメモリ５５に割り付け、ステップＳ８０５に進み、割付フラグメモリ５６の着目画素の割り付けフラグを、１(True)に書き換え、ステップＳ８０６に進む。

一方、ステップＳ８０２において、割付ベクトル判定部８０１は、割付フラグメモリ５６内の着目画素の割付フラグが、１(True)であると判断した場合、その着目画素にはすでに動きベクトルが割り付けられていると判定して、ステップＳ８０３乃至Ｓ８０５の処理をスキップし、ステップＳ８０６に進む。

割付ベクトル判定部８０１は、ステップＳ８０６において、割付フラグメモリ５６の内挿フレームのすべての画素の処理を終了したか否かを判断し、すべての画素の処理を終了していないと判断した場合、ステップＳ８０１に戻り、割付フラグメモリ５６の内挿フレームの次の画素を、着目画素として選択し、それ以降の処理を実行する。ステップＳ８０６において、割付フラグメモリ５６の内挿フレームのすべての画素の処理を終了したと判断した場合、割付補償処理を終了する。

次に、図６１のフローチャートを参照して、ベクトル補償処理の詳細を説明する。なお、図６１は、図６０のステップＳ８０３のベクトル補償処理の例を示している。

補償処理部８１１は、ステップＳ８２１において、評価値演算部８１２を制御し、０ベクトルを用いて評価値ＤＦＤ０を算出させ、ステップＳ８２２に進む。具体的には、評価値演算部８１２は、ステップＳ８２１において、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、例えば、図５６を参照して上述したように、着目画素について、０ベクトルでの評価値ＤＦＤ０を演算し、演算した評価値ＤＦＤ０を補償処理部８１１に出力する。

ステップＳ８２２において、補償処理部８１１は、評価値ＤＦＤ０を最小評価値としてメモリ８２１に記憶し、ステップＳ８２３に進み、０ベクトルを補償候補ベクトルとして、メモリ８２１に記憶し、ステップＳ８２４に進む。補償処理部８１１は、ステップＳ８２４において、割付ベクトル判定部８０１により選択された着目画素の周辺８画素のうち、１つの周辺画素を選択し、ステップＳ８２５に進む。このとき、補償処理部８１１は、周辺８画素のうち、左上の画素からラスタスキャン順に周辺画素を選択する。

補償処理部８１１は、ステップＳ８２５において、割付フラグメモリ５６を参照し、選択した周辺画素の動きベクトルが存在するか否かを判断する。割付フラグメモリ５６の周辺画素の割付フラグが１(True)であれば、補償処理部８１１は、ステップＳ８２５において、選択した周辺画素に割り付けられている動きベクトルが存在すると判断し、ステップＳ８２６に進み、割付ベクトルメモリ５５から、周辺画素の動きベクトルを取得し、ステップＳ８２７に進む。このとき、割付ベクトルメモリ５５から評価値演算部８１２にも周辺画素の動きベクトルが出力される。

評価値演算部８１２は、割付ベクトルメモリ５５から周辺画素の動きベクトルが入力されると、ステップＳ８２７において、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、着目画素について、割付ベクトルメモリ５５からの動きベクトルの評価値ＤＦＤを演算し、演算した評価値ＤＦＤを、補償処理部８１１に出力し、ステップＳ８２８に進む。

補償処理部８１１は、評価値演算部８１２から評価値ＤＦＤが入力されると、ステップＳ８２８において、評価値ＤＦＤが、メモリ８２１に記憶されている着目画素の最小評価値よりも小さいか否かを判断し、評価値ＤＦＤが、メモリ８２１に記憶されている着目画素の最小評価値よりも小さいと判断した場合、ステップＳ８２９に進み、メモリ８２１の最小評価値を、最小評価値よりも小さいと判断された評価値ＤＦＤに書き換え、ステップＳ８３０に進み、メモリ８２１の補償候補ベクトルを、その最小評価値の動きベクトルに書き換え、ステップＳ８３１に進む。

一方、ステップＳ８２５において、割付フラグメモリ５６の周辺画素の割付フラグが０(False)であると、補償処理部８１１は、選択した周辺画素に割り付けられている動きベクトルがないと判断し、ステップＳ８２６乃至Ｓ８３０の処理をスキップし、ステップＳ８３１に進む。また、ステップＳ８２８において、補償処理部８１１は、評価値ＤＦＤが、メモリ８２１に記憶されている着目画素の最小評価値以上であると判断した場合、ステップＳ８２９およびＳ８３０の処理をスキップし、ステップＳ８３１に進む。

補償処理部８１１は、ステップＳ８３１において、着目画素の周辺８画素すべてに対して処理が終了したか否かを判断し、着目画素の周辺８画素すべてに対して処理が終了していないと判断した場合、ステップＳ８２４に戻り、次の周辺画素を選択し、それ以降の処理を繰り返す。また、補償処理部８１１は、ステップＳ８３１において、着目画素の周辺８画素すべてに対して処理が終了したと判断した場合、ベクトル補償処理を終了し、図６０のステップＳ８０４に戻る。

以上のように、ベクトル割付処理において、割り付けることができなかった画素に関しても、動き相関があることを利用して、その画素の周辺の動きベクトルの中から、評価値ＤＦＤに基づく、最も信頼度がある、確からしい動きベクトルを得ることができる。これにより、ベクトルが割り付けられず、０ベクトルなどを割り付けておく場合よりも、ベクトル割付の精度が向上し、後段の画像補間処理において生成される画像の不連続性を抑制することができる。

また、上述した割付補償処理により動きベクトルが割り付けられた画素の割付フラグを１(True)に書き換えるようにし、割付補償処理により割り付けられた動きベクトルも、次の画素の補償候補ベクトルとして用いるようにしたので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択されるようになり、誤りの少ない安定した動きベクトルを得ることができる。その結果、後段において生成される画像のブロックノイズや粉状ノイズなどを抑制し、品質を向上させることができる。

また、動きベクトルを求める着目画素について、０ベクトルの評価値ＤＦＤを予め算出し、最小評価値としてメモリに保持しておくことにより、すべての補償候補ベクトル評価値ＤＦＤを一度に算出し、その中から最小の評価値ＤＦＤを選択する場合よりも、時間とリソースを効率的に使用することができる。

なお、上記説明においては、ベクトル割付部５４において割り付けられなかった画素に対してベクトル補償処理を行っているが、ベクトル検出部５２において検出されなかった（０ベクトルが検出された）画素など、何らかの処理において動きベクトルが求められなかった画素に対してベクトル補償処理を行うようにしてもよい。また、さらに、検出された動きベクトル、または、割り付けられた動きベクトルが確からしくない（信頼度が低い）とされる画素に対してベクトル補償処理を行うようにしてもよい。

本実施の形態においては、動きベクトルを選択する際の評価値として、差分絶対値和である評価値ＤＦＤを用いて説明したが、評価値ＤＦＤに限定されず、動きベクトルの信頼度を評価するものであれば、他のものを用いるようにしてもよい。

また、本実施の形態においては、各処理を行うブロックを、例えば、８画素×８画素や９画素×９画素などにより構成するようにして説明したが、これらは、一例であり、各処理を行うブロックを構成する画素は、上記画素数に限定されない。

さらに、本実施の形態においては、２４Ｐ信号から６０Ｐ信号への信号変換を例に、説明を行ったが、本発明は、例えば、動画像のフレーム周波数変換として、インターレース信号や、他のフレームレート変換にも適用することができる。

本発明によれば、画素値の勾配を算出するようにしたので、勾配法によって動きベクトルを検出することができる。また、本発明によれば、周辺画素が、勾配法の演算に用いるのに有効であるか否かの判定結果を基に、勾配法演算に用いる周辺画素を選択するようにしたので、より正確に動きベクトルを検出することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１に示されるように、磁気ディスク３１（フレキシブルディスクを含む）、光ディスク３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３３（MD(Mini-Disc)（商標）を含む）、もしくは半導体メモリ３４などよりなるリムーバブル記録媒体（パッケージメディア）、または、プログラムが一時的もしくは永続的に格納されるＲＯＭ１２などにより構成される。

なお、本明細書において、フローチャートに示されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の信号処理装置の構成例を示すブロック図である。 信号処理装置の構成を示すブロック図である。 本発明の処理の原理を説明する図である。 本発明の処理を具体的に説明する図である。 信号処理装置において用いられる動きベクトルの評価値を説明する図である。 信号処理装置のフレーム周波数変換処理を説明するフローチャートである。 画像補間部の構成を示すブロック図である。 画像補間処理を説明するフローチャートである。 ベクトル検出部の構成を示すブロック図である。 ベクトル検出部で用いられる勾配法を説明する図である。 初期ベクトルを用いた反復勾配法を説明する図である。 動きベクトル検出処理を説明するフローチャートである。 シフト初期ベクトル割付部の構成を示すブロック図である。 シフト初期ベクトルの概念を説明する図である。 シフト初期ベクトルを具体的に説明する図である。 シフト初期ベクトルを具体的に説明する図である。 シフト初期ベクトルの決定方法を説明する図である。 シフト初期ベクトルの割り付けの例を説明する図である。 動きベクトルが競合する場合のシフト初期ベクトルの例を説明する図である。 シフト初期ベクトル割付処理を説明するフローチャートである。 初期ベクトル選択部の構成を示すブロック図である。 初期ベクトルの周辺領域を示す図である。 初期ベクトルの候補ブロックを示す図である。 初期ベクトル選択処理を説明するフローチャートである。 反復勾配法演算部の構成を示すブロック図である。 有効画素判定部の構成を示すブロック図である。 勾配法演算部の構成を示すブロック図である。 反復勾配法演算処理を説明するフローチャートである。 輝度が一定であるという条件を満たす画その動きベクトルの成分ｖｘおよび成分ｖｘの組に対応する点からなる直線を説明する図である。 輝度が一定であるという条件を満たす着目画素および周辺画素の動きベクトルの成分ｖｘおよび成分ｖｘの組に対応する点からなる直線を説明する図である。 着目画素と異なる動きをする周辺画素を含む場合における、輝度が一定であるという条件を満たす画その動きベクトルの成分ｖｘおよび成分ｖｘの組に対応する点からなる直線を説明する図である。 動きベクトルの成分ｖｘおよび成分ｖｙの組に対応する点からなる直線を用いた有効画素の選択を説明する図である。 ｖｘ方向およびｖｙ方向の切片が存在する場合における有効画素の選択を説明する図である。 ｖｙ方向の切片が存在しない場合における有効画素の選択を説明する図である。 ｖｘ方向の切片が存在しない場合における有効画素の選択を説明する図である。 ｖｘ方向およびｖｙ方向の切片が存在しない場合における有効画素の選択を説明する図である。 有効画素判定処理を説明するフローチャートである。 勾配法演算処理を説明するフローチャートである。 ベクトル割付部の構成を示すブロック図である。 本発明の４点補間処理の概念を説明する図である。 ベクトル割付処理の概要を説明する図である。 動きベクトルと内挿フレームの交点の近傍画素の例を説明する図である。 割付候補の動きベクトルの評価方法を説明する図である。 ベクトル割付における４点補間の例を説明する図である。 ベクトル割付処理を説明するフローチャートである。 画素位置演算処理を説明するフローチャートである。 割付ベクトル評価処理を説明するフローチャートである。 割付補償部の構成を示すブロック図である。 ベクトル補償部の構成を示すブロック図である。 割付補償処理の原理を説明する図である。 動き相関の原理を説明する図である。 着目画素の周囲画素の構成例を説明する図である。 着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。 着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。 着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。 補償候補ベクトルを評価する例を説明する図である。 補償候補ベクトルを評価する例を説明する図である。 補償候補ベクトルを評価する例を説明する図である。 補償候補ベクトルを着目画素の動きベクトルとして選択する例を説明する図である。 割付補償処理を説明するフローチャートである。 ベクトル補償処理を説明するフローチャートである。

符号の説明

１ 信号処理装置，１１ ＣＰＵ，１２ ＲＯＭ，１３ ＲＡＭ，３１ 磁気ディスク，３２ 光ディスク，３３ 光磁気ディスク，３４ 半導体メモリ，５１ フレームメモリ，５２ ベクトル検出部，５３ 検出ベクトルメモリ，５４ ベクトル割付部，５５ 割付ベクトルメモリ，５６ 割付フラグメモリ，５７ 割付補償部，５８ 画像補間部，１０１ 初期ベクトル選択部，１０３ 反復勾配法演算部，１０４ ベクトル評価部，１０５ シフト初期ベクトル割付部，１０６ 評価値メモリ，１０７ シフト初期ベクトルメモリ，２０１ 割付対象位置演算部，２０２ 評価値比較部，２０３ シフト初期ベクトル置換部，２０４ 評価値置換部，２５１ 候補ベクトル位置演算部，２５２ 検出ベクトル取得部，２５３ シフト初期ベクトル取得部，２５４ オフセット位置演算部，２５５ 評価値演算部，２５６ 評価値比較部，２５７ 最適候補格納用レジスタ，６０１ セレクタ，６０２ 有効画素判定部，６０３ 勾配法演算部，６０４ 遅延部，６２１ 画素位置演算部，６２２ 勾配演算部，６２３ 切片演算部，６２４ 切片位置判定部，６２５ 有効画素数カウンタ，６２６ 有効画素フラグメモリ，６２７ 勾配法継続判定部，６５１ 画素値勾配演算部，６５２ 勾配積算部，６５３ ベクトル演算部，７０１ 画素情報演算部，７０２ 評価値演算部，７０３ 着目画素差分演算部，７０４ ベクトル評価部，７０５ ベクトル選択部，７１１ 画素差分判断部，７１２ 評価値判断部，８０１ 割付ベクトル判定部，８０２ ベクトル割付部，８１１ 補償処理部，８１２ 評価値演算部，８２１ メモリ

Claims (8)

1. 動きベクトルを検出する画像処理装置において、
   所定の画素の画素値の第１の方向の勾配、前記画素の画素値の第２の方向の勾配、および前記画素の画素値の時間方向の勾配を演算する勾配演算手段と、
   前記第１の方向の勾配、前記第２の方向の勾配、および前記時間方向の勾配を基に、前記第１の方向の動きを第１の軸とし、前記第２の方向の動きを第２の軸とする座標系における、前記画素の輝度が一定であるという条件を満たす前記画素の前記第１の方向の動きの成分および前記第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する切片演算手段と、
   着目画素に対する前記直線の傾きが０または無限大でない場合、前記着目画素に対する前記直線の前記第１の方向の前記切片を第１の基準位置として、前記第１の基準位置から判定の対象となる前記画素に対する前記直線の前記第１の方向の切片までの距離が、所定の閾値より小さく、かつ、前記着目画素に対する前記直線の前記第２の方向の前記切片を第２の基準位置として、前記第２の基準位置から判定の対象となる前記画素に対する前記直線の前記第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、前記着目画素の前記動きベクトルを勾配法により検出する演算処理に、前記画素を使用するか否かを判定する判定手段と
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、前記着目画素に対する前記直線の傾きが０である場合、前記着目画素に対する前記直線の前記第２の方向の前記切片を前記第２の基準位置として、前記第２の基準位置から判定の対象となる前記画素に対する前記直線の前記第２の方向の切片までの距離が、所定の閾値より小さく、かつ、判定の対象となる前記画素に対する前記直線の前記第１の方向の勾配が０でないか否かを基に、前記演算処理に、前記画素を使用するか否かを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記着目画素に対する前記直線の傾きが無限大である場合、前記着目画素に対する前記直線の前記第１の方向の前記切片を前記第１の基準位置として、前記第１の基準位置から判定の対象となる前記画素に対する前記直線の前記第１の方向の切片までの距離が、所定の閾値より小さく、かつ、判定の対象となる前記画素に対する前記直線の前記第２の方向の勾配が０でないか否かを基に、前記演算処理に、前記画素を使用するか否かを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記着目画素近傍の予め定められた領域内の画素のうち、前記判定手段により前記演算処理に使用されると判定された画素を用いて前記演算処理を行ない、前記着目画素の前記動きベクトルを検出する検出手段をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記動きベクトルの信頼度の高さを評価する評価手段をさらに備え、
   前記切片演算手段は、前回検出された前記動きベクトルの評価の結果を表す評価値が、０ベクトルである前記動きベクトルの前記評価値よりも大きい場合、前記画素の位置に前回検出された前記動きベクトルを加算した位置からの前記画素の前記第１の方向の動きの成分および前記第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 動きベクトルを検出する画像処理方法において、
   所定の画素の画素値の第１の方向の勾配、前記画素の画素値の第２の方向の勾配、および前記画素の画素値の時間方向の勾配を演算する勾配演算ステップと、
   前記第１の方向の勾配、前記第２の方向の勾配、および前記時間方向の勾配を基に、前記第１の方向の動きを第１の軸とし、前記第２の方向の動きを第２の軸とする座標系における、前記画素の輝度が一定であるという条件を満たす前記画素の前記第１の方向の動きの成分および前記第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する切片演算ステップと、
   着目画素に対する前記直線の傾きが０または無限大でない場合、前記着目画素に対する前記直線の前記第１の方向の前記切片を第１の基準位置として、前記第１の基準位置から判定の対象となる前記画素に対する前記直線の前記第１の方向の切片までの距離が、所定の閾値より小さく、かつ、前記着目画素に対する前記直線の前記第２の方向の前記切片を第２の基準位置として、前記第２の基準位置から判定の対象となる前記画素に対する前記直線の前記第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、前記着目画素の前記動きベクトルを勾配法により検出する演算処理に、前記画素を使用するか否かを判定する判定ステップと
   を含むことを特徴とする画像処理方法。
7. 動きベクトルを検出する画像処理用のプログラムにおいて、
   所定の画素の画素値の第１の方向の勾配、前記画素の画素値の第２の方向の勾配、および前記画素の画素値の時間方向の勾配を演算する勾配演算ステップと、
   前記第１の方向の勾配、前記第２の方向の勾配、および前記時間方向の勾配を基に、前記第１の方向の動きを第１の軸とし、前記第２の方向の動きを第２の軸とする座標系における、前記画素の輝度が一定であるという条件を満たす前記画素の前記第１の方向の動きの成分および前記第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する切片演算ステップと、
   着目画素に対する前記直線の傾きが０または無限大でない場合、前記着目画素に対する前記直線の前記第１の方向の前記切片を第１の基準位置として、前記第１の基準位置から判定の対象となる前記画素に対する前記直線の前記第１の方向の切片までの距離が、所定の閾値より小さく、かつ、前記着目画素に対する前記直線の前記第２の方向の前記切片を第２の基準位置として、前記第２の基準位置から判定の対象となる前記画素に対する前記直線の前記第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、前記着目画素の前記動きベクトルを勾配法により検出する演算処理に、前記画素を使用するか否かを判定する判定ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
8. 動きベクトルを検出する画像処理を、コンピュータに行わせるプログラムにおいて、
   所定の画素の画素値の第１の方向の勾配、前記画素の画素値の第２の方向の勾配、および前記画素の画素値の時間方向の勾配を演算する勾配演算ステップと、
   前記第１の方向の勾配、前記第２の方向の勾配、および前記時間方向の勾配を基に、前記第１の方向の動きを第１の軸とし、前記第２の方向の動きを第２の軸とする座標系における、前記画素の輝度が一定であるという条件を満たす前記画素の前記第１の方向の動きの成分および前記第２の方向の動きの成分の組に対応する点からなる直線の切片を算出する切片演算ステップと、
   着目画素に対する前記直線の傾きが０または無限大でない場合、前記着目画素に対する前記直線の前記第１の方向の前記切片を第１の基準位置として、前記第１の基準位置から判定の対象となる前記画素に対する前記直線の前記第１の方向の切片までの距離が、所定の閾値より小さく、かつ、前記着目画素に対する前記直線の前記第２の方向の前記切片を第２の基準位置として、前記第２の基準位置から判定の対象となる前記画素に対する前記直線の前記第２の方向の切片までの距離が、所定の閾値より小さいか否かを基に、前記着目画素の前記動きベクトルを勾配法により検出する演算処理に、前記画素を使用するか否かを判定する判定ステップと
   を含むことを特徴とするプログラム。

Images