JP4655214B2 - 画像処理装置および方法、プログラム並びに記録媒体 - Google Patents

Description

本発明は画像処理装置および方法、プログラム並びに記録媒体に関し、特に、画質の劣化を抑制することができるようにした画像処理装置および方法、プログラム並びに記録媒体に関する。

画像のフレーム周波数を変換する場合、動きベクトルの割り付けが行われる（例えば、特許文献１）。

例えば図１に示されるように、時刻ｔのフレーム（以下、フレームｔとも記述する。以下、同様。）の所定の画素（例えば前景の画素）が時刻ｔ＋１のフレーム（フレームｔ＋１）上の所定の位置の画素に対応するとき、両者を結ぶベクトルがその画素の動きベクトルVaとされる。フレーム周波数を変換する場合（フレームｔとフレームｔ＋１の間の時刻ｔ＋ｐのフレーム（フレームｔ＋ｐ）を生成する場合）、フレームｔ＋ｐ上の画素Ｇに対して、その画素Ｇの近傍を通過するフレームｔの動きベクトルが割り付けられる。例えばフレームｔ＋ｐ上の画素Ｇの近傍を動きベクトルVaが通過する場合、画素Ｇに対して動きベクトルVaが割り付けられる。

しかし、画面内に、例えば比較的ゆっくり移動する前景と高速に移動する背景が混在しているような場合、図１に示されるように、１つの画素Ｇの近傍を、前景の画素の動きベクトルVaだけでなく、背景の画素の動きベクトルVbも通過することがある。

このような場合、２つのフレームの注目するベクトル量分ずらしたブロック間の相関値を表す差分絶対値和（DFD(Displaced Frame Difference)）を演算し、その値に基づいて画素Ｇに対応する１つの動きベクトルが決定されていた。例えば、図２に示されるように、動きベクトルVaに基づくDFDであるDFDaと、動きベクトルVbに基づくDFDであるDFDｂが演算され、両者の値のうち小さい方に対応する動きベクトルが画素Ｇの動きベクトルとして割り付けられる。
特開平９−１７２６２１号公報

しかしながら、前景は本来１つのオブジェクトであり、前景の画素にはすべて前景の動きベクトルが割り付けられるべきところ、実際には前景の一部の画素に対して背景の動きベクトルが割り付けられてしまい、それに基づき生成されたフレームｔ＋ｐ上の画像は、図３に示されるように、画像の一部が欠損するなどして、画質が劣化する問題があった。

本発明は、このような状況に鑑みてなされたものであり、画質の劣化を抑制することができるようにするものである。

本発明の一側面は、第１のフレームの動きベクトルを第２のフレームに割り付ける画像処理装置において、第１の動きベクトルによる第１の評価値、第２の動きベクトルによる第２の評価値、前記第１の動きベクトルを平行移動して生成した第３の動きベクトルによる第３の評価値、並びに前記第２の動きベクトルを平行移動して生成した第４の動きベクトルによる第４の評価値を演算する演算手段と、前記第１の評価値と前記第３の評価値により規定される値と、前記第２の評価値と前記第４の評価値により規定される値との比較に基づいて、前記第１の動きベクトルまたは前記第２の動きベクトルを前記第２のフレームに割り付ける割付手段とを備える画像処理装置である。

前記第３の動きベクトルは、前記第１の動きベクトルの始点または終点を前記第２の動きベクトルの始点に平行移動して生成された動きベクトルであり、前記第３の動きベクトルは、前記第２の動きベクトルの始点または終点を前記第１の動きベクトルの始点に平行移動して生成されされた動きベクトルとすることができる。

前記動きベクトルは画素毎の動きベクトルとすることができる。

前記演算手段は、前記第１乃至第４の評価値として差分絶対値和を演算することができる。

また本発明の一側面は、第１のフレームの動きベクトルを第２のフレームに割り付ける画像処理方法またはプログラムにおいて、第１の動きベクトルによる第１の評価値、第２の動きベクトルによる第２の評価値、前記第１の動きベクトルを平行移動して生成した第３の動きベクトルによる第３の評価値、並びに前記第２の動きベクトルを平行移動して生成した第４の動きベクトルによる第４の評価値を演算し、前記第１の評価値と前記第３の評価値により規定される値と、前記第２の評価値と前記第４の評価値により規定される値との比較に基づいて、前記第１の動きベクトルまたは前記第２の動きベクトルを前記第２のフレームに割り付けるステップを備える画像処理方法またはプログラムである。

本発明の側面においては、第１の評価値と第３の評価値により規定される値と、第２の評価値と第４の評価値により規定される値との比較に基づいて、第１の動きベクトルまたは第２の動きベクトルが第２のフレームに割り付けられる。

以上のように、本発明の一側面によれば、高品質の画像を得ることができる。特に、本発明の一側面によれば、画像の周波数を変換した場合において画像の一部が欠損したりして、画質が劣化するのを抑制することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面は、第１のフレーム（例えば、図２７のフレームｔ）の動きベクトルを第２のフレーム（例えば、図２７のフレームｔ＋ｐ）に割り付ける画像処理装置（例えば、図４の画像信号記録装置１）において、第１の動きベクトル（例えば、図２７の動きベクトルＶａ）による第１の評価値（例えば、評価値DFDa）、第２の動きベクトル（例えば、図２７の動きベクトルVb）による第２の評価値（例えば、評価値DFDb）、前記第１の動きベクトルを平行移動して生成した第３の動きベクトル（例えば、図２５の動きベクトルVa'）による第３の評価値（例えば、図２６の評価値DFDa'）、並びに前記第２の動きベクトルを平行移動して生成した第４の動きベクトル（例えば、図２５の動きベクトルVb'）による第４の評価値（例えば、図２６の評価値DFDb'）を演算する演算手段（例えば、図２４のステップS742,S744,S745,S746の処理を実行する図１６の評価値演算部７０２）と、前記第１の評価値と前記第３の評価値により規定される値（例えば、図２４のステップS747のDFD_A）と、前記第２の評価値と前記第４の評価値により規定される値（例えば、図２４のステップS747のDFD_B）との比較に基づいて、前記第１の動きベクトルまたは前記第２の動きベクトルを前記第２のフレームに割り付ける割付手段（例えば、図２４のステップS750の処理を実行する図１６のベクトル選択部７０４）とを備える画像処理装置である。

また、本発明の一側面は、（例えば、図２７のフレームｔ）の動きベクトルを第２のフレーム（例えば、図２７のフレームｔ＋ｐ）に割り付ける画像処理装置（例えば、図４の画像信号記録装置１）の画像処理方法およびプログラムにおいて、第１の動きベクトル（例えば、図２７の動きベクトルＶａ）による第１の評価値（例えば、評価値DFDa）、第２の動きベクトル（例えば、図２７の動きベクトルVb）による第２の評価値（例えば、評価値DFDb）、前記第１の動きベクトルを平行移動して生成した第３の動きベクトル（例えば、図２５の動きベクトルVa'）による第３の評価値（例えば、図２６の評価値DFDa'）、並びに前記第２の動きベクトルを平行移動して生成した第４の動きベクトル（例えば、図２５の動きベクトルVb'）による第４の評価値（例えば、図２６の評価値DFDb'）を演算し（例えば、図２４のステップS742,S744,S745,S746）、前記第１の評価値と前記第３の評価値により規定される値（例えば、図２４のステップS747のDFD_A）と、前記第２の評価値と前記第４の評価値により規定される値（例えば、図２４のステップS747のDFD_B）との比較に基づいて、前記第１の動きベクトルまたは前記第２の動きベクトルを前記第２のフレームに割り付ける（例えば、図２４のステップS750）ステップを備える画像処理方法またはプログラムである。

以下、本発明の実施の形態について図を参照して説明する。

図４は、本発明の実施の形態である画像処理装置としての画像信号記録装置の構成を示すブロック図である。この画像信号記録装置１は、画像信号入力部２、信号処理装置３、並びに画像信号出力部４により構成されている。

画像信号入力部２は、例えばチューナやディスクドライバなどにより構成され、受信した画像信号あるいは記録媒体より再生した画像信号を信号処理装置３に出力する。信号処理装置３は、画像信号入力部２より供給された画像信号のフレーム周波数を変換する。信号処理装置３より出力されたフレーム周波数が変換された画像信号は、画像信号出力部４に供給される。画像信号出力部４は、信号処理装置３より入力された画像信号をLCD（Liquid Crystal Display）やCRTなどの表示部に出力し、表示させたり、記録媒体に記録する。

図５は、信号処理装置３の構成を示すブロック図である。

なお、信号処理装置３の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えてもよい。

図５に構成を示す信号処理装置３においては、例えば、フレーム周波数が２４Ｈｚのプログレッシブ画像信号（以下、２４Ｐ信号と称する）の画像が入力され、入力された画像（入力画像）が、フレーム周波数が６０Ｈｚのプログレッシブ画像信号（以下、６０Ｐ信号と称する）の画像に変換されて、出力される。

信号処理装置３に入力された２４Ｐ信号の入力画像は、フレームメモリ５１、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、および画像補間部５８に供給される。フレームメモリ５１は、入力画像をフレーム単位で記憶し、出力する（１フレーム分の時間だけ遅延して出力する）。フレームメモリ５１は、時刻ｔ＋１の入力画像の１つ前の時刻ｔのフレームを記憶する。フレームメモリ５１に記憶される時刻ｔのフレームは、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、および画像補間部５８に供給される。なお、以下、フレームメモリ５１上の時刻ｔのフレームをフレームｔと称し、時刻ｔ＋１の入力画像のフレームを、フレームｔ＋１と称する。

ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。ベクトル検出部５２の構成の詳細は、図１２を参照して後述する。検出ベクトルメモリ５３は、フレームｔにおいて、ベクトル検出部５２により検出された動きベクトルを記憶する。

ベクトル割付部５４は、２４Ｐ信号のフレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号のフレーム（以下、６０Ｐ信号のフレームは、２４Ｐ信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。ベクトル割付部５４の構成の詳細は、図１６を参照して後述する。

割付ベクトルメモリ５５は、ベクトル割付部５４により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。割付フラグメモリ５６は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、True(1)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、False(0)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

割付補償部５７は、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを割り付けた着目画素の割付フラグを１(True)に書き換える。割付補償部５７の構成の詳細は、図２９を参照して後述する。

画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよび次のフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、後段の画像信号出力部４に出力する。なお、以下においては、画素値を、適宜、輝度値とも称する。

図６は、信号処理装置３における処理の原理を説明する図である。図６の例においては、点線が、信号処理装置３に入力される、時刻ｔ，ｔ＋１，およびｔ＋２における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から信号処理装置３により、生成される時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，ｔ＋１．６，およびｔ＋２における６０Ｐ信号の内挿フレームを表している。

一般に、２４Ｐ信号を、６０Ｐ信号に変換するためには、５／２倍のフレームが必要になる。すなわち、２枚の２４Ｐ信号の画像から５枚の６０Ｐ信号の画像が生成されなければならない。このとき、生成される６０Ｐ信号の内挿フレームは、そのフレーム間隔を等しくするために、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に配置される。この中で、時間位相が０．０である時刻ｔの１フレームを除く４フレーム（ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６のフレーム）は、２４Ｐ信号上には存在しない画像である。したがって、信号処理装置３は、２４Ｐ信号の画像が入力されると、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、４つの内挿フレームを生成する。したがって、信号処理装置３からは、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚のフレームからなる６０Ｐ信号の画像が出力される。

以上のようにして、信号処理装置３は、２４Ｐ信号の画像から６０Ｐ信号の画像に、フレーム周波数を変換する処理を実行する。

なお、原理的には、上述したように、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚の６０Ｐ信号のフレームが新しく生成されるが、実際には、図６の例の場合、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームに基づいて、ｔ，ｔ＋０．４，ｔ＋０．８の６０Ｐ信号のフレームが生成され、２４Ｐ信号の時刻ｔ＋１およびｔ＋２の２枚のフレームに基づいて、ｔ＋１．２，ｔ＋１．６，およびｔ＋２の６０Ｐ信号のフレームが生成される。

図７は、信号処理装置３の処理をより具体的に説明する図である。図７の例においては、太線矢印は、各状態への遷移を表しており、矢印Ｔは、状態８１乃至８５における時間の経過方向を表している。また、状態８１乃至８５は、信号処理装置３を構成する各部への入出力時の、２４Ｐ信号の時刻ｔのフレームｔ、時刻ｔの次の時刻ｔ＋１のフレームｔ＋１、または、フレームｔおよびフレームｔ＋１の間に生成される６０Ｐ信号の内挿フレームＦの状態を概念的に表している。すなわち、実際には、例えば、状態８２に示されるような動きベクトルが検出されたフレームがベクトル割付部５４に入力される訳ではなく、フレームと動きベクトルは、別々にベクトル割付部５４に入力される。

状態８１は、ベクトル検出部５２に入力される、２４Ｐ信号のフレームｔおよびフレームｔ＋１の状態を表している。状態８１のフレームｔ上の黒点は、フレームｔ上の画素を表している。ベクトル検出部５２は、状態８１のフレームｔ上の画素が、次の時刻のフレームｔ＋１において、どの位置に移動するかを検出し、その動きを、状態８２のフレームｔ上に示されるように、各画素に対応する動きベクトルとして出力する。この２フレーム間の動きベクトルの検出方法には、ブロックマッチング法または勾配法などが用いられる。なお、このとき、画素に複数の動きベクトルが検出された場合、ベクトル検出部５２は、各動きベクトルについて、図８を参照して後述する評価値を求め、その評価値に基づいて動きベクトルを選択する。

状態８２は、ベクトル割付部５４に入力される、フレームｔおよびフレームｔ＋１の状態を表している。状態８２において、フレームｔの各画素の矢印は、ベクトル検出部５２により検出された動きベクトルを表している。

ベクトル割付部５４は、状態８２のフレームｔの各画素に対して検出された動きベクトルを、次のフレームｔ＋１まで延長させ、予め設定されている時間位相（例えば、図６のｔ＋０．４）にある内挿フレームＦ上のどの位置を通過するかを求める。これは、フレームｔおよびフレームｔ＋１の間が一定動きであると仮定すると、動きベクトルが内挿フレームＦを通過した点が、そのフレームでの画素位置となるためである。したがって、ベクトル割付部５４は、この通過する動きベクトルを、状態８３の内挿フレームＦ上の近傍４画素に割り付ける。また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、あるいは、複数の動きベクトルが、割付候補となりうる場合がある。後者のような場合には、ベクトル割付部５４は、ベクトル検出部５２と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８３は、割付補償部５７に入力される、フレームｔおよびフレームｔ＋１、並びに動きベクトルが割り付けられた内挿フレームＦの状態を表している。状態８３の内挿フレームＦにおいては、ベクトル割付部５４により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられなかった画素が示されている。

割付補償部５７は、状態８３の動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであることに基づく処理である。これにより、動きベクトルが割り付けられなかった画素にも、ある程度正確な動きベクトルが与えられ、状態８４の内挿フレームＦ上のすべての画素に動きベクトルが割り付けられる。なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部５７は、ベクトル割付部５４と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８４は、画像補間部５８に入力される、フレームｔおよびフレームｔ＋１、並びに、すべての画素に動きベクトルが割り付けられた内挿フレームＦの状態を表している。これらのすべての画素に割り付けられた動きベクトルにより、画像補間部５８は、内挿フレームＦ上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素の位置関係を決定することができる。したがって、画像補間部５８は、内挿フレームＦ上に割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、状態８５の内挿フレームＦの黒点に示されるように、内挿フレームＦ上の画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、後段の画像信号出力部４に出力する。

次に、図８を参照して、信号処理装置３において用いられる動きベクトルの評価値を説明する。図７を参照して上述したように、信号処理装置３の各部（ベクトル検出部５２、ベクトル割付部５４、および割付補償部５７）において、後段の処理に最適な動きベクトルが選択される。このとき、信号処理装置３の各部においては、動きベクトルに対する評価値として、２つのフレームの注目するベクトルに対応する分だけずらしたブロック間の相関値を表す差分絶対値和（DFD(Displaced Frame Difference)）が用いられる。

図８の例においては、時刻ｔのフレームｔ上の画素位置ｐを中心としたｍ×ｎのブロック、および、時刻ｔ＋１のフレームｔ＋１上の画素位置ｐから注目する動きベクトルｖのベクトル量分ずらした画素位置ｐ＋ｖを中心としたｍ×ｎのブロックの２つのブロックが示されている。これら２つのブロック間において求められる差分絶対値和DFDt（ｐ）は、次の式（１）で表される。

・・・（１）

ここで、Ｆt（ｐ）は、時刻ｔにおける画素位置ｐの輝度値を表しており、ｍ×ｎは、差分絶対値和を求めるためのDFD演算範囲（ブロック）を表している。この差分絶対値和は、２つのフレームにおけるDFD演算範囲（ブロック）間の相関値を表しているため、一般的には、この差分絶対値和が小さいほどフレーム間のブロックの波形が一致しており、差分絶対値和が小さいほど、動きベクトルｖの信頼度が高いと判定される。これにより、この差分絶対値和は、複数の候補の中から、最も確からしい動きベクトルを選ぶ場合などに用いられる。

したがって、以降、信号処理装置３の各部（ベクトル検出部５２、ベクトル割付部５４、および割付補償部５７）においては、動きベクトルが選択される場合の評価値として、特に言及しない場合には、差分絶対値和（以下、評価値DFDと称する）が用いられることとする。

次に、図９のフローチャートを参照して、信号処理装置３のフレーム周波数を変換する処理を説明する。

ステップＳ１において、ベクトル検出部５２は、フレームの画素値を入力する。すなわち、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１に記憶されている入力画像の１つ前の時刻ｔのフレームｔの画素値が入力される。なお、このとき、ベクトル割付部５４、割付補償部５７および画像補間部５８も、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力する。

ステップＳ２において、ベクトル検出部５２は、動きベクトル検出処理を実行する。すなわち、ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像である次のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。また、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値DFDが求められ、求められた評価値DFDに基づいた信頼度の高い動きベクトルが検出される。すなわち、この場合、動きベクトルを検出する着目ブロックにおいて、最も確からしい動きベクトルが選択され、検出される。ステップＳ２における、動きベクトル検出処理の詳細は、図１５を参照して後述する。

ステップＳ３において、ベクトル割付部５４は、ベクトル割付処理を実行する。すなわち、ベクトル割付部５４は、ステップＳ３において、フレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する内挿フレーム上の着目画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。例えば、Trueである割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、Falseである割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。なお、各画素において、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値DFDが求められ、求められた評価値DFDに基づいた信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きベクトルが選択され、割り付けられる。ステップＳ３における、ベクトル割付処理の詳細は、図２２を参照して後述する。

ステップＳ４において、割付補償部５７は、割付補償処理を実行する。すなわち、割付補償部５７は、ステップＳ４において、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを補い、割付けた着目画素の割付フラグを１(True)に書き換える。なお、周辺画素の動きベクトルが複数ある場合には、各動きベクトルに対して、評価値DFDが求められ、求められた評価値DFDに基づいた、信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きベクトルが選択され、割り付けられる。ステップＳ４における割付補償処理の詳細は、図４１を参照して後述する。

ステップＳ５において、画像補間部５８は、画像補間処理を実行する。すなわち、画像補間部５８は、ステップＳ５において、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。ステップＳ５における、画像補間処理の詳細は、図１１を参照して後述する。画像補間部５８は、ステップＳ６において、６０Ｐ信号の画像を出力し（生成された内挿フレームを出力し）、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、後段の画像信号出力部４に出力する。

ステップＳ７において、ベクトル検出部５２は、すべてのフレームの処理が終了したかを判断し、すべてのフレームの処理がまだ終了していないと判断した場合、処理はステップＳ１に戻り、それ以降の処理が繰り返される。一方、ベクトル検出部５２は、ステップＳ７において、すべてのフレームの処理が終了したと判断した場合、フレーム周波数を変換する処理を終了する。

以上のように、信号処理装置３は、２４Ｐ信号の入力画像のフレームから動きベクトルを検出し、検出した動きベクトルを、６０Ｐ信号のフレーム上の画素に割付け、割付けられた動きベクトルに基づいて、６０Ｐ信号のフレーム上の画素値を生成する。このとき、信号処理装置３は、各処理において、評価値DFD（差分絶対値和）に基づく、より信頼度の高い動きベクトルを選択する。したがって、信号処理装置３においては、動きが破綻することなどが抑制され、より精度のよい画像を生成することができる。

次に、画像補間部５８の構成の詳細について説明する。

図１０は、画像補間部５８の構成を示すブロック図である。図１０に構成を示す画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、６０Ｐ信号の画像を出力する処理を行う。

図１０の例において、時刻ｔの画像のフレームｔは、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１は、空間フィルタ９２−２およびバッファ９５に入力される。

補間制御部９１は、割付ベクトルメモリ５５の内挿フレームの画素を選択し、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求める。すなわち、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。

また、補間制御部９１は、予め設定されている内挿フレームの時間位相（時刻）に基づいて、フレームｔとフレームｔ＋１の間における補間重みを求め、求めた補間重みを、乗算器９３−１および９３−２に設定する。例えば、内挿フレームの時刻が、フレームｔ＋１の時刻ｔ＋１から「ｋ」離れた時刻で、かつ、フレームｔの時刻ｔから「１−ｋ」離れた時刻である場合（すなわち、内挿フレームが時刻ｔと時刻ｔ＋１を「１−ｋ」：「ｋ」に内分する時刻に生成される場合）、補間制御部９１は、乗算器９３−１に「１−ｋ」の補間重みを設定し、乗算器９３−２に「ｋ」の補間重みを設定する。

空間フィルタ９２−１および９２−２は、例えば、キュービックフィルタなどにより構成される。空間フィルタ９２−１は、入力されるフレームｔ上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ上の画素値を求め、求めた画素値を乗算器９３−１に出力する。空間フィルタ９２−２は、入力されるフレームｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ＋１上の画素値を求め、求めた画素値を乗算器９３−２に出力する。

なお、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１上の画素の位置と一致しない場合（すなわち、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１において画素以下成分である（画素と画素の間の位置である）場合）、空間フィルタ９２−１および９２−２は、フレームｔまたはフレームｔ＋１における内挿フレームの画素の位置の周辺４画素の画素値を用いて、周辺４画素の距離の逆比の和を求めることにより、内挿フレームの画素に対応するフレーム上の画素値を求める。すなわち、画素以下位置の画素値は、周辺４画素との距離を基にした線形補間で値が求められる（その詳細は、図１７を参照して後述する）。

乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。

加算器９４は、乗算器９３−１から入力される画素値と、乗算器９３−２から入力される画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された内挿フレームの画素値を、バッファ９５に出力する。バッファ９５は、入力されたフレームｔ＋１をバッファしている。バッファ９５は、生成された内挿フレームを出力し、その次に、予め設定されている６０Ｐフレームの時間位相（時刻）に基づいて、必要に応じて、バッファしているフレームｔ＋１を出力することにより、６０Ｐ信号の画像を、後段に出力する。

以上のように構成される画像補間部５８の画像補間処理の詳細を、図１１のフローチャートを参照して説明する。

補間制御部９１は、ステップＳ５１において、処理する内挿フレームの補間重みを求める。すなわち、処理する内挿フレームの時間位相に基づいて、フレームｔとフレームｔ＋１の間における内挿フレームの補間重み（例えば、「ｋ」および「１−ｋ」）が求められ、求められた補間重みが、乗算器９３−１および９３−２にそれぞれ設定される。補間制御部９１は、ステップＳ５２において、割付ベクトルメモリ５５の内挿フレーム上の画素を選択する。なお、内挿フレーム上の画素は、フレームの左上の画素からラスタスキャン順に１個ずつ選択される。

補間制御部９１は、ステップＳ５３において、選択された画素の動きベクトルに基づいて、空間シフト量を求める。すなわち、ステップＳ５２で選択された画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）がそれぞれ求められ、求められた空間シフト量が、それぞれ空間フィルタ９２−１および９２−２に供給される。具体的には、補間制御部９１は、ステップＳ５３において、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。

時刻ｔの画像のフレームｔの画素値は、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１の画素値は、空間フィルタ９２−２に入力されている。ステップＳ５４において、空間フィルタ９２−１および９２−２は、内挿フレームの画素に対応する各フレーム上の画素値を求める。すなわち、入力されるフレームｔおよびｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、各フレーム上の画素値が求められ、求められた画素値が乗算器９３−１および９３−２にそれぞれ出力される。

乗算器９３−１および９３−２は、ステップＳ５５において、画素値に重み付けをする。すなわち、空間フィルタ９２−１または９２−２から入力される各フレーム上の画素値に、補間制御部９１により設定された補間重みが重み付けされ、重み付けされた画素値が、加算器９４に出力される。具体的には、乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。

加算器９４は、ステップＳ５６において、選択された画素の画素値を生成する。すなわち、乗算器９３−１により重み付けされた画素値と、乗算器９３−２により重み付けされた画素値を加算することにより、内挿フレームの画素の画素値が生成され、生成された画素値が、バッファ９５に出力される。補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したかを判断し、内挿フレーム上のすべての画素についての処理がまだ終了していないと判断した場合、処理はステップＳ５２に戻り、それ以降の処理が繰り返される。補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したと判断した場合、画像補間処理を終了する。

以上のように、内挿フレームに割り付けられた動きベクトルに基づいて、内挿フレームの画素値が生成され、上述した図９のステップＳ６において、バッファ９５により、内挿フレームが出力され、その次に、必要に応じて、フレームｔ＋１が出力されることにより、６０Ｐ信号の画像が、後段に出力される。したがって、内挿フレームの画素に、最も確からしい動きベクトルが割り付くので、精度のよい内挿フレームを生成することができる。

次に、ベクトル検出部５２の構成の詳細について説明する。

図１２は、ベクトル検出部５２の構成を示すブロック図である。図１２に構成を示すベクトル検出部５２は、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、フレームｔ上の動きベクトルを検出する。この動きベクトルを検出する処理は、複数の画素からなる所定のブロック毎に実行される。

初期ベクトル選択部１０１は、所定のブロック毎に、過去の動きベクトルの検出結果から求められる信頼度が高い動きベクトルを、勾配法に用いられる初期値となる初期ベクトルＶ０として、反復勾配法演算部１０３に出力する。具体的には、初期ベクトル選択部１０１は、検出ベクトルメモリ５３に記憶されている過去に求められた周辺のブロックの動きベクトルや、シフト初期ベクトルメモリ１０７に記憶されているシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部１０１は、フレームｔとフレームｔ＋１を用いて、候補ベクトルの評価値DFDを求め、候補ベクトルの中から、求められた評価値DFDに基づく、最も信頼度が高いものを選択し、初期ベクトルＶ０として出力する。

プリフィルタ１０２−１および１０２−２は、ローパスフィルタやガウシアンフィルタにより構成され、それぞれ、入力される画像のフレームｔおよびフレームｔ＋１のノイズ成分を除去し、反復勾配法演算部１０３に出力する。

反復勾配法演算部１０３は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０と、プリフィルタ１０２−１および１０２−２を介して入力されるフレームｔおよびフレームｔ＋１を用いて、所定のブロック毎に、勾配法により、動きベクトルＶｎを算出する。反復勾配法演算部１０３は、初期ベクトルＶ０と、算出された動きベクトルＶｎをベクトル評価部１０４に出力する。また、反復勾配法演算部１０３は、ベクトル評価部１０４による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトルＶｎを算出する。

ベクトル評価部１０４は、反復勾配法演算部１０３からの動きベクトルＶｎ−１（または初期ベクトルＶ０）と、動きベクトルＶｎの評価値DFDを求め、求められた評価値DFDに基づいて、反復勾配法演算部１０３を制御し、勾配法の演算を繰り返し実行させ、最終的に、評価値DFDに基づく、信頼性の高いものを選択し、動きベクトルＶとして、検出ベクトルメモリ５３に記憶する。このとき、ベクトル評価部１０４は、動きベクトルＶとともに、その動きベクトルＶに対して求められた評価値DFDを、シフト初期ベクトル割付部１０５に供給する。

シフト初期ベクトル割付部１０５は、ベクトル評価部１０４より動きベクトルＶおよびその評価値DFDが供給されると、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。換言すると、シフト初期ベクトル割付部１０５は、動きベクトルＶの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトルを、シフト初期ベクトルとして設定する。そして、シフト初期ベクトル割付部１０５は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。

具体的には、シフト初期ベクトル割付部１０５は、シフト初期ベクトルとして割り付けられた動きベクトルＶの評価値DFDを、着目ブロックに対応させて、評価値メモリ１０６に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトルＶの評価値DFDと比較する。そして、シフト初期ベクトル割付部１０５は、評価値DFDに基づく、信頼度が高いとされた動きベクトルＶを、着目ブロックにシフトさせ、着目ブロックのシフト初期ベクトルとして、シフト初期ベクトルメモリ１０７に割り付ける。

次に、ベクトル検出部５２において用いられる勾配法の原理について説明する。まず、動画像中において、水平、垂直、時間軸を用いた座標（ｘ，ｙ，ｔ）で表される画素の輝度値をｇ（ｘ，ｙ，ｔ）とする。ここで、着目画素（ｘ₀，ｙ₀，ｔ₀）が、微小時間中に、（ｄｘ，ｄｙ，ｄｔ）だけ変位したとき、水平、垂直、時間軸の勾配（差分差）を、それぞれｇｘ（ｘ₀，ｙ₀，ｔ₀），ｇｙ（ｘ₀，ｙ₀，ｔ₀），ｇｔ（ｘ₀，ｙ₀，ｔ₀）と表すと、変位後の画素の輝度値は、Taylor展開近似を用いて、次の式（２）で表される。

ｇ（ｘ₀＋ｄｘ，ｙ₀＋ｄｙ，ｔ₀＋ｄｔ）
≒ ｇ（ｘ₀，ｙ₀，ｔ₀）＋ｇｘ（ｘ₀，ｙ₀，ｔ₀）ｄｘ
＋ ｇｙ（ｘ₀，ｙ₀，ｔ₀）ｄｙ＋ｇｔ（ｘ₀，ｙ₀，ｔ₀）ｄｔ
・・・（２）

ここで、動画像中のある着目画素が１フレーム後に水平ｖｘ，垂直ｖｙだけ移動した場合（以降、（ｖｘ，ｖｙ）と表す）、その画素の輝度値は、次の式（３）で表される。

ｇ（ｘ₀＋ｖｘ，ｙ₀＋ｖｙ，ｔ₀＋１） ＝ ｇ（ｘ₀，ｙ₀，ｔ₀）
・・・（３）

式（２）を式（３）に代入すると、次の式（４）で表される。

ｇｘ（ｘ₀，ｙ₀，ｔ₀）ｖｘ＋ｇｙ（ｘ₀，ｙ₀，ｔ₀）ｖｙ
＋ｇｔ（ｘ₀，ｙ₀，ｔ₀） ＝ ０
・・・（４）

式（４）は、ｖｘ，ｖｙの２変数の式であるので、着目１画素に対する単独の式では、その解を求めることができない。そこで、次に説明するように、着目画素の周辺領域であるブロックを１つの処理単位として考え、ブロック（周辺領域）内の全画素が同じ動き（ｖｘ，ｖｙ）をすると仮定し、各画素について同様の式を立てる。仮定が前提となるが、２変数に対して周辺画素の個数の式が得られる。したがって、それらの式を連立させ、ブロック内全画素の動き補償フレーム差分の自乗和が最小になるような（ｖｘ，ｖｙ）を求める。

画素（ｘ，ｙ，ｔ）が１フレーム間に（ｖｘ，ｖｙ）だけ移動したとき、その動き補償フレーム間差分dは、次の式（５）で表される。

ｄ ＝ ｇ（ｘ＋ｖｘ，ｙ＋ｖｙ，ｔ＋１）−ｇ（ｘ，ｙ，ｔ）
＝ Δｘｖｘ＋Δｙｖｙ＋Δｔ
・・・（５）

式（５）において、Δｘ=ｇｘ（ｘ，ｙ，ｔ）であり、水平方向の勾配を表し、Δｙ＝ｇｙ（ｘ，ｙ，ｔ）であり、垂直方向の勾配を表し、Δｔ＝ｇｔ（ｘ，ｙ，ｔ）であり、時間方向の勾配を表す。これらを用いて、動き補償フレーム間差分の自乗和をＥとすると、式（６）で表される。

Ｅ ＝ Σｄ²
＝ Σ（Δｘ²ｖｘ²＋Δｙ²ｖｙ²＋２ΔｘΔｙｖｘｖｙ
＋２ΔｘΔｔｖｘ＋２ΔｙΔｔｖｙ＋Δｔ²）
＝ｖｘ²ΣΔｘ²＋ｖｙ²ΣΔｙ²＋２ｖｘｖｙΣΔｘΔｙ
＋２ｖｘΣΔｘΔｔ＋２ｖｙΣΔｙΔｔ＋ΣΔｔ²
・・・（６）

ここで、Ｅが最小となる（ｖｘ，ｖｙ）は、各変数における偏微分値が０になるとき、すなわち、δＥ／δｖｘ＝δＥ／δｖｙ＝０の条件が成立するときなので、式（６）から、次の式（７）および式（８）となる。

ｖｘΣΔｘ²＋ｖｙΣΔｘΔｙ＋ΣΔｘΔｔ ＝ ０
・・・（７）
ｖｙΣΔｙ²＋ｖｘΣΔｘΔｙ＋ΣΔｙΔｔ ＝ ０
・・・（８）

これらの式（７）および式（８）から、求めたい動きである（ｖｘ，ｖｙ）は、次の式（９）を演算することにより求めることができる。

・・・（９）

以上の勾配法の原理を、図１３を参照して、具体的に説明する。図１３の例において、矢印Ｘは、水平方向を示しており、矢印Ｙは、垂直方向を示している。また、矢印Ｔは、図中、右奥の時刻ｔのフレームｔから、左手前の時刻ｔ＋１のフレームｔ＋１への時間の経過方向を示している。なお、図１３の例においては、各フレームは、着目画素ｐの周辺領域（ブロック）として、勾配法演算に用いられる８画素×８画素の領域のみ示されている。

フレームｔにおいて、左上の画素から下に５番目、右に５番目の画素である着目画素ｐの動きベクトルＶ（ｖｘ，ｖｙ）を、上述した勾配法を用いて求める場合、動きベクトルＶ（ｖｘ，ｖｙ）は、着目画素ｐのｘ，ｙ方向のそれぞれについて求められる隣接画素ｐｘおよびｐｙとの輝度の差分差（すなわち、勾配）ΔｘおよびΔｙ、フレームｔ＋１において求められる着目画素ｐの同位相に位置する画素ｑとの時間方向の輝度の差分差（勾配）Δｔを、着目画素ｐの周辺領域（８画素×８画素）のすべての画素について求め、それらの差分差を、式（９）を用いて演算することにより、求めることができる。

すなわち、勾配法とは、２フレーム間において、勾配Δｘ，Δｙ，およびΔｔを求め、求められたΔｘ，Δｙ，およびΔｔから、差分自乗和を用いて、統計的に、動きベクトルＶ（ｖｘ，ｖｙ）を算出するものである。

一般的に、このような勾配法を用いた動きベクトル検出方法においては、微小動きに対して精度の高い結果が得られる。しかしながら、実際の動画像の中で動きを求めようとするとする場合、この勾配法は、その動き量が大きすぎるため実用的とはいえない。これに対応して、この勾配法を複数回反復する方法が考えられる。勾配法を反復して実行することにより、各演算で求められる動き量が収束するため、徐々に正しい動きが求められる。

しかしながら、ただ、勾配法を反復するだけでは、リアルタイム処理を行おうとした場合、演算時間の面から実用的ではない。そこで、ベクトル検出部５２においては、過去フレームと現在フレームでの周辺画素の動きに基づいて求められる初期ベクトルを、初期値として用いることで、勾配法の繰り返し回数を軽減している。すなわち、動きの起点となる着目画素から、初期ベクトルが指す先へオフセットを予め加えることで大まかな動きを算出し、オフセットが加えられたその位置から勾配法を用いた演算を行うようにすれば、画素以下動きを含めた微調整を行うことができる。これにより、演算時間を増大させることなく、精度のよい動きベクトルを検出することができる。

図１４は、初期ベクトルを用いて実行される反復勾配法について具体的に説明する図である。図１４の例においては、矢印Ｔは、図中、左手前の時刻ｔのフレームｔから、右奥の時刻ｔ＋１のフレームｔ＋１への時間の経過を示している。なお、各画素ｐ，ｑ０，ｑ１，ｑ２，およびｑ３を中心としたブロックは、その画素の、勾配法演算に用いられる周辺領域（ブロック）を表している。

図１４の例の場合、フレームｔにおける着目画素ｐに対して、フレームｔ＋１においては、着目画素ｐの同位相に位置する画素ｑ０ではなく、予め求めておいた初期ベクトルｖ０をオフセット（移動）して計算した位置（画素）ｑ１を開始点として１回目の勾配法演算が行われ、その結果、動きベクトルｖ１が得られる。

次に、画素ｑ０からｖ０＋ｖ１をオフセットして計算した位置（画素）ｑ２を開始点として、２回目の勾配法演算が行われ、その結果、動きベクトルｖ２が得られる。これにより、最終的に動きベクトルＶは、式（１０）として求められる。

Ｖ ＝ ｖ０＋ｖ１＋ｖ２
・・・（１０）

以上のようにして、初期ベクトルを用いて、反復勾配法の演算を実行することにより、演算時間を短縮させつつ、精度の高い動きベクトルを求めることができる。

次に、図１５のフローチャートを参照して、動きベクトル検出処理の詳細について説明する。ベクトル検出部５２には、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１が入力される。

初期ベクトル選択部１０１は、ステップＳ１０１において、着目ブロックを選択する。すなわち、フレームｔ上の処理の対象となる１つのブロックが、着目ブロックとして選択される。なお、フレーム上においては、左上のブロックからラスタスキャン順に処理が実行される。

ステップＳ１０２において、初期ベクトル選択部１０１は、初期ベクトル選択処理を実行する。初期ベクトル選択部１０１は、ステップＳ１０１において、所定のブロック毎に、過去の動きベクトルの検出結果から、信頼度が高い動きベクトルを選択し、選択した動きベクトルを、勾配法に用いられる初期値となる初期ベクトルＶ０として、反復勾配法演算部１０３に出力する。

すなわち、初期ベクトル選択部１０１は、過去の勾配法演算評価処理（後述するステップＳ１０３）において求められ、検出ベクトルメモリ５３に記憶された周辺ブロックの動きベクトルや、過去のシフト初期ベクトル割付処理（後述するステップＳ１０４）においてシフト初期ベクトルメモリ１０７に記憶されたシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部１０１は、フレームｔとフレームｔ＋１を用いて、候補ベクトルの評価値DFDを求め、候補ベクトルの中から、求められた評価値DFDに基づいた信頼度が高いものを選択し、選択された候補ベクトルを、初期ベクトルＶ０として出力する。

ステップＳ１０３において、反復勾配法演算部１０３およびベクトル評価部１０４は、反復勾配法演算評価処理（なお、反復勾配法演算処理とも称する）を実行する。具体的には、ステップＳ１０３において、反復勾配法演算部１０３は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０と、プリフィルタ１０２−１および１０２−２を介して入力されるフレームｔおよびフレームｔ＋１を用いて、ベクトル評価部１０４による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトルＶｎを算出する。また、ベクトル評価部１０４は、反復勾配法演算部１０３からの動きベクトルＶｎ−１と、動きベクトルＶｎの評価値DFDを求め、求められた評価値DFDに基づく、最も信頼性の高いものを選択し、動きベクトルＶとして、検出ベクトルメモリ５３に記憶する。このとき、ベクトル評価部１０４は、動きベクトルＶとともに、その動きベクトルＶに対して求めた評価値DFDを、シフト初期ベクトル割付部１０５に供給する。

ステップＳ１０４において、シフト初期ベクトル割付部１０５は、シフト初期ベクトル割付処理を実行する。シフト初期ベクトル割付部１０５は、ベクトル評価部１０４より動きベクトルＶおよびその評価値DFDが供給されると、ステップＳ１０４において、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。すなわち、換言すると、動きベクトルＶの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトルが、シフト初期ベクトルとして設定される。そして、シフト初期ベクトル割付部１０５は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。

なお、具体的には、シフト初期ベクトル割付部１０５は、シフト初期ベクトルとして割り付けられた動きベクトルＶの評価値DFDを、着目ブロックに対応させて、評価値メモリ１０６に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトルＶの評価値DFDと比較し、評価値DFDに基づく、信頼度が高いとされた動きベクトルＶを、そのブロックにシフトさせてシフト初期ベクトルと設定し、シフトさせたブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。

ステップＳ１０５において、初期ベクトル選択部１０１は、フレームｔにおいて、すべてのブロックの処理が終了したか否かを判断し、すべてのブロックの処理が終了していないと判断した場合、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。また、ステップＳ１０５において、初期ベクトル選択部１０１は、フレームｔにおいて、すべてのブロックの処理が終了したと判断した場合、すなわち、フレームｔ上のすべてのブロックにおいて、動きベクトルＶが検出されたと判断し、動きベクトル検出処理を終了する。

以上のように、過去に検出された動きベクトルから初期ベクトルが選択され、選択された初期ベクトルに基づいて、反復勾配法の演算が用いられて、繰り返し動きベクトルが算出され、算出された動きベクトルの中から、評価値DFDに基づく、信頼度が高い（すなわち、最も確からしい）動きベクトルが検出される。この結果、検出ベクトルメモリ５３に、フレームｔ上のすべてのブロックに対応する動きベクトルＶが記憶される。

次に、ベクトル割付部５４の構成の詳細について説明する。

図１６は、ベクトル割付部５４の構成を示すブロック図である。図１６に構成を示すベクトル割付部５４は、２４Ｐ信号の入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、フレームｔ上において検出された動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号の内挿フレーム上の画素に割り付ける処理を行う。

図１６の例において、時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１は、画素情報演算部７０１および評価値演算部７０２に入力される。

画素情報演算部７０１は、検出ベクトルメモリ５３のフレームｔ上の画素に検出された動きベクトルを、左上の画素からラスタスキャン順に取得し、取得した動きベクトルを、次の時刻のフレームｔ＋１方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出する。そして、画素情報演算部７０１は、算出された動きベクトルと内挿フレームとの交点から、内挿フレーム上において、その動きベクトルの割付対象となる画素（以下、割付対象画素と称する）を設定し、動きベクトルおよび割付対象画素の位置の情報を、ベクトル選択部７０４に出力する。また、画素情報演算部７０１は、割付対象画素と、動きベクトルで対応付けられるフレームｔの位置Ｐおよびフレームｔ＋１上の位置Ｑを算出し、算出されたフレームｔおよびフレームｔ＋１上の位置情報を、評価値演算部７０２に出力する。

評価値演算部７０２は、画素情報演算部７０１から、割付対象画素と、動きベクトルで対応付けられるフレームｔおよびフレームｔ＋１上の位置情報を入力すると、フレームｔの位置Ｐおよびフレームｔ＋１の位置Ｑの評価値DFDを演算するため、割付対象画素の割付フラグが“True”かを判断する。評価値演算部７０２は、割付フラグが“True”であると判断した場合、動きベクトルに対する割付対象画素の評価値DFDを求め、求めた評価値DFDを、ベクトル評価部７０３に出力する。

ベクトル評価部７０３は、評価値判断部７１１を有している。評価値判断部７１１は、評価値演算部７０２から入力された割付対象画素の第１の評価値DFD_Aが、第２の評価値DFD_Bより小さいか否かを判断する。そして、評価値判断部７１１は、割付対象画素の評価値DFD_Aが、評価値DFD_Bより小さいと判断した場合に、割付対象画素が対応する動きベクトルの信頼度が高いと判断し、ベクトル選択部７０４に、割付対象画素の割付候補ベクトルに基づく評価値DFDaを出力する。

ベクトル選択部７０４は、ベクトル評価部７０３から割付対象画素の評価値DFDaを入力すると、画素情報演算部７０１からの割付対象画素の位置の情報に基づいて、割付フラグメモリ５６のフラグを１(True)に書き換える。また、ベクトル選択部７０４は、画素情報演算部７０１からの割付対象画素の位置の情報に基づいて、割付ベクトルメモリ５５の割付対象画素に、画素情報演算部７０１からの動きベクトルを割り付ける。

次に、動きベクトルの画素以下精度を説明する。上述した式（１）で表されるDFD評価の演算においては、フレームｔの画素位置ｐをベクトルｖ量分ずらした先のフレームｔ＋１上の位相ｐ＋ｖは、実際には、２４ｐ信号のフレームｔ＋１上の画素位置と一致しない場合が多く、その場合の輝度値は定義されていない。したがって、画素以下精度を有する動きベクトルｖに対する評価値DFDの演算を行うためには、画素以下の位相における輝度値を何らかの方法で生成しなければならない。

これに対応して、フレームｔの画素位置ｐをベクトルｖ量分ずらした先のフレームｔ＋１上の位相ｐ＋ｖに最も近い画素の輝度値をそのまま用いる方法がある。しかしながら、この方法では、評価する動きベクトルの画素以下成分を丸めてしまうため、動きベクトルの画素以下成分を捨てていることになり、これにより求められた評価値DFDの信頼度は、低くなってしまう。

そこで、本発明の実施の形態においては、周辺４画素の輝度値による４点補間処理を用いている。図１７は、本発明の実施の形態の４点補間処理の概念を示す図である。図１７においては、矢印Ｘが、フレームｔ＋１における水平方向を示しており、矢印Ｙが、フレームｔ＋１における垂直方向を示している。このフレームｔ＋１において、白丸は、フレームｔ＋１上の画素位置を表しており、黒点は、画素以下の位置を表している。また、フレームｔ＋１上における最左上の黒点ｐ＋ｖとその周辺４画素は、ウインドウＥに拡大して示されている。ウインドウＥにおいて、白丸内のアルファベットは、周辺４画素の輝度値を示している。

このフレームｔ＋１における最左上の黒点ｐ＋ｖが、フレームｔの画素位置ｐをベクトルｖ量分ずらした先の位相ｐ＋ｖとすると、位相ｐ＋ｖの輝度値Ｆ_t+1（ｐ＋ｖ）は、位相ｐ＋ｖの水平方向の画素以下成分αおよび垂直方向の画素以下成分β、並びに、位相ｐ＋ｖの周辺４画素の輝度値Ｌ０乃至Ｌ３を用いて、周辺４画素の距離の逆比の和で求められる。すなわち、輝度値Ｆ_t+1（ｐ＋ｖ）は、次の式（１１）で表される。

Ｆ_t+1（ｐ＋ｖ） ＝ （１―α）（１−β）Ｌ０＋α（１−β）Ｌ１
＋（１−α）βＬ２＋αβＬ３ ・・・（１１）

以上のように、４点補間処理により求められる輝度値Ｆ_t+1（ｐ＋ｖ）を用いて、評価値DFDの演算を行うことにより、ハードウェア実装上のコストを引き上げることなく、評価値DFDの信頼度の低下を抑制することができる。なお、以下においては、ベクトル割付の際の評価値DFDの演算において、この４点補間を適用した例を説明するが、もちろん、上述した初期ベクトル選択処理やベクトル検出処理、または、後述する割付補償処理などのベクトルを評価する場合の評価値DFDの演算においても、この４点補間は適用される。

次に、ベクトル割付処理の概念を説明する。例えば、２４Ｐ信号上でオブジェクトが速度ｖで動いており、任意の２フレーム間で、このオブジェクトの動きについて等速仮定が成り立つと仮定した場合に、２４Ｐ信号のフレーム間に、新しくフレームを内挿することを考える。この場合、２４Ｐ信号のオブジェクトから動きベクトルｖを延ばすと、動きベクトルｖと内挿フレームとの交点は、同じオブジェクトであり、同じ速度ｖを有する。

したがって、ベクトル検出部５３で検出された２４Ｐ信号のフレーム（以下、内挿フレームに対して、元フレームとも称する）の動きベクトルを、その動きベクトルと、内挿する６０Ｐ信号の内挿フレーム上との交点に割り付けることで、内挿フレーム上の各画素の動きを求めることができる。また、逆に、割り付けられた動きベクトルから、内挿フレーム上の画素が２４Ｐ信号フレーム上でどの位置から動いたものなのかを求めることができる。

図１８は、２４Ｐ信号の元フレームで検出された動きベクトルと、６０Ｐ信号の内挿フレーム上の画素の例を１次元で示している。図１８の例においては、２つの２４Ｐ信号の時刻ｔのフレームｔおよび時刻ｔ＋１のフレームｔ＋１の間に、例えば、時刻ｔ＋０．４の内挿フレームＦ１、および時刻ｔ＋０．８の内挿フレームＦ２が２つ挿入されている。なお、この内挿フレームの位置は、上述したように、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に、６０Ｐ信号のフレームが置かれることから、信号処理装置３において予め設定されている。

各フレーム上の丸は、各画素を示している。前段のベクトル検出部５２によりフレームｔにおいて検出された動きベクトルｖ１、ｖ２、およびｖ３が、フレームｔ＋１方向に延ばされている。これらの動きベクトルを内挿フレームＦ１およびＦ２の各画素に割り付ける場合、内挿フレーム上の各画素の近傍を通る動きベクトルは、その画素に割り付けられる候補ベクトル（以下、割付候補ベクトルとも称する）とされる。

したがって、フレームｔの最も左側の画素から、フレームｔ＋１の左から４番目と５番目の画素近傍への動きベクトルｖ１は、内挿フレームＦ１上の左から２番目と３番目の画素の間、内挿フレームＦ２上の左から３番目と４番目の画素の間を通っている。したがって、動きベクトルｖ１は、動きベクトルｖ１が内挿フレームＦ１およびＦ２を交差する点の近傍Ｎ１に含まれる画素（内挿フレームＦ１の左から２番目と３番目の画素および内挿フレームＦ２の左から３番目と４番目の画素）に割り付けられる割付候補ベクトルとなる。

また、フレームｔの左から３番目の画素から、フレームｔ＋１の左から２番目と３番目の画素近傍への動きベクトルｖ２は、内挿フレームＦ１上の左から２番目と３番目の画素の間、内挿フレームＦ２上の左から２番目と３番目の画素の間を通っている。したがって、動きベクトルｖ２は、動きベクトルｖ２が内挿フレームＦ１およびＦ２を交差する点の近傍領域Ｎ２に含まれる画素（内挿フレームＦ１の左から２番目と３番目の画素および内挿フレームＦ２の左から２番目と３番目の画素）に割り付けられる割付候補ベクトルとなる。

さらに、フレームｔの左から５番目の画素から、フレームｔ＋１の左から４番目と５番目の画素近傍への動きベクトルｖ３は、内挿フレームＦ１上の左から４番目と５番目の画素の間、内挿フレームＦ２上の左から４番目と５番目の画素の間を通っている。したがって、動きベクトルｖ３は、動きベクトルｖ３が内挿フレームＦ１およびＦ２を交差する点の近傍領域Ｎ３に含まれる画素（内挿フレームＦ１の左から４番目と５番目の画素および内挿フレームＦ２の左から４番目と５番目の画素）に割り付けられる割付候補ベクトルとなる。

すなわち、内挿フレームＦ２の左から２番目の画素の割付候補ベクトルは、動きベクトルｖ２であり、内挿フレームＦ１上の左から２番目および３番目の画素、並びに内挿フレームＦ２の左から３番目の画素の割付候補ベクトルは、動きベクトルｖ１およびｖ２である。また、内挿フレームＦ２の左から４番目の画素の割付候補ベクトルは、動きベクトルｖ１およびｖ３であり、内挿フレームＦ１上の左から４番目および５番目の画素、並びに内挿フレームＦ２の左から５番目の画素の割付候補ベクトルは、動きベクトルｖ３である。

以上のように、元フレームにおいて検出された動きベクトルの中から、内挿フレーム上の各画素に割り付けられる割付候補ベクトルが求められる。なお、内挿フレームＦ１およびＦ２の左端の画素および右端の画素（図中黒丸）においては、近傍を通る動きベクトルは、示されていない。すなわち、内挿フレームＦ１およびＦ２の左端の画素および右端の画素には、割り付けられる割付候補ベクトルが存在しない。したがって、これらの画素については、後述する後段の割付補償部５７において割付補償処理が実行される。

さらに、図１９を参照して、元フレームで検出された動きベクトルと、６０Ｐ信号の内挿フレーム上の画素について詳しく説明する。図１９の例において、矢印Ｔは、図中、左前の時刻ｔのフレームｔから、右奥の時刻ｔ＋１のフレームｔ＋１への時間の経過方向を示している。また、時刻ｔと時刻ｔ＋１の間の時刻ｔ＋ｐｏｓ_tに内挿フレームＦ１が置かれている。

図１９の例の場合、フレームｔ上の画素（ｘ_a，ｙ_a）で検出された動きベクトルｖ_a（ｘ_va，ｙ_va）をフレームｔ＋１方向に延ばし、内挿フレームＦ１との交点（ｘ_ia，ｙ_ia）を演算する。交点は、２４Ｐ信号のフレームｔ上の動きベクトルｖ_aの端点にあたる画素が移動した点であると考えられるので、具体的には、式（１２）および式（１３）のように表される。

ｘ_ia ＝ ｘ_a＋ｐｏｓ_tｘ_va ・・・（１２）
ｙ_ia ＝ ｙ_a＋ｐｏｓ_tｙ_va ・・・（１３）

ここで、上述したように、動きベクトルｖ_aが画素以下精度を有する場合には、動きベクトルｖ_aの交点と、内挿フレームＦ１上の画素位置は、一致するとは限らない。一致しない場合、図１９に示されるように、動きベクトルｖ_aは、内挿フレームＦ１上の交点の近傍４画素Ｇ１乃至Ｇ４に対して割り付けられる。すなわち、動きベクトルｖ_aは、近傍の各画素Ｇ１乃至Ｇ４上にシフト（平行移動）されて、それぞれの画素に対して割り付けられる割付候補ベクトルとされ、割付補償処理が実行される。

なお、このように、１つの動きベクトルが、近傍４画素に対して割り付けられる候補となることもあるため、画素によっては、複数の動きベクトルが割付候補ベクトルとされる。この場合、ベクトル割付部５４は、各動きベクトルについて、内挿フレーム上の画素と、その動きベクトルで対応付けられる元フレーム上の交点を算出し、その交点を用いて、各動きベクトルを評価することにより、最終的に、内挿フレーム上の画素に、割り付ける動きベクトルを決定する。

図２０を参照して、ベクトル割付部５４における動きベクトルの評価について説明する。図２０は、下から、図１９の時刻ｔのフレームｔ、時刻ｔ＋ｐｏｓ_tの内挿フレームＦ１、および、時刻ｔ＋１のフレームｔ＋１を、１次元的に示している。

図２０の例において、動きベクトルｓｖ_aは、フレームｔ上の画素（ｘ_a，ｙ_a）において検出された動きベクトルｖ_aが、近傍の画素Ｇ４の割付候補ベクトルとして、画素Ｇ４上にシフト（平行移動）されたものである。ここで、画素Ｇ４上にシフトされた動きベクトルｓｖ_aと、フレームｔおよびフレームｔ＋１との交点を、それぞれ点Ｐおよび点Ｑとする。

内挿フレームの画素における割付候補の動きベクトルを評価するためには、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が用いられるが、評価値DFDを求める際に、割付候補の動きベクトルは、内挿フレームの画素位置を基準に延長するため、動きベクトルと元フレーム上の交点は、元フレームの画素位置と一致しないことがあり、このままでは画素値を求めることができない。このような場合に、図１７を参照して上述した４点補間処理が実行される。

図２１は、ベクトル割付処理における４点補間の例を示している。図２１において、図１９および図２０における場合と対応する部分には対応する符号を付してあり、その説明は繰り返しになるので省略する。

図２１の例においては、割付候補の動きベクトルｓｖ_aは、内挿フレームＦ１の画素位置Ｇ４を基準に延長されているため、動きベクトルｓｖ_aとフレームｔとの交点Ｐは、フレームｔ上の画素位置（フレームｔ上の白丸）と一致しておらず、また、動きベクトルｓｖ_aとフレームｔ＋１との交点Ｑも、フレームｔ＋１上の画素位置（フレームｔ上の白丸）と一致していない。したがって、フレームｔおよびフレームｔ＋１においては、それぞれ交点Ｐおよび交点Ｑを中心とした近傍Ｅの４画素（フレームｔおよびフレームｔ＋１上の白丸）を用いて、上述した４点補間演算が行なわれ、交点Ｐおよび交点Ｑの画素値が求められる。

このように、このベクトル割付処理においては、４点補間処理により求められる交点Ｐおよび交点Ｑの画素値が用いられて、評価値DFDが演算されるので、従来の画素以下成分を丸めてしまう方法よりも、評価値DFDを精度よく求めることができる。

次に、図２２のフローチャートを参照して、ベクトル割付処理の詳細を説明する。２４Ｐ信号の元フレームである、時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１は、画素情報演算部７０１および評価値演算部７０２に入力される。

画素情報演算部７０１は、新しい元フレームが入力されると、ベクトル選択部７０４を制御し、ステップＳ７０１において、割付フラグメモリ５６の割付フラグを０(False)で初期化させる。また、ステップＳ７０２において、ベクトル選択部７０５は、画素情報演算部７０１により制御され、割付ベクトルメモリ５５を０ベクトルで初期化する。これにより、結果的に、動きベクトルが割り付けられない画素に、０ベクトル（動きが０であることを意味する動きベクトル）が割り付けられる。

画素情報演算部７０１は、ステップＳ７０３において、検出ベクトルメモリ５３上の元フレームから画素を選択する。なお、この場合、フレームの左上からラスタスキャン順に画素が１つずつ順次選択される。

画素情報演算部７０１は、ステップＳ７０４において、画素位置演算処理を実行する。この画素位置演算処理の詳細は図２３を参照して後述するが、これにより、ステップＳ７０３において選択された１つの画素において検出された動きベクトルが割り付けられる対象となる内挿フレーム上の割付対象画素が算出され、算出された割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が算出される。

画素情報演算部７０１は、ステップＳ７０５において、算出された割付対象画素を選択し、選択した割付対象画素と、その動きベクトルを、ベクトル選択部７０４に出力する。このとき、同時に、画素情報演算部７０１は、選択した１つの割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置の情報を、評価値演算部７０２に出力する。なお、ステップＳ７０５において、画素情報演算部７０１は、割付対象画素が複数存在する場合には、左上の画素から選択する。

ステップＳ７０６において、画素情報演算部７０１は、選択された割付対象画素に関して、割付ベクトル評価処理を実行する。この割付ベクトル評価処理の詳細は図２４を参照して後述するが、これにより、割付対象画素における動きベクトルの評価値DFDが求められ、割付対象画素における動きベクトルの信頼度が判断され、これらの判断の結果、信頼度が高いとされた動きベクトルで、割付ベクトルメモリ５５の動きベクトルが書き換えられる。

画素情報演算部７０１は、ステップＳ７０７において、すべての割付対象画素の処理が終了したか否かを判断する。すべての割付対象画素の処理がまだ終了していない場合には、処理はステップＳ７０５に戻り、次の割付対象画素が選択され、それ以降の処理が繰り返される。

ステップＳ７０７において、すべての割付対象画素の処理が終了したと判断された場合、画素情報演算部７０１は、ステップＳ７０８において、検出ベクトルメモリ５３上の元フレームのすべての画素の処理を終了したかを判断する。ステップＳ７０８において、検出ベクトルメモリ５３上の元フレームのすべての画素の処理がまだ終了していないと判断された場合、処理はステップＳ７０３に戻り、検出ベクトルメモリ５３上の元フレームの次の画素が１つ選択され、それ以降の処理が繰り返される。また、画素情報演算部７０１は、ステップＳ７０８において、検出ベクトルメモリ５３のすべての画素についての処理を終了したと判断した場合、ベクトル割付処理を終了する。

次に、図２３のフローチャートを参照して、図２２のステップＳ７０４の画素位置演算処理の詳細を説明する。

ステップＳ７２１において、画素情報演算部７０１は、ステップＳ７０３の処理により選択された画素について検出された動きベクトルを、検出メモリベクトル５３から取得する。なお、選択された画素の動きベクトルが０ベクトルである場合、割付ベクトルメモリ５５には、初期値として０ベクトルが予め記憶されているので、以降のステップＳ７２２乃至Ｓ７２４、および、図２２のステップＳ７０５乃至Ｓ７０７の処理はスキップされ、処理は、ステップＳ７０８に進む。

画素情報演算部７０１は、ステップＳ７２２において、取得された動きベクトルと内挿フレームの交点を算出する。すなわち、画素情報演算部７０１は、取得した動きベクトルを、次フレームｔ＋１方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出する。

画素情報演算部７０１は、ステップＳ７２３において、動きベクトルと内挿フレームから算出された交点から、割付対象画素を設定する。このとき、画素情報演算部７０１は、交点が内挿フレーム上の画素位置と一致する場合には、交点を、割付対象画素に設定する。一方、画素情報演算部７０１は、交点が内挿フレーム上の画素位置と一致しない場合には、上述したように、内挿フレーム上の交点の近傍４画素を、割付対象画素に設定する。

ステップＳ７２４において、画素情報演算部７０１は、評価値演算部７０２が評価値DFDを求める上で必要である、各割付対象画素を基準に、取得された動きベクトルで対応付けた元フレーム上の位置を算出する。具体的には、画素情報演算部７０１は、ステップＳ７２４において、取得された動きベクトルを、設定された割付対象画素にシフト（平行移動）し、シフトされた動きベクトルと、元フレーム上の交点の位置を求め、画素位置演算処理を終了する。その後、処理は図２２のステップＳ７０５に戻る。

次に、図２４を参照して、図２２のステップＳ７０６における割付ベクトル評価処理の詳細について説明する。

ステップＳ７４１において、評価値演算部７０２は、割付対象画素の割付フラグが“True”かを判定する。割付フラグがTrue(1)である場合（動きベクトルが割付けられている場合）、ステップＳ７４２において、評価値演算部７０２は、割付候補ベクトルVaによる評価値DFDaを演算する。次に、ステップＳ７４３において、ベクトル選択部７０４は、割付ベクトルメモリから割付対象画素の仮割付ベクトルVbを読み出す。ステップＳ７４４において、ステップＳ７４３の処理で読み出された仮割付ベクトルVbによる評価値DFDbが、評価値演算部７０２により演算される。

割付対象画素の割付フラグが“True”である場合、例えば、図２５に示されるように、割付対象画素Ｇに対する割付候補ベクトルVaが存在する。そして、図２６に示されるように、この割付候補ベクトルVaによる評価値DFDaが演算される。さらに、割付対象画素Ｇに対する仮割付ベクトルVbが読み出される。

ステップＳ７４５において、評価値演算部７０２は、仮割付ベクトルVbの始点に割付候補ベクトルVaをシフトした場合の評価値DFDa’を演算する。ステップＳ７４６において、評価値演算部７０２は、割付候補ベクトルVaの始点に仮割付ベクトルVbをシフトした場合の評価値DFDb’を演算する。

すなわち、図２５に示されるように、フレームｔ上に存在する割付候補ベクトルVaの始点が仮割付ベクトルVbの始点の位置と一致するように、割付候補ベクトルVaが平行移動（シフト）され、ベクトルVa’が生成される。同様に、フレームｔ上の仮割付ベクトルVbの始点が割付候補ベクトルVaの始点と一致するように、仮割付ベクトルVbが平行移動（シフト）されて、ベクトルVb’が生成される。

さらに、図２６に示されるように、ベクトルVaの評価値DFDaと同様に、シフトして生成されたベクトルVa’の評価値DFDa’が演算される。また、仮割付ベクトルVbの評価値DFDbと同様に、シフトして生成されたベクトルVb’の評価値DFDb’が演算される。

次に、ステップＳ７４７において、評価値演算部７０２は次式に従って、評価値DFDaと評価値DFDa’の和である評価値DFD_Aと、評価値DFDbと評価値DFDb’の和である評価値DFD_Bを演算する。

DFD_A＝DFDa＋DFDa’ ・・・（１４）
DFD_B＝DFDb＋DFDb’ ・・・（１５）

ステップＳ７４８において、評価値判断部７１１は、ステップＳ７４７の処理で演算された評価値DFD_Aが評価値DFD_Bより小さいかを判定する。評価値DFD_Aが評価値DFD_Bより小さい場合には、ステップＳ７４９において、ベクトル選択部７０４は割付フラグに“True”を設定する。ステップＳ７５０において、ベクトル選択部７０４は、割付ベクトルメモリ５５の割付対象画素のベクトルをVaに書き換える。

ステップＳ７４１において、割付対象画素の割付フラグが“True”でないと判定された場合（“False(0)”であると判定された場合）、ステップＳ７４２乃至Ｓ７４８の処理はスキップされ、ステップＳ７４９，Ｓ７５０の処理が実行される。

ステップＳ７４８において、評価値DFD_Aが評価値DFD_Bの値と等しいかそれより大きいと判定された場合、ステップＳ７４９，Ｓ７５０の処理はスキップされる。

その後、処理は図２２のステップＳ７０７に戻る。

図２５と図２６の実施の形態においては、割付候補ベクトルVaの始点を仮割付ベクトルVbの始点に一致するように平行移動させてベクトルVa’を生成し、仮割付ベクトルVbの始点を割付候補ベクトルVaの始点と一致するように平行移動することでベクトルVb’を生成し、それぞれの評価値DFDa’，DFDb’を演算するようにしたが、例えば、図２７に示されるように、割付候補ベクトルVaの終点が仮割付ベクトルVbの始点と一致するように平行移動してベクトルVa’’を生成し、同様に、割付候補ベクトルVaの始点に仮割付ベクトルVbの終点が一致するように仮割付ベクトルVbを平行移動することでベクトルVb’’を生成し、それぞれの評価値DFDa’’，DFDb’’を演算し、次式に従って、評価値DFD_A，DFD_Bを演算するようにしても良い。

DFD_A＝DFDa＋DFDa’’ ・・・（１６）
DFD_B＝DFDb＋DFDb’’ ・・・（１７）

図２５に示されるように、ベクトルVa’，Vb’は、フレームｔからフレームｔ＋１に向かうベクトルとなるのに対して、図２７に示されるように、ベクトルVa’’とベクトルVb’’は、それぞれフレームｔ−１からフレームｔに向かうベクトルとなる。

さらに、図２８に示されるように、ベクトルVa’,Vb’とベクトルVa’’，Vb’’の両方を用いて次式に示されるように評価値を演算することもできる。

DFD_A＝DFDa＋DFDa’＋DFDa’’ ・・・（１８）
DFD_B＝DFDb＋DFDb’＋DFDb’’ ・・・（１９）

以上のようにして、割付候補ベクトルVaの評価値DFDaと仮割付ベクトルVbの評価値DFDbを直接比較するのではなく、割付候補ベクトルVaからベクトルVa’と、必要に応じてさらにベクトルVa’’を生成し、同様に、仮割付ベクトルVbからベクトルVb’，Vb’’を生成し、それぞれの複数の評価値DFDa’と必要に応じてさらにベクトルDFDa’’、あるいは評価値DFDb’，DFDb’’を演算して、複数の評価値を統合して比較することにより、割付ベクトルを正確に選択することが可能となる。その結果、フレーム変換画像の画質の劣化を抑制することが可能となる。

次に、割付補償部５７の構成の詳細について説明する。

図２９は、割付補償部５７の構成を示すブロック図である。図２９に構成を示す割付補償部５７は、割付ベクトル判定部８０１およびベクトル補償部８０２により構成され、ベクトル割付部５４により動きベクトルが割り付けられなかった６０Ｐ信号の内挿フレーム上の画素に、その周辺画素の動きベクトルを補って割り付ける処理を行う。

前段のベクトル割付部５４により、割付ベクトルメモリ５５上の内挿フレームの画素には動きベクトルが割り付けられている。また、ベクトル割付部５４により動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグには、１(True)が書き込まれており、動きベクトルが割り付けられなかった画素の割付フラグメモリ５６の割付フラグには、０(False)が書き込まれている。

割付ベクトル判定部８０１は、割付フラグメモリ５６の割付フラグを参照し、着目画素に、ベクトル割付部５４により動きベクトルが割り付けられているか否かを判定する。そして、割付ベクトル判定部８０１は、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素を選択し、選択した着目画素に対して、ベクトル補償部８０２を制御し、その着目画素の周辺画素の動きベクトルを選択して、割付ベクトルメモリ５５の内挿フレーム上に割り付けさせる。

ベクトル補償部８０２は、割付ベクトルメモリ５５から、着目画素の周辺画素に割り付けられている動きベクトルを取得し、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、取得した動きベクトルの評価値DFDを求めて比較することにより、着目画素の周辺画素に割り付けられた動きベクトルのうち、評価値DFDに基づく、最も信頼度が高い動きベクトルを、割付ベクトルメモリ５５の着目画素に割り付ける。また、ベクトル補償部８０２は、動きベクトルが割り付けられた着目画素の割付フラグを１(True)に書き換える。

図３０は、ベクトル補償部８０２の構成を示すブロック図である。図３０に構成を示すベクトル補償部８０２は、補償処理部８１１および評価値演算部８１２により構成される。

補償処理部８１１は、最小評価値DFDと、最小評価値DFDの動きベクトルを候補ベクトル（以下、補償候補ベクトルとも称する）として記憶するメモリ８２１を有しており、割付ベクトル判定部８０１により選択された着目画素の初期値として、０ベクトルの評価値DFDを最小評価値としてメモリ８２１に記憶し、０ベクトルを、補償候補ベクトルとしてメモリ８２１に記憶する。補償処理部８１１は、割付フラグメモリ５６を参照して、着目画素の周辺画素の動きベクトルの有無を判断し、割付ベクトルメモリ５５から、周辺画素に割り付けられている動きベクトルを取得し、評価値演算部８１２を制御し、その動きベクトルの評価値DFDを演算させる。

また、補償処理部８１１は、評価値演算部８１２により演算された評価値DFDがメモリ８２１に記憶されている最小評価値よりも小さいか否かを判断し、演算された評価値DFDが最小評価値よりも小さいと判断した場合、メモリ８２１の補償候補ベクトルと最小評価値を、演算された評価値DFDとその動きベクトルに書き換え、最終的に、評価値DFDが最も小さいと判断された周辺画素の動きベクトル（補償候補ベクトル）を、着目画素の動きベクトルとして、割付ベクトルメモリ５５の着目画素に割り付ける。さらに、補償処理部８１１は、動きベクトルが割り付けられた着目画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。

評価値演算部８１２は、割付ベクトルメモリ５５から周辺画素の動きベクトルを取得すると、入力される時刻ｔの２４Ｐ信号の画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、割付ベクトルメモリ５５からの動きベクトルの評価値DFDを演算し、演算した評価値DFDを補償処理部８１１に出力する。

図３１は、割付補償処理の原理を説明する図である。図３１の例においては、内挿フレーム上の各画素が示されている。画素から出力される矢印は、各画素に割り付けられている動きベクトルを表しており、矢印がない画素は、動きベクトルが割り付けられていない画素を表している。

ここで、前段のベクトル割付部５４により動きベクトルの割り付けられなかった中央の着目画素Ｐに対して、着目画素Ｐの近傍の周辺画素に割り付けられている動きベクトルの中から、評価値DFDに基づく、信頼度が高いものを選択して割り付ける。図３１の例の場合、着目画素Ｐには、着目画素Ｐの上の画素の動きベクトル（太線矢印）が選択され、割り付けられている。これは、次に説明する動き相関に基づいて実行される処理である。

図３２は、動き相関の原理について説明する図である。図３２の例においては、あるフレーム上を動きｖ１で動くオブジェクトＯ１と、動きｖ２で動くオブジェクトＯ２が示されている。オブジェクトＯ１に属している着目画素Ｐ１とその近傍Ｋ１は、オブジェクトＯ１とほぼ同一動きｖ１を有している。また、オブジェクトＯ２に属している着目画素Ｐ２とその近傍Ｋ２は、オブジェクトＯ２とほぼ同じ動きｖ２を有している。

このように、動き相関とは、ある同じ時間における空間内（同一フレーム内）において、あるオブジェクトに属する画素の動きは、ほぼ同一動きをしていることが多いということを表すものである。したがって、動きベクトルを割り付けることができなかった画素に対しては、ある同じ時刻における空間内（同一フレーム内）において、このような動き相関があることを利用して、周辺画素の動きベクトルから、その画素の対応する動きベクトルを選択することができる。なお、説明は省略するが、時間方向の相関も同様である。

次に、図３３乃至図３９を参照して、動き相関に基づいて実行される動きベクトルの補償処理について説明する。この処理は、周辺画素の動きベクトルから、動きベクトルを選択し、着目画素の動きベクトルとして補う処理である。図３３の例においては、白丸は、内挿フレーム上の画素を表しており、動きベクトルを求めようとしている着目画素Ｐの周辺に、周辺８画素が示されている。この着目画素Ｐの動きベクトルは、この周辺８画素の動きベクトルを参照して求められる。

図３４の例においては、着目画素Ｐの周辺８画素の中で、左上画素、右上画素、および、右下画素（図中黒丸で示される画素）に、前段の処理（例えば、上述したベクトル割付処理）などにより求められた動きベクトル（矢印）が示されている。すなわち、この場合の着目画素Ｐの補償候補ベクトルは、左上画素、右上画素、および、右下画素の動きベクトルとされる。なお、フレーム上において、動きベクトルは、フレーム上の左上の画素からラスタスキャン順に求められていくため、周辺８画素のうち、まだ動きベクトルの求められていない画素も存在する可能性もあるが、まだ動きベクトルは求められていないため、補償候補ベクトルにはできない。

ここで、図３５の例に示されるように、周辺８画素の中には、前段の処理において求められた動きベクトルを有する画素（黒丸で示される画素）の他に、本処理により求められた動きベクトルを有する画素（ハッチングされた丸で示される画素）も存在する。すなわち、本処理においては、本処理自体の前段の結果も利用される。したがって、図３５の例の場合の着目画素Ｐの補償候補ベクトルは、動きベクトルがすでに存在する画素（黒丸で示される画素）の動きベクトルと、前段の本処理により求められた動きベクトルを有する画素（ハッチングされた丸で示される画素）の動きベクトルにより構成されている。

また、図３６の例に示されるように、動き量を０とした０ベクトル（静止ベクトル）Ｓ０も補償候補ベクトルとして利用することができる。なお、図３５の例においては、本処理により求められた動きベクトルを有する画素と、動きベクトルがすでに存在する画素を別々に表したが、どちらも動きベクトルを有するという点で同じであるので、図３６乃至図３９においては、本処理により求められた動きベクトルを有する画素も、動きベクトルがすでに存在する画素（黒丸で示される画素）に含まれることとする。したがって、図３６の例の場合、着目画素Ｐの補償候補ベクトルは、動きベクトルがすでに存在する画素（黒丸で示される画素）の動きベクトルおよび０ベクトルＳ０により構成されている。

以上のようにして構成される補償候補ベクトルの信頼度（確からしさ）を比較するために、動きベクトルの評価方法である評価値DFDは、以下の図３７乃至図３９に示されるようにして求められる。図３７は、補償候補ベクトルとして、０ベクトルＳ０が用いられる例を示している。図３８は、補償候補ベクトルとして、周辺８画素の左上画素の動きベクトルＶＫ１が用いられる例を示している。図３９は、補償候補ベクトルとして、周辺８画素の上中央画素の動きベクトルＶＫ２が用いられる例を示している。

図３７の例においては、図中左側に示される着目画素Ｐの補償候補ベクトルの中から、０ベクトルＳ０が選択され、選択された０ベクトルＳ０の評価値DFDを求める例が示されている。すなわち、０ベクトルＳ０に対する評価値DFDは、着目画素Ｐ（６０Ｐ信号の内挿フレーム）を挟む、２４Ｐ信号のフレームｔとフレームｔ＋１上において、内挿フレーム上の着目画素Ｐを基準にして、選択された０ベクトルＳ０が対応付けられる交点を求め、この交点を中心として所定の範囲（ｍ×ｎ）のDFD演算範囲Ｄ１−１（フレームｔ上の範囲）およびＤ１−２（フレームｔ＋１上の範囲）を算出し、算出されたDFD演算範囲Ｄ１−１およびＤ１−２を用いて、上述した式（１）を演算することにより求められる。

図３８の例においては、図中左側に示される着目画素Ｐの補償候補ベクトルの中から、周辺８画素の左上画素の動きベクトルＶＫ１が選択され、選択された動きベクトルＶＫ１の評価値DFDを求める例が示されている。すなわち、周辺８画素の左上画素の動きベクトルＶＫ１に対する評価値DFDは、着目画素Ｐ（内挿フレーム）を挟むフレームｔとフレームｔ＋１上において、内挿フレーム上の着目画素Ｐを基準にして、選択された動きベクトルＶＫ１が対応付けられる交点を求め、この交点を中心として所定の範囲（ｍ×ｎ）のDFD演算範囲Ｄ２−１（フレームｔ上の範囲）およびＤ２−２（フレームｔ＋１上の範囲）を算出し、算出されたDFD演算範囲Ｄ２−１およびＤ２−２を用いて、上述した式（１）を演算することにより求められる。

図３９の例においては、図中左側に示される着目画素Ｐの補償候補ベクトルの中から、補償候補ベクトルとして、周辺８画素の上中央画素の動きベクトルＶＫ２が選択され、選択された動きベクトルＶＫ２の評価値DFDを求める例が示されている。すなわち、周辺８画素の上中央画素の動きベクトルＶＫ２に対する評価値DFDは、着目画素Ｐ（内挿フレーム）を挟むフレームｔとフレームｔ＋１上において、内挿フレーム上の着目画素Ｐを基準にして、選択された動きベクトルＶＫ２が対応付けられる交点を求め、この交点を中心として所定の範囲（ｍ×ｎ）のDFD演算範囲Ｄ３−１（フレームｔ上の範囲）およびＤ３−２（フレームｔ＋１上の範囲）を算出し、算出されたDFD演算範囲Ｄ３−１およびＤ３−２を用いて、上述した式（１）を演算することにより求められる。

なお、図中左側に示される他の補償候補ベクトルについても、基本的に同様の処理であるため、その説明は省略するが、以上のようにして、着目画素Ｐの周辺画素の補償候補ベクトルすべての評価値DFDが求められ、求められたそれらの評価値DFDが比較され、その中で、最も評価値DFDが最小となる補償候補ベクトルが、図４０に示されるように、着目画素Ｐに割り付けられる最も信頼度がある、確からしい動きベクトルとして選択される。

図４０の例の場合、着目画素Ｐの周辺画素の補償候補ベクトルの中から、周辺８画素の左上画素の動きベクトルＶＫ１の評価値DFDが最も小さいとして判断され、動きベクトルＶＫ１が、着目画素Ｐの動きベクトルとして選択され、割り付けられている。

以上のように、ベクトル割付部５４において割り付けることができなかった画素の動きベクトルを、動き相関を利用して、周辺画素の動きベクトルから補償するようにしたので、動きベクトルが割り付けられず、例えば、０ベクトルが割り付けられていたような場合よりも、動きの乱れを抑制することができる。また、このようにして補償された画素の動きベクトルも、他の画素の補償候補ベクトルとして再度利用することができる。すなわち、空間方向の近傍の動きベクトルだけでなく、時間方向の近傍の動きベクトルも、補償候補ベクトルに用いることができるので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択され、誤りの少ない安定した動きベクトルを得ることができる。これにより、ベクトル割付の精度が向上する。

次に、図４１のフローチャートを参照して、図９のステップＳ４の割付補償処理の詳細を説明する。前段のベクトル割付部５４により、割付ベクトルメモリ５５上の内挿フレームの画素には動きベクトルが割り付けられている。また、ベクトル割付部５４により動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグには、１(True)が書き込まれており、動きベクトルが割り付けられなかった画素の割付フラグメモリ５６の割付フラグには、０(False)が書き込まれている。

割付ベクトル判定部８０１は、ステップＳ８０１において、割付フラグメモリ５６の内挿フレームの画素を、着目画素として選択し、ステップＳ８０２に進む。このとき、割付ベクトル判定部８０１は、フレームの左上の画素からラスタスキャン順に画素を選択する。

割付ベクトル判定部８０１は、ステップＳ８０２において、割付フラグメモリ５６内の着目画素の割付フラグが、０(False)であるか否かを判断し、割付フラグメモリ５６内の着目画素の割付フラグが、０(False)であると判断した場合、動きベクトルが割り付けられていないと判定し、ステップＳ８０３において、補償処理部８１１を制御し、ベクトル補償処理を実行させる。このベクトル補償処理により、周辺画素に割り付けられた動きベクトルの中から、評価値DFDの最小の動きベクトルが補償候補ベクトルとしてメモリ８２１に記憶される。

補償処理部８１１は、ステップＳ８０４において、メモリ８２１の補償候補ベクトルを、着目画素の動きベクトルとして、割付ベクトルメモリ５５に割り付け、さらにステップＳ８０５において、割付フラグメモリ５６の着目画素の割り付けフラグを、１(True)に書き換える。

一方、ステップＳ８０２において、割付ベクトル判定部８０１は、割付フラグメモリ５６内の着目画素の割付フラグが、０（False）ではない（１(True)である）と判断した場合、その着目画素にはすでに動きベクトルが割り付けられていると判定して、ステップＳ８０３乃至Ｓ８０５の処理をスキップする。

割付ベクトル判定部８０１は、ステップＳ８０６において、割付フラグメモリ５６の内挿フレームのすべての画素の処理を終了したかを判断する。すべての画素の処理がまだ終了していないと判断された場合、処理はステップＳ８０１に戻り、割付フラグメモリ５６の内挿フレームの次の画素が、着目画素として選択され、それ以降の処理が実行される。ステップＳ８０６において、割付フラグメモリ５６の内挿フレームのすべての画素の処理が終了したと判断された場合、割付補償処理は終了される。

以上のように、ベクトル割付処理において、割り付けることができなかった画素に関しても、動き相関があることを利用して、その画素の周辺の動きベクトルの中から、評価値DFDに基づく、最も信頼度がある、確からしい動きベクトルを得ることができる。これにより、ベクトルが割り付けられず、０ベクトルなどを割り付けておく場合よりも、ベクトル割付の精度が向上し、後段の画像補間処理において生成される画像の不連続性を抑制することができる。

また、上述した割付補償処理により動きベクトルが割り付けられた画素の割付フラグを１(True)に書き換えるようにし、割付補償処理により割り付けられた動きベクトルも、次の画素の補償候補ベクトルとして用いるようにしたので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択されるようになり、誤りの少ない安定した動きベクトルを得ることができる。その結果、後段において生成される画像のブロックノイズや粉状ノイズなどを抑制し、品質を向上させることができる。

また、動きベクトルを求める着目画素について、０ベクトルの評価値DFDを予め算出し、最小評価値としてメモリに保持しておくことにより、すべての補償候補ベクトル評価値DFDを一度に算出し、その中から最小の評価値DFDを選択する場合よりも、時間とリソースを効率的に使用することができる。

なお、上記説明においては、ベクトル割付部５４において割り付けられなかった画素に対してベクトル補償処理を行っているが、ベクトル検出部５２において検出されなかった（０ベクトルが検出された）画素など、何らかの処理において動きベクトルが求められなかった画素に対してベクトル補償処理を行うようにしてもよい。また、さらに、検出された動きベクトル、または、割り付けられた動きベクトルが確からしくない（信頼度が低い）とされる画素に対してベクトル補償処理を行うようにしてもよい。

本実施の形態においては、動きベクトルを選択する際の評価値として、差分絶対値和である評価値DFDを用いて説明したが、評価値DFDに限定されず、動きベクトルの信頼度を評価するものであれば、他のものを用いるようにしてもよい。

また、本実施の形態においては、各処理を行うブロックを、例えば、８画素×８画素や９画素×９画素などにより構成するようにして説明したが、これらは、一例であり、各処理を行うブロックを構成する画素は、上記画素数に限定されない。

さらに、本実施の形態においては、２４Ｐ信号から６０Ｐ信号への信号変換を例に、説明を行ったが、本発明は、例えば、動画像のフレーム周波数変換として、インターレース信号や、他のフレームレート変換にも適用することができる。

図４２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）９１１は、ROM（Read Only Memory）９１２、または記憶部９１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９１３には、CPU９１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９１１、ROM９１２、およびRAM９１３は、バス９１４により相互に接続されている。

CPU９１１にはまた、バス９１４を介して入出力インターフェース９１５が接続されている。入出力インターフェース９１５には、キーボード、マウス、マイクロホンなどよりなる入力部９１６、ディスプレイ、スピーカなどよりなる出力部９１７が接続されている。CPU９１１は、入力部９１６から入力される指令に対応して各種の処理を実行する。そして、CPU９１１は、処理の結果を出力部９１７に出力する。

入出力インターフェース９１５に接続されている記憶部９１８は、例えばハードディスクからなり、CPU９１１が実行するプログラムや各種のデータを記憶する。通信部９１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部９１９を介してプログラムを取得し、記憶部９１８に記憶してもよい。

入出力インターフェース９１５に接続されているドライブ９２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９１８に転送され、記憶される。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図４２に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９２１、または、プログラムが一時的もしくは永続的に格納されるROM９１２や、記憶部９１８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部９１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来のベクトル割り付けを説明する図である。 従来のベクトル割り付けによる評価値を説明する図である。 画像の劣化を説明する図である。 本発明の実施の形態としての画像信号記録装置の構成を示すブロック図である。 本発明の実施の形態としての信号処理装置の構成を示すブロック図である。 本発明の実施の形態のフレーム周波数変換処理の原理を説明する図である。 本発明の実施の形態の具体的処理を説明する図である。 信号処理装置において用いられる動きベクトルの評価値を説明する図である。 信号処理装置のフレーム周波数変換処理を説明するフローチャートである。 画像補間部の構成を示すブロック図である。 画像補間処理を説明するフローチャートである。 ベクトル検出部の構成を示すブロック図である。 ベクトル検出部で用いられる勾配法を説明する図である。 初期ベクトルを用いた反復勾配法を説明する図である。 動きベクトル検出処理を説明するフローチャートである。 ベクトル割付部の構成を示すブロック図である。 ４点補間処理の概念を説明する図である。 ベクトル割付処理の概要を説明する図である。 動きベクトルと内挿フレームの交点の近傍画素の例を説明する図である。 割付候補の動きベクトルの評価方法を説明する図である。 ベクトル割付における４点補間の例を説明する図である。 ベクトル割付処理を説明するフローチャートである。 画素位置演算処理を説明するフローチャートである。 割付ベクトル評価処理を説明するフローチャートである。 ベクトルのシフトを説明する図である。 シフトしたベクトルによる評価値を説明する図である。 他のベクトルのシフトを説明する図である。 他のシフトしたベクトルによる評価値を説明する図である。 割付補償部の構成を示すブロック図である。 ベクトル補償部の構成を示すブロック図である。 割付補償処理の原理を説明する図である。 動き相関の原理を説明する図である。 着目画素の周囲画素の構成を説明する図である。 着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。 着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。 着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。 補償候補ベクトルを評価する例を説明する図である。 補償候補ベクトルを評価する例を説明する図である。 補償候補ベクトルを評価する例を説明する図である。 補償候補ベクトルを着目画素の動きベクトルとして選択する例を説明する図である。 割付補償処理を説明するフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１ 画像信号記録装置， ３ 信号処理装置， ５１ フレームメモリ， ５２ ベクトル検出部， ５３ 検出ベクトルメモリ， ５４ ベクトル割付部， ５５ 割付ベクトルメモリ， ５６ 割付フラグメモリ， ５７ 割付補償部， ５８ 画像補間部， ７０１ 画素情報演算部， ７０２ 評価値演算部， ７０３ ベクトル評価部， ７０４ ベクトル選択部， ７１１ 評価値判断部， ８０１ 割付ベクトル判定部， ８０２ ベクトル補償部， ８１１ 補償処理部， ８１２ 評価値演算部， ８２１ メモリ

Claims (7)

1. 第１のフレームの動きベクトルを第２のフレームに割り付ける画像処理装置において、
   第１の動きベクトルによる第１の評価値、第２の動きベクトルによる第２の評価値、前記第１の動きベクトルを平行移動して生成した第３の動きベクトルによる第３の評価値、並びに前記第２の動きベクトルを平行移動して生成した第４の動きベクトルによる第４の評価値を演算する演算手段と、
   前記第１の評価値と前記第３の評価値により規定される値と、前記第２の評価値と前記第４の評価値により規定される値との比較に基づいて、前記第１の動きベクトルまたは前記第２の動きベクトルを前記第２のフレームに割り付ける割付手段と
   を備える画像処理装置。
2. 前記第３の動きベクトルは、前記第１の動きベクトルの始点または終点を前記第２の動きベクトルの始点に平行移動して生成された動きベクトルであり、前記第３の動きベクトルは、前記第２の動きベクトルの始点または終点を前記第１の動きベクトルの始点に平行移動して生成されされた動きベクトルである
   請求項１に記載の画像処理装置。
3. 前記動きベクトルは画素毎の動きベクトルである
   請求項１に記載の画像処理装置。
4. 前記演算手段は、前記第１乃至第４の評価値として差分絶対値和を演算する
   請求項１に記載の画像処理装置。
5. 第１のフレームの動きベクトルを第２のフレームに割り付ける画像処理方法において、
   第１の動きベクトルによる第１の評価値、第２の動きベクトルによる第２の評価値、前記第１の動きベクトルを平行移動して生成した第３の動きベクトルによる第３の評価値、並びに前記第２の動きベクトルを平行移動して生成した第４の動きベクトルによる第４の評価値を演算し、
   前記第１の評価値と前記第３の評価値により規定される値と、前記第２の評価値と前記第４の評価値により規定される値との比較に基づいて、前記第１の動きベクトルまたは前記第２の動きベクトルを前記第２のフレームに割り付ける
   ステップを備える画像処理方法。
6. 第１のフレームの動きベクトルを第２のフレームに割り付けるプログラムにおいて、
   第１の動きベクトルによる第１の評価値、第２の動きベクトルによる第２の評価値、前記第１の動きベクトルを平行移動して生成した第３の動きベクトルによる第３の評価値、並びに前記第２の動きベクトルを平行移動して生成した第４の動きベクトルによる第４の評価値を演算し、
   前記第１の評価値と前記第３の評価値により規定される値と、前記第２の評価値と前記第４の評価値により規定される値との比較に基づいて、前記第１の動きベクトルまたは前記第２の動きベクトルを前記第２のフレームに割り付ける
   処理をコンピュータに実行させるプログラム。
7. 請求項６に記載のプログラムが記録されている記録媒体。

Images