WO2005098754A1

WO2005098754A1 - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: WO2005098754A1
Application number: PCT/JP2005/006940
Authority: WO
Inventors: Norifumi Yoshiwara
Original assignee: Sony Corporation
Priority date: 2004-04-09
Filing date: 2005-04-08
Publication date: 2005-10-20
Also published as: KR20070008628A; KR101157053B1; EP1734480A1; JP4692846B2; JPWO2005098754A1; CN1961338A; US7667778B2; US20050271144A1

Abstract

　本発明は、前段の処理において動きベクトルが求められなかった画素に、確からしい動きベクトルを求めることができるようにする画像処理装置および方法、記録媒体、並びにプログラムに関する。前段の処理において動きベクトルが取得されなかった着目画素Ｐにおいては、前段の処理や過去の本処理により着目画素Ｐの周辺画素に求められた動きベクトル、および図示せぬ０ベクトルなどからなる補償候補ベクトルの信頼度の高さを表す評価値が算出され、算出された評価値が比較判断され、補償候補ベクトルのうち、最も信頼度が高いと判断された補償候補ベクトルＶＫ１が、着目画素Ｐの動きベクトルＶＫ１として選択されて取得される。本発明は、２４Ｐ信号から６０Ｐ信号へのフレーム周波数変換処理を行う信号処理装置に適用できる。

Description

明細書

画像処理装置および方法、記録媒体、並びにプログラム

技術分野

[0001] 本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、動きベクトルに基づいて生成される画像の品質を向上することができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。

背景技術

[0002] 従来、画像のフレーム周波数を変換する画像処理装置にお!/ヽては、例えば、特許文献 1に記載の勾配法、またはブロックマッチング法などを用いることにより、動きべクトルの検出が行われ、検出された動きベクトル力生成される内挿フレームに割り付けられる。しかしながら、これらの動きベクトル検出方法においては、常に、動きべタトルが求められるわけではなぐ注目画素の動きベクトルを求めることができなかったり、もしくは、求められた動きベクトルが不安定であるなど、動きベクトルの信頼度に問題がある場合があった。

[0003] また、検出された動きベクトルを、生成される内挿フレームに割り付ける場合においても、内挿フレーム上のすべての画素に、動きベクトルが割り付けられるわけではない。

[0004] このような場合、画像処理装置は、動きベクトルを求まらな、ままにするか、または、動きベクトルを 0ベクトル (すなわち、静止状態）にすることにより対応していた。

特許文献 1 :特開昭 60— 158786公報

発明の開示

発明が解決しょうとする課題

[0005] しかしながら、求まらないままの動きベクトルや 0ベクトルにされた動きベクトルは、注目画素が属するオブジェクトに適した動きであるとは、必ずしも言えず、これらの動きベクトルを用いて生成された画像に、例えば、不連続性などの視覚劣化を、少なからずもたらしてしまう課題があった。

[0006] また、上述したような従来の動きベクトル検出方法で求められた動きベクトル、または、内挿フレームの画素に割り付けられた動きベクトルは、同じオブジェクト内の動きであるにも拘わらず、動き相関のなヽ（周辺画素の動きベクトルと似てヽな、）動きべタトルとして求められることが多ぐこの動きベクトルは、誤って求められた可能性が高い、すなわち、あまり確力もしくないことが多い課題があった。

[0007] 本発明は、このような状況に鑑みてなされたものであり、前段の処理において動きベクトルが求められなかった画素に、確からしい動きベクトルを求めることができるようにするものである。

課題を解決するための手段

[0008] 本発明の画像処理装置は、第 1のフレームまたは第 2のフレーム上における 1または複数の画素でなる着目領域に、信頼度が高、動きベクトルが設定されて、るか否かを判断するベクトル判断手段と、ベクトル判断手段により着目領域の少なくとも一部に、信頼度が高い動きべ外ルが設定されていないと判断された場合、着目領域の近傍にある周辺画素に取得されている動きベクトルのうち、最も信頼度が高い動きべタトルを、着目領域の少なくとも一部の動きベクトルとして設定するベクトル設定手段とを備えることを特徴とする。

[0009] 第 1のフレーム上の動きベクトルを検出するベクトル検出手段と、ベクトル検出手段により第 1のフレーム上における着目領域に検出された動きベクトルの信頼度の高さを表す評価値を演算する信頼度演算手段とをさらに備え、ベクトル判断手段は、信頼度演算手段による演算結果に基づいて、第 1のフレーム上の着目領域に、信頼度が高い動きベクトルが設定されているカゝ否かを判断し、ベクトル設定手段は、第 1のフレームの着目領域の近傍にある周辺画素に検出されている動きベクトルのうち、最も信頼度が高、動きベクトルを、着目領域の動きベクトルとして設定するようにすることができる。

[0010] 第 1のフレームにおいて、動きベクトルを検出するための演算の対象となる演算プロック内の画素が、動きベクトルの検出に有効である力否かを判断する有効画素判断手段と、有効画素判断手段により有効であると判断された画素を用いた演算により、動きベクトルを検出する動きベクトル検出手段とをさらに備え、ベクトル判断手段は、有効画素判断手段による判断結果に基づいて、第 1のフレーム上の着目領域に、信頼度が高い動きベクトルが設定されているカゝ否かを判断し、ベクトル設定手段は、第

1のフレームの着目領域の近傍にある周辺画素に検出されている動きベクトルのうち

、最も信頼度が高い動きベクトルを、着目領域の少なくとも一部の動きベクトルとして設定するよう〖こすることができる。

[0011] 第 1のフレームにおいて検出された動きベクトルを、第 2のフレーム上の 1または複数の画素でなる着目領域の少なくとも一部に割り付けるベクトル割付手段をさらに備え、ベクトル判断手段は、ベクトル割付手段による動きベクトルの割付結果に基づいて、第 2のフレーム上の着目領域に、信頼度の高い動きベクトルが割り付けられている力否かを判断し、ベクトル設定手段は、第 2のフレームの着目領域の近傍にある周辺画素に割り付けられている動きベクトルのうち、最も信頼度が高い動きベクトルを、着目領域の少なくとも一部の動きベクトルとして設定するようにすることができる。

[0012] ベクトル設定手段は、第 2のフレームの着目領域の近傍にある周辺画素に割り付けられている動きベクトルのうち、最も信頼度が高い動きベクトルを、着目領域のうち、ベクトル判断手段により信頼度の高いベクトルが割り付けられていないと判断された領域の動きベクトルとして設定するようにすることができる。

[0013] ベクトル判断手段により着目領域に、信頼度が高い動きベクトルが取得されていないと判断された場合、着目領域の近傍にある周辺画素に取得されている動きべタトルを、着目領域の動きベクトルの候補ベクトルとして設定する候補ベクトル設定手段をさらに備え、候補ベクトル設定手段は、周辺画素において、着目領域よりも時間的に先にベクトル設定手段により設定された動きベクトルも、着目領域の少なくとも一部の動きベクトルの候補ベクトルとして設定するようにすることができる。

[0014] 候補ベクトル設定手段は、着目領域の近傍にある周辺画素に取得されている動きベクトルを、着目領域のうち、ベクトル判断手段により信頼度の高いベクトルが割り付けられて、な、と判断された領域の候補ベクトルとして設定するようにすることができる。

[0015] 本発明の画像処理方法は、第 1のフレームまたは第 2のフレーム上における 1または複数の画素でなる着目領域に、信頼度が高、動きベクトルが設定されて、るか否かを判断するベクトル判断ステップと、ベクトル判断ステップの処理により着目領域の少なくとも一部に、信頼度が高い動きベクトルが設定されていないと判断された場合、着目領域の近傍にある周辺画素に取得されている動きベクトルのうち、最も信頼度が高い動きベクトルを、着目領域の少なくとも一部の動きベクトルとして設定するべクトル設定ステップとを含むことを特徴とする。

[0016] 本発明の記録媒体に記録されるプログラムは、第 1のフレームまたは第 2のフレーム上における 1または複数の画素でなる着目領域に、信頼度が高い動きベクトルが設定されて!/ヽる力否かを判断するベクトル判断ステップと、ベクトル判断ステップの処理により着目領域の少なくとも一部に、信頼度が高、動きベクトルが設定されて、な!/、と判断された場合、着目領域の近傍にある周辺画素に取得されている動きベクトルのうち、最も信頼度が高い動きベクトルを、着目領域の少なくとも一部の動きベクトルとして設定するベクトル設定ステップとを含むことを特徴とする。

[0017] 本発明のプログラムは、第 1のフレームまたは第 2のフレーム上における 1または複数の画素でなる着目領域に、信頼度が高！、動きベクトルが設定されて、る力否かを判断するベクトル判断ステップと、ベクトル判断ステップの処理により着目領域の少なくとも一部に、信頼度が高い動きべ外ルが設定されていないと判断された場合、着目領域の近傍にある周辺画素に取得されている動きベクトルのうち、最も信頼度が高い動きベクトルを、着目領域の少なくとも一部の動きベクトルとして設定するベクトル設定ステップとを含むことを特徴とする。

[0018] 本発明においては、第 1のフレームまたは第 2のフレーム上における 1または複数の画素でなる着目領域の少なくとも一部に、信頼度が高い動きベクトルが設定されていないと判断された場合、着目領域の近傍にある周辺画素に取得されている動きべタトルのうち、最も信頼度が高い動きベクトルが、着目領域の少なくとも一部の動きべタトルとして設定される。

発明の効果

[0019] 本発明によれば、前段の処理において動きベクトルが求められなかった画素に、確力もしい動きベクトルを求めることができる。また、本発明によれば、動きベクトルの検出精度および割付精度が向上する。さらに、本発明によれば、生成される画像の品質を向上し、フレーム周波数変換の精度を向上することができる。図面の簡単な説明

圆 1]本発明の信号処理装置の構成例を示すブロック図である。

[図 2]信号処理装置の構成を示すブロック図である。

[図 3]本発明の処理の原理を説明する図である。

[図 4]本発明の処理を具体的に説明する図である。

圆 5]信号処理装置において用いられる動きベクトルの評価値を説明する図である。圆 6]信号処理装置のフレーム周波数変換処理を説明するフローチャートである。圆 7]画像補間部の構成を示すブロック図である。

圆 8]画像補間処理を説明するフローチャートである。

[図 9]ベクトル検出部の構成を示すブロック図である。

[図 10]ベクトル検出部で用いられる勾配法を説明する図である。

圆 11]初期ベクトルを用いた反復勾配法を説明する図である。

[図 12]動きベクトル検出処理を説明するフローチャートである。

[図 13]シフト初期ベクトル割付部の構成を示すブロック図である。

[図 14]シフト初期ベクトルの概念を説明する図である。

圆 15]シフト初期ベクトルを具体的に説明する図である。

圆 16]シフト初期ベクトルを具体的に説明する図である。

[図 17]シフト初期ベクトルの決定方法を説明する図である。

[図 18]シフト初期ベクトルの割り付けの例を説明する図である。

[図 19]動きベクトルが競合する場合のシフト初期ベクトルの例を説明する図である。

[図 20]シフト初期ベクトル割付処理を説明するフローチャートである。

[図 21]初期ベクトル選択部の構成を示すブロック図である。

[図 22]初期ベクトルの周辺領域を示す図である。

[図 23]初期ベクトルの候補ブロックを示す図である。

[図 24]初期ベクトル選択処理を説明するフローチャートである。

[図 25]反復勾配法演算部の構成を示すブロック図である。

[図 26]有効画素判定部の構成を示すブロック図である。

[図 27]勾配法演算部の構成を示すブロック図である。 [図 28]動きベクトルの検出対象ブロックと演算ブロックを説明する図である。

[図 29]検出対象ブロックにおけるオブジェクトの動きを説明する図である。

圆 30]同じ動きのオブジェクトを有する検出対象ブロックにおける輝度の状態を説明する図である。

[図 31]異なる動きのオブジェクトを有する検出対象ブロックにおける輝度の状態を説明する図である。

[図 32]画素単位処理の演算ブロックの例を説明する図である。

[図 33]図 29の検出対象ブロックにおける画素単位処理を説明する図である。

[図 34]反復勾配法演算処理を説明するフローチャートである。

[図 35]有効画素判定処理を説明するフローチャートである。

[図 36]勾配法演算処理を説明するフローチャートである。

[図 37]画素単位の反復勾配法演算処理を説明するフローチャートである。

[図 38]ベクトル割付部の構成を示すブロック図である。

圆 39]本発明の 4点補間処理の概念を説明する図である。

[図 40]ベクトル割付処理の概要を説明する図である。

[図 41]動きベクトルと内挿フレームの交点の近傍画素の例を説明する図である。圆 42]割付候補の動きベクトルの評価方法を説明する図である。

[図 43]ベクトル割付における 4点補間の例を説明する図である。

[図 44]ベクトル割付処理を説明するフローチャートである。

[図 45]画素位置演算処理を説明するフローチャートである。

[図 46]割付ベクトル評価処理を説明するフローチャートである。

[図 47]割付補償部の構成を示すブロック図である。

[図 48]ベクトル補償部の構成を示すブロック図である。

[図 49A]割付補償処理の原理を説明する図である。

[図 49B]ブロックモードの割付補償処理の原理を説明する図である。

[図 49C]ブロックモードの補償候補ベクトルを評価する例を説明する図である。圆 50]動き相関の原理を説明する図である。

圆 51]着目画素の周囲画素の構成例を説明する図である。 [図 52]着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。

[図 53]着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。

圆 54]着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。

圆 55]補償候補ベクトルを評価する例を説明する図である。

圆 56]補償候補ベクトルを評価する例を説明する図である。

圆 57]補償候補ベクトルを評価する例を説明する図である。

圆 58]補償候補ベクトルを着目画素の動きベクトルとして選択する例を説明する図である。

圆 59A]割付補償処理を説明するフローチャートである。

[図 59B]ブロックモードの割付補償処理を説明するフローチャートである。

[図 60]ベクトル補償処理を説明するフローチャートである。

[図 61]信号処理装置の他の構成を示すブロック図である。

圆 62]検出補償部の構成を示すブロック図である。

[図 63]図 62のベクトル補償部の構成を示すブロック図である。

[図 64]信号処理装置のフレーム周波数変換処理の他の例を説明するフローチャートである。

[図 65]動きベクトル検出処理の他の例を説明するフローチャートである。

圆 66]検出補償処理を説明するフローチャートである。

[図 67]ベクトル補償処理の他の例を説明するフローチャートである。

[図 68]ベクトル検出部の他の構成を示すブロック図である。

[図 69]動きベクトル検出処理のさらに他の例を説明するフローチャートである。

[図 70]ベクトル検出部のさらに他の構成を示すブロック図である。

符号の説明

1 信号処理装置， 11 CPU, 12 ROM, 13 RAM, 31 磁気ディスク， 32 光ディスク， 33 光磁気ディスク， 34 半導体メモリ， 51 フレームメモリ， 52 ベクトル検出部， 53 検出ベクトルメモリ， 54 ベクトル割付部， 55 割付ベクトルメモリ， 56 割付フラグメモリ， 57 割付補償部， 58 画像補間部， 101 初期ベクトル選択部， 1 03 反復勾配法演算部， 104 ベクトル評価部， 105 シフト初期ベクトル割付部， 1 06 評価値メモリ， 107 シフト初期ベクトルメモリ， 201 割付対象位置演算部， 202 評価値比較部， 203 シフト初期ベクトル置換部， 204 評価値置換部， 251 候補ベクトル位置演算部， 252 検出ベクトル取得部， 253 シフト初期ベクトル取得部， 2 54 オフセット位置演算部， 255 評価値演算部， 256 評価値比較部， 257 最適候補格納用レジスタ， 401 モード選択部， 402 セレクタ， 403 有効画素判定部， 404 勾配法演算部， 405 遅延部， 411 時間画素差分算出部， 412 画素差分値判定部， 413 有効画素数カウンタ， 414 勾配法継続判定部， 421 時間画素差分算出部， 422 画素差分値判定部， 423 水平垂直画素差分算出部， 424 勾配積算部， 425 ベクトル算出部， 701 画素情報演算部， 702 評価値演算部， 703 着目画素差分演算部， 704 ベクトル評価部， 705 ベクトル選択部， 711 画素差分判断部， 712 評価値判断部， 801 割付ベクトル判定部， 802 ベクトル割付部， 811 補償処理部， 812 評価値演算部， 821 メモリ， 911 判定結果フラグメモリ， 912 検出補償部， 921 検出ベクトル判定部， 922 ベクトル補償部， 951 ブロックマッチング演算部， 952 ベクトル評価部

発明を実施するための最良の形態

[0022] 以下、図を参照して本発明の実施の形態について説明する。

[0023] 図 1は、本発明を適用した信号処理装置 1の構成例を表している。信号処理装置 1 は、例えば、パーソナルコンピュータなどで構成される。図 1において、 CPU (Central Processing Unit) 11は、 ROM (Read Only Memory) 12、または記憶部 18に記憶されているプログラムに従って各種の処理を実行する。 RAM (Random Access Memory ) 13には、 CPU11が実行するプログラムやデータなどが適宜記憶される。これらの C PU11、 ROM12、および RAM13は、バス 14により相互に接続されている。

[0024] CPU11にはまた、バス 14を介して入出力インタフェース 15が接続されている。入出力インタフェース 15には、キーボード、マウス、マイクロフォンなどよりなる入力部 1 6、ディスプレイ、スピーカなどよりなる出力部 17が接続されている。 CPU11は、入力部 16から入力される指令に対応して各種の処理を実行する。そして、 CPU11は、処理の結果、得られた画像や音声等を出力部 17に出力する。

[0025] 入出力インタフェース 15に接続されている記憶部 18は、例えばノヽードディスクなどで構成され、 CPU11が実行するプログラムや各種のデータを記憶する。通信部 19 は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部 19を介してプログラムを取得し、記憶部 18に記憶してもよ、。

[0026] 入出力インタフェース 15に接続されているドライブ 20は、磁気ディスク 31、光デイスク 32、光磁気ディスク 33、或いは半導体メモリ 34などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプロダラムゃデータは、必要に応じて記憶部 18に転送され、記憶される。

[0027] なお、信号処理装置 1は、例えば、テレビジョン受像機、光ディスクプレーヤなど、または、それらの信号処理部とすることもできる。

[0028] 図 2は、信号処理装置 1を示すブロック図である。

[0029] なお、信号処理装置 1の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機會ブロック図と考えてもよい。

[0030] 図 2に構成を示す信号処理装置 1においては、例えば、フレーム周波数 24Hzのプログレツシブ画像信号 (以下、 24P信号と称する）の画像が入力され、入力された画像 (入力画像）力フレーム周波数 60Hzのプログレッシブ画像信号 (以下、 60P信号と称する）の画像に変換されて、出力される。すなわち、図 2は、画像処理装置である信号処理装置の構成を示す図である。

[0031] 信号処理装置 1に入力された 24P信号の入力画像は、フレームメモリ 51、ベクトル検出部 52、ベクトル割付部 54、割付補償部 57、および画像補間部 58に供給される。フレームメモリ 51は、入力画像をフレーム単位で記憶する。フレームメモリ 51は、時刻 t+ 1の入力画像の 1つ前の時刻 tのフレームを記憶する。フレームメモリ 51に記憶される時刻 tのフレームは、ベクトル検出部 52、ベクトル割付部 54、割付補償部 57、および画像補間部 58に供給される。なお、以下、フレームメモリ 51上の時刻 tのフレームをフレーム tと称し、時刻 t+ 1の入力画像のフレームを、フレーム t+ 1と称する。

[0032] ベクトル検出部 52は、フレームメモリ 51上のフレーム tの着目ブロックと、入力画像のフレーム t+ 1の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ 53に記憶する。この 2フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。ベクトル検出部 52の構成の詳細は、後述する。検出ベクトルメモリ 53は、フレーム tにおいて、ベクトル検出部 52 により検出された動きベクトルを記憶する。

[0033] ベクトル割付部 54は、 24P信号のフレーム t上において求められた動きベクトルを、割付ベクトルメモリ 55上の、補間する 60P信号のフレーム（以下、 60P信号のフレームは、 24P信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ 56の割付フラグを 1 (True)に書き換える。ベクトル割付部 54の構成の詳細は、後述する。

[0034] 割付ベクトルメモリ 55は、ベクトル割付部 54により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。割付フラグメモリ 56は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、 True(l)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、 False(O)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

[0035] 割付補償部 57は、割付フラグメモリ 56の割付フラグを参照し、ベクトル割付部 54により動きベクトルが割り付けられな力つた着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ 55の内挿フレーム上に割り付ける。このとき、割付補償部 57は、動きベクトルを割り付けた着目画素の割付フラグを l(True)に書き換える。割付補償部 57の構成の詳細は、後述する。

[0036] 画像補間部 58は、割付ベクトルメモリ 55の内挿フレームに割り付けられた動きべクトルと、フレーム tおよび次のフレーム t+ 1の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部 58は、生成された内挿フレームを出力し、その次に、必要に応じて、フレーム t+ 1を出力することにより、 60P信号の画像を、図示せぬ後段に出力する。なお、以下においては、画素値を、適宜、輝度値とも称する

[0037] 図 3は、本発明に係る信号処理装置 1における処理の原理を説明する図である。図 3の例においては、点線が、信号処理装置 1に入力される、時刻 t, t+ 1,および t+ 2における 24P信号のフレームを表しており、実線が、入力された 24P信号力も信号処理装置 1により、生成される時刻 t, t+O. 4, t+O. 8, t+ 1. 2, t+ 1. 6,および t + 2における 60P信号の内挿フレームを表して!/、る。

[0038] 一般に、 24P信号を、 60P信号に変換するためには、 5Z2倍のフレームが必要になる。すなわち、 2枚の 24P信号の画像から 5枚の 60P信号の画像が生成されなければならない。このとき、生成される 60P信号の内挿フレームは、そのフレーム間隔を等しくするために、 24P信号上での時間位ネ目カ SO. 0, 0. 4, 0. 8, 1. 2,および 1. 6となる位置に配置される。この中で、時間位相が 0. 0である時刻 tの 1フレームを除く 4 フレーム（t+0. 4, t+0. 8, t+ 1. 2,および t+ 1. 6のフレーム）は、 24P信号上には存在しない画像である。したがって、信号処理装置 1は、 24P信号の画像が入力されると、 24P信号の時刻 tおよび時刻 t+ 1の 2枚のフレームから、 4つの内挿フレームを生成する。したがって、信号処理装置 1からは、時刻 t, t+0. 4, t+0. 8, t+ 1. 2 ,および t+ 1. 6の 5枚のフレームからなる 60P信号の画像が出力される。

[0039] 以上のようにして、信号処理装置 1は、 24P信号の画像から 60P信号の画像に、フレーム周波数を変換する処理を実行する。

[0040] なお、原理的には、上述したように、 24P信号の時刻 tおよび時刻 t+ 1の 2枚のフレームから、時刻 t, t+0. 4, t+0. 8, t+ 1. 2,および t+ 1. 6の 5枚の 60P信号のフレームが新しく生成される力実際には、図 3の例の場合、 24P信号の時刻 tおよび時刻 t+ 1の 2枚のフレームに基づいて、 t, t+0. 4, t+0. 8の 60P信号のフレームが生成され、 24P信号の時刻 t+ 1および t+ 2の 2枚のフレームに基づいて、 t+ 1. 2 , t+ 1. 6,および t+ 2の 60P信号のフレームが生成される。

[0041] 図 4は、本発明の処理をより具体的に説明する図である。図 4の例においては、太線矢印は、各状態への遷移を表しており、矢印 Tは、状態 81乃至 85における時間の経過方向を表している。また、状態 81乃至 85は、信号処理装置 1を構成する各部への入出力時の、 24P信号の時刻 tのフレーム t、時刻 tの次の時刻 t+ 1のフレーム t+ 1、または、フレーム tおよびフレーム t+ 1の間に生成される 60P信号の内挿フレーム Fの状態を概念的に表している。すなわち、実際には、例えば、状態 82に示されるような動きベクトルが検出されたフレームは入力されず、フレームと動きベクトルは、別々に入力される。 [0042] 状態 81は、ベクトル検出部 52に入力される、 24P信号のフレーム tおよびフレーム t + 1の状態を表している。状態 81のフレーム t上の黒点は、フレーム t上の画素を表している。ベクトル検出部 52は、状態 81のフレーム t上の画素力次の時刻のフレーム t+ 1において、どの位置に移動するかを検出し、その動きを、状態 82のフレーム t上に示されるように、各画素に対応する動きベクトルとして出力する。この 2フレーム間の動きベクトルの検出方法には、ブロックマッチング法または勾配法などが用いられる。なお、このとき、画素に複数の動きベクトルが検出された場合、ベクトル検出部 52 は、各動きベクトルについて、後述する評価値を求め、その評価値に基づいて動きべタトルを選択する。

[0043] 状態 82は、ベクトル割付部 54に入力される、フレーム tおよびフレーム t+ 1の状態を表している。状態 82において、フレーム tの各画素の矢印は、ベクトル検出部 52により検出された動きベクトルを表している。

[0044] ベクトル割付部 54は、状態 82のフレーム tの各画素に対して検出された動きべタトルを、次のフレーム t+ 1まで延長させ、予め設定されている時間位相（例えば、図 3 の t+O. 4)にある内挿フレーム F上のどの位置を通過するかを求める。これは、フレーム tおよびフレーム t+ 1の間が一定動きであると仮定すると、動きベクトルが内揷フレーム Fを通過した点力そのフレームでの画素位置となるためである。したがって、ベクトル割付部 54は、この通過する動きベクトルを、状態 83の内挿フレーム F上の近傍 4画素に割り付ける。また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、あるいは、複数の動きベクトルが、割付候補となりうる場合がある。後者のような場合には、ベクトル割付部 54は、ベクトル検出部 52と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

[0045] 状態 83は、割付補償部 57に入力される、フレーム tおよびフレーム t+ 1、並びに動きベクトルが割り付けられた内挿フレーム Fの状態を表している。状態 83の内揷フレーム Fにおいては、ベクトル割付部 54により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられな力つた画素が示されて、る。

[0046] 割付補償部 57は、状態 83の動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであるからである。これにより、動きベクトルが割り付けられな力つた画素にも、ある程度正確な動きべタトルが与えられ、状態 84の内挿フレーム F上のすべての画素に動きベクトルが割り付けられる。なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部 57は、ベクトル割付部 54と同様に、各動きベクトルについての評価値を求め、その評価値に基づ!/、て割り付ける動きベクトルを選択する。

[0047] 状態 84は、画像補間部 58に入力される、フレーム tおよびフレーム t+ 1、並びに、すべての画素に動きベクトルが割り付けられた内挿フレーム Fの状態を表している。これらのすベての画素に割り付けられた動きベクトルにより、画像補間部 58は、内挿フレーム F上の画素と、 2枚のフレーム tおよびフレーム t+ 1の画素の位置関係を決定することができる。したがって、画像補間部 58は、内挿フレーム F上に割り付けられた動きベクトルと、フレーム tおよびフレーム t+ 1の画素値を用いて、状態 85の内揷フレーム Fの黒点に示されるように、内挿フレーム F上の画素値を補間生成する。そして、画像補間部 58は、生成された内挿フレームを出力し、その次に、必要に応じて、フレーム t+ 1を出力することにより、 60P信号の画像を、図示せぬ後段に出力する。

[0048] 次に、図 5を参照して、本発明に係る信号処理装置 1において用いられる動きべタトルの評価値を説明する。図 4を参照して上述したように、信号処理装置 1の各部（ベタトル検出部 52、ベクトル割付部 54、および割付補償部 57)において、後段の処理に最適な動きベクトルが選択される。このとき、信号処理装置 1の各部においては、動きベクトルに対する評価値として、 2つのフレームの注目するベクトル量分ずらしたブロック間の相関値を表す差分絶対値和（DFD(Displaced Frame Difference))が用いられる。

[0049] 図 5の例においては、時刻 tのフレーム t上の画素位置 pを中心とした m X nのブロック、および、時刻 t+ 1のフレーム t+ 1上の画素位置 pから注目する動きベクトル Vのベクトル量分ずらした画素位置 p+vを中心とした mX nのブロックの 2つのブロックが示されている。これら 2つのブロック間において求められる差分絶対値和 DFDt (p)は、次の式（1)で表される。

[0050] [数 1]

m xn

DFD_t (p) =∑ | F_t+i (Px, y+v) -F_t (Px, y) I

x, y

•••(l)

[0051] ここで、 Ft (p)は、時刻 tにおける画素位置 pの輝度値を表しており、 mX nは、差分絶対値和を求めるための DFD演算範囲（ブロック）を表して、る。この差分絶対値和は、 2つのフレームにおける DFD演算範囲（ブロック）間の相関値を表しているため、一般的には、この差分絶対値和が小さいほどフレーム間のブロックの波形が一致しており、差分絶対値和が小さいほど、動きベクトル Vの信頼度が高いと判定される。これにより、この差分絶対値和は、複数の候補の中から、最も確からしい動きベクトルを選ぶ場合などに用いられる。

[0052] したがって、以降、信号処理装置 1の各部（ベクトル検出部 52、ベクトル割付部 54、および割付補償部 57)においては、動きベクトルが選択される場合の評価値として、特に言及しない場合には、差分絶対値和（以下、評価値 DFDと称する）が用いられることとする。

[0053] 次に、図 6のフローチャートを参照して、信号処理装置 1のフレーム周波数を変換する処理を説明する。

[0054] ステップ S1において、ベクトル検出部 52は、時刻 t+ 1の入力画像のフレーム t+ 1 と、フレームメモリ 51の入力画像の 1つ前の時刻 tのフレーム tの画素値を入力し、ステツプ S2に進む。なお、このとき、ベクトル割付部 54、割付補償部 57および画像補間部 58は、時刻 t+ 1の入力画像のフレーム t+ 1と、フレームメモリ 51の入力画像の 1つ前の時刻 tのフレーム tの画素値を入力する。

[0055] ステップ S2において、ベクトル検出部 52は、動きベクトル検出処理を実行し、ステツプ S3に進む。すなわち、ベクトル検出部 52は、フレームメモリ 51上のフレーム tの着目ブロックと、入力画像である次のフレーム t+ 1の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ 53に記憶し、ステップ S3に進む。この 2フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。また、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値 DFDが求められ、求められた評価値 DFDに基づいた信頼度の高い動きベクトルが検出される。すなわち、この場合、動きベクトルを検出する着目プロックにおいて、最も確力もしい動きベクトルが選択され、検出される。ステップ S2における、動きベクトル検出処理の詳細は、後述する。

[0056] ステップ S3にお、て、ベクトル割付部 54は、ベクトル割付処理を実行し、ステップ S 4に進む。すなわち、ベクトル割付部 54は、ステップ S3において、フレーム t上において求められた動きベクトルを、割付ベクトルメモリ 55上の、補間する内挿フレーム上の着目画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ 56の割付フラグを l(True)に書き換える。例えば、 Trueである割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、 Falseである割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。なお、各画素において、動きべタトルの候補が複数ある場合には、各動きベクトルに対して、評価値 DFDが求められ、求められた評価値 DFDに基づヽた信頼度の高!、動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確カゝらしい動きベクトルが選択され、割り付けられる。ステップ S3における、ベクトル割付処理の詳細は、後述する。

[0057] ステップ S4におヽて、割付補償部 57は、割付補償処理を実行し、ステップ S5に進む。すなわち、割付補償部 57は、ステップ S4において、割付フラグメモリ 56の割付フラグを参照し、ベクトル割付部 54により動きベクトルが割り付けられな力つた着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ 55の内挿フレーム上に割り付ける。このとき、割付補償部 57は、動きベクトルを補い、割付けた着目画素の割付フラグを l(True)に書き換える。なお、周辺画素の動きベクトルが複数ある場合には、各動きベクトルに対して、評価値 DFDが求められ、求められた評価値 DFDに基づいた、信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きベクトルが選択され、割り付けられる。ステップ S4における、割付補償処理の詳細は、後述する [0058] ステップ S5におヽて、画像補間部 58は、画像補間処理を実行する。すなわち、画像補間部 58は、ステップ S5において、割付ベクトルメモリ 55の内挿フレームに割り付けられた動きベクトルと、フレーム tおよびフレーム t+ 1の画素値を用いて、内揷フレームの画素値を補間生成し、ステップ S6に進む。ステップ S5〖こおける、画像補間処理の詳細は後述する。画像補間部 58は、ステップ S6において、生成された内挿フレームを出力し、その次に、必要に応じて、フレーム t+ 1を出力することにより、 60P信号の画像を、図示せぬ後段に出力し、ステップ S7に進む。

[0059] ステップ S7において、ベクトル検出部 52は、すべてのフレームの処理が終了したか否かを判断し、すべてのフレームの処理が終了していないと判断した場合、ステップ S1に戻り、それ以降の処理を繰り返す。一方、ベクトル検出部 52は、ステップ S7〖こおいて、すべてのフレームの処理が終了したと判断した場合、フレーム周波数を変換する処理を終了する。

[0060] 以上のように、本発明に係る信号処理装置 1は、 24P信号の入力画像のフレームから動きベクトルを検出し、検出した動きベクトルを、 60P信号のフレーム上の画素に割付け、割付けられた動きベクトルに基づいて、 60P信号のフレーム上の画素値を生成する。このとき、信号処理装置 1は、各処理において、評価値 DFD (差分絶対値和）に基づぐより信頼度の高い動きベクトルを選択し、後段に出力する。したがって、信号処理装置 1においては、動きが破綻することなどが抑制され、より精度のよい画像を生成することができる。

[0061] 次に、画像補間部 58の構成の詳細について説明する。

[0062] 図 7は、画像補間部 58の構成を示すブロック図である。図 7に構成を示す画像補間部 58は、割付ベクトルメモリ 55の内挿フレームに割り付けられた動きベクトルと、フレーム tおよびフレーム t+ 1の画素値を用いて、内挿フレームの画素値を補間生成し、 60P信号の画像を出力する処理を行う。

[0063] 図 7の例において、時刻 tの画像のフレーム tは、空間フィルタ 92— 1に入力され、時刻 t+ 1の画像のフレーム t+ 1は、空間フィルタ 92— 2およびバッファ 95に入力される。

[0064] 補間制御部 91は、割付ベクトルメモリ 55の内挿フレームの画素を選択し、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、 2枚のフレーム tおよびフレーム t+ 1の画素との位置関係（空間シフト量）をそれぞれ求める。すなわち、補間制御部 91は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレーム t上の位置と、内挿フレームの画素に対応するフレーム t上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ 92 —1に供給する。同様に、補間制御部 91は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレーム t+ 1上の位置と、内挿フレームの画素に対応するフレーム t+ 1上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ 92— 2に供給する。

[0065] また、補間制御部 91は、予め設定されている内挿フレームの時間位相（時刻）に基づいて、フレーム tとフレーム t+ 1の間における補間重みを求め、求めた補間重みを、乗算器 93— 1および 93— 2に設定する。例えば、内挿フレームの時刻力フレーム t+ 1の時刻 t+ 1から「k」離れた時刻で、かつ、フレーム tの時刻 tから「1 k」離れた時刻である場合 (すなわち、内挿フレームが時刻 tと時刻 t+ 1を「1— k」：「k」に内分する時刻に生成される場合）、補間制御部 91は、乗算器 93— 1に「1— k」の補間重みを設定し、乗算器 93— 2に「k」の補間重みを設定する。

[0066] 空間フィルタ 92— 1および 92— 2は、例えば、キュービックフィルタなどにより構成される。空間フィルタ 92— 1は、入力されるフレーム t上の画素の画素値と、補間制御部 91から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレーム t上の画素値を求め、求めた画素値を乗算器 93— 1に出力する。空間フィルタ 9 2— 2は、入力されるフレーム t+ 1上の画素の画素値と、補間制御部 91から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレーム t+ 1上の画素値を求め、求めた画素値を乗算器 93— 2に出力する。

[0067] なお、内挿フレームの画素の位置力フレーム tまたはフレーム t+ 1上の画素の位置と一致しない場合（すなわち、内挿フレームの画素の位置力フレーム tまたはフレーム t+ 1において画素以下成分である場合）、空間フィルタ 92— 1および 92— 2は、フレーム tまたはフレーム t+ 1における内挿フレームの画素の位置の周辺 4画素の画素値を用いて、周辺 4画素の距離の逆比の和を求めることにより、内挿フレームの画素に対応するフレーム上の画素値を求める。すなわち、画素以下位置の画素値は、周辺 4画素との距離を基にした線形補間で値が求められる（その詳細は後述する)。

[0068] 乗算器 93— 1は、空間フィルタ 92— 1から入力されるフレーム t上の画素値に、補間制御部 91により設定された補間重み「1—k」を乗算し、重み付けされた画素値を、加算器 94に出力する。乗算器 93— 2は、空間フィルタ 92— 2から入力されるフレーム t+ 1上の画素値に、補間制御部 91により設定された補間重み「k」を乗算し、重み付けされた画素値を、加算器 94に出力する。

[0069] 加算器 94は、乗算器 93— 1から入力される画素値と、乗算器 93— 2から入力される画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された内挿フレームの画素値を、バッファ 95に出力する。バッファ 95は、入力されたフレーム t+ 1をバッファしている。バッファ 95は、生成された内挿フレームを出力し、その次に、予め設定されている 60Pフレームの時間位相（時刻）に基づいて、必要に応じて、ノッファしているフレーム t+ 1を出力することにより、 60P信号の画像を、図示せぬ後段に出力する。

[0070] 以上のように構成される画像補間部 58の画像補間処理の詳細を、図 8のフローチヤートを参照して説明する。

[0071] 補間制御部 91は、ステップ S51において、処理する内挿フレームの時間位相に基づいて、フレーム tとフレーム t+ 1の間における内挿フレームの補間重み（例えば、「 k」および「1— k」）を求め、求められた補間重みを、乗算器 93— 1および 93— 2にそれぞれ設定し、ステップ S52に進む。補間制御部 91は、ステップ S52において、割付ベクトルメモリ 55の内挿フレームの画素を選択し、ステップ S53に進む。なお、内揷フレーム上の画素は、フレームの左上の画素からラスタスキャン順に選択される。

[0072] 補間制御部 91は、ステップ S53において、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、 2枚のフレーム tおよびフレーム t+ 1 の画素との位置関係 (空間シフト量)をそれぞれ求め、求められた空間シフト量を、それぞれ空間フィルタ 92— 1および 92— 2に供給し、ステップ S54に進む。具体的には、補間制御部 91は、ステップ S53において、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレーム t上の位置と、内挿フレームの画素に対応するフレーム t上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ 92— 1に供給する。同様に、補間制御部 91は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレーム t+ 1上の位置と、内挿フレームの画素に対応するフレーム t+ 1上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ 92— 2に供給する。

[0073] 時刻 tの画像のフレーム tの画素値は、空間フィルタ 92— 1に入力され、時刻 t+ 1 の画像のフレーム t+ 1の画素値は、空間フィルタ 92— 2に入力されている。ステップ S54において、空間フィルタ 92—1および 92— 2は、入力されるフレーム tおよび t+ 1上の画素の画素値と、補間制御部 91から供給される空間シフト量に基づいて、内揷フレームの画素に対応する、各フレーム上の画素値を求め、求めた画素値を乗算器 93— 1および 93— 2にそれぞれ出力し、ステップ S55に進む。

[0074] 乗算器 93— 1および 93— 2は、ステップ S55において、空間フィルタ 92— 1または 92— 2から入力される各フレーム上の画素値に、補間制御部 91により設定された補間重みを重み付けし、重み付けされた画素値を、加算器 94に出力し、ステップ S56 に進む。すなわち、乗算器 93— 1は、空間フィルタ 92— 1から入力されるフレーム t上の画素値に、補間制御部 91により設定された補間重み「1 k」を乗算し、重み付けされた画素値を、加算器 94に出力する。乗算器 93— 2は、空間フィルタ 92— 2から入力されるフレーム t+ 1上の画素値に、補間制御部 91により設定された補間重み「 k」を乗算し、重み付けされた画素値を、加算器 94に出力する。

[0075] 加算器 94は、ステップ S56において、乗算器 93— 1により重み付けされた画素値と、乗算器 93— 2により重み付けされた画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された画素値を、ノッファ 95に出力し、ステップ S57に進む。補間制御部 91は、ステップ S57において、内挿フレーム上のすべての画素についての処理が終了したか否かを判断し、内挿フレーム上のすべての画素についての処理が終了していないと判断した場合、ステップ S52に戻り、それ以降の処理を繰り返す。補間制御部 91は、ステップ S57において、内挿フレーム上のすべての画素についての処理が終了したと判断した場合、画像補間処理を終了する。

[0076] 以上のように、内挿フレームに割り付けられた動きベクトルに基づいて、内挿フレームの画素値が生成され、上述した図 6のステップ S6において、ノッファ 95により、内揷フレームが出力され、その次に、必要に応じて、フレーム t+ 1が出力されることにより、 60P信号の画像力後段に出力される。したがって、内挿フレームの画素に、最も確から、動きベクトルが割り付くので、精度のょ、内挿フレームを生成することができる。

[0077] 次に、ベクトル検出部 52の構成の詳細について説明する。

[0078] 図 9は、ベクトル検出部 52の構成を示すブロック図である。図 9に構成を示すベタトル検出部 52は、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t + 1を用いて、フレーム t上の動きベクトルを検出する。この動きベクトルを検出する処理は、複数の画素力なる所定のブロック毎に実行される。

[0079] 初期ベクトル選択部 101は、所定のブロック毎に、過去の動きベクトルの検出結果力も求められる信頼度が高い動きベクトルを、勾配法に用いられる初期値となる初期ベクトル VOとして、反復勾配法演算部 103に出力する。具体的には、初期ベクトル選択部 101は、検出ベクトルメモリ 53に記憶される過去に求められた周辺のブロックの動きベクトルや、シフト初期ベクトルメモリ 107に記憶されるシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部 101は、フレーム tとフレーム t+ 1を用いて、候補ベクトルの評価値 DFDを求め、候補ベクトルの中から、求められた評価値 DFDに基づぐ最も信頼度が高いものを選択し、初期べクトル VOとして出力する。なお、初期ベクトル選択部 101の構成の詳細は、後述する。

[0080] プリフィルタ 102—1および 102— 2は、ローパスフィルタやガウシアンフィルタにより構成され、それぞれ、入力される画像のフレーム tおよびフレーム t+ 1のノイズ成分を除去し、反復勾配法演算部 103に出力する。

[0081] 反復勾配法演算部 103は、初期ベクトル選択部 101から入力された初期ベクトル V 0と、プリフィルタ 102—1および 102— 2を介して入力されるフレーム tおよびフレーム t+ 1を用いて、所定のブロック毎に、勾配法により、動きベクトル Vnを算出する。反復勾配法演算部 103は、初期ベクトル VOと、算出された動きベクトル Vnをベクトル評価部 104に出力する。また、反復勾配法演算部 103は、ベクトル評価部 104による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトル Vnを算出する。なお、反復勾配法演算部 103の構成の詳細は、後述する。

[0082] ベクトル評価部 104は、反復勾配法演算部 103からの動きベクトル Vn— 1 (または、初期ベクトル VO)と、動きベクトル Vnの評価値 DFDを求め、求められた評価値 DF Dに基づいて、反復勾配法演算部 103を制御し、勾配法の演算を繰り返し実行させ、最終的に、評価値 DFDに基づぐ信頼性の高いものを選択し、動きベクトル Vとして、検出ベクトルメモリ 53に記憶する。このとき、ベクトル評価部 104は、動きベクトル Vとともに、その動きベクトル Vに対して求められた評価値 DFDを、シフト初期べタトル割付部 105に供給する。

[0083] シフト初期ベクトル割付部 105は、ベクトル評価部 104より動きベクトル Vおよびその評価値 DFDが供給されると、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。換言すると、シフト初期ベクトル割付部 105は、動きベクトル Vの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトル Vと同じ大きさで同じ向きの動きベクトルを、シフト初期ベクトルとして設定する。そして、シフト初期ベクトル割付部 10 5は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ 107に割り付ける。

[0084] 具体的には、シフト初期ベクトル割付部 105は、シフト初期ベクトルとして割り付けられた動きベクトル Vの評価値 DFDを、着目ブロックに対応させて、評価値メモリ 106 に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトル Vの評価値 DFDと比較する。そして、シフト初期ベクトル割付部 105は、評価値 DFDに基づぐ信頼度が高いとされた動きベクトル Vを、着目ブロックにシフトさせ、着目ブロックのシフト初期べクトルとして、シフト初期ベクトルメモリ 107に割り付ける。なお、シフト初期ベクトル割付部 105の構成の詳細は、後述する。

[0085] 次に、ベクトル検出部 52において用いられる勾配法の原理について説明する。まず、動画像中において、水平、垂直、時間軸を用いた座標 (X, y, t)で表される画素の輝度値を g (X, y, t)とする。ここで、着目画素 (X , _y , t )が、微小時間中に、 (dx,

0 0 0

dy, dt)だけ変位したとき、水平、垂直、時間軸の勾配 (差分差)を、それぞれ gx (x , y , t), gy(x, y, t), gt(x, y, t)と表すと、変位後の画素の輝度値は、 Taylor展

0 0 0 0 0 0 0 0

開近似を用いて、次の式（2)で表される。

[0086] g(x +dx, y +dy, t +dt)

0 0 0

^ g(x , y , t

0 0 0ノ +gx、x , y , t )dx

0 0 0

+ gy(x , y , t )dy+gt(x , y , t )dt

0 0 0 0 0 0

•••(2)

[0087] ここで、動画像中のある着目画素が 1フレーム後に水平 vx,垂直 vyだけ移動した場合 (以降、（vx, vy)と表す）、その画素の輝度値は、次の式（3)で表される。

[0088] g(x +vx, y +vy, t +1) = g(x, y , t)

0 0 0 0 0 0

•••(3)

[0089] 式（2)を式 (3)に代入すると、次の式 (4)で表される。

[0090] gx(x , y , t )vx + gy(x , y , t )vy

0 0 0 0 0 0

+ gt(x, y , t) = 0

0 0 0

•••(4)

[0091] 式 (4)は、 vx, vyの 2変数の式であるので、着目 1画素に対する単独の式では、その解を求めることができない。そこで、次に説明するように、着目画素の周辺領域であるブロックを 1つの処理単位として考え、ブロック (周辺領域）内の全画素が同じ動き (vx, vy)をすると仮定し、各画素について同様の式を立てる。仮定が前提となるが、 2変数に対して周辺画素の個数の式が得られる。したがって、それらの式を連立させ、ブロック内全画素の動き補償フレーム差分の自乗和が最小になるような (vx, vy)を求める。

[0092] 画素（X, y, t)カ^フレーム間に（vx, vy)だけ移動したとき、その動き補償フレーム間差分 dは、次の式（5)で表される。

[0093] d = g(x+vx, y+vy, t+l)-g(x, y, t)

•••(5)

[0094] 式（5)において、 Ax=gx(x, y, t)であり、水平方向の勾配を表し、 Ay=gy(x, y, t)であり、垂直方向の勾配を表し、 At=gt(x, y, t)であり、時間方向の勾配を表す。これらを用いて、動き補償フレーム間差分の自乗和を Eとすると、式 (6)で表される

[0095] E = ∑d²

= ∑ (Δχνχ + Ayvy +2ΔχΔ yvxvy

+ 2AxAtvx+2AyAtvy+ At²)

=vx L Δχ²+νγ²∑ Ay²+2vxvy∑ ΔχΔγ

+ 2vx∑ AxAt + 2vy∑ AyAt+∑ At²

•••(6)

[0096] ここで、 Eが最小となる (vx, vy)は、各変数における偏微分値が 0になるとき、すなわち、

式（6)から、次の式（7)および式（8)となる。

[0097] νχ∑ Δχ²+νγ∑ ΔχΔγ+Σ AxAt = 0

•••(7)

vy∑ Δγ²+νχ∑ ΔχΔγ+Σ Ay At = 0

•••(8)

[0098] これらの式（7)および式（8)から、求めた!/、動きである（vx, vy)は、次の式（9)を演算することにより求めることができる。

[0099] [数 2] v = (∑Δγ²)(∑ΛΐΔχ)-(∑ΔχΛγ)(∑ΛΐΔγ)

(∑Δχ²)(∑Λγ²)-(∑ΛχΔγ)²

(∑ Δχ²) (∑AtAy)-(∑AxAy) (∑AtAx) V^V (∑Δχ²)(∑Λν²)-(∑ΛχΔγ)²

•••(9)

[0100] ここで、図 10を参照して、具体的に説明する。図 10の例において、矢印 Xは、水平方向を示しており、矢印 Υは、垂直方向を示している。また、矢印 τは、図中、右奥の時刻 tのフレーム tから、左手前の時刻 t+ 1のフレーム t+ 1への時間の経過方向を示している。なお、図 10の例においては、各フレームは、着目画素 pの周辺領域 (ブロック）として、勾配法演算に用いられる 8画素 X 8画素の領域のみ示されて、る。

[0101] フレーム tにお!/、て、左上の画素から下に 5番目、右に 5番目の画素である着目画素 Pの動きベクトル V (vx, vy)を、上述した勾配法を用いて求める場合、動きベクトル V (vx, vy)は、着目画素 pの x, y方向のそれぞれについて求められる隣接画素 pxおよび pyとの輝度の差分差 (すなわち、勾配） Δ χおよび Ay、フレーム t+ 1において求められる着目画素 Pの同位相に位置する画素 qとの時間方向の輝度の差分差 (勾配） A tを、着目画素 pの周辺領域（8画素 X 8画素）のすベての画素について求め、それらの差分差を、式 (9)を用いて演算することにより、求めることができる。

[0102] すなわち、勾配法とは、 2フレーム間において、勾配 Δ χ, Δγ,および A tを求め、求められた Δ χ, Δγ,および A tから、差分自乗和を用いて、統計的に、動きベクトル V (vx, vy)を算出するものである。

[0103] 一般的に、このような勾配法を用いた動きベクトル検出方法においては、微小動きに対して精度の高い結果が得られる。し力しながら、実際の動画像の中で動きを求めようとするとする場合、この勾配法は、その動き量が大きすぎるため実用的とはいえない。これに対応して、この勾配法を複数回反復する方法が考えられる。勾配法を反復して実行することにより、各演算で求められる動き量が収束するため、徐々に正しい動きが求められる。

[0104] し力しながら、ただ、勾配法を反復するだけでは、リアルタイム処理を行おうとした場合、演算時間の面から実用的ではない。そこで、ベクトル検出部 52においては、過去フレームと現在フレームでの周辺画素の動きに基づいて求められる初期ベクトルを

、初期値として用いることで、勾配法の繰り返し回数を軽減している。すなわち、動きの起点となる着目画素から、初期ベクトルが指す先へオフセットを予め加えることで大ま力な動きを算出し、オフセットが加えられたその位置力も勾配法を用いた演算を行うようにすれば、画素以下動きを含めた微調整を行うことができる。これにより、演算時間を増大させることなぐ精度のよい動きベクトルを検出することができる。

[0105] 図 11は、初期ベクトルを用いて実行される反復勾配法について具体的に説明する図である。図 11の例においては、矢印 Tは、図中、左手前の時刻 tのフレーム tから、右奥の時刻 t+ 1のフレーム t+ 1への時間の経過を示している。なお、各画素 p, qO , ql, q2,および q3を中心としたブロックは、その画素の、勾配法演算に用いられる周辺領域 (ブロック）を表して!/ヽる。

[0106] 図 11の例の場合、フレーム tにおける着目画素 pに対して、フレーム t+ 1においては、着目画素 pの同位相に位置する画素 qOではなぐ予め求めておいた初期べタトル νθをオフセット (移動）して計算した位置 (画素） qlを開始点として 1回目の勾配法演算が行われ、その結果、動きベクトル vlが得られる。

[0107] 次に、画素 qOから vO+vlをオフセットして計算した位置 (画素） q2を開始点として、

2回目の勾配法演算が行われ、その結果、動きベクトル v2が得られる。これにより、最終的に動きベクトル Vは、式（10)として求められる。

[0108] V = v0+vl +v2

•••(10)

[0109] 以上のようにして、初期ベクトルを用いて、反復勾配法の演算を実行することにより、演算時間を短縮させつつ、精度の高い動きベクトルを求めることができる。

[0110] 次に、図 12のフローチャートを参照して、動きベクトル検出処理の詳細について説明する。ベクトル検出部 52には、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1が入力される。

[0111] 初期ベクトル選択部 101は、ステップ S101において、フレーム t上の処理の対象となるブロックを、着目ブロックとして選択し、ステップ S102〖こ進む。なお、フレーム上におヽては、左上のブロックカゝらラスタスキャン順に処理が実行される。

[0112] ステップ S102において、初期ベクトル選択部 101は、初期ベクトル選択処理を実行する。初期ベクトル選択部 101は、ステップ S101において、所定のブロック毎に、過去の動きベクトルの検出結果から、信頼度が高い動きベクトルを選択し、選択した動きベクトルを、勾配法に用いられる初期値となる初期ベクトル VOとして、反復勾配法演算部 103に出力し、ステップ S103に進む。

[0113] すなわち、初期ベクトル選択部 101は、過去の勾配法演算評価処理 (後述するステップ S103)において求められ、検出ベクトルメモリ 53に記憶された周辺ブロックの動きベクトルや、過去のシフト初期ベクトル割付処理（後述するステップ S 104)においてシフト初期ベクトルメモリ 107に記憶されたシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部 101は、フレーム tとフレーム t+ 1を用いて、候補ベクトルの評価値 DFDを求め、候補ベクトルの中から、求められた評価値 DFDに基づいた信頼度が高いものを選択し、選択された候補ベクトルを、初期ベクトル VOとして出力する。なお、ステップ S 102における、初期ベクトル選択処理の詳細は、後述する。

[0114] ステップ S 103において、反復勾配法演算部 103およびベクトル評価部 104は、反復勾配法演算評価処理 (なお、反復勾配法演算処理とも称する）を実行し、ステップ S104に進む。具体的には、ステップ S103において、反復勾配法演算部 103は、初期ベクトル選択部 101から入力された初期ベクトル V0と、プリフィルタ 102— 1および 102— 2を介して入力されるフレーム tおよびフレーム t+ 1を用いて、ベクトル評価部 104による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトル Vnを算出する。また、ベクトル評価部 104は、反復勾配法演算部 103からの動きベクトル Vn—lと、動きベクトル Vnの評価値 DFDを求め、求められた評価値 DF Dに基づぐ最も信頼性の高いものを選択し、動きベクトル Vとして、検出ベクトルメモリ 53に記憶する。このとき、ベクトル評価部 104は、動きベクトル Vとともに、その動きベクトル Vに対して求めた評価値 DFDを、シフト初期ベクトル割付部 105に供給する。なお、ステップ S103における、反復勾配法演算処理の詳細は、後述する。

[0115] ステップ S104において、シフト初期ベクトル割付部 105は、シフト初期ベクトル割付処理を実行し、ステップ S105に進む。シフト初期ベクトル割付部 105は、ベクトル評価部 104より動きベクトル Vおよびその評価値 DFDが供給されると、ステップ S104にお！、て、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。すなわち、換言すると、動きべタトル Vの終点のブロックと同 Cf立置の次のフレーム上の着目ブロックを始点とした、動きベクトル Vと同じ大きさで同じ向きの動きベクトル力シフト初期ベクトルとして設定される。そして、シフト初期ベクトル割付部 105は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ 107に割り付ける。

[0116] なお、具体的には、シフト初期ベクトル割付部 105は、シフト初期ベクトルとして割り付けられた動きベクトル Vの評価値 DFDを、着目ブロックに対応させて、評価値メモリ 106に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトル Vの評価値 DFDと比較し、評価値 DFDに基づぐ信頼度が高いとされた動きベクトル Vを、そのブロックにシフトさせてシフト初期ベクトルと設定し、シフトさせたブロックに対応させて、シフト初期ベクトルメモリ 107に割り付ける。なお、シフト初期ベクトル割付部 105の構成の詳細は、後述する。

[0117] ステップ S105において、初期ベクトル選択部 101は、フレーム tにおいて、すべてのブロックの処理が終了したか否かを判断し、すべてのブロックの処理が終了していないと判断した場合、ステップ S101に戻り、それ以降の処理を繰り返す。また、ステップ S105において、初期ベクトル選択部 101は、フレーム tにおいて、すべてのブロックの処理が終了したと判断した場合、すなわち、フレーム t上のすべてのブロックにおいて、動きベクトル Vが検出されたと判断し、動きベクトル検出処理を終了する。

[0118] 以上のように、過去に検出された動きベクトル力初期ベクトルが選択され、選択された初期ベクトルに基づいて、反復勾配法の演算が用いられて、繰り返し動きべタトルが算出され、算出された動きベクトルの中から、評価値 DFDに基づぐ信頼度が高い（すなわち、最も確からしい）動きベクトルが検出される。この結果、検出ベクトルメモリ 53に、フレーム t上のすべてのブロックに対応する動きベクトル Vが記憶される。

[0119] 次に、シフト初期ベクトル割付部 105の構成の詳細について説明する。

[0120] 図 13は、シフト初期ベクトル割付部 105の構成を示すブロック図である。図 13に構成を示すシフト初期ベクトル割付部 105は、前 (過去)フレームにおいて、ベクトル評価部 104より検出された動きベクトル Vに基づいて、初期ベクトルの候補ベクトルとなるシフト初期ベクトルを設定し、シフト初期ベクトルメモリ 107に割り付ける処理を行う。シフト初期ベクトル割付部 105には、ベクトル評価部 104より検出された動きベクトル V、および、その動きベクトル Vの評価値 DFDが入力される。

[0121] 割付対象位置演算部 201は、ベクトル評価部 104より検出された動きベクトル Vが、次の時刻のフレーム上において通過するブロックの位置（すなわち、現在のフレーム上において検出された動きベクトル Vの終点のブロックと同じ位置にある次のフレーム上のブロックの位置）を演算し、演算されたブロックの位置を、評価値メモリ 106およびシフト初期ベクトル置換部 203に供給する。

[0122] 評価値比較部 202は、動きベクトル V、および、その動きベクトル Vの評価値 DFD が入力されると、割付対象位置演算部 201からのブロックの位置の評価値 DFDを、評価値メモリ 106から読み出す。そして、評価値比較部 202は、評価値メモリ 106から読み出された評価値 DFDと、ベクトル評価部 104により検出された動きベクトル V の評価値 DFDとを比較判断し、検出された動きベクトル Vの評価値 DFDの方が小さい (すなわち、信頼度が高い）と判断した場合、シフト初期ベクトル置換部 203を制御し、シフト初期ベクトルメモリ 107の、シフト初期ベクトル割付部 105により供給されたブロックの位置のシフト初期ベクトルを、評価値 DFDに基づぐ信頼度が高いと判断した動きベクトル Vで書き換えさせる。また、それと同時に、評価値比較部 202は、評価値置換部 204を制御し、評価値メモリ 106において、割付対象位置演算部 201により選択されたブロックの位置の評価値 DFDを、動きベクトル Vの評価値 DFDで書き換えさせる。

[0123] シフト初期ベクトル置換部 203は、シフト初期ベクトルメモリ 107の、割付対象位置演算部 201により供給されたブロックの位置のシフト初期ベクトルを、評価値比較部 2 02から供給される動きベクトル V (すなわち、動きベクトル Vと同じ大きさで同じ向きの動きベクトル)で書き換える。評価値置換部 204は、評価値比較部 202の制御のもと、評価値メモリ 106において、割付対象位置演算部 201により選択されたブロックの位置の評価値 DFDを、動きベクトル Vの評価値 DFDで書き換える。

[0124] 評価値メモリ 106は、次のフレーム上における、各ブロックに割り当てられるシフト初期ベクトル候補の評価値 DFDをブロック毎に記憶する。シフト初期ベクトルメモリ 107 は、次のフレームにおける各ブロックにおいて最も評価値 DFDが小さい（すなわち、最も信頼度がある）動きベクトルを、シフト初期ベクトルとして、そのブロックに対応させて記憶する。

[0125] 図 14は、シフト初期ベクトル割付部 105により割り付けられるシフト初期ベクトルを 1 次元的に説明する図である。図 14の例においては、上から順に、時刻 T=t— 1のフレーム t—l、時刻 T=tのフレーム t、および、時刻 T=t+ 1のフレーム t+ 1が示されており、各フレーム上の仕切りは、各フレームにおけるブロックの境界を示している。 [0126] 図 14の例の場合、フレーム t—l上のブロック Bにおいて検出される動きベクトルを、動きベクトル V (図中、実線矢印）とし、ブロック Bを始点とする動きベクトル Vによるフレーム t上の動き補償先（以下、オフセット先とも称する）を、ブロック Btとする。また、フレーム t—l上の動きベクトル Vをフレーム t上のブロック Btにシフトした動きベクトルを、シフト初期ベクトル SV (図中、点線矢印）とする。なお、この場合、オフセット先とは、フレーム t—l上において検出された動きベクトル Vの終点のブロックと同じ位置にあるフレーム t上のブロック Btのことを表しており、シフトとは、フレーム t—l上において検出された動きベクトル Vと同じ大きさで同じ向きの動きベクトルの始点を、フレーム t 1上の動きべクトノレ Vの終点のブロックと同じ位置にあるフレーム t上のブロック Btとすることをいう。すなわち、シフト初期ベクトル SVは、フレーム t—1上において検出された動きベクトル Vの終点のブロックと同じ位置にあるフレーム t上のブロック B tを始点とした、動きベクトル Vと同じ大きさで同じ向きの動きベクトルのことである。

[0127] 一般的に、連続するフレーム間では、動物体の動き量にある程度の連続性があり、その動き量の変化が小さいとされるので、図 14の例においては、ブロック B上の物体が等速かそれに近い動きをする場合、ブロック Btにおける動きベクトルも、動きべタトル V力それに近!、動きのベクトルになることが多!、。

[0128] したがって、このシフト初期ベクトル SVを、フレーム t上の着目ブロック Btの動きべクトルを検出する場合に、勾配法演算に与える初期ベクトルの候補として用いることにより、周辺ブロックの動きベクトルだけを初期ベクトルの候補として用いる場合よりも、勾配法演算による動きベクトル検出に、より適切な初期ベクトルを得ることができる。

[0129] 以上のことを、図 15および図 16を参照して、具体的に説明する。なお、図 15および図 16においては、各フレーム上には、 9つのブロックが示されている。

[0130] 図 15は、大きな動きの物体が通過しているブロックと、その周辺ブロックの動きべクトルの例を表している。図 15の例の場合、 1ブロック力なる、ある物体 Olの画像ォブジェクトは、大きな動きの動きベクトル VIで、フレーム t 1上の最右端 (左から 9番目）のブロックから、フレーム t上の左から 5番目のブロックを経由して、フレーム t+ 1 上の最左端のブロックへ移動している。一方、 4ブロック力もなる物体 02の画像ォブジェタトは、動きベクトル VIよりも小さな動きの動きベクトル V2で、フレーム t— 1上の左から 3乃至 6番目の 4ブロック力ら、フレーム t上の左から 4乃至 7番目の 4ブロックを経由して、フレーム t+ 1上の左から 5乃至 8番目の 4ブロックへ移動している。すなわち、フレーム t上の左から 5番目のブロックにおいて、物体 Olの画像オブジェクトと物体 02の画像オブジェクトは、物体 Olの画像オブジェクトを手前にして交差している。

[0131] このとき、フレーム t上において、物体 Olの画像オブジェクトが動きベクトル VIで通過する、左から 5番目のブロックの動きベクトルを検出するために、周辺ブロックの動き力も初期ベクトルを抽出しようとしても、周辺ブロック (左力も 4または 6番目のブロック）に、物体 02の画像オブジェクトが、物体 Olの画像オブジェクトとは異なる動きべタトル V2で通過しているため、適切な動きベクトルは、存在しない。一方、シフト初期ベクトル SV1 (図中、点線矢印）は、このような場合であっても、過去のフレーム T—1 上で検出された動きベクトル VIを、そのフレーム t上の左から 5番目のブロックにシフトした動きベクトル（すなわち、フレーム t—l上において検出された動きベクトル VIの終点のブロックと同 Cf立置にあるフレーム t上のブロックを始点とした、動きベクトル VI と同じ大きさで同じ向きの動きベクトル)であるので、確実に取得することができる。

[0132] 図 16は、動物体の境界のブロックと、その周辺ブロックの動きベクトルの例を表している。図 16の例の場合、 1ブロック力らなる、ある物体 03の画像オブジェクトは、動きベクトル V3で、フレーム t—l上の左から 6番目のブロックから、フレーム t上の左から 5 番目のブロックを経由して、フレーム t+ 1上の左から 4番目のブロックへ移動している。一方、 9ブロック以上からなる物体 04の画像オブジェクトは、動きベクトル VIとは異なる動きベクトル V4で、フレーム t—l上の全 9ブロックから、フレーム t上の左から 2乃至 9番目の 8ブロックを経由して、フレーム t+ 1上の左から 3乃至 9番目の 7ブロックへ移動している。すなわち、物体 03の画像オブジェクトは、フレーム t—lの左から 6番目のブロック、フレーム t上の左から 5番目のブロック、およびフレーム t+ 1左から 4番目のブロックにおいて、物体 04の画像オブジェクトの手前を通過している。

[0133] このとき、フレーム t上において、物体 03の画像オブジェクトが動きベクトル V3で通過する、左から 5番目のブロックの動きベクトルを検出するために、周辺ブロックの動き力も初期ベクトルを抽出しようとしても、周辺ブロック (左力も 4または 6番目のブロック）に、物体 04の画像オブジェクトが、物体 03の画像オブジェクトとは異なる動きべタトル V4で通過しているため、適切な動きベクトルは、存在しない。しかしながら、この場合においても、図 15の場合と同様に、シフト初期ベクトル SV3 (図中、点線矢印 )は、過去のフレーム T—1上で検出された動きベクトル V3を、そのフレーム t上の右力 5番目のブロックにシフトしたベクトル（すなわち、フレーム t—1上において検出された動きベクトル V3の終点のブロックと同 Cf立置にあるフレーム t上のブロックを始点とした、動きベクトル V3と同じ大きさで同じ向きの動きベクトル)であるので、確実に取得することができる。

[0134] 以上のように、図 15に示されるような大きな動きを持つ物体や、図 16に示されるように動、て、る物体の境界にぉ、ては、動きベクトルを検出しょうとする着目ブロックの初期ベクトルの候補となる周辺ブロックに、着目ブロックの初期ベクトルとして最適な動きベクトルが存在しない場合が多く存在する。これに対して、シフト初期ベクトルは、過去のフレーム t—l上において検出された動きベクトルの終点のブロックと同じ位置にあるフレーム t上のブロックを始点とした、動きベクトルと同じ大きさで同じ向きの動きベクトルであるので、ブロック間の空間距離に依存しないため、周辺ブロックに、着目ブロックの初期ベクトルとして適切な動きベクトルが存在しない場合にも、確実に取得することができ、初期ベクトルの最適な候補として用いることができる。

[0135] ここで、ー且、図 14に戻り、シフト初期ベクトルの決定方法について説明する。図 1 4の例において、動きベクトル検出処理を行うフレーム t上の着目ブロック Btを基準として、フレーム t—lから、着目ブロック Btを通過する動きベクトル（すなわち、フレーム t上のブロック Btと同 Cf立置にあるフレーム t—1のブロックを終点とする動きベクトル）を探索しょうとすると、フレーム t 1上の全ブロックの動きベクトルを検索しなければならず、処理が膨大になってしまう。したがって、この場合、動きベクトル検出時に、膨大な処理分の演算量をこなさなければならず、その実現 (ハードウア化)が困難でめつに。

[0136] そこで、シフト初期ベクトル割付部 105は、フレーム t— 1における動きベクトル検出の際に、着目ブロック Btにおいて検出された動きベクトル V力次の時刻のフレーム t 上で通過するブロックの位置（すなわち、動きベクトル Vの終点のブロックと同じ位置のフレーム t上のブロック）を求め、その動きベクトル Vを、ブロック Btに対するシフト初期ベクトル svとして、予め割り付けておく。これにより、フレーム t上での動きベクトル検出の際に必要となるシフト初期ベクトルを探索する演算量を削減することができ、ハードウェア化が実現できるようになり、現実的に、シフト初期ベクトルを、初期べタトルの候補として用いることが可能になる。

[0137] 図 17を参照して、シフト初期ベクトル割付部 105によるシフト初期ベクトルの決定方法を具体的に説明する。図 17の例においては、矢印 Tは、図中、左手前の時刻 t—l のフレーム t—lから、右奥の時刻 tのフレーム tへの時間の経過を示している。また、各フレーム上の丸は、画素を表している。

[0138] フレーム t—l上において、ブロック BOは、 4 X 4画素により構成される。ブロック BO において検出された動きベクトル Vbとすると、ブロック BOをフレーム t上にオフセット（動き補償）したオフセット先（ブロック BOの動きベクトル Vbの終点のブロックと同じ位置のフレーム t上のブロック） AOは、一般的には、フレーム t上の 4 X 4画素により構成される 4つのブロック Btl乃至 Bt4と重なりを持つ。したがって、図 17の例の場合においては、このオフセット先 AOと重なりを持つ 4つのブロック Btl乃至 Bt4のすべてが、動きベクトル Vbを、シフト初期ベクトルとして割り付ける対象ブロックとされる。

[0139] 以上のようにして前のフレームにおいて検出された動きベクトルを、シフト初期べタトルとして割り付ける。この場合、割り付けられる対象となるブロックの位置は、動きべクトルの大きさと向きによる。このため、フレーム t—l上で検出される動きベクトルの分布によっては、図 18に示されるように、フレーム t上において、複数のシフト初期べタトルが割り付ける対象となり競合するブロックや、逆に、シフト初期ベクトルの割り付けが起こらな、ブロックが発生してしまう。

[0140] 図 18は、シフト初期ベクトルの割り付けの例を示している。図 18の例において、各フレームの仕切りは、ブロックの境界を示しており、フレーム t—l上には、図中左から、ブロック B1乃至 B5により構成され、フレーム t上には、図中左から、ブロック Btl乃至 Bt5が示されている。

[0141] ブロック B1においては、動きベクトル VIが検出され、ブロック B1のオフセット先 A1 は、フレーム t上のブロック Btlおよび Bt2と重なりを持つ。ブロック B2においては、動きベクトル V2が検出され、ブロック B2のオフセット先 A2は、フレーム t上のブロック Bt 1および Bt2と重なりを持つ。ブロック B3おいては、動きベクトル V3が検出され、ブロック B3のオフセット先 A3は、フレーム t上のブロック Bt4および Bt5と重なりを持つ。ブロック B4においては、動きベクトル V4が検出され、ブロック B4のオフセット先 A4は、フレーム t上のブロック Bt4および Bt5と重なりを持つ。ブロック B5においては、動きベクトル V5が検出され、ブロック B5のオフセット先 A5は、フレーム t上のブロック Bt5 および図示せぬ隣接ブロックと重なりを持つ。

[0142] すなわち、図 18の例においては、フレーム t上のブロック Btlおよび Bt2には、動きベクトル VIまたは V2のどちらか一方がシフト初期ベクトルとして割り付けられる。また、フレーム t上のブロック Bt4には、動きべクトノレ V3および V4のどちらか一方がシフト初期ベクトルとして割り付けられ、フレーム t上のブロック Bt5には、動きベクトル V3、 V4、および V5のうちのいずれかがシフト初期ベクトルとして割り付けられる。しかしながら、フレーム t上のブロック Bt3には、シフト初期ベクトルの候補となる動きベクトルが存在せず、シフト初期ベクトルは割り付けられな、。

[0143] したがって、シフト初期ベクトル割付部 105は、ブロック Bt3のように、シフト初期べクトルの割り付けが起こらな、ブロックに対して、 0ベクトルをシフト初期ベクトルとして割り付ける。一方、シフト初期ベクトル割付部 105は、ブロック Btl, Bt2, Bt4,および B t5のように、複数の動きタトルが競合するブロックに対して、上述した評価値 DFDに基づぐ信頼度が高い動きベクトルを選択し、選択した動きベクトルを、シフト初期べタトルとしてそれぞれのブロックに割り付ける。

[0144] なお、図 18の例においては、説明の便宜上、オフセット先 Aは、フレーム t上カも少しずらして示されている。

[0145] 図 19は、競合する動きベクトルの例を示す図である。図 19の例においては、フレーム t—l上のブロック B1および B2から、それぞれにおいて検出された動きベクトル VI および V2が、フレーム t上のブロック Btを通過している。すなわち、ブロック Btは、動きベクトル VIのフレーム t 1上の終点と同 Cf立置のフレーム t上のブロックであり、動きべクトノレ V2のフレーム t— 1上の終点と同 Cf立置のフレーム t上のブロックである。このように、複数の動きベクトルが同じブロックに対して競合する場合には、動きべタトル VIに対する評価値 DFD1と、動きベクトル V2に対する評価値 DFD2の値が比較され、評価値 DFDが小さい方 (すなわち、信頼度が高い方）がブロック Btに対応するシフト初期ベクトル SV2として選択される。これにより、評価値 DFDに基づぐ信頼度の高、シフト初期ベクトルを得ることができる。

[0146] 次に、図 20のフローチャートを参照して、シフト初期ベクトル割り付け処理の詳細について説明する。前段において、ベクトル評価部 104は、フレーム t—1上の着目ブロックの動きベクトル Vを検出すると、検出された動きベクトル Vとともに、その動きべタトル Vに対して求めた評価値 DFDを、シフト初期ベクトル割付部 105に供給する。

[0147] ステップ S201において、評価値比較部 202は、ベクトル評価部 104から、動きべクトル Vとともに、その動きベクトル Vの評価値 DFDを入力する。また、このとき、割付対象位置演算部 201も、動きベクトル Vを入力し、ステップ S202に進む。割付対象位置演算部 201は、動きベクトル Vのフレーム tにおけるオフセット (動き補償)先の割付対象ブロックの位置を求める。すなわち、割付対象位置演算部 201は、フレーム t— 1 上において検出された動きベクトル Vの終点のブロックと同じ位置にあるフレーム t上のブロックの位置を求め、ステップ S203に進む。割付対象位置演算部 201は、ステップ S203において、求められた割付対象ブロックのうち、 1つの割付対象ブロックを選択し、選択した割り付け対象ブロックの位置を、評価値メモリ 106およびシフト初期ベタ卜ノレ置換咅 203【こ供給し、ステップ S204【こ進む。なお、ステップ S203【こお!ヽては、割付対象ブロックのうち、フレーム t上において左上のブロックから順に選択される。

[0148] ステップ S204におヽて、評価値比較部 202は、評価値メモリ 106から、割付対象位置演算部 201により選択された割付対象ブロックの評価値 DFDを取得し、ステツプ S205に進み、ステップ S201において入力された動きベクトル Vの評価値 DFDが、評価値メモリ 106の評価値 DFDよりも小さいか否力（すなわち、動きベクトル Vの評価値 DFDが、評価値メモリ 106の評価値 DFDよりも信頼度が高いか否力 )を判断し、動きベクトル Vの評価値 DFD力評価値メモリ 106の評価値 DFDよりも小さいと判断された場合、ステップ S206に進む。

[0149] 評価値比較部 202は、ステップ S206において、シフト初期ベクトル置換部 203を制御し、割付対象位置演算部 201により選択されたシフト初期ベクトルメモリ 107の割付対象ブロックのシフト初期ベクトルを、動きベクトル V (すなわち、動きベクトル Vと同じ大きさで同じ向きの動きベクトル）に書き換えさせ、ステップ S207に進み、評価値置換部 204を制御し、割付対象位置演算部 201により選択された割付対象ブロックの評価値 DFDを、動きベクトル Vの評価値 DFDで書き換えさせ、ステップ S 208に進む。

[0150] また、評価値比較部 202は、ステップ S205において、ステップ S 201において入力された動きベクトル Vの評価値 DFD力評価値メモリ 106に記憶される評価値 DFD よりも小さくないと判断した場合、ステップ S206および S207の処理をスキップし、ステツプ S208に進む。すなわち、この場合、評価値メモリ 106の評価値 DFD力動きベクトル Vの評価値 DFDよりも信頼度が高、と判断されるので、評価値メモリ 106およびシフト初期ベクトルメモリ 107の値は、書き換えられることはな!/、。

[0151] 割付対象位置演算部 201は、ステップ S208において、動きベクトル Vの割り付け対象ブロックすべての処理が終了した力否かを判断し、割り付け対象ブロックすべての処理が終了していないと判断した場合、ステップ S203に戻り、それ以降の処理を繰り返す。また、割付対象位置演算部 201は、ステップ S208において、動きベクトル V の割り付け対象ブロックすべての処理が終了したと判断した場合、シフト初期ベクトル割付処理を終了する。

[0152] なお、初回の処理においては、選択された割付対象ブロックに対応するシフト初期ベクトル力シフト初期ベクトルメモリ 107にまだ記憶されていない。したがって、そのシフト初期ベクトルの評価値 DFDが、評価値メモリ 106の対応する割付対象ブロックに、まだ記憶されていない場合には、ステップ S 204において、選択された割付対象ブロックから評価値 DFDは、取得されないので、ステップ S205においては Yesと判断されることとし、ステップ S206および S207の処理が実行される。

[0153] 以上のように、着目ブロックの動きベクトルの検出を処理する際に、連続するフレーム間において動物体の動き量にはある程度の連続性があり、動き量の変化が小さいことに基づいて、前の時刻（過去）のフレームから、次の時刻のフレームの着目ブロックを通過する動きベクトル (すなわち、過去のフレーム上において検出された動きべクトル Vの終点のブロックと同じ位置にある次のフレーム上のブロックを始点とした、動きベクトル Vと同じ大きさで同じ向きの動きベクトル)であるシフト初期ベクトルを、初期べタトルの候補ベクトルとすることにより、従来のように、周辺ブロックにおいて過去に求められている動きベクトルのみを初期ベクトルの候補ベクトルとする場合よりも、特に、動ヽて、る物体の境界にぉ、ては、勾配法演算の初期値として適切な動きベクトルを与えることができ、これにより、勾配法の演算による動きベクトル検出の精度を向上させることがでさる。

[0154] また、シフト初期ベクトルを求める際に、前の時刻のフレームにおいて検出された動きベクトルが次の時刻のフレームにおいて通過するブロック（すなわち、フレーム t 1 上において検出された動きベクトル Vの終点のブロックと同じ位置にあるフレーム t上のブロック）を求め、次の時刻のフレーム上の着目ブロックにおけるシフト初期べタトルとして割り付けるようにしたので、着目ブロックを通過する動きベクトルを、前の時刻のフレームの全ブロックの動きベクトル力も探索する場合よりも、処理の演算量が削減されるため、膨大な演算量により実現が困難であったハードウア化を実現することができる。

[0155] 次に、初期ベクトル選択部 101の構成の詳細について説明する。

[0156] 図 21は、初期ベクトル選択部 101の構成を示すブロック図である。図 21に構成を示す初期ベクトル選択部 101は、前 (過去)フレームにおいて検出された動きベクトルや、シフト初期ベクトルなどの候補ベクトル (以下、初期候補ベクトルとも称する）から、信頼度の高い動きベクトルを、初期ベクトルとして選択する処理を行う。初期ベクトル選択部 101には、時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1が入力される。

[0157] 候補ベクトル位置演算部 251は、フレーム tが入力されると、フレーム t上の処理の対象となる着目ブロックを選択し、着目ブロックの周辺領域から、着目ブロックの初期候補ベクトルを取得する候補ブロックの位置、初期候補ベクトルとなる動きベクトルの種類および優先順位を求め、求められた優先順位の順に、候補ブロックの位置情報および初期候補ベクトルの種類情報を、検出ベクトル取得部 252およびシフト初期べタトル取得部 253に供給する。また、候補ベクトル位置演算部 251は、候補ブロックの位置情報を、オフセット位置演算部 254にも供給する。 [0158] なお、信号処理装置 1においては、初期候補ベクトルの数は、初期ベクトルの精度と、ハードウェア能力の兼ね合いなどに基づいて所定数に設定されており、さらに、候補ブロックの位置、初期候補ベクトルの種類、および優先順位も、例えば、図 23を参照して後述するように、予め設定されている。また、初期候補ベクトルの種類としては、過去フレームにおいて、所定のブロックを通過する動きベクトルを、その所定のブロックにシフトさせた動きベクトル (すなわち、過去フレーム上において検出された動きベクトルの終点のブロックと同 Cf立置にある次のフレーム上のブロックを始点とした、動きベクトル Vと同じ大きさで同じ向きの動きベクトル)であるシフト初期ベクトル SV、過去フレームにおいて検出された動きベクトル (以下、過去ベクトル PVとも称する）、現在のフレームにおいて着目ブロックより手前のブロックにおいて検出された動きべタトル（現在ベクトル CVとも称する）、および 0ベクトルがある。

[0159] したがって、候補ベクトル位置演算部 251は、予め設定された初期候補ベクトルの種類が過去ベクトルまたは現在ベクトルであった場合、候補ブロックの位置情報および初期候補ベクトルの種類情報を、検出ベクトル取得部 252に供給し、求めた初期候補ベクトルの種類がシフト初期ベクトルであった場合、候補ブロックの位置情報および初期候補ベクトルの種類情報を、シフト初期ベクトル取得部 253に供給し、そのどちらでもなカゝつた場合 (例えば、初期候補ベクトルの種類が、 0ベクトルである場合）、 0ベクトルを設定し、 0ベクトルと共に、候補ブロックの位置情報を、オフセット位置演算部 254に供給する。

[0160] 検出ベクトル取得部 252は、候補ベクトル位置演算部 251により供給された候補ブロックの位置情報および初期候補ベクトルの種類情報に応じた動きベクトルを、検出ベクトルメモリ 53より取得し、取得した動きベクトルを、初期候補ベクトルとして、オフセット位置演算部 254に出力する。

[0161] シフト初期ベクトル取得部 253は、候補ベクトル位置演算部 251により供給された候補ブロックの位置情報および初期候補ベクトルの種類情報に応じて、候補ブロックの位置情報に対応したシフト初期ベクトルを、シフト初期ベクトルメモリ 107から取得し、初期候補ベクトルとしてオフセット位置演算部 254に出力する。また、シフト初期ベクトル取得部 253は、候補ベクトル位置演算部 251により指示されたブロックの位置に、シフト初期ベクトルが割り付けられていない場合、 0ベクトルを、オフセット位置演算部 254に出力する。なお、シフト初期ベクトルが割り付けられていない場合には、 0ベクトル力シフト初期ベクトルメモリ 107に予め記憶されているようにしてもよい。

[0162] オフセット位置演算部 254は、検出ベクトル取得部 252またはシフト初期ベクトル取得部 253から初期候補ベクトル (あるいは候補ベクトル位置演算部 251からの 0ベタトル)を入力すると、候補ベクトル位置演算部 251により供給された候補ブロックの位置情報に基づいて、各初期候補ベクトルに対して、フレーム tの着目ブロックを、フレーム t+ 1にオフセット (動き補償)させたオフセット先のブロック位置を演算する。そして、オフセット位置演算部 254は、初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を、評価値演算部 255に出力する。

[0163] 評価値演算部 255は、オフセット位置演算部 254より初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を入力すると、フレーム tとフレーム t+ 1を用いて、初期候補ベクトルの評価値 DFDを求める。そして、評価値演算部 255は、初期候補ベクトルとともに、求められた評価値 DFDを、評価値比較部 256に出力する。

[0164] 評価値比較部 256は、評価値演算部 255により入力された評価値 DFDと、最適候補格納用レジスタ 257に格納されている最適候補ベクトルの評価値 DFDを比較し、評価値演算部 255により入力された初期候補ベクトルの評価値 DFDが、最適候補ベクトルの評価値 DFDよりも小さい、すなわち、初期候補ベクトルが最適候補べタトルよりも信頼度が高いと判断された場合、最適候補格納用レジスタ 257の最適候補ベクトルおよびその評価値 DFDを、信頼度が高!、とされた初期候補ベクトルおよびその評価値 DFDで置き換える。そして、最終的に、評価値比較部 256は、最適候補格納用レジスタ 257を制御し、すべての候補ベクトルの中から、評価値 DFDに基づく、信頼度が最も高いと判断された最適候補ベクトルを、初期ベクトル VOとして、反復勾配法演算部 103に出力させる。

[0165] 最適候補格納用レジスタ 257は、評価値比較部 256により評価値 DFDが小さい（信頼度が高い）とされた初期候補べ外ルが、最適候補ベクトルとして、その評価値 D FDとともに記憶されている。そして、最適候補格納用レジスタ 257は、評価値比較部 256の制御のもと、最終的に記憶されている最適候補ベクトルを、初期ベクトル VOとして、反復勾配法演算部 103に出力する。

[0166] 図 22は、初期ベクトルの候補ブロックとなり得る周辺領域を示している。図 22の例において、矢印 Tは、図中、左手前の時刻 t 1の過去（前）フレーム t 1から、右奥の時刻 tの現在フレーム tへの時間の経過方向を示している。なお、図 22の例においては、初期ベクトルの候補となり得る周辺領域は、着目のブロック Btを中心とした 7ブロック X 7ブロックにより構成され、各ブロックは、画素数が 4画素 X 4画素により構成されている。

[0167] 動きベクトル検出処理は、上述したように、フレームの左上のブロックからラスタスキヤン順に実行される。したがって、初期ベクトル選択部 101は、現在フレーム tの着目ブロック Btの動きベクトル検出処理の際には、その直前のブロックまでの動きベクトル検出の結果を、初期ベクトルの候補とすることができる。

[0168] すなわち、着目ブロック Btの周辺領域は、着目ブロック B りも手前に処理されるブロック CVB、および着目ブロック Btよりも後に処理されるブロック PVBにより構成されている。したがって、着目ブロック Btの初期ベクトルを求める場合、初期候補べタトルは、ブロック CVBの現在フレーム t上で検出された動きベクトル（現在ベクトル CV) 、および、ブロック PVBの過去フレーム t 1上で検出された動きベクトル（過去べタトル PV)の中力も選択することができる。なお、このとき、同じ周辺領域のブロックに割り付けられるシフト初期ベクトルも、初期候補ベクトルの候補となりうる。

[0169] 図 23は、候補ベクトル位置演算部 251において設定される初期ベクトルの候補ブロックの例を示している。図 23の例においては、着目ブロック Btの周辺領域のうち、「英字 Z数字」のシンボルがそれぞれ示されて、る 8個の所定のブロック力初期候補ベクトルが取得される候補ブロックとして設定されて、る。これらの 8個の所定のブロックに示されて、る斜線の前後のシンボルは、「初期候補ベクトルの種類」と「優先順位」をそれぞれ表している。なお、初期候補ベクトルの種類のうち、 Pは、過去フレーム t 1で検出された過去ベクトル PVを表しており、 Cは、現在フレーム tで検出された現在ベクトルを表しており、 Sは、シフト初期ベクトル SVを表している。

[0170] 着目ブロックでの rs/ljは、着目ブロック Btに割り付けられたシフト初期ベクトル S Vが初期候補ベクトルとして、優先順位「1」番目に用いられることを表している。着目ブロック Btの左隣のブロックの「C/2」は、現在フレーム tにおいて検出されたそのブロックの現在ベクトル CVが初期候補ベクトルとして、優先順位「2」番目に用いられることを表している。着目ブロック Btの右上のブロックの「C/3」は、現在フレーム tにおいて検出されたそのブロックの現在ベクトル CV力優先順位「3」番目に初期候補べタトルとして用いられることを表して、る。着目ブロック Btの右下のブロックの「P/4」は、過去フレーム t—lにおいて検出されたそのブロックの過去ベクトル PV力優先順位「4」番目に初期候補ベクトルとして用いられることを表している。

[0171] 周辺領域 7 X 7の左上隅の右下のブロックの「CZ6」は、現在フレーム tにお!/、て検出されたそのブロックの現在ベクトル CV力優先順位「6」番目に初期候補ベクトルとして用いられることを表して、る。周辺領域 7 X 7の右上隅の左下のブロックの「CZ5 」は、現在フレーム tにおいて検出されたそのブロックの現在ベクトル CV力優先順位「5」番目に初期候補ベクトルとして用いられることを表している。周辺領域 7 X 7の左下隅の右上のブロックの「P/7」は、過去フレーム t 1において検出されたそのブロックの過去ベクトル PV力優先順位「7」番目に初期候補ベクトルとして用いられることを表している。周辺領域 7 X 7の右下隅の左上のブロックの「PZ8」は、過去フレーム t— 1において検出されたそのブロックの過去ベクトル PV力優先順位「8」番目に初期候補ベクトルとして用いられることを表して、る。

[0172] 以上のように、図 23の例において、初期候補ベクトルは、着目ブロック Btを含む、着目ブロック Btに隣接するブロックのうち、着目ブロック Bt、着目ブロック Btの左隣、右上、および右下のブロックとされ、着目ブロック Btに隣接していないブロックのうち、周辺領域 7 X 7の四隅から、それぞれ内側に 1つ入った位置のブロック力選択される。

[0173] すなわち、図 23の例の場合、着目ブロック Btに隣接するブロック (空間的にも時間的にも近いブロック）のほうが少し離れたブロックよりも優先順位が高ぐ現在フレーム tで検出された現在ベクトルのほうが、過去フレーム t 1で検出された過去ベクトルよりも優先順位が高く設定されている。なお、これらの初期ベクトルの候補の位置、種類、および優先度は、できるだけ少ない候補数で、確かな初期候補ベクトルを得ることができるように、着目ブロック Btの近傍だけでなぐ少し離れた位置のブロックも含め、また、偏りのないようになど、空間的な相関や時間的な相関などに基づいて設定されたものである。したがって、このように、予め設定された所定のブロックの動きべタトルを初期候補ベクトルとして用いることにより、初期候補ベクトル数が多くなつてしまい、処理の演算量が膨大になってしまうことが抑制される。

[0174] なお、候補ブロックの種類と候補ブロックの位置は、図 23の例に限定されるものではなぐ他の種類のベクトルや、ブロックの位置を用いてもよい。また、周辺のブロックに、最適なベクトルが存在しない場合を考慮して、そのような場合に劣化を抑制する、 0ベクトルを用いてもよい。また、候ネ ΐブロックの数も 8個より多くても少なくてもよい。

[0175] 次に、図 24のフローチャートを参照して、初期ベクトル選択処理の詳細について説明する。

[0176] 候補ベクトル位置演算部 251は、ステップ S251において、選択された着目ブロックの周辺領域から、予め設定されている着目ブロックの初期候補ベクトルを取得する候補ブロックの位置、初期候補ベクトルの種類および優先順位を求め、ステップ S252 において、求められた優先順位の順に、候補ブロックの初期候補ベクトルの種類が、過去ベクトルまたは現在ベクトルであるか否かを判断する。ステップ S252において、候補ベクトル位置演算部 251は、候補ブロックの初期候補ベクトルの種類力過去べタトルまたは現在ベクトルであると判断した場合、ステップ S253に進み、候補ブロックの位置情報および初期候補ベクトルの種類情報を、検出ベクトル取得部 252に供給し、検出ベクトル取得部 252に、候補ブロックの位置情報および初期候補ベクトルの種類情報に応じた動きベクトル (過去ベクトル PVまたは現在ベクトル CV)を、検出べタトルメモリ 53から取得させ、取得させた動きベクトルを、オフセット位置演算部 254 に出力させ、ステップ S257〖こ進む。

[0177] ステップ S252において、候補ベクトル位置演算部 251は、候補ブロックの初期候補ベクトルの種類が、過去ベクトルまたは現在ベクトルでないと判断した場合、ステツプ S254に進み、候補ベクトル位置演算部 251は、候補ブロックの初期候補ベクトルの種類が、シフト初期ベクトルであるか否かを判断する。ステップ S254において、候補ベクトル位置演算部 251は、候補ブロックの初期候補ベクトルの種類力シフト初期ベクトルであると判断した場合、ステップ S255に進み、候補ブロックの位置情報および初期候補ベクトルの種類情報を、シフト初期ベクトル取得部 253に供給し、シフト初期ベクトル取得部 253に、候補ブロックの位置情報に対応したシフト初期ベクトルを、シフト初期ベクトルメモリ 107から取得させ、取得させたシフト初期ベクトルを、ォフセット位置演算部 254に出力させ、ステップ S257に進む。

[0178] ステップ S254において、候補ベクトル位置演算部 251は、候補ブロックの初期候補ベクトルの種類が、シフト初期ベクトルではないと判断した場合 (すなわち、候補ブロックの初期候補ベクトルの種類力 0ベクトルであると判断した場合）、ステップ S25 6に進み、初期候補ベクトルに 0ベクトルを設定し、 0ベクトルと共に、候補ブロックの位置情報を、オフセット位置演算部 254に供給し、ステップ S257に進む。なお、ステップ S253および S255においても、候補ベクトル位置演算部 251は、候補ブロックの位置情報を、オフセット位置演算部 254に供給している。

[0179] オフセット位置演算部 254は、ステップ S257において、検出ベクトル取得部 252またはシフト初期ベクトル取得部 253から初期候補ベクトルを入力すると、候補ベクトル位置演算部 251により供給された候補ブロックの位置情報に基づ、て、各初期候補ベクトルに対して、フレーム tの着目ブロックを、フレーム t+ 1にオフセットさせたオフセット先のブロック位置を演算する。そして、オフセット位置演算部 254は、初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を、評価値演算部 255に出力し、ステップ S258に進む。

[0180] 評価値演算部 255は、オフセット位置演算部 254より初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を入力すると、ステツプ S258において、フレーム tとフレーム t+ 1を用いて、初期候補ベクトルの評価値 D FDを求め、初期候補ベクトルとともに、求められた評価値 DFDを、評価値比較部 25 6【こ出力し、 S259〖こ itむ。

[0181] 評価値比較部 256は、ステップ S259において、評価値演算部 255により求められた評価値 DFDが、最適候補格納用レジスタ 257に格納されて、る最適候補ベクトルの評価値 DFDより小さいか否かを判断し、評価値演算部 255により求められた評価値 DFDが、最適候補格納用レジスタ 257に格納されて、る最適候補ベクトルの評価値 DFDより小さい、すなわち、初期候補ベクトルが最適候補ベクトルよりも信頼度が高いと判断された場合、ステップ S260において、最適候補格納用レジスタ 257の最適候補ベクトルおよびその評価値 DFDを、信頼度が高!、とされた初期候補ベクトルおよびその評価値 DFDで書き換え、ステップ S261に進む。

[0182] また、ステップ S259において、評価値比較部 256は、評価値演算部 255により求められた評価値 DFD力最適候補格納用レジスタ 257に格納されて、る最適候補ベクトルの評価値 DFDより小さくな!/、と判断した場合、ステップ S260の処理をスキップし、ステップ S 261に進む。

[0183] ステップ S261において、候補ベクトル位置演算部 251は、すべての初期候補べクトル（図 23の例の場合、 8ベクトル）の処理が終了した力否かを判断し、すべての初期候補ベクトルの処理が終了していないと判断した場合、ステップ S252に戻り、それ以降の処理を繰り返す。

[0184] ステップ S261において、すべての初期候補ベクトルの処理が終了したと判断された場合、処理は、ステップ S262に進み、評価値比較部 256は、最適候補格納用レジスタ 257を制御し、すべての初期候補ベクトルの中から、評価値 DFDに基づぐ信頼度が最も高、とされた最適候補べ外ルを、初期ベクトル VOとして反復勾配法演算部 103に出力させ、初期ベクトル選択処理を終了する。

[0185] 以上のように、着目ブロックにおいて、複数の初期候補ベクトルの評価値 DFDを求め、評価値 DFDが最も小さい、すなわち、信頼度が最も高いとされる初期候補べタトルを、初期ベクトルとして選択するようにしたので、後段の動きベクトル検出に最適な初期ベクトルを与えることができ、その結果、後段の動きベクトル検出の精度を向上させることができる。また、予め定められた所定のブロックの動きベクトルを、初期候補ベクトルとして用いるようにしたので、初期候補ベクトル数が多くなつてしまい、処理の演算量が膨大になってしまうことが抑制される。

[0186] さらに、連続するフレーム間において動物体の動き量にはある程度の連続性があり、動き量の変化が小さいことに基づいて、前フレーム力も着目ブロックを通過する動きベクトルであるシフト初期ベクトルを、初期ベクトルの候補とするようにしたので、従来のように、周辺ブロックにお、て過去に求められて、る動きベクトルのみを初期べタトルの候補とする場合よりも、精度の高い動き検出を行うことができる。これは、特に、動いている物体の境界において、効果的である。

[0187] 次に、反復勾配法演算部 103の構成の詳細について説明する。

[0188] 図 25は、反復勾配法演算部 103の構成を示すブロック図である。図 25に構成を示す反復勾配法演算部 103は、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、最適な動きベクトルを検出する処理を行う。この動きべクトルを検出する処理は、複数の画素からなる所定のブロック毎に実行される処理であり、反復勾配法演算部 103は、各ブロックにおいて、ブロック単位毎、または、画素単位毎に、勾配法を用いた演算を繰り返し実行することにより、評価値 DFDに基づぐ信頼度が高い、最適な動きベクトルを出力する。

[0189] 反復勾配法演算部 103には、プリフィルタ 102— 1および 102— 2を介して、時刻 t の画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1が入力され、また、初期べタトル選択部 102からの初期ベクトル VOが入力される。

[0190] モード選択部 401は、有効画素判定部 403からの制御のもと、所定のブロック毎に、勾配法演算の処理モードを選択し、初期ベクトル選択部 102からの初期ベクトル V 0をセレクタ 402およびベクトル評価部 104に出力する。勾配法演算の処理モードは、動きベクトルの検出対象がブロックであるブロック単位処理モードと、動きベクトルの検出対象が画素である画素単位処理モードにより構成され、初期値としてブロック単位処理モードが選択される。セレクタ 402は、ベクトル評価部 104力ゝらの制御のもと、モード選択部 401からの初期ベクトル V0、または勾配法演算部 404から出力された動きベクトル Vnのどちらかを、勾配法演算の初期値として用いる動きベクトル (以下、オフセットベクトルと称する）として、有効画素判定部 403および勾配法演算部 404に出力する。

[0191] 有効画素判定部 403は、セレクタ 402により選択されたオフセットベクトルを入力すると、プリフィルタ 102—1および 102— 2を介して入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、オフセットベクトルをオフセットして計算した位置を開始点として、各単位処理モードの演算ブロックに、勾配法の演算に有効な画素の数がしき、値より多、か否かを判断し、その結果に応じて処理方法を切り換える。すなわち、有効画素判定部 403は、勾配法の演算に有効な画素の数がしきい値以下であると判断した場合、モード選択部 401を制御し、その所定のブロックに対しての処理モードを、画素単位処理モードに変更させたり、演算を中止させる。有効画素判定部 403は、各単位処理モードの演算ブロックに、勾配法の演算に有効な画素の数がしきい値より多いと判断した場合、勾配法演算部 404を制御し、各処理単位での勾配法演算処理を実行させる。

[0192] 勾配法演算部 404は、セレクタ 402から入力されたオフセットベクトルを入力すると、プリフィルタ 102— 1および 102— 2を介して入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、セレクタ 402からのオフセットベクトルをォフセットして計算した位置を開始点として、各単位処理モードの勾配法演算を実行し、算出された動きベクトル Vnを、遅延部 405およびベクトル評価部 104に出力する。

[0193] 遅延部 405は、勾配法演算部 404から出力された動きベクトル Vnを、有効画素判定部 403および勾配法演算部 404の次の処理のサイクルまで保持しており、セレクタ 402の制御に応じて、保持する動きベクトル Vnを有効画素判定部 403に出力する。

[0194] 図 26は、有効画素判定部 403の詳細な構成を示すブロック図である。図 26の例において、有効画素判定部 403は、時間画素差分算出部 411、画素差分値判定部 41 2、有効画素カウンタ 413、および勾配法継続判定部 414により構成される。

[0195] 時間画素差分算出部 411は、セレクタ 402により選択されたオフセットベクトルを入力すると、ブロック単位の演算ブロックにおいて、画素を選択し、オフセットベクトル、並びに、プリフィルタ 102—1および 102— 2を介して入力される時刻 tの画像のフレ一ム、および時刻 t+ 1の画像のフレーム t+ 1を用いて、選択された画素の時間方向の画素差分 Atを算出し、算出された時間方向の画素差分 Atを、画素差分値判定部 412に出力する。

[0196] 画素差分値判定部 412は、時間画素差分算出部 411により算出された時間方向の画素差分 Atが、所定のしきい値 (以下、画素差分値と称する)よりも小さいか否かを判断し、時間方向の画素差分 Atが、所定の画素差分値よりも小さいと判断した場合には、有効画素数カウンタ 413の有効画素の数を 1つカウントする。有効画素数力ゥンタ 413は、演算ブロック毎に画素差分値判定部 412により有効であると判断された画素分の値をカウントする。また、有効画素数カウンタ 413は、演算ブロック毎に値力 Sリセットされる。

[0197] 勾配法継続判定部 414は、各単位処理モードの演算ブロックに、勾配法の演算に有効な画素の数がしきい値より多いか否かを判断し、各単位処理モードの演算ブロックに、勾配法の演算に有効な画素の数がしきい値より多いと判断した場合、勾配法演算部 404に、各単位処理モードの勾配法演算を実行させるフラグ (flg= 1)を出力する。勾配法継続判定部 414は、各単位処理モードの演算ブロックに、勾配法の演算に有効な画素の数がしきい値より少ないと判断した場合、モード選択部 401を制御し、他の単位処理モードを選択させたり、勾配法演算部 404に勾配法演算を打ち切るフラグ (flg=0)を出力する。

[0198] 図 27は、勾配法演算部 404の詳細な構成を示すブロック図である。図 27の例において、勾配法演算部 404は、時間画素差分算出部 421、画素差分値判定部 422、水平垂直画素差分算出部 423、勾配積算部 424、およびベクトル算出部 425により構成される。

[0199] 時間画素差分算出部 421は、有効画素判定部 403から入力されるフラグに基づいて、勾配法演算部 404の各部を制御する。すなわち、時間画素差分算出部 421は、フラグが 1を示す (flg= l)場合には、勾配法演算部 404の各部に、勾配法演算の処理を実行させる。具体的には、時間画素差分算出部 421は、有効画素判定部 403からフラグを入力すると、プリフィルタ 102— 1および 102— 2を介して入力される時刻 t の画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、セレクタ 402からのオフセットベクトルをオフセットして計算した画素を中心とした、各単位処理モードの演算ブロック内の画素を選択し、選択された画素の時間方向の画素差分 Atを算出し、算出された時間方向の画素差分 Atおよびオフセットベクトルを、画素差分値判定部 422に出力する。また、時間画素差分算出部 421は、演算ブロック内の画素の処理が終了した場合に、オフセットベクトルを、ベクトル算出部 425に出力し、ベタトル算出部 425を制御し、検出対象ブロックの動きベクトルを算出させる。

[0200] 一方、フラグが 0を示す (flg=0)場合には、時間画素差分算出部 421は、演算プロック内の画素の時間方向の画素差分 Atを算出しないので、勾配法演算部 404の各部では、勾配法演算の処理が実行されず、処理は打ち切られる。なお、このとき、時間画素差分算出部 421は、ベクトル算出部 425を制御し、動きベクトル Vを 0ベクトルに設定させる。

[0201] 画素差分値判定部 422は、時間画素差分算出部 421により算出された時間方向の画素差分 Atが、所定のしきい値 (以下、画素差分値と称する)よりも小さいか否かを判断し、時間方向の画素差分 Atが、所定の画素差分値よりも小さいと判断した場合、その画素を、勾配法の演算対象とし、時間方向の画素差分 Atおよびオフセットベクトルを水平垂直画素差分算出部 423に出力する。すなわち、所定の画素差分値よりも小さいと判断された画素差分 Atの画素は、水平垂直画素差分算出部 423および勾配積算部 424において、演算対象とされる。また、画素差分値判定部 422は、時間方向の画素差分 Atが、所定の画素差分値以上であると判断した場合、水平垂直画素差分算出部 423および勾配積算部 424に、その画素の処理を禁止させる。

[0202] 水平垂直画素差分算出部 423は、画素差分値判定部 422から入力されたオフセットベクトルを入力すると、プリフィルタ 102— 1および 102— 2を介して入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、オフセットベクトルをオフセットして計算した画素を中心とした、各単位処理モードの演算ブロック内において、時間方向の画素差分 Atが、所定の画素差分値よりも小さいと判断された画素の水平方向の画素差分 Δχおよび垂直方向の画素差分 Ayを算出する。また、水平垂直画素差分算出部 423は、時間方向の画素差分 At、水平方向の画素差分 Δχ、垂直方向の画素差分 Ayを勾配積算部 424に出力する。勾配積算部 424は、時間方向の画素差分 Atが、所定の画素差分値よりも小さいと判断された画素の勾配を積算する。すなわち、勾配積算部 424は、時間画素差分算出部 421により算出された時間方向の画素差分 At、水平垂直画素差分算出部 423により算出された水平方向の画素差分 Δχ、および、垂直方向の画素差分 Ayを積算し、積算された勾配の値を、ベクトル算出部 425に出力する。

[0203] ベクトル算出部 425は、時間画素差分算出部 421からオフセットベクトルが入力されると、勾配積算部 424により積算された勾配の値、および上述した式（9)の最小自乗和を用いて、動きベクトル vnを算出する。また、ベクトル算出部 425は、時間画素差分算出部 421からのオフセットベクトルを、算出した動きベクトル vnに加算して、動きベクトル Vnを求め、ベクトル評価部 104および遅延部 405に出力する。

[0204] 次に、動きベクトルの検出対象ブロックと演算ブロックについて説明する。画像内のオブジェクトの動きを考えた場合、同じオブジェクトであれば、大方同じ動きをしていることが多い。したがって、動きベクトルを検出する検出処理の単位は、通常、図 28 に示されるように、ブロック単位で行うことが多、。

[0205] 図 28の例において、矢印 Xは、水平方向を示しており、矢印 Yは、垂直方向を示している。また、矢印 Tは、図中、右奥の時刻 tのフレーム tから、左手前の時刻 t+ 1のフレーム t+ 1への時間の経過方向を示している。

[0206] 図 28の例の場合、各フレームの検出対象ブロック Kとして、 8画素 X 8画素のブロック（以下、 8 X 8ブロックと称する）が示されている。この検出対象ブロック Kとは、 8 X 8 ブロックに関して動きベクトルの検出を行ったときに、その 8 X 8ブロックに対して同じ動きが求まるブロックのことを！、う。

[0207] 一方、勾配法による動きベクトルの検出（すなわち、演算）は、画素毎に動きべタトルを検出できる特徴を有している。し力しながら、画素単位での動きベクトルの演算を行うと、統計的な解法である最小自乗法を用いる勾配法では、検出精度が著しく低下する欠点がある。したがって、通常、ブロック毎だけでなぐ画素毎の処理単位であつても、動きベクトルを演算する場合には、勾配法の演算に用いられる画素は、プロック (演算ブロック）単位で構成されることが多、。

[0208] 以上のように、勾配法の演算に用いられる画素は、 8 X 8ブロックの演算ブロックの画素とされる。すなわち、図 28の例においては、演算ブロック（8 X 8)を用いて、勾配法演算を行った結果得られる動きベクトルは、検出対象ブロック K (8 X 8)のすベての画素に対応する動きベクトルということになる。

[0209] し力しながら、上述したように勾配法の演算に用いられる画素を、演算ブロック単位に扱う際に発生する問題として、図 29に示されるように、検出対象ブロックを構成する画素の中に、異なる動きを持つオブジェクトの画素が混在する場合が挙げられる。

[0210] 図 29の例においては、 8 X 8画素（64画素）により構成される検出対象ブロック（= 演算ブロック) Kにおいて、左上の画素から 28画素（太線丸）力矢印 Aに示される斜め左上への動きを有しており、 8 X 8の検出対象ブロック Kにおいて、右下の画素から 36画素（細線丸）力矢印 Bに示される右横への動きを有して、る。

[0211] したがって、検出対象ブロック Kにおいて、上述したような大方同じ動きであるという仮定が崩れてしまい、動きの異なる画素を含んだままの演算ブロックを用いて、勾配法の演算を行うと、著しぐ動きベクトルの検出精度が低下してしまう。すなわち、これは、異なる動きを持つオブジェクト同士の境界に発生する、オブジェクトの消滅領域（カバードバックグラウンド領域)および発生領域 (アンカバードバックグラウンド領域)に関する検出精度低下問題である。消滅領域は、前景領域に対して、前景のオブジェタトの進行方向の全端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。これに対して、発生領域は、前景領域に対して、前景のオブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をヽぅ。

[0212] 図 30は、同じオブジェクトである場合の検出対象ブロックの輝度の状態を説明する図である。図中左側においては、矢印 Xは、水平方向を示しており、矢印 Yは、垂直方向を示している。また、矢印 Tは、図中、右奥の時刻 tのフレーム tから、左手前の時刻 t+1のフレーム t+1への時間の経過方向を示している。また、図中右側においては、矢印 Xは、水平方向を示しており、矢印 Lは、輝度値を示している。すなわち、図中右側の輝度値 Lpl, Lp2, Lp3, ···, Lpi(3<i<7), ···, Lp7は、図中左側のフレーム tの 8X8の検出対象ブロックにおいて、例えば、左上の画素から下に 5番目の行の画素 pi, p2, p3, ···, pi(3<i<7), ···, p7,…の輝度値を表しており、同様に、輝度値 Lql, Lq2, Lq3, ···, Lqi(3<i<7), ···, Lq7は、図中左側のフレーム t+1 の 8X8の検出対象ブロック【こお!ヽて、画素 pi, p2, p3, ···, pi(3<i<7), ···, p7, …とそれぞれ同位相に位置する画素である、左上の画素から下に 5番目の行の画素 ql, q2, q3, ···, qi(3<i<7), ···, q7,…の輝度値を表している。また、輝度値 Lp 1乃至 Lp7および Lql乃至 Lq7間の矢印は、フレーム t上の画素とフレーム t+ 1上の画素の時間方向差分 Δ tを示している。

[0213] したがって、図 30の例においては、画素 piと画素 qlの時間方向差分 Atは、輝度値 Lplと輝度値 Lqlの差で表され、画素 p2と画素 q2の時間方向差分 Atは、輝度値 Lp2と輝度値 Lq2の差で表され、画素 _P3と画素 q3の時間方向差分 A tは、輝度値 L p3と輝度値 Lq3の差で表され、画素 piと画素 qiの時間方向差分 A tは、輝度値 Lpiと輝度値 Lqiの差で表され、画素 p7と画素 q7の時間方向差分 A tは、輝度値 Lp7と輝度値 Lq7の差で表され、各輝度値の差は、輝度値 Lpl乃至 Lp7を結んだ曲線と、輝度値 Lql乃至 Lq7を結んだ曲線の形状がほぼ同形状で示されるように、輝度変化が小さい。

[0214] 以上のように、検出対象ブロックの中の画素が、同じオブジェクトである（すなわち、同一動きである）場合には、時間方向の対応画素について、輝度変化は、あまり大きくない。

[0215] 図 31は、異なる動きを持つオブジェクトの画素が混在する場合の検出対象ブロックの輝度の状態を説明する図である。なお、図 30において、図 31における場合と対応する部分には対応する符号を付してあり、その説明は繰り返しになるので省略するが、図 31の例においては、フレーム t上の画素 p7が、他の画素と異なる動きを有している。

[0216] 例えば、フレーム t上の画素 p7が、他の画素と同じ動きを有している場合には、フレーム t+ 1上において、画素 p7と同位相に位置する画素 q7の輝度値は、輝度値 Lq7 1で表されるはずであるが、図 31の例においては、画素 p7は、他の画素と異なる動きを有しているため、画素 q7の輝度値は、輝度値 Lq7— 2に示されるように、輝度値 Lq7—1よりも図中下側に大きく変化している。したがって、画素 p7と画素 q7の時間方向差分 A t (輝度値 Lp7と、輝度値 Lq7— 2の差）は、大きくなつてしまう。

[0217] このように、例えば、検出対象ブロック内に、上述したオブジェクトの消滅、発生、または変形などにより、異なる動きを有するオブジェクトの画素が混在する場合には、対応する画素の輝度値が大きく変化することが多ぐこのことが、動きの乱れにつながつてしまう恐れがある。そこで、有効画素判定部 403において、輝度変化が小さい画素は、動きベクトル検出に用いても有効であり、逆に、輝度変化が大きい画素は、動きベクトル検出に用いると、有効ではないと判断するようにする。すなわち、輝度変化の大小という要素に着目し、輝度変化の大小でその画素が有効か無効かを判断することにより、輝度変化が小さい画素は、動きベクトル検出に用い、逆に、輝度変化が大きい画素は、動きベクトル検出に用いないようにすることができる。これにより、動きベクトル検出の精度を高くすることができる。

[0218] 具体的に説明すると、有効画素判定部 403は、演算ブロック内の各画素について、時間方向の画素差分 A tに所定の画素差分値 (しきい値)を設定し、時間方向の画素差分 A tが、設定された所定の画素差分値よりも小さい場合には、その画素は、動きベクトル検出に寄与する（有効である）と判定し、動きベクトルを検出する際の勾配法の演算に用いるが、時間方向の画素差分 A tが、設定された所定の画素差分値以上である場合には、その画素は、動きの乱れを発生させる恐れがあるとして、動きべタトルを検出する際の勾配法の演算力除外する。これにより、異なる動きが混入することが抑制され、より安定した勾配法演算が実行され、その結果、確からしい動きべタトルが検出される。

[0219] ただし、上述したように、勾配法演算は、統計的な解法である最小自乗法に基づいた演算であるため、勾配法演算に用いる画素と用いない画素を切り分けることにより、勾配法演算に用いられる画素が極端に少なくなり、これらの極端に少ない画素数で勾配法演算が行われてしまうと、逆に、演算の信頼性が低下してしまい、動きベクトル検出の精度が低下してしまう恐れがある。

[0220] そこで、有効画素判定部 403は、勾配法演算に用いられる画素数が少ない場合には、この検出対象ブロック（8 X 8)の処理単位での演算は不安定であるとし、図 32に示されるように、 8 X 8ブロック内の画素（64個）毎の演算単位に切り替えて処理を行

[0221] 図 32は、画素単位処理における演算ブロックの例を示している。図 32の例においては、フレーム上の検出対象ブロック（ブロック単位の演算ブロック） K (8 X 8)が画素単位処理に切り替えられた場合の、検出対象ブロック Kの左上の画素 pの演算ブロック E (図 32の例の場合、 9 X 9)を示している。

[0222] すなわち、画素 pの動きベクトルを求める際には、画素 pを中心とした演算ブロック E

(図 32の例の場合、 9 X 9)が用いられる。また、例えば、画素 pの右隣の画素の動きベクトルを求める場合には、画素 pの右隣の画素を中心とした演算ブロック 9 X 9 (図示せず）が用いられる。 [0223] したがって、例えば、検出対象ブロック Kにおいて、大半が画素 ρと異なる動きをしていたとしても、検出対象ブロック Κ (8 X 8)において、勾配法演算に用いられる画素数が計数され、その数が少ない場合には、画素単位処理に切り替えられるので、図 3 2に示されるように、画素単位処理での演算ブロック Εを用いて勾配法の演算を実行することができる。

[0224] このように、勾配法演算に用いる画素と用いない画素を切り分け、勾配法演算に用いられる画素が極端に少なくなつた場合に、検出対象ブロック Κ (8 X 8)ブロック内すベての画素について動きベクトルの検出をやめるのではなぐ画素単位処理に切り替えて、画素毎に、演算ブロック Ε (9 X 9)の画素を変えて勾配法演算するようにすることで、演算に用いられない画素の混在を少しでも防ぎ、画素によっては、より高精度の動きベクトルの検出を行うことができる。

[0225] 図 33は、図 29の検出対象ブロック（演算ブロック） Κの画素に、画素単位処理を適用する例を示す図である。図 33の例においては、矢印 Αに示される斜め左上への動きを有する画素（太線丸）と、矢印 Bに示される右横への動きの 2つの異なる動きを有する画素（細線丸）からなる図 29の検出対象ブロック K (8 X 8)において、画素単位での処理が行われる。この場合において、検出対象ブロック Kの左上の検出対象画素 Pの動きベクトルを検出するとき、検出対象画素 pを中心とした演算ブロック E (図 33 の例の場合、 9 X 9)が用いられる。

[0226] 演算ブロック E内の画素は、矢印 Bに示される右横への動きを有する右下の 3画素（細線丸）以外を除いて、矢印 Aに示される斜め左上への動きを有している。ここで、上述したブロック単位処理の場合と同様に、演算ブロック E内の各画素について、時間方向画素差分 Δ tに所定のしき、値 (画素差分値)を設定し、時間方向画素差分 Δ t 力設定された所定の画素差分値よりも小さい場合には、その画素は、動きベクトル検出に寄与する（有効である）と判定し、動きベクトルを検出する際の勾配法演算に用いるが、時間方向画素差分 A tが、設定された所定の画素差分値よりも大きい場合には、その画素は、動きの乱れを発生させる恐れがあるとして、動きベクトルを検出する際の勾配法演算に用、な、。

[0227] すなわち、図 33の例においては、演算ブロック Eにおいて、右下の 3画素（細線丸）を除いた画素 (太線丸）が、検出対象画素 Pの勾配法演算に有効な画素であるとされ

、その有効な画素が用いられて勾配法演算が実行されるため、図 29の検出対象プロック K (8 X 8)を、演算ブロックとして用いて実行されるブロック単位処理の勾配法演算よりも、より安定した勾配法演算が実行され、その結果、確力しい動きベクトルが検出される。

[0228] なお、この画素毎の演算ブロックにおいても、勾配法演算に用いる画素と用いない画素を切り分けることにより、勾配法演算に用いられる画素が極端に少なくなつてしまう場合には、動きベクトルを検出することが危険であるとし、演算は、打ち切られる。すなわち、動きベクトル検出が不安定であるにもかかわらす、何力しらの大きさを有する動きが検出されたことにしてしまうと、実際の画像内のオブジェクトの動きにそぐわな V、（確からしくな、）動きベクトルになってしまう恐れがある力である。このような確からしくない動きベクトルを用いた上で、以降の処理 (例えば、ベクトル割付処理またはベクトル補償処理）が実行され、生成された画像は、動きが不連続になってしまったり、ブロックノイズが発生してしまうなどの大きな視覚劣化を及ぼしてしまう場合が多、。

[0229] したがって、画素単位の勾配法演算に用いられる画素が極端に少なくなつてしまう場合、検出される動きベクトルは、例えば、 0ベクトル (すなわち、静止状態）が用いられる。これにより、以降の処理において、この動きベクトル力悪影響を及ぼすことが抑制され、生成される画像の大きな視覚劣化を抑制することができる。

[0230] 次に、図 34のフローチャートを参照して、反復勾配法演算処理の詳細を説明する。

前段よりモード選択部 401に初期ベクトル VOが入力される。

[0231] モード選択部 401は、ステップ S401において、ブロック単位処理モードを選択し、フレーム t上のブロックを、検出対象ブロック（演算ブロック）とし、検出対象ブロックの初期ベクトル VOをセレクタ 402およびベクトル評価部 104に出力し、ステップ S402 に進む。これにより、反復勾配法演算部 103の各部においては、ブロック単位での処理が実行される。ステップ S402において、セレクタ 402は、ベクトル評価部 104からの制御に応じて、モード選択部 401から入力された初期ベクトル VOをオフセットべクトルとして選択し、選択したオフセットベクトルを、時間画素差分算出部 411および時間画素差分算出部 421に出力し、ステップ S403に進む。 [0232] ステップ S403において、時間画素差分算出部 411および画素差分値判定部 412 は、選択されたオフセットベクトルを用いて（いまの場合、初期ベクトル VOをオフセットして）、ブロック単位の有効画素判定処理を実行し、ステップ S404に進む。この有効画素判定処理の詳細は、図 35を参照して後述するが、この有効画素判定処理により、有効画素数カウンタ 413には、ブロック単位の演算ブロック内において、画素差分値が所定の画素差分値よりも小さいと判定された (すなわち、後段の勾配法演算で有効な画素であると判定された)画素の数がカウントされて、る。

[0233] 勾配法 «続判定部 414は、ステップ S404において、有効画素数カウンタ 413に力ゥントされて、る画素数 (有効画素数)が所定のしき、値 αより多!、か否かを判断し、有効画素数が所定のしきい値 αより多いと判断した場合、勾配法演算部 404に、ブロック単位で、勾配法演算を実行させるフラグ (flg= l)を出力し、ステップ S405に進む。

[0234] ステップ S405において、勾配法演算部 404は、勾配法継続判定部 414からのフラグに基づいて、セレクタ 402からのオフセットベクトル（いまの場合、初期ベクトル VO) を用いて、ブロック単位の勾配法演算処理を実行し、ステップ S406に進む。この勾配法演算処理の詳細は、図 36を参照して後述するが、この勾配法演算処理により、動きベクトル Vnが求められ、ベクトル評価部 104および遅延部 405に出力される。なお、動きベクトル Vnは、 1回目の勾配法演算により算出された動きベクトル vnに、ォフセットベクトル Vn— 1が加算されたもの（Vn=Vn— 1 +vn)である。例えば、動きべタトル VIは、 1回目の勾配法演算により算出された動きベクトル vlに、オフセットべクトル（初期ベクトル VO)が加算されたもの（VI =VO+vl)である。

[0235] ステップ S406において、ベクトル評価部 104は、勾配法演算処理により求められた動きベクトル Vnの評価値 DFD (n)と、オフセットベクトルとして用いられた動きべタトル Vn— 1の評価値 DFD (n- 1)を求め、評価値 DFD (n— 1)よりも評価値 DFD (n) 力 S小さいか否力、すなわち、オフセットベクトルとして用いられた動きベクトル Vn—lよりも勾配法演算処理により求められた動きベクトル Vnの信頼度が高いか否かを判断する。具体的には、例えば、 1回目の処理においては、求められた動きベクトル VIの評価値 DFD (l)と、オフセットベクトルとして用いられた初期ベクトル VOの評価値 DF D (0)が比較され、 2回目の処理においては、求められた動きベクトル V2の評価値 D FD (2)と、オフセットベクトルとして用いられた動きベクトル VIの評価値 DFD (l)が比較される。

[0236] ベクトル評価部 104は、ステップ S406において、評価値 DFD (n— 1)よりも評価値 DFD (n)が小さいと判断した場合、すなわち、動きベクトル Vn—lよりも動きベクトル Vnの信頼度が高いと判断された場合、ステップ S407において、算出された動きべクトル Vn (l回目の場合、動きベクトル VI、 2回目の場合、動きベクトル V2)を、検出対象ブロックの動きベクトル Vに設定して、ステップ S408に進む。ベクトル評価部 104 は、ステップ S408において、反復回数 nを 1つカウントし、ステップ S409に進み、反復回数 nが設定された最大反復回数 (例えば、 2回）になった力否かを判断し、まだ、反復回数 nが設定された最大反復回数ではな、と判断した場合、セレクタ 402を制御し、ステップ S402〖こ戻り、それ以降の処理を繰り返させる。

[0237] すなわち、ステップ S402において、セレクタ 402は、ベクトル算出部 425から出力され、遅延部 405に保持された動きベクトル VIを、オフセットベクトルとして選択し、ステツプ S403において、時間画素差分算出部 411および画素差分値判定部 412は、動きベクトル VIをオフセットベクトルとして用いて、ブロック単位の有効画素判定処理を実行し、それ以降の処理を繰り返す。したがって、ステップ S405において算出される動きベクトル V2は、 2回目の勾配法演算により算出された動きベクトル v2に、オフセットベクトルとして用いられた動きベクトル VIが加算されたもの（すなわち、 V2=V 1 +v2=V0+vl +v2)となる。

[0238] ベクトル評価部 104は、ステップ S406において、評価値 DFD (n— 1)よりも評価値 DFD (n)が小さくないと判断した場合、すなわち、動きベクトル Vn— 1の方力動きベクトル Vnよりも信頼度が高いと判断した場合、ステップ S410〖こ進み、勾配法演算のオフセットとしたベクトル Vn— 1 (1回目の場合、初期ベクトル VO、 2回目の場合、動きベクトル VI)を、検出対象ブロックの動きベクトル Vに設定して、ステップ S411に進む。また、ベクトル評価部 104は、ステップ S409において、反復回数 nが設定された最大反復回数になったと判断した場合、ステップ S411に進む。

[0239] ベクトル評価部 104は、ステップ S411において、動きベクトル Vが、動きベクトルを検出する範囲として予め設定されたサーチエリア内である力否かを判断し、動きべクトル V力サーチエリア内であると判断した場合、ステップ S415に進み、動きベクトル Vを、検出対象ブロックに対応させて、検出ベクトルメモリ 53に記憶し、反復勾配法処理を終了する。

[0240] また、ベクトル評価部 104は、ステップ S411において、動きベクトル V力サーチェリア内ではないと判断した場合、ステップ S412に進み、動きベクトル Vを 0ベクトルに設定し、ステップ S415に進み、動きベクトル V (0ベクトル）を、検出対象ブロックに対応させて、検出ベクトルメモリ 53に記憶し、反復勾配法処理を終了する。

[0241] 一方、勾配法 «続判定部 414は、ステップ S404において、有効画素数カウンタ 41 3の有効画素数が所定のしきい値 a以下であると判断した場合、ステップ S413に進み、モード選択部 401を制御し、画素単位処理モードを選択させ、ステップ S414に進む。これにより、反復勾配法演算部 103の各部においては、画素単位での処理が実行される。モード選択部 401は、ステップ S414において、画素単位の反復勾配法演算処理を実行し、ステップ S415に進む。この画素単位処理モードの反復勾配法演算処理の詳細は、図 37を参照して後述するが、画素単位処理モードの反復勾配法演算処理により、検出対象ブロック内の全画素の動きベクトル Vが求められるので、ベクトル評価部 104は、ステップ S415において、動きベクトル Vを、検出対象ブロックの各画素に対応させて、検出ベクトルメモリ 53に記憶し、反復勾配法処理を終了する。

[0242] なお、上述したステップ S406においては、動きベクトルの信頼度の評価を、勾配法処理により求められた動きベクトル Vnの評価値 DFD (n)と、オフセットベクトルとして用いられた動きベクトル Vn— 1の評価値 DFD (n— 1)を比較することで判断したが、評価値 DFDの比較判断と同時に、勾配法演算により求められた動きベクトル (オフセットベクトルが加算される前の動きベクトル) vnのノルムの値（ I vn I )が所定の大きさ (演算ブロック 8 X 8の場合、例えば、 16)よりも小さいことも判断するようにしてもよい。

[0243] ここで、ノルムとは、あるベクトル空間におけるベクトルの大きさを表し、例えば、原点（0, 0)を起点とした (X, y)へのベクトル Vのノルムは、次の式（11)で表される。

[0244] [数 3]

•••(ID

[0245] すなわち、勾配法演算においては、一般的に、微小動きに対して、精度の高い結果が得られる力勾配法演算により求められた動きベクトルのノルム値 I vn Iが所定の大きさを超えてしまうと、その大きい動きベクトル vnに対して精度の高い結果が得られているとは限らない。したがって、評価値 DFDと並行して、勾配法演算により求められた動きベクトルのノルム値 I vn Iが所定の大きさを超えたか否かを判断し、ノルム値 I vn Iが所定の大きさを超えた動きベクトルを除外することにより、この勾配法演算においては、微小動きに対しても、大きい動きに対しても、精度の高い結果を得ることができ、さらに動きベクトル検出の精度を向上させることができる。

[0246] なお、この評価値 DFDの判断とノルム値による判断の場合には、ステップ S406において、 I vn I ≤ 16である場合で、かつ、評価値 DFD (n—l) >評価値 DFD (n) である場合には、ステップ S407に進み、 V=Vnに設定され、ステップ S406において、 I vn I > 16である場合で、または、評価値 DFD (n—l)≤評価値 DFD (n)である場合には、ステップ S410に進み、 V=Vn— 1に設定される。

[0247] 次に、図 35のフローチャートを参照して、有効画素判定処理の詳細を説明する。なお、図 35は、図 34のステップ S403の有効画素判定処理の例を示している。

[0248] セレクタ 402から、オフセットベクトルが入力されると、時間画素差分算出部 411は、ステップ S431において、画素差分値判定部 412を制御し、有効画素数カウンタ 413 をリセットさせ、ステップ S432に進み、ブロック単位の演算ブロックにおいて、画素を選択し、ステップ S433に進む。なお、画素は、演算ブロックの左上の画素からラスタスキャン順に選択される。

[0249] 時間画素差分算出部 411は、ステップ S433において、オフセットベクトル、並びに、プリフィルタ 102—1および 102— 2を介して入力される時刻 tの画像のフレーム t、および時刻 t+ 1の画像のフレーム t+ 1を用いて、選択された画素の時間方向の画素差分 Δ tを算出し、算出された時間方向の画素差分 Δ tを画素差分値判定部 412 に出力し、ステップ S434に進む。

[0250] 画素差分値判定部 412は、ステップ S434において、時間画素差分算出部 411により算出された時間方向の画素差分 A tが、所定の画素差分値よりも小さいか否かを判断し、すなわち、後段の勾配法演算に有効な画素である力否かを判断し、時間方向の画素差分 A tが、所定の画素差分値よりも小さいと判断した場合、ステップ S435 に進み、有効画素数カウンタ 413の有効画素の数を 1つカウントし、ステップ S436に進む。また、画素差分値判定部 412は、ステップ S434において、時間方向の画素差分 A tが、所定の画素差分値以上であると判断した場合、すなわち、後段の勾配法演算に有効な画素ではないと判断し、ステップ S435の処理をスキップし、ステップ S 436に進む。

[0251] 時間画素差分算出部 411は、ステップ S436において、演算ブロック内のすべての画素の処理が終了した力否かを判断し、演算ブロック内のすべての画素の処理が終了していないと判断した場合、ステップ S432に戻り、次の画素を選択し、それ以降の処理を繰り返す。一方、時間画素差分算出部 411は、ステップ S436において、演算ブロック内のすべての画素の処理が終了したと判断した場合、有効画素判定処理を終了し、図 34のステップ S404に戻る。

[0252] 以上の処理により、有効画素カウンタ 413には、演算ブロック内において、その画素差分 A tが所定の画素差分値より小さぐ後段の勾配法演算において有効であると判断された画素の数がカウントされている。したがって、勾配法継続判断部 414は、図 34のステップ S404において、この有効画素カウンタ 413の画素の数を参照することにより、ブロック単位の勾配法演算を行うか、画素単位の勾配法演算を行うかを判断することができる。

[0253] 次に、図 36のフローチャートを参照して、ブロック単位の勾配法演算処理の詳細を説明する。なお、図 36は、図 34のステップ S405のブロック単位の勾配法演算処理の例を示している。したがって、図 36の例においては、時間画素差分算出部 421には、勾配法継続判定部 414から、勾配法演算を実行させるフラグ (flg= l)が入力される。

[0254] 勾配法継続判定部 414からフラグ (flg= 1)が入力されると、時間画素差分算出部 4 21は、ステップ S451において、ブロック単位の演算ブロックにおいて、画素を選択し、ステップ S452に進む。なお、画素は、演算ブロックの左上の画素からラスタスキヤン順に選択される。

[0255] 時間画素差分算出部 421は、ステップ S452において、セレクタ 402からのオフセットベクトル、並びに、プリフィルタ 102—1および 102— 2を介して入力される時刻 tの画像のフレーム t、および時刻 t+ 1の画像のフレーム t+ 1を用いて、選択された画素の時間方向の画素差分 Δ tを算出し、算出された時間方向の画素差分 Δ tおよびォフセットベクトルを、画素差分値判定部 422に出力し、ステップ S453に進む。

[0256] 画素差分値判定部 422は、ステップ S453において、時間画素差分算出部 421により算出された時間方向の画素差分 Atが、所定の画素差分値よりも小さいか否かを判断し、すなわち、後段の勾配法演算に有効な画素である力否かを判断し、時間方向の画素差分 Atが、所定の画素差分値よりも小さいと判断した場合、ステップ S454 に進み、垂直水平画素差分算出部 423を制御し、有効であると判断した画素の水平方向の画素差分 Δχを算出させる。なお、画素差分値判定部 422における所定の画素差分値は、画素差分値判定部 412における所定の画素差分値と同じ値であってもよいし、異なる値であってもよい。また、このとき、画素差分値判定部 422は、時間画素差分算出部 421により算出された時間方向の画素差分 Atおよびオフセットべタトルを、垂直水平画素差分算出部 423に出力する。

[0257] 垂直水平画素差分算出部 423は、ステップ S454において、オフセットベクトル、並びに、プリフィルタ 102—1および 102— 2を介して入力される時刻 tの画像のフレーム、および時刻 t+ 1の画像のフレーム t+ 1を用いて、有効であると判断された画素の水平方向の画素差分 Δχを算出し、ステップ S455に進み、有効であると判断された画素の垂直方向の画素差分 Ayを算出し、時間方向の画素差分 At、水平方向の画素差分 Δχ、および垂直方向の画素差分 Ayを、勾配積算部 424に出力し、ステツプ S456に進む。勾配積算部 424は、ステップ S456において、垂直水平画素差分算出部 423からの時間方向の画素差分 At、水平方向の画素差分 Δχ、および垂直方向の画素差分 Ayを積算し、積算した結果をベクトル算出部 425に出力し、ステツプ S457に進む。

[0258] 画素差分値判定部 422は、ステップ S453において、時間方向の画素差分 Atが、所定の画素差分値以上であると判断した場合、ステップ S454乃至 S456の処理をスキップし、ステップ S457に進む。すなわち、この画素の各画素差分 (勾配）は、後段の勾配法演算に有効な画素ではな、ので、演算に用いられな、。

[0259] ステップ S457において、時間画素差分算出部 421は、演算ブロック内のすべての画素の処理が終了した力否かを判断し、演算ブロック内のすべての画素の処理が終了していないと判断した場合、ステップ S451に戻り、次の画素を選択し、それ以降の処理を繰り返す。一方、時間画素差分算出部 421は、ステップ S457において、演算ブロック内のすべての画素の処理が終了したと判断した場合、ベクトル算出部 425にオフセットベクトルを出力し、ステップ S458に進む。ベクトル算出部 425は、時間画素差分算出部 421からオフセットベクトルが入力されると、勾配積算部 424からの勾配の積算結果と、上述した式（9)の最小自乗和を用いて、動きベクトル vnを算出し、ステップ S459に進み、時間画素差分算出部 421からのオフセットベクトルに、算出された動きベクトル vnをカ卩算した、動きベクトル Vnを求めて、求められた動きベクトル V nをベクトル評価部 104に出力し、勾配法演算処理を終了し、図 34のステップ S406 に戻る。

[0260] 以上のように、時間方向の画素差分 A tが、設定された所定の画素差分値以上の場合には、その画素は、動きの乱れを発生させる恐れがあるとして、動きベクトルを検出する際の勾配法の演算力除外するようにしたので、より安定した勾配法演算が実行され、その結果、確からしい動きベクトルが検出され、これにより、動きベクトル検出の精度が向上される。

[0261] 次に、図 37のフローチャートを参照して、画素単位の反復勾配法演算処理の詳細を説明する。図 37は、図 34のステップ S414の画素単位の反復勾配法演算処理の例を示している。なお、この処理は、検出対象ブロック内の各画素について実行される。

[0262] モード選択部 401は、画素単位処理モードを設定すると、ステップ S471〖こおいて、検出対象ブロックの画素を検出対象画素として選択し、その画素の演算ブロック (例えば、 9 X 9)の初期ベクトル VOを、セレクタ 402およびベクトル評価部 104に出力し、ステップ S472に進む。なお、画素は、検出対象ブロックの左上の画素からラスタスキャン順に選択される。ステップ S472において、セレクタ 402は、ベクトル評価部 10 4からの制御に応じて、モード選択部 401から入力された初期ベクトル VOをオフセットベクトルとして選択し、選択したオフセットベクトルを、時間画素差分算出部 411および時間画素差分算出部 421に出力し、ステップ S473に進む。

[0263] ステップ S473において、時間画素差分算出部 411および画素差分値判定部 412 は、選択されたオフセットベクトルを用いて（いまの場合、初期ベクトル VOをオフセットとして）、画素単位の有効画素判定処理を実行し、ステップ S474に進む。この有効画素判定処理の詳細は、図 35を参照して上述したブロック単位の有効画素判定処理と、対象となる演算ブロック (ブロック範囲や、ブロックを構成する画素）が異なる以外、基本的に同様の処理を行うため、その詳細な説明を省略する力この有効画素判定処理により、有効画素数カウンタ 413には、画素単位の演算ブロック内において、画素差分値が所定の画素差分値よりも小さいと判定された (すなわち、後段の勾配法演算で有効な画素であると判定された)画素の数がカウントされている。なお、画素単位の有効画素判定を行う所定の画素差分値は、ブロック単位の場合と同じ値としてもよいし、異なる値を設定するようにしてもよい。

[0264] 勾配法 «続判定部 414は、ステップ S474において、有効画素数カウンタ 413に力ゥントされて、る画素数 (有効画素数)が所定のしき、値 |8より多、か否かを判断し、有効画素数が所定のしきい値 ι8より多いと判断した場合、勾配法演算部 404に、勾配法演算を実行させるフラグ (flg= l)を出力し、ステップ S475に進む。なお、しきい値 j8も、ブロック単位の場合のしき、値 aと同じ値としてもよ!、し、異なる値を設定するようにしてちょい。

[0265] ステップ S475において、勾配法演算部 404は、勾配法継続判定部 414からのフラグに基づいて、セレクタ 402からのオフセットベクトル（初期ベクトル VO)を用いて、画素単位の勾配法演算処理を実行し、ステップ S476に進む。この勾配法演算処理の詳細は、図 36を参照して上述したブロック単位の勾配法演算処理と、対象となる演算ブロック (範囲や、ブロックを構成する画素）が異なる以外、基本的に同様の処理を行うため、その詳細な説明を省略するが、この勾配法演算処理により、検出対象画素の動きベクトル Vnが求められ、ベクトル評価部 104および遅延部 405に出力される。なお、動きベクトル Vnは、 1回目の勾配法演算により求められた動きベクトル vnに、オフセットベクトルが加算されたもの（Vn= Vn— 1 +vn)となる。

[0266] ステップ S476において、ベクトル評価部 104は、勾配法処理により算出された動きベクトル Vnの評価値 DFD (n)と、オフセットとして用いられた動きベクトル Vn— 1の評価値 DFD (n— 1)を求め、評価値 DFD (n— 1)よりも評価値 DFD (n)が小さ!/、か否力すなわち、オフセットとして用いられた動きベクトル Vn— 1よりも勾配法処理により算出された動きベクトル Vnの信頼度が高いか否かを判断する。

[0267] ベクトル評価部 104は、ステップ S476において、評価値 DFD (n— 1)よりも評価値 DFD (n)が小さいと判断された場合、すなわち、動きベクトル Vn—lよりも動きべタトル Vnの信頼度が高いと判断された場合、ステップ S477において、算出された動きベクトル Vn(l回目の場合、動きベクトル VI、 2回目の場合、動きベクトル V2)を、検出対象画素の動きベクトル Vに設定して、ステップ S478〖こ進む。ベクトル評価部 104 は、ステップ S478において、反復回数 nを 1つカウントし、ステップ S479に進み、反復回数 nが設定された最大反復回数 (例えば、 2回）になった力否かを判断し、まだ、反復回数 nが設定された最大反復回数ではな、と判断した場合、セレクタ 402を制御し、ステップ S472に戻り、それ以降の処理を繰り返させる。

[0268] すなわち、ステップ S472において、セレクタ 402は、ベクトル算出部 425から出力され遅延部 405に保持された動きベクトル VIを、オフセットベクトルとして選択し、ステップ S473において、時間画素差分算出部 411および画素差分値判定部 412は、ォフセットベクトルである動きベクトル VIをオフセットして、画素単位の有効画素判定処理を実行し、それ以降の処理を繰り返す。したがって、ステップ S475において求められる動きベクトル V2は、 2回目の勾配法演算により算出された動きベクトル v2に、ォフセットとなる動きベクトル VIが加算されたもの（すなわち、 V2= VO+vl +v2)である。

[0269] ベクトル評価部 104は、ステップ S476において、評価値 DFD (n— 1)よりも評価値 DFD (n)が大きいと判断した場合、すなわち、動きベクトル Vn— 1の方力動きべタトル Vnよりも信頼度が高いと判断された場合、ステップ S480に進み、勾配法演算のォフセットとしたベクトル Vn— 1 (1回目の場合、初期ベクトル VO、 2回目の場合、動きべタトル VI)を、検出対象ブロックの動きベクトル Vに設定して、ステップ S481に進む。また、ベクトル評価部 104は、ステップ S479において、反復回数 nが設定された最大反復回数になったと判断した場合、ステップ S481に進む。

[0270] ベクトル評価部 104は、ステップ S481において、動きベクトル Vが、動きベクトルを検出する範囲として予め設定されたサーチエリア内である力否かを判断し、動きべクトル V力サーチエリア内であると判断した場合、ステップ S483に進む。また、ベタトル評価部 104は、ステップ S481において、動きベクトル V力サーチエリア内であると判断しな力つた場合、ステップ S482に進み、動きベクトル Vを 0ベクトルに設定し、ステップ S483に進む。

[0271] 一方、ステップ S474において、勾配法 «続判定部 414は、有効画素数カウンタ 41 3の有効画素数が所定のしき、値 βより少な、と判断した場合、勾配法演算部 404 に勾配法演算を打ち切るフラグ (flg=0)を出力し、ステップ S482に進む。時間画素差分算出部 421は、フラグに基づいて、ベクトル算出部 425を制御し、動きベクトル V を 0ベクトルに設定させ、ステップ S483〖こ進む。

[0272] モード選択部 401は、ステップ S483において、検出対象ブロック内のすべての画素の処理が終了した力否かを判断し、検出対象ブロック内のすべての画素の処理が終了していないと判断した場合、ステップ S471に戻り、検出対象ブロックの次の画素を、検出対象画素として、それ以降の処理を繰り返す。モード選択部 401は、ステツプ S483において、検出対象ブロック内のすべての画素の処理が終了したと判断した場合、画素単位の反復勾配法演算処理を終了し、図 34のステップ S415に戻る。すなわち、画素単位の反復勾配法演算処理により、検出対象ブロック内すベての画素について動きベクトル Vが求められるので、図 34のステップ S415〖こ戻り、ベクトル評価部 104は、動きベクトル Vを、検出対象ブロックの各画素に対応させて、検出べタトルメモリ 53に記憶し、反復勾配法処理を終了する。

[0273] なお、ステップ S476の動きベクトルの信頼度の評価も、ステップ S406の場合と同様に、評価値 DFDの判断とノルム値による判断を併用するようにしてもよい。

[0274] 以上のように、演算ブロック内の画素差分が所定の画素差分値よりも小さ!/、画素のみ勾配法演算に用いるようにすることで、異なる動きを有する画素を演算対象力除くことができ、勾配法演算により求められる動きベクトルの確からしさが向上し、動きべタトル検出の精度が向上する。

[0275] また、演算ブロック内の画素差分が所定の画素差分値よりも大きぐ勾配法演算に用いられない画素数力所定のしきい値よりも多力つた場合に、適応的に、勾配法演算の処理を制御するようにしたので、特に、オブジェクトの動きの境界などにおいて、さらに、動きベクトル検出の精度を向上させることができ、その結果、求められる動きベクトルもより確からしいものとすることができる。

[0276] 具体的には、演算ブロック内の画素差分が所定の画素差分値よりも大きぐ勾配法演算に用いられない画素数力所定のしきい値よりも多力つた場合に、ブロック単位モードから画素単位モードに変更し、検出対象ブロックの画素毎に演算ブロックを設定し、有効判定処理および勾配法演算処理を行うようにしたので、画素によっては、より高精度な動きベクトルを検出することができる。また、演算ブロック内の画素差分が所定の画素差分値よりも大きぐ勾配法演算に用いられない画素数が、所定のしきい値よりも多力つた場合に、勾配法演算処理の処理を打ち切り、 0ベクトルとするようにしたので、暴れた動きベクトルの検出を抑制し、より安全な動きベクトルを検出することができる。

[0277] 次に、ベクトル割付部 54の構成の詳細について説明する。

[0278] 図 38は、ベクトル割付部 54の構成を示すブロック図である。図 38に構成を示すベタトル割付部 54は、 24P信号の入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、フレーム t上において検出された動きベクトルを、割付ベクトルメモリ 55上の、補間する 60P信号の内挿フレーム上の画素に割り付ける処理を行う。

[0279] 図 38の例において、時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1 は、画素情報演算部 701、評価値演算部 702、および着目画素差分演算部 703に入力される。

[0280] 画素情報演算部 701は、検出ベクトルメモリ 53のフレーム t上の画素に検出された動きベクトルを、左上の画素からラスタスキャン順に取得し、取得した動きベクトルを、次の時刻のフレーム t+ 1方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出する。そして、画素情報演算部 701は、算出された動きべ外ルと内挿フレームとの交点から、内挿フレーム上において、その動きベクトルの割付対象となる画素（以下、割付対象画素と称する）を設定し、動きベクトルおよび割付対象画素の位置の情報を、ベクトル選択部 705に出力する。また、画像情報演算部 701は、割付対象画素と、動きベクトルで対応付けられるフレーム tの位置 Pおよびフレーム t+ 1上の位置 Qを算出し、算出されたフレーム tおよびフレーム t+ 1上の位置情報を、評価値演算部 702、および着目画素差分演算部 703に出力する。

[0281] 評価値演算部 702は、画素情報演算部 701から、割付対象画素と、動きベクトルで対応付けられるフレーム tおよびフレーム t+ 1上の位置情報を入力すると、フレーム t の位置 Pおよびフレーム t+ 1の位置 Qの評価値 DFDを演算するため、位置 Pおよび位置 Qを中心とした一定範囲の DFD演算範囲 (m X n)をそれぞれ設定し、それらの DFD演算範囲が画枠内にある力否かを判断する。評価値演算部 702は、 DFD演算範囲が画枠内にあると判断した場合、この DFD演算範囲を用いて演算することにより、動きベクトルに対する割付対象画素の評価値 DFDを求め、求めた評価値 DFDを、ベクトル評価部 704に出力する。

[0282] 着目画素差分演算部 703は、画素情報演算部 701から、割付対象画素と、動きべタトルで対応付けられるフレーム tおよびフレーム t+ 1上の位置情報を入力すると、フレーム tの位置 Pおよびフレーム t+ 1の位置 Qを用いて、割付対象画素に対する輝度差分絶対値を求め、求めた輝度差分絶対値を、ベクトル評価部 704に出力する。

[0283] ベクトル評価部 704は、画素差分判断部 711および評価値判断部 712により構成される。画素差分判断部 711は、着目画素差分演算部 703から入力された割付対象画素に対する輝度差分絶対値が所定のしきい値よりも小さいか否かを判断する。評価値判断部 712は、画素差分判断部 711により着目画素差分演算部 703から入力された割付対象画素に対する輝度差分絶対値が所定のしきい値よりも小さいと判断された場合に、評価値演算部 702から入力された割付対象画素の評価値 DFDが、ベクトル選択部 705が有する DFDテーブルの最小評価値より小さいか否かを判断する。そして、評価値判断部 712は、割付対象画素の評価値 DFDが、 DFDテーブルの最小評価値より小さいと判断した場合に、割付対象画素が対応する動きベクトルの信頼度が高いと判断し、ベクトル選択部 705に、割付対象画素の評価値 DFDを出力する。

[0284] ベクトル選択部 705は、内挿フレーム上の各画素における最小評価値を保持する DFDテーブルを有しており、内挿フレーム上の各画素に対して、 0ベクトルを割り付けた場合の評価値 DFDOを、内挿フレーム上の各画素における最小評価値として D FDテーブルに予め保持している。ベクトル選択部 705は、ベクトル評価部 704からの割付対象画素の評価値 DFDを入力すると、画素情報演算部 701からの割付対象画素の位置の情報に基づいて、割付フラグメモリ 56のフラグを l(true)に書き換え、割付対象画素の DFDテーブルの最小評価値を、その割付対象画素の評価値 DFDに書き換える。また、ベクトル選択部 705は、画素情報演算部 701からの割付対象画素の位置の情報に基づいて、割付ベクトルメモリ 55の割付対象画素に、画素情報演算部 701からの動きベクトルを割り付ける。

[0285] 次に、動きベクトルの画素以下精度を説明する。上述した式（1)で表される DFD評価の演算においては、フレーム tの画素位置 pをベクトル V量分ずらした先のフレーム t + l上の位相p+vは、実際には、 24p信号のフレーム t+ 1上の画素位置と一致しない場合が多ぐその場合の輝度値は定義されていない。したがって、画素以下精度を有する動きベクトル Vに対する評価値 DFDの演算を行うためには、画素以下の位相における輝度値を何らかの方法で生成しなければならな!/、。

[0286] これに対応して、フレーム tの画素位置 pをベクトル V量分ずらした先のフレーム t+ 1 上の位相 p+vに最も近い画素の輝度値をそのまま用いる方法がある。しかしながら、この方法では、評価する動きベクトルの画素以下成分を丸めてしまうため、動きべタトルの画素以下成分を捨てていることになり、これにより求められた評価値 DFDの信頼度は、低くなつてしまう。

[0287] そこで、本発明においては、周辺 4画素の輝度値による 4点補間処理を用いている。図 39は、本発明の 4点補間処理の概念を示す図である。図 39においては、矢印 X 力フレーム t+ 1における水平方向を示しており、矢印 Yが、フレーム t+ 1における垂直方向を示している。このフレーム t+ 1において、白丸は、フレーム t+ 1上の画素位置を表しており、黒点は、画素以下の位置を表している。また、フレーム t+ 1上における最左上の黒点 p+vとその周辺 4画素は、ウィンドウ Eに拡大して示されている。ウィンドウ Eにおいて、白丸内のアルファベットは、周辺 4画素の輝度値を示している

[0288] このフレーム t+ 1における最左上の黒点 p+v力フレーム tの画素位置 pをベクトル V量分ずらした先の位相 p+vとすると、位相 p+vの輝度値 F (p+v)は、位相 p+v

t+1

の水平方向の画素以下成分 αおよび垂直方向の画素以下成分 β、並びに、位相 ρ + Vの周辺 4画素の輝度値 LO乃至 L4を用いて、周辺 4画素の距離の逆比の和で求められる。すなわち、輝度値 F (p+v)は、次の式（12)で表される。

t+l

[0289] F (p+v) = (1— α ) (1— j8 ) LO+ α (1— j8 ) Ll

t+l

+ (1— a ) j8 L2+ a j8 L3 · · · (12)

[0290] 以上のように、 4点補間処理により求められる輝度値 F (p+v)を用いて、 DFD評

t+l

価の演算を行うことにより、ハードウェア実装上のコストを引き上げることなぐ評価値

DFDの信頼度の低下を抑制することができる。なお、以下においては、ベクトル割付の際の評価値 DFDや輝度差分絶対値などの演算において、この 4点補間を適用した例を説明する力もちろん、上述した初期ベクトル選択処理やベクトル検出処理、または、後述する割付補償処理などのベクトルを評価する場合の評価値 DFDの演算においても、この 4点補間は適用される。

[0291] 次に、ベクトル割付処理の概念を説明する。例えば、 24P信号上でオブジェクトが速度 Vで動いており、任意の 2フレーム間で、このオブジェクトの動きについて等速仮定が成り立つと仮定した場合に、 24P信号のフレーム間に、新しくフレームを内挿することを考える。この場合、 24P信号のオブジェクトから動きベクトル Vを延ばすと、動きベクトル Vと内挿フレームとの交点は、同じオブジェクトであり、同じ速度 Vを有する。

[0292] したがって、ベクトル検出部 53で検出された 24P信号のフレーム（以下、内揷フレームに対して、元フレームとも称する）の動きベクトルを、その動きベクトルと、内挿する 60P信号の内挿フレーム上との交点に割り付けることで、内挿フレーム上の各画素の動きを求めることができる。また、逆に、割り付けられた動きベクトルから、内挿フレーム上の画素が 24P信号フレーム上でどの位置から動いたものなのかを求めることができる。

[0293] 図 40は、 24P信号の元フレームで検出された動きベクトルと、 60P信号の内揷フレーム上の画素の例を 1次元で示している。図 40の例においては、 2つの 24P信号の時刻 tのフレーム tおよび時刻 t+ 1のフレーム t+ 1の間に、例えば、時刻 t+0. 4の内挿フレーム Fl、および時刻 t+0. 8の内挿フレーム F2が 2つ挿入されている。なお、この内挿フレームの位置は、上述したように、 24P信号上での時間位相が 0. 0, 0. 4, 0. 8, 1. 2,および 1. 6となる位置に、 60P信号のフレーム力 S置力れること力ら、信号処理装置 1にお!、て予め設定されて!、る。

[0294] 各フレーム上の丸は、各画素を示している。前段のベクトル検出部 52によりフレーム tにおいて検出された動きベクトル vl、 v2、および v3が、フレーム t+ 1方向に延ばされている。これらの動きベクトルを内挿フレーム F1および F2の各画素に割り付ける場合、内挿フレーム上の各画素の近傍を通る動きベクトルは、その画素に割り付けられる候補ベクトル (以下、割付候補ベクトルとも称する）とされる。

[0295] したがって、フレーム tの左側の画素から、フレーム t+ 1の左から 4, 5番目の画素近傍への動きベクトル vlは、内挿フレーム F1上の左から 2番目と 3番目の画素の間、内挿フレーム F2上の左から 3番目と 4番目の画素の間を通っている。したがって、動きベクトル vlは、動きベクトル vlが内挿フレーム F1および F2を交差する点の近傍 N 1に含まれる画素（内挿フレーム F1の左から 2番目と 3番目の画素および内挿フレーム F2の左から 3番目と 4番目の画素）に割り付けられる割付候補ベクトルとなる。

[0296] また、フレーム tの左から 3番目の画素から、フレーム t+ 1の左から 2, 3番目の画素近傍への動きベクトル v2は、内挿フレーム F1上の左から 2番目と 3番目の画素の間、内挿フレーム F2上の左から 2番目と 3番目の画素の間を通っている。したがって、動きベクトル v2は、動きベクトル v2が内挿フレーム F1および F2を交差する点の近傍領域 N2に含まれる画素（内挿フレーム F1の左から 2番目と 3番目の画素および内揷フレーム F2の左から 2番目と 3番目の画素）に割り付けられる割付候補ベクトルとなる。

[0297] さらに、フレーム tの左から 5番目の画素から、フレーム t+ 1の左から 4, 5番目の画素近傍への動きベクトル v3は、内挿フレーム F1上の左から 4番目と 5番目の画素の間、内挿フレーム F2上の左力も 4番目と 5番目の画素の間を通っている。したがって、動きベクトル v3は、動きベクトル v3が内挿フレーム F1および F2を交差する点の近傍領域 N3に含まれる画素（内挿フレーム F1の左から 4番目と 5番目の画素および内挿フレーム F2の左から 4番目と 5番目の画素）に割り付けられる割付候補ベクトルとなる。

[0298] すなわち、内挿フレーム F2の左から 2番目の画素の割付候補ベクトルは、動きべクトル v2であり、内挿フレーム F1上の左から 2番目および 3番目の画素、並びに内揷フレーム F2の左から 3番目の画素の割付候補ベクトルは、動きベクトル vlおよび v2である。また、内挿フレーム F2の左力 4番目の画素の割付候補ベクトルは、動きべタトル vlおよび v3であり、内挿フレーム F1上の左から 4番目および 5番目の画素、並びに内挿フレーム F2の左から 5番目の画素の割付候補ベクトルは、動きベクトル v3である。

[0299] 以上のように、元フレームにおいて検出された動きベクトルの中から、内挿フレーム上の各画素に割り付けられる割付候補ベクトルが求められる。なお、内挿フレーム F1 および F2の左端の画素および右端の画素（図中黒丸）においては、近傍を通る動きベクトルは、示されていない。すなわち、内挿フレーム F1および F2の左端の画素および右端の画素には、割り付けられる割付候補ベクトルが存在しない。したがって、これらの画素については、後述する後段の割付補償部 57において割付補償処理が実行される。

[0300] さらに、図 41を参照して、元フレームで検出された動きベクトルと、 60P信号の内挿フレーム上の画素について詳しく説明する。図 41の例において、矢印 Tは、図中、左前の時刻 tのフレーム tから、右奥の時刻 t+ 1のフレーム t+ 1への時間の経過方向を示している。また、時刻 tと時刻 t+ 1の間の時刻 t+posに内挿フレーム F1が置かれ

t

ている。

[0301] 図 41の例の場合、フレーム t上の画素（X , y )で検出された動きベクトル v (x , y

a a a va va

)をフレーム t+ 1方向に延ばし、内挿フレーム Flとの交点 (x , y )を演算する。交点は、 24P信号のフレーム t上の動きベクトル Vの端点にあたる画素が移動した点であ

a

ると考えられるので、具体的には、式（13)および式（14)のように表される。

[0302] X = X +pos x · · · (13)

ia a t va

y = y +pos y · · · (14)

ia a t va

[0303] ここで、上述したように、動きベクトル vが画素以下精度を有する場合には、動きべ

a タトル vの交点と、内挿フレーム F1上の画素位置は、一致するとは限らない。一致し a

ない場合、図 41に示されるように、動きベクトル Vは、内挿フレーム F1上の交点の近 a

傍 4画素 Gl乃至 G4に対して割り付けられる。すなわち、動きベクトル Vは、近傍の各 a

画素 Gl乃至 G4上にシフト（平行移動）されて、それぞれの画素に対して割り付けられる割付候補ベクトルとされ、割付補償処理が実行される。

[0304] なお、このように、 1つの動きベクトル力近傍 4画素に対して割り付けられる候補となることもあるため、画素によっては、複数の動きベクトルが割付候補ベクトルとされる。この場合、ベクトル割付部 54は、各動きベクトルについて、内挿フレーム上の画素と、その動きベクトルで対応付けられる元フレーム上の交点を算出し、その交点を用いて、各動きベクトルを評価することにより、最終的に、内挿フレーム上の画素に、割り付ける動きベクトルを決定する。

[0305] 図 42を参照して、ベクトル割付部 54における動きベクトルの評価について説明する。図 42は、下から、図 41の時刻 tのフレーム t、時刻 t+posの内挿フレーム Fl、お t

よび、時刻 t+ 1のフレーム t+ 1を、 1次元的に示している。

[0306] 図 42の例において、動きベクトル svは、フレーム t上の画素（X , y )において検出された動きベクトル V力近傍の画素 G4の割付候補ベクトルとして、画素 G4上にシ a

フト（平行移動）されたものである。ここで、画素 G4上にシフトされた動きベクトル sv aと

、フレーム tおよびフレーム t+ 1との交点を、それぞれ点 Pおよび点 Qとする。

[0307] ベクトル割付部 54は、動きベクトル svの第 1の評価として、まず、点 Pおよび点 Qを a

中心とした DFD演算範囲をそれぞれ求め、求めた DFD演算範囲が画枠をはみ出してしまうか否かを判断する。したがって、点 Pおよび点 Qを中心とした DFD演算範囲が画枠をはみ出てしまった場合には、動きベクトル svは、候補から除外される。

a

[0308] また、この点 Pおよび点 Qが、例えば、異なるオブジェクトに属する場合、点 Pの輝度値 F (P)と、点 Qの輝度値 F (Q)の差は、大きくなつてしまう。したがって、ベクトル割 t t+1

付部 54は、動きベクトル svの第 2の評価として、点 Pと点 Qを用いて、画素 G4におけ a

る輝度差分絶対値 dpを求め、輝度差分絶対値 dpが所定の値より大きいか否かを判断する。輝度差分絶対値 dpが所定の値より大きいと判断された場合には、画素 G4 における動きベクトル svの信頼度が低いとされ、動きベクトル svは、候補から除外さ a a れる。なお、輝度差分絶対値 dpは、次の式（15)で表される。

[0309] dp = I F (P)— F (Q)

t t+1 I · ' · (15)

[0310] そして、動きベクトル svの第 3の評価として、ベクトル割付部 54は、点 Pおよび点 Q a

を中心とした DFD演算範囲の相関値を表す差分絶対値による評価判断を行う。すなわち、ベクトル割付部 54は、点 Pおよび点 Qを中心とした DFD演算範囲を用いて、画素 G4における動きベクトル svの評価値 DFD (差分絶対値)を求め、求められた評価 a

値 DFDが DFDテーブルの最小評価値よりも小さ、か否かを判断する。以上の評価の結果、ベクトル割付部 54は、求められた評価値 DFDの中で最小の評価値 DFDを有する動きベクトルを、画素 G4に割り付ける。

[0311] 以上のように、内挿フレームの画素における割付候補の動きベクトルを、割付対象画素の評価値 DFDだけでなぐ割付対象画素における輝度差分絶対値を用いて評価するようにしたので、従来の評価値 DFDを用いるだけの場合よりも、確力もしい動きベクトルを、割付対象画素に割り付けることができる。この結果、ベクトル割付の精度が向上する。

[0312] なお、上述したように内挿フレームの画素における割付候補の動きベクトルを評価するためには、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が用いられる力輝度差分絶対値 dpおよび評価値 DFDを求める際に、割付候補の動きベクトルは、内挿フレームの画素位置を基準に延長するため、動きベクトルと元フレーム上の交点は、元フレームの画素位置と一致しな、ことがあり、このままでは画素値を求めることができない。このような場合に、図 39を参照して上述した 4点補間処理が実行される。

[0313] 図 43は、ベクトル割付処理における 4点補間の例を示している。図 43において、図 41および図 42における場合と対応する部分には対応する符号を付してあり、その説明は繰り返しになるので省略する。

[0314] 図 43の例においては、割付候補の動きベクトル svは、内挿フレーム F1の画素位 a

置 G4を基準に延長されているため、動きベクトル svとフレーム tとの交点 Pは、フレー a

ム t上の画素位置（フレーム t上の白丸）と一致しておらず、また、動きベクトル SVとフ a レーム t+ 1との交点 Qも、フレーム t+ 1上の画素位置（フレーム t上の白丸）と一致していない。したがって、フレーム tおよびフレーム t+ 1においては、それぞれ交点 Pおよび交点 Qを中心とした近傍 Eの 4画素（フレーム tおよびフレーム t+ 1上の白丸）を用いて、上述した 4点補間演算が行なわれ、交点 Pおよび交点 Qの画素値が求められる。

[0315] このように、本発明のベクトル割付処理においては、 4点補間処理により求められる交点 Pおよび交点 Qの画素値が用いられて、輝度差分絶対値 dpおよび評価値 DFD が演算されるので、従来の画素以下成分を丸めてしまう方法よりも、輝度差分絶対値 dpや評価値 DFDを精度よく求めることができる。

[0316] 次に、図 44のフローチャートを参照して、ベクトル割付処理の詳細を説明する。 24 P信号の元フレームである、時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1は、画素情報演算部 701、評価値演算部 702、および着目画素差分演算部 70 3に入力される。

[0317] 画素情報演算部 701は、新しい元フレームが入力されると、ベクトル選択部 705を制御し、ステップ S701において、割付フラグメモリ 56の割付フラグを O(False)で初期化させ、ステップ S702に進み、割付ベクトルメモリ 55を 0ベクトルで初期化させ、ステップ S703に進む。これにより、結果的に、動きベクトルが割り付けられない画素に、 0 ベクトルが割り付けられる。

[0318] また、画素情報演算部 701は、ステップ S703において、評価値演算部 702を制御し、内挿フレーム上のすべての画素に対して、 0ベクトルを用いて評価値 DFD0を算出させ、ベクトル選択部 705を制御し、評価値演算部 702により算出された 0ベクトルの評価値 DFD0を、内挿フレームの各画素に対する最小評価値として DFDテープルに記憶させ、ステップ S704に進む。すなわち、ステップ S703において、評価値演算部 702は、内挿フレームすべての画素に対して、 0ベクトルを用いて評価値 DFD0 を算出し、算出した評価値 DFD0を、ベクトル評価部 704を介して、ベクトル選択部 7 05に出力する。そして、ベクトル選択部 705は、ベクトル評価部 704を介して入力された評価値 DFD0を、 DFDテーブルの対応する画素の最小評価値として記憶する

[0319] 画素情報演算部 701は、ステップ S704において、検出ベクトルメモリ 53上の元フレームから画素を選択し、ステップ S705〖こ進む。なお、この場合、フレームの左上からラスタスキャン順に画素が選択される。

[0320] 画素情報演算部 701は、ステップ S705において、画素位置演算処理を実行し、ステツプ S706に進む。この画素位置演算処理の詳細は、図 45を参照して後述するが、この画素位置演算処理により、ステップ S704において選択された画素において検出された動きベクトルが割り付けられる対象となる内挿フレーム上の割付対象画素が算出され、算出された割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が算出される。

[0321] 画素情報演算部 701は、ステップ S706において、算出された割付対象画素を選択し、選択した割付対象画素と、その動きベクトルを、ベクトル選択部 705に出力し、ステップ S707に進む。このとき、同時に、画素情報演算部 701は、選択した割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置の情報を、評価値演算部 702および着目画素演算部 703に出力する。なお、ステップ S706において、画素情報演算部 701は、割付対象画素が複数存在する場合には、左上の画素から選択する。

[0322] ステップ S707において、画素情報演算部 701は、選択された割付対象画素に関して、割付ベクトル評価処理を実行し、ステップ S708に進む。この割付ベクトル評価処理の詳細は、図 46を参照して後述する力この割付ベクトル評価処理により、割付対象画素における動きベクトルの評価値 DFDおよび輝度差分絶対値が求められ、割付対象画素における動きベクトルの信頼度が判断され、これらの判断の結果、信頼度が高いとされた動きベクトルで、割付ベクトルメモリ 55の動きベクトルが書き換えられる。

[0323] 画素情報演算部 701は、ステップ S708において、すべての割付対象画素の処理が終了した力否かを判断し、まだ、すべての割付対象画素の処理が終了していないと判断した場合には、ステップ S706に戻り、次の割付対象画素を選択し、それ以降の処理を繰り返す。

[0324] ステップ S708において、すべての割付対象画素の処理が終了したと判断された場合、画素情報演算部 701は、ステップ S709において、検出ベクトルメモリ 53上の元フレームのすべての画素の処理を終了した力否かを判断する。画素情報演算部 701 は、ステップ S709において、検出ベクトルメモリ 53上の元フレームのすべての画素の処理を終了していないと判断した場合、ステップ S704に戻り、検出ベクトルメモリ 5 3上の元フレームの次の画素を選択し、それ以降の処理を繰り返す。また、画素情報演算部 701は、ステップ S709において、検出ベクトルメモリ 53のすベての画素につ V、ての処理を終了したと判断した場合、ベクトル割付処理を終了する。

[0325] 次に、図 45のフローチャートを参照して、画素位置演算処理の詳細を説明する。なお、図 45は、図 44のステップ S705の画素位置演算処理の例を示している。

[0326] ステップ S721において、画素情報演算部 701は、ステップ S704の処理により選択された画素で検出された動きベクトルを、検出メモリベクトル 53から取得し、ステップ S 722に進む。なお、選択された画素の動きベクトル力^ベクトルである場合、割付べクトルメモリ 55には、初期値として 0ベクトルが予め記憶されているので、以降のステツプ S722乃至 S724、および、図 44のステップ S706乃至 S708の処理はスキップされ、処理 ίま、ステップ S 709に進む。

[0327] 画素情報演算部 701は、ステップ S722において、取得された動きベクトルと内挿フレームの交点を算出する。すなわち、画素情報演算部 701は、取得した動きベクトルを、次フレーム t+ 1方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出し、ステップ S723〖こ進む。

[0328] 画素情報演算部 701は、ステップ S723において、動きベクトルと内挿フレームから算出された交点から、割付対象画素を設定し、ステップ S724に進む。このとき、画素情報演算部 701は、交点が内挿フレーム上の画素位置に一致する場合には、交点を、割付対象画素に設定する。一方、画素情報演算部 701は、交点が内挿フレーム上の画素位置に一致しない場合には、上述したように、内挿フレーム上の交点の近傍 4画素を、割付対象画素に設定する。

[0329] ステップ S724において、画素情報演算部 701は、評価値演算部 702および着目画素差分演算部 703が評価値 DFDおよび輝度差分絶対値を求める上で必要である、各割付対象画素を基準に、取得された動きベクトルで対応付けた元フレーム上の位置を算出する。具体的には、画素情報演算部 701は、ステップ S724において、取得された動きベクトルを、設定された割付対象画素にシフト (平行移動)し、シフトされた動きベクトルと、元フレーム上の交点の位置を求め、画素位置演算処理を終了し、図 43のステップ S706に戻る。

[0330] 次に、図 46のフローチャートを参照して、割付ベクトル評価処理の詳細を説明する。なお、図 46は、図 44のステップ S 707の割付ベクトル評価処理の例を示している。

[0331] 図 44のステップ S706において、画素情報演算部 701により、選択した割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が求められ、求められた元フレーム上の位置の情報が、評価値演算部 702および着目画素差分演算部 703に入力される。

[0332] 評価値演算部 702は、画素情報演算部 701から、元フレーム上の位置の情報が入力されると、ステップ S741において、割付対象画素における動きベクトルの評価値 D FDを求めるために、フレーム tおよびフレーム t+ 1上の位置を中心とした DFD演算範囲（m X n)をそれぞれ求め、ステップ S742に進み、求められた DFD演算範囲が画枠内にある力否かを判断する。評価値演算部 702は、ステップ S742において、 D FD演算範囲が画枠からはみ出していると判断した場合、その動きベクトルは、割付対象画素に割り付ける割付候補ベクトルにはならな、と判断し、ステップ S743乃至 S 749の処理をスキップし、割付ベクトル評価処理を終了し、図 44のステップ S708に戻る。

[0333] 評価値演算部 702は、ステップ S742において、求められた DFD演算範囲が画枠内にあると判断した場合、ステップ S743に進み、画枠内にあると判断された DFD演算範囲を用いて、割付対象画素の評価値 DFDを演算し、求められた評価値 DFDを、評価値判断部 712に出力し、ステップ S744に進む。なお、このとき、元フレーム上の位置が画素以下であった場合には、上述した 4点補間を用いて、元フレーム上の交点の輝度値を求めることにより、割付対象画素の評価値 DFDが演算される。

[0334] 一方、着目画素差分演算部 703は、画素情報演算部 701から、元フレーム上の位置の情報が入力されると、ステップ S744において、割付対象画素における輝度差分絶対値 dpを求め、求められた輝度差分絶対値 dpを、画素差分判断部 711に出力し、ステップ S745に進む。なお、このときも、元フレーム上の位置が画素以下であった場合には、着目画素差分演算部 703は、上述した 4点補間を用いて、元フレーム上の交点の輝度値を求めることにより、割付対象画素における輝度差分絶対値 dpを演算する。

[0335] 画素差分判断部 711は、ステップ S745において、着目画素差分演算部 703からの割付対象画素の輝度差分絶対値 dpが、所定のしき!/、値以下であるカゝ否かを判断し、割付対象画素の輝度差分絶対値 dpが、所定のしきい値より大きいと判断した場合、フレーム tおよびフレーム t+ 1の交点がそれぞれ異なるオブジェクトに属する可能性が高いと判断し、すなわち、その動きベクトルは、割付対象画素における信頼度が低ぐ割付対象画素に割り付ける割付候補ベクトルにはならないと判断し、ステップ S746乃至 S749の処理をスキップし、割付ベクトル評価処理を終了し、図 44のステップ S 708に戻る。

[0336] 画素差分判断部 711は、ステップ S745において、割付対象画素の輝度差分絶対値 dp力所定のしきい値以下であると判断した場合、ステップ S746に進む。評価値判断部 712は、ステップ S746において、ベクトル選択部 705の DFDテーブルを参照し、評価値演算部 702からの割付対象画素の評価値 DFDが、 DFDテーブルに記憶されて、る割付対象画素の最小評価値 ( 、まの場合、 0ベクトルの評価値 DFDO) よりも小さいか否かを判断し、評価値演算部 702からの割付対象画素の評価値 DFD 力 DFDテーブルに記憶されて、る割付対象画素の最小評価値以上であると判断した場合、その動きベクトルは、割付対象画素において、信頼度が高くないと判断し、ステップ S747乃至 S749の処理をスキップし、割付ベクトル評価処理を終了し、図 44のステップ S 708に戻る。

[0337] 一方、評価値判断部 712は、ステップ S746において、評価値演算部 702からの割付対象画素の評価値 DFDが、 DFDテーブルに記憶されて、る割付対象画素の最小評価値よりも小さいと判断した場合、その動きベクトルは、割付対象画素において、いままで比較した動きベクトルの中で最も、評価値 DFDに基づく信頼度が高いと判断し、信頼度が高いと判断された割付対象画素の評価値 DFDを、ベクトル選択部 7 05に出力し、ステップ S 747に進む。

[0338] ベクトル選択部 705は、評価値判断部 712からの割付対象画素の評価値 DFDを入力すると、ステップ S747において、割付フラグメモリ 56の割付対象画素の割付フラグを l(True)に書き換え、ステップ S748に進み、 DFDテーブルの割付対象画素が対応する最小評価値を、評価値判断部 712により信頼度が高いと判断された評価値 DFDに書き換え、ステップ S 749に進む。

[0339] ベクトル選択部 705には、ステップ S706において、画素情報演算部 701から選択した割付対象画素とその動きベクトルが入力されている。したがって、ベクトル選択部 705は、ステップ S749において、割付ベクトルメモリ 55の割付対象画素に割り付けられて、る動きベクトルを、信頼度が高、と判断された評価値 DFDに対応する動きべタトルで書き換え、割付ベクトル評価処理を終了し、図 44のステップ S708に戻る。

[0340] 以上のように、内挿フレームの割付対象画素に割り付けられる動きベクトルを選ぶときに、評価値 DFDだけでなぐ割付対象画素を基準に動きベクトルで対応付けた元フレーム上の位置に基づいて求められる、割付対象画素の輝度差分絶対値を別扱いにし、評価するようにしたので、従来の評価値 DFDを用いるだけの場合よりも、割付候補ベクトルの中から、最も確からしい動きベクトルを選んで、割付対象画素に割り付けることができる。これにより、ベクトル割付の精度が向上し、後段の画像補間処理にお、て生成される画像の不連続性などを抑制することができ、画像の品質を向上させることがでさる。

[0341] さらに、評価値 DFDや輝度差分絶対値を求める際などに、画素以下位置の画素値が必要な場合に、その画素以下位置の近傍 4画素との距離を基にした線形補間で値を求めるようにしたので、画素以下位置精度の処理が可能になり、さらに、従来の画素以下成分を丸めてしまう方法よりも、輝度差分絶対値 dpや評価値 DFDを精度よく求めることができ、これにより、割付候補ベクトルの中から、着目画素により確からしい動きベクトルを割り付けることができる。すなわち、ベクトル割付処理の精度が向上する。

[0342] また、 0ベクトルによる評価値 DFDを初期値として、 DFDテーブルに予め保持しておき、動きベクトルを順次処理している間に、ある動きベクトルによる評価値 DFDがその時点で最小評価値となった場合に、 DFDテーブルの最小評価値と、割付ベクトルメモリ 55に割り付けられている動きベクトルを、随時更新するようにしたので、時間とリソースを効率的に使用することができる。

[0343] 次に、割付補償部 57の構成の詳細について説明する。

[0344] 図 47は、割付補償部 57の構成を示すブロック図である。図 47に構成を示す割付補償部 57は、割付ベクトル判定部 801およびベクトル補償部 802により構成され、ベタトル割付部 54により動きベクトルが割り付けられな力つた 60P信号の内挿フレーム上の画素に、その周辺画素の動きベクトルを補って割り付ける処理を行う。

[0345] 前段のベクトル割付部 54により、割付ベクトルメモリ 55上の内挿フレームの画素には動きベクトルが割り付けられている。また、ベクトル割付部 54により動きベクトルが割り付けられた画素の割付フラグメモリ 56の割付フラグには、 l(True)が書き込まれており、動きベクトルが割り付けられな力つた画素の割付フラグメモリ 56の割付フラグには、 O(False)が書き込まれている。

[0346] 割付ベクトル判定部 801は、割付フラグメモリ 56の割付フラグを参照し、着目画素に、ベクトル割付部 54により動きベクトルが割り付けられているか否かを判定する。そして、割付ベクトル判定部 801は、ベクトル割付部 54により動きベクトルが割り付けられなカゝつた着目画素を選択し、選択した着目画素に対して、ベクトル補償部 802を制御し、その着目画素の周辺画素の動きベクトルを選択して、割付ベクトルメモリ 55の内挿フレーム上に割り付けさせる。

[0347] ベクトル補償部 802は、割付ベクトルメモリ 55から、着目画素の周辺画素に割り付けられている動きベクトルを取得し、入力される時刻 tの画像のフレーム tと、時刻 t+ 1 の画像のフレーム t+ 1を用いて、取得した動きベクトルの評価値 DFDを求めて比較することにより、着目画素の周辺画素に割り付けられた動きベクトルのうち、評価値 D FDに基づぐ最も信頼度が高い動きベクトルを、割付ベクトルメモリ 55の着目画素に割り付ける。また、ベクトル補償部 802は、動きベクトルが割り付けられた着目画素の割付フラグを l(True)に書き換える。

[0348] 図 48は、ベクトル補償部 802の構成を示すブロック図である。図 48に構成を示すベクトル補償部 802は、補償処理部 811および評価値演算部 812により構成される。

[0349] 補償処理部 811は、最小評価値 DFDと、最小評価値 DFDの動きベクトルを候補ベクトル (以下、補償候補ベクトルとも称する）として記憶するメモリ 821を有しており、割付ベクトル判定部 801により選択された着目画素の初期値として、 0ベクトルの評価値 DFDを最小評価値としてメモリ 821に記憶し、 0ベクトルを、補償候補ベクトルとしてメモリ 821に記憶する。補償処理部 811は、割付フラグメモリ 56を参照して、着目画素の周辺画素の動きベクトルの有無を判断し、割付ベクトルメモリ 55から、周辺画素に割り付けられている動きベクトルを取得し、評価値演算部 812を制御し、その動きベクトルの評価値 DFDを演算させる。

[0350] また、補償処理部 811は、評価値演算部 812により演算された評価値 DFDがメモリ 821に記憶されて、る最小評価値よりも小さ!/、か否かを判断し、演算された評価値 D FDが最小評価値よりも小さいと判断した場合、メモリ 821の補償候補ベクトルと最小評価値を、演算された評価値 DFDとその動きベクトルに書き換え、最終的に、評価値 DFDが最も小さ、と判断された周辺画素の動きベクトル (補償候補ベクトル)を、着目画素の動きベクトルとして、割付ベクトルメモリ 55の着目画素に割り付ける。さらに、補償処理部 811は、動きベクトルが割り付けられた着目画素の割付フラグメモリ 56の割付フラグを l(True)に書き換える。

[0351] 評価値演算部 812は、割付ベクトルメモリ 55から周辺画素の動きベクトルを取得すると、入力される時刻 tの 24P信号の画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、割付ベクトルメモリ 55からの動きベクトルの評価値 DFDを演算し、演算した評価値 DFDを補償処理部 811に出力する。

[0352] 図 49Aは、割付補償処理の原理を説明する図である。図 49Aの例においては、内挿フレーム上の各画素が示されている。画素から出力される矢印は、各画素に割り付けられている動きベクトルを表しており、矢印がない画素は、動きベクトルが割り付けられて!ヽなヽ画素を表して!/、る。

[0353] ここで、前段のベクトル割付部 54により動きベクトルの割り付けられな力つた中央の着目画素 Pに対して、着目画素 Pの近傍の周辺画素に割り付けられて、る動きべタトルの中から、評価値 DFDに基づぐ信頼度が高いものを選択して割り付ける。図 49 Aの例の場合、着目画素 Pには、着目画素 Pの上の画素の動きベクトル (太線矢印）が選択され、割り付けられている。これは、次に説明する動き相関に基づいて実行される処理である。 [0354] 図 50は、動き相関の原理について説明する図である。図 50の例においては、あるフレーム上を動き vlで動くオブジェクト Olと、動き v2で動くオブジェクト 02が示されている。オブジェクト Olに属している着目画素 P1とその近傍 K1は、オブジェクト Ol とほぼ同一動き vlを有している。また、オブジェクト 02に属している着目画素 P2とその近傍 K2は、オブジェクト 02とほぼ同じ動き v2を有して!/、る。

[0355] このように、動き相関とは、ある同じ時間における空間内（同一フレーム内）において、あるオブジェクトに属する画素の動きは、ほぼ同一動きをしていることが多いということを表すものである。したがって、動きベクトルを割り付けることができなかった画素に対しては、ある同じ時間における空間内（同一フレーム内）において、このような動き相関があることを利用して、周辺画素の動きベクトルから、その画素の対応する動きベクトルを選択することができる。なお、説明は省略するが、時間方向の相関も同様である。

[0356] 次に、図 51乃至図 57を参照して、動き相関に基づいて実行される動きベクトルの補償処理について説明する。すなわち、周辺画素の動きベクトルから、動きベクトルを選択し、着目画素の動きベクトルとして補う処理である。図 51の例においては、白丸は、内挿フレーム上の画素を表しており、動きベクトルを求めようとしている着目画素 Pの周辺に、周辺 8画素が示されている。この着目画素 Pの動きベクトルは、この周辺 8画素の動きベクトルを参照して求められる。

[0357] 図 52の例においては、着目画素 Pの周辺 8画素の中で、左上画素、右上画素、および、右下画素（黒丸）に、前段の処理 (例えば、上述したベクトル割付処理)などにより求められた動きベクトル (矢印）が示されている。すなわち、この場合の着目画素 P の補償候補ベクトルは、左上画素、右上画素、および、右下画素の動きベクトルとされる。なお、フレーム上において、動きベクトルは、フレーム上の左上の画素からラスタスキャン順に求められていくため、周辺 8画素のうち、まだ動きベクトルの求められて、な、画素も存在する可能性もある力まだ動きベクトルは求められて、な、ため、補償候補ベクトルにはできない。

[0358] ここで、図 53の例に示されるように、周辺 8画素の中には、前段の処理において求められた動きベクトルを有する画素（黒丸）の他に、本処理により求められた動きべクトルを有する画素 (ハッチングされた丸)も存在する。すなわち、本処理においては、本処理自体の前段の結果も利用される。したがって、図 53の例の場合の着目画素 P の補償候補ベクトルは、動きベクトルがすでに存在する画素（黒丸）の動きベクトルと、前段の本処理により求められた動きベクトルを有する画素 (ハッチングされた丸）の動きベクトルにより構成されて、る。

[0359] また、図 54の例に示されるように、動き量を 0とした 0ベクトル (静止ベクトル） SOも補償候補ベクトルとして利用することができる。なお、図 53の例においては、本処理により求められた動きベクトルを有する画素と、動きベクトルがすでに存在する画素を別々に表した力どちらも動きベクトルを有するという点で同じであるので、図 54乃至図 57においては、本処理により求められた動きベクトルを有する画素も、動きベクトルがすでに存在する画素（黒丸）に含まれることとする。したがって、図 54の例の場合、着目画素 Pの補償候補ベクトルは、動きベクトルがすでに存在する画素（黒丸）の動きベクトルおよび 0ベクトル SOにより構成されている。

[0360] 以上のようにして構成される補償候補ベクトルの信頼度 (確カゝらしさ）を比較するために、動きベクトルの評価方法である評価値 DFDは、以降の図 55乃至図 57に示されるようにして求められる。図 55は、補償候補ベクトルとして、 0ベクトル SOが用いられる例を示している。図 56は、補償候補ベクトルとして、周辺 8画素の左上画素の動きベクトル VK1が用いられる例を示している。図 57は、補償候補ベクトルとして、周辺 8画素の上中央画素の動きベクトル VK2が用いられる例を示して!/、る。

[0361] 図 55の例においては、図中左側に示される着目画素 Pの補償候補ベクトルの中から、 0ベクトル SOが選択され、選択された 0ベクトル SOの評価値 DFDを求める例が示されている。すなわち、 0ベクトル SOに対する評価値 DFDは、着目画素 P (60P信号の内挿フレーム）を挟む、 24P信号のフレーム tとフレーム t+ 1上において、内揷フレーム上の着目画素 Pを基準にして、選択された 0ベクトル SOが対応付けられる交点を求め、この交点を中心として所定の範囲（m X n)の DFD演算範囲 D1— 1および D1 2を算出し、算出された DFD演算範囲 D1— 1および D1— 2を用いて、上述した式 (1)を演算することにより求められる。

[0362] 図 56の例においては、図中左側に示される着目画素 Pの補償候補ベクトルの中から、周辺 8画素の左上画素の動きベクトル VKlが選択され、選択された動きベクトル VK1の評価値 DFDを求める例が示されている。すなわち、周辺 8画素の左上画素の動きベクトル VK1に対する評価値 DFDは、着目画素 P (内挿フレーム）を挟むフレーム tとフレーム t+ 1上において、内挿フレーム上の着目画素 Pを基準にして、選択された動きベクトル VK1が対応付けられる交点を求め、この交点を中心として所定の範囲（m X n)の DFD演算範囲 D2— 1および D2— 2を算出し、算出された DFD演算範囲 D2— 1および D2— 2を用いて、上述した式（1)を演算することにより求められる

[0363] 図 57の例においては、図中左側に示される着目画素 Pの補償候補ベクトルの中から、補償候補ベクトルとして、周辺 8画素の上中央画素の動きベクトル VK2が選択され、選択された動きベクトル VK2の評価値 DFDを求める例が示されている。すなわち、周辺 8画素の上中央画素の動きベクトル VK2に対する評価値 DFDは、着目画素 P (内挿フレーム）を挟むフレーム tとフレーム t+ 1上にお!、て、内挿フレーム上の着目画素 Pを基準にして、選択された動きベクトル VK2が対応付けられる交点を求め、この交点を中心として所定の範囲（m X n)の DFD演算範囲 D3— 1および D3— 2を算出し、算出された DFD演算範囲 D3— 1および D3— 2を用いて、上述した式（1 )を演算することにより求められる。

[0364] なお、図中左側に示される他の補償候補ベクトルについても、基本的に同様の処理であるため、その説明は省略するが、以上のようにして、着目画素 Pの周辺画素の補償候補ベクトルすべての評価値 DFDが求められ、求められたそれらの評価値 DF Dが比較され、その中で、最も評価値 DFDが最小となる補償候補ベクトルが、図 58 に示されるように、着目画素 Pに割り付けられる最も信頼度がある、確力もしい動きべタトルとして選択される。

[0365] 図 58の例の場合、着目画素 Pの周辺画素の補償候補ベクトルの中から、周辺 8画素の左上画素の動きベクトル VK1の評価値 DFDが最も小さいとして判断され、動きベクトル VK1が、着目画素 Pの動きベクトルとして選択され、割り付けられている。

[0366] 以上のように、ベクトル割付部 54において割り付けることができな力つた画素の動きベクトルを、動き相関を利用して、周辺画素の動きベクトル力補償するようにしたので、動きベクトルが割り付けられず、例えば、 0ベクトルが割り付けられていたような場合よりも、動きの乱れを抑制することができる。また、このようにして補償された画素の動きベクトルも、他の画素の補償候補ベクトルとして再度利用することができる。すなわち、空間方向の近傍の動きベクトルだけでなぐ時間方向の近傍の動きベクトルも、補償候補ベクトルに用いることができるので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択され、誤りの少ない安定した動きベクトルを得ることができる。これにより、ベクトル割付の精度が向上する。

[0367] 次に、図 59Aのフローチャートを参照して、割付補償処理の詳細を説明する。前段のベクトル割付部 54により、割付ベクトルメモリ 55上の内挿フレームの画素には動きベクトルが割り付けられている。また、ベクトル割付部 54により動きベクトルが割り付けられた画素の割付フラグメモリ 56の割付フラグには、 l(True)が書き込まれており、動きベクトルが割り付けられな力つた画素の割付フラグメモリ 56の割付フラグには、 0 (False)が書き込まれて!/、る。

[0368] 割付ベクトル判定部 801は、ステップ S801において、割付フラグメモリ 56の内揷フレームの画素を、着目画素として選択し、ステップ S802に進む。このとき、割付べタトル判定部 801は、フレームの左上の画素からラスタスキャン順に画素を選択する。

[0369] 割付ベクトル判定部 801は、ステップ S802において、割付フラグメモリ 56内の着目画素の割付フラグ力 O(False)である力否かを判断し、割付フラグメモリ 56内の着目画素の割付フラグ力 O(False)であると判断した場合、動きベクトルが割り付けられていないと判定し、ステップ S803に進み、補償処理部 811を制御し、ベクトル補償処理を実行させ、ステップ S804に進む。このベクトル補償処理の詳細は、図 60を参照して後述する力このベクトル補償処理により、周辺画素に割り付けられた動きべタトルの中から、評価値 DFDの最小の動きベクトルが補償候補ベクトルとしてメモリ 821 に gc feされる。

[0370] 補償処理部 811は、ステップ S804において、メモリ 821の補償候補ベクトルを、着目画素の動きベクトルとして、割付ベクトルメモリ 55に割り付け、ステップ S805に進み、割付フラグメモリ 56の着目画素の割り付けフラグを、 l(True)に書き換え、ステップ S 806に進む。 [0371] 一方、ステップ S802において、割付ベクトル判定部 801は、割付フラグメモリ 56内の着目画素の割付フラグが、 l(True)であると判断した場合、その着目画素にはすでに動きベクトルが割り付けられてヽると判定して、ステップ S803乃至 S805の処理をスキップし、ステップ S806〖こ進む。

[0372] 割付ベクトル判定部 801は、ステップ S806において、割付フラグメモリ 56の内揷フレームのすべての画素の処理を終了したか否かを判断し、すべての画素の処理を終了していないと判断した場合、ステップ S801に戻り、割付フラグメモリ 56の内挿フレームの次の画素を、着目画素として選択し、それ以降の処理を実行する。ステップ S 806において、割付フラグメモリ 56の内挿フレームのすべての画素の処理を終了したと判断した場合、割付補償処理を終了する。

[0373] 次に、図 60のフローチャートを参照して、ベクトル補償処理の詳細を説明する。なお、図 60は、図 59Aのステップ S803のベクトル補償処理の例を示している。

[0374] 補償処理部 811は、ステップ S821において、評価値演算部 812を制御し、 0ベタトルを用いて評価値 DFD0を算出させ、ステップ S822に進む。具体的には、評価値演算部 812は、ステップ S821において、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、例えば、図 55を参照して上述したように、着目画素について、 0ベクトルでの評価値 DFD0を演算し、演算した評価値 DFD0を補償処理部 811に出力する。

[0375] ステップ S822において、補償処理部 811は、評価値 DFD0を最小評価値としてメモリ 821に記憶し、ステップ S823に進み、 0ベクトルを補償候補ベクトルとして、メモリ 821に記憶し、ステップ S824に進む。補償処理部 811は、ステップ S824において、割付ベクトル判定部 801により選択された着目画素の周辺 8画素のうち、 1つの周辺画素を選択し、ステップ S825〖こ進む。このとき、補償処理部 811は、周辺 8画素のうち、左上の画素力ラスタスキャン順に周辺画素を選択する。

[0376] 補償処理部 811は、ステップ S825において、割付フラグメモリ 56を参照し、選択した周辺画素の動きベクトルが存在する力否かを判断する。割付フラグメモリ 56の周辺画素の割付フラグが l(True)であれば、補償処理部 811は、ステップ S825において、選択した周辺画素に割り付けられている動きベクトルが存在すると判断し、ステップ S826に進み、割付ベクトルメモリ 55から、周辺画素の動きベクトルを取得し、ステツプ S827に進む。このとき、割付ベクトルメモリ 55から評価値演算部 812にも周辺画素の動きベクトルが出力される。

[0377] 評価値演算部 812は、割付ベクトルメモリ 55から周辺画素の動きベクトルが入力されると、ステップ S827において、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、着目画素について、割付ベクトルメモリ 55からの動きベクトルの評価値 DFDを演算し、演算した評価値 DFDを、補償処理部 811に出力し、ステップ S828に進む。

[0378] 補償処理部 811は、評価値演算部 812から評価値 DFDが入力されると、ステップ S828において、評価値 DFDが、メモリ 821に記憶されている着目画素の最小評価値よりも小さいか否かを判断し、評価値 DFDが、メモリ 821に記憶されている着目画素の最小評価値よりも小さいと判断した場合、ステップ S829に進み、メモリ 821の最小評価値を、最小評価値よりも小さいと判断された評価値 DFDに書き換え、ステップ S830に進み、メモリ 821の補償候補ベクトルを、その最小評価値の動きベクトルに書き換え、ステップ S831に進む。

[0379] 一方、ステップ S825において、割付フラグメモリ 56の周辺画素の割付フラグが 0

(False)であると、補償処理部 811は、選択した周辺画素に割り付けられている動きべタトルがないと判断し、ステップ S826乃至 S830の処理をスキップし、ステップ S831 に進む。また、ステップ S828において、補償処理部 811は、評価値 DFDが、メモリ 8 21に記憶されて、る着目画素の最小評価値以上であると判断した場合、ステップ S8 29および S830の処理をスキップし、ステップ S831に進む。

[0380] 補償処理部 811は、ステップ S831において、着目画素の周辺 8画素すべてに対して処理が終了した力否かを判断し、着目画素の周辺 8画素すべてに対して処理が終了していないと判断した場合、ステップ S824に戻り、次の周辺画素を選択し、それ以降の処理を繰り返す。また、補償処理部 811は、ステップ S831において、着目画素の周辺 8画素すべてに対して処理が終了したと判断した場合、ベクトル補償処理を終了し、図 59Aのステップ S804に戻る。

[0381] なお、上記説明にお、ては、ベクトル割付部 54にお、て割り付けられな力つた画素に対してベクトル補償処理を行っている力ベクトル検出部 52において検出されなかつた（0ベクトルが検出された）画素など、何らかの処理において動きベクトルが求められな力つた画素に対してベクトル補償処理を行うようにしてもよい。また、さらに、検出された動きベクトル、または、割り付けられた動きベクトルが確力しくない (信頼度が低ヽ）とされる画素に対してベクトル補償処理を行うようにしてもょヽ。

[0382] また、上記説明にお、ては、割付補償処理は、個々の画素レベルで実行されて!ヽる。すなわち、上述した図 51乃至図 58の例においては、それぞれの個々の画素が評価され、その上で割付補償処理が実行されている。

[0383] しかしながら、もっと単純化した処理の例として、図 49B及び図 49Cに示されるように、複数の画素力なるブロックが一度に評価されるブロックモードを用いて、ブロック内の画素を一度に評価するようにしてもょ、。

[0384] 例えば、図 49Bの例に示されるように、着目ブロック Bは、 4画素で構成され、着目ブロック Bの近傍の各画素（図 49Bの場合、 12画素）が、周辺画素となる。さらに、着目ブロック B内の 4画素のうち、割付フラグが 1の画素（すでに割付ベクトルが存在している画素)も周辺画素として用いてもよい。この場合、図 49Cの例に示されるように、補償候補ベクトルの評価値 DFDは、着目ブロック Bを基準にして、図 55乃至図 57 の場合と同様に演算される。なお、着目ブロック Bは、 4画素で構成される必要はなく、着目ブロック Bの近傍の他の着目ブロックの画素や、着目ブロック Bの近傍の複数の画素などを含めて、例えば、 9画素のように他の数の画素で構成されてもよい。次に、図 59Bのフローチャートを参照して、上述した個々の画素に適用される処理（以下、画素モードの処理とも称する）を、図 49Bの着目ブロック Bに適用した割付補償処理を説明する。

[0385] なお、図 59Bは、図 59Aの個々の画素に対しての割付補償処理に対応する、ブロックに対しての割付補償処理であり、図 59Bにおいて、図 59Aの例と同様の処理については、同じステップ番号が付してあり、その説明は、繰り返しになるので適宜省略する。

[0386] 図 59Bの例において、割付ベクトル判定部 801は、ステップ S860において、割付フラグメモリ 56の内挿フレームの画素を、着目ブロックとして選択し、ステップ S861に進む。このとき、割付ベクトル判定部 801は、フレームの左上の画素からラスタスキヤン順に、例えば、図 49Bの 4画素で構成される着目ブロックを選択する。

[0387] 割付ベクトル判定部 801は、ステップ S861において、着目ブロックに、割付フラグメモリ 56内の割付フラグ力 O(False)である画素があるか否かを判断する。割付べタトル判定部 801は、割付フラグメモリ 56内の割付フラグ力 O(False)である画素があると判断した場合、着目ブロック内に、動きベクトルが存在しない画素があるとして、ステップ S803に進む。割付ベクトル判定部 801は、ステップ S803において、補償処理部 811を制御し、ベクトル補償処理を実行させる。このベクトル補償処理の詳細は、処理の対象が着目ブロックであることが異なるだけであり、図 60を参照して上述した処理と基本的に同様の処理を行うため、その説明は省略する。

[0388] すなわち、着目ブロックの評価値 DFD0が演算されて記憶され、評価値 DFD0と比較することにより、着目ブロックの周辺画素に割り付けられた動きベクトルの中力評価値 DFDの最小の動きベクトル力着目ブロックの補償候補ベクトルとしてメモリ 821 に記憶される。なお、着目ブロックの補償候補ベクトルは、メモリ 821において、着目ブロックすべての画素に記憶されてもよいし、着目ブロックのうち動きベクトルが割り付けられて、な、画素に対してだけ記憶されるようにしてもよ!、し、着目ブロックの所定の画素位置にのみ記憶されてもよい。

[0389] ステップ S803において、着目ブロックの補償候補ベクトル力メモリ 821に記憶され、処理は、ステップ S862に進む。補償処理部 811は、着目ブロック内の着目画素を選択し、ステップ S862において、着目ブロック内の着目画素の、割付フラグメモリ 56内の割付フラグが O(False)であるか否かを判断し、着目画素の割付フラグが O(False)であると判断した場合、ステップ S804に進み、図 59Aの場合と同様に、メモリ 821の補償候補ベクトルを、着目画素の動きベクトルとして、割付ベクトルメモリ 55に割り付け、ステップ S805に進み、割付フラグメモリ 56の着目画素の割り付けフラグを、 l(True) 【こ書さ免、ステップ S863【こ itむ。

[0390] 着目画素の割付フラグ力 SCXFalse)ではな、と判断された場合、補償処理部 811は、ステップ S863に進む。補償処理部 811は、ステップ S863において、着目ブロック内のすベての画素の処理を終了したか否かを判断し、着目ブロック内のすべての画素の処理を終了していないと判断した場合、ステップ S864に進み、着目ブロック内の次の着目画素を選択し、ステップ S862に戻り、それ以降の処理を繰り返す。

[0391] ステップ S861において、割付フラグメモリ 56内の割付フラグ力 O(False)である画素がないと判断された場合、または、ステップ S863において、着目ブロック内のすべての画素の処理を終了したと判断された場合、補償処理部 811は、ステップ S865に進み、割付フラグメモリ 56の内挿フレームのすべてのブロックの処理を終了したか否かを判断し、すべてのブロックの処理を終了していないと判断した場合、ステップ S8 60に戻り、割付フラグメモリ 56の内挿フレームの次のブロックを、着目ブロックとして選択し、それ以降の処理を実行する。ステップ S865において、割付フラグメモリ 56の内挿フレームのすべてのブロックの処理を終了したと判断された場合、割付補償処理は終了される。

[0392] 以上により、着目ブロックの各画素（動きベクトルが割りついていない画素）に動きベクトルが割り付けられる。

[0393] 上述のブロックモードは、単に、動きベクトルが割り付けられてヽな、画素を有するブロックに対して演算される動きベクトルを、そのブロックに割り付けるだけである。また、そのブロックの画素に、ブロックモードの開始前にすでに割り付けられている動きベクトルは、そのブロックについて演算された動きベクトルとは置き換えられない。さらに、ベクトル割付部 54は、存在する動きベクトルに基づいて、 1または 0のフラグ (割付フラグメモリ 56)をブロックの画素に対して予め割り付けているので、ブロックの画素が動きベクトルを有する力否かを知るために再演算の必要はない。以上により、動きベクトルを割付補償する際にブロックモードを採用することにより、その計算量は、画素モードの処理よりも減少される。

[0394] 以上のように、ベクトル割付処理にぉ、て、割り付けることができな力つた画素または着目ブロック内の画素に関しても、動き相関があることを利用して、その画素の周辺の動きベクトルの中から、評価値 DFDに基づぐ最も信頼度がある、確からしい動きベクトルを得ることができる。これにより、ベクトルが割り付けられず、 0ベクトルなどを割り付けておく場合よりも、ベクトル割付の精度が向上し、後段の画像補間処理において生成される画像の不連続性を抑制することができる。 [0395] また、着目画素（またはブロック）の周辺画素の動きベクトル力得られた (割り付けられた)この動きベクトルは、実在する動きベクトルである。したがって、実在する動きベクトルが割り付けられるので、割り付けられる各画素には、例えば、作り出された架空の動きベクトルが割り付けられるしまうことなどで発生してしまう、割り付けによるエラ一が蓄積されない。

[0396] さらに、割付補償処理においては、割付候補として、本処理により新しく割り付けられた周辺画素の動きベクトルも用いられる。これは、割付候補として、周辺画素（プロック）の周辺画素の動きベクトルも用いられるということであり、さらに換言するに、より広い範囲の周辺画素 (すなわち、より多くの周辺画素)から、割り付けるべき、より信頼性の高い動きベクトルが探索可能であるということである。したがって、割付補償処理にお、て周辺画素の動きベクトルを用いることにより、より信頼性の高!、動きベクトルを着目画素または着目ブロックに割り付けることができる。

[0397] また、上述した割付補償処理により動きベクトルが割り付けられた画素の割付フラグを l(True)に書き換えるようにし、割付補償処理により割り付けられた動きベクトルも、次の画素の補償候補ベクトルとして用いるようにしたので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択されるようになり、誤りの少ない安定した動きベクトルを得ることができる。その結果、後段において生成される画像のブロックノイズや粉状ノイズなどを抑制し、品質を向上させることができる。

[0398] さらに、動きベクトルを求める着目画素について、 0ベクトルの評価値 DFDを予め算出し、最小評価値としてメモリに保持しておくことにより、すべての補償候補べタトル評価値 DFDを一度に算出し、その中から最小の評価値 DFDを選択する場合よりも、時間とリソースを効率的に使用することができる。

[0399] 次に、ベクトル補償処理の他の例について説明する。

[0400] 図 61は、信号処理装置 1の他の例を示すブロック図である。なお、図 61の信号処理装置 1は、判定結果フラグメモリ 911および検出補償部 912が追加されている点を除いて、その他の構成は、上述した図 2の信号処理装置 1と同様の構成である。

[0401] したがって、図 61の例の場合、信号処理装置 1に入力された 24P信号の入力画像

(時刻 t+ 1のフレーム t+ 1)は、フレームメモリ 51、ベクトル検出部 52、検出補償部 9 12、ベクトル割付部 54、割付補償部 57、および画像補間部 58に供給される。フレームメモリ 51に記憶される時刻 tのフレーム tは、ベクトル検出部 52、検出補償部 912、ベクトル割付部 54、割付補償部 57、および画像補間部 58に供給される。

[0402] ベクトル検出部 52は、フレームメモリ 51上のフレーム tの着目ブロックと、入力画像のフレーム t+ 1の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ 53に記憶する。このとき、ベクトル検出部 52は、動きベクトルの信頼度の高さを評価判断し、動きべ外ルの信頼度が高いと判断した場合、判定結果フラグメモリ 911の判定結果フラグに l(True)を記憶させ、動きベクトルの信頼度が低いと判断した場合、判定結果フラグメモリ 911の判定結果フラグに O(False)を記憶させる。この 2フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。動きベクトル検出に勾配法またはブロックマッチング法などが用いられる場合、図 68を参照して後述するが、ベクトル検出部 52は、検出した動きべクトルの信頼度の高さを評価する評価値 DFDを求め、動きベクトルの評価値 DFDが、所定のしきい値より小さいか否かを判断することにより、動きベクトルの信頼度が高いか否か判断し、その判断結果に基づいて、判定結果フラグメモリ 911に値を書き込む

[0403] なお、動きベクトル検出に勾配法が用いられる場合、ベクトル検出部 52は、勾配法演算の対象となる演算ブロックに、動きベクトルの検出に有効な画素が多いか否かを判断することにより、動きベクトルの信頼度が高いか否かを判断し、その判断結果に基づいて、判定結果フラグメモリ 911に値を書き込む。すなわち、上述したように、勾配法演算は、統計的な解法である最小自乗法に基づいた演算であるため、演算プロック内に、動きベクトルの検出に有効な画素が多ければ多いほど、勾配法演算精度が向上するため、その勾配法演算により算出される動きベクトルの信頼度が高くなる（すなわち、より確力しい動きベクトルが算出される）からである。

[0404] 動きベクトル検出に勾配法が用いられる場合におけるベクトル検出部 52の構成の詳細は、図 9および図 25を参照して上述したベクトル検出部 52と基本的に同様の構成であるため、繰り返しになるので、その詳細な説明を省略する力図 61のベクトル検出部 52においては、有効画素判定部 403は、演算ブロックにおいて、動きベクトルの検出に有効な画素数が所定のしきい値より多いか否かを判断し、その判断した結果のフラグ (flg)を、勾配法演算部 404に出力する。勾配法演算部 404は、有効画素判定部 403からのフラグを参照し、フラグが 1を示す (flg=l)場合、算出した動きべタトルとともに、フラグ (flg=l)をベクトル評価部 104に出力する。ベクトル評価部 104は、この動きベクトルを、検出ベクトルメモリ 53に出力するとともに、フラグ (flg=l)に基づいて、演算ブロックに、動きベクトルの検出に有効な画素数が多い (すなわち、動きべタトルの信頼度が高い）と判断し、判定結果フラグメモリ 911に l(True)を書き込む。

[0405] 一方、勾配法演算部 404は、有効画素判定部 403からのフラグを参照して、フラグ力 SOを示す (flg=0)場合、 0ベクトルととも〖こ、フラグ (flg=0)をベクトル評価部 104に入力する。ベクトル評価部 104は、この 0ベクトルを、検出ベクトルメモリ 53に出力するとともに、フラグ (flg=0)に基づいて、演算ブロックに、動きベクトルの検出に有効な画素数が少ない (すなわち、動きベクトルの信頼度が低い）と判断し、判定結果フラグメモリ 9 11に O(False)を書き込む。

[0406] 判定結果フラグメモリ 911は、元フレームの画素毎に、検出された動きベクトルの信頼度が高いか低いか (すなわち、検出された動きベクトルが確からしいか、確力もしくないか)を示す判定結果フラグを記憶している。例えば、 True(l)である判定結果フラグは、対応する画素の動きベクトルの信頼度が高いことを示し、 False(O)である判定結果フラグは、対応する画素の動きベクトルの信頼度が低ヽことを示す。

[0407] 検出補償部 912は、判定結果フラグメモリ 911の着目画素の判定結果フラグを参照し、判定結果フラグが O(False)であった場合、ベクトル検出部 52により信頼度の高い動きベクトルが検出されていないと判断して、その着目画素に対して、着目画素の周辺画素の動きベクトルを補い、検出ベクトルメモリ 53のフレーム上に記憶させる。このとき、検出補償部 912は、動きベクトルが検出された着目画素の判定結果フラグメモリ 911を l(True)に書き換える。なお、検出補償部 912の構成の詳細は、後述する力検出補償部 912は、割付補償部 57における動きベクトルを補償する対象が、ベタトル割付部 54により動きベクトルが割り付けられな力つた画素であったもの力ベタトル検出部 52により信頼度が高い (確力もしい）動きベクトルが検出されな力つた画素に代わっただけであり、基本的な構成は、割付補償部 57と同様であり、以降、その詳細な説明は繰り返しになるので適宜省略する。すなわち、割付補償部 57と検出補償部 912は、割付補償部 57がベクトル補償処理を実行する対象が 60P信号の内挿フレーム上の画素であるのに対して、検出補償部 912がベクトル補償処理を実行する対象が 24P信号のフレーム上の画素であることが異なるだけである。

[0408] 図 62は、検出補償部 912の構成を示すブロック図である。図 62に構成を示す検出補償部 912は、検出ベクトル判定部 921およびベクトル補償部 922により構成され、ベクトル検出部 52により信頼度が高い動きベクトルが検出されな力つた (すなわち、確からしくない動きベクトルが検出されている） 24P信号のフレーム上の画素に対して、図 50を参照して上述した動き相関に基づいて、その周辺画素の動きベクトルを補つて検出する処理を行う。

[0409] 前段のベクトル検出部 52により、検出ベクトルメモリ 53上のフレームの画素には動きベクトルが検出されている。また、ベクトル検出部 52により信頼度が高い動きべタトルが検出されていると判断された画素の判定結果フラグメモリ 911の判定結果フラグには、 l(True)が書き込まれており、信頼度が低い動きベクトルが検出されていると判断された画素の判定結果フラグメモリ 911の判定結果フラグには、（XFalse)が書き込まれている。

[0410] 検出ベクトル判定部 921は、判定結果フラグメモリ 911の着目画素の判定結果フラグを参照し、着目画素の信頼度の高さを判定する。検出ベクトル判定部 921は、ベタトル検出部 52により信頼度が高い動きベクトルが検出されな力つた (信頼度が低い動きベクトルが検出された)着目画素に対して、ベクトル補償部 922を制御し、その着目画素の周辺画素の動きベクトルを選択させて、それを、検出ベクトルメモリ 53のフレーム上に記憶させる。

[0411] ベクトル補償部 922は、検出ベクトルメモリ 53から、着目画素の周辺画素に割り付けられている動きベクトルを取得し、入力される時刻 tの画像のフレーム tと、時刻 t+ 1 の画像のフレーム t+ 1を用いて、取得した動きベクトルの評価値 DFDを求めて比較することにより、着目画素の周辺画素に検出された動きベクトルのうち、評価値 DFD に基づぐ最も信頼度が高い動きベクトルを、検出ベクトルメモリ 53の着目画素に記憶させる。また、ベクトル補償部 922は、判定結果フラグメモリ 911において、評価値 DFDに基づぐ最も信頼度が高い動きベクトルが補償された着目画素の判定結果フラグを l(True)に書き換える。

[0412] 図 63は、ベクトル補償部 922の構成を示すブロック図である。なお、図 63において、図 48における場合と対応する部分には対応する符号を付してあり、その詳細な説明は繰り返しになるので省略する。

[0413] 図 63においては、補償処理部 811は、最小評価値 DFDと、最小評価値 DFDの動きベクトルを補償候補ベクトルとして記憶するメモリ 821を有しており、検出ベクトル判定部 921により選択された着目画素の初期値として、着目画素にすでに検出されている動きベクトルの評価値 DFDを最小評価値としてメモリ 821に記憶し、その動きべタトルを、補償候補ベクトルとしてメモリ 821に記憶する。例えば、ベクトル検出部 52 においては、演算ブロック内に有効な画素が少ない場合には、最終的に 0ベクトルが検出されるので、この場合、 0ベクトルが補償候補ベクトルとしてメモリ 821に記憶される。補償処理部 811は、判定結果フラグメモリ 911を参照して、着目画素の周辺画素の動きベクトルの信頼度の高さを判断し、検出ベクトルメモリ 53から、周辺画素に検出されている、信頼度が高い動きベクトルを取得し、評価値演算部 812を制御し、その動きベクトルの評価値 DFDを演算させる。

[0414] また、補償処理部 811は、評価値演算部 812により演算された評価値 DFDがメモリ 821に記憶されて、る最小評価値よりも小さ!/、か否かを判断し、演算された評価値 D FDが最小評価値よりも小さいと判断した場合、メモリ 821の補償候補ベクトルと最小評価値を、演算された評価値 DFDとその動きベクトルに書き換え、最終的に、評価値 DFDが最も小さ、と判断された周辺画素の動きベクトル (補償候補ベクトル)を、着目画素の動きベクトルとして、検出ベクトルメモリ 53の着目画素に記憶させる。さらに、補償処理部 811は、動きベクトルが補償され、検出された着目画素の判定結果フラグメモリ 911の判定結果フラグを l(True)に書き換える。

[0415] 評価値演算部 812は、検出ベクトルメモリ 53から周辺画素の動きベクトルを取得すると、入力される時刻 tの 24P信号の画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、検出ベクトルメモリ 53からの動きベクトルの評価値 DFDを演算し、演算した評価値 DFDを補償処理部 811に出力する。なお、上述したように、割付補償部 57がベクトル補償処理を実行する対象が、 60P信号の内挿フレーム上の画素であるのに対して、検出補償部 912がベクトル補償処理を実行する対象は、 24P信号のフレーム上の画素であるので、評価値演算部 812は、 24P信号のフレーム tの着目画素において、評価値 DFDを演算する。

[0416] 次に、図 64のフローチャートを参照して、図 61の信号処理装置 1のフレーム周波数を変換する処理の例を説明する。なお、図 64のステップ S901、および S904乃至 S9 08の処理は、図 6のステップ Sl、およびステップ S3乃至 S7と基本的に同様の処理であるため、その詳細な説明は繰り返しになるので省略する。

[0417] ステップ S901において、ベクトル検出部 52は、時刻 t+ 1の入力画像のフレーム t

+ 1と、フレームメモリ 51の入力画像の 1つ前の時刻 tのフレーム tの画素値を入力し、ステップ S902に進む。なお、このとき、ベクトル割付部 54、検出補償部 912、割付補償部 57および画像補間部 58は、時刻 t+ 1の入力画像のフレーム t+ 1と、フレームメモリ 51の入力画像の 1つ前の時刻 tのフレーム tの画素値を入力する。

[0418] ステップ S902において、ベクトル検出部 52は、動きベクトル検出処理を実行し、ステツプ S903に進む。すなわち、ベクトル検出部 52は、フレームメモリ 51上のフレーム tの着目ブロックと、入力画像である次のフレーム t+ 1の対象ブロックの間で動きべクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ 53に記憶し、ステップ S90 3に進む。この 2フレーム間の動きベクトルの検出方法には、勾配法またはブロックマツチング法などが用いられる。また、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値 DFDが求められ、求められた評価値 DFDに基づいて、最も信頼度の高い (確からしい）動きベクトルが検出される。このとき、ベクトル検出部 52 は、検出された動きベクトルの信頼度が高いか否かの判断を行い、その判断結果に基づいて、判定結果フラグメモリ 911に、 l(True)力、 O(False)を書き込む。ステップ S9 02における、動きベクトル検出処理の詳細は、図 65を参照して後述する。

[0419] ステップ S903において、検出補償部 912は、検出補償処理を実行し、ステップ S9 04に進む。すなわち、検出補償部 912は、ステップ S903において、判定結果フラグメモリ 911の判定結果フラグを参照し、ベクトル検出部 52により信頼度が高い動きべタトルが検出されな力つた着目画素に対して、その着目画素の周辺画素の動きべタトルを補い、検出ベクトルメモリ 53のフレームに記憶させる。このとき、検出補償部 912 は、判定結果フラグメモリ 911において、動きベクトルを補償した着目画素の検出対象フラグを l(True)に書き換える。なお、周辺画素の動きベクトルが複数ある場合には、各動きベクトルに対して、評価値 DFDが求められ、求められた評価値 DFDに基づいて、最も信頼度が高い動きベクトルが検出される。ステップ S903における、検出補償処理の詳細は、図 66を参照して後述する。

[0420] ステップ S904にお!/、て、ベクトル割付部 54は、ベクトル割付処理を実行し、ステツプ S905に進む。すなわち、ベクトノレ害 ij付咅 54ίま、ステップ S902および S903にお!/ヽて、フレーム t上で検出された動きベクトルを、割付ベクトルメモリ 55上の、補間する内挿フレーム上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ 56の割付フラグを l(True)に書き換える。

[0421] ステップ S905にお、て、割付補償部 57は、割付補償処理を実行し、ステップ S90 6に進む。すなわち、割付補償部 57は、ステップ S905において、割付フラグメモリ 56 の割付フラグを参照し、ベクトル割付部 54により動きベクトルが割り付けられな力つた着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ 55の内挿フレーム上に割り付ける。このとき、割付補償部 57は、動きベクトルを補 V、、割付けた着目画素の割付フラグを l(True)に書き換える。

[0422] ステップ S906におヽて、画像補間部 58は、画像補間処理を実行する。すなわち、画像補間部 58は、ステップ S906において、割付ベクトルメモリ 55の内挿フレームに割り付けられた動きベクトルと、フレーム tおよびフレーム t+ 1の画素値を用いて、内揷フレームの画素値を補間生成し、ステップ S907に進む。画像補間部 58は、ステツプ S908において、生成された内挿フレームを出力し、その次に、必要に応じて、フレーム t+ 1を出力することにより、 60P信号の画像を、図示せぬ後段に出力し、ステツプ S908に進む。

[0423] ステップ S908において、ベクトル検出部 52は、すべてのフレームの処理が終了した力否かを判断し、すべてのフレームの処理が終了していないと判断した場合、ステップ S901に戻り、それ以降の処理を繰り返す。一方、ベクトル検出部 52は、ステップ S908において、すべてのフレームの処理が終了したと判断した場合、フレーム周波数を変換する処理を終了する。

[0424] 次に、図 65のフローチャートを参照して、図 64のステップ S902の動きベクトル検出処理の詳糸田【こつ、て説明する。なお、図 65のステップ S921乃至 S923、 S925、および S926の処理は、図 12のステップ S101乃至 S105と基本的に同様の処理であるため、その詳細な説明は、繰り返しになるので適宜省略する。

[0425] ベクトル検出部 52には、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1が入力される。初期ベクトル選択部 101は、ステップ S921において、フレーム t上の処理の対象となるブロックを、着目ブロックとして選択し、ステップ S922 に進む。なお、フレーム上においては、左上のブロックからラスタスキャン順に処理が実行される。

[0426] ステップ S922において、初期ベクトル選択部 101は、初期ベクトル選択処理を実行する。すなわち、初期ベクトル選択部 101は、ステップ S922において、所定のブロック毎に、過去の動きベクトルの検出結果から、信頼度が高い動きベクトルを選択し、選択した動きベクトルを、勾配法に用いられる初期値となる初期ベクトル VOとして、反復勾配法演算部 103に出力し、ステップ S923に進む。

[0427] ステップ S923において、反復勾配法演算部 103およびベクトル評価部 104は、勾配法演算評価処理を実行し、ステップ S924に進む。具体的には、ステップ S923において、モード選択部 401は、ブロック単位処理モードまたは画素単位処理モードを選択する。有効画素判定部 403は、セレクタ 402を介して、入力される初期ベクトル V 0と、プリフィルタ 102—1および 102— 2を介して入力されるフレーム tおよびフレーム t+ 1を用いて、ブロック単位または画素単位の演算ブロック内において、画素差分値が所定の画素差分値よりも小さい (すなわち、動きベクトルの検出に有効である）と判断された有効画素の数をカウントし、カウントされた有効画素の数が所定のしき!、値より多いと判断した場合、ブロック単位または画素単位で、勾配法演算を実行させるフラグ (flg= l)を、勾配法演算部 404を介してベクトル評価部 104に出力する。一方、画素単位の演算ブロック内にお！ヽて、画素差分値が所定の画素差分値よりも小さヽと判定された有効画素の数が所定のしき、値より少な、と判断した場合、フラグ (flg= 0)を、勾配法演算部 404を介して、ベクトル評価部 104に出力する。 [0428] 勾配法演算部 404は、ベクトル評価部 104による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトル Vnを算出する。また、ベクトル評価部 104は、反復勾配法演算部 103からの動きベクトル Vn—lと、動きベクトル Vnの評価値 DFDを求め、最終的に、求められた評価値 DFDに基づぐ信頼性の高いものを選択し、動きベクトル Vとして、検出ベクトルメモリ 53に記憶する。このとき、ベクトル評価部 104は、動きベクトル Vとともに、その動きベクトル Vに対して求めた評価値 DFD を、シフト初期ベクトル割付部 105に供給する。

[0429] その後、ベクトル評価部 104は、ステップ S924において、検出ベクトルメモリ 53に記憶した動きベクトル Vに対応するフラグに基づいて、動きベクトル Vを算出した際の演算ブロック内の有効画素数の判断結果（に基づ、た値)を、判定結果フラグメモリ 9 11に書き込み、ステップ S925に進む。すなわち、ベクトル評価部 104は、検出べタトルメモリ 53に記憶させた動きベクトル Vのフラグが 1を示す (flg= 1)場合、演算ブロック内に有効な画素数が所定のしきい値より多ぐこれらを用いて検出された動きべタトル Vの信頼度は高い (確からしい）と判断して、判定結果フラグメモリ 911に l(True)を書き込む。また、逆に、検出ベクトルメモリ 53に記憶させた動きベクトル Vのフラグが 0 を示す (flg= 0)場合、演算ブロック内に有効な画素数が所定のしきい値より少なぐこれらを用いて検出された動きベクトル V (0ベクトル)の信頼度は低いと判断して、判定結果フラグメモリ 911に O(False)を書き込む。

[0430] ステップ S925において、シフト初期ベクトル割付部 105は、シフト初期ベクトル割付処理を実行し、ステップ S926に進む。すなわち、シフト初期ベクトル割付部 105は、ベクトル評価部 104より動きベクトル Vおよびその評価値 DFDが供給されると、ステツプ S925において、動きベクトル Vの中で、次の時刻のフレームの任意のブロックを通過する動きベクトルを求め、求めた動きベクトルを、そのブロックにシフトさせたシフト初期ベクトル（すなわち、動きベクトル Vの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトル Vと同じ大きさで同じ向きの動きベクトル )を設定する。そして、シフト初期ベクトル割付部 105は、そのシフト初期ベクトルを、シフト初期ベクトルメモリ 107に割り付ける。

[0431] ステップ S926において、初期ベクトル選択部 101は、フレーム tにおいて、すべてのブロックの処理が終了したか否かを判断し、すべてのブロックの処理が終了していないと判断した場合、ステップ S921に戻り、それ以降の処理を繰り返す。また、ステップ S926において、初期ベクトル選択部 101は、フレーム tにおいて、すべてのブロックの処理が終了したと判断した場合、すなわち、フレーム t上のすべてのブロックにおいて、動きベクトル Vが検出されたと判断し、動きベクトル検出処理を終了する。

[0432] 以上のように、反復勾配法の演算が用いる演算ブロックにおいて、動きベクトルの検出に有効である画素数 (有効画素数）が多、か否かに基づ、て、その画素に検出されて、る動きベクトルの信頼度が高、か低、か (確から U、か否力のフラグを、判定結果フラグメモリ 911に記憶するようにしたので、後段の検出補償部 912は、判定結果フラグメモリ 911を参照することにより、その画素の動きベクトルの信頼度の高さを判定し、信頼度が低い (確からしくない）動きベクトルの画素に対して、ベクトル補償処理を実行することができる。

[0433] 次に、図 66のフローチャートを参照して、検出補償処理の詳細を説明する。なお、図 66の検出補償処理は、図 59Aの割付補償処理と基本的に同様の処理であり、その説明は繰り返しになるので適宜省略する。

[0434] 前段のベクトル検出部 52により、検出ベクトルメモリ 53上のフレームには動きべタトルが検出されている。また、ベクトル検出部 52により、信頼度が高い動きベクトルが検出されている画素の判定結果フラグメモリ 911の判定結果フラグには、 l(True)が書き込まれており、信頼度が低い動きベクトル (例えば、 0ベクトル）が検出されている画素の判定結果フラグメモリ 911の判定結果フラグには、 O(False)が書き込まれている。

[0435] 検出ベクトル判定部 921は、ステップ S941において、判定結果フラグメモリ 911のフレームの画素を、着目画素として選択し、ステップ S942に進む。このとき、検出べタトル判定部 921は、フレームの左上の画素力ラスタスキャン順に画素を選択する。

[0436] 検出ベクトル判定部 921は、ステップ S942において、判定結果フラグメモリ 911内の着目画素の判定結果フラグが、（XFalse)である力否かを判断し、判定結果フラグメモリ 911内の着目画素の判定結果フラグが、（XFalse)であると判断した場合、その着目画素の動きベクトルの信頼度が低いと判定し、ステップ S943に進み、補償処理部 811を制御し、ベクトル補償処理を実行させ、ステップ S944に進む。このベクトル補償処理の詳細は、図 67を参照して後述するが、このベクトル補償処理により、周辺画素に検出されている信頼度が高い動きベクトルの中から、評価値 DFDの最小の動きベクトルが補償候補ベクトルとしてメモリ 821に記憶される。

[0437] 補償処理部 811は、ステップ S944において、メモリ 821の補償候補ベクトルを、着目画素の動きベクトルとして、検出ベクトルメモリ 53に記憶し、ステップ S945に進み、判定結果フラグメモリ 911の着目画素の判定結果フラグを、 l(True)に書き換え、ステップ S 946に進む。

[0438] 一方、ステップ S942において、検出ベクトル判定部 921は、判定結果フラグメモリ 9 11内の着目画素の判定結果フラグが、 l(True)であると判断した場合、その着目画素にはすでに確からしい動きベクトルが検出されていると判定して、ステップ S943乃至 S945の処理をスキップし、ステップ S946に進む。

[0439] 検出ベクトル判定部 921は、ステップ S946において、判定結果フラグメモリ 911のフレームのすべての画素の処理を終了したか否かを判断し、すべての画素の処理を終了していないと判断した場合、ステップ S941に戻り、判定結果フラグメモリ 911のフレームの次の画素を、着目画素として選択し、それ以降の処理を実行する。ステツプ S946にお!/、て、判定結果フラグメモリ 911のフレームのすべての画素の処理を終了したと判断した場合、検出補償処理を終了する。

[0440] 次に、図 67のフローチャートを参照して、ベクトル補償処理の詳細を説明する。なお、図 67は、図 66のステップ S943のベクトル補償処理の例を示している。したがつて、図 67の例においては、図 60のベクトル補償処理と基本的に同様の処理を行うため、その説明は繰り返しになるので適宜省略する。

[0441] 補償処理部 811は、ステップ S951において、評価値演算部 812を制御し、着目画素にすでに検出されている動きベクトルを用いて評価値 DFDを算出させ、ステップ S 952〖こ進む。具体的には、評価値演算部 812は、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、着目画素に検出されている動きべクトルの評価値 DFDを演算し、演算した評価値 DFDを補償処理部 811に出力する。

[0442] ステップ S952において、補償処理部 811は、算出された評価値 DFDを最小評価値としてメモリ 821に記憶し、ステップ S953に進み、その動きベクトルを補償候補べタトルとして、メモリ 821に記憶し、ステップ S954に進む。補償処理部 811は、ステツプ S954において、検出ベクトル判定部 921により選択された着目画素の周辺 8画素のうち、 1つの周辺画素を選択し、ステップ S955〖こ進む。このとき、補償処理部 811 は、周辺 8画素のうち、左上の画素からラスタスキャン順に周辺画素を選択する。

[0443] 補償処理部 811は、ステップ S955において、判定結果フラグメモリ 911を参照し、選択した周辺画素に、信頼度が高い動きベクトルが存在する (検出されている)か否かを判断する。判定結果フラグメモリ 911の周辺画素の判定結果フラグが l(True)であれば、補償処理部 811は、ステップ S955において、選択した周辺画素に、信頼度が高い動きベクトルが存在すると判断し、ステップ S956に進み、検出ベクトルメモリ 5 3力、周辺画素の動きベクトルを取得し、ステップ S957に進む。このとき、検出べクトルメモリ 53から評価値演算部 812にも周辺画素の動きベクトルが出力される。

[0444] 評価値演算部 812は、検出ベクトルメモリ 53から周辺画素の動きベクトルが入力されると、ステップ S957において、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、着目画素について、検出ベクトルメモリ 53からの動きベクトルの評価値 DFDを演算し、演算した評価値 DFDを補償処理部 811に出力し、ステップ S958に進む。

[0445] 補償処理部 811は、評価値演算部 812から評価値 DFDが入力されると、ステップ S958において、評価値 DFDが、メモリ 821に記憶されている着目画素の最小評価値よりも小さいか否かを判断し、評価値 DFDが、メモリ 821に記憶されている着目画素の最小評価値よりも小さいと判断した場合、ステップ S959に進み、メモリ 821の最小評価値を、最小評価値よりも小さいと判断された評価値 DFDに書き換え、ステップ S960に進み、メモリ 821の補償候補ベクトルを、その最小評価値の動きベクトルに書き換え、ステップ S 961に進む。

[0446] 一方、ステップ S955において、判定結果フラグメモリ 911の周辺画素の判定結果フラグが O(False)であると、補償処理部 811は、選択した周辺画素に信頼度が高い動きベクトルがな、（検出されて、な、）と判断し、ステップ S956乃至 S960の処理をスキップし、ステップ S961に進む。

[0447] 補償処理部 811は、ステップ S961において、着目画素の周辺 8画素すべてに対して処理が終了した力否かを判断し、着目画素の周辺 8画素すべてに対して処理が終了していないと判断した場合、ステップ S954に戻り、次の周辺画素を選択し、それ以降の処理を繰り返す。また、補償処理部 811は、ステップ S961において、着目画素の周辺 8画素すべてに対して処理が終了したと判断した場合、ベクトル補償処理を終了し、図 66のステップ S944に戻る。

[0448] 以上のように、勾配法の演算を用いて、動きベクトルを検出する際に、演算ブロック内に、有効画素が少ないと判断された信頼度が低い (すなわち、確力もしくない)動きベクトルが検出された画素に関しても、動き相関があることを利用して、その画素の周辺の動きベクトルの中から、評価値 DFDに基づぐ最も信頼度がある（すなわち、確力もしい）動きベクトルを得ることができる。これにより、動きベクトル検出の精度が向上する。

[0449] さらに、上述した検出補償処理により信頼度が高い動きベクトルが検出された画素の判定結果フラグを l(True)に書き換えるようにし、検出補償処理により検出された動きベクトルも、次の画素の補償候補ベクトルとして用いるようにしたので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択されるようになり、その結果、誤りの少ない安定した動きベクトルを得ることができる。

[0450] また、動きベクトルを求める着目画素について、すでに検出されている動きベクトルの評価値 DFDを予め算出し、最小評価値としてメモリに保持しておくことにより、すべての補償候補ベクトル評価値 DFDを一度に算出し、その中から最小の評価値 DFD を選択する場合よりも、時間とリソースを効率的に使用することができる。

[0451] なお、上述したベクトル検出部 52においては、勾配法を用いて検出された動きべクトルの検出補償処理を説明したが、この検出補償処理は、ブロックマッチング法を用 V、て、動きベクトルを検出する場合にも適用することができる。

[0452] 次に、ブロックマッチング法を用いて検出された動きベクトルに対する検出補償処理を説明する。

[0453] 図 68は、図 61のベクトル検出部 52の構成を示すブロック図である。図 68に構成を示すベクトル検出部 52は、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、ブロックマッチング法を用いて、動きベクトルを検出する。この動きベクトルを検出する処理は、複数の画素力なる所定のブロック毎に実行される。

[0454] プリフィルタ 102—1および 102— 2は、ローパスフィルタやガウシアンフィルタにより構成され、それぞれ、入力される画像のフレーム tおよびフレーム t+ 1のノイズ成分を除去し、ブロックマッチング演算部 951に出力する。

[0455] ブロックマッチング演算部 951は、プリフィルタ 102— 1および 102— 2を介して入力されるフレーム tおよびフレーム t+ 1を用いて、所定のブロック毎に、ブロックマツチング法により、動きベクトル Vを算出し、算出した動きベクトル Vを検出ベクトルメモリ 53 に記憶する。なお、ブロックマッチング法では、動きベクトルの評価値 DFDを計算しながら、評価値 DFDの最小な動きベクトルを決定している。したがって、ブロックマツチング演算部 951は、算出された動きベクトル Vを検出ベクトルメモリ 53に記憶するとともに、動きベクトル Vの評価値 DFDを、ベクトル評価部 952に出力する。

[0456] ベクトル評価部 952は、ブロックマッチング演算部 951より入力された動きベクトル V の評価値 DFDが所定のしき、値よりも小さ、か否かを判断し、動きベクトル Vの評価値 DFDが所定のしき、値より小さ、と判断した場合、動きベクトル Vの信頼度が高ヽ (すなわち、この動きベクトルが確力もしい動きベクトル）として、判定結果フラグメモリ 911に l(True)を書き込む。また、ベクトル評価部 952は、入力された動きベクトル V の評価値 DFDが所定のしき、値以上であると判断した場合、動きベクトル Vの信頼度が低い（すなわち、この動きベクトルが確力もしくない）として、判定結果フラグメモリ 911に O(False)を書き込む。

[0457] 次に、図 69のフローチャートを参照して、図 68のベクトル検出部 52の動きベクトル検出処理を実行する。なお、この動きベクトル検出処理は、図 64のステップ S902の動きベクトル検出処理の他の例である。

[0458] ベクトル検出部 52には、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1が入力される。ブロックマッチング演算部 951は、プリフィルタ 102— 1 および 102— 2を介してフレーム tおよびフレーム t+ 1が入力されると、ステップ S981 において、フレーム t上の処理の対象となるブロックを、着目ブロックとして選択し、ステツプ S982に進む。なお、フレーム上においては、左上のブロックからラスタスキャン順に処理が実行される。

[0459] ブロックマッチング演算部 951は、ステップ S982において、プリフィルタ 102— 1および 102— 2を介して入力されたフレーム tおよびフレーム t+ 1を用いて、ブロックマツチング法により動きベクトル検出処理を行い、動きベクトルを算出し、ステップ S983 に進み、算出された動きベクトルを、検出ベクトルメモリ 53に出力し、記憶する。このとき、ブロックマッチング演算部 951は、算出された動きベクトルの評価値 DFDを、ベタトル評価部 952に出力し、ステップ S984に進む。

[0460] ベクトル評価部 952は、ステップ S984において、ブロックマッチング演算部 951から入力された動きベクトル Vの評価値 DFDが所定のしき、値よりも小さ、か否かを比較判断し、ステップ S985に進み、比較判断の結果（に基づいた値)を、判定結果フラグメモリ 911【こ書さ込み、ステップ S986【こ進む。すなわち、ベクトノレ評価咅 952ίま、入力された動きベクトル Vの評価値 DFDが所定のしき、値より小さ、と判断した場合、動きベクトル Vの信頼度が高い (確からしい）として、判定結果フラグメモリ 911に 1 (True)を書き込む。また、ベクトル評価部 952は、入力された動きベクトル Vの評価値 DFDが所定のしき、値以上であると判断した場合、動きベクトル Vの信頼度が低ヽ（確からしくない）として、判定結果フラグメモリ 911に O(False)を書き込む。

[0461] ステップ S986において、ブロックマッチング演算部 951は、フレーム tにおいて、すベてのブロックの処理が終了したか否かを判断し、すべてのブロックの処理が終了していないと判断した場合、ステップ S981に戻り、それ以降の処理を繰り返す。また、ステップ S986において、ブロックマッチング演算部 951は、フレーム tにおいて、すべてのブロックの処理が終了したと判断した場合、すなわち、フレーム t上のすべてのブロックにおいて、動きベクトル Vが検出されたと判断し、動きベクトル検出処理を終了する。

[0462] なお、以上のブロックマッチング法での動きベクトル検出処理は、プリフィルタ 102 —1および 102— 2を介さずにも実行することができる。

[0463] 図 70は、図 61のベクトル検出部 52の構成の他の例を示すブロック図である。なお図 70のベクトル検出部 52は、プリフィルタ 102— 1および 102— 2が削除されている点を除いて、図 68のベクトル検出部 52と同様の構成をしており、その説明は、繰り返しになるので、適宜省略する。すなわち、ブロックマッチング法においては、プリフィルタがなくても動きベクトルを検出することができる。

[0464] したがって、図 70の例においては、ブロックマッチング演算部 951は、入力されるフレーム tおよびフレーム t+ 1を用いて、所定のブロック毎に、ブロックマッチング法により、動きベクトル Vを算出し、算出した動きベクトル Vを検出ベクトルメモリ 53に記憶するとともに、動きベクトル Vの評価値 DFDを、ベクトル評価部 952に出力する。

[0465] ベクトル評価部 952は、ブロックマッチング演算部 951より入力された動きベクトル V の評価値 DFDが所定のしき、値よりも小さ、か否かを判断し、動きベクトル Vの評価値 DFDが所定のしき、値より小さ、と判断した場合、動きベクトル Vの信頼度が高ヽとして、判定結果フラグメモリ 911に l(True)を書き込む。また、ベクトル評価部 952は、入力された動きベクトル Vの評価値 DFDが所定のしき、値以上であると判断した場合、動きベクトル Vの信頼度が低い (すなわち、この動きベクトルが確からしくない）として、判定結果フラグメモリ 911に O(False)を書き込む。

[0466] なお、図 70のベクトル検出部 52の動きベクトル検出処理は、図 69を参照して上述した図 68のベクトル検出部 52の動きベクトル検出処理と、基本的に同じ処理を行うため、その説明は、繰り返しになるので省略する。

[0467] 以上のように、ブロックマッチング法により検出された動きベクトルの評価値 DFDと、所定のしきい値との比較判断の結果に基づいて、その画素に検出されている動きベクトルの信頼度が高、か低!、かのフラグを、判定結果フラグメモリ 911に記憶するようにしたので、後段の検出補償部 912は、判定結果フラグメモリ 911を見ることにより、その画素の動きベクトルの評価値 DFDに基づぐ信頼度の高さを知ることができ、信頼度が低ヽ場合には、ベクトル補償処理を実行することができる。

[0468] なお、上記説明にお、ては、ブロックマッチング法を用いて説明した力勾配法により検出された動きベクトルの評価値 DFDを用いて、その画素に検出されている動きベクトルの信頼度が高、か低!、かのフラグを、判定結果フラグメモリ 911に記憶するようにしてもよいし、動きベクトル検出の方法は、上記 2つの方法に限らず、本発明のベクトル補償処理は、その他の動きベクトル検出方法に対しても適用することができる。 [0469] 以上のように、例えば、ベクトル割付部 54にお、て割り付けられな力つた画素、または、ベクトル検出部 52において検出されなかった画素など、何らかの処理において動きベクトルが求められな力つた画素に対して、動き相関があることを利用して、その画素の周辺の動きベクトルの中力も最も信頼度がある、確からしい動きベクトルを得ることができる。これにより、従来のベクトル補償処理を実行しない場合よりも、元フレームにお、て確からし、動きベクトルが検出され、内挿フレームに確からし、動きべタトルが割り付けられるので、動きベクトルの検出精度および動きベクトルの割付精度が向上する。その結果、後段の画像補間処理において、生成される画像の品質が悪くなることが抑制され、フレーム周波数変換の処理の精度を向上させることができる。

[0470] なお、本実施の形態においては、動きベクトルを選択する際の評価値として、差分絶対値和である評価値 DFDを用いて説明したが、評価値 DFDに限定されず、動きベクトルの信頼度を評価するものであれば、他のものを用いるようにしてもよ!、。

[0471] また、本実施の形態においては、各処理を行うブロックを、例えば、 8画素 X 8画素や 9画素 X 9画素などにより構成するようにして説明した力これらは、一例であり、各処理を行うブロックを構成する画素は、上記画素数に限定されな、。

[0472] さらに、本実施の形態においては、 24P信号力も 60P信号への信号変換を例に、説明を行ったが、本発明は、例えば、動画像のフレーム周波数変換として、インターレース信号や、他のフレームレート変換にも適用することができる。

[0473] 上述した一連の処理は、ハードウェアにより実行させることもできる力ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラム力専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

[0474] コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図 1に示されるように、磁気ディスク 31 (フレキシブルディスクを含む）、光ディスク 32 (CD- ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)を含む）、光磁気ディスク 33 (MD(Mini- Disc) ( 商標）を含む）、もしくは半導体メモリ 34などよりなるリムーバブル記録媒体 (パッケージメディア）、または、プログラムが一時的もしくは永続的に格納される ROM12などにより構成される。

なお、本明細書において、フローチャートに示されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

Claims

請求の範囲

[1] 第 1のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第 2のフレーム上の画素値を生成する画像処理装置にお!/、て、

前記第 1のフレームまたは前記第 2のフレーム上における 1または複数の画素でなる着目領域に、信頼度が高、動きベクトルが設定されて、る力否かを判断するべタトル判断手段と、

前記ベクトル判断手段により前記着目領域の少なくとも一部に、前記信頼度が高い動きベクトルが設定されて、な、と判断された場合、前記着目領域の近傍にある周辺画素に取得されている動きベクトルのうち、最も信頼度が高い動きベクトルを、前記着目領域の少なくとも一部の動きベクトルとして設定するべ外ル設定手段とを備えることを特徴とする画像処理装置。

[2] 前記第 1のフレーム上の動きベクトルを検出するベクトル検出手段と、

前記ベクトル検出手段により前記第 1のフレーム上における前記着目領域に検出された前記動きベクトルの信頼度の高さを表す評価値を演算する信頼度演算手段とをさらに備え、

前記ベクトル判断手段は、前記信頼度演算手段による演算結果に基づいて、前記第 1のフレーム上の前記着目領域に、信頼度が高い動きベクトルが設定されているか否かを判断し、

前記ベクトル設定手段は、前記第 1のフレームの前記着目領域の近傍にある周辺画素に検出されている動きベクトルのうち、最も信頼度が高い動きベクトルを、前記着目領域の動きベクトルとして設定する

ことを特徴とする請求項 1に記載の画像処理装置。

[3] 前記第 1のフレームにおいて、前記動きベクトルを検出するための演算の対象となる演算ブロック内の画素力前記動きベクトルの検出に有効である力否かを判断する有効画素判断手段と、

前記有効画素判断手段により有効であると判断された画素を用いた演算により、前記動きベクトルを検出する動きベクトル検出手段と

をさらに備え、前記ベクトル判断手段は、前記有効画素判断手段による判断結果に基づいて、前記第 1のフレーム上の前記着目領域に、信頼度が高い動きベクトルが設定されているか否かを判断し、

前記ベクトル設定手段は、前記第 1のフレームの前記着目領域の近傍にある周辺画素に検出されている動きベクトルのうち、最も信頼度が高い動きベクトルを、前記着目領域の少なくとも一部の動きベクトルとして設定する

ことを特徴とする請求項 1に記載の画像処理装置。

[4] 前記第 1のフレームにおいて検出された前記動きベクトルを、前記第 2のフレーム上の 1または複数の画素でなる着目領域の少なくとも一部に割り付けるベクトル割付手段をさらに備え、

前記ベクトル判断手段は、前記ベクトル割付手段による前記動きベクトルの割付結果に基づいて、前記第 2のフレーム上の前記着目領域に、信頼度の高い動きべタトルが割り付けられて、る力否かを判断し、

前記ベクトル設定手段は、前記第 2のフレームの前記着目領域の近傍にある周辺画素に割り付けられている動きベクトルのうち、最も信頼度が高い動きベクトルを、前記着目領域の少なくとも一部の動きベクトルとして設定する

ことを特徴とする請求項 1に記載の画像処理装置。

[5] 前記ベクトル設定手段は、前記第 2のフレームの前記着目領域の近傍にある周辺画素に割り付けられている動きベクトルのうち、最も信頼度が高い動きベクトルを、前記着目領域のうち、前記ベクトル判断手段により前記信頼度の高いベクトルが割り付けられて、な、と判断された領域の動きベクトルとして設定する

ことを特徴とする請求項 4に記載の画像処理装置。

[6] 前記ベクトル判断手段により前記着目領域に、前記信頼度が高い動きベクトルが取得されて!/ヽなヽと判断された場合、前記着目領域の近傍にある周辺画素に取得されている動きベクトルを、前記着目領域の動きベクトルの候補ベクトルとして設定する候補ベクトル設定手段をさらに備え、

前記候補ベクトル設定手段は、前記周辺画素において、前記着目領域よりも時間的に先に前記ベクトル設定手段により設定された動きベクトルも、前記着目領域の少なくとも一部の動きベクトルの候補ベクトルとして設定する

ことを特徴とする請求項 1に記載の画像処理装置。

[7] 前記候補ベクトル設定手段は、前記着目領域の近傍にある周辺画素に取得されている動きベクトルを、前記着目領域のうち、前記ベクトル判断手段により前記信頼度の高、ベクトルが割り付けられて、な、と判断された領域の前記候補ベクトルとして設定する

ことを特徴とする請求項 6に記載の画像処理装置。

[8] 第 1のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第 2のフレーム上の画素値を生成する画像処理装置の画像処理方法にぉ、て、前記第 1のフレームまたは前記第 2のフレーム上における 1または複数の画素でなる着目領域に、信頼度が高、動きベクトルが設定されて、る力否かを判断するべタトル判断ステップと、

前記ベクトル判断ステップの処理により前記着目領域の少なくとも一部に、前記信頼度が高、動きベクトルが設定されて、な、と判断された場合、前記着目領域の近傍にある周辺画素に取得されている動きベクトルのうち、最も信頼度が高い動きべクトルを、前記着目領域の少なくとも一部の動きベクトルとして設定するベクトル設定ステツプと

を含むことを特徴とする画像処理方法。

[9] 第 1のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第 2のフレーム上の画素値を生成する処理をコンピュータに行わせるプログラムが記録される記録媒体であって、

前記第 1のフレームまたは前記第 2のフレーム上における 1または複数の画素でなる着目領域に、信頼度が高、動きベクトルが設定されて、る力否かを判断するべタトル判断ステップと、

を含むことを特徴とするプログラムが記録される記録媒体。

第 1のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第 2のフレーム上の画素値を生成する処理をコンピュータに行わせるプログラムであって、

を含むことを特徴とするプログラム。