WO2007029640A1

WO2007029640A1 - 画像処理装置および方法、プログラム、並びに記録媒体

Info

Publication number: WO2007029640A1
Application number: PCT/JP2006/317448
Authority: WO
Inventors: Yukihiro Nakamura; Yasuaki Takahashi; Kunio Kawaguchi; Norifumi Yoshiwara; Akihiko Kaino; Yuta Choki; Takashi Horishi; Takafumi Morifuji
Original assignee: Sony Corporation
Priority date: 2005-09-09
Filing date: 2006-09-04
Publication date: 2007-03-15
Also published as: JP2007074592A; CN101305616B; KR20080053291A; US20090167959A1; CN101305616A

Abstract

本発明は、フレーム間の平均輝度レベルが大きく変化する場合にも、動きベクトルの信頼度の評価を行うことができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。フレームｔ＋１上には、フレームｔ上の画素ｐ０が対応する画素ｐ１から、正しい動きベクトルｖ１のベクトル量ずらした位置のブロックＢ１と、画素ｐ０が対応する画素ｐ１から誤った動きベクトルｖ２のベクトル量ずらした位置のブロックＢ２が示されている。ここで、ブロックＢ１にだけ光源の移動などがあり、ブロックＢ１の輝度レベルが全体的に下がったとしても、フレーム毎に演算ブロック内の輝度値平均をオフセットとして差し引いた輝度値の自乗和を評価値として用いることにより、ブロックＢ１の評価値の方が、ブロックＢ２の評価値よりも信頼度が高いと判定される。本発明は、２４Ｐ信号から６０Ｐ信号へのフレーム周波数変換処理を行う信号処理装置に適用できる。

Description

明細書

画像処理装置および方法、プログラム、並びに記録媒体

技術分野

[0001] 本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、評価に用いる 2フレーム間の輝度値の平均値を差し引いた評価値を用いることで、フレーム間の平均輝度レベルが大きく変化する場合にも、動きベクトルの信頼度の評価を行うことができるようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。

背景技術

[0002] 動画像のフレーム周波数変換処理や動画像圧縮処理を行う画像処理装置にお!/ヽては、動画像上で動き検出処理を行い、検出された動きベクトルを用いて処理を行うことが多い (特許文献 1参照)。この動き検出処理において、一般的に用いられる方法として、ブロックマッチングや反復勾配法などがある。

[0003] これらの動き検出方法にお!、ては、その検出処理過程にお!/、て、 1つある、は複数個のベクトルを選択するために、予め定義された動きベクトルの精度に対する評価値を用いて、複数のベクトルの評価値を比較することにより、ベクトルが評価される。

[0004] 例えば、ブロックマッチングにおいては、探索範囲の中から最適な対応点を決定する際に、各対応点 (ブロック)候補に対して、着目点 (ブロック)との間の評価値を演算し、評価値の比較により最適な対応点の選択を行う。

[0005] また、反復勾配法にお!、ては、初期オフセットとなるベクトルを着目点（ブロック）の周辺画素（ブロック）のベクトル群の中から選択する処理や、勾配法の演算を複数回反復して得られる反復段階毎の処理結果の中から最終的な検出ベクトルを選択する処理において、各ベクトルに対する評価値を演算し、評価値の比較'選択を行う。すなわち、この評価値の信頼性は、ベクトルの信頼性に直結するものである。

[0006] 特許文献 1 :特開平 9 172621号公報

発明の開示

発明が解決しょうとする課題 [0007] し力しながら、光源の移動や影の通過などにより、評価値を求めるフレーム間で平均輝度レベルが大きく変化する場合、対象ベクトルが同一オブジェクトを正しく結ぶものであっても、評価値が正しい値にならないことがあった。例えば、小さいほどべタトルの精度が高いと判定される評価値を用いた場合に、対象ベクトルが同一オブジェタトを正しく結ぶものであっても、その評価値力大きくなつてしまう場合があった。

[0008] したがって、この評価値によるベクトル評価の信頼度は低くなつてしま、、この影響として、例えば、ベクトルの比較や選択処理で誤ったベクトルが選択されてしまう恐れかあつた。

[0009] 本発明は、このような状況に鑑みてなされたものであり、フレーム間の平均輝度レべルが大きく変化する場合にも、動きベクトルの信頼度の評価を行うことができるようにするものである。

課題を解決するための手段

[0010] 本発明の一側面の画像処理装置は、動きベクトルを検出し、検出された動きべタトルに基づいて、画素値を生成する画像処理装置において、フレーム上の着目ブロックの動きベクトルを検出する過程にぉ、て用いられる動きベクトルの精度の信頼度を表す評価値を、対象となる動きベクトルの始点と終点をそれぞれ含む 2フレームのブロックの輝度値力各ブロック内の輝度値の平均をそれぞれ差し引いた値を用いて演算する評価値演算手段と、前記評価値演算手段により演算された評価値を用いて、前記動きベクトルの精度の信頼度を評価するベクトル評価手段とを備える。

[0011] 前記評価値演算手段は、前記 2フレームのブロックのブロック間の輝度値差分の二乗和を演算する第 1の演算手段と、前記第 1の演算手段による演算と並列して、前記ブロック間の輝度値差分和の二乗を演算する第 2の演算手段とを備えることができる

[0012] 勾配法により着目ブロックの動きベクトルを求める勾配法演算手段をさらに備え、前記評価値演算手段は、前記勾配法演算手段により求められる反復段階毎の動きべタトルの評価値を演算し、前記ベクトル評価手段は、前記評価値演算手段により演算された前記反復段階毎の動きベクトルの評価値のうち、最も小さい評価値の動きべクトルを精度の信頼度が高いと評価し、前記着目ブロックの動きベクトルとして後段に出力することができる。

[0013] 前記フレーム上の着目ブロックの動きベクトルを検出するための勾配法の初期値として用いられる初期ベクトルを選択する初期ベクトル選択手段をさらに備え、前記評価値演算手段は、前記フレームの過去フレームにおいて検出された前記動きべタトルの終点である終点ブロックと同じ位置にある前記フレーム上の着目ブロックを始点とした、前記動きベクトルと同じ大きさ、かつ、同じ向きの動きベクトルである前記着目ブロックのシフト初期ベクトル、および、前記フレームまたは前記過去フレームにおいて検出された前記着目ブロックの所定の周辺ブロックの動きベクトルの評価値を演算し、前記ベクトル評価手段は、前記評価値演算手段により演算された前記着目ブロックのシフト初期ベクトル、および前記所定の周辺ブロックの動きベクトルの評価値のうち、最も小さい評価値の動きベクトルを精度の信頼度が高いと評価し、前記初期べクトル選択手段は、前記ベクトル評価手段により精度の信頼度が高いと評価された動きベクトルを、前記着目ブロックの初期ベクトルとして選択することができる。

[0014] 前記フレームの過去フレームにおいて検出された前記動きベクトルの終点である終点ブロックと同じ位置にある前記フレーム上のブロックを始点とした、前記動きべタトルと同じ大きさ、かつ、同じ向きの動きベクトルを、前記ブロックのシフト初期ベクトルとして設定するシフト初期ベクトル設定手段をさらに備え、前記ベクトル評価手段は、前記過去フレームにおいて検出された前記動きベクトルの前記終点ブロックと同じ位置にある前記フレーム上の前記ブロックにおいて検出された前記動きベクトルの評価値のうち、最も小さい評価値の動きベクトルを精度の信頼度が高いと評価し、前記シフト初期ベクトル設定手段は、前記ベクトル評価手段により精度の信頼度が高いと評価された前記動きベクトルと同じ大きさ、かつ、同じ向きの動きベクトルを、前記ブロックの前記シフト初期ベクトルとして選択することができる。

[0015] 本発明の一側面の画像処理方法は、動きベクトルを検出し、検出された動きべタトルに基づいて、画素値を生成する画像処理装置の画像処理方法において、フレーム上の着目ブロックの動きベクトルを検出する過程において用いられる動きベクトルの精度の信頼度を表す評価値を、対象となる動きベクトルの始点と終点をそれぞれ含む 2フレームのブロックの輝度値力各ブロック内の輝度値の平均をそれぞれ差し引いた値を用いて演算する評価値演算ステップと、前記評価値演算ステップの処理により演算された評価値を用いて、前記動きベクトルの精度の信頼度を評価するべクトル評価ステップとを含む。

[0016] 本発明の一側面のプログラムは、動きベクトルを検出し、検出された動きベクトルに基づいて、画素値を生成する処理をコンピュータに行わせるプログラムであって、フレーム上の着目ブロックの動きベクトルを検出する過程にぉ、て用いられる動きべタトルの精度の信頼度を表す評価値を、対象となる動きベクトルの始点と終点をそれぞれ含む 2フレームのブロックの輝度値から各ブロック内の輝度値の平均をそれぞれ差し引いた値を用いて演算する評価値演算ステップと、前記評価値演算ステップの処理により演算された評価値を用いて、前記動きベクトルの精度の信頼度を評価するベクトル評価ステップとを含む。

[0017] 本発明の一側面の記録媒体に記録されているプログラムは、動きベクトルを検出し、検出された動きベクトルに基づいて、画素値を生成する処理をコンピュータに行わせるプログラムであって、フレーム上の着目ブロックの動きベクトルを検出する過程にお!ヽて用いられる動きベクトルの精度の信頼度を表す評価値を、対象となる動きべクトルの始点と終点をそれぞれ含む 2フレームのブロックの輝度値から各ブロック内の輝度値の平均をそれぞれ差し引いた値を用いて演算する評価値演算ステップと、前記評価値演算ステップの処理により演算された評価値を用いて、前記動きベクトルの精度の信頼度を評価するベクトル評価ステップとを含む。

[0018] 本発明の一側面においては、フレーム上の着目ブロックの動きベクトルを検出する過程にお!、て用いられる動きベクトルの精度の信頼度を表す評価値が、対象となる動きベクトルの始点と終点をそれぞれ含む 2フレームのブロックの輝度値から各ブロック内の輝度値の平均をそれぞれ差し引いた値を用いて演算され、演算された評価値を用いて、前記動きベクトルの精度の信頼度が評価される。

発明の効果

[0019] 本発明の一側面によれば、特に、フレーム間の平均輝度レベルが大きく変化する場合にお、て、動きベクトルの検出精度を向上させることができる。

図面の簡単な説明圆 1]本発明の信号処理装置の構成例を示すブロック図である。

[図 2]信号処理装置の構成を示すブロック図である。

[図 3]本発明の処理の原理を説明する図である。

[図 4]本発明の処理を具体的に説明する図である。

圆 5]信号処理装置において用いられる動きベクトルの評価値を説明する図である。

[図 6]評価値 DFDを演算する評価値演算部の構成例を示すブロック図である。圆 7]図 6の評価値演算部の評価値演算処理を説明するフローチャートである。

[図 8]平均輝度レベル変化時の評価値 DFDについて説明する図である。

[図 9]平均輝度レベル変化時の評価値 DFDについて説明する図である。

圆 10]平均輝度レベル変化時の差分分散について説明する図である。

[図 11]評価値 mDFDを演算する評価値演算部の構成例を示すブロック図である。圆 12]図 11の評価値演算部の評価値演算処理を説明するフローチャートである。圆 13]図 11の評価値演算部の評価値演算処理を説明するフローチャートである。

[図 14]評価値 dfvを演算する評価値演算部の構成例を示すブロック図である。

圆 15]図 14の評価値演算部の評価値演算処理を説明するフローチャートである。圆 16]信号処理装置のフレーム周波数変換処理を説明するフローチャートである。

[図 17]図 2のベクトル検出部の構成を示すブロック図である。

[図 18]ベクトル検出部で用いられる勾配法を説明する図である。

圆 19]初期ベクトルを用いた反復勾配法を説明する図である。

[図 20]図 16のステップ S82の動きベクトル検出処理を説明するフローチャートである

[図 21]図 17のシフト初期ベクトル割付部の構成を示すブロック図である。

[図 22]図 20のステップ S104のシフト初期ベクトル割付処理を説明するフローチヤ一トである。

[図 23]図 17の初期ベクトル選択部の構成を示すブロック図である。

[図 24]図 20のステップ S102の初期ベクトル選択処理を説明するフローチャートである。

[図 25]図 17の反復勾配法演算部およびベクトル評価部の構成を示すブロック図である。

[図 26]図 25の有効画素判定部の構成を示すブロック図である。

[図 27]図 25の勾配法演算部の構成を示すブロック図である。

[図 28]動きベクトルの検出対象ブロックと演算ブロックを説明する図である。

[図 29]有効画素判定方法を説明する図である。

圆 30]演算ブロックにおける有効画素の構成を説明する図である。

圆 31]片側勾配領域を説明する図である。

[図 32]図 20のステップ S103の反復勾配法演算処理を説明するフローチャートである。

[図 33]図 32のステップ S303の有効画素判定処理を説明するフローチャートである。

[図 34]図 33のステップ S323の有効画素演算処理を説明するフローチャートである。

[図 35]図 32のステップ S305の勾配法実行判定処理を説明するフローチャートである。

[図 36]図 32のステップ S306の勾配法演算処理を説明するフローチャートである。

[図 37]図 36のステップ S403の統合型勾配法演算処理を説明するフローチャートである。

[図 38]図 36のステップ S406の独立型勾配法演算処理を説明するフローチャートである。

[図 39]図 32のステップ S307のベクトル評価処理を説明するフローチャートである。

[図 40]図 26の画素判定部、カウンタ、演算実行判定部の他の構成を示すブロック図である。

[図 41]図 27の演算判定部の他の構成を示すブロック図である。

[図 42]図 32のステップ S303の有効画素判定処理の他の例を説明するフローチヤ一トである。

[図 43]図 32のステップ S305の勾配法実行判定処理の他の例を説明するフローチヤートである。

[図 44]図 36のステップ S406の独立型勾配法演算処理の他の例を説明するフローチヤートである。 [図 45]図 2のベクトル検出部の他の構成を示すブロック図である。

[図 46]図 45の反復勾配法演算部およびベクトル評価部の構成を示すブロック図である。

[図 47]図 46の有効画素判定部の構成を示すブロック図である。

[図 48]図 17のベクトル検出部により検出された動きベクトルを用いて生成される内挿フレームを説明する図である。

[図 49]図 17のベクトル検出部により検出された動きベクトルを用いて生成される内挿フレームを説明する図である。

[図 50]図 17のベクトル検出部により検出された動きベクトルを用いて生成される内挿フレームを説明する図である。

[図 51]図 17のベクトル検出部による初期ベクトルの選択方法を説明する図である。

[図 52]図 17のベクトル検出部による初期ベクトルの選択方法を説明する図である。

[図 53]図 17のベクトル検出部による初期ベクトルの選択方法を説明する図である。

[図 54]図 17のベクトル検出部による初期ベクトルの選択方法を説明する図である。

[図 55]図 17のベクトル検出部による初期ベクトルの選択方法を説明する図である。

[図 56]図 45のベクトル検出部により検出された動きベクトルを用いて生成される内挿フレームを説明する図である。

[図 57]図 45のベクトル検出部により検出された動きベクトルを用いて生成される内挿フレームを説明する図である。

[図 58]図 45のベクトル検出部による初期ベクトルの選択方法を説明する図である。

[図 59]図 45のベクトル検出部による初期ベクトルの選択方法を説明する図である。

[図 60]図 45のベクトル検出部により検出された動きベクトルを用いて生成される内挿フレームを説明する図である。

[図 61]図 45のベクトル検出部による初期ベクトルの選択方法を説明する図である。

[図 62]図 45のベクトル検出部により検出された動きベクトルを用いて生成される内挿フレームを説明する図である。

[図 63]図 20のステップ S103の反復勾配法演算処理の他の例を説明するフローチヤートである。 [図 64]図 20のステップ S103の反復勾配法演算処理のさらに他の例を説明するフロ一チャートである。

[図 65]図 20のステップ S103の反復勾配法演算処理のさらに他の例を説明するフロ一チャートである。

[図 66]図 64のステップ S614の勾配法演算および仮設定処理を説明するフローチヤートである。

圆 67]各フラグの値毎のベクトル評価の比較対象と反復判定結果を説明する図である。

[図 68]図 2のベクトル検出部のさらに他の構成を示すブロック図である。

[図 69]図 68の反復勾配法演算部およびベクトル評価部の構成を示す図である。

[図 70]図 63のステップ S565のベクトル記憶制御の他の例を説明するフローチャートである。

[図 71]図 2のベクトル割付部の構成を示すブロック図である。

圆 72]本発明の 4点補間処理の概念を説明する図である。

[図 73]図 16のステップ S83のベクトル割付処理を説明するフローチャートである。

[図 74]図 73のステップ S707の割付ベクトル評価処理を説明するフローチャートである。

[図 75]図 2の割付補償部の構成を示すブロック図である。

[図 76]図 16のステップ S84の割付補償処理を説明するフローチャートである。

[図 77]図 76のステップ S803のベクトル補償処理を説明するフローチャートである。

[図 78]図 2の画像補間部の構成を示すブロック図である。

[図 79]図 16のステップ S85の画像補間処理を説明するフローチャートである。

符号の説明

1 信号処理装置， 51 フレームメモリ， 52 ベクトル検出部， 53 検出ベクトルメモリ， 54 ベクトル割付部， 55 割付ベクトルメモリ， 56 割付フラグメモリ， 57 割付補償部， 58 画像補間部， 61, 61A, 61B 評価値演算部， 101 初期ベクトル選択部， 103 反復勾配法演算部， 104 ベクトル評価部， 105 シフト初期ベクトル割付部， 106 評価値メモリ， 107 シフト初期ベクトルメモリ， 404 有効画素判定部， 40 5 勾配法演算部， 412 評価判定部， 421 画素差分算出部， 422 画素判定部， 423 カウンタ， 424 勾配法継続判定部， 425 演算実行判定部， 461 画素差分算出部， 462 演算判定部， 463— 1 統合型勾配演算部， 463— 2 独立型勾配演算部， 464 ベクトル算出部， 521 初期ベクトル選択部， 522 反復勾配法演算部， 523 ベクトル評価部， 524 初期候補ベクトルメモリ， 531 有効画素判定部， 541 評価判定部， 551 勾配法継続判定部， 561 ベクトル評価部， 571 0ベクトルフラグ領域， 581 評価判定部

発明を実施するための最良の形態

[0022] 以下、図を参照して本発明の実施の形態について説明する。

[0023] 図 1は、本発明を適用した信号処理装置 1の構成例を表している。信号処理装置 1 は、例えば、パーソナルコンピュータなどで構成される。図 1において、 CPU (Central Processing Unit) 11は、 ROM (Read Only Memory) 12、または記憶部 18に記憶されているプログラムに従って各種の処理を実行する。 RAM (Random Access Memory ) 13には、 CPU11が実行するプログラムやデータなどが適宜記憶される。これらの C PU11、 ROM12、および RAM13は、バス 14により相互に接続されている。

[0024] CPU11にはまた、バス 14を介して入出力インタフェース 15が接続されている。

入出力インタフェース 15には、キーボード、マウス、マイクロフォンなどよりなる入力部 16、ディスプレイ、スピーカなどよりなる出力部 17が接続されている。 CPU11は、入力部 16から入力される指令に対応して各種の処理を実行する。そして、 CPU11は、処理の結果、得られた画像や音声等を出力部 17に出力する。

[0025] 入出力インタフェース 15に接続されている記憶部 18は、例えばノヽードディスクなどで構成され、 CPU11が実行するプログラムや各種のデータを記憶する。通信部 19 は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部 19を介してプログラムを取得し、記憶部 18に記憶してもよ、。

[0026] 入出力インタフェース 15に接続されているドライブ 20は、磁気ディスク 31、光デイスク 32、光磁気ディスク 33、或いは半導体メモリ 34などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプロダラムゃデータは、必要に応じて記憶部 18に転送され、記憶される。 [0027] なお、信号処理装置 1は、例えば、テレビジョン受像機、光ディスクプレーヤなど、または、それらの信号処理部とすることもできる。

[0028] 図 2は、信号処理装置 1を示すブロック図である。

[0029] なお、信号処理装置 1の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機會ブロック図と考えてもよい。

[0030] 図 2に構成を示す信号処理装置 1においては、例えば、フレーム周波数 24Hzのプログレツシブ画像信号 (以下、 24P信号と称する）の画像が入力され、入力された画像 (入力画像）力フレーム周波数 60Hzのプログレッシブ画像信号 (以下、 60P信号と称する）の画像に変換されて、出力される。すなわち、図 2は、画像処理装置である信号処理装置の構成を示す図である。

[0031] 信号処理装置 1に入力された 24P信号の入力画像は、フレームメモリ 51、ベクトル検出部 52、ベクトル割付部 54、割付補償部 57、および画像補間部 58に供給される。フレームメモリ 51は、入力画像をフレーム単位で記憶する。フレームメモリ 51は、時刻 t+ 1の入力画像の 1つ前の時刻 tのフレームを記憶する。フレームメモリ 51に記憶される時刻 tのフレームは、ベクトル検出部 52、ベクトル割付部 54、割付補償部 57、および画像補間部 58に供給される。なお、以下、フレームメモリ 51上の時刻 tのフレームをフレーム tと称し、時刻 t+ 1の入力画像のフレームを、フレーム t+ 1と称する。

[0032] ベクトル検出部 52は、フレームメモリ 51上のフレーム tの着目ブロックと、入力画像のフレーム t+ 1の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ 53に記憶する。この 2フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。ベクトル検出部 52の構成の詳細は、図 17を参照して後述する。検出ベクトルメモリ 53は、フレーム tにおいて、ベタトル検出部 52により検出された動きベクトルを記憶する。

[0033] ベクトル割付部 54は、 24P信号のフレーム t上において求められた動きベクトルを、割付ベクトルメモリ 55上の、補間する 60P信号のフレーム（以下、 60P信号のフレームは、 24P信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ 56の割付フラグを l(True )に書き換える。ベクトル割付部 54の構成の詳細は、図 71を参照して後述する。

[0034] 割付ベクトルメモリ 55は、ベクトル割付部 54により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。割付フラグメモリ 56は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、 True(l)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、 False(O)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

[0035] 割付補償部 57は、割付フラグメモリ 56の割付フラグを参照し、ベクトル割付部 54により動きベクトルが割り付けられな力つた着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ 55の内挿フレーム上に割り付ける。このとき、割付補償部 57は、動きベクトルを割り付けた着目画素の割付フラグを l(True)に書き換える。割付補償部 57の構成の詳細は、図 75を参照して後述する。

[0036] 画像補間部 58は、割付ベクトルメモリ 55の内挿フレームに割り付けられた動きべクトルと、フレーム tおよび次のフレーム t+ 1の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部 58は、生成された内挿フレームを出力し、その次に、必要に応じて、フレーム t+ 1を出力することにより、 60P信号の画像を、図示せぬ後段に出力する。画像補間部 58の構成の詳細は、図 78を参照して後述する

[0037] なお、以下においては、画素値を、適宜、輝度値とも称する。

[0038] 図 3は、本発明に係る信号処理装置 1における処理の原理を説明する図である。図 3の例においては、点線が、信号処理装置 1に入力される、時刻 t, t+ 1,および t+ 2における 24P信号のフレームを表しており、実線が、入力された 24P信号力も信号処理装置 1により、生成される時刻 t, t+O. 4, t+O. 8, t+ 1. 2, t+ 1. 6,および t + 2における 60P信号の内挿フレームを表して!/、る。

[0039] 一般に、 24P信号を、 60P信号に変換するためには、 5Z2倍のフレームが必要になる。すなわち、 2枚の 24P信号の画像から 5枚の 60P信号の画像が生成されなければならない。このとき、生成される 60P信号の内挿フレームは、そのフレーム間隔を等しくするために、 24P信号上での時間位ネ目カ SO. 0, 0. 4, 0. 8, 1. 2,および 1. 6となる位置に配置される。この中で、時間位相が 0. 0である時刻 tの 1フレームを除く 4 フレーム（t+O. 4, t+O. 8, t+ 1. 2,および t+ 1. 6のフレーム）は、 24P信号上には存在しない画像である。したがって、信号処理装置 1は、 24P信号の画像が入力されると、 24P信号の時刻 tおよび時刻 t+ 1の 2枚のフレームから、 4つの内挿フレームを生成する。したがって、信号処理装置 1からは、時刻 t, t+O. 4, t+0. 8, t+ 1. 2 ,および t+ 1. 6の 5枚のフレームからなる 60P信号の画像が出力される。

[0040] 以上のようにして、信号処理装置 1は、 24P信号の画像から 60P信号の画像に、フレーム周波数を変換する処理を実行する。

[0041] なお、原理的には、上述したように、 24P信号の時刻 tおよび時刻 t+ 1の 2枚のフレームから、時刻 t, t+O. 4, t+O. 8, t+ 1. 2,および t+ 1. 6の 5枚の 60P信号のフレームが新しく生成される力実際には、図 3の例の場合、 24P信号の時刻 tおよび時刻 t+ 1の 2枚のフレームに基づいて、 t, t+O. 4, t+O. 8の 60P信号のフレームが生成され、 24P信号の時刻 t+ 1および t+ 2の 2枚のフレームに基づいて、 t+ 1. 2 , t+ 1. 6,および t+ 2の 60P信号のフレームが生成される。

[0042] 図 4は、本発明の処理をより具体的に説明する図である。図 4の例においては、太線矢印は、各状態への遷移を表しており、矢印 Tは、状態 J1乃 ¾[5における時間の経過方向を表している。また、状態 J1乃 ¾[5は、信号処理装置 1を構成する各部への入出力時の、 24P信号の時刻 tのフレーム t、時刻 tの次の時刻 t+ 1のフレーム t+ 1、または、フレーム tおよびフレーム t+ 1の間に生成される 60P信号の内挿フレーム Fの状態を概念的に表している。すなわち、実際には、例えば、状態 J2に示されるような動きベクトルが検出されたフレームがベクトル割付部 54に入力されるわけではなく、フレームと動きベクトルは、別々にベクトル割付部 54に入力される。

[0043] また、図 4の例にぉヽては、ベクトル検出部 52、ベクトル割付部 54、および割付補償部 57は、動きベクトルの精度の信頼度を評価するための評価値を演算する評価値演算部 61をそれぞれ有してヽる。

[0044] 状態 J1は、ベクトル検出部 52に入力される、 24P信号のフレーム tおよびフレーム t

+ 1の状態を表している。状態 J1のフレーム t上の黒点は、フレーム t上の画素を表している。 [0045] ベクトル検出部 52は、状態 J1のフレーム t上の画素力次の時刻のフレーム t+ 1において、どの位置に移動するかを検出し、その動きを、状態 82のフレーム t上に示されるように、各画素に対応する動きベクトルとして出力する。この 2フレーム間の動きベクトルの検出方法には、ブロックマッチング法または勾配法などが用いられる。なお、このとき、画素に複数の動きベクトルが検出された場合、ベクトル検出部 52は、各動きベクトルについて、内蔵する評価値演算部 61に評価値を演算させ、演算された評価値に基づ、て動きベクトルを選択する。

[0046] 状態 J2は、ベクトル割付部 54に入力される、フレーム tおよびフレーム t+ 1の状態を表している。状態 J2において、フレーム tの各画素の矢印は、ベクトル検出部 52により検出された動きベクトルを表している。

[0047] ベクトル割付部 54は、状態 J2のフレーム tの各画素に対して検出された動きべタトルを、次のフレーム t+ 1まで延長させ、予め設定されている時間位相（例えば、図 3 の t+O. 4)にある内挿フレーム F上のどの位置を通過するかを求める。これは、フレーム tおよびフレーム t+ 1の間が一定動きであると仮定すると、動きベクトルが内揷フレーム Fを通過した点力そのフレームでの画素位置となるためである。したがって、ベクトル割付部 54は、この通過する動きベクトルを、状態 J3の内挿フレーム F上の近傍 4画素に割り付ける。

[0048] また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、あるいは、複数の動きベクトル力割付候補となりうる場合がある。後者のような場合には、ベクトル割付部 54は、ベクトル検出部 52と同様に、内蔵する評価値演算部 61に各動きベクトルにつ、ての評価値を演算させ、演算された評価値に基づ、て割り付ける動きベクトルを選択する。

[0049] 状態 J3は、割付補償部 57に入力される、フレーム tおよびフレーム t+ 1、並びに動きベクトルが割り付けられた内挿フレーム Fの状態を表している。状態 J3の内挿フレーム Fにおいては、ベクトル割付部 54により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられな力つた画素が示されて、る。

[0050] 割付補償部 57は、状態 J3の動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであるからである。これにより、動きベクトルが割り付けられな力つた画素にも、ある程度正確な動きベクトルが与えられ、状態 84の内挿フレーム F上のすべての画素に動きベクトルが割り付けられる。

[0051] なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部 57は、ベクトル割付部 54と同様に、内蔵する評価値演算部 61に各動きべタトルにつ、ての評価値を演算させ、演算された評価値に基づ!/、て割り付ける動きべタトルを選択する。

[0052] 状態 J4は、画像補間部 58に入力される、フレーム tおよびフレーム t+ 1、並びに、すべての画素に動きベクトルが割り付けられた内挿フレーム Fの状態を表している。これらのすベての画素に割り付けられた動きベクトルにより、画像補間部 58は、内挿フレーム F上の画素と、 2枚のフレーム tおよびフレーム t+ 1の画素の位置関係を決定することができる。

[0053] したがって、画像補間部 58は、内挿フレーム F上に割り付けられた動きベクトルと、フレーム tおよびフレーム t+ 1の画素値を用いて、状態 J5の内挿フレーム Fの黒点に示されるように、内挿フレーム F上の画素値を補間生成する。そして、画像補間部 58 は、生成された内挿フレームを出力し、その次に、必要に応じて、フレーム t+ 1を出力することにより、 60P信号の画像を、図示せぬ後段に出力する。

[0054] 次に、図 5を参照して、本発明に係る信号処理装置 1において用いられる動きべタトルの評価値を説明する。図 4を参照して上述したように、信号処理装置 1の各部（ベタトル検出部 52、ベクトル割付部 54、および割付補償部 57)において、後段の処理に最適な動きベクトルが選択される。

[0055] このとき、信号処理装置 1の各部においては、動きベクトルに対する評価値として、 2つのフレームの注目するベクトル量分ずらしたブロック間の相関値を表す差分絶対値和（DFD(Displaced Frame Difference))が各部の評価値演算部 61により演算されて、用いられる。

[0056] 図 5の例においては、時刻 tのフレーム t上の画素位置 pを中心とした m X nのブロック、および、時刻 t+ 1のフレーム t+ 1上の画素位置 pから注目する動きベクトル vのベクトル量分ずらした画素位置 p+vを中心とした mX nのブロックの 2つのブロックが示されている。これら 2つのブロック間において求められる差分絶対値和 DFDt (p)は、次の式（1)で表される。

[0057] [数 1]

m x n

DFD_t (p) =∑ | F_t+1 (p_x, _y+v) - F_t (p_x, _y) |

χ, y

•••(l)

[0058] ここで、 Ft (p)は、時刻 tにおける画素位置 pの輝度値を表しており、 mX nは、差分絶対値和を求めるための DFD演算範囲（ブロック）を表して、る。この差分絶対値和は、 2つのフレームにおける DFD演算範囲（ブロック）間の相関値を表しているため、一般的には、この差分絶対値和が小さいほどフレーム間のブロックの波形が一致しており、差分絶対値和が小さいほど、動きベクトル Vの信頼度が高いと判定される。

[0059] これにより、この差分絶対値和（以下、評価値 DFDと称する）は、複数の候補の中から、最も確からし、動きベクトルを選ぶ場合などに用いられる。

[0060] さらに、評価値 DFDについて詳しく説明する。

[0061] 図 6は、評価値 DFDを演算する評価値演算部 61の構成例を示すブロック図である図 6の例において、時刻 tの画像のフレーム tは、および、フレームメモリ 51からの時刻 t+ 1の画像のフレーム t+ 1は、輝度値取得部 72に入力されている。

[0062] 評価値演算部 61は、ブロック位置演算部 71、輝度値取得部 72、差分絶対値演算部 73、および積和演算部 74により構成されている。

[0063] 評価値演算部 61には、前段から、フレーム tのブロック（DFD演算範囲)位置と評価対象となる動きベクトルとが入力される。フレーム tのブロック位置は、ブロック位置演算部 71および輝度値取得部 72に入力され、動きベクトルは、ブロック位置演算部 71に入力される。

[0064] ブロック位置演算部 71は、入力されたフレーム tのブロック位置と動きベクトルを用いて、フレーム t+ 1のブロック位置を算出し、輝度値取得部 72に出力する。輝度値取得部 72は、図示せぬフレーム tのフレームメモリから、入力されたフレーム tのブロック位置に対応する輝度値を取得し、フレーム t+ 1のフレームメモリ 51から、入力されたフレーム t+ 1のブロック位置に対応する輝度値を取得し、取得した各輝度値を、差分絶対値演算部 73に出力する。

[0065] 差分絶対値演算部 73は、輝度取得部 72からのフレーム tおよび t+ 1の各ブロック内の輝度値を用いて、輝度差分絶対値を演算し、演算した輝度差分絶対値を、積和演算部 74に出力する。積和演算部 74は、差分絶対値演算部 73により演算された輝度差分絶対値を積算することで、評価値 DFDを取得し、取得した評価値 DFDを後段に出力する。

[0066] 次に、図 7のフローチャートを参照して、図 6の評価値演算部 61の評価値演算処理を説明する。

[0067] 評価値演算部 61には、前段から、フレーム tのブロック（DFD演算範囲)位置と評価対象となる動きベクトルとが入力される。ブロック位置演算部 71は、フレーム tのブロック位置と評価対象となる動きベクトルが入力されると、ステップ S11において、入力されたフレーム tのブロック位置と動きベクトルを用いて、フレーム t+ 1のブロック位置を算出し、輝度値取得部 72に出力する。

[0068] 輝度値取得部 72は、ステップ S12において、入力されたフレーム tおよびフレーム t

+ 1のブロック位置に基づいて、各フレームのブロック（DFD演算範囲）の画素の輝度値を取得し、取得した各輝度値を差分絶対値演算部 73に出力する。なお、輝度値取得部 72は、ブロックの左上の画素の輝度値から取得する。

[0069] 差分絶対値演算部 73は、ステップ S13において、輝度値取得部 72からのフレーム tおよびフレーム t+ 1の画素の輝度値を用いて、輝度差分絶対値を演算し、演算した輝度差分絶対値を積和演算部 74に出力する。

[0070] 積和演算部 74は、ステップ S14において、差分絶対値演算部 73からの輝度差分絶対値を積算し、ステップ S15において、ブロック内の全画素に対して処理が終了したか否かを判定する。ステップ S15において、ブロック内の全画素に対して処理が終了していないと判定された場合、処理は、ステップ S12に戻り、それ以降の処理が繰り返される。すなわち、ブロックの次の画素に対しての処理が行われる。 [0071] 一方、ステップ S15において、ブロック内の全画素に対して処理が終了したと判定された場合、積和演算部 74は、ステップ S16において、輝度差分絶対値を積算した結果である DFDを取得し、評価値 DFDとして後段に出力する。これにより、評価値演算処理は終了される。

[0072] 以上のように、評価値 DFDは、ブロック（DFD演算範囲）内の輝度値の差分絶対値を積算することで求められるため、一般的には、評価値 DFDが小さいほど、フレーム間のブロックの波形が一致し、動きベクトル Vの信頼度が高いと判定される。

[0073] し力しながら、光源の移動や影の通過などで、評価値を求めるフレーム間で平均輝度値レベルが大きく変化する場合、評価値 DFDでは、動きベクトルを正しく評価することが難しい。

[0074] 次に、図 8および図 9を参照して、平均輝度レベル変化時の評価値 DFDについて説明する。図 8の例においては、矢印 Tは、図中、左手前の時刻 tのフレーム tから、右奥の時刻 t+ 1のフレーム t+ 1への時間の経過を示して!/、る。

[0075] フレーム t上には、画素 ρθを中心とした mX nのブロック BOが示されている。

[0076] フレーム t+ 1上には、フレーム tおよび t+ 1間における画素 ρθの正しい動きべタトルである動きベクトル vlが示されており、フレーム t上の画素 ρθが対応する画素 piから動きベクトル vlのベクトル量ずらした（シフトさせた)位置の画素 pl +vlを中心とした m X nのブロック B1が示されている。フレーム t+ 1上には、また、フレーム tおよび t + 1間における画素 ρθの誤った動きベクトルである動きベクトル v2が示されており、フレーム t上の画素 ρθが対応する画素 piから動きベクトル v2のベクトル量ずらした位置の画素 pi + v2を中心とした m X nのブロック B2が示されて、る。

[0077] 図 9の左側のグラフには、一般的な場合 (すなわち、フレーム間において、光源の移動や影の通過などが無い場合）における図 8のブロック B0、ブロック Bl、およびブロック B2のそれぞれの（画素）位置における輝度値の波形 Y0、 Yl、および Υ2が示されており、右側のグラフには、フレーム t+ 1上のブロック B1に光源の移動や影の通過などがあり、ブロック B1がそれらの影響を受けた場合における図 8のブロック B0、ブロック Bl、およびブロック B2のそれぞれの（画素）位置における輝度値の波形 Y0、 Yl l、および Υ2が示されている。 [0078] すなわち、ブロック BOおよび B2は、光源の移動や影の通過の影響を受けていないため、左右のグラフにおける輝度値の波形 YOおよび Y2は変わらず、同じである。

[0079] 図 9の左側のグラフに示されるように、一般的な場合には、ブロック B1の輝度値の波形 Y1は、波形 Y0と波形 Y1の間の斜線の部分に示されるように、ブロック B2の輝度値の波形 Y2よりも、ブロック BOの輝度値の波形 YOに類似しているため、ブロック B 0とブロック B1間の評価値 DFD (Yl)は、ブロック BOとブロック B2間の評価値 DFD ( Y2)よりも小さくなる。したがって、正しい動きベクトルである動きベクトル vlの信頼度は、誤った動きベクトル v2の信頼度より高いと判定される。

[0080] しかしながら、図 9の右側のグラフに示されるように、フレーム t+ 1上のブロック B1 に光源の移動や影の通過などがあり、ブロック B1のみがそれらの影響を受けた場合、波形 Y1であったブロック B1の輝度値は、波形 Y11に示されるように、輝度レベルが全体的に（平均的に）大きく変化してしまう。すなわち、ブロック B1の輝度値の波形 Y11は、左側のグラフの波形 Y1から平均輝度値レベルの変化量だけ離れてしまい、結果的に、波形 YOと波形 Y11の間の斜線の部分に示されるように、ブロック B2の輝度値の波形 Y2よりも、ブロック BOの輝度値の波形 YOから離れてしまう。

[0081] したがって、平均輝度値レベルの変化量がオフセットとして重畳されてしまい、この場合のブロック BOとブロック B1間の評価値 DFD (Yl l)は、ブロック BOとブロック B2 間の評価値 DFD (Y2)よりも大きくなつてしま、、正し、動きベクトルである動きべタトル vlの信頼度は、誤った動きベクトル v2の信頼度より低いと判定されてしまう。

[0082] 以上のように、光源の移動や影の通過などにより、動き Vを持つ物体の平均輝度レベルが大きく変化する場合には、平均輝度レベルの変化量がオフセットとして評価値 DFDに重畳されるため、評価値 DFDが大きくなつてしまい、真の動き量 Vに対する信頼度が低くなつてしまう。

[0083] そこで、評価値 DFDの代わりに、信号処理装置 1のベクトル検出部 52においては、動きベクトルに対する評価値の他の例として、評価値 DFDと同様に評価対象となるベクトルの始点と終点を含むブロック間で演算される差分分散（dfv: difference varian ce)が用いられて、後段の処理に最適な動きベクトルが選択される。評価対象となる動きベクトルを Vとすると、差分分散は、次の式（2)で表される。 dfvt (p) =∑ { F_t+i ( χ, y+v)一 Ft+i (Ρχ, y+v) J - F_t Cp_x, _y)一 F_t (p_x

[0085] ここで、

[数 3]

Ft (P)

は、 m X n画素の差分分散の演算範囲における輝度値の平均を表して、る。

[0086] なお、差分分散は、実際には、式（2)からもわかるように、時刻 t+ 1における画素位置 p +vの輝度値および時刻 t+ 1における画素位置 p +vの演算範囲における輝度値の平均の差分から、時刻 tにおける画素位置 pの輝度値および時刻 tにおける画素位置 Pの演算範囲における輝度値の平均の差分を引いたものの自乗和である力式 (2)を展開していくことにより、演算ブロック内の輝度値差分の分散の式 (後述する式 (5) )になることから、差分分散と称される。

[0087] 差分分散も、評価値 DFDと同様に、フレーム間のブロックの波形の一致度をべタトルの信頼度とする評価値であり、値が小さ、ほどベクトル Vの信頼度が高、と判定することがでさる。

[0088] 図 10は、平均輝度レベル変化時の差分分散について説明する図である。なお、図 10は、図 9を参照して説明した評価値 DFDの例に対応する差分分散 dfvの例が示されており、図 10の例においては、図 9の例の場合と同様に、図 8のブロック BO、ブロック Bl、およびブロック B2を用いて説明する。

[0089] 図 10の左側のグラフには、図 9の場合と同様に、一般的な場合 (すなわち、フレーム間において、光源の移動や影の通過などが無い場合）における図 8のブロック BO、ブロック Bl、およびブロック B2のそれぞれの（画素）位置における輝度値の波形 YO、 Yl、および Υ2が示されており、右側のグラフには、フレーム t+ 1上のブロック B1に光源の移動や影の通過などがあり、ブロック B1がそれらの影響を受けた場合における図 8のブロック BO、ブロック Bl、およびブロック B2のそれぞれの（画素）位置における輝度値の波形 YO、 Yl l、および Υ2が示されている。 [0090] 図 10の左側のグラフに示されるように、一般的な場合には、ブロック B1の輝度値の波形 Y1は、波形 Y0と波形 Y1の間の斜線の部分に示されるように、ブロック B2の輝度値の波形 Y2よりも、ブロック BOの輝度値の波形 YOに類似しているため、図 9の評価値 DFDの場合と同様に、ブロック BOとブロック B1間の差分分散である dfv(Yl)は、ブロック BOとブロック B2間の差分分散である dfv(Y2)よりも小さくなる。したがって、正し、動きベクトルである動きベクトル vlの信頼度は、誤った動きベクトル v2の信頼度より高いと判定される。

[0091] 一方、図 10の右側のグラフに示されるように、フレーム t+ 1上のブロック B1に光源の移動や影の通過などがあり、ブロック B1のみがそれらの影響を受けた場合、波形 Y 1であったブロック B1の輝度値は、波形 Y11に示されるように、輝度レベルが全体的に（平均的に）大きく変化してしまう。すなわち、ブロック B1の輝度値の波形 Y11は、波形 Y1から平均輝度値レベルの変化量だけ離れてしまい、結果的に、ブロック B2の輝度値の波形 Y2よりも、ブロック BOの輝度値の波形 YO力も離れてしまう。

[0092] ここで、図 10の右のグラフには、さら〖こ、点線で示される波形 Z1と、波形 Z2が示されている。波形 Z1は、波形 Y11から、波形 Y11および波形 YOの差分の平均を差し引いた輝度値の波形を表しており、波形 Z2は、波形 Y2から、波形 Y2および波形 YO の差分の平均を差し引、た輝度値の波形を表して、る。

[0093] 式（2)で示されるように、差分分散は、各フレーム毎に演算ブロック内の輝度値平均をオフセットとして差し引いた輝度値の自乗和、すなわち、各フレーム毎に演算ブロック内の輝度値平均をオフセットとして差し引、た統計量である。

[0094] したがって、図 10の右のグラフにおける斜線部分である波形 YOと波形 Z1の差分は、波形 YOから、波形 Y11と、波形 Y11および波形 YOの差分の平均との差分を引いたもの、すなわち、ブロック BOとブロック B1間の差分分散である dfv(Yl l)を求める式（2)の自乗和の括弧内の部分を表しており、波形 YOから、波形 Y2と、波形 Y2および波形 YOの差分の平均との差分を引いたもの、すなわち、ブロック BOとブロック B 2間の差分分散である dfv(Y2)を求める式（2)の自乗和の括弧内の部分を表す、波形 YOと波形 Z2の差分よりも値が小さ、。

[0095] このように、光源の移動や影の通過などにより、動き Vを持つ物体の平均輝度レべルが大きく変化する場合であっても、ブロック BOとブロック B1間の差分分散である df v (Yl l)は、ブロック BOとブロック B2間の差分分散である dfv (Y2)よりも小さい。したがって、正しい動きベクトルである動きベクトル vlの信頼度は、誤った動きベクトル v2 の信頼度より高いと判定される。

[0096] 以上により、 DFDを評価値として用いたときに対応することが困難であった、フレーム間の平均輝度レベルが変化する場合であっても、差分分散 (以下、評価値 dfvとも称する）を評価値として用いることにより、ベクトルの信頼度の評価を正しく行うことが可會になる。

[0097] なお、評価値 dfvは、式（2)に示されるように、二乗和の式であるため、乗算器を用いる必要があり、評価値 DFDを演算する場合よりもハードウェア上の回路規模が大きくなつてしまう。

[0098] そこで、二乗を用いな!/、評価値、かつ、差分分散 (評価値 dfv)の特徴である、平均輝度レベル変化に対応した動きベクトルの評価値として、輝度平均オフセットを考慮した DFD (以下、 mDFD (mean DFD)と称する）も挙げられる。 mDFDは、式（3)で表される。

[0099] [数 4]

m x n

mDFDt Cp) = 2 (Ft+1 _{χ y}+v) - F_t+i (ρ_{χ y}+v)J - F_t (p_{x y}) - F_t ^p_{x y})j

•••(3)

[0100] mDFDも、差分分散と同様に、平均輝度レベルを考慮した波形の一致度を表しており、フレーム間で平均輝度レベルが大きく変化する場合に対応した動きベクトルの評価値となる。したがって、以下、 mDFDを評価値 mDFDとも称する。

[0101] さらに、評価値 mDFDについて詳しく説明する。

[0102] 図 11は、評価値 mDFDを演算する評価値演算部 61 Aの構成例を示すブロック図である。

[0103] なお、図 11の例は、ブロック位置演算部 71、輝度値取得部 72、差分絶対値演算部 73および積和演算部 74が設けられている点で図 6の評価値演算部 61と共通しているが、積和演算部 81— 1および 81— 2、平均値算出部 82— 1および 82— 2、並びに、差分演算部 83— 1および 83— 2が追加されている点で図 6の評価値演算部 61と異なっている。

[0104] 図 11の例において、輝度値取得部 72は、図示せぬフレーム tのフレームメモリから、入力されたフレーム tのブロック位置に対応する輝度値を取得し、取得したフレーム tの輝度値を積和演算部 81— 1および差分演算部 83— 1に出力する。また、輝度値取得部 72は、フレーム t+ 1のフレームメモリ 51から、入力されたフレーム t+ 1のブロック位置に対応する輝度値を取得し、取得したフレーム t+ 1の輝度値を、積和演算部 81— 2および差分演算部 83— 2に出力する。

[0105] 積和演算部 81— 1は、フレーム tのブロック内の全画素の輝度値を積算し、積算した輝度値を平均値算出部 82— 1に出力する。平均値算出部 82— 1は、積和演算部 81— 1からの積算された輝度値を用いて、ブロック内の輝度平均値を算出し、算出したブロック内の輝度平均値を差分演算部 83— 1に出力する。

[0106] 差分演算部 83— 1は、輝度値取得部 72からの輝度値と平均値算出部 82— 1からのブロック内の輝度平均値を用いて、フレーム tのブロック内の各画素とブロック内の輝度平均値の差分を算出し、算出したフレーム tの差分を差分絶対値演算部 73に出力する。

[0107] 積和演算部 81— 2、平均値算出部 82— 2、および差分演算部 83— 2は、フレーム t

+ 1に対して、積和演算部 81— 1、平均値算出部 82— 1、および差分演算部 83— 1 と同様の処理を行う。

[0108] すなわち、積和演算部 81— 2は、フレーム t+ 1のブロック内の全画素の輝度値を積算し、積算した輝度値を平均値算出部 82— 2に出力する。平均値算出部 82— 2 は、積和演算部 81— 2からの積算された輝度値を用いて、ブロック内の輝度平均値を算出し、算出したブロック内の輝度平均値を差分演算部 83— 2に出力する。

[0109] 差分演算部 83— 2は、輝度値取得部 72からの輝度値と平均値算出部 82— 2からのブロック内の輝度平均値を用いて、フレーム t+ 1のブロック内の各画素とブロック内の輝度平均値の差分を算出し、算出したフレーム t+ 1の差分を差分絶対値演算部 73に出力する。

[0110] 図 11の例において、差分絶対値演算部 73は、差分演算部 83— 1からのフレーム t のブロック内の輝度値、および差分演算部 ₈₃— ₂からの t+ 1のブロック内の輝度値を用いて、輝度差分絶対値を演算し、演算した輝度差分絶対値を、積和演算部 74 に出力する。積和演算部 74は、差分絶対値演算部 73により演算された輝度差分絶対値を積算することで、評価値 mDFDを取得し、取得した評価値 mDFDを後段に出力する。

[0111] 次に、図 12および図 13のフローチャートを参照して、図 11の評価値演算部 61Aの評価値演算処理を説明する。

[0112] 評価値演算部 61 Aには、前段から、フレーム tのブロック (DFD演算範囲)位置と評価対象となる動きベクトルとが入力される。ブロック位置演算部 71は、フレーム tのブロック位置と評価対象となる動きベクトルが入力されると、ステップ S31において、入力されたフレーム tのブロック位置と動きベクトルを用いて、フレーム t+ 1のブロック位置を算出し、輝度値取得部 72に出力する。

[0113] 輝度値取得部 72は、ステップ S32において、入力されたフレーム tおよびフレーム t

+ 1のブロック位置に基づ、て、各ブロック（DFD演算範囲）の画素の輝度値を取得し、取得したフレーム tの画素の輝度値を積和演算部 81— 1に出力し、取得したフレーム t+ 1の画素の輝度値を積和演算部 81—2に出力する。なお、このとき、輝度値取得部 72は、取得したフレーム tの画素の輝度値を差分演算部 83— 1にも出力し、フレーム t+ 1の画素の輝度値を差分演算部 83— 2にも出力する。

[0114] 積和演算部 81—1は、ステップ S33において、輝度値取得部 72からのフレーム tの画素の輝度値を積算し、ステップ S34において、ブロック内の全画素に対して処理が終了したか否かを判定する。ステップ S34において、ブロック内の全画素に対して処理が終了していないと判定された場合、処理は、ステップ S32に戻り、それ以降の処理が繰り返される。すなわち、ブロックの次の画素に対しての処理が行われる。

[0115] ステップ S34において、ブロック内の全画素に対して処理が終了したと判定された場合、積和演算部 81— 1は、フレーム tのブロック内の全画素の輝度値を積算した値を、平均値算出部 82— 1に出力する。

[0116] 平均値算出部 82— 1は、ステップ S35において、積和演算部 81— 1からの積算された輝度値を用いて、フレーム tのブロック内の輝度平均値を算出し、算出したブロック内の輝度平均値を差分演算部 83— 1に出力する。

[0117] 差分演算部 83— 1は、図 13のステップ S36において、輝度値取得部 72からの輝度値と平均値算出部 82— 1からのブロック内の輝度平均値を用いて、フレーム tのブロック内の各画素とブロック内の輝度平均値の差分を算出し、算出したフレーム tの差分を差分絶対値演算部 73に出力する。

[0118] なお、説明は繰り返しになるので便宜上、省略するが、上述したステップ S32乃至 S 36の処理は、積和演算部 81— 2、平均値算出部 82— 2、および差分演算部 83— 2 においても、フレーム t+ 1に対して同様に実行される。したがって、ステップ S37にお V、て、差分演算部 83— 1によりフレーム tのブロック内の各画素とブロック内の輝度平均値の差分が算出され、差分絶対値演算部 73に出力される。

[0119] 差分絶対値演算部 73は、ステップ S38において、差分演算部 83— 1および差分演算部 83— 2からの輝度差分絶対値を積算し、ステップ S39において、ブロック内の全画素に対して処理が終了したか否かを判定する。ステップ S38において、ブロック内の全画素に対して処理が終了していないと判定された場合、処理は、ステップ S3 6に戻り、それ以降の処理が繰り返される。すなわち、ブロックの次の画素に対しての処理が行われる。

[0120] 一方、ステップ S39において、ブロック内の全画素に対して処理が終了したと判定された場合、積和演算部 74は、ステップ S40において、輝度差分絶対値を積算した結果である輝度平均オフセットを考慮した DFD (すなわち、 mDFD)を取得し、評価値 mDFDとして後段に出力する。

[0121] 以上により、評価値演算処理は終了され、フレーム間で平均輝度レベルが大きく変化する場合に対応した動きベクトルの評価値としての、評価値 mDFDが求められる。

[0122] このように、評価値 mDFDを演算する図 11の評価値演算部 61Aは、乗算器を必要としないため、ハードウェア上、回路規模を大きくする必要がない。

[0123] しかしながら、評価値 mDFDの演算処理においては、式（3)および図 12からも明らかなように、ー且、各ブロック内の平均輝度値を演算し、各ブロック内の平均輝度値が確定した後で、ブロック内の各画素の輝度値から、対応する平均輝度値を減じて、その差分を積算するという順序を取らなければならない。すなわち、評価値 mDFDの演算処理においては、各ブロック内の平均輝度値が確定するまで、次の処理を行うことができない。

[0124] ここで、再度、式 (2)で表される差分分散について説明する。次の式 (4)は、画素位置 Px,yにおける Vによるフレーム間差分を表している。

[0125] [数 5]

D_t (P_X, y, V) = F_t + 1 χ, γ + V) " Ft (P_X, y)

•••(4)

[0126] 上述した差分分散 dfvの式 (2)を、上述した式 (4)を用いて変形すると、差分分散は、次の式（5)で表される。

[0127] [数 6]

•••(5)

[0128] 式 (5)は、差分分散が評価値演算ブロック内の輝度値 Dtの分散であることを示している。したがって、式（5)は、分散の式の展開から、式 (6)のように変形できる。

[0129] [数 7]

•••(6)

[0130] この式 (6)に示されるように、差分分散は、差分自乗和 (差分二乗和)の項と差分和の二乗の項に分離することが可能である。すなわち、差分分散を演算する際には、各項を並列に演算させるように、差分分散の演算部を構成することができる。

[0131] 図 14は、差分分散 (すなわち、評価値 dfv)を演算する評価値演算部 61Bの構成例を示すブロック図である。

[0132] なお、図 14の例は、ブロック位置演算部 71、および輝度値取得部 72が設けられている点で図 6の評価値演算部 61と共通しているが、差分絶対値演算部 73および積和演算部 74の代わりに、差分演算部 91、差分和二乗演算部 92、差分二乗和演算部 93、乗算器 94、および差分演算部 95が追加されている点で図 6の評価値演算部 61と異なって!/ヽる。

[0133] 図 14の例において、輝度値取得部 72は、図示せぬフレーム tのフレームメモリから、入力されたフレーム tのブロック位置に対応する輝度値を取得し、フレーム t+ 1のフレームメモリ 51から、入力されたフレーム t+ 1のブロック位置に対応する輝度値を取得し、取得した各輝度値を、差分演算部 91に出力する。

[0134] 差分演算部 91は、対象となる画素の輝度値差分を演算し、演算した輝度値差分を、差分和二乗演算部 92、および差分二乗和演算部 93に出力する。

[0135] 差分和二乗演算部 92は、積和演算部 92aおよび乗算器 92bにより構成される。積和演算部 92aは、差分演算部 91からの輝度値差分をブロック分積算し、積算した輝度値差分 (輝度値差分和)を乗算器 92bに出力する。乗算器 92bは、積和演算部 92 aからの輝度値差分和を二乗し、輝度値差分和二乗を差分演算部 95に出力する。

[0136] 差分二乗和演算部 93は、乗算器 93aおよび積和演算部 93bにより構成される。乗算器 93aは、差分演算部 91からの輝度値差分の二乗を演算し、演算した輝度差分二乗を積和演算部 93bに出力する。積和演算部 93bは、輝度差分二乗をブロック分積算し、積算した輝度値差分二乗 (輝度値差分二乗和)を、乗算器 94に出力する。

[0137] 乗算器 94には、図示せぬ制御部などから予めブロック内画素数が入力されている。乗算器 94は、ブロック内画素数と輝度差分値二乗和を乗算し、差分演算部 95に出力する。

[0138] 差分演算部 95は、乗算器 92bからの輝度値差分和二乗から、乗算器 94からの、ブロック内画素数を乗算した輝度差分値二乗和を減算することで、差分分散を取得し、評価値 dfvとして後段に出力する。

[0139] 次に、図 15のフローチャートを参照して、図 14の評価値演算部 61Bの評価値演算処理を説明する。

[0140] 評価値演算部 61Bには、前段から、フレーム tのブロック (DFD演算範囲)位置と評価対象となる動きベクトルとが入力される。ブロック位置演算部 71は、フレーム tのブロック位置と評価対象となる動きベクトルが入力されると、ステップ S51において、入力されたフレーム tのブロック位置と動きベクトルを用いて、フレーム t+ 1のブロック位置を算出し、輝度値取得部 72に出力する。

[0141] 輝度値取得部 72は、ステップ S52において、入力されたフレーム tおよびフレーム t

+ 1のブロック位置に基づいて、各フレームのブロック（DFD演算範囲）の画素の輝度値を取得し、取得した各輝度値を差分演算部 91に出力する。

[0142] 差分演算部 91は、ステップ S53において、対象となる画素の輝度値差分を演算し

、演算した輝度値差分を、差分和二乗演算部 92および差分二乗和演算部 93に出力する。

[0143] ステップ S54においては、輝度値差分が演算され、輝度値差分二乗が積算される。

すなわち、差分和二乗演算部 92の積和演算部 92aは、ステップ S54において、差分演算部 91からの輝度値差分を積算する。このとき、並行して、差分二乗和演算部 93 の積和演算部 93bは、差分演算部 91からの輝度差分が乗算器 93aにより演算された輝度値差分二乗を積算する。

[0144] 積和演算部 92aおよび積和演算部 93bは、ステップ S55において、ブロック内の全画素に対して処理が終了したか否かを判定する。ステップ S55において、ブロック内の全画素に対して処理が終了していないと判定された場合、処理は、ステップ S52に戻り、それ以降の処理が繰り返される。すなわち、ブロックの次の画素に対しての処理が行われる。

[0145] 一方、ステップ S55において、ブロック内の全画素に対して処理が終了したと判定された場合、積和演算部 92aは、積算した輝度値差分 (輝度値差分和)を乗算器 92 bに出力し、積和演算部 93bは、積算した輝度値差分二乗 (輝度値差分二乗和)を、乗算器 94に出力する。

[0146] ステップ S56においては、輝度値差分和二乗が演算され、ブロック内画素数と、輝度値差分二乗和が演算される。すなわち、差分和二乗演算部 92の乗算器 92bは、ステップ S56において、積和演算部 92aからの輝度値差分和を二乗し、輝度値差分和二乗を差分演算部 95に出力する。このとき、並行して、乗算器 94は、ブロック内画素数と輝度差分値二乗和を乗算し、差分演算部 95に出力する。 [0147] 差分演算部 95は、ステップ S57において、乗算器 92bからの輝度値差分和二乗から、ブロック内画素数を乗算した輝度差分値二乗和を減算し、ステップ S58において、減算した結果である差分分散を取得し、評価値 dfvとして後段に出力する。

[0148] 以上により、評価値演算処理は終了され、フレーム間で平均輝度レベルが大きく変化する場合に対応した動きベクトルの評価値としての、評価値 dfvが求められる。

[0149] したがって、差分分散を評価値として用いることにより、フレーム間の平均輝度レべルが大きく変化する場合にも、信頼度の高いベクトルの評価を行うことが可能になる。

[0150] また、この差分分散を演算する評価値演算処理にお!、ては、ステップ S54およびステツプ S56において、差分和二乗演算部 92と差分二乗和演算部 93が並列で演算処理を行うことができる。したがって、図 14の評価値演算部 61Bに示されるように、差分分散は、乗算器を必要とするため、ハードウア実装が大きくなつてしまうが、その反面、回路を並列化することができるので、 mDFDと比較して演算処理時間を短縮することが可能になる。

[0151] 以上より、以降、信号処理装置 1のベクトル検出部 52においては、動きベクトルが選択される場合の評価値として、評価値 DFDの代わりに評価値 dfvが用いられ、その他のベクトル割付部 54、および割付補償部 57においては、動きベクトルが選択される場合の評価値として、特に言及しない場合には、差分絶対値和（以下、評価値 D FDと称する）が用いられることとする。

[0152] したがって、ベクトル検出部 52は、内部に評価値演算部 61Bを有することとして説明し、ベクトル割付部 54、および割付補償部 57は、内部に評価値演算部 61を有することとして説明していく。

[0153] なお、もちろん、ベクトル検出部 52に限らず、ベクトル割付部 54、または割付補償部 57にお、ても評価値 DFDの代わりに評価値 dfvが用いられるように構成してもよい。

[0154] 次に、図 16のフローチャートを参照して、信号処理装置 1のフレーム周波数を変換する処理を説明する。

[0155] ステップ S81において、ベクトル検出部 52は、時刻 t+ 1の入力画像のフレーム t+ 1と、フレームメモリ 51の入力画像の 1つ前の時刻 tのフレーム tの画素値を入力する。なお、このとき、ベクトル割付部 54、割付補償部 57および画像補間部 58も、時刻 t + 1の入力画像のフレーム t+ 1と、フレームメモリ 51の入力画像の 1つ前の時刻 tのフレーム tの画素値を入力する。

[0156] ステップ S82において、ベクトル検出部 52は、動きベクトル検出処理を実行する。

すなわち、ベクトル検出部 52は、フレームメモリ 51上のフレーム tの着目ブロックと、入力画像である次のフレーム t+ 1の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ 53に記憶する。この 2フレーム間の動きべタトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。

[0157] また、動きベクトルの候補が複数ある場合には、ベクトル検出部 52においては、評価値演算部 61Bにより、各動きベクトルに対して、評価値 dfv (差分分散）が求められ、求められた評価値 dfvに基づいた信頼度の高い動きベクトルが検出される。すなわち、この場合、動きベクトルを検出する着目ブロックにおいて、最も確力もしい動きべタトルが選択され、検出される。ステップ S82における、動きベクトル検出処理の詳細は、図 20を参照して後述する。

[0158] ステップ S83にお、て、ベクトル割付部 54は、ベクトル割付処理を実行する。すなわち、ベクトル割付部 54は、ステップ S83において、フレーム t上において求められた動きベクトルを、割付ベクトルメモリ 55上の、補間する内挿フレーム上の着目画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ 56の割付フラグを 1( True)に書き換える。例えば、 Trueである割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、 Falseである割付フラグは、対応する画素に動きべクトルが割り付けられて、な、ことを示す。

[0159] なお、各画素において、動きベクトルの候補が複数ある場合には、ベクトル割付部 5 4においては、評価値演算部 61により、各動きベクトルに対して、評価値 DFDが求められ、求められた評価値 DFDに基づ、た信頼度の高!、動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確カゝらしい動きベクトルが選択され、割り付けられる。ステップ S83における、ベクトル割付処理の詳細は、図 73を参照して後述する。

[0160] ステップ S84におヽて、割付補償部 57は、割付補償処理を実行する。すなわち、割付補償部 57は、ステップ S84において、割付フラグメモリ 56の割付フラグを参照し、ベクトル割付部 54により動きベクトルが割り付けられな力つた着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ 55の内挿フレーム上に割り付ける。このとき、割付補償部 57は、動きべ外ルを補い、割付けた着目画素の割付フラグを l(True)に書き換える。

[0161] なお、周辺画素の動きベクトルが複数ある場合には、割付補償部 57においては、各動きベクトルに対して、評価値演算部 61により、評価値 DFDが求められ、求められた評価値 DFDに基づいた、信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きべクトルが選択され、割り付けられる。ステップ S84における、割付補償処理の詳細は、図 76を参照して後述する。

[0162] ステップ S85におヽて、画像補間部 58は、画像補間処理を実行する。すなわち、画像補間部 58は、ステップ S85において、割付ベクトルメモリ 55の内挿フレームに割り付けられた動きベクトルと、フレーム tおよびフレーム t+ 1の画素値を用いて、内挿フレームの画素値を補間生成する。ステップ S85〖こおける、画像補間処理の詳細は、図 79を参照して後述する。画像補間部 58は、ステップ S86において、生成された内挿フレームを出力し、その次に、必要に応じて、フレーム t+ 1を出力することにより、 60P信号の画像を、図示せぬ後段に出力する。

[0163] ステップ S87において、ベクトル検出部 52は、すべてのフレームの処理が終了したか否かを判定し、すべてのフレームの処理がまだ終了していないと判定した場合、ステツプ S81に戻り、それ以降の処理を繰り返す。一方、ベクトル検出部 52は、ステツプ S87において、すべてのフレームの処理が終了したと判定した場合、フレーム周波数を変換する処理を終了する。

[0164] 以上のように、本発明に係る信号処理装置 1は、 24P信号の入力画像のフレームから動きベクトルを検出し、検出した動きベクトルを、 60P信号のフレーム上の画素に割付け、割付けられた動きベクトルに基づいて、 60P信号のフレーム上の画素値を生成する。

[0165] このとき、信号処理装置 1は、ベクトル検出処理において、評価値 dfv (差分分散）に基づぐより信頼度の高い動きベクトルを選択し、後段に出力する。したがって、信号処理装置 1においては、動きベクトルを求めるフレーム間で平均輝度レベルが大きく変化してしまっても、動きベクトルの信頼度の評価を正しく行うことが可能になる。これにより、動きが破綻することなどが抑制され、より精度のよい画像を生成することができる。

[0166] 次に、ベクトル検出部 52の構成の詳細について説明する。

[0167] 図 17は、ベクトル検出部 52の構成を示すブロック図である。図 17に構成を示すベタトル検出部 52は、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、フレーム t上の動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ 53に記憶する。この動きベクトルを検出する処理は、複数の画素からなる所定のブロック毎に実行される。

[0168] 初期ベクトル選択部 101は、所定のブロック毎に、過去の動きベクトルの検出結果力も求められる信頼度が高い動きベクトルを、勾配法に用いられる初期値となる初期ベクトル VOとして、反復勾配法演算部 103に出力する。具体的には、初期ベクトル選択部 101は、検出ベクトルメモリ 53に記憶される過去に求められた周辺のブロックの動きベクトルや、シフト初期ベクトルメモリ 107に記憶されるシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部 101は、図 14 を参照して上述した評価値演算部 61Bを有しており、評価値演算部 61Bに、フレーム tとフレーム t+ 1を用いて、候補ベクトルの評価値 dfvを求めさせ、候補ベクトルの中から、評価値演算部 61Bにより求められた評価値 dfvに基づぐ最も信頼度が高いものを選択し、初期ベクトル VOとして出力する。なお、初期ベクトル選択部 101の構成の詳細は、図 23を参照して後述する。

[0169] プリフィルタ 102—1および 102— 2は、ローパスフィルタやガウシアンフィルタにより構成され、それぞれ、入力される画像のフレーム tおよびフレーム t+ 1のノイズ成分を除去し、反復勾配法演算部 103に出力する。

[0170] 反復勾配法演算部 103は、初期ベクトル選択部 101から入力された初期ベクトル V 0と、プリフィルタ 102—1および 102— 2を介して入力されるフレーム tおよびフレーム t+ 1を用いて、所定のブロック毎に、勾配法により、動きベクトル Vnを算出する。反復勾配法演算部 103は、初期ベクトル VOと、算出された動きベクトル Vnをベクトル評価部 104に出力する。また、反復勾配法演算部 103は、ベクトル評価部 104による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトル Vnを算出する。

[0171] ベクトル評価部 104も、評価値演算部 61Bを有しており、評価値演算部 61Bに、反復勾配法演算部 103からの動きベクトル Vn— 1 (または初期ベクトル V0)と、動きべクトル Vnの評価値 dfvを求めさせ、評価値演算部 61Bにより求められた評価値 dfvに基づいて、反復勾配法演算部 103を制御し、勾配法の演算を繰り返し実行させ、最終的に、評価値 dfvに基づぐ信頼性の高いものを選択し、選択した動きベクトル Vを、検出ベクトルメモリ 53に記憶させる。

[0172] このとき、ベクトル評価部 104は、動きベクトル Vとともに、その動きベクトル Vに対して求められた評価値 dfvを、シフト初期ベクトル割付部 105に供給する。なお、反復勾配法演算部 103およびベクトル評価部 104の構成の詳細は、図 25を参照して後述する。

[0173] シフト初期ベクトル割付部 105は、ベクトル評価部 104より動きベクトル Vおよびその評価値 dfvが供給されると、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。換言すると、シフト初期ベクトル割付部 105は、動きベクトル Vの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトル Vと同じ大きさで同じ向きの動きべタトルを、シフト初期ベクトルとして設定する。そして、シフト初期ベクトル割付部 105 は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ 107に割り付ける。

[0174] 具体的には、シフト初期ベクトル割付部 105は、シフト初期ベクトルとして割り付けられた動きベクトル Vの評価値 dfvを、着目ブロックに対応させて、評価値メモリ 106に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトル Vの評価値 dfvと比較する。そして、シフト初期ベクトル割付部 105は、評価値 dfvに基づぐ信頼度が高いとされた動きベクトル Vを、着目ブロックにシフトさせ、着目ブロックのシフト初期ベクトルとして、シフト初期ベクトルメモリ 107に割り付ける。なお、シフト初期ベクトル割付部 105 の構成の詳細は、図 21を参照して後述する。

[0175] 次に、ベクトル検出部 52において用いられる勾配法の原理について説明する。まず、動画像中において、水平、垂直、時間軸を用いた座標 (X, y, t)で表される画素の輝度値を g (X, y, t)とする。ここで、着目画素 (X , _y , t )が、微小時間中に、 (dx,

0 0 0

dy, dt)だけ変位したとき、水平、垂直、時間軸の勾配 (差分差)を、それぞれ gx (x ,

0 y , t ) , gy (x , y , t ) , gt (x , y , t )と表すと、変位後の画素の輝度値は、 Taylor展

0 0 0 0 0 0 0 0

開近似を用いて、次の式（7)で表される。

[0176] [数 8]

g (xo+dx, yo+dy, t₀+dt)

- g (xo, Υο， to) +gx (xo, y。， to) dx+gy (xo, y。， t₀) dy+gt (x₀, y₀, t₀) dt

•••(7)

[0177] ここで、動画像中のある着目画素が 1フレーム後に水平 vx,垂直 vyだけ移動した場合 (以降、（vx, vy)と表す）、その画素の輝度値は、次の式 (8)で表される。

[0178] [数 9]

g (xo+vx, yo+vy, to+1 ) =g (xo, yo, to)

•••(8)

[0179] 式（7)を式 (8)に代入すると、次の式（9)で表される。

[0180] [数 10] gx ίχο, Yo- to) vx+gv (xo, y₀, to) vy+gt (xo, y₀, to) =0

•••(9)

[0181] 式（9)は、 vx, vyの 2変数の式であるので、着目 1画素に対する単独の式では、その解を求めることができない。そこで、次に説明するように、着目画素の周辺領域であるブロックを 1つの処理単位として考え、ブロック (周辺領域）内の全画素が同じ動き (vx, vy)をすると仮定し、各画素について同様の式を立てる。仮定が前提となるが、 2変数に対して周辺画素の個数の式が得られる。したがって、それらの式を連立させ、ブロック内全画素の動き補償フレーム差分の自乗和が最小になるような (vx, vy)を求める。 [0182] 画素 (x, y, t)カ^フレーム間に (vx, vy)だけ移動したとき、その動き補償フレーム間差分 dは、次の式（10)で表される。

[0183] [数 11]

d=g ix+vx, y+vy, t+1 )— g (x， y, t)

•••do)

[0184] 式（10)において、 A x=gx (x, y, t)であり、水平方向の勾配を表し、 Ay=gy(x, y , t)であり、垂直方向の勾配を表し、 A t=gt (x, y, t)であり、時間方向の勾配を表す。これらを用いて、動き補償フレーム間差分の自乗和を Eとすると、式（11)で表される。

[0185] [数 12]

E=∑d²

=∑(Δχ²νχ²+Δγ²νγ²+2ΔχΔγ νχ vy

+2ΔχΔί νχ+2Δγ At vy+Δί;つ

-νχ²∑ Ax²+vy²∑ Δγ²+2νχ vy∑AxAy

+2vx∑AxAt+2vy∑AyAt+∑At²

•••(11)

[0186] ここで、 Εが最小となる (νχ, vy)は、各変数における偏微分値が 0になるとき、すなわち、

δ ΕΖ δ νγ=0の条件が成立するときなので、式（11)から、次の式（12)および式（13)となる。

[0187] [数 13] νχ∑Δχ²+νγ∑ΔχΔγ+∑ΔχΔΐ=0

[0188] [数 14] vy∑Ay^+vx∑AxAy+∑ΔγΔΐ=0 •••(13)

[0189] これらの式（12)および式（13)から、求めたい動きである（vx, vy)は、次の式（14) を演算することにより求めることができる。

[0190] [数 15]

(∑Δν²)(∑ΔΐΔχ)-(∑ΛχΔγ)(∑ΛίΛγ)

VX =

(∑Δχ²)(∑Δγ²)-(∑ΛχΛγ)²

_ (∑Δχ²)(∑ΔΐΔγ)-(∑ΛχΔγ)(∑ΛΐΛχ) (∑Δχ²)(∑Δγ²)-(∑ΛχΛγ)²

•••(14)

[0191] ここで、図 18を参照して、具体的に説明する。図 18の例において、矢印 Xは、水平方向を示しており、矢印 Υは、垂直方向を示している。また、矢印 Τは、図中、右奥の時刻 tのフレーム tから、左手前の時刻 t+ 1のフレーム t+ 1への時間の経過方向を示している。なお、図 18の例においては、各フレームは、着目画素 pの周辺領域 (ブロック）として、勾配法演算に用いられる 8画素 X 8画素の領域のみ示されて、る。

[0192] フレーム tにお!/、て、左上の画素から下に 5番目、右に 5番目の画素である着目画素 Pの動きベクトル V(vx, vy)を、上述した勾配法を用いて求める場合、動きベクトル V(vx, vy)は、着目画素 pの x, y方向のそれぞれについて求められる隣接画素 pxおよび pyとの輝度の差分差 (すなわち、勾配） Δχおよび Ay、フレーム t+1において求められる着目画素 Pの同位相に位置する画素 qとの時間方向の輝度の差分差 (勾配） Atを、着目画素 pの周辺領域（8画素 X 8画素）のすベての画素について求め、それらの差分差を、式（14)を用いて演算することにより、求めることができる。

[0193] すなわち、勾配法とは、 2フレーム間において、勾配 Δχ, Δγ,および Atを求め、求められた Δχ, Δγ,および Atから、差分自乗和を用いて、統計的に、動きベクトル V(vx, vy)を算出するものである。

[0194] 一般的に、このような勾配法を用いた動きベクトル検出方法においては、微小動きに対して精度の高い結果が得られる。ただし、実際の動画像の中で動きを求めようとするとする場合、この勾配法は、その動き量が大きすぎるため実用的とはいえない。これに対応して、この勾配法を複数回反復する方法が考えられる。勾配法を反復して実行することにより、各演算で求められる動き量が収束するため、徐々に正しい動きが求められる。

[0195] し力しながら、ただ、勾配法を反復するだけでは、リアルタイム処理を行おうとした場合、演算時間の面から実用的ではない。そこで、ベクトル検出部 52においては、過去フレームと現在フレームでの周辺画素の動きに基づいて求められる初期ベクトルを

、初期値として用いることで、勾配法の繰り返し回数を軽減している。すなわち、動きの起点となる着目画素から、初期ベクトルが指す先へオフセットを予め加えることで大ま力な動きを算出し、オフセットが加えられたその位置力も勾配法を用いた演算を行うようにすれば、画素以下動きを含めた微調整を行うことができる。これにより、演算時間を増大させることなぐ精度のよい動きベクトルを検出することができる。

[0196] 図 19は、初期ベクトルを用いて実行される反復勾配法について具体的に説明する図である。図 19の例においては、矢印 Tは、図中、左手前の時刻 tのフレーム tから、右奥の時刻 t+ 1のフレーム t+ 1への時間の経過を示している。なお、各画素 p, qO , ql, q2,および q3を中心としたブロックは、その画素の、勾配法演算に用いられる周辺領域 (ブロック）を表して!/ヽる。

[0197] 図 19の例の場合、フレーム tにおける着目画素 pに対して、フレーム t+ 1においては、着目画素 pの同位相に位置する画素 qOではなぐ予め求めておいた初期べタトル νθをオフセット (移動）して計算した位置 (画素） qlを開始点として 1回目の勾配法演算が行われ、その結果、動きベクトル vlが得られる。

[0198] 次に、画素 qOから vO+vlをオフセットして計算した位置 (画素） q2を開始点として、 2回目の勾配法演算が行われ、その結果、動きベクトル v2が得られる。これにより、最終的に動きベクトル Vは、式（15)として求められる。

[0199] V = v0+vl +v2

•••(15)

[0200] 以上のようにして、初期ベクトルを用いて、反復勾配法の演算を実行することにより、演算時間を短縮させつつ、精度の高い動きベクトルを求めることができる。 [0201] 次に、図 20のフローチャートを参照して、動きベクトル検出処理の詳細について説明する。ベクトル検出部 52には、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1が入力される。

[0202] 初期ベクトル選択部 101は、ステップ S101において、フレーム t上の処理の対象となるブロックを、着目ブロックとして選択する。なお、フレーム上においては、左上のブロック力ラスタスキャン順に処理が実行される。

[0203] ステップ S102において、初期ベクトル選択部 101は、初期ベクトル選択処理を実行する。初期ベクトル選択部 101は、ステップ S102において、所定のブロック毎に、過去の動きベクトルの検出結果から、信頼度が高い動きベクトルを選択し、選択した動きベクトルを、勾配法に用いられる初期値となる初期ベクトル VOとして、反復勾配法演算部 103に出力する。

[0204] すなわち、初期ベクトル選択部 101は、過去の勾配法演算評価処理 (後述するステップ S103)において求められ、検出ベクトルメモリ 53に記憶された周辺ブロックの動きベクトルや、過去のシフト初期ベクトル割付処理（後述するステップ S 104)においてシフト初期ベクトルメモリ 107に記憶されたシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部 101は、評価値演算部 61Bに、フレーム tとフレーム t+ 1を用いて、候補ベクトルの評価値 dfvを求めさせ、候補べタトルの中から、評価値演算部 61Bにより求められた評価値 dfvに基づいた信頼度が高いものを選択し、選択された候補ベクトルを、初期ベクトル VOとして出力する。なお、ステップ S102における、初期ベクトル選択処理の詳細は、図 24を参照して後述する

[0205] ステップ S 103において、反復勾配法演算部 103およびベクトル評価部 104は、反復勾配法演算評価処理 (なお、反復勾配法演算処理とも称する)を実行する。具体的には、ステップ S103において、反復勾配法演算部 103は、初期ベクトル選択部 1 01から入力された初期ベクトル VOと、プリフィルタ 102— 1および 102— 2を介して入力されるフレーム tおよびフレーム t+ 1を用いて、ベクトル評価部 104による動きべクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトル Vnを算出する。また、ベクトル評価部 104は、評価値演算部 61Bに、反復勾配法演算部 103 力の動きベクトル Vn— 1と、動きベクトル Vnの評価値 dfvを求めさせ、評価値演算部 61Bにより求められた評価値 dfvに基づぐ最も信頼性の高いものを選択し、動きベクトル Vとして、検出ベクトルメモリ 53に記憶させる。このとき、ベクトル評価部 104 は、動きベクトル Vとともに、その動きベクトル Vに対して求められた評価値 dfvを、シフト初期ベクトル割付部 105に供給する。なお、ステップ S103における、反復勾配法演算処理の詳細は、図 32を参照して後述する。

[0206] ステップ S104において、シフト初期ベクトル割付部 105は、シフト初期ベクトル割付処理を実行する。シフト初期ベクトル割付部 105は、ベクトル評価部 104より動きべクトル Vおよびその評価値 dfvが供給されると、ステップ S104において、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。すなわち、換言すると、動きベクトル Vの終点のブロックと同 Cf立置の次のフレーム上の着目ブロックを始点とした、動きベクトル Vと同じ大きさで同じ向きの動きベクトル力シフト初期ベクトルとして設定される。そして、シフト初期ベクトル割付部 105は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ 107に割り付ける。

[0207] なお、具体的には、シフト初期ベクトル割付部 105は、シフト初期ベクトルとして割り付けられた動きベクトル Vの評価値 dfvを、着目ブロックに対応させて、評価値メモリ 1 06に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトル Vの評価値 dfvと比較し、評価値 dfvに基づぐ信頼度が高いとされた動きベクトル Vを、そのブロックにシフトさせてシフト初期ベクトルと設定し、シフトさせたブロックに対応させて、シフト初期べタトルメモリ 107に割り付ける。なお、シフト初期ベクトル割付部 105の構成の詳細は、図 22を参照して後述する。

[0208] ステップ S105において、初期ベクトル選択部 101は、フレーム tにおいて、すべてのブロックの処理が終了したか否かを判定する。ステップ S105において、すべてのブロックの処理が終了していないと判定された場合、処理は、ステップ S101に戻り、それ以降の処理が繰り返される。また、ステップ S 105において、フレーム tにおいて、すべてのブロックの処理が終了したと判定された場合、すなわち、フレーム t上のすベてのブロックにおいて、動きベクトル Vが検出されたと判定され、動きベクトル検出処理は、終了される。

[0209] 以上のように、過去に検出された動きベクトル力初期ベクトルが選択され、選択された初期ベクトルに基づいて、反復勾配法の演算が用いられて、繰り返し動きべタトルが算出され、算出された動きベクトルの中から、評価値 dfvに基づぐ信頼度が高い（すなわち、最も確からしい）動きベクトルが検出される。この結果、検出ベクトルメモリ 53に、フレーム t上のすべてのブロックに対応する動きベクトル Vが記憶される。

[0210] 次に、シフト初期ベクトル割付部 105の構成の詳細について説明する。

[0211] 図 21は、シフト初期ベクトル割付部 105の構成を示すブロック図である。図 21に構成を示すシフト初期ベクトル割付部 105は、前 (過去)フレームにおいて、ベクトル評価部 104より検出された動きベクトル Vに基づいて、初期ベクトルの候補ベクトルとなるシフト初期ベクトルを設定し、シフト初期ベクトルメモリ 107に割り付ける処理を行う。シフト初期ベクトル割付部 105には、ベクトル評価部 104より検出された動きベクトル V、および、その動きベクトル Vの評価値 dfvが入力される。

[0212] 割付対象位置演算部 201は、ベクトル評価部 104より検出された動きベクトル Vが、次の時刻のフレーム上において通過するブロックの位置（すなわち、現在のフレーム上において検出された動きベクトル Vの終点のブロックと同じ位置にある次のフレーム上のブロックの位置）を演算し、演算されたブロックの位置を、評価値メモリ 106およびシフト初期ベクトル置換部 203に供給する。

[0213] 評価値比較部 202は、動きベクトル V、および、その動きベクトル Vの評価値 dfvが入力されると、割付対象位置演算部 201からのブロックの位置の評価値 dfvを、評価値メモリ 106から読み出す。そして、評価値比較部 202は、評価値メモリ 106から読み出された評価値 dfvと、ベクトル評価部 104により検出された動きベクトル Vの評価値 dfvとを比較判定する。

[0214] 評価値比較部 202は、検出された動きベクトル Vの評価値 dfvの方が小さ、（すなわち、信頼度が高い）と判定した場合、シフト初期ベクトル置換部 203を制御し、シフト初期ベクトルメモリ 107の、シフト初期ベクトル割付部 105により供給されたブロックの位置のシフト初期ベクトルを、評価値 dfvに基づぐ信頼度が高いと判定した動きべタトル Vで書き換えさせる。また、それと同時に、評価値比較部 202は、評価値置換部 204を制御し、評価値メモリ 106において、割付対象位置演算部 201により選択されたブロックの位置の評価値 dfvを、動きベクトル Vの評価値 dfvで書き換えさせる。

[0215] シフト初期ベクトル置換部 203は、シフト初期ベクトルメモリ 107の、割付対象位置演算部 201により供給されたブロックの位置のシフト初期ベクトルを、評価値比較部 2 02から供給される動きベクトル V (すなわち、動きベクトル Vと同じ大きさで同じ向きの動きベクトル)で書き換える。評価値置換部 204は、評価値比較部 202の制御のもと、評価値メモリ 106において、割付対象位置演算部 201により選択されたブロックの位置の評価値 dfvを、動きベクトル Vの評価値 dfvで書き換える。

[0216] 評価値メモリ 106は、次のフレーム上における、各ブロックに割り当てられるシフト初期候補ベクトルの評価値 dfvをブロック毎に記憶する。シフト初期ベクトルメモリ 107は、次のフレームにおける各ブロックにおいて最も評価値 dfvが小さい（すなわち、最も信頼度がある）動きベクトルを、シフト初期ベクトルとして、そのブロックに対応させて feす。。

[0217] 次に、図 22のフローチャートを参照して、シフト初期ベクトル割り付け処理の詳細について説明する。前段において、ベクトル評価部 104は、フレーム t—1上の着目ブロックの動きベクトル Vを検出すると、検出された動きベクトル Vとともに、その動きべタトル Vに対して求めた評価値 dfvを、シフト初期ベクトル割付部 105に供給する。

[0218] ステップ S201において、評価値比較部 202は、ベクトル評価部 104から、動きべクトル Vとともに、その動きベクトル Vの評価値 dfvを入力する。また、このとき、割付対象位置演算部 201も、動きベクトル Vを入力する。割付対象位置演算部 201は、ステツプ S202において、動きベクトル Vのフレーム tにおけるオフセット（動き補償）先の割付対象ブロックの位置を求める。すなわち、割付対象位置演算部 201は、フレーム t 1上において検出された動きベクトル Vの終点のブロックと同 Cf立置にあるフレーム t上のブロックの位置を求める。

[0219] 割付対象位置演算部 201は、ステップ S203において、求められた割付対象ブロックのうち、 1つの割付対象ブロックを選択し、選択した割り付け対象ブロックの位置を、評価値メモリ 106およびシフト初期ベクトル置換部 203に供給する。なお、ステップ S 203においては、割付対象ブロックのうち、フレーム t上において左上のブロックから順に選択される。

[0220] ステップ S204におヽて、評価値比較部 202は、評価値メモリ 106から、割付対象位置演算部 201により選択された割付対象ブロックの評価値 dfvを取得し、ステップ S 205において、ステップ S 201において入力された動きベクトル Vの評価値 dfv力評価値メモリ 106の評価値 dfvよりも小さ!/、か否か（すなわち、動きベクトル Vの評価値 d fvが、評価値メモリ 106の評価値 dfvよりも信頼度が高いか否力を判定する。ステツプ S205において、動きベクトル Vの評価値 dfvが、評価値メモリ 106の評価値 dfvよりも小さいと判定された場合、処理は、ステップ S206に進む。

[0221] 評価値比較部 202は、ステップ S206において、シフト初期ベクトル置換部 203を制御し、割付対象位置演算部 201により選択されたシフト初期ベクトルメモリ 107の割付対象ブロックのシフト初期ベクトルを、動きベクトル V (すなわち、動きベクトル Vと同じ大きさで同じ向きの動きベクトル）に書き換えさせ、ステップ S 207において、評価値置換部 204を制御し、割付対象位置演算部 201により選択された割付対象ブロックの評価値 dfvを、動きベクトル Vの評価値 dfvで書き換えさせる。

[0222] また、ステップ S205において、ステップ S201において入力された動きベクトル Vの評価値 dfvが、評価値メモリ 106に記憶される評価値 dfvよりも小さくな、と判定された場合、処理は、ステップ S206および S207をスキップし、ステップ S208に進む。すなわち、この場合、評価値メモリ 106の評価値 dfvが、動きベクトル Vの評価値 dfvよりも信頼度が高いと判定されるので、評価値メモリ 106およびシフト初期ベクトルメモリ 1 07の値は、書き換えられることはない。

[0223] 割付対象位置演算部 201は、ステップ S208において、動きベクトル Vの割り付け対象ブロックすべての処理が終了したか否かを判定する。ステップ S208において割り付け対象ブロックすべての処理が終了していないと判定された場合、処理は、ステツプ S203に戻り、それ以降の処理が繰り返される。また、ステップ S208において、動きベクトル Vの割り付け対象ブロックすべての処理が終了したと判定された場合、シフト初期ベクトル割付処理は終了される。

[0224] なお、初回の処理にぉ、ては、選択された割付対象ブロックに対応するシフト初期ベクトル力シフト初期ベクトルメモリ 107にまだ記憶されていない。したがって、そのシフト初期ベクトルの評価値 dfvが、評価値メモリ 106の対応する割付対象ブロックに、まだ記憶されていない場合には、ステップ S204において、選択された割付対象ブロック力も評価値 dfvは、取得されないので、ステップ S205においては Yesと判定されることとし、ステップ S206および S207の処理が実行される。

[0225] 以上のように、シフト初期ベクトルを割り付ける際にも、評価値 dfvを用いるようにしたので、光源の移動や影の通過などにより、フレーム間の平均輝度レベルが変化する場合であっても、ベクトルの信頼度の評価を正しく行うことができ、勾配法演算による動きベクトル検出に、より適切な初期ベクトルの候補を得ることができる。

[0226] また、シフト初期ベクトルを求める際に、前の時刻のフレームにおいて検出された動きベクトルが次の時刻のフレームにおいて通過するブロック（すなわち、フレーム t 1 上において検出された動きベクトル Vの終点のブロックと同じ位置にあるフレーム t上のブロック）を求め、次の時刻のフレーム上の着目ブロックにおけるシフト初期べタトルとして割り付けるようにし、さらに、その際に、評価値 dfvも前の時刻のフレームにお V、て検出された動きベクトルを求める際に算出されるものを用いるようにしたので、再度評価値 dfvを求める必要がなぐ着目ブロックを通過する動きベクトルを、前の時刻のフレームの全ブロックの動きベクトル力も探索する場合よりも、処理の演算量が削減されるため、膨大な演算量により実現が困難であったハードウア化を実現することができる。

[0227] 次に、初期ベクトル選択部 101の構成の詳細について説明する。

[0228] 図 23は、初期ベクトル選択部 101の構成を示すブロック図である。図 23に構成を示す初期ベクトル選択部 101は、前 (過去)フレームにおいて検出された動きベクトルや、シフト初期ベクトルなどの候補ベクトル (以下、初期候補ベクトルとも称する）から、信頼度の高い動きベクトルを、初期ベクトルとして選択する処理を行う。初期ベクトル選択部 101には、時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1が入力される。

[0229] 候補ベクトル位置演算部 251は、フレーム tが入力されると、フレーム t上の処理の対象となる着目ブロックを選択し、着目ブロックの周辺領域から、着目ブロックの初期候補ベクトルを取得する候補ブロックの位置、初期候補ベクトルとなる動きベクトルの種類および優先順位を求め、求められた優先順位の順に、候補ブロックの位置情報および初期候補ベクトルの種類情報を、検出ベクトル取得部 252およびシフト初期べタトル取得部 253に供給する。また、候補ベクトル位置演算部 251は、候補ブロックの位置情報を、オフセット位置演算部 254にも供給する。

[0230] なお、信号処理装置 1においては、初期候補ベクトルの数は、初期ベクトルの精度と、ハードウェア能力の兼ね合いなどに基づいて所定数に設定されており、さらに、候補ブロックの位置、初期候補ベクトルの種類、および優先順位も、予め設定されている。また、初期候補ベクトルの種類としては、過去フレームにおいて、所定のブロックを通過する動きベクトルを、その所定のブロックにシフトさせた動きベクトル (すなわち、過去フレーム上において検出された動きベクトルの終点のブロックと同じ位置にある次のフレーム上のブロックを始点とした、動きベクトル Vと同じ大きさで同じ向きの動きベクトル)であるシフト初期ベクトル SV、過去フレームにおいて検出された動きべタトル（以下、過去ベクトル PVとも称する）、現在のフレームにおいて着目ブロックより手前のブロックにおいて検出された動きベクトル (現在ベクトル CVとも称する）、および 0ベクトルがある。

[0231] したがって、候補ベクトル位置演算部 251は、予め設定された初期候補ベクトルの種類が過去ベクトルまたは現在ベクトルであった場合、候補ブロックの位置情報および初期候補ベクトルの種類情報を、検出ベクトル取得部 252に供給し、求めた初期候補ベクトルの種類がシフト初期ベクトルであった場合、候補ブロックの位置情報および初期候補ベクトルの種類情報を、シフト初期ベクトル取得部 253に供給し、そのどちらでもなカゝつた場合 (例えば、初期候補ベクトルの種類が、 0ベクトルである場合）、 0ベクトルを設定し、 0ベクトルと共に、候補ブロックの位置情報を、オフセット位置演算部 254に供給する。

[0232] 検出ベクトル取得部 252は、候補ベクトル位置演算部 251により供給された候補ブロックの位置情報および初期候補ベクトルの種類情報に応じた動きベクトルを、検出ベクトルメモリ 53より取得し、取得した動きベクトルを、初期候補ベクトルとして、オフセット位置演算部 254に出力する。 [0233] シフト初期ベクトル取得部 253は、候補ベクトル位置演算部 251により供給された候補ブロックの位置情報および初期候補ベクトルの種類情報に応じて、候補ブロックの位置情報に対応したシフト初期ベクトルを、シフト初期ベクトルメモリ 107から取得し、初期候補ベクトルとしてオフセット位置演算部 254に出力する。また、シフト初期ベクトル取得部 253は、候補ベクトル位置演算部 251により指示されたブロックの位置に、シフト初期ベクトルが割り付けられていない場合、 0ベクトルを、オフセット位置演算部 254に出力する。なお、シフト初期ベクトルが割り付けられていない場合には、 0ベクトル力シフト初期ベクトルメモリ 107に予め記憶されているようにしてもよい。

[0234] オフセット位置演算部 254は、検出ベクトル取得部 252またはシフト初期ベクトル取得部 253から初期候補ベクトル (あるいは候補ベクトル位置演算部 251からの 0ベタトル)を入力すると、候補ベクトル位置演算部 251により供給された候補ブロックの位置情報に基づいて、各初期候補ベクトルに対して、フレーム tの着目ブロックを、フレーム t+ 1にオフセット (動き補償)させたオフセット先のブロック位置を演算する。そして、オフセット位置演算部 254は、初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を、図 14を参照して上述した評価値演算部 61Bに出力する。

[0235] 評価値演算部 61Bは、オフセット位置演算部 254より初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を入力すると、フレーム tとフレーム t+ 1を用いて、初期候補ベクトルの評価値 dfvを求める。そして、評価値演算部 61Bは、初期候補ベクトルとともに、求められた評価値 dfvを、評価値比較部 256に出力する。

[0236] 評価値比較部 256は、評価値演算部 61Bにより入力された評価値 dfvと、最適候補格納用レジスタ 257に格納されて、る最適候補ベクトルの評価値 dfvを比較し、評価値演算部 61Bにより入力された初期候補ベクトルの評価値 dfvが、最適候補べタトルの評価値 dfvよりも小さい、すなわち、初期候補ベクトルが最適候補ベクトルよりも信頼度が高いと判定された場合、最適候補格納用レジスタ 257の最適候補ベクトルおよびその評価値 dfvを、信頼度が高!、とされた初期候補ベクトルおよびその評価値 dfvで置き換える。そして、最終的に、評価値比較部 256は、最適候補格納用レジスタ 257を制御し、すべての候補ベクトルの中から、評価値 dfvに基づぐ信頼度が最も高いと判定された最適候補ベクトルを、初期ベクトル VOとして、反復勾配法演算部 1 03に出力させる。

[0237] 最適候補格納用レジスタ 257は、評価値比較部 256により評価値 dfvが小さ、 (信頼度が高い）とされた初期候補ベクトルが、最適候補ベクトルとして、その評価値 dfv とともに記憶されている。そして、最適候補格納用レジスタ 257は、評価値比較部 25 6の制御のもと、最終的に記憶されている最適候補ベクトルを、初期ベクトル VOとして、反復勾配法演算部 103に出力する。

[0238] 次に、図 24のフローチャートを参照して、初期ベクトル選択処理の詳細について説明する。

[0239] 候補ベクトル位置演算部 251は、ステップ S251において、選択された着目ブロックの周辺領域から、予め設定されている着目ブロックの初期候補ベクトルを取得する候補ブロックの位置、初期候補ベクトルの種類および優先順位を求め、ステップ S252 において、求められた優先順位の順に、候補ブロックの初期候補ベクトルの種類が、過去ベクトルまたは現在ベクトルであるか否かを判定する。ステップ S252において、候補ブロックの初期候補ベクトルの種類力過去ベクトルまたは現在ベクトルであると判定された場合、候補ベクトル位置演算部 251は、ステップ S253において、候補ブロックの位置情報および初期候補ベクトルの種類情報を、検出ベクトル取得部 252に供給し、検出ベクトル取得部 252に、候補ブロックの位置情報および初期候補べタトルの種類情報に応じた動きベクトル (過去ベクトル PVまたは現在ベクトル CV)を、検出ベクトルメモリ 53から取得させ、取得させた動きベクトルを、オフセット位置演算部 2 54に出力させる。

[0240] ステップ S252にお!/、て、候補ブロックの初期候補ベクトルの種類力過去ベクトルまたは現在ベクトルでないと判定された場合、候補ベクトル位置演算部 251は、ステップ S254において、候補ブロックの初期候補ベクトルの種類力シフト初期ベクトルであるか否かを判定する。ステップ S254において、候補ブロックの初期候補ベクトルの種類が、シフト初期ベクトルであると判定された場合、候補ベクトル位置演算部 25 1は、ステップ S255において、候補ブロックの位置情報および初期候補ベクトルの種類情報を、シフト初期ベクトル取得部 253に供給し、シフト初期ベクトル取得部 253に、候補ブロックの位置情報に対応したシフト初期ベクトルを、シフト初期ベクトルメモリ 107から取得させ、取得させたシフト初期ベクトルを、オフセット位置演算部 254に出力させる。

[0241] ステップ S254において、候補ブロックの初期候補ベクトルの種類力シフト初期べタトルではな!/ヽと判定された場合 (すなわち、候補ブロックの初期候補ベクトルの種類力 0ベクトルであると判定された場合）、候補ベクトル位置演算部 251は、ステップ S 256において、初期候補ベクトルに 0ベクトルを設定し、 0ベクトルと共に、候補ブロックの位置情報を、オフセット位置演算部 254に供給する。なお、ステップ S253および S255においても、候補ベクトル位置演算部 251は、候補ブロックの位置情報を、ォフセット位置演算部 254に供給している。

[0242] オフセット位置演算部 254は、ステップ S257において、検出ベクトル取得部 252またはシフト初期ベクトル取得部 253から初期候補ベクトルを入力すると、候補ベクトル位置演算部 251により供給された候補ブロックの位置情報に基づ、て、各初期候補ベクトルに対して、フレーム tの着目ブロックを、フレーム t+ 1にオフセットさせたオフセット先のブロック位置を演算する。そして、オフセット位置演算部 254は、初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を、評価値演算部 61Bに出力する。

[0243] 評価値演算部 61Bは、オフセット位置演算部 254より初期候補ベクトルとともに、候補ブロックの位置情報、およびオフセット先ブロック位置の情報を入力すると、ステツプ S258において、フレーム tとフレーム t+ 1を用いて、初期候補ベクトルの評価値 df Vを求め、初期候補ベクトルとともに、求められた評価値 dfvを、評価値比較部 256〖こ出力する。

[0244] 評価値比較部 256は、ステップ S259において、評価値演算部 61Bにより求められた評価値 dfv力最適候補格納用レジスタ 257に格納されてヽる最適候補ベクトルの評価値 dfvより小さいか否かを判定し、評価値演算部 61Bにより求められた評価値 df Vが、最適候補格納用レジスタ 257に格納されてヽる最適候補ベクトルの評価値 dfv より小さい、すなわち、初期候補ベクトルが最適候補ベクトルよりも信頼度が高いと判定された場合、ステップ S260において、最適候補格納用レジスタ 257の最適候補べタトルおよびその評価値 dfvを、信頼度が高!、とされた初期候補ベクトルおよびその評価値 dfvで書き換える。

[0245] また、評価値演算部 61Bにより求められた評価値 dfvが、最適候補格納用レジスタ 257に格納されて、る最適候補ベクトルの評価値 dfvより小さくな、と判定された場合、処理は、ステップ S 260をスキップし、ステップ S 261〖こ進む。

[0246] ステップ S261において、候補ベクトル位置演算部 251は、すべての初期候補べクトル（例えば、 8ベクトル）の処理が終了したか否かを判定する。ステップ S261において、すべての初期候補ベクトルの処理が終了していないと判定された場合、処理は、ステップ S252に戻り、それ以降の処理が繰り返される。

[0247] ステップ S261において、すべての初期候補ベクトルの処理が終了したと判定された場合、ステップ S262において、評価値比較部 256は、最適候補格納用レジスタ 2 57を制御し、すべての初期候補ベクトルの中から、評価値 dfvに基づぐ信頼度が最も高いとされた最適候補ベクトルを、初期ベクトル VOとして反復勾配法演算部 103に出力させる。以上により、初期ベクトル選択処理は終了される。

[0248] 以上のように、着目ブロックにお、て、複数の初期候補ベクトルの評価値 dfvを求め、評価値 dfvが最も小さい、すなわち、信頼度が最も高いとされる初期候補ベクトルを、初期ベクトルとして選択するようにしたので、光源の移動や影の通過などにより、動きを持つ物体の平均輝度レベルが大きく変化する場合であっても、後段の動きべタトル検出に最適な初期ベクトルを与えることができ、その結果、後段の動きベクトル検出の精度を向上させることができる。

[0249] さらに、連続するフレーム間において動物体の動き量にはある程度の連続性があり、動き量の変化が小さいことに基づいて、前フレーム力も着目ブロックを通過する動きベクトルであるシフト初期ベクトルも、評価値 dfvを用いて求めて、初期ベクトルの候補とするようにしたので、従来のように、周辺ブロックにおいて過去に求められている動きベクトルのみを初期ベクトルの候補とする場合よりも、精度の高い動き検出を行うことができる。これは、特に、動いている物体の境界において、効果的である。

[0250] 次に、反復勾配法演算部 103およびベクトル評価部 104の構成の詳細について説明する。

[0251] 図 25は、反復勾配法演算部 103およびベクトル評価部 104の構成を示すブロック図である。図 25に構成を示す反復勾配法演算部 103およびベクトル評価部 104は、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、最適な動きベクトルを検出する処理を行う。

[0252] この動きベクトルを検出する処理は、複数の画素力なる所定のブロック毎に実行される処理であり、反復勾配法演算部 103およびベクトル評価部 104は、各ブロック毎に、勾配法を用いた演算を繰り返し実行することにより、評価値 dfvに基づぐ信頼度が高い、最適な動きベクトルを出力する。すなわち、動きベクトルは、動きベクトルの検出対象となる検出対象ブロック毎に求められるが、その検出対象ブロックの動きベクトルを求める際の勾配法演算は、勾配法演算の対象となる演算ブロックを対象として実行される。

[0253] 反復勾配法演算部 103は、セレクタ 401、メモリ制御信号生成部 402、メモリ 403、有効画素判定部 404、勾配法演算部 405、および遅延部 406により構成される。

[0254] セレクタ 401には、初期ベクトル選択部 101からの初期ベクトル VOが入力される。

セレクタ 401は、初期ベクトル選択部 101からの初期ベクトル V0を、勾配法演算の初期値として用いる動きベクトル (以下、オフセットベクトルと称する) Vn—1として選択し、メモリ制御信号生成部 402、勾配法演算部 405、およびベクトル評価部 104に出力する。

[0255] また、セレクタ 401は、遅延部 406から、勾配法演算部 405により勾配法演算が実行された結果の動きベクトル Vが入力された場合、勾配法演算部 405により演算された動きベクトル Vを、オフセットベクトル Vn—1として選択し、メモリ制御信号生成部 40 2、勾配法演算部 405、およびベクトル評価部 104に出力する。

[0256] メモリ制御信号生成部 402には、信号処理装置 1の図示せぬ制御部から、処理の開始タイミングと位置情報を制御する制御信号が入力される。メモリ制御信号生成部 402は、制御信号およびセレクタ 401からのオフセットベクトル Vn—1に応じて、メモリ 403に記憶されている時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1から、処理の対象となる演算ブロックを構成する画素の画素値 (輝度値）（以下、対象画素値と称する)を読み出させ、読み出した対象画素値を、有効画素判定部 404 および勾配法演算部 405に供給させる。

[0257] メモリ 403には、プリフィルタ 102— 1および 102— 2を介して、時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1が入力され、記憶されている。

[0258] 有効画素判定部 404は、メモリ 403から供給される対象画素値を用いて、例えば、フレーム tとフレーム t+ 1の演算ブロックの画素差分を演算し、その画素差分に基づいて、演算ブロックに、勾配法の演算に有効な画素の数が所定のしきい値より多いか否かを判定し、その判定結果に応じたカウンタフラグ (countflg)を、勾配法演算部 40 5およびベクトル評価部 104に供給する。

[0259] また、有効画素判定部 404は、演算ブロックにお、て有効な画素と判定された画素について、水平方向および垂直方向毎の勾配状態 (すなわち、勾配がある力否か）を求め、水平方向および垂直方向のどちらか一方にのみ勾配がある画素（以下、片側勾配の画素とも称する）の割合が多、か否力も判定し、その判定結果に応じた勾配フラグ (gladflg)を、勾配法演算部 405およびベクトル評価部 104に供給する。

[0260] 勾配法演算部 405は、有効画素判定部 404から供給されるカウンタフラグおよび勾配フラグの値に基づいて、メモリ 403から供給される対象画素値を用いて、勾配法演算を実行し、セレクタ 401からのオフセットベクトル Vn—1を用いて、動きベクトル Vn を算出し、算出された動きベクトル Vnを、ベクトル評価部 104に出力する。なお、このとき、勾配法演算部 405においては、用いられる勾配法演算（式）力上述した式（1 4)の最小自乗和を用いた勾配法演算処理 (以下、統合型勾配法演算処理とも称する)か、後述する式 (23)の簡易的な勾配法演算処理 (以下、独立型勾配法演算処理 )のどちらに切り替えられて実行される。

[0261] 遅延部 406には、ベクトル評価部 104から、勾配法演算部 405により算出され、ベタトル評価部 104により評価された結果の動きベクトル Vが入力される。遅延部 406 は、ベクトル評価部 104から入力される動きベクトル Vを、有効画素判定部 404および勾配法演算部 405の次の処理のサイクルまで保持し、次の処理のサイクルで、動きベクトル Vをセレクタ 401に出力する。

[0262] ベクトル評価部 104は、図 14を参照して上述した評価値演算部 61B、および評価値判定部 412により構成されている。

[0263] 評価値演算部 61Bには、プリフィルタ 102—1および 102— 2を介して、時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1が入力され、また、信号処理装置 1の図示せぬ制御部から、位置情報を制御する制御信号が入力されている。

[0264] 評価値演算部 61Bは、評価値判定部 412の制御のもと、フレーム tとフレーム t+ 1 、および位置情報を用いて、勾配法演算部 405により算出された動きベクトル Vn、セレクタ 401からのオフセットベクトル Vn—1、および、 0ベクトルの評価値 dfvを求める。そして、評価値演算部 61Bは、各ベクトルとともに、求められた評価値 dfvを、評価値判定部 412に出力する。

[0265] 評価値判定部 412は、有効画素判定部 404から供給されるカウンタフラグおよび勾配フラグに基づいて、評価値演算部 61Bに演算させた評価値 dfvを比較することにより、信頼性の高いものを選択し、動きベクトル Vを求める。

[0266] また、評価値判定部 412は、有効画素判定部 404から供給されるカウンタフラグおよび勾配フラグに基づいて、勾配法演算処理を反復させるか否かを判定し、反復させると判定した場合、求めた動きベクトル Vを、遅延部 406に出力する。評価値判定部 412は、勾配法演算処理を反復させない場合、求めた動きベクトル Vを、検出べクトルメモリ 53に記憶させる。このとき、評価値判定部 412は、動きベクトル Vとともに、その動きベクトル Vに対して求められた評価値 dfvを、シフト初期ベクトル割付部 105 に供給する。

[0267] 図 26は、有効画素判定部 404の詳細な構成を示すブロック図である。図 26の例において、有効画素判定部 404は、画素差分算出部 421、画素判定部 422、カウンタ 423、勾配法継続判定部 424、および演算実行判定部 425により構成される。

[0268] 画素差分算出部 421は、第 1空間勾配画素差分算出部 421— 1、第 2空間勾配画素差分算出部 421— 2、および時間方向画素差分算出部 421— 3により構成される

[0269] 第 1空間勾配画素差分算出部 421— 1は、メモリ 403から供給される対象画素値のうち、フレーム t+ 1における演算ブロック内の画素の画素値を用いて、フレーム t+ 1 における演算ブロック内の画素の水平方向の画素差分 Δ χおよび垂直方向の画素差分 Ayを算出し、算出されたフレーム t+ 1における演算ブロック内の画素の水平方向の画素差分 Δχおよび垂直方向の画素差分 Ayを、画素判定部 422に出力する。

[0270] 第 2空間勾配画素差分算出部 421— 2は、メモリ 403から供給される対象画素値のうち、フレーム tにおける演算ブロック内の画素の画素値を用いて、フレーム tにおける演算ブロック内の画素の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ayを算出し、算出されたフレーム tにおける演算ブロック内の画素の水平方向の画素差分 Δχおよび垂直方向の画素差分 Ayを、画素判定部 422に出力する。

[0271] 時間方向画素差分算出部 421— 3は、メモリ 403から供給される対象画素値 (すなわち、フレーム tおよびフレーム t+ 1における演算ブロック内の画素の画素値）を用いて、フレーム tにおける演算ブロック内の画素の時間方向の画素差分 Atを算出し、算出されたフレーム tにおける演算ブロック内の画素の時間方向の画素差分 Atを、画素判定部 422に出力する。

[0272] 画素判定部 422は、有効画素判定部 431、水平勾配判定部 432、および垂直勾配判定部 433により構成される。カウンタ 423は、有効画素数カウンタ 441、水平勾配無カウンタ 442、および垂直勾配無カウンタ 443により構成される。

[0273] 有効画素判定部 431は、第 1空間勾配画素差分算出部 421— 1からのフレーム t+ 1における演算ブロック内の画素の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ay、第 2空間勾配画素差分算出部 421— 2からのフレーム tにおける演算プロック内の画素の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ay、並びに、時間方向画素差分算出部 421— 3からのフレーム t+ 1およびフレーム t間の演算ブロック内の画素の時間方向の画素差分 Atを用いて、所定の論理演算を行う。なお、この所定の論理演算の詳細は、図 29を参照して後述する。

[0274] 有効画素判定部 431は、その所定の論理演算に基づいて、演算ブロック内の画素力動きベクトルの検出（すなわち、後段の勾配法演算部 405の演算）に有効であるか否かを判定し、動きベクトルの検出に有効であると判定した場合、有効画素数カウンタ 441の値 (有効画素の数)を 1加算するとともに、水平勾配判定部 432および垂直勾配判定部 433を制御し、動きベクトルの検出に有効であると判定した有効画素について、水平方向および垂直方向それぞれの勾配状態を求めさせる。 [0275] 水平勾配判定部 432は、有効画素判定部 431の制御のもと、有効画素の水平方向の勾配の状態を求め、有効画素の水平方向の勾配がある力否かを判定し、有効画素の水平方向の勾配がないと判定した場合、水平勾配無カウンタ 442の値 (水平勾配がな!、画素の数)を 1加算する。

[0276] 垂直勾配判定部 433は、有効画素判定部 431の制御のもと、有効画素の垂直方向の勾配の状態を求め、有効画素の垂直方向の勾配がある力否かを判定し、有効画素の垂直方向の勾配がないと判定した場合、垂直勾配無カウンタ 443の値 (すなわち、水平勾配がない画素の数)を 1加算する。

[0277] 有効画素数カウンタ 441は、演算ブロック毎に、有効画素判定部 431により動きべタトルの検出に有効であると判定された有効画素の数を記憶する。水平勾配無カウンタ 442は、演算ブロック毎に、水平勾配判定部 432により、水平方向の勾配がないと判定された有効画素の数を記憶する。垂直勾配無カウンタ 443は、演算ブロック毎に、垂直勾配判定部 433により、垂直方向の勾配がないと判定された有効画素の数を記憶する。

[0278] 勾配法継続判定部 424は、有効画素数カウンタ 441を参照して、演算ブロックにおける勾配法の演算に有効な画素の数が所定のしきい値 OCより多いか否かを判定する。勾配法継続判定部 424は、演算ブロックにおける勾配法の演算に有効な画素の数が所定のしき、値ひより多、と判定した場合、勾配法演算を実行させるカウンタフラグ (_COuntflg= l)を、演算実行判定部 425、勾配法演算部 405およびベクトル評価部 104に出力し、演算ブロックにおける勾配法の演算に有効な画素の数が所定のしき V、値 aより少な、と判定した場合、勾配法演算を打ち切らせるカウンタフラグ (countfl g=0)を、演算実行判定部 425、勾配法演算部 405およびベクトル評価部 104に出力する。

[0279] 演算実行判定部 425は、カウンタ値演算部 451、およびフラグ設定部 452により構成される。

[0280] カウンタ値演算部 451は、勾配法継続判定部 424からのカウンタフラグの値が 1であるとき、カウンタ 423 (有効画素数カウンタ 441、水平勾配無カウンタ 442、および垂直勾配無カウンタ 443)から、有効画素の数、水平方向に勾配のない画素の数、および垂直方向に勾配のない画素の数を取得して、演算ブロックにおける有効画素と、有効画素のうち片側勾配の画素（すなわち、水平方向または垂直方向のどちらか一方にのみ勾配がある画素）の割合を演算し、演算結果に応じて、フラグ設定部 452 が設定する勾配フラグ (gladflg)の値を制御する。

[0281] フラグ設定部 452は、カウンタ値演算部 451の制御のもと、勾配フラグの値を設定し

、勾配フラグを、勾配法演算部 405および評価判定部 412に出力する。勾配フラグの値については、図 31を参照して後述する。

[0282] 図 27は、勾配法演算部 405の詳細な構成を示すブロック図である。図 27の例において、勾配法演算部 405は、画素差分算出部 461、演算判定部 462、統合型勾配演算部 463— 1、独立型勾配演算部 463— 2、およびベクトル算出部 464により構成される。

[0283] 画素差分算出部 461は、第 1空間勾配画素差分算出部 461— 1、第 2空間勾配画素差分算出部 461— 2、および時間方向画素差分算出部 461— 3により構成され、演算判定部 462の制御のもと、対象となる画素差分を算出する。

[0284] 第 1空間勾配画素差分算出部 461— 1は、第 1空間勾配画素差分算出部 421— 1 と同様の構成であり、メモリ 403から供給される対象画素値のうち、フレーム t+ 1における演算ブロック内の画素の画素値を用いて、フレーム t+ 1における演算ブロック内の画素の水平方向の画素差分 Δχおよび垂直方向の画素差分 Ayを算出し、算出されたフレーム t+ 1における演算ブロック内の画素の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ayを、演算判定部 462に出力する。

[0285] 第 2空間勾配画素差分算出部 461— 2は、第 2空間勾配画素差分算出部 421— 2 と同様に構成され、メモリ 403から供給される対象画素値のうち、フレーム tにおける演算ブロック内の画素の画素値を用いて、フレーム tにおける演算ブロック内の画素の水平方向の画素差分 Δχおよび垂直方向の画素差分 Ayを算出し、算出されたフレーム tにおける演算ブロック内の画素の水平方向の画素差分 Δχおよび垂直方向の画素差分 Ayを、演算判定部 462に出力する。

[0286] 時間方向画素差分算出部 461— 3は、時間方向画素差分算出部 421— 3と同様に構成され、メモリ 403から供給される対象画素値 (すなわち、フレーム tおよびフレーム t+ 1における演算ブロック内の画素の画素値）を用いて、フレーム tにおける演算ブロック内の画素の時間方向の画素差分 Atを算出し、算出されたフレーム tにおける演算ブロック内の画素の時間方向の画素差分 Atを、演算判定部 462に出力する。

[0287] 演算判定部 462は、有効画素判定部 471、水平勾配判定部 472、および垂直勾配判定部 473により構成される。有効画素判定部 471は、勾配法継続判定部 424から供給されるカウンタフラグ (countflg)の値に基づ、て、勾配法演算部 405の実行、禁止を制御する。

[0288] また、有効画素判定部 471は、演算実行判定部 425から供給される勾配フラグ (gla dflg)の値に基づいて、第 1空間勾配画素差分算出部 461— 1、第 2空間勾配画素差分算出部 461— 2、および時間方向画素差分算出部 461— 3の画素差分算出処理の実行、禁止を制御するとともに、統合型勾配演算部 463— 1および独立型勾配演算部 463— 2のどちらで、勾配法演算処理を行うかを判定する。

[0289] 有効画素判定部 471は、勾配フラグの値に基づいて、統合型勾配演算部 463— 1 で勾配法演算処理を行うと判定した場合、第 1空間勾配画素差分算出部 461— 1からのフレーム t + 1における演算ブロック内の画素の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ay、第 2空間勾配画素差分算出部 461— 2からのフレーム tにおける演算ブロック内の画素の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ay、並びに、時間方向画素差分算出部 461— 3からのフレーム t+ 1およびフレーム t間の演算ブロック内の画素の時間方向の画素差分 Atを用いて、有効画素判定部 431と同様の所定の論理演算を行い、所定の論理演算に基づいて、演算ブロック内の画素が、動きベクトルの検出に有効である力否かを判定し、動きベクトルの検出に有効であると判定した有効画素の勾配 (画素差分)を、統合型勾配演算部 463 1に供給し、統合型勾配法演算処理を実行させる。

[0290] 有効画素判定部 471は、勾配フラグの値に基づいて、独立型勾配演算部 463— 2 で勾配法演算処理を行うと判定した場合、水平勾配判定部 472および垂直勾配判定部 473の少なくとも一方を制御し、所定の論理演算に基づいて、演算ブロック内の画素が動きベクトルの検出に有効であると判定した有効画素について、水平方向および垂直方向それぞれの勾配状態を求めさせる。 [0291] 水平勾配判定部 472は、有効画素判定部 471の制御のもと、有効画素の水平方向の勾配の状態を求め、有効画素の水平方向の勾配がある力否かを判定し、有効画素のうち、水平方向の勾配がある画素の勾配 (画素差分）のみを、独立型勾配演算部 463— 2に供給し、水平方向に対しての独立型勾配法演算処理を実行させる。

[0292] 垂直勾配判定部 473は、有効画素判定部 471の制御のもと、有効画素の垂直方向の勾配の状態を求め、有効画素の垂直方向の勾配がある力否かを判定し、有効画素のうち、垂直方向の勾配がある画素の勾配 (画素差分)のみを、独立型勾配演算部 463— 2に供給し、垂直方向に対しての独立型勾配法演算処理を実行させる。

[0293] 統合型勾配演算部 463— 1は、有効画素判定部 471の制御のもと、統合型勾配法演算処理を実行する。すなわち、統合型勾配演算部 463— 1は、有効画素判定部 4 71により供給された有効画素の勾配 (時間方向の画素差分 Δ t、水平方向の画素差分 Δ χ、および、垂直方向の画素差分 Ay)を積算し、上述した式（14)の最小自乗和を用いて、動きベクトル vnを求め、求めた動きベクトル vnをベクトル算出部 464に出力する。

[0294] 独立型勾配演算部 463— 2は、水平勾配判定部 472の制御のもと、水平方向の独立型勾配法演算処理を実行する。すなわち、独立型勾配演算部 463— 2は、水平勾配判定部 472により供給された有効画素のうち水平方向に勾配がある画素の勾配（時間方向の画素差分 A t、水平方向の画素差分 Δ χ、および、垂直方向の画素差分 Ay)を積算し、式（14)の代わりに、後述する簡易的な数式である式 (23)を用いて、動きベクトル vnの水平方向成分を求め、求めた動きベクトル vnの水平方向成分をべタトル算出部 464に出力する。

[0295] また、独立型勾配演算部 463— 2は、垂直勾配判定部 473の制御のもと、垂直方向の独立型勾配法演算処理を実行する。すなわち、独立型勾配演算部 463— 2は、垂直勾配判定部 473により供給された有効画素のうち垂直方向に勾配がある画素の画素値の勾配（時間方向の画素差分 A t、水平方向の画素差分 Δ χ、および、垂直方向の画素差分 Ay)を積算し、式（14)の代わりに、後述する簡易的な数式である式（23)を用いて、動きベクトル vnの垂直方向成分を求め、求めた動きベクトル vnの垂直方向成分をベクトル算出部 464に出力する。 [0296] ベクトル算出部 464は、セレクタ 401からのオフセットベクトル Vn— 1を、統合型勾配演算部 463— 1からの動きベクトル vn、または、独立型勾配演算部 463— 2からの動きベクトル vnに加算して、動きベクトル Vnを算出し、算出した動きベクトル Vnをべタトル評価部 104に出力する。

[0297] 図 28は、動きベクトルの検出対象となる検出対象ブロックと、その検出対象ブロックに対応する、勾配法演算の対象となる演算ブロックの他の例を示している。なお、図 28の例においては、フレーム tが示されており、フレーム t上の丸は、画素を表している。

[0298] 図 28の例の場合、フレーム t上において、 4画素 X 4画素からなる検出対象ブロック K1乃至 K3と、検出対象ブロック K1乃至 K3をそれぞれ中心とした 8画素 X 8画素の各演算ブロック E1乃至 E3が示されている。なお、各演算ブロック E1乃至 E3は、それぞれ隣接する演算ブロックと、構成する画素半分がオーバーラップして、る。

[0299] ベクトル検出部 52においては、フレーム上の左上の検出対象ブロック力ラスタスキャン順に、動きベクトルの検出が実行される。したがって、フレーム t上において、検出対象ブロック Kl、検出対象ブロック Κ2、および、検出対象ブロック Κ3が順々に、動きベクトルの検出対象ブロックとなる。そして、これに対応して、勾配法の演算プロックは、演算ブロック El、演算ブロック Ε2、および、演算ブロック Ε3となる。すなわち、図 28の例の検出対象ブロックと演算ブロックの場合には、各演算ブロック E1乃至 Ε 3は、隣の演算ブロックと、構成される画素半分がオーバーラップすることになる。

[0300] なお、以降においては、上述したように構成される検出対象ブロックと演算ブロックを用いて、図 25の反復勾配法演算部 103およびベクトル評価部 104の処理について説明する力これらの構成の検出対象ブロックおよび演算ブロックには限定されず、検出対象ブロックは、 4つの画素に限らず、例えば、 1つの画素で構成されてもよいし、その他の複数の画素数であってもよい。また、図 28の例においては、検出対象ブロックと演算ブロックの画素数が異なる力同じ画素数で構成することもできる。すなわち、演算ブロックがそのまま検出対象ブロックとなるようにも構成できる。

[0301] 次に、図 29を参照して、有効画素判定部 404の有効画素判定方法を説明する。図 29の例においては、矢印 Τは、図中、左手前の時刻 tのフレーム tから、右奥の時刻 t + 1のフレーム t+ 1への時間の経過方向を示して!/、る。

[0302] フレーム t上にお!、ては、動きベクトルの検出の対象となる 4画素 X 4画素からなる検出対象ブロック Kt (図中黒丸）と、検出対象ブロック Ktを中心とした (検出対象プロックの周囲の） 8画素 X 8画素からなる演算ブロック Etが示されている。一方、フレーム t+ 1上においては、検出対象ブロック Ktに対応する 4画素 X 4画素からなる検出対象ブロック Kt+ 1 (図中黒丸）と、演算ブロック Etに対応する 8画素 X 8画素からなる演算ブロック Et+ 1が示されている。なお、フレーム t+ 1上の点線のブロックは、検出対象ブロック Ktと同位相のブロックを表しており、フレーム t+ 1上において、動きベクトル V (Vx, Vy)が初期ベクトルとして与えられた分だけ、点線のブロックからシフト (移動）された位置の演算ブロック Et+ 1が勾配法の演算の対象として用いられる。

[0303] ここで、フレーム t上の演算ブロック Etの画素 piとフレーム t+ 1上の演算ブロック Et

+ 1間の同位置の画素 p2における時間方向の画素差分 (フレーム差分)を A tとし、このときの画枠を wとすると、演算ブロック Etの画素 piの水平方向の画素差分 Δ χ1、垂直方向の画素差分 Ayl、および時間方向の画素差分 A tは、式（16)乃至式（18 )で求められる。

[0304] [数 16]

Δχ1 =Υΐ (k+1) -Yt (k)

•••(16)

[数 17]

△ y1 =Yt (k+w) -Yt (k)

•••(17)

[数 18]

△ t=Yt+1 (k) -Yt (k)

•••(18)

[0305] なお、 Yt+ 1は、時刻 t+ 1における画素値を表し、 Ytは、時刻 tにおける画素値を表し、 k+ 1および kは、アドレス (位置）を表す。また、画素 piに対応する演算ブロック Et+ 1の画素 p2の水平方向の画素差分 Δ x2、および垂直方向の画素差分 Ay2も同様に求められる。 [0306] 有効画素判定部 404は、これらの値を用いて、論理演算を行、、その結果に基づいて、有効画素判定を行う。すなわち、有効画素判定部 404の有効画素判定部 431 は、演算ブロック Etの画素のうち、次の 3つの条件式（19)乃至（21)のいずれかを満たす (すなわち、式（22)を満たす)か否かを求めることにより、その画素が動きべタトル検出に有効な画素である力否かを判定する。

[0307] [数 19]

Δχ1≠0 && Δχ2≠0 &&

|Ax1|>th1 · |Δγ1| && |ΜΖΔχ1— ΜΖΔχ2|く th2

•••(19)

[数 20]

△ y1≠0 && Ay2≠0 &&

|Ay1|>th1 · |Λχ1| && |AtZAy1— AtZAy2|く th2

• · · (20)

[数 21]

Δχ1≠0 && Δχ2≠0 && Ay1≠0 && Ay2≠0 &&

|At/^/Ax1-At/^/Ax2|<th2 &&

|At/^/Ay1-At_/ ^/Ay2|<th2

•••(21)

[0308] 式（19) II式（20) II式（21) · · · (22)

[0309] ここで、 IIは、論理和、 &&は、論理積、 ·は、乗算、 thlおよび th2は、それぞれ所定のしきい値を表している。なお、 thlは、例えば、 1, 1.5,または 2とされ、 th2は、例免ば、 4とされる。

[0310] したがって、式（19)において、 Δχ1≠0 && Δχ2≠0は、画素 piおよび画素 ρ 2の水平勾配が平坦ではない（水平方向に勾配を有する）ことを表す。 I Δχΐ I >t hi- I Ayl Iは、水平勾配が垂直勾配よりもある程度大きぐより支配的であることを表す。 I At/Axl—At/Ax2 Iく th2は、勾配法による（正規化した場合の）水平方向の動きが、所定のしきい値 th2より小さい、すなわち、水平方向の動きに、類似性があることを表す。以上により、式（19)は、水平方向に着目した条件を表しており、これら全てを満たした画素は、水平方向の動きに類似性があると判定され、後段の勾配法に用いて有効であると判定される。

[0311] また、式（20)において、 Ayl≠0 && Ay2≠0は、垂直勾配が平坦ではない（垂直方向に勾配を有する）ことを表す。 I Δγΐ I >thl - I Δχΐ Iは、垂直勾配が水平勾配よりもある程度大きぐより支配的であることを表す。 I At/ Ayl - At/ Δγ2 Iく th2は、勾配法による（正規ィ匕した場合の）垂直方向の動きに類似性があることを表す。以上により、式（20)は、垂直方向に着目した条件を表しており、これら全てを満たした画素は、垂直方向の動きに類似性があると判定され、後段の勾配法に用いて有効であると判定される。

[0312] 同様に、式（21)において、 Δχ1≠0 && Δχ2≠0 && Ayl≠0 && Δ y2≠0は、垂直および水平勾配が平坦ではない（垂直および水平方向に勾配を有する）ことを表す。 I At/ Axl— At/ Ax2 I <th2 && | AtZ Ayl— AtZ Δγ2 Iく th2は、勾配法による（正規ィ匕した場合の）垂直方向および水平方向の動きに類似性があることを表す。以上により、式（21)は、式（19)および（20)を満たしていないものに対しての水平および垂直の両方向（以下、斜め方向、あるいは、垂直水平方向とも称する）に着目した条件 (以下、水平垂直着目条件と称する）を表しており、これら全てを満たした画素は、水平および垂直方向の動きに類似性があると判定され、後段の勾配法に用いて有効であると判定される。

[0313] なお、有効画素判定の論理演算は、各画素差分が用いられるものであれば、図 29 の例に限らない。また、有効画素判定は、上述したすべての画素差分に基づいて判定されると限らず、例えば、フレーム t上の演算ブロック Etの画素 piとフレーム t+ 1上の演算ブロック Et+ 1間の同位置の画素 p2における時間方向の画素差分（フレーム差分） Atが所定の値よりも小さいか否かを判定し、小さいと判定された場合に、有効画素であると判定することもできる。

[0314] 図 30は、演算ブロックにおける画素の構成例を示している。図 30の例においては、 4画素 X 4画素からなる検出対象ブロック Kを中心とする 8画素 X 8画素（64画素）らなる演算ブロック E内において、上述した式（22)を満たし、有効画素として判定された画素（図中白丸)と、式 (22)を満たさず、勾配法の演算対象とされない画素（図中黒丸）が示されている。

[0315] したがって、有効画素判定部 404は、式（22)を用いて、演算ブロック Et内の各画素について、水平方向、垂直方向、または斜め方向のいずれかの動きに対して類似性がある力否かを判定する。そして、有効画素判定部 404は、水平方向、垂直方向、または斜め方向のどの動きに対しても類似性があると判定した画素、すなわち、有効画素として判定された画素の数力 50%である力 (全 64画素中 32画素より多いか）否かを判定し、有効画素として判定された画素が 50%以下の場合は、演算ブロックでの演算は不安定であるとし、例えば、演算を打ち切るための処理を行う。なお、有効画素数カウンタのしきい値を 50%とした力この値は、もちろん他の値であってもよい。

[0316] これにより、類似性があまりなぐ異なる動きの画素の混在を少しでも防ぐことができるので、安定した勾配法演算を行うことができる。この結果、勾配法演算により求められる動きベクトルの確からしさが向上し、動きベクトル検出の精度が向上する。

[0317] 一方、有効画素として判定された画素が 50%より多い場合、勾配法演算部 405は、さらに、式（22)を用いて、演算ブロック Et内の各画素について、水平方向、垂直方向、または斜め方向のいずれかの動きに対して類似性がある力否かを判定し、水平方向、垂直方向、または斜め方向のどの動きに対しても類似性がないと判定した画素を、勾配法演算の対象力も外し、演算ブロック E内において、有効画素として判定された画素のみ（34画素）を用いて、勾配法演算を行う。

[0318] これにより、水平方向、垂直方向、または斜め方向のいずれかの動きに対して類似性がある画素のみで、勾配法演算が実行されるため、異なる動きが混入することが抑制され、より安定した勾配法演算が実行され、その結果、確からしい動きベクトルが検出される。

[0319] なお、上述した有効画素判定方法においては、水平方向および垂直方向に勾配が存在する通常の領域 (以下、通常勾配領域と称する）と、水平方向および垂直方向のどちらか片側にのみ勾配が存在する領域 (以下、片側勾配領域)が区別されることなぐ勾配法演算が行われている。したがって、実用上においては、特に、片側勾配領域における動きベクトルの検出精度が著しく低下してしまうことがある。

[0320] 次に、図 31を参照して、片側勾配領域について説明する。図 31の例においては、矢印 Tは、図中、左手前の時刻 tのフレーム tから、右奥の時刻 t+ 1のフレーム t+ 1 への時間の経過方向を示している。

[0321] フレーム tおよびフレーム t+ 1上のライン Lは、輝度値 eの画素力なる領域（白の領域)と、輝度値 eとは異なる値の輝度値 fの画素力もなる領域 (ハッチング領域)の境界を示している。

[0322] フレーム tのライン L上には、動きベクトルの検出の対象となる 4画素 X 4画素からなる演算ブロック Etが示されている。なお、図 31の例において、検出対象ブロックは省略する。一方、フレーム t+ 1上においては、演算ブロック Etに対応する 4画素 X 4画素からなる演算ブロック Et+ 1が示されている。また、フレーム t+ 1上の点線のブロックは、演算ブロック Etと同位相のブロックを表しており、フレーム t+ 1上には、点線のブロック力ら、勾配法演算が繰り返され、最終的に、演算ブロック Et+ 1が勾配法の演算の対象として用いられて検出された動きベクトル V(Vx, Vy)が示されている。

[0323] このフレーム tにおいては、右側に拡大されるように、演算ブロック Etの左 2列の画素（画素 pOO,画素 plO,画素 p20,および画素 ρ30と、画素 ρθΐ,画素 pl l,画素 p 21,および画素 p31)は、すべて同じ輝度値 eであり、演算ブロック Etの右 2列の画素 (画素 p02,画素 pl2,画素 p22,および画素 ρ32と、画素 ρ03,画素 ρ13,画素 ρ23 ,および画素 ρ33)は、すべて同じ輝度値 fである。

[0324] すなわち、演算ブロック Etにおいては、例えば、画素 ρθΐと画素 pOOとの間、および画素 ρθΐと画素 pl lとの間や、画素 p02と画素 p03との間、および画素 p02と画素 pi 2との間など、同じ領域内の画素同士の間には勾配がないが、画素 ρθΐと画素 p02 の間、画素 pl lと画素 pl2の間、画素 p21と画素 p22の間、および画素 p31と画素 p 32の間に勾配がある。

[0325] したがって、フレーム t上の演算ブロック Et内には、水平方向の勾配のみがあり、垂直方向の勾配はないので、勾配法の原理から、フレーム t+ 1上において、動きべタトル Vのうち、水平方向の動きは、検出することができるが、垂直方向の動きを検出することはできない。 [0326] ここで、このように構成される片側勾配領域の演算ブロック Etにお、て、上述した有効画素判定方法のみを用いた場合、境界部分にある画素（画素 ρθΐ,画素 pl l,画素 ρ21,および画素 ρ31、並びに画素 ρ02,画素 ρ12,画素 ρ22,および画素 ρ32) については、上述した水平方向に着目した条件である式（19)を満たすことで、有効画素であると判定される。

[0327] し力しながら、実際に、このような水平方向のみに勾配を有する画素を多く含む演算ブロックにおいて、式（14)を用いた勾配法演算が行われてしまうと、その結果、本来検出されないはずの垂直方向の動きベクトル (すなわち、誤った動きベクトル）が検出されてしまう恐れがある。

[0328] すなわち、実際には、フレーム t+ 1のライン L上において、演算ブロック Et+ 1よりも上または下の位置のブロックが演算対象として用いられて検出される動きベクトルが最適な動きベクトルである可能性もあるにも拘わらず、フレーム t+ 1上において、点線のブロック力ら、勾配法演算が繰り返され、最終的に、演算ブロック Et+ 1が勾配法の演算の対象として用いられて算出された動きベクトル V (Vx, Vy)が、最適な動きベクトルとして評価されて、検出されてしまう恐れがある。

[0329] そこで、有効画素判定部 404は、有効画素判定後に、さらに、各画素の水平および垂直方向毎の勾配状態に基づぐ勾配法実行判定を行い、その判定結果に応じて、勾配法演算部 405に、式（14)を用いての統合型勾配法演算、および式（14)を簡易的にした次の式（23)を用いての独立型勾配法演算のどちらかに切り替えさせ、動きベクトルを算出させる。

[0330] [数 22]

5" s i gn (Ax) At

vx= ― ,

∑| Ax |

∑s i gn (Ay) At

•••(23)

[0331] この式（23)を用いての独立型勾配法演算は、動きベクトルの水平方向成分を求める場合には、演算対象の画素の垂直勾配を用いず、動きベクトルの垂直方向成分を求める場合には、演算対象の画素の水平勾配を用いていない。すなわち、各方向成分毎にそれぞれの勾配を使用して動きを検出することができるので、水平勾配または垂直勾配しかな、片側勾配領域にぉ、ても、確力もし、動きベクトルをすることが可能になり、動きベクトルの検出精度の向上が可能になる。

[0332] また、この独立型勾配法演算は、式（14)の統合型勾配法演算に較べて演算負荷力 S小さぐハードウアへの実装が容易である。

[0333] 次に、有効画素判定後に実行される勾配法実行判定について説明する。

[0334] 有効画素判定部 404は、演算ブロックのうち、上述した有効画素判定処理により有効画素であると判定された画素に対して、さらに、水平方向の勾配の有無と、垂直方向の勾配の有無をそれぞれ判定し、有効画素判定処理により得られる有効画素の数 (cnt_t)、水平方向に勾配のない画素の数 (ngcnt_x)、および垂直方向に勾配のない画素の数 (ngcnt を取得し、これらの値を用いた次の式（24)乃至式（26)を用いて、勾配法実行判定処理を行う。

[0335] [数 23]

cn t_t - ngGn t_x― ngcnt_y≥ px l _a · th3

• · · (24)

[数 24]

cnt_t - ngcnt_x≥ px l _a · th3

•••(25)

[数 25]

cnt_t - ngcnt_y≥ px l _a · th3

•••(26)

[0336] ここで、 pxLaは、演算ブロック内の全画素数を表しており、 ·は、乗算、 th3は、 1未満の所定のしき、値を表して、る。

[0337] まず、式 (24)を満たすと判定された場合、有効画素の中に、水平方向および垂直方向の勾配を持つ（通常の勾配がある)ものが適切に存在する状態だと考えられる。そこで、有効画素判定部 404は、勾配フラグ (gladflg=4)を設定し、勾配法演算部 4

05に、式（14)を用いての統合型勾配法演算を実行させる。 [0338] これに対応して、勾配法演算部 405は、勾配フラグ (gladflg=4)の場合、有効画素を勾配法演算の対象として、式（14)を用いての統合型勾配法演算を実行する。

[0339] なお、勾配フラグ (gladflg=4)の場合、ベクトル評価部 104は、統合型勾配法演算の結果の動きベクトルとオフセットベクトルの評価値 dfvを比較し、評価値 dfvが小さいと判定された方を、信頼度が高いと評価し、評価結果に応じて、動きベクトルを修正 (変更)する。また、ベクトル評価部 104は、統合型勾配法演算の結果の動きべタトルの信頼度が高い場合、かつ、反復回数が最大回数を満たしていない場合のみ、反復勾配演算処理を繰り返すと判定する。

[0340] 式 (24)を満たさず、式 (25)および式 (26)を満たすと判定された場合、有効画素の中に、水平方向および垂直方向のどちらかに勾配がない画素が相当数含まれていることが考えられる。そこで、有効画素判定部 404は、勾配フラグ (gladflg=0)を設定し、勾配法演算部 405に、水平および垂直方向毎に、式（23)を用いての独立型勾配法演算を実行させ、水平および垂直方向毎の演算結果を合わせて、その演算結果とさせる。このときの方向成分毎の勾配法演算には、対応する方向に勾配が存在する有効画素のみが使用される。

[0341] これに対応して、勾配法演算部 405は、勾配フラグ (gladflg=0)の場合、有効画素のうち水平勾配を有する画素を勾配法演算の対象として、式（23)を用いての水平方向の独立型勾配法演算を実行するとともに、有効画素のうち垂直勾配を有する画素を勾配法演算の対象として、式 (23)を用いての垂直方向の独立型勾配法演算を実行する。

[0342] 式（24)を満たさず、式（25)のみを満たすと判定された場合、有効画素の中に、垂直方向に勾配がない画素が相当数含まれていることが考えられる。そこで、有効画素判定部 404は、勾配フラグ (gladflg= l)を設定し、勾配法演算部 405に、垂直方向の動きに関しては演算を行わせず、動き無し (0ベクトル）とさせ、水平方向の動きのみに対して、式（23)を用いての勾配法演算を実行させる。このときの勾配法演算には、水平方向に勾配が存在する有効画素のみが使用される。

[0343] これに対応して、勾配法演算部 405は、勾配フラグ (gladflg= 1)の場合、有効画素のうち水平勾配を有する画素を勾配法演算の対象として、式（23)を用いての水平方向の独立型勾配法演算を実行する。

[0344] 式 (24)を満たさず、式 (26)のみを満たすと判定された場合、有効画素の中に、水平方向に勾配がない画素が多く含まれていることが考えられる。そこで、有効画素判定部 404は、勾配フラグ (gladflg= 2)を設定し、勾配法演算部 405に、水平方向の動きに関しては演算を行わせず、動き無し (0ベクトル）とさせ、垂直方向の動きのみに対して、式（23)を用いての勾配法演算を実行させる。このときの勾配法演算には、垂直方向に勾配が存在する有効画素のみが使用される。

[0345] これに対応して、勾配法演算部 405は、勾配フラグ (gladflg= 2)の場合、有効画素のうち垂直勾配を有する画素を勾配法演算の対象として、式（23)を用いての垂直方向の独立型勾配法演算を実行する。

[0346] なお、勾配フラグ（gladflg=0, 1, 2)の場合、ベクトル評価部 104においては、独立型勾配法演算の結果の動きベクトルと 0ベクトルの評価値 dfvが比較され、評価値 dfv が小さいと判定された方が、信頼度が高いと評価され、評価結果に応じて、動きべクトルが修正 (変更）される。さらに、この場合、ベクトル評価部 104においては、反復勾配演算処理は繰り返されなヽ。

[0347] 式 (24)乃至式 (26)を満たさないと判定された場合、演算ブロック内に、有効と判定された画素が少なぐ勾配法演算を行うことが困難な状態であると考えられる。そこで、有効画素判定部 404は、勾配フラグ (gladflg= 3)を設定し、勾配法演算部 405に、演算を行わせず、動き無し (0ベクトル）とさせる。

[0348] これに対応して、勾配法演算部 405は、勾配フラグ (gladflg=0)の場合、勾配法演算処理を実行せず、ベクトル評価部 104においては、評価値 dfvの比較はなされず、反復勾配演算処理は繰り返されな、。

[0349] 以上のように、式（24)乃至式（26)を用いて、勾配法実行判定処理を行い、判定結果に応じて、勾配法演算を切り替えるようにしたので、片側勾配領域においても、確力らしい動きベクトルを検出することが可能になり、動きベクトルの検出精度の向上が可能になる。また、独立型勾配法演算において、対象方向に勾配がある有効画素のみを用いて、その方向成分の動きベクトルを求めたり、勾配がない画素が多い方向成分の動きベクトルを 0ベクトルにするようにしたので、さらに、確からしい動きベクトルをすることが可能になる。

[0350] さらに、勾配法実行判定処理の結果に応じて、勾配法演算の制御だけでなぐベタトル評価と評価結果に応じた動きベクトルの変更、および、勾配法演算の反復判定も行うようにしたので、演算負荷の低減や、動きベクトルの検出精度のさらなる向上が可會になる。

[0351] 次に、図 32のフローチャートを参照して、反復勾配法演算処理の例を説明する。前段よりセレクタ 401に初期ベクトル VOが入力される。

[0352] セレクタ 401は、ステップ S301において、オフセットベクトル Vn— 1を選択し、選択したオフセットベクトル Vn— 1を、メモリ制御信号生成部 402、勾配法演算部 405、および評価値演算部 61Bに出力する。

[0353] なお、セレクタ 401は、初期ベクトル選択部 101からの初期ベクトル VOが入力された場合、入力された初期ベクトル VOを、オフセットベクトル Vn—1として選択し、遅延部 406から、勾配法演算部 405により演算され、評価判定部 412により評価された結果の動きベクトル Vが入力された場合、動きベクトル Vを、オフセットベクトル Vn— 1として選択する。

[0354] メモリ制御信号生成部 402には、信号処理装置 1の図示せぬ制御部から、処理の開始タイミングと位置情報を制御する制御信号と、セレクタ 401からのオフセットべタトルを入力される。メモリ制御信号生成部 402は、ステップ S302において、制御信号およびセレクタ 401からのオフセットベクトル Vn—1に応じて、メモリ 403に記憶されている時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1から、処理の対象となる演算ブロックの対象画素値を読み出させ、読み出した対象画素値を、有効画素判定部 404および勾配法演算部 405に供給させる。

[0355] 有効画素判定部 404は、メモリ 403から供給される対象画素値を入力すると、ステツプ S303において、有効画素判定処理を実行する。この有効画素判定処理は、図 33 を参照して詳しく後述する。

[0356] ステップ S303の有効画素判定処理により、メモリ 403から供給される対象画素値を用いて、フレーム tとフレーム t+ 1の演算ブロックの画素差分が演算されることで、演算ブロックに、勾配法の演算に有効な有効画素の数が、有効画素数カウンタ 441にカウントされる。また、演算ブロックにおいて有効な画素と判定された有効画素について、水平方向および垂直方向それぞれの勾配状態が求められ、水平勾配が無い画素の数と垂直勾配が無い画素の数力それぞれ、水平勾配無カウンタ 442および垂直勾配無カウンタ 443にカウントされる。

[0357] 勾配法継続判定部 424は、ステップ S304にお、て、有効画素数カウンタ 441に記憶されて、る値 (有効画素の数）が所定のしき、値 αより多!、か否かを判定する。ステツプ S304にお、て、有効画素の数が所定のしき!/、値 aより多、と判定された場合、勾配法継続判定部 424により、演算実行判定部 425、勾配法演算部 405およびべタトル評価部 104に、勾配法演算を実行させるカウンタフラグ (countflg= 1)が出力され、処理 ίま、ステップ S305に進む。

[0358] 勾配法継続判定部 424からカウンタフラグ (_COuntflg= l)が入力されると、演算実行判定部 425は、ステップ S305において、勾配法実行判定処理を実行する。この勾配法実行判定処理は、図 35を参照して詳しく後述する。

[0359] ステップ S305の勾配法実行判定処理により、有効画素数カウンタ 441の有効画素の数、水平勾配無カウンタ 442の水平勾配が無い画素の数、および垂直勾配無カウンタ 443の垂直勾配が無い画素の数が参照されて、有効画素における片側勾配の画素の数が多いか否かが判定され、その判定結果に応じて、勾配法演算部 405が行う勾配法演算処理を、統合型勾配法演算処理および独立型勾配法演算処理のどちらかに切り替えるための勾配フラグ (gladflg)が設定され、設定された勾配フラグが、勾配法演算部 405および評価判定部 412に出力され、処理は、ステップ S306に進む。

[0360] 一方、勾配法継続判定部 424からカウンタフラグ (_COuntflg= 1)が入力され、演算実行判定部 425から勾配フラグが入力されると、勾配法演算部 405は、ステップ S306 において、勾配法演算処理を実行する。この勾配法演算処理は、図 36を参照して詳しく後述する。

[0361] ステップ S306の勾配法演算処理により、演算実行判定部 425からの勾配フラグに応じて、有効画素を用いての統合型勾配法演算処理、または、有効画素のうち、水平方向に勾配がある画素を用いての水平方向の独立型勾配法演算処理および垂直方向に勾配がある画素を用いての垂直方向の独立型勾配法演算処理のうちの少なくともどちらか一方が実行され、動きベクトル Vnが求められ、求められた動きべタトル Vnがベクトル評価部 104に出力され、処理は、ステップ S307に進む。

[0362] ベクトル評価部 104は、ステップ S307において、ベクトル評価処理を実行する。

このベクトル評価処理は、図 39を参照して詳しく後述する。

[0363] ステップ S307のベクトル評価処理により、勾配フラグに応じて、勾配法演算部 405 から動きベクトル Vn、オフセットベクトル Vn—1、および 0ベクトルの評価値 dfvが求められ、演算実行判定部 425から勾配フラグに基づいて、動きベクトル Vnと、オフセットベクトル Vn— 1または 0ベクトルの評価値 dfvが比較され、比較結果に応じて動きべクトル Vが求められる。例えば、動きベクトル Vnとオフセットベクトル Vn— 1の評価値 df Vが比較され、動きベクトル Vnの評価値の信頼度が高いとされた場合、動きベクトル Vnは、動きベクトル Vとされて、勾配法演算の反復回数は 1カウントされる。

[0364] ベクトル評価部 104は、また、ステップ S308において、演算実行判定部 425から勾配フラグおよび勾配法演算の反復回数に基づ!/、て、勾配法演算を反復するか否かを判定する。

[0365] すなわち、ベクトル評価部 104は、勾配フラグ力統合型勾配法演算処理を実行させるフラグ (すなわち、勾配フラグ (gladflg=4)であり、かつ、勾配法演算の反復回数が設定された最大反復回数 (例えば、 2回）になっていない場合、ステップ S308において、勾配法演算を反復すると判定し、求められた動きベクトル Vを、遅延部 406に出力する。

[0366] 遅延部 406は、ベクトル評価部 104から入力される動きベクトル Vを、有効画素判定部 404および勾配法演算部 405の次の処理のサイクルまで保持し、次の処理のサイタルで、動きベクトル Vをセレクタ 401に出力する。これにより、処理は、ステップ S3 01に戻り、それ以降の処理が繰り返される。

[0367] また、ベクトル評価部 104は、勾配フラグ力統合型勾配法演算処理を実行させるフラグ以外であった場合、または、勾配法演算の反復回数が設定された最大反復回数 (例えば、 2回）になった場合、ステップ S308において、勾配法演算を反復しない、すなわち、勾配法演算を終了すると判定する。ベクトル評価部 104は、ステップ S3 10において、求められた動きベクトル Vを、検出対象ブロックに対応させて、検出べクトルメモリ 53に記憶させ、反復勾配法処理を終了する。なお、このとき、動きベクトル Vおよびその評価値 dfvは、シフト初期ベクトル割付部 105にも出力される。

[0368] 一方、ステップ S304において、有効画素数が所定のしきい値 αより少ないと判定された場合、勾配法継続判定部 424により、演算実行判定部 425、勾配法演算部 405 および評価値判定部 412に、勾配法演算を打ち切らせるカウンタフラグ (countflg=0) が出力され、処理は、ステップ S309に進む。

[0369] 演算実行判定部 425および勾配法演算部 405は、勾配法継続判定部 424からのカウンタフラグの値力^の場合、勾配法演算を実行せず、評価値判定部 412は、ステップ S309において、 0ベクトノレを、動きベクトル Vとして、ステップ S310において、動きベクトル Vを、検出対象ブロックに対応させて、検出ベクトルメモリ 53に記憶させる。なお、このときも、 0ベクトルである動きベクトル Vおよびその評価値 dfvは、シフト初期ベクトル割付部 105にも出力される。

[0370] 以上により、反復勾配法演算処理が終了され、シフト初期ベクトル割付部 105により、動きベクトル Vおよびその評価値 dfvが用いられて、シフト初期ベクトル割付処理が実行され、検出ベクトルメモリ 53に記憶された動きベクトル Vは、後段のベクトル割付部 54により用いられる。

[0371] 以上のように、有効画素判定だけでなぐ有効画素内の各方向の勾配の有無も判定し、有効画素内の片側勾配の画素の割合に応じて、勾配法演算方法の切り替え、ベクトル評価の評価 (比較)対象、および、勾配法の反復判定などを行うようにしたので、通常勾配領域だけでなぐ片側勾配領域であっても、確力もしい動きベクトルが検出されるとともに、必要以上の演算負荷が軽減される。

[0372] また、ベクトル評価部 104において、有効画素内の片側勾配の画素の割合に応じて、動きベクトル Vn、オフセットベクトル Vn—1、および 0ベクトルなどの評価値 dfvを求め、評価値 dfvが小さい、すなわち、信頼度が高いとされる動きベクトルを選択するようにしたので、光源の移動や影の通過などにより、動きを持つ物体の平均輝度レべルが大きく変化する場合であっても、後段のベクトル割付に最適な動きベクトルを与えることができ、その結果、後段のベクトル割付の精度も向上させることができる。 [0373] 次に、図 33のフローチャートを参照して、図 32のステップ S303の有効画素判定処理の詳細を説明する。

[0374] 有効画素判定部 404の画素差分算出部 421は、メモリ 403から供給される演算ブロックの対象画素値を入力すると、ステップ S321において、画素判定部 422の各部（有効画素判定部 431、水平勾配判定部 432、および垂直勾配判定部 433)を制御し、各カウンタ（有効画素数カウンタ 441、水平勾配無カウンタ 442、および垂直勾配無カウンタ 443)の値をリセットさせる。

[0375] 画素差分算出部 421の各部 (第 1空間勾配画素差分算出部 421— 1、第 2空間勾配画素差分算出部 421— 2、および時間方向画素差分算出部 421— 3)は、ステップ S322において、演算ブロック内の画素を 1つ選択し、ステップ S323において、有効画素演算処理を実行する。この有効画素演算処理は、図 34のフローチャートを参照して説明する。

[0376] 時間方向画素差分算出部 421— 3は、ステップ S351において、演算ブロック内における、選択した画素のフレーム t+ 1およびフレーム t間の時間方向の画素差分 Δ t を算出し、算出された画素のフレーム t+ 1およびフレーム t間の時間方向の画素差分 Atを、画素判定部 422に出力する。

[0377] 第 1空間勾配画素差分算出部 421— 1は、ステップ S352において、演算ブロック内における、選択した画素のフレーム t+ 1上の水平方向の画素差分 Δχおよび垂直方向の画素差分 Ayを算出し、算出された画素のフレーム t+ 1上の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ayを、画素判定部 422に出力する。

[0378] 第 2空間勾配画素差分算出部 421— 2は、ステップ S353において、演算ブロック内における、選択した画素のフレーム t上の水平方向の画素差分 Δχおよび垂直方向の画素差分 Ayを算出し、算出された画素のフレーム t上の水平方向の画素差分 Δχおよび垂直方向の画素差分 Ayを、画素判定部 422に出力する。

[0379] 画素判定部 422の有効画素判定部 431は、ステップ S354において、第 1空間勾配画素差分算出部 421— 1からの選択した画素のフレーム t+ 1上の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Δ y、第 2空間勾配画素差分算出部 421— 2 力の選択した画素のフレーム t上の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ay、並びに、時間方向画素差分算出部 421— 3からの選択した画素のフレーム t+ 1およびフレーム t間の時間方向の画素差分 A tを用いて、水平方向の着目条件である式（19)、垂直方向の着目条件である式（20)、および、水平垂直方向の着目条件である式（21)の論理演算を行う。その後、処理は、図 33のステップ S323 に戻り、ステップ S324に進む。

[0380] ステップ S324において、有効画素判定部 431は、上述した 3つの式の論理和（すなわち、式（22)を求め、式（22)が真である力否力）に基づいて、選択された画素が有効画素であるか否かを判定する。したがって、上述した式（19)乃至式（21)のうち、いずれか 1つの式を満たす場合、有効画素判定部 431は、ステップ S324において、その画素は有効画素であると判定し、ステップ S325において、有効画素数カウンタ 441の有効画素の数を 1加算する。

[0381] 水平勾配判定部 432は、有効画素判定部 431の制御のもと、ステップ S326において、有効画素判定部 431により有効画素であると判定された画素の水平方向の勾配の状態を求め、有効画素の水平方向の勾配がある力否かを判定し、有効画素の水平方向の勾配がないと判定した場合、ステップ S327において、水平勾配無カウンタ 442の水平勾配がない画素の数を 1加算する。ステップ S326において、有効画素の水平方向の勾配があると判定された場合、処理は、ステップ S327をスキップし、ステップ S328に進む。

[0382] 垂直勾配判定部 433は、有効画素判定部 431の制御のもと、ステップ S328において、有効画素判定部 431により有効画素であると判定された画素の垂直方向の勾配の状態を求め、有効画素の垂直方向の勾配がある力否かを判定し、有効画素の垂直方向の勾配がないと判定した場合、ステップ S329において、垂直勾配無カウンタ 443の垂直勾配がない画素の数を 1加算する。ステップ S328において、有効画素の垂直方向の勾配があると判定された場合、処理は、ステップ S329をスキップし、ステップ S330に進む。

[0383] ステップ S330において、画素差分算出部 421は、演算ブロック内のすべての画素の処理が終了したか否かを判定する。ステップ S330において、演算ブロック内のすベての画素の処理が終了したと判定された場合、有効画素数判定処理は終了され、処理 ίま、図 32のステップ S303に戻り、ステップ S304に進む。

[0384] ステップ S324において、上述した式（19)乃至式（21)のいずれの式も満たさず、選択された画素は有効画素ではないと判定された場合、または、ステップ S330にお V、て、演算ブロック内のすべての画素の処理がまだ終了してヽな、と判定された場合、処理は、ステップ S322に戻り、それ以降の処理が繰り返される。

[0385] 以上のようにして、有効画素数カウンタ 441には、演算ブロック内において有効であると判定された有効画素の数、水平勾配無カウンタ 442には、有効画素のうち、水平勾配がないと判定された画素の数、および垂直勾配無カウンタ 443には、有効画素のうち、垂直勾配がないと判定された画素の数が記憶される。

[0386] 次に、図 35のフローチャートを参照して、図 32のステップ S305の勾配法実行判定処理を詳しく説明する。図 35の勾配法実行判定処理は、図 34を参照して上述したように画素の数が記憶された各カウンタに基づいて、演算実行判定部 425により実行される処理である。

[0387] 演算実行判定部 425のカウンタ値演算部 451は、有効画素数カウンタ 441から、有効画素の数（cnt_t)、水平勾配無カウンタ 442から、水平方向に勾配のない画素の数 (ngcnt_x)、および垂直勾配無カウンタ 443から、垂直方向に勾配のない画素の数 (ng cntj)を取得し、ステップ S381〖こおいて、式（24)を満たすか否かを判定する。

[0388] ステップ S381において、式（24)を満たすと判定された場合、有効画素の中に、水平方向および垂直方向の勾配を持つ画素が適切に存在すると考えられる。したがつて、フラグ設定部 452は、ステップ S382において、勾配フラグの値を、式（14)を用 V、ての統合型勾配法演算処理を行わせる「4」に設定し、勾配フラグ (gladflg=4)を、勾配法演算部 405および評価判定部 412に出力し、勾配法実行判定処理を終了する。そして、処理は、図 32のステップ S305に戻り、ステップ S306に進み、勾配フラグ (gladflg=4)に応じた勾配法演算処理が実行される。

[0389] ステップ S381にお、て、式（24)を満たさな!/、と判定された場合、カウンタ値演算部 451は、ステップ S383において、式（25)かつ式（26)を満たすか否かを判定する。ステップ S383において、式（25)かつ式（26)を満たすと判定された場合、有効画素の中に、水平方向および垂直方向のどちらかに勾配がない画素が相当数含まれていると考えられる。したがって、フラグ設定部 452は、ステップ S384において、勾配フラグの値を、水平および垂直方向毎に、式（23)を用いての独立型勾配法演算処理を行わせる「0」に設定し、勾配フラグ (gladflg=0)を、勾配法演算部 405および評価判定部 412に出力し、勾配法実行判定処理を終了する。そして、処理は、図 32のステップ S305〖こ戻り、ステップ S306〖こ進み、勾配フラグ（gladflg=0)に応じた勾配法演算処理が実行される。

[0390] ステップ S383において、式（25)かつ式（26)を満たさないと判定された場合、カウンタ値演算部 451は、ステップ S385において、式（25)を満たすか否かを判定する。ステップ S385において、式（25)を満たすと判定された場合、有効画素の中に、垂直方向に勾配がない画素が多く含まれていると考えられる。したがって、フラグ設定部 452は、ステップ S386〖こおいて、勾配フラグの値を、水平方向に対しての、式（23 )を用いての独立型勾配法演算処理を行わせる「1」に設定し、勾配フラグ (gladflg= 1)を、勾配法演算部 405および評価判定部 412に出力し、勾配法実行判定処理を終了する。そして、処理は、図 32のステップ S305に戻り、ステップ S306に進み、勾配フラグ (gladflg= 1)に応じた勾配法演算処理が実行される。

[0391] ステップ S385において、式（25)を満たさないと判定された場合、カウンタ値演算部 451は、ステップ S387において、式（26)を満たすか否かを判定する。ステップ S3 87において、式（26)を満たすと判定された場合、有効画素の中に、水平方向に勾配がない画素が多く含まれていると考えられる。したがって、フラグ設定部 452は、ステツプ S388において、勾配フラグの値を、垂直方向に対しての、式（23)を用いての独立型勾配法演算処理を行わせる「2」に設定し、勾配フラグ (gladflg= 2)を、勾配法演算部 405および評価判定部 412に出力し、勾配法実行判定処理を終了する。そして、処理は、図 32のステップ S305〖こ戻り、ステップ S306〖こ進み、勾配フラグ（gladflg = 2)に応じた勾配法演算処理が実行される。

[0392] ステップ S387において、式（26)を満たさないと判定された場合、有効と判定された画素が少ないと考えられる。したがって、フラグ設定部 452は、ステップ S389において、勾配フラグの値を、勾配法演算処理を禁止させる「3」に設定し、勾配フラグ (gl adflg= 3)を、勾配法演算部 405および評価判定部 412に出力し、勾配法実行判定処理を終了する。そして、処理は、図 32のステップ S305に戻り、ステップ S306に進み、勾配フラグ (gladflg= 3)に応じた勾配法演算処理が実行される。

[0393] 以上のようにして、演算ブロックの勾配状態 (すなわち、有効画素の数、有効画素のうち、水平勾配がない画素の数、および有効画素のうち、垂直勾配がない画素の数）に応じた勾配フラグが、勾配法演算部 405および評価判定部 412に出力される。

[0394] 次に、図 36のフローチャートを参照して、勾配法演算部 405により実行される、図 3 2のステップ S306の勾配法演算処理を詳しく説明する。

[0395] 演算判定部 462の有効画素判定部 471には、勾配法継続判定部 424からのカウンタフラグ (countflg= 1)と、フラグ設定部 452からの勾配フラグが入力されている。有効画素判定部 471は、カウンタフラグが 1である場合、図 36の勾配法演算処理を開始する。

[0396] 有効画素判定部 471は、ステップ S401において、勾配フラグの値が 3であるか否かを判定し、勾配フラグの値が 3ではないと判定した場合、ステップ S402において、勾配フラグの値力である力否かを判定する。

[0397] 有効画素判定部 471は、ステップ S402において、勾配フラグの値力であると判定した場合、ステップ S403において、勾配法演算部 405の各部を制御し、統合型勾配法演算処理を実行させる。この統合型勾配法演算処理は、図 37のフローチャートを参照して後述する。

[0398] ステップ S403の統合型勾配法演算処理により、有効画素が勾配法演算の対象とされ、有効画素の水平方向の画素差分 Δ χ、垂直方向の画素差分 Ay、および時間方向の画素差分 Δ tが積算されて、積算された勾配と式（14)の最小自乗和を用いて、動きベクトル vnが求められて、ベクトル算出部 464に出力される。

[0399] ベクトル算出部 464は、ステップ S404において、セレクタ 401からのオフセットべクトル Vn—lに、統合型勾配演算部 463— 1により求められた動きベクトル vnを加算し、オフセットベクトル Vn— 1に動きベクトル vnが加算された動きベクトル Vnをベクトル評価部 104に出力する。

[0400] ステップ S404において、ベクトル算出部 464により算出された動きベクトル Vnは、ベクトル評価部 104に出力され、勾配法演算処理は終了され、処理は、図 32のステップ S306【こ戻り、ステップ S307【こ進む。

[0401] また、ステップ S402〖こお、て、勾配フラグの値が 4ではな、と判定された場合、有効画素判定部 471は、ステップ S405において、勾配フラグの値が 2であるか否かを判定する。ステップ S405において、勾配フラグの値が 2であると判定された場合、有効画素の中に、水平方向に勾配がな、画素が多く含まれて、ると考えられるので、処理は、ステップ S406をスキップし、ステップ S407〖こ進む。

[0402] すなわち、この場合、水平方向に勾配がない画素以外の有効画素を用いて、動きベクトルの水平方向成分を求めても確からしくないので、水平方向の独立型勾配法演算処理は実行されない。

[0403] 有効画素判定部 471は、ステップ S405において、勾配フラグの値が 2ではない（すなわち、勾配フラグの値は、 0か 1である）と判定した場合、ステップ S406において、水平勾配判定部 472を制御し、水平方向の独立型勾配法演算処理を実行させる。この水平方向の独立型勾配法演算処理は、図 38を参照して後述する。

[0404] ステップ S406の水平方向の独立型勾配法演算処理により、有効画素のうち、水平方向に勾配がある画素が勾配法演算の対象とされ、有効画素のうち、水平方向に勾配がある画素の水平方向の画素差分 Δ x、および時間方向の画素差分 Δ tが積算されて、積算された勾配と式（23)を用いて、動きベクトル vnの水平方向成分が求められて、ベクトル算出部 464に出力され、処理は、ステップ S407に進む。

[0405] ステップ S407において、有効画素判定部 471は、勾配フラグの値が 1であるか否かを判定する。ステップ S407において、勾配フラグの値が 1であると判定された場合、有効画素の中に、垂直方向に勾配がない画素が多く含まれていると考えられるので、処理は、ステップ S408をスキップし、ステップ S409〖こ進む。

[0406] すなわち、この場合、垂直方向に勾配がない画素以外の有効画素を用いて、動きベクトルの垂直方向成分を求めても確からしくないので、垂直方向の独立型勾配法演算処理は実行されない。

[0407] 有効画素判定部 471は、ステップ S407において、勾配フラグの値が 1ではない（すなわち、勾配フラグの値は、 0か 2である）と判定した場合、ステップ S408において、垂直勾配判定部 473を制御し、垂直方向の独立型勾配法演算処理を実行させる。なお、この垂直方向の独立型勾配法演算処理は、ステップ S406の水平方向の独立型勾配法演算処理と、対象とする方向が異なるだけであり、基本的な処理は同じであるので、図 38を参照して、独立型勾配法演算処理としてまとめて後述する。

[0408] ステップ S408の垂直方向の独立型勾配法演算処理により、有効画素のうち、垂直方向に勾配がある画素が勾配法演算の対象とされ、有効画素のうち、垂直方向に勾配がある画素の垂直方向の画素差分 Ay、および時間方向の画素差分 A tが積算されて、積算された勾配と式（23)を用いて、動きベクトル vnの垂直方向成分が求められて、ベクトル算出部 464に出力され、処理は、ステップ S409に進む。

[0409] ベクトル算出部 464には、独立型勾配演算部 463— 2より動きベクトル vnの水平方向成分および垂直方向成分の少なくとも一方が入力される。ベクトル算出部 464は、ステップ S409において、セレクタ 401からのオフセットベクトル Vn—lの対象方向成分 (水平方向成分および垂直方向成分の少なくとも一方)と、独立型勾配演算部 46 3— 2により求められた動きベクトル vnの対象方向成分を加算し、その結果である動きベクトル Vnをベクトル評価部 104に出力する。

[0410] なお、このとき、動きベクトル vnの方向成分のうち、独立型勾配演算部 463— 2より入力されない方向成分は、 0ベクトルとして算出される。すなわち、勾配フラグの値が 2である場合には、独立型勾配演算部 463— 2より動きベクトル vnの垂直方向成分が求められないので、ベクトル算出部 464は、動きベクトル vnの垂直方向成分を 0ベタトルとし、勾配フラグの値が 1である場合には、独立型勾配演算部 463— 2より動きべクトル vnの水平方向成分が求められないので、ベクトル算出部 464は、動きベクトル vn の水平方向成分を 0ベクトルとする。

[0411] ステップ S409において、ベクトル算出部 464により算出された動きベクトル Vnは、ベクトル評価部 104に出力され、勾配法演算処理は終了され、処理は、図 32のステップ S306【こ戻り、ステップ S307【こ進む。

[0412] 一方、ステップ S401において、勾配フラグの値が 3であると判定された場合、ステツプ S410において、有効画素判定部 471は、勾配法演算部 405の演算を禁止させ、勾配法演算処理を終了する。

[0413] 以上のように、有効画素に片側勾配の画素が少ない場合には、有効画素が用いられての統合型勾配法演算により動きベクトルが求められ、有効画素に片側勾配の画素が多い場合には、有効画素のうち、勾配がある方向の画素のみが用いられての独立型勾配法演算により動きベクトルが求められる。

[0414] これにより、演算ブロックに片側勾配の画素が多い場合であっても、少なくとも勾配がある方向成分の確からしい動きベクトルを得ることができる。したがって、片側勾配領域であっても、動きベクトルの検出精度が向上される。

[0415] また、片側勾配の領域に対しては、簡易的な独立型勾配法演算が行われるので、演算の負荷を抑制することができる。

[0416] 次に、図 37のフローチャートを参照して、図 36のステップ S403の統合型勾配法演算処理を詳しく説明する。

[0417] 勾配法演算部 405の画素差分算出部 461には、メモリ 403から供給される演算ブロックの対象画素値を入力されている。画素差分算出部 461の各部 (第 1空間勾配画素差分算出部 461— 1、第 2空間勾配画素差分算出部 461— 2、および時間方向画素差分算出部 461— 3)は、有効画素判定部 471の制御のもと、ステップ S421において、演算ブロック内の画素を 1つ選択し、ステップ S422に進み、有効画素演算処理を実行する。この有効画素演算処理は、図 34を参照して上述した有効画素演算処理と基本的に同様な処理であるので、その説明を省略する。

[0418] ステップ S422の有効画素演算処理により、選択した画素のフレーム t+ 1上の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ay、フレーム t上の水平方向の画素差分 Δ χおよび垂直方向の画素差分 Ay、並びに、フレーム t+ 1およびフレーム t 間の時間方向の画素差分 A tが求められ、それらを用いて、式（19)乃至式（21)の論理演算が行われる。

[0419] 有効画素判定部 471は、ステップ S423において、上述した 3つの式の論理和（すなわち、式（22)を求め、式（22)が真である力否力）に基づいて、選択された画素が有効画素であるか否かを判定する。ステップ S423において、選択された画素が有効画素ではないと判定された場合、処理は、ステップ S421に戻り、それ以降の処理が繰り返される。

[0420] 有効画素判定部 471は、ステップ S423において、有効画素であると判定した場合、その画素を勾配法の演算対象とし、その画素の水平方向の画素差分 Δ χ、垂直方向の画素差分 Ay、および時間方向の画素差分 A tを、統合型勾配演算部 463— 1 に供給し、ステップ S424において、統合型勾配演算部 463— 1を制御し、供給した勾配 (画素差分)を積算させる。

[0421] 有効画素判定部 471は、ステップ S425において、演算ブロック内のすべての画素の処理が終了したか否かを判定する。ステップ S425において、演算ブロック内のすベての画素の処理がまだ終了していないと判定された場合、処理は、ステップ S421 に戻り、それ以降の処理が繰り返される。

[0422] 有効画素判定部 471は、ステップ S425において、演算ブロック内のすべての画素の処理が終了したと判定した場合、ステップ S426において、統合型勾配演算部 463 — 1を制御し、積算された勾配を用いて、動きベクトル vnを算出させる。

[0423] すなわち、統合型勾配演算部 463— 1は、ステップ S424において、演算判定部 52 4より供給された有効画素の時間方向の画素差分 A t、水平方向の画素差分 Δ χ、および、垂直方向の画素差分 Ayを積算し、ステップ S425において演算ブロック内のすべての画素の処理が終了したと判定された場合、ステップ S426において、積算された勾配と式（14)の最小自乗和を用いて、動きベクトル vnを求め、求めた動きべタトノレ vnを、ベクトノレ算出咅464に出力する。この後、処理 ίま、図 36のステップ S403に戻り、ステップ S404に進む。

[0424] 以上のように、演算ブロックのうち、有効画素の勾配のみが積算されて、統合型勾配法演算処理が実行される。これにより、演算ブロックに対して、誤った動きベクトルが検出されることが抑制される。

[0425] 次に、図 38のフローチャートを参照して、ステップ S406および S408の独立型勾配法演算処理を詳しく説明する。なお、図 38においては、水平方向の場合を説明する力垂直方向の場合も、対象となる方向成分が異なるだけであり、水平方向の場合と基本的に同様の処理となる。

[0426] 勾配法演算部 405の画素差分算出部 461には、メモリ 403から供給される演算ブロックの対象画素値を入力されている。画素差分算出部 461の各部は、有効画素判定部 471の制御のもと、ステップ S441において、演算ブロック内の画素を 1つ選択し、ステップ S442に進み、有効画素演算処理を実行する。この有効画素演算処理も、図 34を参照して上述した有効画素演算処理と基本的に同様な処理であるので、その説明を省略する。

[0427] ステップ S442の有効画素演算処理により、選択した画素のフレーム t+ 1上の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ay、フレーム t上の水平方向の画素差分 Δ χおよび垂直方向の画素差分 Ay、並びに、フレーム t+ 1およびフレーム t 間の時間方向の画素差分 A tが求められ、それらを用いて、式（19)乃至式（21)の論理演算が行われる。

[0428] 有効画素判定部 471は、ステップ S443において、上述した 3つの式の論理和（すなわち、式（22)を求め、式（22)が真である力否力）に基づいて、選択された画素が有効画素であるか否かを判定する。ステップ S443において、選択された画素が有効画素ではないと判定された場合、処理は、ステップ S441に戻り、それ以降の処理が繰り返される。

[0429] 有効画素判定部 471は、ステップ S443において、有効画素であると判定した場合、ステップ S444において、水平勾配判定部 472を制御し、有効画素の対象方向（いまの場合、水平方向）に勾配がある力否かを判定させる。ステップ S444において、有効画素の対象方向（いまの場合、水平方向）に勾配がないと判定された場合、処理は、ステップ S441に戻り、それ以降の処理が繰り返される。

[0430] すなわち、演算ブロック内の次の画素に対しての有効画素判定および片側勾配判定が繰り返される。

[0431] 水平勾配判定部 472は、有効画素の水平方向に勾配があると判定した場合、その画素を、勾配法の演算対象とし、その画素の水平方向の画素差分 Δ χ、および時間方向の画素差分 A tを、独立型勾配演算部 463— 2に供給し、ステップ S445において、独立型勾配演算部 463— 2を制御し、供給した勾配 (画素差分)を積算させる。

[0432] 有効画素判定部 471は、ステップ S446において、演算ブロック内のすべての画素の処理が終了したか否かを判定する。ステップ S446において、演算ブロック内のすベての画素の処理がまだ終了していないと判定された場合、処理は、ステップ S441 に戻り、それ以降の処理が繰り返される。 [0433] 有効画素判定部 471は、ステップ S446において、演算ブロック内のすべての画素の処理が終了したと判定した場合、ステップ S447において、独立型勾配演算部 463 —2を制御し、積算された勾配を用いて、対象方向の動きベクトル vnを算出させる。

[0434] すなわち、独立型勾配演算部 463— 2は、ステップ S445において、水平勾配判定部 472より供給された、水平方向に勾配がある有効画素の時間方向の画素差分 A t 、および水平方向の画素差分 Δ χを積算し、ステップ S446において演算ブロック内のすベての画素の処理が終了したと判定された場合、ステップ S447において、積算された勾配と式（23)を用いて、動きベクトル vnの対象方向（水平方向）成分を求め、求めた動きベクトル vnの水平方向成分を、ベクトル算出部 464に出力する。この後、処理 ίま、図 36のステップ S406に戻り、ステップ S407に進む。

[0435] 以上のように、演算ブロックの有効画素のうち、対象方向に勾配がある画素の勾配のみが積算されて、対象方向の勾配法演算処理が実行される。これにより、演算プロックが片側勾配領域に含まれていたとしても、演算ブロックに対して、誤った動きべクトルの対象方向成分が検出されることが抑制される。

[0436] 次に、図 39のフローチャートを参照して、図 32のステップ S307のベクトル評価処理を説明する。

[0437] 評価値判定部 412は、フラグ設定部 452からの勾配フラグが入力されると、図 39のベクトル評価処理を開始する。評価値判定部 412は、ステップ S461において、勾配フラグの値が 3である力否かを判定し、勾配フラグの値が 3ではな、と判定した場合 ( すなわち、勾配法演算が実行されていると判定した場合）、ステップ S462において、評価値演算部 61Bを制御し、オフセットベクトル Vn— 1、動きベクトル Vn、および 0ベタトルの評価値演算処理を実行させる。この評価値演算処理は、図 15を参照して上述した評価値演算処理と基本的に同様の処理を行うので、その説明を省略する。

[0438] ステップ S462の評価値演算処理により、セレクタ 401からのオフセットベクトル Vn —1、統合型勾配演算部 463— 1または独立型勾配演算部 463— 2により演算され、ベクトル算出部 464により算出された動きベクトル Vn、および 0ベクトルの評価値 dfv が演算される。

[0439] 評価値判定部 412は、ステップ S463において、勾配フラグの値力であるか否かを判定し、勾配フラグの値が 4であると判定した場合 (すなわち、統合型勾配演算部 46 3—1により演算された動きベクトル Vnの場合）、ステップ S464において、ベクトル算出部 464により算出された動きベクトル Vnの評価値 dfv(n)力オフセットベクトル Vn 1の評価値 dfv(n— 1)よりも小さ、か否かを判定する。

[0440] ステップ S464において、評価値 dfv(n—l)の方力評価値 dfv(n)よりも小さい（ォフセットベクトル Vn— 1の方が、信頼性が高い）と判定された場合、評価値判定部 41 2は、ステップ S465において、オフセットベクトル Vn—1を動きベクトル Vに決定する。すなわち、動きベクトル Vは、ベクトル算出部 464により算出された動きベクトル Vn ではなぐオフセットベクトル Vn—1に変更 (修正）される。そして、評価値判定部 412 は、ステップ S466〖こおいて、勾配法演算の反復回数を最大値にし、ベクトル評価処理を終了する。

[0441] すなわち、ステップ S466においては、オフセットベクトル Vn— 1であった動きべタトル Vが用いられて勾配法演算が繰り返されても、結果は同じであるので、勾配法演算が繰り返されることがな、ように反復回数が最大値にされる。

[0442] また、ステップ S464において、評価値 dfv(n)の方力評価値 dfv (n— 1)よりも小さい（ベクトル算出部 464により算出された動きベクトル Vnの方力信頼性が高い）と判定された場合、評価値判定部 412は、ステップ S467において、ベクトル算出部 464 により算出された動きベクトル Vnを、そのまま、動きベクトル Vに決定し、ステップ S46 8において、勾配法演算の反復回数を 1加算し、ベクトル評価処理を終了する。

[0443] 一方、ステップ S463にお、て、勾配フラグの値が 4ではな、と判定された場合 (すなわち、独立型勾配演算部 463— 2により演算された動きベクトル Vnの場合）、ステップ S469において、ベクトル算出部 464により算出された動きベクトル Vnの評価値 d fv(n)力 0ベクトルの評価値 dfv(O)よりも小さいか否かを判定する。

[0444] ステップ S469において、評価値 dfv(n)の方が、評価値 dfv(O)よりも小さい（ベタトル算出部 464により算出された動きベクトル Vnの方が、信頼性が高い）と判定された場合、評価値判定部 412は、ステップ S470において、ベクトル算出部 464により算出された動きベクトル Vnを、そのまま、動きベクトル Vに決定し、ベクトル評価処理を終了する。 [0445] また、ステップ S469において、評価値 dfv(O)の方力評価値 dfv(n)よりも小さい（ 0ベクトルの方が、信頼性が高い）と判定された場合、評価値判定部 412は、ステップ S471において、 0ベクトルを、動きベクトル Vに決定し、ベクトル評価処理を終了する。すなわち、ステップ S471において、動きベクトル Vは、ベクトル算出部 464により算出された動きベクトル Vnではなぐ 0ベクトルに変更 (修正）される。

[0446] 一方、ステップ S461にお、て、勾配フラグの値が 3であると判定された場合、演算ブロックにおいて、有効画素が少ないと判定された場合であるので、ステップ S472において、 0ベクトルを、動きベクトル Vに決定し、すなわち、動きベクトル Vは、ベクトル算出部 464により算出された動きベクトル Vnではなぐ 0ベクトルに変更 (修正）され、ベクトル評価処理を終了する。

[0447] 以上のように、勾配フラグの値に基づいて、ベクトル評価における比較対象を切り替えて、動きベクトルを評価し、評価結果に応じて、動きベクトルを変更 (修正)するようにしたので、演算ブロック内の勾配の状態に応じた精度のよい動きベクトルを検出することができる。

[0448] なお、上記説明においては、有効画素を判定した後に、水平勾配および垂直勾配を判定して、有効画素内の勾配状態 (すなわち、水平勾配、または垂直勾配のみ有する画素の割合)を求め、それに基づいて、勾配法実行判定を行う場合を説明した力以下に説明するように、有効画素を判定する条件式である式（19)乃至式 (21) を用いて水平勾配、または垂直勾配のみ有する画素の割合を求め、それに基づいて、勾配法実行判定を行うこともできる。

[0449] 図 40は、図 26の有効画素判定部の画素判定部、カウンタ、および演算実行判定部の他の構成例を示すブロック図である。

[0450] 図 40の例の画素判定部 422は、有効画素判定部 431を備える点が、図 26の画素判定部 422と共通するが、水平勾配判定部 432と垂直勾配判定部 433が除かれた点が、図 26の画素判定部 422と異なっている。なお、図 40の例において、有効画素判定部 431は、さらに、水平垂直勾配判定部 431— 1、水平勾配判定部 431— 2、および垂直勾配判定部 431— 3により構成されて、る。

[0451] 水平垂直勾配判定部 431— 1は、式（21)を用いて、演算ブロック内の画素が水平垂直着目条件を満たすカゝ否カゝどうかを判定し、演算ブロック内の画素が水平垂直着目条件を満たすと判定した場合、すなわち、垂直方向および水平方向に勾配を有し、水平および垂直方向の動きに類似性があることから、水平勾配および垂直勾配 (以下、水平垂直勾配とも称する）があると判定し、水平垂直勾配カウンタ 481の値 (水平勾配および垂直勾配がある画素の数)を 1加算するとともに、有効画素数カウンタ 44 1の値を 1加算する。

[0452] 水平勾配判定部 431— 2は、式（19)を用いて、演算ブロック内の画素が水平着目条件を満たす力否力どうかを判定し、演算ブロック内の画素が水平着目条件を満たすと判定した場合、すなわち、水平勾配が垂直勾配よりもある程度大きぐより支配的であり、かつ、水平方向の動きに類似性があることから、水平勾配があると判定し、水平勾配カウンタ 482の値 (水平勾配がある画素の数)を 1加算するとともに、有効画素数カウンタ 441の値を 1加算する。

[0453] 垂直勾配判定部 431— 3は、式（20)を用いて、演算ブロック内の画素が垂直着目条件を満たす力否力どうかを判定し、演算ブロック内の画素が垂直着目条件を満たすと判定した場合、すなわち、垂直勾配が水平勾配よりもある程度大きぐより支配的であり、かつ、垂直方向の動きに類似性があるとされ、垂直勾配があると判定し、垂直勾配カウンタ 483の値 (垂直勾配がある画素の数)を 1加算するとともに、有効画素数カウンタ 441の値を 1加算する。

[0454] 図 40の例のカウンタ 423は、有効画素カウンタ 441を有する点力図 26のカウンタ 423と共通する力水平勾配無カウンタ 442および垂直勾配無カウンタ 443が除かれた点、水平垂直勾配カウンタ 481、水平勾配カウンタ 482、および垂直勾配無カウンタ 483が追加された点力図 26のカウンタ 423と異なっている。

[0455] 水平垂直勾配カウンタ 481は、演算ブロック毎に、水平垂直勾配判定部 431— 1により、水平勾配および垂直勾配 (以下、水平垂直勾配とも称する）があると判定された画素（有効画素）の数を記憶する。水平勾配カウンタ 482は、演算ブロック毎に、水平勾配判定部 431— 2により、水平勾配があると判定された画素 (有効画素）の数を記憶する。垂直勾配カウンタ 483は、演算ブロック毎に、垂直勾配判定部 431— 3により、垂直勾配があると判定された画素 (有効画素）の数を記憶する。 [0456] 図 40の例の演算実行判定部 425は、フラグ設定部 452を備える点が、図 29の演算実行判定部 425と共通するが、カウンタ値演算部 451の代わりに、カウンタ値演算部 491が追加された点力図 26の演算実行判定部 425と異なっている。

[0457] カウンタ値演算部 491は、勾配法継続判定部 424からのカウンタフラグの値が 1であるとき、カウンタ 423 (有効画素数カウンタ 441、水平垂直勾配カウンタ 481、水平勾配カウンタ 482、および垂直勾配無カウンタ 483)から、有効画素の数（cnt_t)、水平方向および垂直方向に勾配のある画素の数（cnt_xy)、水平方向に勾配のある画素の数（cnt_x)、および垂直方向に勾配のある画素の数（cntj)を取得して、演算ブロックにおける有効画素と、有効画素のうちの片側勾配の画素の割合を演算し、割合の演算結果に応じて、フラグ設定部 452が設定する勾配フラグの値を制御する。

[0458] すなわち、カウンタ値演算部 491は、有効画素の数 (cnt_t)、水平垂直方向に勾配のある画素の数（cnt_xy)、水平方向に勾配のある画素の数（cnt_x)、および垂直方向に勾配のある画素の数 (cnt_y)を用いた次の式（27)乃至式（30)を用いて、勾配法実行判定処理を行う。

[0459] [数 26]

cnt_t≥px l_a · th4

•••(27)

[数 27]

cnt_xy

—— ^r-^≤px i a · tho

cnt_t -

•••(28)

[数 28]

cnt— x 、

—— ^r-≥px l a · tho

cnt— t -

•••(29)

[数 29]

cnt_y 、

—— ^r-≥px l a · th /

cnt t ― • · · (30)

[0460] ここで、 pxLaは、演算ブロック内の全画素数を表しており、 ·は、乗算、 th4乃至 th7 は、それぞれ異なる 1未満の所定のしきい値を表している。なお、 th4 >th5, th6, t h7である。

[0461] まず、式 (27)を満たさないと判定された場合、または、式 (27)を満たすが、式 (28 )乃至式 (30)を満たさないと判定された場合、演算ブロック内に、有効と判定された画素が少なぐ勾配法演算を行うことが困難な状態であると考えられる。そこで、カウンタ値演算部 491は、勾配フラグ (gladflg= 3)を付加し、勾配法演算部 405に、演算を行わせず、動き無し (0ベクトル）とさせる。

[0462] 式 (27)を満たし、さらに、式 (28)を満たすと判定された場合、有効画素の中に、水平方向および垂直方向の勾配を持つ（通常の勾配がある)ものが適切に存在する状態だと考えられる。そこで、カウンタ値演算部 491は、勾配フラグ (gladflg=4)を設定し、勾配法演算部 405に、式（14)を用いての統合型勾配法演算を実行させる。

[0463] 式 (27)を満たし、式 (28)を満たさな!/ヽが、式 (29)を満たすと判定された場合、有効画素の中に、垂直方向に勾配がな、画素が多く含まれて、ることが考えられる。そこで、カウンタ値演算部 491は、勾配フラグ (gladflg= l)を付加し、勾配法演算部 4 05に、垂直方向の動きに関しては演算を行わせず、動き無し (0ベクトル）とさせ、水平方向の動きのみに対して、式（23)を用いての勾配法演算を実行させる。なお、このときの勾配法演算には、水平方向に勾配が存在する有効画素のみが使用される。

[0464] 式（27)を満たし、式（28)および式（29)を満たさな!/、が、式（30)を満たすと判定された場合、有効画素の中に、水平方向に勾配がない画素が多く含まれていることが考えられる。そこで、カウンタ値演算部 491は、勾配フラグ (gladflg= 2)を付加し、勾配法演算部 405に、水平方向の動きに関しては演算を行わせず、動き無し (0ベタトル）とさせ、垂直方向の動きのみに対して、式（23)を用いての勾配法演算を実行させる。なお、このときの勾配法演算には、垂直方向に勾配が存在する有効画素のみが使用される。

[0465] 図 41は、図 40の有効画素判定部に対応する勾配法演算部の演算判定部の構成例を示す図である。 [0466] すなわち、図 41の例の演算判定部 462は、有効画素判定部 471を備える点が、図 27の演算判定部 462と共通するが、水平勾配判定部 472と垂直勾配判定部 473が除かれた点が、図 27の演算判定部 462と異なっている。なお、図 41の例において、有効画素判定部 471は、さらに、水平垂直勾配判定部 471— 1、水平勾配判定部 4 71 - 2,および垂直勾配判定部 471— 3により構成されて！、る。

[0467] 水平垂直勾配判定部 471— 1、水平勾配判定部 471— 2、および垂直勾配判定部 471— 3は、それぞれ、勾配フラグの値に基づいて、勾配法演算処理の方法を判定する。

[0468] すなわち、水平垂直勾配判定部 471— 1は、勾配フラグの値に基づいて、統合型勾配演算部 463— 1で勾配法演算処理を行うと判定した場合、式 (21)を用いて、演算ブロック内の画素が水平垂直着目条件を満たす力否かどうかを判定し、水平垂直着目条件を満たすと判定した画素の勾配 (画素差分)を統合型勾配演算部 463— 1 に供給する。

[0469] 水平垂直勾配判定部 471— 1は、勾配フラグの値に基づいて、独立型勾配演算部 463— 2で勾配法演算処理を行うと判定した場合、式（21)を用いて、演算ブロック内の画素が水平垂直着目条件を満たすか否かどうかを判定し、水平垂直着目条件を満たすと判定した画素の勾配 (画素差分)を独立型勾配演算部 463— 2に供給する

[0470] 水平勾配判定部 471— 2は、勾配フラグの値に基づいて、統合型勾配演算部 463

1で勾配法演算処理を行うと判定した場合、式（19)を用いて、演算ブロック内の画素が水平着目条件を満たすカゝ否かどうかを判定し、水平着目条件を満たすと判定した画素の勾配 (画素差分)を統合型勾配演算部 463— 1に供給する。

[0471] 水平勾配判定部 471— 2は、勾配フラグの値に基づいて、独立型勾配演算部 463

2で、水平方向に対しての勾配法演算処理を行うと判定した場合、式（19)を用いて、演算ブロック内の画素が水平着目条件を満たすか否力どうかを判定し、水平着目条件を満たすと判定した画素の勾配 (画素差分)を独立型勾配演算部 463— 2に供給する。すなわち、垂直方向に対しての勾配法演算処理を行うと判定した場合、水平勾配判定部 471— 2により水平着目条件を満たすと判定した画素の勾配 (画素差分)は、独立型勾配演算部 463— 2に供給されない。

[0472] 垂直勾配判定部 471— 3は、勾配フラグの値に基づいて、統合型勾配演算部 463

1で勾配法演算処理を行うと判定した場合、式（20)を用いて、演算ブロック内の画素が垂直着目条件を満たすカゝ否かどうかを判定し、垂直着目条件を満たすと判定した画素の勾配 (画素差分)を統合型勾配演算部 463— 1に供給する。

[0473] 垂直勾配判定部 471— 3は、勾配フラグの値に基づいて、独立型勾配演算部 463

2で、垂直方向に対しての勾配法演算処理を行うと判定した場合、式（20)を用いて、演算ブロック内の画素が垂直着目条件を満たすか否力どうかを判定し、垂直着目条件を満たすと判定した画素の勾配 (画素差分)を独立型勾配演算部 463— 2に供給する。すなわち、水平方向に対しての勾配法演算処理を行うと判定した場合、垂直勾配判定部 471— 3により垂直着目条件を満たすと判定した画素の勾配 (画素差分)は、独立型勾配演算部 463— 2に供給されない。

[0474] これらに対応して、統合型勾配演算部 463— 1は、水平垂直勾配判定部 471— 1、水平勾配判定部 471— 2、および垂直勾配判定部 471— 3がそれぞれ条件式を満たすと判定した画素 (すなわち、有効画素)の勾配を用いて、統合型勾配法演算を行

[0475] 独立型勾配演算部 463— 2は、水平垂直勾配判定部 471— 1、および水平勾配判定部 471— 2がそれぞれ条件式を満たすと判定した画素 (すなわち、有効画素のうちの水平勾配がある画素）の勾配を用いて、水平方向の独立型勾配法演算を行い、水平垂直勾配判定部 471— 1、および垂直勾配判定部 471— 3がそれぞれ条件式を満たすと判定した画素（すなわち、有効画素のうちの垂直勾配がある画素）の勾配を用いて、垂直方向の独立型勾配法演算を行う。

[0476] 次に、図 42のフローチャートを参照して、図 40の有効画素判定部 404が行う有効画素判定処理を説明する。なお、図 42は、図 32のステップ S303において行われる図 33を参照して上述した有効画素判定処理の他の例であり、図 42のステップ S501 乃至 S503、および S511の処理は、図 33のステップ S321乃至 S323、および S330 の処理と基本的に同じ処理を行うので、その詳細な説明は適宜省略する。

[0477] 画素差分算出部 421は、メモリ 403から供給される演算ブロックの対象画素値を入力すると、ステップ S501において、有効画素判定部 431を制御し、各カウンタ (有効画素数カウンタ 441、水平垂直勾配カウンタ 481、水平勾配カウンタ 482、および垂直勾配カウンタ 483)の値をリセットさせる。

[0478] 画素差分算出部 421の各部 (第 1空間勾配画素差分算出部 421— 1、第 2空間勾配画素差分算出部 421— 2、および時間方向画素差分算出部 421— 3)は、ステップ S502において、演算ブロック内の画素を 1つ選択し、ステップ S503に進み、有効画素演算処理を実行する。この有効画素演算処理は、図 34を参照して上述したのでその説明は省略する。

[0479] ステップ S503の有効画素演算処理により、選択した画素のフレーム t+ 1上の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ay、フレーム t上の水平方向の画素差分 Δ χおよび垂直方向の画素差分 Ay、並びに、フレーム t+ 1およびフレーム t 間の時間方向の画素差分 A tが算出され、それらを用いて、水平勾配判定部 431— 2により、水平方向の着目条件である式（19)、垂直勾配判定部 431— 3により、垂直方向の着目条件である式（20)、および、水平垂直勾配判定部 431— 1により、水平垂直方向の着目条件である式 (21)の論理演算が行われる。その後、処理は、図 42 のステップ S503【こ戻り、ステップ S504【こ進む。

[0480] ステップ S504において、水平垂直勾配判定部 431— 1は、選択された画素が水平垂直方向の着目条件 (式 (21) )を満たして、るか否かを判定し、選択された画素が水平垂直方向の着目条件を満たしていると判定した場合、ステップ S505において、水平垂直勾配カウンタ 481の水平垂直勾配がある画素の数を 1加算し、ステップ S51 0において、有効画素数カウンタ 441の有効画素の数を 1加算する。

[0481] ステップ S504において、水平垂直方向の着目条件を満たしていないと判定された場合、水平勾配判定部 431—2は、ステップ S506において、選択された画素が水平着目条件 (式（19) )を満たすか否かを判定し、選択された画素が水平方向の着目条件を満たしていると判定した場合、ステップ S507において、水平勾配カウンタ 482の水平勾配がある画素の数を 1加算し、ステップ S510において、有効画素数カウンタ 4 41の有効画素の数を 1加算する。

[0482] ステップ S506にお、て、水平方向の着目条件を満たして!/、な、と判定された場合、垂直勾配判定部 431— 3は、ステップ S508において、選択された画素が垂直着目条件 (式 (20) )を満たすか否かを判定し、選択された画素が垂直方向の着目条件を満たしていると判定した場合、ステップ S509において、垂直勾配カウンタ 483の垂直勾配がある画素の数を 1加算し、ステップ S510において、有効画素数カウンタ 441 の有効画素の数を 1加算する。

[0483] ステップ S510において有効画素の数が 1加算された後、処理は、ステップ S511に進み、画素差分算出部 421は、演算ブロック内のすべての画素の処理が終了したか否かを判定する。ステップ S510において、演算ブロック内のすべての画素の処理が終了したと判定された場合、有効画素数判定処理は終了され、処理は、図 32のステップ S303【こ戻り、ステップ S304【こ進む。

[0484] ステップ S508にお、て、水平方向の着目条件を満たして!/、な、と判定された場合

(すなわち、上述した式（19)乃至式 (21)のいずれの式も満たさず、選択された画素は有効画素ではないと判定された場合）、または、ステップ S511において、演算プロック内のすべての画素の処理がまだ終了していないと判定された場合、処理は、ステップ S502に戻り、それ以降の処理が繰り返される。

[0485] 以上のようにして、有効画素数カウンタ 441には、演算ブロック内において有効であると判定された有効画素の数、水平垂直勾配カウンタ 481には、有効画素のうち、水平垂直勾配がある（より詳細には、垂直方向および水平方向に勾配を有し、水平および垂直方向の動きに類似性がある）と判定された画素の数、水平勾配カウンタ 482には、有効画素のうち、水平勾配がある（より詳細には、水平勾配が垂直勾配よりもある程度大きぐより支配的であり、かつ、水平方向の動きに類似性がある）と判定された画素の数、および垂直勾配カウンタ 483には、有効画素のうち、垂直勾配がある（より詳細には、垂直勾配が水平勾配よりもある程度大きぐより支配的であり、かつ、垂直方向の動きに類似性がある）と判定された画素の数が記憶される。

[0486] 次に、図 43のフローチャートを参照して、図 32のステップ S305の勾配法実行判定処理を詳しく説明する。図 43の勾配法実行判定処理は、図 35を参照して上述した勾配法実行判定処理の他の例であり、上述したように画素の数が記憶された各カウンタに基づいて、図 40の演算実行判定部 425により実行される処理である。 [0487] 図 40のカウンタ値演算部 491は、有効画素数カウンタ 441から、有効画素の数（cn U)、水平垂直勾配カウンタ 481から、有効画素のうち、水平垂直勾配があると判定された画素の数（cnt_xy)、水平勾配カウンタ 482から、有効画素のうち、水平勾配があると判定された画素の数 (cnt_x)、および垂直勾配カウンタ 483から、有効画素のうち、垂直勾配があると判定された画素 (ngcntjを取得し、ステップ S521において、式（ 27)を満たすか否かを判定する。

[0488] ステップ S521において、式（27)を満たすと判定された場合、演算ブロック内に、有効画素が適切に存在すると考えられ、カウンタ値演算部 491は、ステップ S522において、式 (28)を満たす力否かを判定する。

[0489] ステップ S522において、式（28)を満たすと判定された場合、有効画素の中に、水平方向および垂直方向の勾配を持つ（通常の勾配がある)ものが適切に存在する状態だと考えられる。したがって、フラグ設定部 452は、ステップ S523において、水平および垂直方向に信用があるとして、勾配フラグの値を、式（14)を用いての統合型勾配法演算処理を行わせる「4」に設定し、勾配フラグ (gladflg=4)を、勾配法演算部 405および評価判定部 412に出力し、勾配法実行判定処理を終了する。そして、処理は、図 32のステップ S305に戻り、ステップ S306に進み、勾配フラグ（gladflg=4) に応じた勾配法演算処理が実行される。

[0490] ステップ S522において、式（28)を満たさないと判定された場合、カウンタ値演算部 491は、ステップ S524において、式（29)を満たすか否かを判定する。ステップ S5 24において、式（29)を満たすと判定された場合、有効画素の中に、垂直方向に勾配がない画素が多く含まれていると考えられる。したがって、フラグ設定部 452は、ステツプ S525において、水平方向に対しての信用があるとして、勾配フラグの値を、水平方向に対しての、式（23)を用いての独立型勾配法演算処理を行わせる「1」に設定し、勾配フラグ (gladflg= l)を、勾配法演算部 405および評価判定部 412に出力し、勾配法実行判定処理を終了する。そして、処理は、図 32のステップ S305に戻り、ステップ S306に進み、勾配フラグ (gladflg= l)に応じた勾配法演算処理が実行される。

[0491] ステップ S524において、式（29)を満たさないと判定された場合、カウンタ値演算部 451は、ステップ S526において、式（30)を満たすか否かを判定する。ステップ S5 24において、式（30)を満たすと判定された場合、有効画素の中に、水平方向に勾配がない画素が多く含まれていると考えられる。したがって、フラグ設定部 452は、ステツプ S527において、垂直方向に対しての信用があるとして、勾配フラグの値を、垂直方向に対しての、式（23)を用いての独立型勾配法演算処理を行わせる「2」に設定し、勾配フラグ (gladflg= 2)を、勾配法演算部 405および評価判定部 412に出力し、勾配法実行判定処理を終了する。そして、処理は、図 32のステップ S305に戻り、ステップ S306に進み、勾配フラグ (gladflg= 2)に応じた勾配法演算処理が実行される。

[0492] ステップ S521〖こおいて、式（27)を満たさないと判定された場合、あるいは、ステツプ S526において、式（30)を満たさないと判定された場合、演算ブロック内に、有効と判定された画素が少ないと考えられる。したがって、フラグ設定部 452は、ステップ S528において、勾配フラグの値を、勾配法演算処理を禁止させる「3」に設定し、勾配フラグ (gladflg= 3)を、勾配法演算部 405および評価判定部 412に出力し、勾配法実行判定処理を終了する。そして、処理は、図 32のステップ S305に戻り、ステツプ S306に進み、勾配フラグ (gladflg= 3)に応じた勾配法演算処理が実行される。

[0493] 以上のようにして、演算ブロックの勾配状態 (すなわち、有効画素の数、有効画素のうち、水平垂直勾配がある画素の数、水平勾配がある画素の数、および有効画素のうち、垂直勾配がある画素の数）に応じた勾配フラグが、勾配法演算部 405および評価判定部 412に出力される。

[0494] 以上のように、図 40の有効画素判定部 404にお、ては、有効画素を判定する条件式である式（19)乃至式（21)を用いて水平勾配、または垂直勾配のみ有する画素の割合を求め、それに基づいて、勾配法実行判定を行うようにしたので、水平勾配、垂直勾配を改めて求める必要がない。したがって、上述した図 26の有効画素判定部 4 04の場合に較べて、演算の負荷を軽減することができる。

[0495] 次に、図 44のフローチャートを参照して、図 41の勾配法演算部 405が行う処理のうち、独立型勾配法演算処理の詳細を説明する。なお、図 41の勾配法演算部 405が行う勾配法演算処理は、ステップ S406および S408の独立型勾配法演算処理以外は、図 36を参照して上述した図 27の勾配法演算部 405が行う勾配法演算処理と基本的に同様の処理であるので、その説明を省略する。

[0496] すなわち、図 44は、図 36のステップ S406または S408において行われる図 38を参照して上述した独立型勾配法処理の他の例であり、図 44のステップ S531、 S532 、 S534乃至 S536の処理は、図 38のステップ S441、 S442、 S445乃至 S447の処理と基本的に同じ処理を行うので、その詳細な説明は適宜省略する。

また、図 44においても、水平方向の場合を説明するが、垂直方向の場合も、対象となる方向成分が異なるだけであり、水平方向の場合と基本的に同様の処理となる。

[0497] 図 41の画素差分算出部 461の各部は、有効画素判定部 471の制御のもと、ステツプ S531において、演算ブロック内の画素を 1つ選択し、ステップ S532に進み、有効画素演算処理を実行する。この有効画素演算処理は、図 34を参照して上述した有効画素演算処理と基本的に同様な処理であるので、その説明は省略する。

[0498] ステップ S532の有効画素演算処理により、選択した画素のフレーム t+ 1上の水平方向の画素差分 Δ Xおよび垂直方向の画素差分 Ay、フレーム t上の水平方向の画素差分 Δ χおよび垂直方向の画素差分 Ay、並びに、フレーム t+ 1およびフレーム t 間の時間方向の画素差分 A tが求められ、それらを用いて、水平勾配判定部 471— 2により、水平方向の着目条件である式（19)、垂直勾配判定部 471— 3により、垂直方向の着目条件である式（20)、および、水平垂直勾配判定部 471— 1により、水平垂直方向の着目条件である式 (21)の論理演算が行われる。その後、処理は、図 44 のステップ S532【こ戻り、ステップ S533【こ進む。

[0499] ステップ S533において、水平垂直勾配判定部 471— 1および水平勾配判定部 47 1—2は、選択された画素が対象方向（いまの場合、水平方向）に勾配がある力否かを判定する。すなわち、水平垂直勾配判定部 471— 1が、選択された画素が水平垂直方向の着目条件 (式 (21) )を満たして、るか否かを判定し、水平勾配判定部 471 2が、選択された画素が水平着目条件 (式（19) )を満たす力否かを判定し、水平垂直勾配判定部 471— 1により選択された画素が水平垂直方向の着目条件を満たしていると判定された場合、または、水平勾配判定部 471—2により、選択された画素が水平着目条件を満たしてヽると判定された場合、選択された画素が水平方向に勾配があると判定され、処理は、ステップ S534に進む。

[0500] また、ステップ S533において、水平垂直勾配判定部 471— 1により選択された画素が水平垂直方向の着目条件を満たしていないと判定され、かつ、水平勾配判定部 471— 2により、選択された画素が水平着目条件を満たして!/ヽなヽと判定された場合、選択された画素が水平方向に勾配がないと判定され、処理は、ステップ S531に戻り、それ以降の処理が繰り返される。

[0501] なお、垂直方向の場合には、水平垂直勾配判定部 431— 1により選択された画素が水平垂直方向の着目条件を満たしていると判定された場合、または、垂直勾配判定部 431— 3により、選択された画素が垂直着目条件を満たしていると判定された場合、選択された画素が垂直方向に勾配があると判定される。

[0502] 水平垂直勾配判定部 471— 1または水平勾配判定部 471— 2は、ステップ S533において水平勾配があると判定した画素を、勾配法の演算対象とし、その画素の水平方向の画素差分 Δ χ、および時間方向の画素差分 A tを、独立型勾配演算部 463— 2に供給し、ステップ S534において、独立型勾配演算部 463— 2を制御し、供給した勾配 (画素差分)を積算させる。

[0503] 水平垂直勾配判定部 471— 1は、ステップ S535において、演算ブロック内のすべての画素の処理が終了したか否かを判定する。ステップ S535において、演算ブロック内のすべての画素の処理がまだ終了していないと判定された場合、処理は、ステツプ S441に戻り、それ以降の処理が繰り返される。

[0504] 水平垂直勾配判定部 471— 1は、ステップ S535において、演算ブロック内のすべての画素の処理が終了したと判定した場合、ステップ S536において、独立型勾配演算部 463— 2を制御し、積算された勾配を用いて、動きベクトル vnの水平方向成分を算出させる。

[0505] 独立型勾配演算部 463— 2は、ステップ S536において、積算された勾配と式（23) を用いて、動きベクトル vnの対象方向（水平方向）成分を求め、求めた動きベクトル V nの水平方向成分を、ベクトル算出部 464に出力する。この後、処理は、図 36のステップ S406【こ戻り、ステップ S407【こ進む。

[0506] 以上により、図 41の勾配法演算部 405においても、図 37の勾配法演算部 405の場合と同様に、演算ブロックの有効画素のうち、対象方向に勾配がある画素の勾配のみが積算されて、対象方向の勾配法演算処理が実行される。これにより、演算プロックが片側勾配領域であったとしても、演算ブロックに対して、誤った動きベクトルの対象方向成分が検出されることが抑制される。

[0507] 以上のように、演算ブロックにおいて、有効画素を判定するだけでなぐ有効画素の中から、水平勾配または垂直勾配のどちらかのみが存在する片側勾配の画素を判定し、有効画素中の片側勾配の画素の割合に基づいて、勾配法演算を切り替えたり、評価対象のベクトルを切り替えたり、反復判定を行うようにしたので、有効画素を判定するのみの場合よりも、特に、片側勾配領域においての動きベクトルの検出精度が向上する。

[0508] 次に、図 45を参照して、図 17のベクトル検出部 52の他の構成例について説明する

[0509] 上述したように、図 17のベクトル検出部 52において求められた動きベクトル Vは、検出ベクトルメモリ 53に、後段の割付処理で用いられる動きベクトル (以下、検出べクトルとも称する）として記憶されるとともに、初期ベクトル選択部 101により、初期候補ベクトル (初期ベクトルの候補ベクトル）としても用いられる。これに対して、図 45のべタトル検出部 52においては、後段のベクトル割付処理で用いられる検出ベクトルと、初期ベクトル選択処理で用いられる初期候補ベクトルを別々に保存するように構成されている。

[0510] 図 45のベクトル検出部 52は、プリフィルタ 102— 1および 102— 2、シフト初期べタトル割付部 105、評価値メモリ 106、およびシフト初期ベクトルメモリ 107を備える点力図 17のベクトル検出部 52と共通する力初期ベクトル選択部 101が初期ベクトル選択部 521に入れ替わった点、反復勾配法演算部 103が反復勾配法演算部 522に入れ替わった点、ベクトル評価部 104がベクトル評価部 523に入れ替わった点、および初期候補ベクトルメモリ 524が追加された点力図 17のベクトル検出部 52と異なっている。

[0511] なお、初期ベクトル選択部 521は、過去に求められた周辺のブロックの動きベクトルを、検出ベクトルメモリ 53ではなぐ初期候補ベクトルメモリ 524から取得する点が異なるだけであり、図 17のベクトル選択部 101と基本的な構成が同様であるので、その詳細な説明は省略する。

[0512] 図 45の例において、反復勾配法演算部 522は、図 17の反復勾配法演算部 103と同様に、構成されており、初期ベクトル選択部 101から入力された初期ベクトル VOと、プリフィルタ 102—1および 102— 2を介して入力されるフレーム tおよびフレーム t + 1を用いて、所定のブロック毎に、勾配法により、動きベクトル Vnを算出する。このとき、反復勾配法演算部 522は、勾配法の対象として用いる有効画素の数を、所定のしき、値 aだけでなく、所定のしき、値 |8 ( |8 < α )とも比較して、その比較結果に応じたカウンタフラグ (countflg)を、ベクトル評価部 523に供給する。

[0513] また、反復勾配法演算部 522は、反復勾配法演算部 103と同様に、初期ベクトル V 0と、算出された動きベクトル Vnをベクトル評価部 523に出力し、ベクトル評価部 104 による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きべクトル Vnを算出する。なお、反復勾配法演算部 522の詳細は、ベクトル評価部 523の詳細とともに、図 46を参照して後述する。

[0514] ベクトル評価部 523は、図 17のベクトル評価部 104と同様に、評価値演算部 61B を有しており、評価値演算部 61Bに、反復勾配法演算部 103からの動きベクトル Vn 1 (または初期ベクトル V0)と、動きベクトル Vnの評価値 dfvを求めさせ、評価値演算部 61Bにより求められた評価値 dfvに基づいて、反復勾配法演算部 522を制御し、勾配法の演算を繰り返し実行させ、最終的に、評価値 dfvに基づぐ信頼性の高いものを選択する。

[0515] このとき、ベクトル評価部 523は、反復勾配法演算部 522からの動きベクトル Vn— 1 (または初期ベクトル V0)、動きベクトル Vn、または 0ベクトルの中から、反復勾配法演算部 522からのカウンタフラグおよび各ベクトルの評価値 dfvに応じて、後段にお V、て割付処理に用いられる検出ベクトル Veと、初期ベクトル選択部 521にお、て初期ベクトル選択の際に用いられる初期候補ベクトル _Vicをそれぞれ求める。そして、ベクトル評価部 523は、求めた検出ベクトル Veを検出ベクトルメモリ 53に記憶させるとともに、求めた初期候補ベクトル Vicを、初期候補ベクトルメモリ 524に記憶させる。

[0516] 初期候補ベクトルメモリ 524には、ベクトル評価部 523により求められた初期候補べタトル Vic力検出対象ブロックに対応して、記憶される。

[0517] 図 46は、反復勾配法演算部 522およびベクトル評価部 523の構成を示すブロック図である。

[0518] 図 46の反復勾配法演算部 522は、セレクタ 401、メモリ制御信号生成部 402、メモリ 403、勾配法演算部 405、および遅延部 406を備える点が、図 25の反復勾配法演算部 103と共通するが、有効画素判定部 404が、有効画素判定部 531に入れ替わつた点力図 25の反復勾配法演算部 103と異なっている。

[0519] すなわち、有効画素判定部 531は、有効画素判定部 404と同様に、メモリ 403から供給される対象画素値を用いて、例えば、フレーム tとフレーム t+ 1の演算ブロックの画素差分を演算することで、演算ブロックに、勾配法の演算に有効な画素の数が所定のしきい値より多いか否かを判定し、その判定結果に応じたカウンタフラグ (countfl g)を、勾配法演算部 405およびベクトル評価部 523に供給する。

[0520] このとき、有効画素判定部 531による勾配法の演算に有効な画素の数の判定には、所定のしき、値 αと所定のしき Mfi jS ( α > β )の 2種類のしき、値が用いられる。

[0521] 有効画素判定部 531は、演算ブロックに、勾配法の演算に有効な画素の数が所定のしき!/、値 aより多、と判定した場合、カウンタフラグ (countflg= 1)を勾配法演算部 405およびベクトル評価部 523に供給し、演算ブロックに、勾配法の演算に有効な画素の数が所定のしき、値 exより少なく、所定のしき、値 |8よりも多、と判定した場合、カウンタフラグ（countflg= 10)を勾配法演算部 405およびベクトル評価部 523に供給し、演算ブロックに、勾配法の演算に有効な画素の数が所定のしきい値 j8より少な Vヽと判定した場合、カウンタフラグ (countflg= 0)を勾配法演算部 405およびベクトル評価部 523に供給する。

[0522] また、有効画素判定部 531は、有効画素判定部 404と同様に、演算ブロックにおいて有効な画素と判定された画素について、水平方向および垂直方向それぞれの勾配状態を求め、水平方向または垂直方向のどちらか一方にのみ勾配がある画素の割合が多いか否力も判定し、その判定結果に応じた勾配フラグ (gladflg)を、勾配法演算部 405およびベクトル評価部 523に供給する。

[0523] 図 46のベクトル評価部 523は、評価値演算部 61Bと備える点は、図 25のベクトル評価部 104と共通する力評価判定部 412が評価判定部 541に入れ替わった点力図 25のベクトル評価部 104と異なっている。

[0524] 評価値判定部 523は、有効画素判定部 531から供給されるカウンタフラグおよび勾配フラグに基づいて、勾配法演算処理を反復させる力否かを判定したり、検出べタトル Veと初期候補ベクトル Vicとをそれぞれ求める。

[0525] すなわち、評価値判定部 523は、必要に応じて、評価値演算部 61Bに演算させた評価値 dfvを比較することにより、信頼性の高いものを選択して変更することで、動きベクトル Vを求め、有効画素判定部 531からカウンタフラグ (countflg= 1)が供給された場合 (すなわち、有効画素の数が、所定のしきい値 αよりも多い場合)、勾配法演算処理を反復させるか否かを判定し、反復させると判定した場合、求めた動きべタトル Vを、遅延部 406に出力する。

[0526] また、評価値判定部 523は、勾配法演算処理を反復させない場合、求めた動きべタトル Vまたは 0ベクトルを、カウンタフラグの値に応じて、検出ベクトル Veとして、検出ベクトルメモリ 53に記憶させるとともに、初期候補ベクトル Vicとして、初期候補べクトルメモリ 524に記憶させる。

[0527] 具体的には、評価値判定部 523は、有効画素判定部 531からカウンタフラグ (count flg= 10)が供給された場合 (すなわち、有効画素の数が、所定のしきい値 αよりも少なぐ所定のしきい値 j8よりも多い場合）、 0ベクトルを、検出ベクトル Veとして、検出ベクトルメモリ 53に記憶させるとともに、求めた動きベクトル Vを、初期候補ベクトル Vi cとして、初期候補べクトルメモリ 524に記憶させる。

[0528] 評価値判定部 523は、有効画素判定部 531からカウンタフラグ (countflg=0)が供給された場合 (すなわち、有効画素の数が所定のしきい値 )8よりも少ない場合)、 0ベタトルを、検出ベクトル Veとして、検出ベクトルメモリ 53に記憶させるとともに、初期候補ベクトル Vicとして、初期候補ベクトルメモリ 524に記憶させる。

[0529] すなわち、有効画素判定部 531においては、有効画素数の割合に対する所定のしきい値 αにより、検出ベクトル Veを 0ベクトルに落とすか否かの判定がなされる。したがって、所定のしきい値 α力図 25の有効画素判定部 404におけるしきい値と同程度である場合、後段のベクトル割付部 54における検出ベクトル Veの精度は、図 25の場合と同程度となる。

[0530] さらに、このとき、有効画素判定部 531においては、所定のしきい値 j8 (く所定のしきい値 α )により、初期候補ベクトル Vicを 0ベクトルに落とすか否かの判定がなされる。例えば、有効画素の数が所定のしきい値 j8よりも多い場合には、初期候補ベクトル Vicは、検出ベクトル Veと比較して、検出処理結果としての精度は低いが 0ベクトルではな!/、、なんらかのベクトル値を持つことができる。

[0531] これにより、他の周辺ブロックのベクトル検出処理において、この Vicが、初期候補ベクトルとして用いられる場合、図 25の有効画素判定部 404にお、て有効画素の数が所定のしきい値 OCよりも少ない場合に 0ベクトルに落としてしまう場合よりも、候補べタトル群における 0ベクトルの割合が少なくなり、候補ベクトル群のベクトル値のバリエーシヨンが多くなる。その結果、図 46の有効画素判定部 531においては、候補べタトル内に真の動き量に近いベクトルが存在する可能性が、図 25の有効画素判定部 40 4の場合よりも高くなり、図 25の有効画素判定部 404の場合と比較して、初期べタトルの精度を向上させることができる。

[0532] 図 47は、有効画素判定部 531の詳細な構成例を示すブロック図である。

[0533] 図 47の有効画素判定部 531は、画素差分算出部 421、画素判定部 422、カウンタ 423、および演算実行判定部 425を備える点は、図 26の有効画素判定部 404と共通であり、勾配法継続判定部 424が勾配法継続判定部 551に入れ替わった点が、図 26の有効画素判定部 404と異なる。

[0534] すなわち、勾配法継続判定部 551は、有効画素数カウンタ 441を参照して、演算ブロックにおける勾配法の演算に有効な画素の数が所定のしきい値 αより多いか否かを判定し、さらに、演算ブロックにおける勾配法の演算に有効な画素の数が所定のしきい値 j8より多いか否かを判定する。

[0535] 勾配法継続判定部 551は、演算ブロックにおける勾配法の演算に有効な画素の数が所定のしきい値 αより多いと判定した場合、勾配法演算を実行させ、検出ベクトル Veおよび初期候補ベクトル Vicを、勾配法演算により求められた動きベクトル Vに決定させるカウンタフラグ (countflg= l)を、演算実行判定部 425、勾配法演算部 405 およびベクトル評価部 523に供給する。 [0536] また、勾配法継続判定部 551は、演算ブロックに、勾配法の演算に有効な画素の数が所定のしきい値 αより少なぐ所定のしきい値 j8よりも多いと判定した場合、勾配法演算を実行させるが、検出ベクトル Veを 0ベクトルに決定させ、初期候補ベクトル V icを、勾配法演算により求められた動きベクトル Vに決定させるカウンタフラグ（countfl g= 10)を、勾配法演算部 405およびベクトル評価部 523に供給する。

[0537] さらに、勾配法継続判定部 551は、演算ブロックに、勾配法の演算に有効な画素の数が所定のしきい値 ι8より少ないと判定した場合、勾配法演算を打ち切らせ、検出べタトル Veおよび初期候補ベクトル Vicを 0ベクトルに決定させるカウンタフラグ（countfl g=0)を勾配法演算部 405およびベクトル評価部 523に供給する。

[0538] 次に、図 48乃至図 62を参照して、検出ベクトルを初期候補ベクトルとして用いる図 17のベクトル検出部 52の場合と、必要に応じて別々の検出ベクトルと初期候補べクトルを用いる図 45のベクトル検出部 52の場合とを比較して説明する。

[0539] 図 48乃至図 62の例においては、 2つの 24P信号の時刻 tのフレーム tおよび時刻 t

+ 1のフレーム t+ 1が示されており、矢印 Tは、図中、上の時刻 tのフレーム tから、下の時刻 t+ 1のフレーム t+ 1への時間の経過方向を示している。また、フレーム t上に示される仕切りは、各ブロックの境界を表しており、フレーム t上には、図中左から、ブロック AO乃至 A2が示され、フレーム t+ 1上には、図中左から、フレーム t上の図示せぬブロックが対応するブロック B— 3乃至 B— 1、および、ブロック AO乃至 A2が対応するブロック B0乃至 B2が示されている。すなわち、フレーム tおよび t+ 1上において、番号が同じブロックは対応するブロックを表して、る。

[0540] また、図 48乃至図 50、図 56、図 57、図 60、および図 62においては、フレーム tおよびフレーム t+ 1の間には、検出された動きベクトルに基づいて生成される例えば、時刻 t + 0. 4の内挿フレーム Fl、および時刻 t+0. 8の内挿フレーム F2が示されている。

[0541] 図 48の例においては、図 17のベクトル検出部 52により動きベクトルが正しく検出された場合に生成される内挿フレームの例が示されている。すなわち、フレーム tおよびフレーム t+ 1間において対応するブロック（ブロック AOとブロック B0)間の動きとして、正しぐ真の動きベクトル VIが検出されており、これにより、内挿フレーム F1および内挿フレーム F2上の画像ブロック alおよび a2が正しく生成されている。

[0542] しかしながら、動きベクトル VIは、図 49の例に示されるように、常に正しく求められるものとは限らない。例えば、図 17のベクトル検出部 52により実行される有効画素判定の結果、勾配法演算に用いられる有効画素の数が少ない場合、有効画素の数が少ない演算ブロックで演算された結果、求められる動きベクトル V2は、真の動きべクトル VI (すなわち、対応するブロック AOとブロック BO間で検出される確からしい動きベクトル VI)から大きく外れ、動きベクトル V2の両端のブロック（ブロック AOとブロック B- 2)はそれぞれ対応するブロックではない。したがって、この動きベクトル V2を用いて生成される内挿フレーム F1および内挿フレーム F2上の画像ブロック blおよび b 2には、破綻が目立つことが多い。

[0543] これに対応して、図 17のベクトル検出部 52においては、図 32を参照して上述したように、有効画素の数が所定のしきい値以下の場合に、検出結果力^ベクトル SOとされる。すなわち、有効画素の数が少ないため、動きベクトル V2は、真の動きベクトル VIから大きく外れてしまうので、図 50の例に示されるように、検出結果である動きべタトル V2を 0ベクトル SOとする。これにより、 0ベクトル SOを用いて生成される内揷フレーム F1および内挿フレーム F2上の画像ブロック clおよび c2の破綻は、動き補償をなしとした場合の補間処理と同程度に抑えられ、比較的安定した画像ブロック clおよび c2が生成される。

[0544] 一方、反復勾配法において初期オフセットとなる初期ベクトルは、図 23を参照して上述したように、周辺ブロック（時空間含む）の検出結果力も選択される。

[0545] フレーム tおよびフレーム t+ 1間において対応するブロック（ブロック AOとブロック B 0)間の動きとして、正しぐ真の動きベクトル VIが検出されている場合（図 48の場合 )、図 51の例に示されるように、検出対象のブロック A1においては、左隣のブロックであるブロック AOにおいて正しく検出された真の動きベクトル VIが、初期ベクトル V0 として選択されることがある。すなわち、周辺ブロックの検出結果を初期ベクトルとして用いるということは、検出対象ブロックと同一オブジェクトに含まれる可能性が高ぐ動き量の相関性が高いことから、動きベクトルが正しい場合には、ブロック間で動きの伝播効果が得られ、動き検出処理の収束が早くなるという利点がある。 [0546] し力しながら、上述した図 50の場合のように、周囲のブロックに、検出結果である動きベクトル V2が確力らしくなぐ 0ベクトル SOとされたものが多い場合、検出対象のブロック A1においては、図 52の例に示されるように、 0ベクトル SO (左隣のブロックであるブロック AOにおいて検出された動きベクトル） 1S 初期ベクトル V0として選択されやすくなってしまう。

[0547] このとき、検出対象のブロック A1にお!/、て、この初期ベクトル VO (0ベクトル SO)を用いて勾配法演算を行ったとしても、ブロック A1の演算ブロックにおいて、有効画素判定による有効画素の数が所定のしきい値 αを下回りやすくなり、図 53の例に示されるように、検出結果である動きベクトル V2は、真の動きベクトル VIから大きく外れてしまい、結果的に、図 54の例に示されるように、検出対象のブロック A1においても、検出結果力^ベクトルになってしまうことが多い。

[0548] このような場合に、さらに、検出対象が次のブロック Α2になったとしても、図 54の例と同様のこと (すなわち、検出結果力^ベクトル SOになってしまうこと）が起こる可能性が多ぐ結果として、図 55の例に示されるように、あた力も 0ベクトル SOが次々と伝播していくようになり、動き検出処理の収束 (すなわち、真の動きベクトル VIに近づくこと）が遅くなつてしまう。

[0549] 以上のように、後段で割り付けられる対象となる検出ベクトルと、初期ベクトル選択の候補となる初期候補ベクトルとして同じものを用いる図 17のベクトル検出部 52においては、検出対象の演算ブロックの有効画素の数が所定のしきい値以下の場合、検出ベクトルを 0ベクトルにすることは、図 50を参照して上述したように、内挿フレーム上の画像ブロックの破綻を抑える効果はある力 S、初期候補ベクトルも 0ベクトルになってしまうため、動き検出処理の収束が遅くなつてしまう。すなわち、有効画素の数が所定のしきい値以下の場合、図 17のベクトル検出部 52のように、検出ベクトルも初期候補ベクトルも、 0ベクトルにしてしまうと、結果的に、品質の低下が生じてしまう。

[0550] そこで、図 45のベクトル検出部 52においては、それを抑制するために、 2つのしきい値を用いた有効画素判定を行い、有効画素判定の結果に応じて、検出された動きベクトル力用いる用途 (後段の割付処理において用いられるもの力、ベクトル検出部 52内で用いられるものカゝ）に応じて切り替えられる。 [0551] すなわち、検出対象のブロックの演算ブロックにおける有効画素の数を所定のしきい値 αと比較する際に、所定のしきい値 αより若干低めのしきい値 j8 ( j8 < α )を新たに設定し、有効画素の数が所定のしきい値 αよりも少ないときに、すぐに、動きべクトルを 0ベクトルに設定するのではなぐ有効画素の数が、所定のしきい値 αよりも少ないときには、有効画素の数が、所定のしきい値 j8以上である力も判定する。そして、有効画素の数が、所定のしきい値 αよりも少なぐかつ、所定のしきい値 j8以上である場合には、図 56の例に示されるように、後段の割付処理で用いられる検出べタトル Veを、 0ベクトル SOにするが、初期候補ベクトル Vicは、勾配法演算で検出された検出結果である動きベクトル V2にする。

[0552] 具体的に説明すると、 0ベクトル SOを後段の割付処理で用いられる検出ベクトル Ve とすることにより、例えば、図 57の例に示されるように、図 50の例の場合と同様に、 0 ベクトル SOを用いて生成される内挿フレーム F1および内挿フレーム F2上の画像ブロック clおよび c2の破綻が、動き補償をなしとした場合の補間処理と同程度に抑えられ、その結果、比較的安定した画像ブロック clおよび c2を生成することができる。

[0553] 一方、勾配法演算で検出された検出結果である動きベクトル V2を、初期候補べタトル Vicとすることにより、図 58の例に示されるように、次の検出対象のブロック A1において、初期候補ベクトル Vic (V2)が初期ベクトル V0とされた場合、 0ベクトル SO力初期ベクトル V0とされた場合（図 52の例の場合)よりも、初期ベクトル V0が真の動きべタトル VIに近づく。

[0554] また、このとき、図 59の例に示されるように、検出対象のブロック A1において、初期ベクトル V0 (動きベクトル V2)を用いて勾配法演算を行って求められる動きベクトル V 3は、初期ベクトル V0よりもさらに真の動きベクトル VIに近づく可能性が高くなる。

[0555] さらに、この検出対象のブロック A1における動き検出処理において、まだ有効画素の数が少なぐ真の動きベクトル VIを得ることができな力つた場合にも、後段の割付処理で用いられる検出ベクトル Veを 0ベクトル SOに変更し、勾配法演算で検出された検出結果である動きベクトル V3を、初期候補ベクトル Vicとする。

[0556] 後段の割付処理で用いられる検出ベクトル Veを 0ベクトル SOに変更することにより、図 60の例に示されるように、内挿フレーム F1および内挿フレーム F2上の画像ブロック dlおよび d2の破綻が、動き補償をなしとした場合の補間処理と同程度に抑えられ、その結果、比較的安定した画像ブロック dlおよび d2が生成される。

[0557] 一方、勾配法演算で検出された検出結果である動きベクトル V3を、初期候補べタトル Vicとすることにより、図 61の例に示されるように、次の検出対象のブロック A2において、初期候補ベクトル Vic (V3)が初期ベクトル VOとされた場合、図 52の例の場合のように、 0ベクトル SOが初期ベクトル VOとされた場合よりも、初期ベクトル V0 (V3) 力 Sさらに真の動きベクトル VIに近づく。

[0558] その結果、図 62の例に示されるように、検出対象のブロック A2における有効画素数の判定にぉ、て、ブロック A2の演算ブロックの有効画素数が所定のしき!/、値 αを上回り、勾配法演算結果の信頼度が向上し、検出対象のブロック Α2において、初期ベクトル V0 (動きベクトル V3)を用いて勾配法演算を行って真の動きベクトル VIを検出できる可能性が高くなる。

[0559] これにより、フレーム tおよびフレーム t+ 1間において対応するブロック（ブロック Α2 とブロック B2)間の動きとして、正しぐ真の動きベクトル VIが検出され、内挿フレーム F1および内挿フレーム F2上の画像ブロック elおよび e2が正しく生成される。

[0560] 以上のように、検出対象ブロックの演算ブロックにおける有効画素力所定のしきい値 αより少なぐ所定のしきい値 j8よりも多い場合には、検出ベクトルのみ 0ベクトルにして、初期候補ベクトルは、演算により求められる動きベクトルにするようにしたので、他の周辺ブロックのベクトル検出処理において、この Vicが、初期候補ベクトルとして用いられるとき、候補ベクトル群における 0ベクトルの割合力図 25の有効画素判定部 404において 0ベクトルに落としてしまうときよりも、少なくなり、候補ベクトル群のベクトル値のノリエーシヨンが多くなる。

[0561] この結果、図 46の有効画素判定部 531の場合、候補ベクトル内に真の動き量に近いベクトルが存在する可能性が、図 25の有効画素判定部 404の場合よりも高くなり、図 25の有効画素判定部 404の場合と比較して、初期ベクトルの精度を向上させることがでさる。

[0562] これにより、後段の割付処理で用いる検出ベクトルの精度を従来と同程度に維持したまま、勾配法演算によるベクトル検出処理の収束速度を向上させることができる。 [0563] 次に、図 63のフローチャートを参照して、図 45のベクトル検出部 52の反復勾配法演算処理の例を説明する。なお、図 63のステップ S551乃至 S558は、図 32のステツプ S301乃至 S308と同様の処理を行うので、その詳細な説明は適宜省略する。

[0564] セレクタ 401は、ステップ S551において、オフセットベクトル Vn— 1を選択し、選択したオフセットベクトル Vn— 1を、メモリ制御信号生成部 402、勾配法演算部 405、および評価値演算部 61Bに出力する。

[0565] メモリ制御信号生成部 402は、ステップ S552において、信号処理装置 1の図示せぬ制御部からの制御信号およびセレクタ 401からのオフセットベクトル Vn— 1に応じて、メモリ 403に記憶されている時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1から、処理の対象となる演算ブロックの対象画素値を読み出させ、読み出した対象画素値を、有効画素判定部 531および勾配法演算部 405に供給させる。

[0566] 有効画素判定部 531は、メモリ 403から供給される対象画素値を入力すると、ステツプ S553において、有効画素判定処理を実行する。この有効画素判定処理は、図 33 を参照して上述した有効画素判定処理と同様の処理であり、その説明は繰り返しになるので省略する。

[0567] ステップ S553の有効画素判定処理により、メモリ 403から供給される対象画素値を用いて、フレーム tとフレーム t+ 1の演算ブロックの画素差分が演算されることで、演算ブロックに、勾配法の演算に有効な画素の数が有効画素数カウンタ 441にカウントされる。また、演算ブロックにおいて有効な画素と判定された画素について、水平方向および垂直方向それぞれの勾配状態が求められ、水平勾配が無い画素の数と垂直勾配が無い画素の数が、それぞれ、水平勾配無カウンタ 442および垂直勾配無力ゥンタ 443にカウントされる。

[0568] 有効画素判定部 531の勾配法継続判定部 551は、ステップ S554において、有効画素数カウンタ 441に記憶されて、る値 (有効画素の数）が所定のしき、値 αより多いか否かを判定する。ステップ S554において、有効画素の数が所定のしきい値 αより多いと判定された場合、勾配法継続判定部 551により、演算実行判定部 425、勾配法演算部 405および評価判定部 541に、勾配法演算を実行させ、検出ベクトル V eおよび初期候補ベクトル Vicを、勾配法演算により求められた動きベクトル Vに決定させるカウンタフラグ (countflg= l)が出力され、処理は、ステップ S555に進む。

[0569] 勾配法継続判定部 551からカウンタフラグ (_COuntflg= l)が入力されると、演算実行判定部 425は、ステップ S555において、勾配法実行判定処理を実行する。この勾配法実行判定処理は、図 35を参照して上述した勾配法実行判定処理と同様の処理であり、その説明は繰り返しになるので省略する。

[0570] ステップ S555の勾配法実行判定処理により、有効画素数カウンタ 441の有効画素の数、水平勾配無カウンタ 442の水平勾配が無い画素の数、および垂直勾配無カウンタ 443の垂直勾配が無い画素の数が参照されて、有効画素における片側勾配の画素の数が多いか否かが判定され、その判定結果に応じて、統合型勾配法演算処理および独立型勾配法演算処理の中から、勾配法演算部 405が行う勾配法演算処理を切り替えるための勾配フラグ (gladflg)が設定され、設定された勾配フラグが、勾配法演算部 405および評価判定部 541に出力され、処理は、ステップ S556に進む。

[0571] 勾配法継続判定部 551からカウンタフラグ (_COuntflg= l)が入力され、演算実行判定部 425から勾配フラグが入力されると、勾配法演算部 405は、ステップ S556において、勾配法演算処理を実行する。この勾配法演算処理は、図 36を参照して上述した勾配法演算処理と同様の処理であり、その説明は繰り返しになるので省略する。

[0572] ステップ S556の勾配法演算処理により、演算実行判定部 425から勾配フラグに応じて、有効画素を用いての統合型勾配法演算処理、または、有効画素のうち、水平方向に勾配がある画素を用いての水平方向の独立型勾配法演算処理および垂直方向に勾配がある画素を用いての垂直方向の独立型勾配法演算処理のうちの少なくともどちらか一方が実行され、動きベクトル Vnが求められ、求められた動きベクトル Vnがベクトル評価部 523に出力され、処理は、ステップ S557に進む。

[0573] ベクトル評価部 523は、ステップ S557において、ベクトル評価処理を実行する。

このベクトル評価処理は、図 39を参照して上述したベクトル評価処理と同様の処理であり、その説明は繰り返しになるので省略する。

[0574] ステップ S557のベクトル評価処理により、勾配法演算部 405から動きベクトル Vn、オフセットベクトル Vn— 1、および 0ベクトルの評価値 dfvが求められ、演算実行判定部 425から勾配フラグに基づいて、動きベクトル Vnと、オフセットベクトル Vn—lまたは 0ベクトルの評価値 dfvが比較され、比較結果に応じて変更されて、動きベクトル V が求められる。例えば、動きベクトル Vnとオフセットベクトル Vn— 1の評価値 dfvが比較され、動きベクトル Vnの評価値 dfvの信頼度が高いとされた場合、動きベクトル Vn は、動きベクトル Vとされて、勾配法演算の反復回数は 1カウントされる。

[0575] 評価判定部 541は、また、ステップ S558において、演算実行判定部 425からの勾配フラグおよび勾配法演算の反復回数に基づ!/、て、勾配法演算を反復するか否かを判定する。すなわち、評価判定部 541は、勾配フラグが、統合型勾配法演算処理を実行させるフラグ (gladflg=4)であり、かつ、勾配法演算の反復回数が設定された最大反復回数 (例えば、 2回）になっていない場合、ステップ S558において、勾配法演算を反復すると判定し、求められた動きベクトル Vを、遅延部 406に出力する。

[0576] 遅延部 406は、評価判定部 541から入力される動きベクトル Vを、有効画素判定部 531および勾配法演算部 405の次の処理のサイクルまで保持し、次の処理のサイクルで、動きベクトル Vをセレクタ 401に出力する。これにより、処理は、ステップ S551 に進み、それ以降の処理が繰り返される。

[0577] また、評価判定部 541は、勾配フラグが、統合型勾配法演算処理を実行させるフラグ以外であった場合、または、勾配法演算の反復回数が設定された最大反復回数（例えば、 2回）になった場合、ステップ S558において、勾配法演算を反復しない（すなわち、終了する）と判定し、ステップ S565において、求められた動きベクトル Vを、検出対象ブロックに対応させて、検出ベクトル Veとして、検出ベクトルメモリ 53に記憶させ、初期候補ベクトル Vicとして、初期候補ベクトルメモリ 524に記憶させる。なお、このとき、検出ベクトル Veおよびその評価値 dfvは、シフト初期ベクトル割付部 105にも出力される。

[0578] 一方、ステップ S554において、有効画素数が所定のしきい値 αより少ないと判定された場合、勾配法継続判定部 551は、有効画素数が所定のしきい値 j8より多いか否かを判定する。ステップ S559において、勾配法継続判定部 551により、有効画素数が所定のしきい値 ι8より多いと判定された場合、勾配法演算を実行させるが、検出べタトル Veを 0ベクトルに決定させ、初期候補ベクトル Vicを、勾配法演算により求められた動きベクトル Vに決定させるカウンタフラグ (countflg= 10)力勾配法演算部 40 5および評価判定部 541に出力され、処理は、ステップ S560に進む。

[0579] 勾配法継続判定部 551からカウンタフラグ (countflg= 10)が入力されると、演算実行判定部 425は、ステップ S560において、勾配法実行判定処理を実行する。この勾配法実行判定処理は、上述したステップ S555の勾配法実行判定処理と同様の処理であり、その説明は繰り返しになるので省略する。

[0580] ステップ S560の勾配法実行判定処理により、有効画素数カウンタ 441の有効画素の数、水平勾配無カウンタ 442の水平勾配が無い画素の数、および垂直勾配無カウンタ 443の垂直勾配が無い画素の数が参照されて、有効画素における片側勾配の画素の数が多いか否かが判定され、その判定結果に応じて、統合型勾配法演算処理および独立型勾配法演算処理の中から、勾配法演算部 405が行う勾配法演算処理を切り替えるための勾配フラグ (gladflg)が設定され、設定された勾配フラグが、勾配法演算部 405および評価判定部 541に出力され、処理は、ステップ S561に進む。

[0581] 勾配法継続判定部 551からカウンタフラグ (_COuntflg= 10)が入力され、演算実行判定部 425から勾配フラグが入力されると、勾配法演算部 405は、ステップ S561において、勾配法演算処理を実行する。この勾配法演算処理は、上述したステップ S556 の勾配法演算処理と同様の処理であり、その説明は繰り返しになるので省略する。

[0582] ステップ S561の勾配法演算処理により、演算実行判定部 425から勾配フラグに応じて、有効画素を用いての統合型勾配法演算処理、または、有効画素のうち、水平方向に勾配がある画素を用いての水平方向の独立型勾配法演算処理および垂直方向に勾配がある画素を用いての垂直方向の独立型勾配法演算処理のうちの少なくともどちらか一方が実行され、動きベクトル Vnが求められ、求められた動きベクトル Vnが評価値演算部 61Bに出力され、処理は、ステップ S562に進む。

[0583] ベクトル評価部 523は、ステップ S562において、ベクトル評価処理を実行する。

このベクトル評価処理は、上述したステップ S559のベクトル評価処理と同様の処理であり、その説明は繰り返しになるので省略する。

[0584] ステップ S562のベクトル評価処理により、勾配法演算部 405から動きベクトル Vn、オフセットベクトル Vn— 1、および 0ベクトルの評価値 dfvが求められ、演算実行判定部 425から勾配フラグに基づいて、動きベクトル Vnと、オフセットベクトル Vn—lまたは 0ベクトルの評価値 dfvが比較され、比較結果に応じて変更されて、動きベクトル V が求められる。なお、この場合 (所定のしきい値 αよりも少ないとされた場合）、動きべタトル Vnは、所定のしきい値 αよりも少ない有効画素で演算された結果であり、所定のしき!/、値 aよりも多!、有効画素で演算された結果ほどの品質は望めな、ので、反復は実行されない。

[0585] 評価判定部 541は、カウンタフラグ (countflg= 10)に基づいて、ステップ S563において、検出ベクトル Veのみを 0ベクトルに決定し、ステップ S565において、検出対象ブロックに対応させて、 0ベクトルを、検出ベクトル Veとして、検出ベクトルメモリ 53に記憶させ、検出対象ブロックに対応させて、求められた動きベクトル Vを、初期候補べタトル Vicとして、初期候補ベクトルメモリ 524に記憶させる。なお、このとき、検出べクトル Veおよびその評価値 dfvは、シフト初期ベクトル割付部 105にも出力される。

[0586] 一方、ステップ S554において、有効画素数が所定のしきい値 j8より少ないと判定された場合、勾配法継続判定部 551により、勾配法演算を打ち切らせ、検出ベクトル V eおよび初期候補ベクトル Vicを 0ベクトルに決定させるカウンタフラグ（countflg = 0) が勾配法演算部 405および評価判定部 541に出力され、処理は、ステップ S564に進む。

[0587] これに対応して、演算実行判定部 425および勾配法演算部 405は、勾配法継続判定部 551からのカウンタフラグの値が 0の場合、勾配法演算を実行しない。

[0588] 評価値判定部 541は、ステップ S564において、カウンタフラグ (countflg=0)に基づいて、検出ベクトル Veおよび初期候補ベクトル Vicを 0ベクトルに決定し、ステップ S5 65において、検出対象ブロックに対応させて、 0ベクトルを、検出ベクトル Veとして、検出ベクトルメモリ 53に記憶させ、初期候補ベクトル Vicとして、初期候補ベクトルメモリ 524に記憶させる。なお、このとき、検出ベクトル Veおよびその評価値 dfvは、シフト初期ベクトル割付部 105にも出力される。

[0589] 以上のように、演算ブロック内の有効画素数の割合を、所定のしきい値 aだけでなぐ所定のしきい値 αよりもさらに少ないしきい値 j8を用いて判定し、演算ブロック内の有効画素数が所定のしきい値 αより少なぐ所定のしきい値 j8よりも多力つた場合には、勾配法演算を打ち切ることなぐ勾配法演算結果を、初期候補ベクトルとし、 0 ベクトルを検出ベクトルするようにしたので、後段の割付処理で用いる検出ベクトルの精度を従来と同程度に維持したまま、勾配法演算によるベクトル検出処理の収束速度を向上させることができる。

[0590] さらに、演算ブロック内の有効画素数が所定のしきい値 αより少なぐ所定のしきい値 j8よりも多力つた場合には、勾配法演算を行ったとしても、反復はさせないようにしたので、演算の負荷も抑制される。

[0591] なお、上記説明においては、所定のしきい値 αを所定のしきい値 j8よりも先に判定する例を説明したが、所定のしきい値 )8を先に比較判定することもできる。

[0592] 次に、図 64および図 65のフローチャートを参照して、図 45のベクトル検出部 52の反復勾配法演算処理の他の例を説明する。

[0593] 図 64の例においては、所定のしきい値 αよりも値が低めの所定のしきい値よりも有効画素数が多、と判定された場合には、統合型勾配法演算および独立型勾配法演算の両方が行われ、評価値判定部 541において、カウンタフラグおよび勾配フラグの値に基づ、て、検出ベクトル Veおよび初期候補ベクトル Vicが決定される処理が示されている。

[0594] なお、以下、統合型勾配法演算により求められるベクトルを、統合型演算結果べタトル gvとし、独立型勾配法演算により求められるベクトルを、独立型演算結果ベクトル s gvとし、検出ベクトル Veとして仮設定されるベクトルを、仮設定検出ベクトル tveとし、初期候補ベクトル Vicとして仮設定されるベクトルを、仮設定初期候補ベクトル tviとして説明する。

[0595] セレクタ 401は、ステップ S601において、オフセットベクトル Vn— 1を選択し、選択したオフセットベクトルを、メモリ制御信号生成部 402、勾配法演算部 405、および評価値演算部 61Bに出力する。

[0596] メモリ制御信号生成部 402は、信号処理装置 1の図示せぬ制御部からの制御信号およびセレクタ 401からのオフセットベクトル Vn—1に応じて、メモリ 403に記憶されている時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1から、処理の対象となる演算ブロックの対象画素値を読み出させる。このとき、メモリ制御信号生成部 402 は、ステップ S602において、フレーム t+ 1における演算ブロックの対象画素が枠外であるか否かを判定する。

[0597] フレーム t+ 1における演算ブロックの対象画素が枠外であると判定された場合、ステツプ S603において、勾配法継続判定部 551は、カウンタフラグの値を 3に設定し、カウンタフラグ (countflg= 3)を、演算実行判定部 425、勾配法演算部 405、および評価判定部 541に出力する。

[0598] これに対応して、演算実行判定部 425および勾配法演算部 405は、勾配法継続判定部 424からのカウンタフラグの値が 3の場合、各処理を行わな、。

[0599] 評価値判定部 541は、ステップ S604において、カウンタフラグ (countflg= 3)に基づいて、オフセットベクトル Vn—1を、仮設定検出ベクトル tveとして仮設定し (すなわち、仮設定検出ベクトルの水平方向成分: tve._X=Vn-l.x、仮設定検出ベクトルの垂直方向成分: tve.y=Vn-l.y)、 0ベクトルを、仮設定初期候補ベクトル tviとして仮設定する（すなわち、仮設定初期候補ベクトルの水平方向成分: tvi.x=0.0、仮設定初期候補べタトルの垂直方向成分: tvi.y=0.0)。仮設定検出ベクトル tveおよび仮設定初期候補ベクトル tviの設定後、処理は、図 65のステップ S615〖こ進む。

[0600] フレーム t+ 1における演算ブロックの対象画素が枠外ではないと判定された場合、ステップ S606において、メモリ制御信号生成部 402は、メモリ 403から読み出した演算ブロックの対象画素値を、有効画素判定部 531および勾配法演算部 405に供給させる。

[0601] 有効画素判定部 531は、メモリ 403から供給される対象画素値を入力すると、ステツプ S606において、有効画素判定処理を実行する。この有効画素判定処理は、図 33 を参照して上述した有効画素判定処理と同様の処理であり、その説明は繰り返しになるので省略する。

[0602] ステップ S553の有効画素判定処理により、メモリ 403から供給される対象画素値を用いて、フレーム tとフレーム t+ 1の演算ブロックの画素差分が演算されることで、演算ブロックに、勾配法の演算に有効な画素の数が有効画素数カウンタ 441にカウントされる。また、演算ブロックにおいて有効な画素と判定された画素について、水平方向および垂直方向それぞれの勾配状態が求められ、水平勾配が無い画素の数と垂直勾配が無い画素の数が、それぞれ、水平勾配無カウンタ 442および垂直勾配無力ゥンタ 443にカウントされる。

[0603] 勾配法 «続判定部 551は、ステップ S607において、有効画素数カウンタ 441に記憶されて、る値 (有効画素の数）が所定のしき、値 βより少な、か否かを判定する。ステップ S607において、有効画素の数が所定のしきい値 j8より少ないと判定された場合、勾配法継続判定部 551は、ステップ S608において、カウンタフラグの値を 0に設定し、勾配法演算を打ち切るカウンタフラグ (co_Untflg=0)を、演算実行判定部 42 5、勾配法演算部 405、および評価判定部 541に出力する。

[0604] これに対応して、演算実行判定部 425および勾配法演算部 405は、勾配法継続判定部 424からのカウンタフラグの値が 0の場合、各処理を行わな、。

[0605] 評価値判定部 541は、ステップ S609において、カウンタフラグ (countflg=0)に基づいて、 0ベクトルを、仮設定検出ベクトル tveとして仮設定し (すなわち、仮設定検出べタトルの水平方向成分: tve.x=0.0、仮設定検出ベクトルの垂直方向成分: tve.y=0.0) 、 0ベクトルを、仮設定初期候補ベクトル tviとして仮設定する（すなわち、仮設定初期候補ベクトルの水平方向成分: tvi.x=0.0、仮設定初期候補ベクトルの垂直方向成分： tvi.y=0.0) _o仮設定検出ベクトル tveおよび仮設定初期候補ベクトル tviの設定後、処理 ίま、図 65のステップ S615に進む。

[0606] ステップ S607において、有効画素の数が所定のしきい値 j8より多いと判定された場合、ステップ S610において、勾配法継続判定部 551は、統合型勾配法演算に用いられる式（14)の分母が 0であるか否かを判定する。有効画素すべてが水平勾配を持っていない場合、または、有効画素すべてが水平勾配を持っていない場合、統合型勾配法演算に用いられる式（14)の分母は 0になる。したがって、この場合、勾配法 «続判定部 551は、有効画素数カウンタ 441の他に、水平勾配無カウンタ 442および垂直勾配無カウンタ 443を参照して、有効画素数カウンタ 441の値と水平勾配無カウンタ 442の値が同じ数であるか否力、および、有効画素数カウンタ 441の値と垂直勾配無カウンタ 443の値が同じ数である力否かを判定することで、統合型勾配法演算に用、られる式（14)の分母が 0である力否かを判定する。

[0607] ステップ S610において、有効画素数カウンタ 441の値と、水平勾配無カウンタ 442 の値、または垂直勾配無カウンタ 443の値が同じ数であると判定された場合、統合型勾配法演算に用いられる式（14)の分母が 0であると判定され、勾配法継続判定部 5 51は、ステップ S611において、カウンタフラグの値を 2に設定し、勾配法演算を打ち切るカウンタフラグ (countflg= 2)を、演算実行判定部 425、勾配法演算部 405、および評価判定部 541に出力する。

[0608] これに対応して、演算実行判定部 425および勾配法演算部 405は、勾配法継続判定部 424からのカウンタフラグの値が 2の場合、各処理を行わな、。

[0609] 評価値判定部 541は、ステップ S612において、カウンタフラグ (countflg= 2)に基づいて、オフセットベクトル Vn—1を、仮設定検出ベクトル tveとして仮設定し (すなわち、仮設定検出ベクトルの水平方向成分: tve._X=Vn-l.x、仮設定検出ベクトルの垂直方向成分: tve.y=Vn-l.y)、オフセットベクトル Vn—lを、仮設定初期候補ベクトル tviとして仮設定する（すなわち、仮設定初期候補ベクトルの水平方向成分: tvi.x= Vn-l.x 、仮設定初期候補ベクトルの垂直方向成分: tvi.y= Vn-l.y) ₀仮設定検出ベクトル tv eおよび仮設定初期候補ベクトル tviの設定後、処理は、図 65のステップ S615に進む。

[0610] ステップ S610において、有効画素数カウンタ 441の値と、水平勾配無カウンタ 442 の値、および垂直勾配無カウンタ 443の値が同じ数ではないと判定された場合、統合型勾配法演算に用いられる式（14)の分母が 0ではないと判定され、勾配法継続判定部 551は、ステップ S613において、カウンタフラグの値を 1に設定し、勾配法演算を実行させるカウンタフラグ (countflg= 1)を、勾配法演算部 405および評価判定部 541に出力する。

[0611] これに対応して、勾配法演算部 405、および評価判定部 541は、ステップ S614において、勾配法演算および仮設定処理を実行する。この勾配法演算および仮設定処理を、図 66のフローチャートを参照して説明する。

[0612] 勾配法継続判定部 551からカウンタフラグ (countflg= l)が入力されると、有効画素判定部 471は、ステップ S631において、勾配法演算部 405の各部を制御し、統合型勾配法演算処理を実行させる。この統合型勾配法演算処理は、図 37のフローチヤートを参照して上述したので、その説明は省略する。

[0613] ステップ S631の統合型勾配法演算処理により、有効画素が勾配法演算の対象とされ、有効画素の水平方向の画素差分 Δ χ、垂直方向の画素差分 Ay、および時間方向の画素差分 Δ tが積算されて、積算された勾配と式（14)の最小自乗和を用いて、統合型演算結果ベクトル gvが求められて、ベクトル算出部 464に出力される。

[0614] ベクトル算出部 464は、ステップ S632において、セレクタ 401からのオフセットべクトル Vn— 1に、統合型勾配演算部 463— 1により求められた統合型演算結果べクトル gvを加算し、ベクトル評価部 104に出力する。

[0615] また、有効画素判定部 471は、ステップ S633において、勾配法演算部 405の各部を制御し、水平方向の独立型勾配法演算処理を実行させる。この独立型勾配法演算処理は、図 38のフローチャートを参照して上述したので、その説明は省略する。

[0616] ステップ S633の水平方向の独立型勾配法演算処理により、有効画素のうち、水平方向に勾配がある画素が勾配法演算の対象とされ、有効画素の水平方向の画素差分 Δ χ、および時間方向の画素差分 A tが積算されて、積算された勾配と式 (23)を用いて、独立型演算結果ベクトル sgvの水平方向成分 (sgv.x)が求められて、ベタトル算出部 464に出力される。

[0617] 有効画素判定部 471は、ステップ S634において、勾配法演算部 405の各部を制御し、垂直方向の独立型勾配法演算処理を実行させる。この独立型勾配法演算処理は、図 38のフローチャートを参照して上述したので、その説明は省略する。

[0618] ステップ S634の垂直方向の独立型勾配法演算処理により、有効画素のうち、垂直方向に勾配がある画素が勾配法演算の対象とされ、有効画素の垂直方向の画素差分 Δγ、および時間方向の画素差分 A tが積算されて、積算された勾配と式 (23)を用いて、独立型演算結果ベクトル sgvの垂直方向成分 (sgv.y)が求められて、ベタトル算出部 464に出力される。

[0619] ベクトル算出部 464には、独立型勾配演算部 463— 2より独立型演算結果ベクトル sgvの水平方向成分および垂直方向成分の少なくとも一方が入力される。ベクトル算出部 464は、ステップ S635において、セレクタ 401からのオフセットベクトル Vn—1 の対象方向成分 (水平方向成分および垂直方向成分の少なくとも一方）と、独立型勾配演算部 463- 2により求められた独立型演算結果ベクトル sgvの対象方向成分を加算し、ベクトル評価部 104に出力する。 [0620] なお、このとき、独立型演算結果ベクトル sgvの方向成分のうち、独立型勾配演算部 463— 2より入力されな、方向成分は、 0ベクトルとされる。

[0621] ステップ S636において、勾配法継続判定部 551は、有効画素の数が所定のしきい値 αより少ないか否かを判定する。ステップ S636において、有効画素の数が所定のしきい値 αより少ないと判定された場合、ステップ S637において、カウンタフラグの値を 10に設定し、オフセットベクトル Vn— 1に統合型演算結果ベクトル gvを加算した値を、初期候補ベクトルとする（すなわち、 tvi=Vn—l +gv)カウンタフラグ (countflg = 10)を、評価判定部 541に出力する。

[0622] ステップ S638において、評価判定部 541は、カウンタフラグ (countflg= 10)に基づいて、仮設定検出ベクトル tveを、 0ベクトルに仮設定し (すなわち、仮設定検出べタトルの水平方向成分: tve.x=0.0、仮設定検出ベクトルの垂直方向成分: tve.y=0.0)、仮設定初期候補ベクトル tviを、オフセットベクトル Vn— 1に統合型演算結果ベクトル gv を加算した値に仮設定する（すなわち、仮設定初期候補ベクトルの水平方向成分: tv i.x= Vn-l.x + gv.x、仮設定初期候補ベクトルの垂直方向成分: tvi.y= Vn-l.y + gv.y) 。仮設定検出ベクトル tveおよび仮設定初期候補ベクトル tviの設定後、処理は、図 6 5のステップ S615に進む。

[0623] ステップ S636において、有効画素の数が所定のしきい値 αより多いと判定された場合、値が 1に設定されたカウンタフラグ (co_Untflg= l)が演算実行判定部 425にも出力され、演算実行判定部 425は、ステップ S639において、勾配法実行判定処理を実行する。この勾配法実行判定処理は、図 35を参照して上述した勾配法実行判定処理と同様の処理であり、その説明は繰り返しになるので省略する。

[0624] ステップ S639の勾配法実行判定処理により、有効画素数カウンタ 441の有効画素の数、水平勾配無カウンタ 442の水平勾配が無い画素の数、および垂直勾配無カウンタ 443の垂直勾配が無い画素の数が参照されて、有効画素における片側勾配の画素の数が多いか否かが判定され、その判定結果に応じて、統合型勾配法演算処理および独立型勾配法演算処理の中から、勾配法演算部 405が行う勾配法演算処理を切り替えるための勾配フラグ (gladflg)が設定され、設定された勾配フラグが、勾配法演算部 405および評価判定部 541に出力され、処理は、ステップ S640に進む。 [0625] ステップ S640において、評価判定部 541は、カウンタフラグ (countflg= 1)と勾配フラグの値に基づ!/、て、仮設定検出ベクトル tveと仮設定初期候補ベクトル tviを仮設定する。

[0626] すなわち、勾配フラグの値力^の場合、水平方向に対しては信用があるとして、仮設定検出ベクトルの水平方向成分: tve.x= Vn-l.x + sgv.x、仮設定検出ベクトルの垂直方向成分: tve.y= 0.0が仮設定され、仮設定初期候補ベクトルの水平方向成分: tvi •x= Vn-l.x + sgv.x,仮設定初期候補ベクトルの垂直方向成分: tvi.y= 0.0が仮設定される。

[0627] 勾配フラグの値が 2の場合、垂直方向に対しては信用があるとして、仮設定検出べタトルの水平方向成分: tve.x=0.0、仮設定検出ベクトルの垂直方向成分: tve.y=Vn-l •y + sgv.yが仮設定され、仮設定初期候補ベクトルの水平方向成分: tvi.x= 0.0、仮設定初期候補ベクトルの垂直方向成分: tvi.y= Vn-l.y + sgv.yが仮設定される。

[0628] 勾配フラグの値が 3の場合、水平および垂直方向のどちらにも信用がないとして、仮設定検出ベクトルの水平方向成分: tve.x= 0.0、仮設定検出ベクトルの垂直方向成分: tve.y= 0.0が仮設定され、仮設定初期候補ベクトルの水平方向成分: tvi.x= 0.0、仮設定初期候補ベクトルの垂直方向成分: tvi.y= 0.0が仮設定される。

[0629] 勾配フラグの値力の場合、片側勾配の画素があまりなぐ水平および垂直方向のどちらにも信用があるとして、仮設定検出ベクトルの水平方向成分: tve.x= Vn-l.x + sv.x、仮設定検出ベクトルの垂直方向成分: tve.y= Vn-l.y + sv.yが仮設定され、仮設定初期候補ベクトルの水平方向成分: tvi.x= Vn-l.x + sv.x、仮設定初期候補べクトルの垂直方向成分: Vn-l.y + sv.yが仮設定される。なお、この場合のみ、反復回数は 1加算される。

[0630] 勾配フラグの値力^の場合、片側勾配の画素が多少ある力水平および垂直方向のどちらにも少しの信用があるとして、仮設定検出ベクトルの水平方向成分: tve.x= V n-l.x + sgv.x、仮設定検出ベクトルの垂直方向成分: tve.y= Vn-l.y + sgv.yが仮設定され、仮設定初期候補ベクトルの水平方向成分: tvi.x= Vn-l.x + sgv.x,仮設定初期候補ベクトルの垂直方向成分: Vn-l.y + sgv.yが仮設定される。

[0631] ステップ S640における、仮設定検出ベクトル tveおよび仮設定初期候補ベクトル tv iの設定後、処理は、図 65のステップ S615に進む。

[0632] ステップ S615において、評価判定部 541は、仮設定した各ベクトル (仮設定検出ベクトル tveおよび仮設定初期候補ベクトル tvi)のリミットを判定する。各ベクトルの値は、所定のベクトル値を超えていないと判定された場合には、仮設定されたベクトルのままとされるが、所定のベクトル値を超えていたと判定された場合には、 0ベクトルとされる。

[0633] ステップ S616において、評価判定部 541は、カウンタフラグの値と勾配フラグの値に基づ!/、て、仮設定検出ベクトル tveおよび仮設定初期候補ベクトル tviのベクトル評価処理を行う。

[0634] すなわち、評価判定部 541は、カウンタフラグの値と勾配フラグの値に応じて、オフセットベクトル Vn—1、 0ベクトル、仮設定検出ベクトル tveおよび仮設定初期候補べタトル tviの評価値を演算させ、仮設定検出ベクトル tveの評価値 dfvと、オフセットべタトル Vn— 1の評価値 dfvまたは 0ベクトルの評価値 dfv、および仮設定初期候補べタトル tviの評価値 dfvと、オフセットベクトル Vn— 1の評価値 dfvまたは 0ベクトルの評価値 dfvをそれぞれ比較し、評価値 dfvの値が小さい (すなわち、信頼性が高い）とされたベクトルで、仮設定検出ベクトル tveおよび仮設定初期候補ベクトル tviを更新（変更)する。

[0635] ステップ S617において、評価判定部 541は、カウンタフラグの値と勾配フラグの値、反復回数に基づいて、勾配法演算の反復を終了する力否かを判定する。カウンタフラグの値が 1で、勾配フラグの値力であり、規定の反復回数を超えていない場合、ステップ S617において、反復すると判定され、処理は、図 64のステップ S601に戻り、それ以降の処理を繰り返す。

[0636] すなわち、この際、評価判定部 541は、ステップ S616のベクトル評価結果により更新された仮設定検出ベクトル tveを、遅延部 406に供給する。

[0637] ステップ S617において、反復を終了すると判定された場合、評価判定部 541は、ステップ S618において、検出ベクトル Veを、仮設定検出ベクトル tveに決定し、決定した検出ベクトル Veを、検出対象ブロックに対応させて、検出ベクトルメモリ 53に記憶させ、初期候補ベクトル Vicを、仮設定初期候補ベクトル tviに決定し、決定した初期候補ベクトル Vicを、検出対象ブロックに対応させて、初期候補ベクトルメモリ 524 に記憶させる。

[0638] 上述したステップ S616および S617の処理について、図 67を参照して説明する。

[0639] 図 67は、各フラグの値毎のベクトル評価の比較対象と反復判定結果を示している。

なお、カウンタフラグの値が「1」の場合のみ、勾配フラグが設定されている。

[0640] カウンタフラグの値が「0」のとき、勾配フラグは設定されておらず、ステップ S616のベクトル評価における比較は「無」であり、ステップ S617における反復判定は、「しない」と判定される。

[0641] カウンタフラグの値が「1」で勾配フラグが「1」のとき、ステップ S616のベクトル評価における比較対象は「0ベクトル」であり、ステップ S617における反復判定は、「しない」と判定される。

[0642] カウンタフラグの値が「1」で勾配フラグが「2」のとき、ステップ S616のベクトル評価における比較対象は「0ベクトル」であり、ステップ S617における反復判定は、「しない」と判定される。

[0643] カウンタフラグの値が「1」で勾配フラグが「3」のとき、ステップ S616のベクトル評価における比較対象は「0ベクトル」であり、ステップ S617における反復判定は、「しない」と判定される。

[0644] カウンタフラグの値が「1」で勾配フラグが「4」のとき、ステップ S616のベクトル評価における比較対象は「オフセットベクトル (Vn—1)」であり、ステップ S617における反復判定は、「比較結果依存」と判定される。すなわち、所定の反復回数が満たされてなければ、比較結果に応じたベクトルがオフセットベクトルとして反復される。

[0645] カウンタフラグの値力「2」のとき、勾配フラグは設定されておらず、ステップ S616のベタトル評価における比較対象は「オフセットベクトル (Vn— 1 )」であり、ステップ S 61 7における反復判定は、オフセットベクトルが仮設定検出ベクトル tveと同じであるので、「しない」と判定される。

[0646] カウンタフラグの値力「3」のとき、勾配フラグは設定されておらず、ステップ S616のベタトル評価における比較対象は「オフセットベクトル (Vn— 1 )」であり、ステップ S 61 7における反復判定は、オフセットベクトルが仮設定検出ベクトル tveと同じであるので、「しない」と判定される。

[0647] カウンタフラグの値が「10」のとき、勾配フラグは設定されておらず、ステップ S616 のベクトル評価における比較は「無」であり、ステップ S617における反復判定は、「しない」と判定される。

[0648] なお、図 67の例においては、カウンタフラグの値力「l」で勾配フラグが「0」のときについては図示されないが、勾配フラグが「1, 2, 3」の場合と同様に、ステップ S616のベクトル評価における比較対象は「0ベクトル」であり、ステップ S617における反復判定は、「しない」と判定される。

[0649] 以上のように、必要に応じて、統合型勾配法演算および独立型勾配法演算の両方を行い、カウンタフラグに基づき、検出ベクトル、および初期候補ベクトルをそれぞれ仮設定しておき、カウンタフラグおよび勾配フラグに基づいて、最終的に、検出べタトル、初期候補ベクトルを決定するよう〖こすることもできる。

[0650] なお、上述した図 45のベクトル検出部 52においては、検出ベクトルと初期候補べクトルを異なるベクトルとして保持するために、検出ベクトルメモリ 53とは別に、初期候補ベクトルメモリ 524が追カ卩して構成されている。このため、図 17のベクトル検出部 5 2と比較した場合、図 45のベクトル検出部 52におけるメモリ量が 2倍になってしまう。そこで、図 68を参照して、初期候補ベクトルメモリ 524を追加することなぐ検出べタトルと初期候補ベクトルを異なるベクトルとして保持するようにした構成例を説明する。

[0651] 図 68は、図 45のベクトル検出部 52の他の構成例を示すブロック図である。

[0652] 図 68のベクトル検出部 52は、プリフィルタ 102— 1および 102— 2、シフト初期べタトル割付部 105、評価値メモリ 106、シフト初期ベクトルメモリ 107、および反復勾配法演算部 522を備える点力図 17のベクトル検出部 52と共通する力初期ベクトル選択部 521が図 17の初期ベクトル選択部 101に入れ替わった点、ベクトル評価部 523 がベクトル評価部 561に入れ替わった点、および初期候補ベクトルメモリ 524が除かれた点が、図 45のベクトル検出部 52と異なっている。

[0653] また、図 68の検出ベクトルメモリ 53には、ベクトル評価部 561により、検出対象ブロック 1ブロックにっき lbitの 0ベクトルフラグ (zflg)が書き込まれる、 0ベクトルフラグ領域 571が含まれている。 [0654] ベクトル評価部 561は、評価値演算部 61Bを有しており、評価値演算部 61Bに、反復勾配法演算部 522からの動きベクトル Vn— 1 (または初期ベクトル VO)と、動きべクトル Vnの評価値 dfvを求めさせ、評価値演算部 61Bにより求められた評価値 dfvに基づいて、反復勾配法演算部 522を制御し、勾配法の演算を繰り返し実行させ、最終的に、評価値 dfvに基づぐ信頼性の高いものを選択する。

[0655] このとき、ベクトル評価部 561は、図 45のベクトル評価部 523と同様に、反復勾配法演算部 522からの動きベクトル Vn— 1 (または初期ベクトル VO)、動きベクトル Vn、または 0ベクトルの中から、反復勾配法演算部 522からのカウンタフラグおよび各べクトルの評価値 dfvに応じて、後段において割付処理に用いられる検出ベクトル Veと、初期ベクトル選択部 101において初期ベクトル選択の際に用いられる初期候補べクトノレ Vicをそれぞれ求める。

[0656] ベクトル評価部 561は、反復勾配法演算部 522からのカウンタフラグに応じて、検出ベクトル Veと初期候補ベクトル Vicが同じ場合、 0ベクトルフラグを 0に設定し、検出ベクトル Veを検出ベクトルメモリ 53に記憶させるとともに、 0ベクトルフラグ (zflg=0)を 0ベクトルフラグ領域 571に書き込む。

[0657] ベクトル評価部 561は、反復勾配法演算部 522からのカウンタフラグに応じて、検出ベクトル Veと初期候補ベクトル Vicが異なる場合 (すなわち、検出ベクトル Veが 0 ベクトルである場合）、 0ベクトルフラグを 1に設定し、初期候補ベクトル Vicを検出べクトルメモリ 53に記憶させるとともに、 0ベクトルフラグ (zflg= 1)を 0ベクトルフラグ領域 57 1に書き込む。

[0658] なお、これに対応して、後段のベクトル割付部 54は、 0ベクトルフラグに基づ、て、検出ベクトルメモリ 53から、検出ベクトルを読み出す。すなわち、ベクトル割付部 54は、 0ベクトルフラグが 0の場合、検出ベクトルメモリ 53の対応するブロックの位置から、検出ベクトルを読み出す力 0ベクトルフラグが 1の場合、検出ベクトルメモリ 53の対応するブロックの位置から、検出ベクトルを読み出ださず、 0ベクトルを検出ベクトルとする。

[0659] 一方、初期ベクトル選択部 101は、図 17の検出ベクトル 53の場合と同様に、検出ベクトルメモリ 53の対応するブロックの位置から、初期候補ベクトルを読み出す。 [0660] すなわち、 0ベクトルフラグは、ベクトル割付部 54が検出ベクトルを読み出すために必要なフラグともいえる。

[0661] 図 69は、反復勾配法演算部 522およびベクトル評価部 561の構成を示すブロック図である。

[0662] 図 69の反復勾配法演算部 522は、図 46の反復勾配法演算部 522と同様の構成である。すなわち、反復勾配法演算部 522の有効画素判定部 531は、演算ブロックに、勾配法の演算に有効な画素の数が所定のしきい値 OCより多いと判定した場合、カウンタフラグ（countflg= 1)を勾配法演算部 405およびベクトル評価部 561に供給し、演算ブロックに、勾配法の演算に有効な画素の数が所定のしきい値 αより少なく、所定のしきい値 j8よりも多いと判定した場合、カウンタフラグ (countflg= 10)を勾配法演算部 405およびベクトル評価部 561に供給し、演算ブロックに、勾配法の演算に有効な画素の数が所定のしき、値 j8より少な、と判定した場合、カウンタフラグ (coun tflg=0)を勾配法演算部 405およびベクトル評価部 561に供給する。

[0663] 図 69のベクトル評価部 561は、評価値演算部 61Bを備える点は、図 46のベクトル評価部 523と共通する力評価判定部 541が評価判定部 581に入れ替わった点力図 46のベクトル評価部 523と異なって!/、る。

[0664] 評価値判定部 581は、有効画素判定部 531から供給されるカウンタフラグおよび勾配フラグに基づいて、勾配法演算処理を反復させる力否かを判定したり、検出べタトル Veと初期候補ベクトル Vicとをそれぞれ求める。

[0665] すなわち、評価値判定部 581は、必要に応じて、評価値演算部 61Bに演算させた評価値 dfvを比較することにより、信頼性の高いものを選択し、動きベクトル Vを求める。

[0666] また、評価値判定部 581は、有効画素判定部 531からカウンタフラグ (countflg= 1) が供給された場合、勾配法演算処理を反復させるか否かを判定し、反復させると判定した場合、求めた動きベクトル Vを、遅延部 406に出力する。評価値判定部 581は、勾配法演算処理を反復させない場合、カウンタフラグの値に応じて、求めた動きべタトル Vを、検出ベクトル Veまたは初期候補ベクトル Vicとして、検出ベクトルメモリ 53 に記憶させるとともに、 0ベクトルフラグを記憶させる。 [0667] すなわち、有効画素判定部 531からのカウンタフラグの値が 1の場合 (有効画素の数が所定のしきい値 exよりも多い場合）は、検出ベクトル Veと初期候補ベクトル Vicは、同じベクトルである。また、有効画素判定部 531からのカウンタフラグの値力^の場合 (有効画素の数が所定のしき!、値 13よりも少な!/、場合)、検出ベクトル Veと初期候補ベクトル Vicは、同じベクトル（すなわち、 0ベクトル）である。

[0668] 一方、有効画素判定部 531からのカウンタフラグの値が 10の場合 (有効画素の数が所定のしきい値 αよりも少なぐ所定のしきい値 j8よりも多い場合）は、検出ベクトル Veは、 0ベクトルであり、初期候補ベクトル Vicとは、異なるベクトルである。

[0669] したがって、評価値判定部 581は、有効画素判定部 531からのカウンタフラグの値力の場合、初期ベクトル選択部 101とベクトル割付部 54の両方力検出ベクトルメモリ 53に記憶されたベクトルを用いるように、 0ベクトルフラグの値を 0に設定して、検出ベクトル Veを記憶させるときに、 0ベクトルフラグ (zflg= 0)も、 0ベクトルフラグ領域 5 71に書き込む。

[0670] また、評価値判定部 581は、有効画素判定部 531からのカウンタフラグの値力^の場合も、初期ベクトル選択部 101とベクトル割付部 54の両方が、検出ベクトルメモリ 5 3に記憶されたベクトルを用いるように、 0ベクトルフラグの値を 0に設定して、検出べタトル Ve(= 0ベクトル)を記憶させるときに、 0ベクトルフラグ (zflg= 0)も、 0ベクトルフラグ領域 571に書き込む。

[0671] さらに、評価値判定部 581は、有効画素判定部 531からのカウンタフラグの値が 10 の場合、初期ベクトル選択部 101のみが、検出ベクトルメモリ 53に記憶されたべタトルを用い、ベクトル割付部 54力 SOベクトルを用いるように、 0ベクトルフラグの値を 1に設定して、初期候補ベクトル Vic(= 0ベクトル)を記憶させるときに、 0ベクトルフラグ (zf lg= l)も、 0ベクトルフラグ領域 571に書き込む。

[0672] これにより、初期候補ベクトル Vic用のメモリ（図 45の初期候補ベクトルメモリ 524) を持たなくても、検出ベクトルメモリ 53に 0ベクトルフラグ用の領域を 1ブロックにっき 1 bit拡張させるだけで、初期候補ベクトル Vic用のメモリを持った場合と同様の効果が期待できる。

[0673] 次に、図 70のフローチャートを参照して、図 69の評価判定部 581のベクトル記憶制御処理を説明する。なお、図 70は、図 63のステップ S565における検出ベクトルおよび初期候補ベクトルを記憶させる処理の他の例である。すなわち、図 68のベクトル検出部 52の勾配法演算処理は、ステップ S565の評価値判定部 581による検出べタトルおよび初期候補ベクトルの記憶制御処理が異なるだけであり、その他の処理は、図 63を参照して上述した図 45のベクトル検出部 52の勾配法演算処理と基本的に同様の処理であるため、その説明は省略する。

[0674] 評価判定部 581は、ステップ S660において、有効画素判定部 531からのカウンタフラグの値が 10である力否かを判定する。

[0675] ステップ S660において、カウンタフラグの値が 10ではない（すなわち、 0か 1である )と判定された場合、評価判定部 581は、ステップ S661において、 0ベクトルフラグの値を 0に設定し、ステップ S662において、図 63のステップ S557において求められた動きベクトル Vを、検出ベクトル Veとして、 0ベクトルフラグ (zflg=0)とともに検出べタトルメモリ 63に記憶させる。

[0676] すなわち、検出ベクトル Veは、検出対象ブロックに対応させて、記憶され、 0ベタトルフラグ (zflg=0)は、検出対象ブロックに対応させて lbit分拡張された 0ベクトルフラグ領域 571に記憶される。

[0677] これに対応して、初期ベクトル選択部 101は、検出ベクトルメモリ 53の対応するプロックの位置から、初期候補ベクトルを読み出し、後段のベクトル割付部 54は、 0ベタトルフラグ (zflg=0)に応じて、検出ベクトルメモリ 53の対応するブロックの位置から、検出ベクトルを読み出す。

[0678] 一方、ステップ S660において、カウンタフラグの値が 10であると判定された場合、評価判定部 581は、ステップ S663において、 0ベクトルフラグの値を 1に設定し、ステップ S664において、図 63のステップ S557において求められた動きベクトル Vを、初期候補ベクトル Vicとして、 0ベクトルフラグ (zflg= 1)とともに検出ベクトルメモリ 63に記憶させる。

[0679] すなわち、初期候補ベクトル Vicは、検出対象ブロックに対応させて、記憶され、 0 ベクトルフラグ (zflg= 1)は、検出対象ブロックに対応させて lbit分拡張された 0ベタトルフラグ領域 571に記憶される。 [0680] これに対応して、初期ベクトル選択部 101は、検出ベクトルメモリ 53の対応するブロックの位置から、初期候補ベクトルを読み出し、後段のベクトル割付部 54は、 0ベタトルフラグ (zflg= l)に応じて、検出ベクトルメモリ 53の対応するブロックの位置から、検出ベクトルを読み出ださず、 0ベクトルを検出ベクトルとする。

[0681] 以上のように、初期候補ベクトル Vic用のメモリ（図 45の初期候補ベクトルメモリ 524 )を持たなくても、検出ベクトルメモリ 53に 0ベクトルフラグ用の領域を 1ブロックにっき lbit拡張させるだけで、初期候補ベクトル Vic用のメモリを持った場合と同様の効果が期待できる。

[0682] すなわち、演算ブロック内の有効画素数の割合を、所定のしき!、値 exだけでなぐ所定のしきい値 αよりもさらに少ないしきい値 j8を用いて判定し、演算ブロック内の有効画素数が所定のしき、値 ocより少なぐ所定のしき、値 βよりも多力つた場合には、勾配法演算を打ち切ることなぐ勾配法演算結果を、初期候補ベクトルとし、 0ベ外ルを検出ベクトルするようにしたので、後段の割付処理で用いる検出ベクトルの精度を従来と同程度に維持したまま、勾配法演算によるベクトル検出処理の収束速度を向上させることができる。

[0683] 次に、ベクトル割付部 54の構成の詳細について説明する。

[0684] 図 71は、ベクトル割付部 54の構成を示すブロック図である。図 71に構成を示すベタトル割付部 54は、 24Ρ信号の入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、フレーム t上において検出された動きベクトルを、割付ベクトルメモリ 55上の、補間する 60P信号の内挿フレーム上の画素に割り付ける処理を行う。

[0685] 図 71の例において、時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1 は、画素情報演算部 701、図 6を参照して上述した評価値演算部 61、および着目画素差分演算部 703に入力される。

[0686] 画素情報演算部 701は、検出ベクトルメモリ 53のフレーム t上の画素に検出された動きベクトルを、左上の画素からラスタスキャン順に取得し、取得した動きベクトルを、次の時刻のフレーム t+ 1方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出する。そして、画素情報演算部 701は、算出された動きべ外ルと内挿フレームとの交点から、内挿フレーム上において、その動きベクトルの割付対象となる画素（以下、割付対象画素と称する）を設定し、動きベクトルおよび割付対象画素の位置の情報を、ベクトル選択部 705に出力する。また、画像情報演算部 701は、割付対象画素と、動きベクトルで対応付けられるフレーム tの位置 Pおよびフレーム t+ 1上の位置 Qを算出し、算出されたフレーム tおよびフレーム t+ 1上の位置情報を、評価値演算部 61、および着目画素差分演算部 703に出力する。

[0687] 評価値演算部 61は、画素情報演算部 701から、割付対象画素と、動きベクトルで対応付けられるフレーム tおよびフレーム t+ 1上の位置情報を入力すると、フレーム t の位置 Pおよびフレーム t+ 1の位置 Qの評価値 DFDを演算するため、位置 Pおよび位置 Qを中心とした一定範囲の DFD演算範囲 (m X n)をそれぞれ設定し、それらの DFD演算範囲が画枠内にある力否かを判定する。評価値演算部 61は、 DFD演算範囲が画枠内にあると判定した場合、この DFD演算範囲を用いて演算することにより、動きベクトルに対する割付対象画素の評価値 DFDを求め、求めた評価値 DFDを、ベクトル評価部 704に出力する。

[0688] 着目画素差分演算部 703は、画素情報演算部 701から、割付対象画素と、動きべタトルで対応付けられるフレーム tおよびフレーム t+ 1上の位置情報を入力すると、フレーム tの位置 Pおよびフレーム t+ 1の位置 Qを用いて、割付対象画素に対する輝度差分絶対値を求め、求めた輝度差分絶対値を、ベクトル評価部 704に出力する。

[0689] ベクトル評価部 704は、画素差分判定部 711および評価値判定部 712により構成される。画素差分判定部 711は、着目画素差分演算部 703から入力された割付対象画素に対する輝度差分絶対値が所定のしきい値よりも小さいか否かを判定する。評価値判定部 712は、画素差分判定部 711により着目画素差分演算部 703から入力された割付対象画素に対する輝度差分絶対値が所定のしきい値よりも小さいと判定された場合に、評価値演算部 61から入力された割付対象画素の評価値 DFDが、ベタトル選択部 705が有する DFDテーブルの最小評価値より小さいか否かを判定する。そして、評価値判定部 712は、割付対象画素の評価値 DFDが、 DFDテーブルの最小評価値より小さ!/ヽと判定した場合に、割付対象画素が対応する動きベクトルの信頼度が高いと判定し、ベクトル選択部 705に、割付対象画素の評価値 DFDを出力する。

[0690] ベクトル選択部 705は、内挿フレーム上の各画素における最小評価値を保持する DFDテーブルを有しており、内挿フレーム上の各画素に対して、 0ベクトルを割り付けた場合の評価値 DFDOを、内挿フレーム上の各画素における最小評価値として D FDテーブルに予め保持している。ベクトル選択部 705は、ベクトル評価部 704からの割付対象画素の評価値 DFDを入力すると、画素情報演算部 701からの割付対象画素の位置の情報に基づいて、割付フラグメモリ 56のフラグを l(true)に書き換え、割付対象画素の DFDテーブルの最小評価値を、その割付対象画素の評価値 DFDに書き換える。また、ベクトル選択部 705は、画素情報演算部 701からの割付対象画素の位置の情報に基づいて、割付ベクトルメモリ 55の割付対象画素に、画素情報演算部 701からの動きベクトルを割り付ける。

[0691] なお、図 71の例においては、図 17および図 45の検出ベクトルメモリ 53の場合が説明されているが、画素情報演算部 701は、図 68の例の検出ベクトルメモリ 53から、動きベクトルを取得する際には、フレーム t上の画素に対応して書き込まれている 0ベタトルフラグの値に応じて、フレーム t上の画素に検出された動きベクトル (検出ベクトル )、あるいは、 0ベクトルを取得する。

[0692] 次に、動きベクトルの画素以下精度を説明する。

[0693] 上述した式（1)で表される DFD評価の演算においては、フレーム tの画素位置 pをベクトル V量分ずらした先のフレーム t+ 1上の位相 p+vは、実際には、 24p信号のフレーム t+ 1上の画素位置と一致しない場合が多ぐその場合の輝度値は定義されていない。したがって、画素以下精度を有する動きベクトル Vに対する評価値 DFDの演算を行うためには、画素以下の位相における輝度値を何らかの方法で生成しなければならない。

[0694] これに対応して、フレーム tの画素位置 pをベクトル V量分ずらした先のフレーム t+ 1 上の位相 p+vに最も近い画素の輝度値をそのまま用いる方法がある。しかしながら、この方法では、評価する動きベクトルの画素以下成分を丸めてしまうため、動きべタトルの画素以下成分を捨てていることになり、これにより求められた評価値 DFDの信頼度は、低くなつてしまう。 [0695] そこで、本発明においては、周辺 4画素の輝度値による 4点補間処理を用いている。図 72は、本発明の 4点補間処理の概念を示す図である。図 72においては、矢印 X 力フレーム t+1における水平方向を示しており、矢印 Yが、フレーム t+1における垂直方向を示している。このフレーム t+1において、白丸は、フレーム t+1上の画素位置を表しており、黒点は、画素以下の (粒度の)位置を表している。また、フレーム t + 1上における最左上の黒点 p+vとその周辺 4画素は、ウィンドウ Eに拡大して示されている。ウィンドウ Eにおいて、白丸内のアルファベットは、周辺 4画素の輝度値を示している。

[0696] このフレーム t+1における最左上の黒点 p+v力フレーム tの画素位置 pをベクトル V量分ずらした先の位相 p+vとすると、位相 p+vの輝度値 F (p+v)は、位相 p+v

t+1

の水平方向の画素以下成分 αおよび垂直方向の画素以下成分 β、並びに、位相 ρ + Vの周辺 4画素の輝度値 LO乃至 L4を用いて、周辺 4画素の距離の逆比の和で求められる。すなわち、輝度値 F (p+v)は、次の式（31)で表される。

t+1

[0697] [数 30]

F_t+i (p+v) = (1-Qi) (]-β)10+α -β)υ + -α)β12+αβ13

•••(31)

[0698] 以上のように、 4点補間処理により求められる輝度値 F (p+v)を用いて、 DFD評

t+1

価の演算を行うことにより、ハードウェア実装上のコストを引き上げることなぐ評価値

DFDの信頼度の低下を抑制することができる。なお、以下においては、ベクトル割付の際の評価値 DFDや輝度差分絶対値などの演算において、この 4点補間を適用した例を説明する力もちろん、上述した初期ベクトル選択処理やベクトル検出処理などのベクトルを評価する場合の評価値 dfv (評価値 mDFD)の演算、後述する割付補償処理などのベクトルを評価する場合の評価値 DFDの演算、または、後述する画像補間の処理においても、この 4点補間は適用される。

[0699] 次に、図 73のフローチャートを参照して、ベクトル割付処理の詳細を説明する。 24 P信号の元フレームである、時刻 tの画像のフレーム tと、時刻 t+1の画像のフレーム t+1は、画素情報演算部 701、評価値演算部 61、および着目画素差分演算部 703 に入力される。 [0700] 画素情報演算部 701は、新しい元フレームが入力されると、ベクトル選択部 705を制御し、ステップ S701において、割付フラグメモリ 56の割付フラグを O(False)で初期化させ、ステップ S702において、割付ベクトルメモリ 55を 0ベクトルで初期化させる。これにより、結果的に、動きベクトルが割り付けられない画素に、 0ベクトルが割り付けられる。

[0701] また、画素情報演算部 701は、ステップ S703において、評価値演算部 61を制御し、内挿フレーム上のすべての画素に対して、 0ベクトルを用いて評価値 DFD0を算出させ、ベクトル選択部 705を制御し、評価値演算部 61により算出された 0ベクトルの評価値 DFD0を、内挿フレームの各画素に対する最小評価値として DFDテーブルに記憶させる。すなわち、ステップ S703において、評価値演算部 61は、内挿フレームすべての画素に対して、 0ベクトルを用いて評価値 DFD0を算出し、算出した評価値 DFD0を、ベクトル評価部 704を介して、ベクトル選択部 705に出力する。そして、ベクトル選択部 705は、ベクトル評価部 704を介して入力された評価値 DFD0を、 D FDテーブルの対応する画素の最小評価値として記憶する。

[0702] 画素情報演算部 701は、ステップ S704において、検出ベクトルメモリ 53上の元フレームから画素を選択する。なお、この場合、フレームの左上からラスタスキャン順に画素が選択される。

[0703] 画素情報演算部 701は、ステップ S705において、画素位置演算処理を実行する。

具体的には、画素情報演算部 701は、取得された動きベクトルと内挿フレームの交点を算出し、動きべ外ルと内挿フレーム力算出された交点から、割付対象画素を設定する。このとき、画素情報演算部 701は、交点が内挿フレーム上の画素位置に一致する場合には、交点を、割付対象画素に設定する。一方、画素情報演算部 701 は、交点が内挿フレーム上の画素位置に一致しない場合には、上述したように、内挿フレーム上の交点の近傍 4画素を、割付対象画素に設定する。

[0704] 画素情報演算部 701は、評価値演算部 61および着目画素差分演算部 703が評価値 DFDおよび輝度差分絶対値を求める上で必要である、各割付対象画素を基準に、取得された動きベクトルで対応付けた元フレーム上の位置を、取得された動きべタトルを、設定された割付対象画素にシフト (平行移動)し、シフトされた動きベクトルと、元フレーム上の交点の位置を求めることで、算出する。

[0705] 画素情報演算部 701は、ステップ S706において、算出された割付対象画素を選択し、選択した割付対象画素と、その動きベクトルを、ベクトル選択部 705に出力するこのとき、同時に、画素情報演算部 701は、選択した割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置の情報を、評価値演算部 61および着目画素演算部 703に出力する。なお、ステップ S706において、画素情報演算部 701は、割付対象画素が複数存在する場合には、左上の画素から選択する。

[0706] ステップ S707において、画素情報演算部 701は、選択された割付対象画素に関して、割付ベクトル評価処理を実行する。この割付ベクトル評価処理の詳細は、図 74を参照して後述するが、この割付ベクトル評価処理により、割付対象画素における動きベクトルの評価値 DFDおよび輝度差分絶対値が求められ、割付対象画素における動きベクトルの信頼度が判定され、これらの判定の結果、信頼度が高いとされた動きベクトルで、割付ベクトルメモリ 55の動きベクトルが書き換えられる。

[0707] 画素情報演算部 701は、ステップ S708において、すべての割付対象画素の処理が終了した力否かを判定する。ステップ S708において、まだ、すべての割付対象画素の処理が終了していないと判定された場合には、処理は、ステップ S706に戻り、次の割付対象画素が選択され、それ以降の処理が繰り返される。

[0708] ステップ S708において、すべての割付対象画素の処理が終了したと判定された場合、画素情報演算部 701は、ステップ S709において、検出ベクトルメモリ 53上の元フレームのすべての画素の処理を終了したか否かを判定する。ステップ S709において、検出ベクトルメモリ 53上の元フレームのすべての画素の処理を終了していないと判定された場合、処理は、ステップ S704に戻り、検出ベクトルメモリ 53上の元フレームの次の画素が選択され、それ以降の処理が繰り返される。また、ステップ S709において、検出ベクトルメモリ 53のすベての画素についての処理を終了したと判定された場合、ベクトル割付処理は終了される。

[0709] 次に、図 74のフローチャートを参照して、割付ベクトル評価処理の詳細を説明するなお、図 74は、図 73のステップ S 707の割付ベクトル評価処理の例を示している。

[0710] 図 73のステップ S706において、画素情報演算部 701により、選択した割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が求められ、求められた元フレーム上の位置の情報が、評価値演算部 61および着目画素差分演算部 703に入力される。

[0711] 評価値演算部 61は、画素情報演算部 701から、元フレーム上の位置の情報が入力されると、ステップ S741において、割付対象画素における動きベクトルの評価値 D FDを求めるために、フレーム tおよびフレーム t+ 1上の位置を中心とした DFD演算範囲（m X n)をそれぞれ求め、ステップ S 742において、求められた DFD演算範囲が画枠内にあるカゝ否かを判定する。

[0712] ステップ S742において、 DFD演算範囲が画枠からはみ出していると判定された場合、その動きベクトルは、割付対象画素に割り付ける割付候補ベクトルにはならないと判定され、ステップ S743乃至 S749の処理は、スキップされ、割付ベクトル評価処理は終了され、処理は、図 73のステップ S708〖こ戻る。これ〖こより、フレーム t上の点 P 、およびフレーム t+ 1上の点 Qを中心とした DFD演算範囲が画枠をはみ出てしまつた場合の動きべ外ルは、候補から除外される。

[0713] ステップ S742において、求められた DFD演算範囲が画枠内にあると判定された場合、評価値演算部 61は、ステップ S743において、画枠内にあると判定された DFD 演算範囲を用いて、割付対象画素の評価値 DFDを演算し、求められた評価値 DFD を、評価値判定部 712に出力する。なお、このとき、元フレーム上の位置が画素以下であった場合には、上述した 4点補間を用いて、元フレーム上の交点の輝度値を求めることにより、割付対象画素の評価値 DFDが演算される。

[0714] 一方、着目画素差分演算部 703は、画素情報演算部 701から、元フレーム上の位置の情報が入力されると、ステップ S744において、割付対象画素における輝度差分絶対値 dpを求め、求められた輝度差分絶対値 dpを、画素差分判定部 711に出力する。なお、このときも、元フレーム上の位置が画素以下であった場合には、着目画素差分演算部 703は、上述した 4点補間を用いて、元フレーム上の交点の輝度値を求めることにより、割付対象画素における輝度差分絶対値 dpを演算する。 [0715] 画素差分判定部 711は、ステップ S745において、着目画素差分演算部 703からの割付対象画素の輝度差分絶対値 dpが、所定のしき!/、値以下であるカゝ否かを判定する。

ステップ S745において、割付対象画素の輝度差分絶対値 dpが、所定のしきい値より大きいと判定された場合、フレーム tおよびフレーム t+ 1の交点がそれぞれ異なるオブジェクトに属する可能性が高いと判定され、すなわち、その動きベクトルは、割付対象画素における信頼度が低ぐ割付対象画素に割り付ける割付候補ベクトルにはならないと判定され、処理は、ステップ S746乃至 S749をスキップし、割付ベクトル評価処理を終了し、図 73のステップ S708〖こ戻る。

[0716] これにより、フレーム tおよびフレーム t+ 1の交点がそれぞれ異なるオブジェクトに属する場合の動きベクトルは候補から外される。

[0717] ステップ S745において、割付対象画素の輝度差分絶対値 dpが、所定のしきい値以下であると判定された場合、処理は、ステップ S746に進む。評価値判定部 712は、ステップ S746において、ベクトル選択部 705の DFDテーブルを参照し、評価値演算部 61からの割付対象画素の評価値 DFDが、 DFDテーブルに記憶されて、る割付対象画素の最小評価値 ( 、まの場合、 0ベクトルの評価値 DFDO)よりも小さ、か否かを判定する。ステップ S 746において、評価値演算部 61からの割付対象画素の評価値 DFDが、 DFDテーブルに記憶されてヽる割付対象画素の最小評価値以上であると判定された場合、その動きベクトルは、割付対象画素において、信頼度が高くないと判定され、ステップ S747乃至 S749の処理は、スキップされ、割付ベクトル評価処理は終了され、処理は、図 73のステップ S708〖こ戻る。

[0718] 一方、ステップ S746において、評価値演算部 61からの割付対象画素の評価値 D FDが、 DFDテーブルに記憶されて、る割付対象画素の最小評価値よりも小さ!/、と判定された場合、評価値判定部 712は、その動きベクトルは、割付対象画素において、いままで比較した動きベクトルの中で最も、評価値 DFDに基づく信頼度が高いと判定し、信頼度が高いと判定された割付対象画素の評価値 DFDを、ベクトル選択部 705に出力する。

[0719] ベクトル選択部 705は、評価値判定部 712からの割付対象画素の評価値 DFDを入力すると、ステップ S747において、割付フラグメモリ 56の割付対象画素の割付フラグを l(True)に書き換え、ステップ S748において、 DFDテーブルの割付対象画素が対応する最小評価値を、評価値判定部 712により信頼度が高いと判定された評価値 DFDに書き換える。

[0720] ベクトル選択部 705には、ステップ S706において、画素情報演算部 701から選択した割付対象画素とその動きベクトルが入力されている。したがって、ベクトル選択部 705は、ステップ S749において、割付ベクトルメモリ 55の割付対象画素に割り付けられて、る動きベクトルを、信頼度が高、と判定された評価値 DFDに対応する動きべタトルで書き換える。これにより、割付ベクトル評価処理は終了され、処理は、図 73のステップ S708に戻る。

[0721] 以上のように、内挿フレームの割付対象画素に割り付けられる動きベクトルを選ぶときに、評価値 DFDだけでなぐ割付対象画素を基準に動きベクトルで対応付けた元フレーム上の位置に基づいて求められる、割付対象画素の輝度差分絶対値を別扱いにし、評価するようにしたので、従来の評価値 DFDを用いるだけの場合よりも、割付候補ベクトルの中から、最も確からしい動きベクトルを選んで、割付対象画素に割り付けることができる。これにより、ベクトル割付の精度が向上し、後段の画像補間処理にお、て生成される画像の不連続性などを抑制することができ、画像の品質を向上させることがでさる。

[0722] さらに、評価値 DFDや輝度差分絶対値を求める際などに、画素以下位置の画素値が必要な場合に、その画素以下位置の近傍 4画素との距離を基にした線形補間で値を求めるようにしたので、画素以下位置精度の処理が可能になり、さらに、従来の画素以下成分を丸めてしまう方法よりも、輝度差分絶対値 dpや評価値 DFDを精度よく求めることができ、これにより、割付候補ベクトルの中から、着目画素により確からしい動きベクトルを割り付けることができる。すなわち、ベクトル割付処理の精度が向上する。

[0723] 次に、割付補償部 57の構成の詳細について説明する。

[0724] 図 75は、割付補償部 57の構成を示すブロック図である。図 75に構成を示す割付補償部 57は、割付ベクトル判定部 801およびベクトル補償部 802により構成され、ベタトル割付部 54により動きベクトルが割り付けられな力つた 60P信号の内挿フレーム上の画素に、その周辺画素の動きベクトルを補って割り付ける処理を行う。

[0725] 前段のベクトル割付部 54により、割付ベクトルメモリ 55上の内挿フレームの画素には動きベクトルが割り付けられている。また、ベクトル割付部 54により動きベクトルが割り付けられた画素の割付フラグメモリ 56の割付フラグには、 l(True)が書き込まれており、動きベクトルが割り付けられな力つた画素の割付フラグメモリ 56の割付フラグには、 O(False)が書き込まれている。

[0726] 割付ベクトル判定部 801は、割付フラグメモリ 56の割付フラグを参照し、着目画素に、ベクトル割付部 54により動きベクトルが割り付けられているか否かを判定する。そして、割付ベクトル判定部 801は、ベクトル割付部 54により動きベクトルが割り付けられなカゝつた着目画素を選択し、選択した着目画素に対して、ベクトル補償部 802を制御し、その着目画素の周辺画素の動きベクトルを選択して、割付ベクトルメモリ 55の内挿フレーム上に割り付けさせる。

[0727] ベクトル補償部 802は、補償処理部 811、および図 6を参照して上述した評価値演算部 61により構成される。

[0728] 補償処理部 811は、最小評価値 DFDと、最小評価値 DFDの動きベクトルを候補ベクトル (以下、補償候補ベクトルとも称する）として記憶するメモリ 821を有しており、割付ベクトル判定部 801により選択された着目画素の初期値として、 0ベクトルの評価値 DFDを最小評価値としてメモリ 821に記憶し、 0ベクトルを、補償候補ベクトルとしてメモリ 821に記憶する。補償処理部 811は、割付フラグメモリ 56を参照して、着目画素の周辺画素の動きベクトルの有無を判定し、割付ベクトルメモリ 55から、周辺画素に割り付けられている動きベクトルを取得し、評価値演算部 61を制御し、その動きベクトルの評価値 DFDを演算させる。

[0729] また、補償処理部 811は、評価値演算部 61により演算された評価値 DFDがメモリ 8 21に記憶されて、る最小評価値よりも小さ!/、か否かを判定し、演算された評価値 DF Dが最小評価値よりも小さいと判定した場合、メモリ 821の補償候補ベクトルと最小評価値を、演算された評価値 DFDとその動きベクトルに書き換え、最終的に、評価値 D FDが最も小さヽと判定された周辺画素の動きベクトル (補償候補ベクトル)を、着目画素の動きベクトルとして、割付ベクトルメモリ 55の着目画素に割り付ける。さらに、補償処理部 811は、動きベクトルが割り付けられた着目画素の割付フラグメモリ 56の割付フラグを l(True)に書き換える。

[0730] 評価値演算部 61は、割付ベクトルメモリ 55から周辺画素の動きベクトルを取得すると、入力される時刻 tの 24P信号の画像のフレーム tと、時刻 t+ 1の画像のフレーム t + 1を用いて、割付ベクトルメモリ 55からの動きベクトルの評価値 DFDを演算し、演算した評価値 DFDを補償処理部 811に出力する。

[0731] 次に、図 76のフローチャートを参照して、割付補償処理の詳細を説明する。前段のベクトル割付部 54により、割付ベクトルメモリ 55上の内挿フレームの画素には動きべタトルが割り付けられている。また、ベクトル割付部 54により動きベクトルが割り付けられた画素の割付フラグメモリ 56の割付フラグには、 l(True)が書き込まれており、動きベクトルが割り付けられな力つた画素の割付フラグメモリ 56の割付フラグには、 0(Fals e)が書き込まれている。

[0732] 割付ベクトル判定部 801は、ステップ S801において、割付フラグメモリ 56の内揷フレームの画素を、着目画素として選択する。このとき、割付ベクトル判定部 801は、フレームの左上の画素からラスタスキャン順に画素を選択する。

[0733] 割付ベクトル判定部 801は、ステップ S802において、割付フラグメモリ 56内の着目画素の割付フラグ力 O(False)である力否かを判定し、割付フラグメモリ 56内の着目画素の割付フラグ力 O(False)であると判定した場合、動きベクトルが割り付けられていないと判定し、ステップ S803において、補償処理部 811を制御し、ベクトル補償処理を実行させる。このベクトル補償処理の詳細は、図 77を参照して後述するが、このベクトル補償処理により、周辺画素に割り付けられた動きベクトルの中から、評価値 D FDの最小の動きベクトルが補償候補ベクトルとしてメモリ 821に記憶される。

[0734] 補償処理部 811は、ステップ S804において、メモリ 821の補償候補ベクトルを、着目画素の動きベクトルとして、割付ベクトルメモリ 55に割り付け、ステップ S805において、割付フラグメモリ 56の着目画素の割り付けフラグを、 l(True)に書き換える。

[0735] 一方、ステップ S802において、割付フラグメモリ 56内の着目画素の割付フラグが、 l(True)であると判定され場合、その着目画素にはすでに動きベクトルが割り付けられているとされ、処理は、ステップ S803乃至 S805のをスキップし、ステップ S806〖こ進む。

[0736] 割付ベクトル判定部 801は、ステップ S806において、割付フラグメモリ 56の内揷フレームのすべての画素の処理を終了したか否かを判定する。ステップ S806において、すべての画素の処理を終了していないと判定された場合、処理は、ステップ S801 に戻り、割付フラグメモリ 56の内挿フレームの次の画素力着目画素として選択され、それ以降の処理が実行される。ステップ S806において、割付フラグメモリ 56の内挿フレームのすべての画素の処理を終了したと判定された場合、割付補償処理は終了される。

[0737] 次に、図 77のフローチャートを参照して、ベクトル補償処理の詳細を説明する。なお、図 77は、図 76のステップ S803のベクトル補償処理の例を示している。

[0738] 補償処理部 811は、ステップ S821において、評価値演算部 61を制御し、 0ベタトルを用いて評価値 DFDOを算出させる。具体的には、評価値演算部 61は、ステップ S821において、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、例えば、図 62を参照して上述したように、着目画素について、 0ベタトルでの評価値 DFDOを演算し、演算した評価値 DFDOを補償処理部 811に出力する。

[0739] ステップ S822において、補償処理部 811は、評価値 DFDOを最小評価値としてメモリ 821に記憶し、ステップ S823において、 0ベクトルを補償候補ベクトルとして、メモリ 821に記憶する。補償処理部 811は、ステップ S824において、割付ベクトル判定部 801により選択された着目画素の周辺 8画素のうち、 1つの周辺画素を選択する。このとき、補償処理部 811は、周辺 8画素のうち、左上の画素力もラスタスキャン順に周辺画素を選択する。

[0740] 補償処理部 811は、ステップ S825において、割付フラグメモリ 56を参照し、選択した周辺画素の動きベクトルが存在する力否かを判定する。割付フラグメモリ 56の周辺画素の割付フラグが l(True)であれば、ステップ S825において、選択した周辺画素に割り付けられている動きベクトルが存在すると判定され、処理は、ステップ S826に進み、補償処理部 811は、割付ベクトルメモリ 55から、周辺画素の動きベクトルを取得する。このとき、割付ベクトルメモリ 55から評価値演算部 61にも周辺画素の動きべタトルが出力される。

[0741] 評価値演算部 61は、割付ベクトルメモリ 55から周辺画素の動きベクトルが入力されると、ステップ S827において、入力される時刻 tの画像のフレーム tと、時刻 t+ 1の画像のフレーム t+ 1を用いて、着目画素について、割付ベクトルメモリ 55からの動きべタトルの評価値 DFDを演算し、演算した評価値 DFDを、補償処理部 811に出力する。

[0742] 補償処理部 811は、評価値演算部 61から評価値 DFDが入力されると、ステップ S 828において、評価値 DFD力メモリ 821に記憶されている着目画素の最小評価値よりも小さいか否かを判定する。ステップ S828において、評価値 DFD力メモリ 821 に記憶されて!ヽる着目画素の最小評価値よりも小さ!、と判定された場合、補償処理部 811は、ステップ S829において、メモリ 821の最小評価値を、最小評価値よりも小さいと判定された評価値 DFDに書き換え、ステップ S830において、メモリ 821の補償候補ベクトルを、その最小評価値の動きベクトルに書き換える。

[0743] 一方、ステップ S825において、割付フラグメモリ 56の周辺画素の割付フラグが 0(F alse)であると、選択した周辺画素に割り付けられている動きベクトルがないと判定され、ステップ S826乃至 S830の処理はスキップされ、処理は、ステップ S831に進む。また、ステップ S828において、評価値 DFD力メモリ 821に記憶されている着目画素の最小評価値以上であると判定された場合、ステップ S829および S830の処理はスキップされ、処理は、ステップ S831〖こ進む。

[0744] 補償処理部 811は、ステップ S831において、着目画素の周辺 8画素すべてに対して処理が終了したか否かを判定する。ステップ S831において、着目画素の周辺 8画素すべてに対して処理が終了していないと判定された場合、処理は、ステップ S824 に戻り、次の周辺画素が選択され、それ以降の処理が繰り返される。また、ステップ S 831において、着目画素の周辺 8画素すべてに対して処理が終了したと判定された場合、ベクトル補償処理は終了され、処理は、図 76のステップ S804に戻る。

[0745] 以上のように、ベクトル割付処理において、割り付けることができな力つた画素に関しても、動き相関があることを利用して、その画素の周辺の動きベクトルの中から、評価値 DFDに基づぐ最も信頼度がある、確からしい動きベクトルを得ることができる。これにより、ベクトルが割り付けられず、 0ベクトルなどを割り付けておく場合よりも、ベタトル割付の精度が向上し、後段の画像補間処理において生成される画像の不連続性を抑制することができる。

[0746] また、上述した割付補償処理により動きベクトルが割り付けられた画素の割付フラグを l(True)に書き換えるようにし、割付補償処理により割り付けられた動きベクトルも、次の画素の補償候補ベクトルとして用いるようにしたので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択されるようになり、誤りの少ない安定した動きベクトルを得ることができる。その結果、後段において生成される画像のブロックノイズや粉状ノイズなどを抑制し、品質を向上させることができる。

[0747] なお、上記説明にお、ては、ベクトル割付部 54にお、て割り付けられな力つた画素に対してベクトル補償処理を行っている力ベクトル検出部 52において検出されなかつた（0ベクトルが検出された）画素など、何らかの処理において動きベクトルが求められな力つた画素に対してベクトル補償処理を行うようにしてもよい。また、さらに、検出された動きベクトル、または、割り付けられた動きベクトルが確力しくない (信頼度が低ヽ）とされる画素に対してベクトル補償処理を行うようにしてもょヽ。

[0748] また、上記説明にお、ては、画素単位での割付補償処理を説明したが、所定のブロック単位でその周辺に位置する画素に割り付けられた動きベクトルのうちの確からしいものを、その所定のブロックの画素すべてに割り付けるようにしてもよい。なお、所定のブロックにすでに動きベクトルが割り付けられている画素がある場合は、それ以外の画素にだけ割り付けるようにしてもよ!、。

[0749] 次に、画像補間部 58の構成の詳細について説明する。

[0750] 図 78は、画像補間部 58の構成を示すブロック図である。図 78に構成を示す画像補間部 58は、割付ベクトルメモリ 55の内挿フレームに割り付けられた動きベクトルと、フレーム tおよびフレーム t+ 1の画素値を用いて、内挿フレームの画素値を補間生成し、 60P信号の画像を出力する処理を行う。

[0751] 図 78の例において、時刻 tの画像のフレーム tは、空間フィルタ 92—1に入力され、時刻 t+ 1の画像のフレーム t+ 1は、空間フィルタ 92— 2およびバッファ 95に入力される。

[0752] 補間制御部 91は、割付ベクトルメモリ 55の内挿フレームの画素を選択し、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、 2枚のフレーム tおよびフレーム t+ 1の画素との位置関係（空間シフト量）をそれぞれ求めるすなわち、補間制御部 91は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレーム t上の位置と、内挿フレームの画素に対応するフレーム t上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ 92 —1に供給する。同様に、補間制御部 91は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレーム t+ 1上の位置と、内挿フレームの画素に対応するフレーム t+ 1上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ 92— 2に供給する。

[0753] また、補間制御部 91は、予め設定されている内挿フレームの時間位相（時刻）に基づいて、フレーム tとフレーム t+ 1の間における補間重みを求め、求めた補間重みを、乗算器 93— 1および 93— 2に設定する。例えば、内挿フレームの時刻力フレーム t+ 1の時刻 t+ 1から「k」離れた時刻で、かつ、フレーム tの時刻 tから「1 k」離れた時刻である場合 (すなわち、内挿フレームが時刻 tと時刻 t+ 1を「1— k」：「k」に内分する時刻に生成される場合）、補間制御部 91は、乗算器 93— 1に「1— k」の補間重みを設定し、乗算器 93— 2に「k」の補間重みを設定する。

[0754] 空間フィルタ 92— 1および 92— 2は、例えば、キュービックフィルタなどにより構成される。空間フィルタ 92— 1は、入力されるフレーム t上の画素の画素値と、補間制御部 91から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレーム t上の画素値を求め、求めた画素値を乗算器 93— 1に出力する。空間フィルタ 9 2— 2は、入力されるフレーム t+ 1上の画素の画素値と、補間制御部 91から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレーム t+ 1上の画素値を求め、求めた画素値を乗算器 93— 2に出力する。

[0755] なお、内挿フレームの画素の位置力フレーム tまたはフレーム t+ 1上の画素の位置と一致しない場合（すなわち、内挿フレームの画素の位置力フレーム tまたはフレーム t+ 1において画素以下成分である場合）、空間フィルタ 92— 1および 92— 2は、フレーム tまたはフレーム t+ 1における内挿フレームの画素の位置の周辺 4画素の画素値を用いて、周辺 4画素の距離の逆比の和を求めることにより、内挿フレームの画素に対応するフレーム上の画素値を求める。すなわち、画素以下位置の画素値は、図 72を参照して上述した周辺 4画素との距離を基にした線形補間で値が求められる

[0756] 乗算器 93— 1は、空間フィルタ 92— 1から入力されるフレーム t上の画素値に、補間制御部 91により設定された補間重み「1—k」を乗算し、重み付けされた画素値を、加算器 94に出力する。乗算器 93— 2は、空間フィルタ 92— 2から入力されるフレーム t+ 1上の画素値に、補間制御部 91により設定された補間重み「k」を乗算し、重み付けされた画素値を、加算器 94に出力する。

[0757] 加算器 94は、乗算器 93— 1から入力される画素値と、乗算器 93— 2から入力される画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された内挿フレームの画素値を、バッファ 95に出力する。バッファ 95は、入力されたフレーム t+ 1をバッファしている。バッファ 95は、生成された内挿フレームを出力し、その次に、予め設定されている 60Pフレームの時間位相（時刻）に基づいて、必要に応じて、ノッファしているフレーム t+ 1を出力することにより、 60P信号の画像を、図示せぬ後段に出力する。

[0758] 以上のように構成される画像補間部 58の画像補間処理の詳細を、図 79のフローチヤートを参照して説明する。

[0759] 補間制御部 91は、ステップ S901において、処理する内挿フレームの時間位相に基づいて、フレーム tとフレーム t+ 1の間における内挿フレームの補間重み（例えば、「k」および「1— k」）を求め、求められた補間重みを、乗算器 93— 1および 93— 2にそれぞれ設定する。補間制御部 91は、ステップ S902において、割付ベクトルメモリ 5 5の内挿フレームの画素を選択する。なお、内挿フレーム上の画素は、フレームの左上の画素力ラスタスキャン順に選択される。

[0760] 補間制御部 91は、ステップ S903において、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、 2枚のフレーム tおよびフレーム t+ 1の画素との位置関係 (空間シフト量)をそれぞれ求め、求められた空間シフト量を、それぞれ空間フィルタ 92— 1および 92— 2に供給する。具体的には、補間制御部 91 は、ステップ S903において、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレーム t上の位置と、内挿フレームの画素に対応するフレーム t上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ 92— 1 に供給する。同様に、補間制御部 91は、内挿フレームの画素を基準に、その動きべタトルで対応付けられるフレーム t+ 1上の位置と、内挿フレームの画素に対応するフレーム t+ 1上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ 92— 2に供給する。

[0761] 時刻 tの画像のフレーム tの画素値は、空間フィルタ 92— 1に入力され、時刻 t+ 1 の画像のフレーム t+ 1の画素値は、空間フィルタ 92— 2に入力されている。ステップ S904において、空間フィルタ 92—1および 92— 2は、入力されるフレーム tおよび t + 1上の画素の画素値と、補間制御部 91から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、各フレーム上の画素値を求め、求めた画素値を乗算器 93— 1および 93— 2にそれぞれ出力する。

[0762] 乗算器 93— 1および 93— 2は、ステップ S905において、空間フィルタ 92— 1または 92— 2から入力される各フレーム上の画素値に、補間制御部 91により設定された補間重みを重み付けし、重み付けされた画素値を、加算器 94に出力する。すなわち、乗算器 93— 1は、空間フィルタ 92— 1から入力されるフレーム t上の画素値に、補間制御部 91により設定された補間重み「1—k」を乗算し、重み付けされた画素値を、加算器 94に出力する。乗算器 93— 2は、空間フィルタ 92— 2から入力されるフレーム t+ 1上の画素値に、補間制御部 91により設定された補間重み「k」を乗算し、重み付けされた画素値を、加算器 94に出力する。

[0763] 加算器 94は、ステップ S906において、乗算器 93— 1により重み付けされた画素値と、乗算器 93— 2により重み付けされた画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された画素値を、バッファ 95に出力する。補間制御部 91は、ステップ S907において、内挿フレーム上のすべての画素についての処理が終了したか否かを判定する。ステップ S907において、内挿フレーム上のすべての画素についての処理が終了していないと判定された場合、処理は、ステップ S902に戻り、それ以降の処理が繰り返される。ステップ S907において、内挿フレーム上のすべての画素についての処理が終了したと判定された場合、画像補間処理は、終了される。

[0764] 以上のように、内挿フレームに割り付けられた動きベクトルに基づいて、内挿フレームの画素値が生成されると、処理は、上述した図 16のステップ S85に戻り、ステップ S 86において、ノッファ 95により、内挿フレームが出力され、その次に、必要に応じて、フレーム t+ 1が出力されることにより、 60P信号の画像力後段に出力される。したがつて、内挿フレームの画素に、最も確力らしい動きベクトルが割り付くので、精度のよ Vヽ内挿フレームを生成することができる。

[0765] 本実施の形態においては、動きベクトルを選択する際の評価値として、差分絶対値和である評価値 DFD、評価値 mDFD、および評価値 dfvを用いて説明した力評価値 DFD、評価値 mDFD、および評価値 dfvに限定されず、動きベクトルの信頼度を評価するものであれば、他のものを用いるようにしてもょ、。

[0766] また、本実施の形態にお!、ては、各処理を行うブロックを、例えば、 8画素 X 8画素や 9画素 X 9画素などにより構成するようにして説明した力これらは、一例であり、各処理を行うブロックを構成する画素は、上記画素数に限定されな、。

[0767] さらに、本実施の形態においては、 24P信号力も 60P信号への信号変換を例に、説明を行ったが、本発明は、例えば、動画像のフレーム周波数変換として、インターレース信号や、他のフレームレート変換にも適用することができる。

[0768] 上述した一連の処理は、ハードウェアにより実行させることもできる力ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラム力専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

[0769] コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図 1に示されるように、磁気ディスク 31 (フレキシブルディスクを含む）、光ディスク 32 (CD- ROM(Compact Disc-Read Only Memo ry)、 DVD(Digital Versatile Disc)を含む）、光磁気ディスク 33 (MD(Mini- Disc) (商標）を含む）、もしくは半導体メモリ 34などよりなるリムーバブル記録媒体 (パッケージメディァ）、または、プログラムが一時的もしくは永続的に格納される ROM12などにより構成される。

なお、本明細書において、フローチャートに示されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

Claims

請求の範囲

[1] 動きベクトルを検出し、検出された動きベクトルに基づいて、画素値を生成する画像処理装置において、

フレーム上の着目ブロックの動きベクトルを検出する過程にぉ、て用いられる動きベクトルの精度の信頼度を表す評価値を、対象となる動きベクトルの始点と終点をそれぞれ含む 2フレームのブロックの輝度値から各ブロック内の輝度値の平均をそれぞれ差し引いた値を用いて演算する評価値演算手段と、

前記評価値演算手段により演算された評価値を用いて、前記動きベクトルの精度の信頼度を評価するベクトル評価手段と

を備える画像処理装置。

[2] 前記評価値演算手段は、

前記 2フレームのブロックのブロック間の輝度値差分の二乗和を演算する第 1の演算手段と、

前記第 1の演算手段による演算と並列して、前記ブロック間の輝度値差分和の二乗を演算する第 2の演算手段と

を備える請求項 1に記載の画像処理装置。

[3] 勾配法により着目ブロックの動きベクトルを求める勾配法演算手段をさらに備え、前記評価値演算手段は、前記勾配法演算手段により求められる反復段階毎の動きベクトルの評価値を演算し、

前記ベクトル評価手段は、前記評価値演算手段により演算された前記反復段階毎の動きベクトルの評価値のうち、最も小さい評価値の動きベクトルを精度の信頼度が高いと評価し、前記着目ブロックの動きベクトルとして後段に出力する

請求項 1に記載の画像処理装置。

[4] 前記フレーム上の着目ブロックの動きベクトルを検出するための勾配法の初期値として用いられる初期ベクトルを選択する初期ベクトル選択手段をさらに備え、前記評価値演算手段は、前記フレームの過去フレームにおいて検出された前記動きベクトルの終点である終点ブロックと同じ位置にある前記フレーム上の着目ブロックを始点とした、前記動きベクトルと同じ大きさ、かつ、同じ向きの動きベクトルである前記着目ブロックのシフト初期ベクトル、および、前記フレームまたは前記過去フレームにおいて検出された前記着目ブロックの所定の周辺ブロックの動きベクトルの評価値を演算し、

前記ベクトル評価手段は、前記評価値演算手段により演算された前記着目ブロックのシフト初期ベクトル、および前記所定の周辺ブロックの動きベクトルの評価値のうち、最も小さ!、評価値の動きベクトルを精度の信頼度が高!、と評価し、

前記初期ベクトル選択手段は、前記ベクトル評価手段により精度の信頼度が高いと評価された動きベクトルを、前記着目ブロックの初期ベクトルとして選択する

請求項 1に記載の画像処理装置。

[5] 前記フレームの過去フレームにおいて検出された前記動きベクトルの終点である終点ブロックと同じ位置にある前記フレーム上のブロックを始点とした、前記動きべタトルと同じ大きさ、かつ、同じ向きの動きベクトルを、前記ブロックのシフト初期ベクトルとして設定するシフト初期ベクトル設定手段をさらに備え、

前記ベクトル評価手段は、前記過去フレームにおいて検出された前記動きベクトルの前記終点ブロックと同 f立置にある前記フレーム上の前記ブロックにおいて検出された前記動きベクトルの評価値のうち、最も小さ!、評価値の動きベクトルを精度の信頼度が高いと評価し、

前記シフト初期ベクトル設定手段は、前記ベクトル評価手段により精度の信頼度が高いと評価された前記動きベクトルと同じ大きさ、かつ、同じ向きの動きベクトルを、前記ブロックの前記シフト初期ベクトルとして選択する

請求項 3に記載の画像処理装置。

[6] 動きベクトルを検出し、検出された動きベクトルに基づいて、画素値を生成する画像処理装置の画像処理方法にお!、て、

フレーム上の着目ブロックの動きベクトルを検出する過程にぉ、て用いられる動きベクトルの精度の信頼度を表す評価値を、対象となる動きベクトルの始点と終点をそれぞれ含む 2フレームのブロックの輝度値から各ブロック内の輝度値の平均をそれぞれ差し引いた値を用いて演算する評価値演算ステップと、

前記評価値演算ステップの処理により演算された評価値を用いて、前記動きべタトルの精度の信頼度を評価するベクトル評価ステップと

を含む画像処理方法。

[7] 動きベクトルを検出し、検出された動きベクトルに基づいて、画素値を生成する処理をコンピュータに行わせるプログラムであって、

を含むプログラム。

[8] 請求項 7に記載のプログラムが記録されて、る記録媒体。