WO2008023466A1

WO2008023466A1 - Moving vector detecting bdevice

Info

Publication number: WO2008023466A1
Application number: PCT/JP2007/052011
Authority: WO
Inventors: Junji Sukeno; Shuji Sotoda; Yoshiko Hatano; Yoshiki Ono; Kazuhiro Sugiyama
Original assignee: Mitsubishi Electric Corporation
Priority date: 2006-08-24
Filing date: 2007-02-06
Publication date: 2008-02-28
Also published as: EP2061007A1

Description

明細書

動きベクトル検出装置

技術分野

[0001] 本発明は、時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルを検出する動きベクトル検出装置に関するものである。背景技術

[0002] 手振れ補正などに用いられるフレーム画像間の動きベクトル検出技術としては、代表点マッチング方式を用いて、連続して取り込んだ画像力も動きベクトルを検出するものがある。この代表点マッチング方式では、連続して取り込んだ画像において前フレームの画像の固定された位置に代表点を設定するとともに、現在のフレームの画像を 2次元方向にずらしながら代表点の相関演算を行うことにより、相関の最も高くなるズレ量を動きベクトルとして検出する。

[0003] しかし、以上の動きベクトル検出技術では、代表点に一定以上の輝度勾配が存在することが必要であるため、例えば文書画像のような白黒の画像を対象とする場合には全ての代表点で輝度勾配が低くなつて、動き量 (動きベクトル)が精度良く検出できないこととなる。

[0004] この不具合を改善する技術としては、例えば特許文献 1に開示されるものがある。この技術では、まず輝度勾配を持つ画像の特徴点を抽出し、抽出された特徴点を代表点として代表点マッチング処理を行うことにより、動きベクトルの良好な検出を可能としている。

[0005] また、特許文献 2に記載のように、画像を複数のブロックに分割し、ブロックごとにェッジを検出し、エッジの移動を追うことにより、動きベクトルを検出する方法がある。この方法では、空などのように、空間周波数が低く特徴的な絵柄のない場合や、格子戸のように、空間周波数が高ぐ特徴点が多数存在する場合の誤判定を軽減するために、 1ブロックあたりのエッジ数で重み付けを行い、信頼性を評価している。また、ェッジ検出の方法としては、ゼロクロッシング法などが使用されて、る。

[0006] 特許文献 1 :特許第 3534551号公報特許文献 2：特許第 3164121号公報

発明の開示

発明が解決しょうとする課題

[0007] し力しながら、特許文献 1の技術では、輝度勾配が存在する代表点を確実に設定できるものの、依然としてフレーム画像において探索範囲の全体にわたって画素を少しずつずらしながら代表点の相関演算を行うため、代表点 (特徴点)ごとに相当の演算量が必要となる。よって、代表点の数を一定以下に抑えない限り、迅速な動きべタトルの検出が困難となってリアルタイム処理が難しくなる。一方、代表点が少なすぎると、動きベクトルの検出精度の低下を招いてしまう。

[0008] また、特許文献 2に開示された動きベクトル検出方法は、ブロックごとに算出された動きベクトルの信頼性を、ブロックごとのエッジ数で重み付けすることにより、誤判定を軽減している力リアルタイム処理が要求される場合には、全ブロックを一様に評価することが難ヽと、う問題を有して、る。

[0009] すなわち、画像全体を一様に評価しょうとすると、全画像を取り込んだ上で動きべクトル検出処理を行う必要があり、それではリアルタイム処理に合わない。処理時間を満足するためには、ブロック単位で処理を完結させ、処理を次々と進める必要がある力このとき、各ブロックを一様に処理することができないため、各ブロックを一様にェッジ数だけで重み付けしたのでは、必ずしも、十分な結果が得られるとは言いがたい

[0010] 本発明は上記のような問題点を解消するためになされたものであり、フレーム画像間の動きベクトルの検出を精度良く迅速に行えるとともに、リアルタイム処理を満足しつつ、各ブロック力算出される動きベクトルの信頼性を評価することが可能な動きべタトル検出装置を提供することを目的とする。

[0011] 本発明に係る動きベクトル検出装置の第 1の態様は、時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルを検出する動きべタトル検出装置であって、水平ラインの画素走査を垂直方向に順に繰り返すことによつて読み出されるフレーム画像に関して、垂直方向に一定の分割幅を有して複数に分割されたブロックごとに垂直方向のエッジを強調するエッジ強調手段と、前記エツジ強調手段でエッジが強調された画像にっ、て、前記ブロックごとに垂直方向に射影をとり、前記ブロックのそれぞれで 1水平ライン分のデータ配列を有する射影データを生成する射影手段と、前記前フレームに対して前記射影手段で得られた射影データに関して前記データ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定する特定手段と、前記各交差点の配列要素の位置を中心とした所定範囲のデータ配列を、前記後フレームに対して前記射影手段で得られた射影データから抽出する抽出手段と、前記抽出手段で抽出された所定範囲のデータ配列それぞれについて、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算する加算手段と、前記加算手段で加算された加算結果に基づき、フレーム画像の水平方向に関する動きベクトルを検出する検出手段とを備えて、る。

[0012] 本発明に係る動きベクトル検出装置の第 2の態様は、時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルを検出する動きべタトル検出装置であって、水平ラインの画素走査を垂直方向に順に繰り返すことによつて読み出されるフレーム画像に関して、水平方向に一定の分割幅を有して複数のブロックに分割されたブロックごとに水平方向のエッジを強調するエッジ強調手段と、前記エッジ強調手段でエッジが強調された画像にっ、て、前記ブロックごとに水平方向に射影をとり、前記ブロックのそれぞれで 1垂直ライン分のデータ配列を有する射影データを生成する射影手段と、前記前フレームに対して前記射影手段で得られた射影データに関して前記データ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定する特定手段と、前記各交差点の配列要素の位置を中心とした所定範囲のデータ配列を、前記後フレームに対して前記射影手段で得られた射影データから抽出する抽出手段と、前記抽出手段で抽出された所定範囲のデータ配列それぞれについて、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算する加算手段と、前記加算手段で加算された加算結果に基づき、フレーム画像の垂直方向に関する動きベクトルを検出する検出手段とを備えて、る。

[0013] 本発明に係る動きベクトル検出装置の第 3の態様は、時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルを検出する動きべタトル検出装置であって、水平ラインの画素走査を垂直方向に順に繰り返すことによつて読み出されるフレーム画像に関して、垂直方向に一定の分割幅を有して複数のブロックに分割されたブロックごとに垂直方向のエッジを強調するエッジ強調手段と、前記エッジ強調手段でエッジが強調された画像にっ、て、前記ブロックごとに垂直方向に射影をとり、前記ブロックのそれぞれで 1水平ライン分のデータ配列を有する射影データを生成する射影手段と、前記後フレームに対して前記射影手段で得られた後フレーム射影データの配列要素において最大値を求める最大値取得手段と、前記前フレームに対して前記射影手段で得られた前フレーム射影データに関して前記データ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定して交差点情報として出力する特定手段と、前記各交差点の配列要素の位置を中心とした所定範囲のデータ配列を、前記後フレーム射影データから抽出する抽出手段と、前記抽出手段で抽出された所定範囲のデータ配列それぞれにつ!/、て、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算し、得られた加算結果に基づいて前記ブロックごとの水平方向動きベクトルを算出する加算手段と、前記カロ算手段で算出された前記ブロックごとの水平方向動きベクトルに基づき、フレーム画像全体の水平方向動きベクトルを検出する検出手段と、を備え、前記検出手段は、前記最大値取得手段で得られた前記後フレーム射影データの前記最大値、前記カロ算手段で得られた前記加算結果および前記特定手段で得られた前記交差点情報のうち少なくとも 1つを用いて前記ブロックごとの水平方向動きベクトルの信頼性評価を行う。

本発明に係る動きベクトル検出装置の第 4の態様は、時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルを検出する動きべタトル検出装置であって、水平ラインの画素走査を垂直方向に順に繰り返すことによつて読み出されるフレーム画像に関して、水平方向に一定の分割幅を有して複数のブロックに分割されたブロックごとに水平方向のエッジを強調するエッジ強調手段と、前記エッジ強調手段でエッジが強調された画像にっ、て、前記ブロックごとに水平方向に射影をとり、前記ブロックのそれぞれで 1垂直ライン分のデータ配列を有する射影データを生成する射影手段と、前記後フレームに対して前記射影手段で得られた後フレーム射影データの配列要素において最大値を求める最大値取得手段と、前記前フレームに対して前記射影手段で得られた前フレーム射影データに関して前記データ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定して交差点情報として出力する特定手段と、前記各交差点の配列要素の位置を中心とした所定範囲のデータ配列を、前記後フレーム射影データから抽出する抽出手段と、前記抽出手段で抽出された所定範囲のデータ配列それぞれにつ!/、て、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算し、得られた加算結果に基づいて前記ブロックごとの垂直方向動きベクトルを算出する加算手段と、前記カロ算手段で算出された前記ブロックごとの垂直方向動きベクトルに基づき、フレーム画像全体の垂直方向動きベクトルを検出する検出手段と、を備え、前記検出手段は、前記最大値取得手段で得られた前記後フレーム射影データの前記最大値、前記カロ算手段で得られた前記加算結果および前記特定手段で得られた前記交差点情報のうち少なくとも 1つを用いて前記ブロックごとの垂直方向動きベクトルの信頼性評価を行う。

本発明に係る動きベクトル検出装置の第 1の態様によれば、フレーム画像における所定の画像領域にっ、て垂直方向のエッジを強調し、エッジ強調された画像にっヽて垂直方向に射影をとつて 1水平ライン分のデータ配列を有する射影データを生成するとともに、前フレームの射影データに関してデータ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定する。そして、各交差点の配列要素の位置を中心とした所定範囲のデータ配列を後フレームの射影データ力も抽出するとともに、抽出された所定範囲のデータ配列それぞれについて各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算し、その加算結果に基づきフレーム画像の水平方向に関する動きベクトルを検出する。その結果、フレーム画像間の動きべクトルの検出を精度良く迅速に行える。 [0016] 本発明に係る動きベクトル検出装置の第 2の態様によれば、フレーム画像における所定の画像領域にっ、て水平方向のエッジを強調し、エッジ強調された画像にっヽて水平方向に射影をとつて 1垂直ライン分のデータ配列を有する射影データを生成するとともに、前フレームの射影データに関してデータ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定する。そして、各交差点の配列要素の位置を中心とした所定範囲のデータ配列を後フレームの射影データ力も抽出するとともに、抽出された所定範囲のデータ配列それぞれについて各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算し、その加算結果に基づきフレーム画像の垂直方向に関する動きベクトルを検出する。その結果、フレーム画像間の動きべクトルの検出を精度良く迅速に行える。

[0017] 本発明に係る動きベクトル検出装置の第 3の態様によれば、検出手段において、最大値取得手段で得られた後フレーム射影データの最大値、加算手段で得られたカロ算結果および特定手段で得られた交差点情報のうち少なくとも 1つを用いてブロックごとの水平方向動きベクトルの信頼性評価を行うので、信頼性の低!ヽブロック力ゝら得られた水平方向動きベクトルを除外することで、結果的に、信頼性の高いフレーム画像全体の水平方向動きベクトルを算出することができる。

[0018] 本発明に係る動きベクトル検出装置の第 4の態様によれば、検出手段において、最大値取得手段で得られた後フレーム射影データの最大値、加算手段で得られたカロ算結果および特定手段で得られた交差点情報のうち少なくとも 1つを用いてブロックごとの垂直方向動きベクトルの信頼性評価を行うので、信頼性の低!ヽブロック力ゝら得られた垂直方向動きベクトルを除外することで、結果的に、信頼性の高いフレーム画像全体の垂直向動きベクトルを算出することができる。

[0019] この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによつて、より明白となる。

図面の簡単な説明

[0020] [図 1]本発明の実施の形態 1に係る動きベクトル検出装置 1、実施の形態 2に係る動きベクトル検出装置 1A、実施の形態 3に係る動きベクトル検出装置 IBおよび実施の形態 4に係る動きベクトル検出装置 1Cの要部構成を示すブロック図である。

[図 2]フレーム画像における画素走査方向を説明するための図である。

[図 3]水平方向動きベクトル検出部 2の要部構成を示すブロック図である。

[図 4]垂直方向ブロック射影部 23の要部構成を示すブロック図である。

[図 5]垂直方向ブロック水平方向動きベクトル算出部 31の要部構成を示すブロック図である。

[図 6]垂直方向動きベクトル検出部 4の要部構成を示すブロック図である。

[図 7]水平方向ブロック射影部 43の要部構成を示すブロック図である。

[図 8]水平方向ブロック垂直方向動きベクトル算出部 50の要部構成を示すブロック図である。

[図 9]垂直方向画像分割部 21および垂直方向ブロック射影部 23の動作を説明するための図である。

[図 10]n値化器 314および 504における n値ィ匕処理を説明するための図である。

[図 11]第 1の閾値交差点探索部 29、垂直方向ブロック射影データ読み出し部 30および垂直方向ブロック水平方向動きベクトル算出部 31の動作を説明するための図である。

[図 12]加算器 315およびピーク検出部 317の動作を説明するための図である。

[図 13]水平方向画像分割部 41および水平方向ブロック射影部 43の動作を説明するための図である。

[図 14]第 3の閾値交差点探索部 48、水平方向ブロック射影データ読み出し部 49および水平方向ブロック垂直方向動きベクトル算出部 50の動作を説明するための図である。

[図 15]加算器 505およびピーク検出部 507の動作を説明するための図である。

[図 16]本発明の実施の形態 2に係る動きベクトル検出装置 1Aにおける水平方向動きベクトル検出部 2Aの要部構成を示すブロック図である。

[図 17]動きベクトル検出装置 1Aにおける垂直方向動きベクトル検出部 4Aの要部構成を示すブロック図である。

[図 18]本発明の実施の形態 3に係る動きベクトル検出装置 1Cにおける水平方向動きベクトル検出部 2Bの要部構成を示すブロック図である。

[図 19]垂直方向ブロック水平方向動きベクトル算出部 310の要部構成を示すブロック図である。

[図 20]垂直方向動きベクトル検出部 4Bの要部構成を示すブロック図である。

[図 21]水平方向ブロック垂直方向動きベクトル算出部 500の要部構成を示すブロック図である。

[図 22]第 1の垂直方向ブロック射影データ最大値を用いて各垂直方向ブロックの効 Z無効を判定する方法を説明する図である。

[図 23]垂直方向ブロックの有効 Z無効の判定を模式的に示す図である。

[図 24]垂直方向ブロック n値化加算データピーク値を用いて各垂直方向ブロックの有効 Z無効を判定する方法を説明する図である。

[図 25]垂直方向ブロックの有効 Z無効の判定を模式的に示す図である。

圆 26]第 1の閾値交差点の個数を用いて各垂直方向ブロックの有効 Z無効を判定する方法を説明する図である。

[図 27]垂直方向ブロックの有効 Z無効の判定を模式的に示す図である。

[図 28]垂直方向ブロックの有効 Z無効の判定を模式的に示す図である。

[図 29]画像全体の水平方向動きベクトルの決定方法の一例について説明する図である。

[図 30]画像全体の水平方向動きベクトルの決定方法の一例について説明する図である。

[図 31]第 1の水平方向ブロック射影データ最大値を用いて各水平方向ブロックの有効 Z無効を判定する方法を説明する図である。

[図 32]水平方向ブロックの有効 Z無効の判定を模式的に示す図である。

[図 33]水平方向ブロック n値化加算データピーク値を用いて各水平方向ブロックの有効 Z無効を判定する方法を説明する図である。

[図 34]水平方向ブロックの有効 Z無効の判定を模式的に示す図である。

圆 35]第 3の閾値交差点の個数を用いて各水平方向ブロックの有効 Z無効を判定する方法を説明する図である。 [図 36]水平方向ブロックの有効 Z無効の判定を模式的に示す図である。

[図 37]水平方向ブロックの有効 Z無効の判定を模式的に示す図である。

[図 38]画像全体の垂直方向動きベクトルの決定方法の一例について説明する図である。

[図 39]画像全体の垂直方向動きベクトルの決定方法の一例について説明する図である。

[図 40]本発明の実施の形態 4に係る動きベクトル検出装置 1Cにおける水平方向動きベクトル検出部 2Cの要部構成を示すブロック図である。

[図 41]動きベクトル検出装置 1Cにおける垂直方向動きベクトル検出部 4Cの要部構成を示すブロック図である。

発明を実施するための最良の形態

[0021] 実施の形態 1.

<動きべクトル検出装置 1の構成 >

図 1は、本発明の実施の形態 1に係る動きベクトル検出装置 1の要部構成を示すブロック図である。

[0022] 動きベクトル検出装置 1は、例えば動画像において画面内の被写体の動きを表す画像動きベクトルを検出するものであり、時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルが検出される。この動きベクトル検出装置 1で検出された動きベクトルはビデオカメラの手振れ補正などに利用される。なお、動きベクトル検出装置 1に入力されるフレーム画像は、図 2に示すように水平方向の画素走査および垂直方向のライン走査を行うことによって読み出されるものとする。

[0023] 動きベクトル検出装置 1は、入力端子 11と、水平方向動きベクトル検出部 2および垂直方向動きベクトル検出部 4と、 2つの出力端子 12、 13とを備えている。この水平方向動きベクトル検出部 2および垂直方向動きベクトル検出部 4については、その機能が例えばマイクロプロセッサによってソフトウェア的に実現されてもよぐまた大半をハードウェア (一部をソフトウェア)で実現するようにしてもよい。もちろん、全機能をノヽ一ドウエアで実現してもよ!/、ことは言うまでもな!/、。 [0024] 入力端子 11には、例えばビデオカメラ内の撮像素子で取得された画像データ (動画像)やビデオ信号などの画像データ (動画像)が入力される。入力端子 11に入力された画像データは、水平方向動きベクトル検出部 2において水平方向の動きベクトルが検出され、その検出された水平方向動きベクトルが出力端子 12から出力される。

[0025] 一方、垂直方向動きベクトル検出部 4では、入力端子 11に入力された画像データにつ、て垂直方向の動きベクトルが検出される。この垂直方向動きベクトル検出部 4 で検出された垂直方向動きベクトルは、出力端子 13から出力される。

[0026] 以下では、水平方向動きベクトル検出部 2と垂直方向動きベクトル検出部 4との構成を順に説明する。

[0027] 図 3は、水平方向動きベクトル検出部 2の要部構成を示すブロック図である。

水平方向動きベクトル検出部 2は、入力端子 20と、垂直方向画像分割部 21と、垂直方向エッジ抽出フィルタリング部 22と、垂直方向ブロック射影部 23と、第 1の垂直方向ブロック射影データ最大値保存部 24と、ビット数削減部 25と、第 1の垂直方向ブロック射影ラインメモリ 26とを備えている。また、水平方向動きベクトル検出部 2は、第 2の垂直方向ブロック射影ラインメモリ 27と、第 2の垂直方向ブロック射影データ最大値保存部 28と、第 1の閾値交差点探索部 29と、垂直方向ブロック射影データ読み出し部 30と、垂直方向ブロック水平方向動きベクトル算出部 31と、水平方向動きべタトル決定部 32と、出力端子 33とを備えている。以上の水平方向動きベクトル検出部 2 の各部位にっ、て、その機能を簡単に説明する (具体的な動作は後で詳述する)。

[0028] 垂直方向画像分割部 21は、入力端子 20に入力されたフレーム画像を垂直方向に分割し、垂直方向に分割したブロック (以下では「垂直方向ブロック」とも称する)を出力する。

[0029] 垂直方向エッジ抽出フィルタリング部 22は、垂直方向画像分割部 21で分割されたブロックごとにエッジ抽出を行うためのフィルタリング処理を行う。なお、垂直方向画像分割部 21および垂直方向エッジ抽出フィルタリング部 22を合わせてエッジ強調手段と呼称する場合がある。

[0030] 垂直方向ブロック射影部 23は、垂直方向エッジ抽出フィルタリング部 22から出力されるエッジ強調済みの垂直方向ブロックにつ、て垂直方向に射影をとり、垂直方向ブロックごとに射影データを出力する。

[0031] 第 1の垂直方向ブロック射影データ最大値保存部 24は、垂直方向ブロック射影部 2 3から出力された現フレームの垂直方向ブロックの射影データにおける最大値 (以下では「現フレームの垂直方向ブロック射影データ最大値」または「第 1の垂直方向プロック射影データ最大値」とも言う）を保存する。また、第 1の垂直方向ブロック射影データ最大値保存部 24は、第 1の垂直方向ブロック射影データ最大値に基づき、後述する第 2の閾値を算出する。

[0032] ビット数削減部 25は、第 1の垂直方向ブロック射影データ最大値保存部 24に保存された第 1の垂直方向ブロック射影データ最大値に基づき、垂直方向ブロック射影部 23から出力された垂直方向ブロックの射影データのビット数を削減する。ビット数を削減された垂直方向ブロックの射影データを「第 1の垂直方向ブロック射影データ」と称する。

[0033] 第 1の垂直方向ブロック射影ラインメモリ 26は、ビット数削減部 25でビット数が削減された第 1の垂直方向ブロック射影データを保存する。

[0034] 第 2の垂直方向ブロック射影ラインメモリ 27は、第 1の垂直方向ブロック射影ラインメモリ 26から送られた垂直方向ブロック射影データを、前フレームの垂直方向ブロックの射影データ (以下では「第 2の垂直方向ブロック射影データ」ともいう)として保存する。

[0035] 第 2の垂直方向ブロック射影データ最大値保存部 28は、第 1の垂直方向ブロック射影データ最大値保存部 24から出力された第 1の垂直方向ブロック射影データ最大値を、前フレームに関する「第 2の垂直方向ブロック射影データ最大値」（「前フレームの垂直方向ブロック射影データ最大値」とも言う）として保存する。また、第 2の垂直方向ブロック射影データ最大値保存部 28は、第 2の垂直方向ブロック射影データ最大値に基づき、後述する第 1の閾値を算出する。

[0036] 第 1の閾値交差点探索部 29は、第 2の垂直方向ブロック射影ラインメモリ 27に保存される前フレームに係る第 2の垂直方向ブロック射影データの波形と、第 2の垂直方向ブロック射影データ最大値保存部 28で算出された第 1の閾値とが交差する点を求め、この交差点（以下では「第 1の閾値交差点」とも、う）の情報を出力する。 [0037] 垂直方向ブロック射影データ読み出し部 30は、第 1の閾値交差点探索部 29で求められた第 1の閾値交差点を中心に、その前後の所定範囲 (動きベクトル検出範囲）内にある第 1の垂直方向ブロック射影データを、第 1の垂直方向ブロック射影ラインメモリ 26から読み出す。

[0038] 垂直方向ブロック水平方向動きベクトル算出部 31は、第 1の垂直方向ブロック射影データ最大値保存部 24から出力される第 2の閾値を用い、垂直方向ブロック射影データ読み出し部 30で読み出された第 1の垂直方向ブロック射影データそれぞれを n 値ィ匕 (nは 2以上の整数)してビット数の削減を行うとともに、 n値化された射影データを第 1の閾値交差点力の距離ごとに加算する。

[0039] 水平方向動きベクトル決定部 32は、垂直方向ブロック水平方向動きベクトル算出部 31からの出力に基づき画像の水平方向動きベクトルを決定する。ここで決定された画像の水平方向動きベクトルは出力端子 33から出力される。

[0040] 図 4は、垂直方向ブロック射影部 23の要部構成を示すブロック図である。

垂直方向ブロック射影部 23は、入力端子 231と、 1水平ラインずつデータ加算を行う加算器 232と、加算器 232で加算されたデータを逐次保存するバッファメモリとしての垂直方向射影一時記憶メモリ 233と、出力端子 234とを備えている。

[0041] 入力端子 231には、垂直方向エッジ抽出フィルタリング部 22で垂直方向のエッジが強調された画像が垂直方向ブロックごとに入力される。入力端子 231に入力された画像は、垂直方向ブロックごとに加算器 232および垂直方向射影一時記憶メモリ 23 3によって垂直方向に射影がとられる。具体的には、加算器 232において垂直方向ブロックの 1水平ライン分のデータと、垂直方向射影一時メモリ 233から読み出された 1水平ライン分のデータとが加算され、加算結果が垂直方向射影一時記憶メモリ 233 に再び戻されて記憶される。このような加算動作が繰り返されることにより垂直方向ブロックにおける全ての水平ラインの加算が終了すると、全水平ラインの加算データ、つまり垂直方向の射影データが出力端子 234から出力されることとなる。

[0042] 図 5は、垂直方向ブロック水平方向動きベクトル算出部 31の要部構成を示すブロック図である。

[0043] 垂直方向ブロック水平方向動きベクトル算出部 31は、 3つの入力端子 311〜313と、 n値化器 314と、 n値化器 314で n値ィ匕された第 1の垂直方向ブロック射影データの加算を行う加算器 315と、加算器 315で加算されたデータを逐次保存するバッファメモリとしての水平方向動きベクトル加算メモリ 316と、ピーク検出器 317と、出力端子 3 18とを備えている。

[0044] 入力端子 311には、垂直方向ブロック射影データ読み出し部 30から出力された第 1の垂直方向ブロック射影データが入力され、入力端子 312には、第 1の垂直方向ブロック射影データ最大値保存部 24から出力された第 2の閾値が入力される。また、入力端子 313には、第 1の閾値交差点探索部 29から出力された第 1の閾値交差点の情報が入力される。

[0045] n値化器 314は、入力端子 311から入力された第 1の垂直方向ブロック射影データを、入力端子 312から入力される第 2の閾値に基づいて n値ィ匕 (例えば 3値化)する。

[0046] 加算器 315は、 n値化器 314で n値ィ匕された第 1の垂直方向ブロック射影データと、水平方向動きベクトル加算メモリ 316から読み出されたデータとを第 1の閾値交差点を中心として加算し、加算結果を水平方向動きベクトル加算メモリ 316に再び記憶させる。このような加算動作が繰り返されることにより垂直方向ブロックに関する全ての第 1の閾値交差点についての加算が終了すると、垂直方向ブロックに関する加算データがピーク検出器 317に出力される。

[0047] ピーク検出器 317は、加算器 315から出力された加算データにおけるピーク位置（後述する水平方向動きベクトル)を検出する。このピーク検出器 317で検出されたピーク位置は、出力端子 318を介して水平方向動きベクトル決定部 32に入力されることとなる。

[0048] 次に、垂直方向動きベクトル検出部 4の構成を説明する。

図 6は、垂直方向動きベクトル検出部 4の要部構成を示すブロック図である。

垂直方向動きベクトル検出部 4は、入力端子 40と、水平方向画像分割部 41と、水平方向エッジ抽出フィルタリング部 42と、水平方向ブロック射影部 43と、第 1の水平方向ブロック射影ラインメモリ 44と、第 1の水平方向ブロック射影データ最大値保存部 45とを備えている。また、垂直方向動きベクトル検出部 4は、第 2の水平方向ブロック射影ラインメモリ 46と、第 2の水平方向ブロック射影データ最大値保存部 47と、第 3 の閾値交差点探索部 48と、水平方向ブロック射影データ読み出し部 49と、水平方向ブロック垂直方向動きベクトル算出部 50と、垂直方向動きベクトル決定部 51と、出力端子 52とを備えて、る。以上の垂直方向動きベクトル検出部 4の各部位にっ、て、その機能を簡単に説明する (具体的な動作は後で詳述する)。

[0049] 水平方向画像分割部 41は、入力端子 40に入力されたフレーム画像を水平方向に分割し、水平方向に分割したブロック (以下では「水平方向ブロック」とも称する)を出力する。

[0050] 水平方向エッジ抽出フィルタリング部 42は、水平方向画像分割部 41で分割されたブロックごとにエッジ抽出を行うためのフィルタリング処理を行う。水平方向画像分割部 41および水平方向エッジ抽出フィルタリング部 42を合わせてエッジ強調手段と呼称する場合がある。

[0051] 水平方向ブロック射影部 43は、水平方向エッジ抽出フィルタリング部 42から出力されるエッジ強調済みの水平方向ブロックについて水平方向に射影をとり、水平方向ブロックごとに射影データを出力する。

[0052] 第 1の水平方向ブロック射影ラインメモリ 44は、水平方向ブロック射影部 43から出力された水平方向ブロックの射影データを、現フレームの水平方向ブロック射影データ（以下では「第 1の水平方向ブロック射影データ」ともいう）として保存する。

[0053] 第 1の水平方向ブロック射影データ最大値保存部 45は、水平方向ブロック射影部 4 3から出力された現フレームの水平方向ブロックの射影データの最大値 (以下では「現フレームの水平方向ブロック射影データ最大値」または「第 1の水平方向ブロック射影データ最大値」とも言う）を保存する。

[0054] 第 2の水平方向ブロック射影ラインメモリ 46は、第 1の水平方向ブロック射影ラインメモリ 44から送られた水平方向ブロック射影データを、前フレームの水平方向ブロックの射影データ (以下では「第 2の水平方向ブロック射影データ」ともいう)として保存する。

[0055] 第 2の水平方向ブロック射影データ最大値保存部 47は、第 1の水平方向ブロック射影データ最大値保存部 45から出力された第 1の水平方向ブロック射影データ最大値を、前フレームに関する「第 2の水平方向ブロック射影データ最大値」（「前フレームの水平方向ブロック射影データ最大値」とも言う）として保存する。また、第 2の水平方向ブロック射影データ最大値保存部 47は、第 2の水平方向ブロック射影データ最大値に基づき、後述する第 3の閾値および第 4の閾値を算出する。

[0056] 第 3の閾値交差点探索部 48は、第 2の水平方向ブロック射影ラインメモリ 46に保存される前フレームに係る第 2の水平方向ブロック射影データと、第 2の水平方向ブロック射影データ最大値保存部 47で算出された第 3の閾値とが交差する点を求め、この交差点 (以下では「第 3の閾値交差点」とも、う）の情報を出力する。

[0057] 水平方向ブロック射影データ読み出し部 49は、第 3の閾値交差点探索部 48で求められた第 3の閾値交差点を中心に、その前後の所定範囲 (動きベクトル検出範囲）内にある第 1の水平方向ブロック射影データを、第 1の水平方向ブロック射影ラインメモリ 44から読み出す。

[0058] 水平方向ブロック垂直方向動きベクトル算出部 50は、第 2の水平方向ブロック射影データ最大値保存部 47から出力される第 4の閾値を用い、水平方向ブロック射影データ読み出し部 49で読み出された第 1の水平方向ブロック射影データそれぞれを n 値ィ匕 (nは 2以上の整数)してビット数の削減を行うとともに、 n値化された射影データを第 3の閾値交差点力の距離ごとに加算する。

[0059] 垂直方向動きベクトル決定部 51は、水平方向ブロック垂直方向動きベクトル算出部 50からの出力に基づき画像の垂直方向動きベクトルを決定する。ここで決定された画像の垂直方向動きベクトルは出力端子 52から出力される。

[0060] 図 7は、水平方向ブロック射影部 43の要部構成を示すブロック図である。

水平方向ブロック射影部 43は、入力端子 431と、水平方向ブロックの 1水平ラインデータの加算を行う加算器 432と、加算器 432で加算されたデータを逐次保存するノッファメモリとしての水平方向射影一時記憶メモリ 433と、出力端子 434とを備えている。

[0061] 入力端子 431には、水平方向エッジ抽出フィルタリング部 42で水平方向のエッジが強調された画像が入力される。入力端子 431に入力された画像は、水平方向プロックごとに加算器 432および水平方向射影一時記憶メモリ 433によって水平方向に射影がとられる。具体的には、水平方向ブロック内の 1水平ラインの画素について、入力端子 431から入力された画素と、前画素までに加算器 432で加算され水平方向射影一時記憶メモリ 433に記憶された加算結果を、加算器 432で加算し、その加算結果を再び水平方向射影一時記憶メモリ 433に戻し記憶する。このような加算動作が繰り返されることにより水平方向ブロックにおける 1水平ラインの加算が終了すると、その水平方向ブロックの 1水平ラインの全画素の加算データ、つまり水平方向の射影データが出力端子 434から出力されることとなる。以下、同様にして、次の水平方向ブロックの水平方向の射影データが処理され、 1水平ラインについて全ての水平方向ブロックの処理が終了すると、次の 1水平ラインの処理がなされる。

[0062] 図 8は、水平方向ブロック垂直方向動きベクトル算出部 50の要部構成を示すブロック図である。

[0063] 水平方向ブロック垂直方向動きベクトル算出部 50は、 3つの入力端子 501〜503と、 n値化器 504と、 n値化器 504で n値ィ匕された第 1の水平方向ブロック射影データの加算を行う加算器 505と、加算器 505で加算されたデータを逐次保存するバッファメモリとしての垂直方向動きベクトル加算メモリ 506と、ピーク検出器 507と、出力端子 5 08とを備えてヽる。

[0064] 入力端子 501には、水平方向ブロック射影データ読み出し部 49から出力された第 1の水平方向ブロック射影データが入力され、入力端子 502には、第 2の水平方向ブロック射影データ最大値保存部 47から出力された第 4の閾値が入力される。また、入力端子 503には、第 3の閾値交差点探索部 48から出力された第 3の閾値交差点の情報が入力される。

[0065] n値化器 504は、入力端子 501から入力された第 1の水平方向ブロック射影データを、入力端子 502から入力される第 4の閾値に基づいて n値ィ匕 (例えば 3値化)する。

[0066] 加算器 505は、 n値化器 504で n値ィ匕された第 1の水平方向ブロック射影データと、垂直方向動きベクトル加算メモリ 506から読み出されたデータとを第 3の閾値交差点を中心として加算し、加算結果を垂直方向動きベクトル加算メモリ 506に再び記憶させる。このような加算動作が繰り返されることにより水平方向ブロックに関する全ての第 3の閾値交差点についての加算が終了すると、水平方向ブロックに関する加算データがピーク検出器 507に出力される。 [0067] ピーク検出器 507は、加算器 505から出力された加算データにおけるピーク位置（後述する垂直方向動きベクトル)を検出する。このピーク検出器 507で検出されたピーク位置は、出力端子 508を介して垂直方向動きベクトル決定部 51に入力されることとなる。

[0068] 以上のような構成を有する動きベクトル検出装置 1の動作について、以下で説明する。

[0069] <動きべタトル検出装置 1の動作 >

まず、動きベクトル検出装置 1において画像の水平方向の動きベクトルを検出する水平方向動きベクトル検出部 2の動作を説明する。

[0070] 図 2のように水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像が、図 3に示す水平方向動きベクトル検出部 2の入力端子 20に入力されると、垂直方向画像分割部 21で垂直方向にブロック分割される。すなわち、垂直方向画像分割部 21においては、フレーム画像において垂直方向に分割して得られる複数の画像領域 (垂直方向ブロック)が設定される。これにより、以降の処理では、垂直方向ブロックごとに処理および管理が行われることとなる。

[0071] 垂直方向画像分割部 21では、例えば図 9の (a)に示すように 640画素 X 480画素の画像データ力垂直方向に 64画素の幅 (分割幅)を有した 7個の垂直方向ブロック V b0〜vb6に分割される。なお、垂直方向の最下段の画像データ vb7は水平方向動きベクトルの検出において利用されないこととなる力フレーム画像の大部分を占める 7 つの垂直方向ブロック vb0〜vb6が水平方向動きベクトルの検出に使用されるため、検出精度の面で特に問題はないと考えられる。ここで、図 9の (a)に示す分割幅および分割数とするのは必須ではな、。

[0072] 垂直方向画像分割部 21で図 9の (a)のように 7個の垂直方向ブロック vb0〜vb6に分割された画像は、垂直方向エッジ抽出フィルタリング部 22において垂直方向に延びるエッジ成分の抽出、換言すれば水平方向に急峻に変化する画像部分を強調するようなフィルタリング処理が施される。このフィルタリング処理で用いられるフィルタとしては、単純に水平方向に隣接する画素との差分を取る (1, 1)の 2タップフィルタや、 2次微分に相当する (—1,2,— 1)の 3タップフィルタなどの使用が可能である。なお、このようなフィルタを使用するのは必須でなぐ水平方向に輝度変化が大きくなる画像部分にぉ、て出力値が上昇するフィルタであれば良、。

[0073] 垂直方向エッジ抽出フィルタリング部 22で各垂直方向ブロック (画像領域) vbO〜vb 6ごとに垂直方向のエッジが強調された画像データは、垂直方向ブロック射影部 23 に入力され、垂直方向ブロック射影部 23で垂直方向に射影される。この射影により、垂直方向の (ライン間で)ノイズ成分を低減でき、また垂直方向のエッジ成分をより強調できるため、特徴点に対応する垂直方向エッジを際立たせて動きベクトル検出精度の向上を図れることとなる。垂直方向ブロック射影部 23の動作について、図 9の (b) に示す概念図を参照しつつ説明する。

[0074] 垂直方向ブロック射影部 23では、図 9の (a)に示す各垂直方向ブロック vb0〜vb6 の入力が完了した時点、つまりエッジ強調された各垂直方向ブロック vb0〜vb6における最終ラインの最終画素が入力された時点で、 1水平ライン分のデータ配列 Mvを有する垂直方向ブロック射影データ νη0〜νη6(図 9の (b))それぞれの全配列要素が生成される。なお、データ配列 Mvは、水平ラインの全画素数 (例えば 640)の配列要素を有している力（1, 1)のような 2タップフィルタでは有効要素が水平ラインの全画素数 1(例えば 639)、（一 1, 2, 1)のような 3タップフィルタでは有効要素が水平ラインの全画素数— 2(例えば 638)となる。

[0075] 具体的には、図 4に示すように入力端子 231を介して入力された各垂直方向ブロック vb0〜vb6の画像データ (垂直方向のエッジ強調が施された画像データ)力順次に加算器 232に入力される。加算器 232では、まず入力された垂直方向ブロックの先頭の水平ライン力垂直方向射影一時記憶メモリ 233内のデータを読み出すことなぐ垂直方向射影一時記憶メモリ 233に書き込まれる。次に、加算器 232では、垂直方向射影一時記憶メモリ 233に記憶されている前ラインまでの加算結果を読み出し、入力端子 231から入力される垂直方向ブロックの水平 1ラインとの加算を行って、その加算結果を垂直方向射影一時記憶メモリ 233に書き戻す。

[0076] そして、垂直方向ブロックにおける最終の水平ラインが加算器 232に入力されると、垂直方向射影一時記憶メモリ 233に保存された前ラインまでの加算結果を読み出し、入力端子 231から入力される垂直方向ブロックの最終ラインとの加算を行って、その加算結果、つまり垂直方向ブロックの全ての水平ラインが加算されたデータを垂直方向ブロックの射影データとして、出力端子 234から第 1の垂直方向ブロック射影データ最大値保存部 24とビット数削減部 25とに出力する。

[0077] なお、加算器 232において垂直方向ブロックの全水平ラインが加算された射影データを垂直方向射影一時記憶メモリ 233にー且記憶させ、次の垂直方向ブロックの先頭ラインが入力される際に、垂直方向射影一時記憶メモリ 233内の射影データを読み出して出力端子 234から出力するようにしても良、。

[0078] 第 1の垂直方向ブロック射影データ最大値保存部 24では、垂直方向ブロック射影部 23から出力された垂直方向ブロックの射影データに関する最大値を算出し、第 1 の垂直方向ブロック射影データ最大値 (現フレームの垂直方向ブロック射影データ最大値)として保存する。すなわち、第 1の垂直方向ブロック射影データ最大値保存部 2 4は、現フレーム（後フレーム）の射影データに関するデータ配列 Mv (図 9 (b) )の配列要素にお、て最大値を求め、この最大値を記憶する。

[0079] また、第 1の垂直方向ブロック射影データ最大値保存部 24では、算出された現フレームの垂直方向ブロック射影データ最大値に基づき、第 2の閾値を算出する。例えば、現フレームの垂直方向ブロック射影データ最大値を Plmaxとすると、第 2の閾値 α 2は次の式（1)で算出される。

[0080] a 2 = Plmax X kl (1)

ここで、 klは予め定められた係数で、 0く kl < 1である。

[0081] なお、第 2の閾値 a 2の演算は、上式 (1)に限るものではなぐ現フレームの垂直方向ブロック射影データ最大値 Plmaxが大きくなれば第 2の閾値 oc 2が大きくなるものであれば良ぐまた変換テーブルを使用しても良!、。

[0082] ビット数削減部 25では、第 1の垂直方向ブロック射影データ最大値保存部 24から入力された現フレームの垂直方向ブロック射影データ最大値 (第 1の垂直方向ブロック射影データ最大値）に基づき射影データの有効ビットレンジを決定する。そして、この有効ビットレンジに基づき設定される上位無効ビットおよび下位無効ビットを垂直方向ブロック射影部 23から入力された垂直方向ブロック射影データから削減し、有効ビットのみで構成される現フレームの垂直方向ブロック射影データを第 1の垂直方向ブロック射影ラインメモリ 26に出力する。

[0083] 第 1の垂直方向ブロック射影ラインメモリ 26は、ビット数削減部 25によってビット数が低減された現フレームの垂直方向ブロック射影データを、第 1の垂直方向ブロック射影データとして垂直方向ブロックごとに保存する。すなわち、第 1の垂直方向ブロック射影ラインメモリ 26には、第 1の垂直方向ブロック射影データ最大値保存部 24で求められた第 1の垂直方向ブロック射影データ最大値に基づきビット数削減部 25にお V、てビット数 (各配列要素のデータ長）が削減された現フレーム (後フレーム）の射影データが記憶される。

[0084] 第 1の垂直方向ブロック射影ラインメモリ 26は、現フレームに関する新たな第 1の垂直方向ブロック射影データが入力されるタイミングで、前フレームの垂直方向ブロック射影データを読み出し、第 2の垂直方向ブロック射影ラインメモリ 27に与える。

[0085] 第 2の垂直方向ブロック射影ラインメモリ 27は、第 1の垂直方向ブロック射影ラインメモリ 26から読み出された前フレームの垂直方向ブロック射影データを、第 2の垂直方向ブロック射影データとして保存する。

[0086] 同様に、第 1の垂直方向ブロック射影データ最大値保存部 24は、現フレームに関する新たな第 1の垂直方向ブロック射影データ最大値が更新されるタイミングで、既に保存されている第 1の垂直方向ブロック射影データ最大値を読み出し、第 2の垂直方向ブロック射影データ最大値保存部 28に与える。

[0087] 第 2の垂直方向ブロック射影データ最大値保存部 28では、第 1の垂直方向ブロック射影データ最大値保存部 24から読み出された第 1の垂直方向ブロック射影データ最大値力前フレームに関する第 2の垂直方向ブロック射影データ最大値 (前フレームの垂直方向ブロック射影データ最大値）として保存される。

[0088] 換言すれば、第 1の垂直方向ブロック射影データ最大値保存部 24に保存された現フレームの垂直方向ブロック射影データ最大値は、次のフレームでは、第 2の垂直方向ブロック射影データ最大値保存部 28に前フレームの垂直方向ブロック射影データ最大値として保存されることとなる。

[0089] 第 2の垂直方向ブロック射影データ最大値保存部 28は、前フレームに関する第 2の垂直方向ブロック射影データ最大値に基づき、第 1の閾値 (所定の一定値)が設定される。例えば、前フレームの垂直方向ブロック射影データ最大値を P2maxとすると、第 1の閾値 α ΐは次の式（2)で算出される。

[0090] a 1 = P2max X k2 (2)

ここで、 k2は予め定められた係数で、 0< k2< 1である。

[0091] なお、第 1の閾値 a 1の演算は、上式 (2)に限るものではなぐ前フレームの垂直方向ブロック射影データ最大値 P2maxが大きくなれば第 1の閾値 oc 1が大きくなるものであれば良ぐまた変換テーブルを使用しても良!、。

[0092] 第 1の閾値交差点探索部 29では、第 2の垂直方向ブロック射影ラインメモリ 27から読み出された第 2の垂直方向ブロック射影データと、第 2の垂直方向ブロック射影データ最大値保存部 28から出力された第 1の閾値との交差点 (第 1の閾値交差点)を水平方向に探索する。この第 1の閾値交差点探索部 29で得られた第 1の閾値交差点の情報は、垂直方向ブロック射影データ読み出し部 30と垂直方向ブロック水平方向動きベクトル算出部 31とに出力される。

[0093] 垂直方向ブロック射影データ読み出し部 30は、第 1の閾値交差点探索部 29から出力された第 1の閾値交差点を中心とした動きべ外ル検出範囲に対応した現フレームの (第 1の)垂直方向ブロック射影データを第 1の垂直方向ブロック射影ラインメモリ 26 から読み出す。

[0094] すなわち、第 1の閾値交差点を A(i) (ただし i= 1 ,2, · · · ρで、 ρは検出された第 1の閾値交差点の総数)とし、動きべ外ル検出範囲を第 1の閾値交差点を中心とした (—V) から (+ V) (ただし Vは正の整数)の範囲とすると、第 1の垂直方向ブロック射影ラインメモリ 26から読み出される射影データは、水平方向において (A(i)— V)力も (A(i) +V) までの範囲にある第 1の垂直方向ブロック射影データの部分データとなる。

[0095] この垂直方向ブロック射影データ読み出し部 30によって第 1の垂直方向ブロック射影ラインメモリ 26から読み出された第 1の垂直方向ブロック射影データは、垂直方向ブロック水平方向動きベクトル算出部 31に出力される。

[0096] 垂直方向ブロック射影データ読み出し部 30から出力された第 1の垂直方向ブロック射影データは、図 5に示す垂直方向ブロック水平方向動きベクトル算出部 31の入力端子 31 1を介して n値化器 314 (圧縮手段）に入力される。 [0097] この n値化器 314では、第 1の垂直方向ブロック射影データ最大値保存部 24から出力され、入力端子 312を介して入力された第 2の閾値に基づき、第 1の垂直方向プロック射影データを n値化する。

[0098] すなわち、 n値化器 314は、垂直方向ブロック射影データ読み出し部 30で抽出された現フレームの射影データに関するデータ配列 Mv (図 9の (b))各配列要素のデータ長を、例えば 3値化処理して圧縮する。この n値化器 314の処理について、図 10を参照しつつ説明する。

[0099] 図 10は、 n値化器 314における n値ィ匕処理を説明するための図である。なお、図 10 では、 n= 3となる 3値化処理の一例を示して!/、る。

[0100] n値化器 314に入力される第 1の垂直方向ブロック射影データを D、入力端子 312 を介して入力される第 2の閾値を α 2( α 2は正の整数)とすると、 η値化器 314では、 D< (- a 2)のとき (一 1)を出力し、 (- a 2)≤D≤ a 2のとき 0を出力するとともに、 D > « 2のとき 1を出力することで 3値ィ匕処理が行われる。すなわち、 n値化器 314における 3値化処理では、現フレーム (後フレーム)の射影データにおけるデータ配列 Mv の配列要素の最大値に基づき設定される第 2の閾値 α 2( α 2 >0)に関して、垂直方向ブロック射影データ読み出し部 30で抽出された現フレームの射影データに関する配列要素の値力（一 a 2)より小さい場合、（一 a 2)以上で a 2以下の場合、および a 2より大きい場合の 3段階による 3値ィ匕が行われる。

[0101] この n値化器 314での n値ィ匕処理については、垂直方向ブロック射影データ読み出し部 30から出力される現フレームの第 1の垂直方向ブロック射影データの部分波形力第 1の閾値交差点に対してどのような位置関係、つまりどのような傾向の波形となつているのかが重要であるため、第 1の垂直方向ブロック射影データの波形において山や谷が判別できるだけのビット精度を確保すれば十分である。

[0102] 一方、 n値化器 314においてビット数の削減を行わずに、垂直方向ブロック射影データ読み出し部 30から出力された第 1の垂直方向ブロック射影データの値そのものを採用する場合には、第 1の垂直方向ブロック射影データ D > ひ 2に対応する大きな振幅の山や、 Dく（一 a 2)に対応する大きな振幅の谷に、画像の特徴が表れる小さな振幅の山や谷が埋没してしまう恐れがあり不適切である。さらに、（一 o; 2)≤D≤ a 2に対応する小さな山や谷は、ノイズの影響を受けやすく数も多いため、これに画像の特徴が表れる適度な振幅の山や谷が埋もれることとなる。

[0103] よって、 n値化器 314では、第 1の垂直方向ブロック射影データに対して適切な n値化処理を施すことにより、動きベクトルの検出精度の向上を図っている。

[0104] 以上で説明した第 1の閾値交差点探索部 29、垂直方向ブロック射影データ読み出し部 30および垂直方向ブロック水平方向動きベクトル算出部 31の動作について、図 11を参照しつつ具体的に説明する。なお、図 11の (a)および (b)の横軸は、射影データのデータ配列 Mv (図 9の (b》の配列要素の位置を示している。また、図 11の (a)では、第 1の閾値交差点 A(1)〜A(8)それぞれを丸印で表している。

[0105] 第 1の閾値交差点探索部 29では、図 11の (a)に示すように前フレームに関する第 2 の垂直方向ブロック射影データ W2の波形において、第 2の垂直方向ブロック射影データ最大値保存部 28から出力された第 1の閾値《1と交差する第 1の閾値交差点 A( 1)〜A(8)が求められる。

[0106] すなわち、第 1の閾値交差点探索部 29は、前フレームに対して垂直方向ブロック射影部 23で得られた射影データに関して射影データのデータ配列 Mv (図 9の (b))の要素順に配列要素の値をグラフ化した波形 W2と、配列要素の値が第 1の閾値 (所定の一定値) a 1となる直線とが交差する各第 1の閾値交差点の配列要素の位置を特定する。

[0107] 次に、垂直方向ブロック射影データ読み出し部 30では、図 11の (a)に示す各第 1の閾値交差点 A(1)〜A(8)を中心とした所定の動きベクトル検出範囲について第 1の垂直方向ブロック射影ラインメモリ 26から現フレームの垂直方向ブロック射影データが読み出される。

[0108] すなわち、垂直方向ブロック射影データ読み出し部 30は、各第 1の閾値交差点における射影データ (データ配列)の配列要素の位置を中心とした所定範囲のデータ配列を、垂直方向ブロック射影部 23から出力されビット数削減部 25によりビット数が削減された現フレーム (後フレーム)の射影データから抽出する。

[0109] 例えば第 1の閾値交差点 A(7)に関しては、図 11の (b)に示すように第 1の閾値交差点 A(7)を中心に (A(7)— V)力も (A(7) +V)までの範囲 (矩形の破線内の波形部分)に対応する第 1の垂直方向ブロック射影データ Wlが読み出される。

[0110] そして、垂直方向ブロック射影データ読み出し部 30によって読み出された第 1の垂直方向ブロック射影データは、第 1の垂直方向ブロック射影データ最大値保存部 24 力出力された第 2の閾値 α 2を用いて、垂直方向ブロック水平方向動きベクトル算出部 31の η値器 314で η値ィ匕処理される。

[0111] 例えば第 1の閾値交差点 Α(7)に関しては、図 11の (b)に示す第 2の閾値 a 2および (一《2)に対する第 1の垂直方向ブロック射影データ W1の大小関係に基づき、第 1 の閾値交差点 Α(7)を中心に (Α(7)— V)力も (A(7)+V)までの範囲 (矩形の破線内の波形部分)について、図 11の (c)のように第 1の垂直方向ブロック射影データが 3値ィ匕処理される。これにより、現フレームの垂直方向ブロック射影データが「一 1」、「0」または「 1」で表されることとなる。

[0112] n値化器 314では、第 1の閾値交差点探索部 29から出力される全ての第 1の閾値交差点にっ、て、図 11の (c)に示すような n値ィ匕処理が行われる。

[0113] 次に、加算器 315(図 5)では、入力端子 313を介して第 1の閾値交差点探索部 29 力も出力された第 1の閾値交差点を中心に、 n値化器 314で n値化された第 1の垂直方向ブロック射影データと、水平方向動きベクトル加算メモリ 316から読み出された 1 つ前までの n値ィ匕された第 1の垂直方向ブロック射影データの加算値とを加算し、その加算結果を水平方向動きべクトル加算メモリ 316に再び記憶させる。

[0114] そして、第 1の閾値交差点探索部 29で検出された全ての第 1の閾値交差点のうち最後のものに関する n値ィ匕された第 1の垂直方向ブロック射影データを加算器 315で加算して、 1つの垂直方向ブロックについての加算処理を終了する際には、その加算結果をピーク検出器 317に出力するようにする。

[0115] なお、加算器 315での加算処理終了後に、全ての第 1の閾値交差点に関する加算結果を記憶している水平方向動きベクトル加算メモリ 316から、その加算結果をピーク検出部 317が読み出すようにしても良い。

[0116] ピーク検出器 317には、第 1の閾値交差点探索部 29で検出された全ての第 1の閾値交差点について各第 1の閾値交差点を中心とした動きべ外ル検出範囲 (上述した士 Vの範囲）に対応する n値ィ匕済みの第 1の垂直方向ブロック射影データを加算したデータ（以下では「垂直方向ブロック n値ィ匕データ」ともいう）が入力される力この垂直方向ブロック n値化データに関するピーク値がピーク検出器 317で検出される。

[0117] このピーク検出器 317において検出される垂直方向ブロック n値ィ匕データのピーク位置が、その垂直方向ブロック力得られる水平方向動きベクトルとなり、出力端子 3 18を介して水平方向動き決定部 32に出力される。

[0118] 以上で説明した加算器 315およびピーク検出部 317の動作について、図 12を参照しつつ具体的に説明する。なお、図 12の (a)では、図 11の (a)に示す第 1の閾値交差点 A(1)〜A(8)を中心とした動きベクトル検出範囲 (士 Vの範囲)において第 1の垂直方向ブロック射影データを 3値ィ匕したものを概念的に示している。

[0119] 加算器 315において、図 12の (a)に示す第 1の閾値交差点 A(1)〜A(8)周辺の 3値化データが順次に入力されると、これらのデータが加算され、図 12の (b)に示すような垂直方向ブロック n値ィ匕データが生成される。

[0120] 具体的には、加算器 315において垂直方向ブロック射影データ読み出し部 30により垂直方向ブロック射影データ (データ配列 Mv (図 9の (b)》力も抽出され、 n値器 314 でデータ長が圧縮された現フレームに係る動きベクトル検出範囲 (所定範囲)のデータ配列それぞれについて、各第 1の閾値交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値が加算されることとなる。

[0121] 加算器 315で生成された垂直方向ブロック n値ィ匕データがピーク検出器 317に入力されると、その垂直方向ブロックの水平方向動きベクトルとして図 12の (b)に示す水平方向のピーク位置 hvが検出される。すなわち、ピーク検出器 317では、加算器 31 5で加算された加算結果に基づき、フレーム画像の水平方向に関する動きベクトルが検出される。

[0122] このピーク検出器 317では、原則的に動きベクトル検出範囲（士 Vの範囲）において最大値となるピーク位置が探索されるが、同一の最大値が複数ある場合には、原点 0に近いもの (原点 0までの距離が等しい場合には負の位置のもの)を優先する。なお、このようなピーク位置の検出ルールに限らず、正の位置にある最大値を優先しても良ぐまた前フレームにおける動きベクトルの傾向を現フレームのピーク位置の検出に利用するようにしても良い。 [0123] ピーク検出器 317で垂直方向ブロックごとに算出された水平方向動きベクトルは、順次に出力端子 318を介して水平方向動きベクトル決定部 32に入力される。

[0124] 水平方向動きベクトル決定部 32では、垂直方向ブロック水平方向動きベクトル算出部 31から順次に出力される各垂直方向ブロックの水平方向動きベクトルに基づき、画像全体の水平方向動きベクトルが決定される。この水平方向動きベクトル決定部 3 2では、例えば最も出現頻度が高い水平方向動きベクトルを画像全体の水平方向動きベクトルとして決定する。

[0125] なお、最も出現頻度が高い水平方向動きベクトルを画像全体の水平方向動きべタトルとして決定するのは必須でなぐ垂直方向ブロック水平方向動きベクトル算出部 31 力も出力される各垂直方向ブロックの水平方向動きベクトルの平均値を、画像全体の水平方向動きベクトルとして決定するようにしても良、。

[0126] 以上のように水平方向動きベクトル決定部 32では、各垂直方向ブロックの水平方向動きベクトルに基づいてフレーム画像全体に関する水平方向の動きベクトルを決定するため、画像の一部で動きがあった場合でも、その動きへの誤反応を抑制できることとなる。

[0127] なお、フレーム画像全体に関する水平方向動きベクトルの検出にあたっては、必ずしもフレーム画像全体を使う必要はなぐフレーム画像の一部力水平方向動きべクトルを検出し、それをフレーム画像全体に関する水平方向動きベクトルとしても良い。

[0128] 次に、動きベクトル検出装置 1において画像の垂直方向の動きベクトルを検出する垂直方向動きベクトル検出部 4の動作を説明する。

[0129] 図 2のように水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像力図 6に示す垂直方向動きベクトル検出部 4の入力端子 40に入力されると、水平方向画像分割部 41で水平方向にブロック分割される。すなわち、水平方向画像分割部 41においては、フレーム画像において水平方向に分割して得られる複数の画像領域 (水平方向ブロック)が設定される。これにより、以降の処理では、水平方向ブロックごとに処理や管理が行われることとなる。

[0130] 水平方向画像分割部 41では、例えば図 13の (a)に示すように 640画素 X 480画素の画像データ力水平方向に 64画素の幅 (分割幅)を有した 10個の水平方向ブロック hb0〜hb9に分割される。なお、図 13の (a)に示す分割幅および分割数とするのは必須ではない。

[0131] 水平方向画像分割部 41で図 13の (a)のように 10個の水平方向ブロック hbO〜hb9 に分割された画像は、水平方向エッジ抽出フィルタリング部 42において水平方向に延びるエッジ成分の抽出、換言すれば垂直方向に急峻に変化する画像部分を強調するようなフィルタリング処理が施される。このフィルタリング処理で用いられるフィルタとしては、単純に垂直方向に隣接する画素との差分を取る (1, 1)の 2タップフィルタや、 2次微分に相当する (—1,2,— 1)の 3タップフィルタなどの使用が可能である。なお、このようなフィルタを使用するのは必須でなぐ垂直方向に輝度変化が大きくなる画像部分にぉ、て出力値が上昇するフィルタであれば良、。

[0132] 水平方向エッジ抽出フィルタリング部 42で各水平方向ブロック (画像領域) hbO〜hb 9ごとに水平方向のエッジが強調された画像データは、水平方向ブロック射影部 43 に入力され、水平方向ブロック射影部 43で水平方向に射影される。この射影により、水平方向の (ライン間で)ノイズ成分を低減でき、また水平方向のエッジ成分をより強調できるため、特徴点に対応する水平方向エッジを際立たせて動きベクトル検出精度の向上を図れることとなる。水平方向ブロック射影部 43の動作について、図 13の（ b)の概念図を参照しつつ説明する。

[0133] 水平方向ブロック射影部 43では、図 13の (a)に示す各水平方向ブロック hbO〜hb9 の 1水平ラインの入力が完了した時点で、 1垂直ライン分のデータ配列 Mhを有する水平方向ブロック射影データ hnO〜hn9(図 13の (b》の 1配列要素が生成される。したがって、全配列要素が揃うのは、各水平方向ブロック hbO〜hb9の最終の水平ラインの入力が完了した時点である。なお、データ配列 Mhは、垂直ラインの全画素数（例えば 480)の配列要素を有している力 (1, 1)のような 2タップフィルタでは有効要素が垂直ラインの全画素数 1(例えば 479)、（一 1, 2, 1)のような 3タップフィルタでは有効要素が垂直ラインの全画素数— 2(例えば 478)となる。

[0134] 具体的には、図 7に示すように入力端子 431を介して入力された各水平方向ブロック hbO〜hb9の画像データ (水平方向のエッジ強調が施された画像データ)力加算器 432に入力される。加算器 432では、まず入力された水平方向ブロックの 1水平ラインの先頭では、水平方向射影一時記憶メモリ 433内のデータを読み出すことなぐ水平方向射影一時記憶メモリ 433に書き込まれる。

[0135] 次に、加算器 432では、水平方向射影一時記憶メモリ 433に記憶されている 1水平ラインの前画素までの加算結果を読み出し、入力端子 431から入力される水平方向ブロックの 1水平ラインの現画素との加算を行って、その加算結果を水平方向射影一時記憶メモリ 433に書き戻す。

[0136] そして、水平方向ブロックにおける 1水平ラインの最終画素が加算器 432に入力されると、水平方向射影一時記憶メモリ 433に保存された前画素までの加算結果を読み出し、入力端子 431から入力される水平方向ブロックの 1水平ラインの最終画素との加算を行って、その加算結果、つまり水平方向ブロックの 1水平ラインの全画素が加算されたデータを水平方向ブロックの 1水平ラインに関する射影データとして、出力端子 434から第 1の水平方向ブロック射影ラインメモリ 44と第 1の水平方向ブロック射影データ最大値保存部 45とに出力する。

[0137] なお、加算器 432において水平方向ブロックの 1水平ラインの全画素が加算された射影データを水平方向射影一時記憶メモリ 433にー且記憶させ、次の水平方向プロックの 1水平ラインの先頭画素が入力される際に、水平方向射影一時記憶メモリ 433 内の射影データを読み出して出力端子 434から出力するようにしても良い。

[0138] 第 1の水平方向ブロック射影ラインメモリ 44では、水平方向ブロック射影部 43から入力された現フレームの水平方向ブロック射影データを、第 1の水平方向ブロック射影データとして水平方向ブロックごとに保存する。

[0139] 第 1の水平方向ブロック射影データ最大値保存部 45では、水平方向ブロック射影部 43から入力された水平方向ブロックの射影データに関する最大値を算出し、第 1 の水平方向ブロック射影データ最大値 (現フレームの水平方向ブロック射影データ最大値)として保存する。

[0140] 第 2の水平方向ブロック射影ラインメモリ 46は、第 1の水平方向ブロック射影ラインメモリ 44から読み出された水平方向ブロック射影データを、前フレームに関する第 2の水平方向ブロック射影データとして保存する。

[0141] 同様に、第 2の水平方向ブロック射影データ最大値保存部 47では、第 1の水平方向ブロック射影データ最大値保存部 45から出力された第 1の水平方向ブロック射影データ最大値が、前フレームに関する第 2の水平方向ブロック射影データ最大値 (前フレームの水平方向ブロック射影データ最大値）として保存される。

[0142] 換言すれば、第 1の水平方向ブロック射影データ最大値保存部 45に保存された現フレームの水平方向ブロック射影データ最大値は、次のフレームでは、第 2の水平方向ブロック射影データ最大値保存部 47に前フレームの水平方向ブロック射影データ最大値として保存されることとなる。

[0143] また、第 2の水平方向ブロック射影データ最大値保存部 47では、算出された前フレームの水平方向ブロック射影データ最大値に基づき、第 4の閾値を算出する。例えば、前フレームの水平方向ブロック射影データ最大値を P4maxとすると、第 4の閾値 a 4は次の式 (3)で算出される。

[0144] « 4 = P4max X k4 (3)

ここで、 k4は予め定められた係数で、 0<k4く 1である。

[0145] なお、第 4の閾値 α 4の演算は、上式（3)に限るものではなぐ前フレームの水平方向ブロック射影データ最大値 P4maxが大きくなれば第 4の閾値 a 4が大きくなるものであれば良ぐまた変換テーブルを使用しても良い。また、第 4の閾値《4については、水平方向ブロック毎の第 2の水平方向ブロック射影データ最大値を使用するのは必須でなぐ例えば前フレームの画像全体についての水平方向ブロック射影データの最大値を用いて第 4の閾値を算出し、画像全体で同じ第 4の閾値を採用しても良い。

[0146] 第 2の水平方向ブロック射影データ最大値保存部 47は、前フレームに関する第 2の水平方向ブロック射影データ最大値に基づき、第 3の閾値 (所定の一定値)が設定される。例えば、前フレームの水平方向ブロック射影データ最大値を P3maxとすると、第 3の閾値 a 3は次の式 (4)で算出される。

[0147] « 3 = P3max X k3 (4)

ここで、 k3は予め定められた係数で、 0<k3< 1である。

[0148] なお、第 3の閾値 α 3の演算は、上式 (4)に限るものではなぐ前フレームの水平方向ブロック射影データ最大値 P3maxが大きくなれば第 3の閾値 oc 3が大きくなるものであれば良ぐまた変換テーブルを使用しても良い。また、第 3の閾値《3については、水平方向ブロック毎の第 2の水平方向ブロック射影データ最大値を使用するのは必須でなぐ例えば前フレームの画像全体についての水平方向ブロック射影データの最大値を用いて第 3の閾値を算出し、画像全体で同じ第 3の閾値を採用しても良い。

[0149] 第 3の閾値交差点探索部 48では、第 2の水平方向ブロック射影ラインメモリ 46から読み出された第 2の水平方向ブロック射影データと、第 2の水平方向ブロック射影データ最大値保存部 47から出力された第 3の閾値との交差点 (第 3の閾値交差点)を垂直方向に探索する。この第 3の閾値交差点探索部 48で得られた第 3の閾値交差点の情報は、水平方向ブロック射影データ読み出し部 49と水平方向ブロック垂直方向動きベクトル算出部 50とに入力される。

[0150] 水平方向ブロック射影データ読み出し部 49は、第 3の閾値交差点探索部 48から出力された第 3の閾値交差点を中心とした動きべ外ル検出範囲に対応した現フレームの (第 1の)水平方向ブロック射影データを第 1の水平方向ブロック射影ラインメモリ 44 から読み出す。

[0151] すなわち、第 3の閾値交差点を B(i) (ただし i= l,2, ' · 'qで、 qは検出された第 3の閾値交差点の総数)とし、動きべ外ル検出範囲を第 3の閾値交差点を中心とした (—U) 力も (+U) (ただし Uは正の整数)の範囲とすると、第 1の水平方向ブロック射影ラインメモリ 44から読み出される射影データは、垂直方向において (B(i)— U)力も (B(i) + U) までの範囲にある第 1の水平方向ブロック射影データの部分データとなる。

[0152] この水平方向ブロック射影データ読み出し部 49によって第 1の水平方向ブロック射影ラインメモリ 44から読み出された第 1の水平方向ブロック射影データは、水平方向ブロック垂直方向動きベクトル算出部 50に出力される。

[0153] 水平方向ブロック射影データ読み出し部 49から出力された第 1の水平方向ブロック射影データは、図 8に示す水平方向ブロック垂直方向動きベクトル算出部 50の入力端子 501を介して n値化器 504 (圧縮手段）に入力される。

[0154] この n値化器 504では、第 2の水平方向ブロック射影データ最大値保存部 47から出力され、入力端子 502を介して入力された第 4の閾値に基づき、第 1の水平方向プロック射影データを n値化する。

[0155] すなわち、 n値化器 504は、水平方向ブロック射影データ読み出し部 49で抽出された現フレームの射影データに関するデータ配列 Mh (図 13(b))の各配列要素のデータ長を圧縮する。この n値化器 504の処理については、上述した n値化器 314と同様の処理を行！ヽ、例えば 3値化処理が実行される。

[0156] すなわち、 n値化器 504における 3値ィ匕処理では、前フレームの射影データにおけるデータ配列 Mhの配列要素の最大値に基づき設定される第 4の閾値 α 4( α 4 >0) に関して、水平方向ブロック射影データ読み出し部 49で抽出された現フレームの射影データに関する配列要素の値力（一 α 4)より小さい場合、 (- α 4)以上で《4以下の場合、および α 4より大きい場合の 3段階による 3値ィ匕が行われる。なお、 η値化器 504においては、 η値化器 314と同じ特性を有するのは必須でなぐ η値ィ匕器 314と異なる特性を有しても良い。

[0157] 以上で説明した第 3の閾値交差点探索部 48、水平方向ブロック射影データ読み出し部 49および水平方向ブロック垂直方向動きベクトル算出部 50の動作について、図 14を参照しつつ具体的に説明する。なお、図 14の (a)および (b)の横軸は、射影データのデータ配列 Mh (図 13の (b》の配列要素の位置を示している。また、図 14の (a)では、第 3の閾値交差点 B(1)〜B(6)それぞれを丸印で表している。

[0158] 第 3の閾値交差点探索部 48では、図 14の (a)に示すように前フレームに関する第 2 の垂直方向ブロック射影データ W4の波形において、第 2の水平方向ブロック射影データ最大値保存部 47から出力された第 3の閾値 a 3と交差する第 3の閾値交差点 B( 1)〜B(6)が求められる。

[0159] すなわち、第 3の閾値交差点探索部 48は、前フレームに対して水平方向ブロック射影部 43で得られた射影データに関して射影データのデータ配列 Mh (図 13の (b))の要素順に配列要素の値をグラフ化した波形 W4と、配列要素の値が第 3の閾値 (所定の一定値) a 3となる直線とが交差する各第 3の閾値交差点の配列要素の位置を特定する。

[0160] 次に、水平方向ブロック射影データ読み出し部 49では、図 14の (a)に示す各第 3の閾値交差点 B(1)〜B(6)を中心とした所定の動きベクトル検出範囲について第 1の水平方向ブロック射影ラインメモリ 44から現フレームの水平方向ブロック射影データが読み出される。 [0161] すなわち、水平方向ブロック射影データ読み出し部 49は、各第 3の閾値交差点における射影データ (データ配列)の配列要素の位置を中心とした所定範囲のデータ配列を、水平方向ブロック射影部 43で得られた現フレーム (後フレーム)の射影データから抽出する。例えば第 3の閾値交差点 B(4)に関しては、図 14(b)に示すように第 3の閾値交差点 B(4)を中心に (B(4)— U)力 (B(4) + U)までの範囲 (矩形の破線内の波形部分)に対応する第 1の水平方向ブロック射影データ W3が読み出される。

[0162] そして、水平方向ブロック射影データ読み出し部 49によって読み出された第 1の水平方向ブロック射影データは、第 2の水平方向ブロック射影データ最大値保存部 47 力出力された第 4の閾値《4を用いて、水平方向ブロック垂直方向動きベクトル算出部 50の n値器 504で n値ィ匕処理される。

[0163] 例えば第 3の閾値交差点 B(4)に関しては、図 14の (b)に示す第 4の閾値 a 4および ( α 4)に対する第 1の水平方向ブロック射影データ W3の大小関係に基づき、第 3の閾値交差点 Β(4)を中心に (B(4)— U)力 (B(4) + U)までの範囲 (矩形の破線内の波形部分)について、図 14の (c)のように第 1の水平方向ブロック射影データが 3値ィ匕処理される。これにより、現フレームの水平方向ブロック射影データが「一 1」、「0」または「1」で表されることとなる。

[0164] n値化器 504では、第 3の閾値交差点探索部 48から出力される全ての第 3の閾値交差点について、図 14の (c)に示すような n値ィ匕処理が行われる。

[0165] 次に、加算器 505(図 8)では、入力端子 503を介して第 3の閾値交差点探索部 48 力も出力された第 3の閾値交差点を中心に、 n値化器 504で n値化された第 1の水平方向ブロック射影データと、垂直方向動きベクトル加算メモリ 506から読み出された 1 つ前までの n値ィ匕された第 1の水平方向ブロック射影データの加算値とを加算し、その加算結果を垂直方向動きベクトル加算メモリ 506に再び記憶させる。

[0166] そして、第 3の閾値交差点探索部 48で検出された全ての第 3の閾値交差点のうち最後のものに関する n値ィ匕された第 1の水平方向ブロック射影データを加算器 505で加算して 1つの水平方向ブロックについての加算処理を終了する際には、その加算結果をピーク検出器 507に出力するようにする。

[0167] なお、加算器 505での加算処理終了後に、全ての第 3の閾値交差点に関する加算結果を記憶して、る垂直方向動きベクトル加算メモリ 506から、その加算結果をピーク検出部 507が読み出すようにしても良い。

[0168] ピーク検出器 507には、第 3の閾値交差点探索部 48で検出された全ての第 3の閾値交差点について各第 3の閾値交差点を中心とした動きべ外ル検出範囲 (上述した ±Uの範囲）に対応する n値ィ匕済みの第 1の水平方向ブロック射影データを加算したデータ（以下では「水平方向ブロック n値ィ匕データ」ともいう）が入力される力この水平方向ブロック n値化データに関するピーク値がピーク検出器 507で検出される。

[0169] このピーク検出器 507において検出される水平方向ブロック n値ィ匕データのピーク位置が、その水平方向ブロック力得られる垂直方向動きベクトルとなり、出力端子 5 08を介して垂直方向動き決定部 51に出力される。

[0170] 以上で説明した加算器 505およびピーク検出部 507の動作について、図 15を参照しつつ具体的に説明する。なお、図 15の (a)では、図 14の (a)に示す第 3の閾値交差点 B(1)〜B(6)を中心とした動きベクトル検出範囲 (±Uの範囲)において第 1の水平方向ブロック射影データを 3値ィ匕したものを概念的に示している。

[0171] カロ算器 505において、図 15の (a)に示す第 3の閾値交差点 B(1)〜B(6)周辺の 3値化データが順次に入力されると、これらのデータが加算され、図 15の (b)に示すような水平方向ブロック n値ィ匕データが生成される。具体的には、加算器 505において水平方向ブロック射影データ読み出し部 49により水平方向ブロック射影データ (データ配列 Mh (図 13の (b)))力抽出され n値器 504でデータ長が圧縮された現フレームに係る動きベクトル検出範囲 (所定範囲)のデータ配列それぞれについて、各第 3の閾値交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値が加算されることとなる。

[0172] 加算器 505で生成された水平方向ブロック n値ィ匕データがピーク検出器 507に入力されると、その水平方向ブロックの垂直方向動きベクトルとして図 15の (b)に示す垂直方向のピーク位置 wが検出される。すなわち、ピーク検出器 507では、加算器 50 5で加算された加算結果に基づき、フレーム画像の垂直方向に関する動きベクトルが検出される。

[0173] このピーク検出器 507では、原則的に動きベクトル検出範囲（±Uの範囲）において最大値となるピーク位置が探索されるが、同一の最大値が複数ある場合には、原点 0に近いもの (原点 0までの距離が等しい場合には負の位置のもの)を優先する。なお、このようなピーク位置の検出ルールに限らず、正の位置にある最大値を優先しても良ぐまた前フレームにおける動きベクトルの傾向を現フレームのピーク位置の検出に利用するようにしても良い。

[0174] ピーク検出器 507で水平方向ブロックごとに算出された垂直方向動きベクトル (ピーク値）は、順次に出力端子 508を介して垂直方向動きベクトル決定部 51に入力される。

[0175] 垂直方向動きベクトル決定部 51では、水平方向ブロック垂直方向動きベクトル算出部 50から順次に出力される各水平方向ブロックの垂直方向動きベクトルに基づき、画像全体の垂直方向動きベクトルが決定される。この垂直方向動きベクトル決定部 5 1では、例えば最も出現頻度が高い垂直方向動きベクトルを画像全体の垂直方向動きベクトルとして決定する。

[0176] なお、最も出現頻度が高い垂直方向動きベクトルを画像全体の垂直方向動きべタトルとして決定するのは必須でなぐ水平方向ブロック垂直方向動きベクトル算出部 50 力も出力される各水平方向ブロックの垂直方向動きベクトルの平均値を、画像全体の垂直方向動きベクトルとして決定するようにしても良、。

[0177] 以上のように垂直方向動きベクトル決定部 51では、各水平方向ブロックの垂直方向動きベクトルに基づいてフレーム画像全体に関する垂直方向の動きベクトルを決定するため、画像の一部で動きがあった場合でも、その動きへの誤反応を抑制できることとなる。

[0178] なお、フレーム画像全体に関する垂直方向動きベクトルの検出にあたっては、必ずしもフレーム画像全体を使う必要はなぐフレーム画像の一部力垂直方向動きべクトルを検出し、それをフレーム画像全体に関する垂直方向動きベクトルとしても良い。

[0179] <効果 >

以上の動きベクトル検出装置 1の動作により、垂直方向のエッジが強調された各垂直方向ブロックにつ、て垂直方向に射影をとつて垂直方向ブロック射影データを生成するとともに、前フレームの垂直方向ブロック射影データと第 1の閾値 α 1との交差点 (第 1の閾値交差点)を中心とした動きべ外ル検出範囲に対応した現フレームの垂直方向ブロック射影データを読み出して各第 1の閾値交差点力の距離ごとに加算し、その加算結果力水平方向に関する動きベクトルを検出するため、特徴点に相当する画像の垂直方向エッジの動きを少ない演算量で追跡できる。

[0180] 同様に、水平方向のエッジが強調された各水平方向ブロックについて水平方向に射影をとつて水平方向ブロック射影データを生成するとともに、前フレームの水平方向ブロック射影データと第 3の閾値 a 3との交差点 (第 3の閾値交差点)を中心とした動きベクトル検出範囲に対応した現フレームの水平方向ブロック射影データを読み出して各第 3の閾値交差点力もの距離ごとに加算し、その加算結果力も垂直方向に関する動きベクトルを検出するため、特徴点に相当する画像の水平方向エッジの動きを少ない演算量で追跡できる。その結果、水平方向および垂直方向に関する動きべタトルの検出を精度良く迅速に行える。

[0181] また、動きベクトル検出装置 1のビット数削減部 25では、第 1の垂直方向ブロック射影データ最大値保存部 24で求められた現フレームの垂直方向ブロック射影データの最大値に基づき現フレームの垂直方向ブロック射影データのビット数を削減するため、以降の処理における演算量を抑制でき、動きベクトルの検出を一層迅速に行える。

[0182] また、動きベクトル検出装置 1では、前フレームに関する第 2の垂直方向ブロック射影データ最大値を求め、この最大値に基づき第 1の閾値 α 1を設定するため、適切な第 1の閾値交差点を設定できる。同様に、前フレームに関する第 2の水平方向プロック射影データ最大値を求め、この最大値に基づき第 3の閾値 oc 3を設定するため、適切な第 3の閾値交差点を設定できる。

[0183] また、動きベクトル検出装置 1では、垂直方向画像分割部 21でフレーム画像を垂直方向に分割した後に、各分割画像 (垂直方向ブロック)につ、て垂直方向のエッジを強調するため、垂直方向のエッジが強調された分割画像を簡易に生成できる。同様に、水平方向画像分割部 41でフレーム画像を水平方向に分割した後に、各分割画像 (水平方向ブロック)について水平方向のエッジを強調するため、水平方向のエッジが強調された分割画像を簡易に生成できる。 [0184] また、動きベクトル検出装置 1では、垂直方向ブロック水平方向動きベクトル算出部 31の n値化器 314において垂直方向ブロック射影データ読み出し部 30で読み出された射影データを n値化するため、以降の演算量を低減でき、動きベクトルの検出をより迅速に行える。特に、 n値化器 314では、現フレームの垂直方向ブロック射影データの最大値に基づき設定される第 2の閾値 oc 2に基づき 3値ィ匕するため、ダイナミツクレンジを比較的大きく確保しつつ、リアルタイム処理可能な動きベクトル検出が実現できる。また、メモリも大幅に削減することができる。

[0185] 同様に、水平方向ブロック垂直方向動きベクトル算出部 50の n値化器 504において水平方向ブロック射影データ読み出し部 49で読み出された射影データを n値ィ匕するため、以降の演算量を低減でき、動きベクトルの検出をより迅速に行える。特に、 n 値化器 504では、前フレームの水平方向ブロック射影データの最大値に基づき設定される第 4の閾値《4に基づき 3値ィ匕するため、適切な第 4の閾値《4を設定でき、ダイナミックレンジを大きく損なうことなぐリアルタイム処理可能な動きベクトル検出が実現できる。また、メモリも大幅に削減することができる。

[0186] 実施の形態 2.

<動きべクトル検出装置 1 Aの構成 >

図 1に示すように、本発明の実施の形態 2に係る動きベクトル検出装置 1 Aについては、実施の形態 1の動きベクトル検出装置 1と類似の構成を有している力水平方向動きベクトル検出部と垂直方向動きベクトル検出部との構成が異なっている。この動きベクトル検出装置 1Aにおける水平方向動きベクトル検出部 2Aおよび垂直方向動きベクトル検出部 4Aの構成について図 16および図 17を参照して説明する。

[0187] 図 16は、水平方向動きベクトル検出部 2Aの要部構成を示すブロック図である。なお、図 16では、実施の形態 1で説明した水平方向動きベクトル検出部 2と同様の機能を有する部位には同一の符号を付し、重複する説明は省略する。

[0188] 水平方向動きベクトル検出部 2Aのエッジ強調手段では、実施の形態 1の水平方向動きベクトル検出部 2のエッジ強調手段に対して垂直方向画像分割部 21と垂直方向エッジ抽出フィルタリング部 22との配置が逆転している。

[0189] <動きべタトル検出装置 1Aの動作 > まず、水平方向動きベクトル検出部 2Aの動作について説明する。

[0190] 図 2に示すように水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像が、水平方向動きベクトル検出部 2Aの入力端子 20に入力されると、垂直方向エッジ抽出フィルタリング部 22にお、て垂直方向に延びるエッジ成分の抽出、換言すれば水平方向に急峻に変化する画像部分を強調するようなフィルタリング処理が施される。

[0191] 垂直方向エッジ抽出フィルタリング部 22で垂直方向のエッジが強調されたフレーム画像が垂直方向画像分割部 21に入力されると、垂直方向にブロック分割される。すなわち、垂直方向画像分割部 21では、エッジ強調が施されたフレーム画像を垂直方向に分割して得られる複数の画像領域 (垂直方向ブロック)が設定される。これにより、以降の処理では、垂直方向ブロックごとに処理および管理が行われることとなる。

[0192] 垂直方向画像分割部 21で分割された画像データは、垂直方向ブロック射影部 23 に入力される力この垂直方向ブロック射影部 23以降の処理は、実施の形態 1の水平方向動きベクトル検出部 2と同様の処理が行われる。

[0193] 図 17は、垂直方向動きベクトル検出部 4Aの要部構成を示すブロック図である。なお、図 17では、実施の形態 1で説明した垂直方向動きベクトル検出部 4と同様の機能を有する部位には同一の符号を付し、重複する説明は省略する。

[0194] 垂直方向動きベクトル検出部 4Aのエッジ強調手段では、実施の形態 1の垂直方向動きベクトル検出部 4のエッジ強調手段に対して水平方向画像分割部 41と水平方向エッジ抽出フィルタリング部 42との配置が逆転している。以下では、この垂直方向動きベクトル検出部 4Aの動作について説明する。

[0195] 図 2に示すように水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像が、垂直方向動きベクトル検出部 4Aの入力端子 40に入力されると、水平方向エッジ抽出フィルタリング部 42において水平方向に延びるエッジ成分の抽出、換言すれば垂直方向に急峻に変化する画像部分を強調するようなフィルタリング処理が施される。

[0196] 水平方向エッジ抽出フィルタリング部 42で水平方向のエッジが強調されたフレーム画像が水平方向画像分割部 41に入力されると、水平方向にブロック分割される。すなわち、水平方向画像分割部 41では、エッジ強調が施されたフレーム画像を水平方向に分割して得られる複数の画像領域 (水平方向ブロック)が設定される。これ〖こより、以降の処理では、水平方向ブロックごとに処理および管理が行われることとなる。

[0197] 水平方向画像分割部 41で分割された画像データは、水平方向ブロック射影部 43 に入力される力この水平方向ブロック射影部 43以降の処理は、実施の形態 1の垂直方向動きベクトル検出部 4と同様の処理が行われる。

[0198] <効果 >

以上の動きベクトル検出装置 1Aの動作により、実施の形態 1と同様の効果を奏する。

[0199] そして、動きベクトル検出装置 1Aでは、垂直方向エッジ抽出フィルタリング部 22でフレーム画像に対する垂直方向のエッジを強調した後に、エッジ強調されたフレーム画像を垂直方向画像分割部 21におヽて垂直方向に分割するため、垂直方向のエツジが強調された分割画像を簡易に生成できる。

[0200] 同様に、水平方向エッジ抽出フィルタリング部 42でフレーム画像に対する水平方向のエッジを強調した後に、エッジ強調されたフレーム画像を水平方向画像分割部 41 において水平方向に分割するため、水平方向のエッジが強調された分割画像を簡易に生成できる。

[0201] なお、動きベクトル検出装置 1Aにおいては、垂直方向エッジ抽出フィルタリング部 22と水平方向エッジ抽出フィルタリング部 42とを別々に水平方向動きベクトル検出部 2Aおよび垂直方向動きベクトル検出部 4Aに配置するのは必須でなぐ垂直方向エッジ抽出フィルタリング部 22および水平方向エッジ抽出フィルタリング部 42の双方の機能を一体ィ匕した水平 Z垂直方向エッジ抽出フィルタリング部を設けて、その出力を垂直方向画像分割部 21および水平方向画像分割部 41それぞれに入力させるようにしても良い。

[0202] 実施の形態 3.

く動きベクトル検出装置 1Bの構成〉

図 1に示すように、本発明の実施の形態 3に係る動きベクトル検出装置 1Bについては、実施の形態 1の動きベクトル検出装置 1と類似の構成を有している力水平方向動きベクトル検出部と垂直方向動きベクトル検出部との構成が異なっている。

[0203] 以下、動きベクトル検出装置 1Bにおける水平方向動きベクトル検出部 2Bおよび垂直方向動きベクトル検出部 4Bの構成について説明する。

[0204] 図 18は、水平方向動きベクトル検出部 2Bの要部構成を示すブロック図である。なお、図 18では、実施の形態 1で説明した水平方向動きベクトル検出部 2と同様の機能を有する部位には同一の符号を付し、重複する説明は省略する。

[0205] 水平方向動きベクトル検出部 2Bは、入力端子 20と、垂直方向画像分割部 21と、垂直方向エッジ抽出フィルタリング部 22と、垂直方向ブロック射影部 23と、第 1の垂直方向ブロック射影データ最大値保存部 24と、ビット数削減部 25と、第 1の垂直方向ブロック射影ラインメモリ 26とを備えている。また、水平方向動きベクトル検出部 2は、第 2の垂直方向ブロック射影ラインメモリ 27と、第 2の垂直方向ブロック射影データ最大値保存部 28と、第 1の閾値交差点探索部 29と、垂直方向ブロック射影データ読み出し部 30と、垂直方向ブロック水平方向動きベクトル算出部 310と、水平方向動きべクトル決定部 320と、出力端子 33とを備えている。

[0206] 以上の水平方向動きベクトル検出部 2Bにおいては、垂直方向ブロック水平方向動きベクトル算出部 310および水平方向動きベクトル決定部 320の機能力実施の形態 1の水平方向動きベクトル検出部 2の、垂直方向ブロック水平方向動きベクトル算出部 31および水平方向動きベクトル決定部 32とは異なっている。

[0207] すなわち、垂直方向ブロック水平方向動きベクトル算出部 310は、第 1の垂直方向ブロック射影データ最大値保存部 24から出力される第 2の閾値を用い、垂直方向ブロック射影データ読み出し部 30で読み出された第 1の垂直方向ブロック射影データそれぞれを n値化 (nは 2以上の整数)してビット数の削減を行うとともに、 n値化された射影データを第 1の閾値交差点からの距離ごとに加算する。そして、加算データにおけるピーク位置 (後述する水平方向動きベクトル）とピーク値の情報を水平方向動きベクトル決定部 320に与える。

[0208] また、水平方向動きベクトル決定部 320は、垂直方向ブロック水平方向動きべタトル算出部 31からの出力に基づき画像の水平方向動きベクトルを決定する。ここで決定された画像の水平方向動きベクトルは出力端子 33から出力される。なお、水平方向動きベクトル決定部 320は、第 1の垂直方向ブロック射影データ最大値保存部 24 に保存された、第 1の垂直方向ブロック射影データ最大値および第 1の閾値交差点探索部 29から出力される第 1の閾値交差点の情報を受けて、水平方向動きベクトルの信頼性を高める処理に使用する構成となっている。なお、具体的な動作は後で詳述する。

[0209] 図 19は、垂直方向ブロック水平方向動きベクトル算出部 310の要部構成を示すブロック図である。

[0210] 垂直方向ブロック水平方向動きベクトル算出部 310は、 3つの入力端子 311〜313 と、 n値化器 314と、 n値化器 314で n値ィ匕された第 1の垂直方向ブロック射影データの加算を行う加算器 315と、加算器 315で加算されたデータを逐次保存するバッファメモリとしての水平方向動きベクトル加算メモリ 316と、ピーク検出器 3170と、出力端子 318および 319とを備えている。

[0211] 入力端子 311には、垂直方向ブロック射影データ読み出し部 30から出力された第 1の垂直方向ブロック射影データが入力され、入力端子 312には、第 1の垂直方向ブロック射影データ最大値保存部 24から出力された第 2の閾値が入力される。また、入力端子 313には、第 1の閾値交差点探索部 29から出力された第 1の閾値交差点の情報が入力される。

[0212] n値化器 314は、入力端子 311から入力された第 1の垂直方向ブロック射影データを、入力端子 312から入力される第 2の閾値に基づいて n値ィ匕 (例えば 3値化)する。

[0213] 加算器 315は、 n値化器 314で n値ィ匕された第 1の垂直方向ブロック射影データと、水平方向動きベクトル加算メモリ 316から読み出されたデータとを第 1の閾値交差点を中心として加算し、加算結果を水平方向動きベクトル加算メモリ 316に再び記憶させる。このような加算動作が繰り返されることにより垂直方向ブロックに関する全ての第 1の閾値交差点についての加算が終了すると、垂直方向ブロックに関する加算データがピーク検出器 3170に出力される。

[0214] ピーク検出器 3170は、加算器 315から出力された加算データにおけるピーク位置

(後述する水平方向動きベクトル）とピーク値とを検出する。このピーク検出器 3170で検出されたピーク位置は、出力端子 318を介して水平方向動きベクトル決定部 320 に入力され、ピーク値は出力端子 319を介して水平方向動きベクトル決定部 320に人力されることとなる。

[0215] 次に、垂直方向動きベクトル検出部 4Bの構成を説明する。

図 20は、垂直方向動きベクトル検出部 4Bの要部構成を示すブロック図である。

[0216] 垂直方向動きベクトル検出部 4Bは、入力端子 40と、水平方向画像分割部 41と、水平方向エッジ抽出フィルタリング部 42と、水平方向ブロック射影部 43と、第 1の水平方向ブロック射影ラインメモリ 44と、第 1の水平方向ブロック射影データ最大値保存部 45とを備えている。また、垂直方向動きベクトル検出部 4は、第 2の水平方向ブロック射影ラインメモリ 46と、第 2の水平方向ブロック射影データ最大値保存部 47と、第 3 の閾値交差点探索部 48と、水平方向ブロック射影データ読み出し部 49と、水平方向ブロック垂直方向動きベクトル算出部 500と、垂直方向動きベクトル決定部 510と、出力端子 52とを備えている。

[0217] 以上の垂直方向動きベクトル検出部 4Bにおいては、水平方向ブロック垂直方向動きベクトル算出部 500および垂直方向動きベクトル決定部 510の機能力実施の形態 1の垂直方向動きベクトル検出部 4の、水平方向ブロック垂直方向動きベクトル算出部 50および垂直方向動きベクトル決定部 51とは異なっている。

[0218] すなわち、水平方向ブロック垂直方向動きベクトル算出部 500は、第 2の水平方向ブロック射影データ最大値保存部 47から出力される第 4の閾値を用い、水平方向ブロック射影データ読み出し部 49で読み出された第 1の水平方向ブロック射影データそれぞれを n値化 (nは 2以上の整数)してビット数の削減を行うとともに、 n値化された射影データを第 3の閾値交差点からの距離ごとに加算する。そして、加算データにおけるピーク位置 (後述する垂直方向動きベクトル)とピーク値の情報を垂直方向動きベクトル決定部 510に与える。

[0219] また、垂直方向動きベクトル決定部 510は、水平方向ブロック垂直方向動きべタトル算出部 500からの出力に基づき画像の垂直方向動きベクトルを決定する。ここで決定された画像の垂直方向動きベクトルは出力端子 52から出力される。なお、垂直方向動きベクトル決定部 510は、第 1の水平方向ブロック射影データ最大値保存部 4 5に保存された、第 1の水平方向ブロック射影データ最大値および第 3の閾値交差点探索部 48から出力される第 3の閾値交差点の情報を受けて、垂直方向動きベクトルの信頼性を高める処理に使用する構成となっている。なお、具体的な動作は後で詳述する。

[0220] 図 21は、水平方向ブロック垂直方向動きベクトル算出部 500の要部構成を示すブロック図である。

[0221] 水平方向ブロック垂直方向動きベクトル算出部 500は、 3つの入力端子 501〜503 と、 n値化器 504と、 n値化器 504で n値ィ匕された第 1の水平方向ブロック射影データの加算を行う加算器 505と、加算器 505で加算されたデータを逐次保存するバッファメモリとしての垂直方向動きベクトル加算メモリ 506と、ピーク検出器 5070と、出力端子 508および 509とを備えて!/、る。

[0222] 入力端子 501には、水平方向ブロック射影データ読み出し部 49から出力された第 1の水平方向ブロック射影データが入力され、入力端子 502には、第 2の水平方向ブロック射影データ最大値保存部 47から出力された第 4の閾値が入力される。また、入力端子 503には、第 3の閾値交差点探索部 48から出力された第 3の閾値交差点の情報が入力される。

[0223] n値化器 504は、入力端子 501から入力された第 1の水平方向ブロック射影データを、入力端子 502から入力される第 4の閾値に基づいて n値ィ匕 (例えば 3値化)する。

[0224] 加算器 505は、 n値化器 504で n値ィ匕された第 1の水平方向ブロック射影データと、垂直方向動きベクトル加算メモリ 506から読み出されたデータとを第 3の閾値交差点を中心として加算し、加算結果を垂直方向動きベクトル加算メモリ 506に再び記憶させる。このような加算動作が繰り返されることにより水平方向ブロックに関する全ての第 3の閾値交差点についての加算が終了すると、水平方向ブロックに関する加算データがピーク検出器 5070に出力される。

[0225] ピーク検出器 5070は、加算器 505から出力された加算データにおけるピーク位置

(後述する垂直方向動きベクトル）とピーク値とを検出する。このピーク検出器 507で検出されたピーク位置は、出力端子 508を介して垂直方向動きベクトル決定部 510 に入力され、ピーク値は出力端子 509を介して水平方向動きベクトル決定部 510に人力されることとなる。 [0226] 以上のような構成を有する動きベクトル検出装置 IBの動作について、以下で説明する。

[0227] <動きべタトル検出装置 1Bの動作 >

<水平方向動きベクトル検出部 2Bの動作 >

まず、動きベクトル検出装置 1Bにおいて画像の水平方向の動きベクトルを検出する水平方向動きベクトル検出部 2Bの動作を説明する。

[0228] なお、水平方向動きベクトル検出部 2Bの動作は、基本的には、実施の形態 1において説明した水平方向動きベクトル検出部 2の動作と同じであり、重複する説明は省略するものとし、垂直方向ブロック水平方向動きベクトル算出部 310および水平方向動きベクトル決定部 320の動作を中心に説明する。

[0229] 第 1の閾値交差点探索部 29では、第 2の垂直方向ブロック射影ラインメモリ 27から読み出された第 2の垂直方向ブロック射影データと、第 2の垂直方向ブロック射影データ最大値保存部 28から出力された第 1の閾値との交差点 (第 1の閾値交差点)を水平方向に探索する。この第 1の閾値交差点探索部 29で得られた第 1の閾値交差点の情報は、垂直方向ブロック射影データ読み出し部 30、垂直方向ブロック水平方向動きベクトル算出部 310および水平方向動きベクトル決定部 320に出力される。

[0230] 垂直方向ブロック射影データ読み出し部 30は、第 1の閾値交差点探索部 29から出力された第 1の閾値交差点を中心とした動きべ外ル検出範囲に対応した現フレームの (第 1の)垂直方向ブロック射影データを第 1の垂直方向ブロック射影ラインメモリ 26 から読み出す。すなわち、第 1の閾値交差点を A(i) (ただし i= 1,2, · · ·ρで、 ρは検出された第 1の閾値交差点の総数)とし、動きベクトル検出範囲を第 1の閾値交差点を中心とした (一 V)から (+ V) (ただし Vは正の整数)の範囲とすると、第 1の垂直方向ブロック射影ラインメモリ 26から読み出される射影データは、水平方向において (A(i)— V)力 (A(i)+V)までの範囲にある第 1の垂直方向ブロック射影データの部分データとなる。

[0231] この垂直方向ブロック射影データ読み出し部 30によって第 1の垂直方向ブロック射影ラインメモリ 26から読み出された第 1の垂直方向ブロック射影データは、垂直方向ブロック水平方向動きベクトル算出部 310に出力される。 [0232] 垂直方向ブロック射影データ読み出し部 30から出力された第 1の垂直方向ブロック射影データは、図 19に示す垂直方向ブロック水平方向動きベクトル算出部 310の入力端子 311を介して n値化器 314に入力される。この n値化器 314の処理については、図 10を用いて説明済みであるので、説明は省略する。

[0233] また、第 1の閾値交差点探索部 29、垂直方向ブロック射影データ読み出し部 30および垂直方向ブロック水平方向動きベクトル算出部 310 (垂直方向ブロック水平方向動きベクトル算出部 31と基本的に同じ)の動作については、図 11を用いて説明済みであるので、説明は省略する。

[0234] 加算器 315(図 19)では、入力端子 313を介して第 1の閾値交差点探索部 29から出力された第 1の閾値交差点を中心に、 n値化器 314で n値化された第 1の垂直方向ブロック射影データと、水平方向動きベクトル加算メモリ 316から読み出された 1つ前までの n値化された第 1の垂直方向ブロック射影データの加算値とを加算し、その加算結果を水平方向動きベクトル加算メモリ 316に再び記憶させる。そして、第 1の閾値交差点探索部 29で検出された全ての第 1の閾値交差点のうち最後のものに関する n 値化された第 1の垂直方向ブロック射影データを加算器 315で加算して 1つの垂直方向ブロックについての加算処理を終了する際には、その加算結果をピーク検出器 3170に出力するようにする。なお、加算器 315での加算処理終了後に、全ての第 1 の閾値交差点に関する加算結果を記憶して、る水平方向動きベクトル加算メモリ 31 6から、その加算結果をピーク検出部 3170が読み出すようにしても良い。

[0235] ピーク検出器 3170には、第 1の閾値交差点探索部 29で検出された全ての第 1の閾値交差点について各第 1の閾値交差点を中心とした動きべ外ル検出範囲 (上述した士 Vの範囲）に対応する n値化済みの第 1の垂直方向ブロック射影データを加算したデータ（以下では「垂直方向ブロック n値ィ匕データ」とも言う）が入力される力この垂直方向ブロック n値化データに関するピーク値がピーク検出器 3170で検出される。このピーク検出器 3170において検出される垂直方向ブロック n値ィ匕データのピーク位置が、その垂直方向ブロック力得られる水平方向動きベクトルとなり、出力端子 3 18を介して水平方向動きベクトル決定部 320に出力される。同様に、そのときのピーク値は出力端子 319から出力される。 [0236] なお、加算器 315およびピーク検出部 3170の具体的な動作については、図 12を用いて説明した、垂直方向ブロック水平方向動きベクトル算出部 31の加算器 315およびピーク検出部 317と同様なので説明は省略する力ピーク検出器 3170で垂直方向ブロックごとに算出された水平方向動きベクトル (ピーク位置）と、垂直方向ブロックの n値ィ匕され加算された加算データのピーク値 (以下、「垂直方向ブロック n値化カロ算データピーク値」とも言う）は、それぞれ出力端子 318および 319を介して水平方向動きベクトル決定部 320に入力され、垂直方向ブロック n値化加算データピーク値は、垂直方向ブロックの有効 Z無効判定に使用される。

[0237] 水平方向動きベクトル決定部 320では、垂直方向ブロック水平方向動きベクトル算出部 310から順次に出力される各垂直方向ブロックの水平方向動きベクトルに基づき、画像全体の水平方向動きベクトルが決定される。

[0238] このとき、第 1の垂直方向ブロック射影データ最大値保存部 24から出力される第 1 の垂直方向ブロック射影データ最大値、垂直方向ブロック水平方向動きベクトル算出部 310から出力される垂直方向ブロック n値化加算データピーク値および第 1の閾値交差点探索手段 29から出力される第 1の閾値交差点の情報に基づいて各垂直方向ブロックの有効 Z無効を判定する。そして、無効ブロックと判定された垂直方向ブロッタカ算出された水平方向動きベクトルは画像全体の水平方向動きベクトルを決定する際には使用しないものとする。

[0239] <垂直方向ブロックの有効 Z無効の判定動作 >

<第 1の垂直方向ブロック射影データ最大値を用いる場合 > 以下、各垂直方向ブロックの有効 Z無効を判定する方法について説明する。

[0240] 図 22は、第 1の垂直方向ブロック射影データ最大値を用いて各垂直方向ブロックの有効 Z無効を判定する方法を説明する図である。

[0241] 図 22においては、図 9の (a)に示した 640画素 X 480画素の画像データを例に採り、垂直方向に 64画素の幅 (分割幅)を有した 7個の垂直方向ブロック vb0〜vb6に分割した場合を示している。

[0242] また、図 22においては、第 1の垂直方向ブロック射影データ最大値保存部 24 (図 1 8)から出力される各垂直方向ブロックの第 1の垂直方向ブロック射影データ最大値を、各ブロックごとに 16進数表記で示している。

[0243] 水平方向動きベクトル決定部 320では、各垂直方向ブロック vb0〜vb6における第

1の垂直方向ブロック射影データ最大値の中力も全ブロック中の最大値を求める。図

22の例では、垂直方向ブロック vb2が全ブロック中の最大値を有しており、この値を全垂直方向ブロック射影データ最大値と呼称する。

[0244] また、水平方向動きベクトル決定部 320では、全垂直方向ブロック射影データ最大値に対して、例えば 1Z4以下の最大値しか有さない垂直方向ブロックを無効ブロックとして判断する。図 22の例では、垂直方向ブロック vbO、 vblおよび vb6が無効ブロックと半 IJ断される。

[0245] 図 23は、垂直方向ブロックの有効 Z無効の判定を模式的に示す図である。

[0246] 図 23においては、横軸を全垂直方向ブロック射影データ最大値とし、縦軸を第 1の垂直方向ブロック射影データ最大値としたグラフを表しており、原点を起点とした傾き 1/4 (S = l/4)の直線を境にして、有効ブロックと無効ブロックとに分かれることが表されている。

[0247] 無効ブロックと判断される垂直方向ブロックは、絵柄として特徴の少ない（くっきりとした箇所が少ない）、あるいは、非常に細かい絵柄であると言うことができ、結果として、他の有効ブロックに対して信頼性が低いと判断できるものである。従って、無効プロックと判断される垂直方向ブロックについては、画像全体の水平方向動きベクトルの決定には使用しないことで、水平方向動きベクトルの信頼性を高めることができる。

[0248] なお、上記にぉ、ては、有効 Z無効の判定条件を、全垂直方向ブロック射影データ最大値の 1Z4以下として説明した力これに限るものではなぐ場合によっては 1 Z2以下、あるいは 1Z8以下としても良い。このように、判定条件 lZ2ⁿで設定することにより、有効、無効の判定を簡単に行うことが可能である。

[0249] <垂直方向ブロック n値化加算データピーク値を用いる場合〉

図 24は、垂直方向ブロック n値化加算データピーク値を用ヽて各垂直方向ブロックの有効 Z無効を判定する方法を説明する図である。

[0250] 図 24においては、図 9の (a)に示した 640画素 X 480画素の画像データを例に採り、垂直方向に 64画素の幅 (分割幅)を有した 7個の垂直方向ブロック vb0〜vb6に分割した場合を示している。

[0251] また、図 24においては、垂直方向ブロック水平方向動きベクトル算出部 310 (図 18 )から出力される各垂直方向ブロックの垂直方向ブロック n値化加算データピーク値を、各ブロックごとに 16進数表記で示している。

[0252] 水平方向動きベクトル決定部 320では、各垂直方向ブロック vb0〜vb6における垂直方向ブロック n値化加算データピーク値の中力も最大値を求める。図 24の例では、垂直方向ブロック vb4が最大値を有しており、この値を垂直方向ブロック n値化加算データピーク値の最大値と呼称する。

[0253] また、水平方向動きベクトル決定部 320では、垂直方向ブロック n値化加算データピーク値の最大値が所定値 A (例えば、 10進数表記で 12)以上のとき、垂直方向ブロック n値化加算データが所定値 B (例えば、 10進数表記で 7)以下の垂直方向プロックを無効ブロックとして判断する。図 24の例では、垂直方向ブロック vbO、 vbl、 vb5 および vb6が無効ブロックと判断される。

[0254] 垂直方向ブロック水平方向動きベクトル算出部 310 (図 18)の加算器 315 (図 19) の出力は、第 1の閾値交差点を中心に、第 2の閾値で n値化された第 1の垂直方向ブロック射影データを加算したものであり、第 1の閾値交差点が多ぐかつ、プラス側の第 2の閾値（ひ 2)を超える振幅（山）が多いほど大きな値となる。逆に、マイナス側の第 2の閾値（― a 2)を超える振幅があれば打ち消されることになる。

[0255] 言い換えれば、加算器 315の出力の最大値、つまり、ある垂直方向ブロックの垂直方向ブロック _n値化加算データピーク値が所定値 A以上であり、その一方で、他の垂直方向ブロックの垂直方向ブロック n値化加算データピーク値が所定値 B以下であるとき、当該他の垂直方向ブロックにおいては加算結果が打ち消される絵柄、あるいは、特徴が少なぐ振幅が少ない絵柄であると言える。

[0256] 従って、垂直方向ブロック n値化加算データピーク値力所定値 B以下のブロックは、所定値 A以上のブロックに比べて、信頼性が低いと判断でき、結果として、他の有効ブロックに対して信頼性が低いと判断できるものである。従って、無効ブロックと判断される垂直方向ブロックについては、画像全体の水平方向動きベクトルの決定には使用しないことで、水平方向動きベクトルの信頼性を高めることができる。 [0257] 図 25は、垂直方向ブロックの有効 Z無効の判定を模式的に示す図である。

図 25においては、横軸を垂直方向ブロック n値化加算データピーク値の最大値とし、縦軸を垂直方向ブロック n値化加算データピーク値としたグラフを表しており、垂直方向ブロック _n値化加算データピーク値の最大値が所定値 A以上のときは、垂直方向ブロック n値化加算データが所定値 B以下の垂直方向ブロックを無効ブロックとして判断する動作が表されて、る。

[0258] また、図 25においては、垂直方向ブロック n値化加算データピーク値の最大値が所定値 Aよりも小さ、場合には、垂直方向ブロック n値化加算データピーク値が所定値 B以下のブロックが存在しても、当該ブロックについては無効ブロックと判断しないという動作も表されている。

[0259] 例えば、図 24を例に採れば、垂直方向ブロック n値化加算データピーク値の最大値が 7である場合は、垂直方向ブロック vbO、 vbl、 vb5および vb6は無効ブロックとは判断されない。これは、垂直方向ブロック n値化加算データピーク値が最大値であるブロックに対して、相対的には信頼性が低いとは言えないからである。

[0260] なお、上記においては、有効 Z無効の判定条件を、所定値 Aを 12とし、所定値 Bを 7とする例を示した力これに限定されるものではなぐ画像の水平方向画素数に依存し、例えば水平方向画素数が 640画素である場合には、所定値 Aは 10程度の値に設定し、所定値 Bはその半分前後の値に設定すれば良、。

[0261] く第 1の閾値交差点の個数を用いる場合〉

図 26は、第 1の閾値交差点の個数を用、て各垂直方向ブロックの有効 Z無効を判定する方法を説明する図である。

[0262] 図 26においては、図 9の (a)に示した 640画素 X 480画素の画像データを例に採り、垂直方向に 64画素の幅 (分割幅)を有した 7個の垂直方向ブロック vb0〜vb6に分割した場合を示している。

[0263] また、図 26においては、第 1の閾値交差点探索部 29 (図 18)から出力される第 1の閾値交差点の個数を、各ブロックごとに 16進数表記で示して、る。

[0264] 第 1の閾値交差点探索部 29では、第 2の垂直方向ブロック射影ラインメモリ 27に保存される前フレームに係る第 2の垂直方向ブロック射影データの波形と、第 2の垂直方向ブロック射影データ最大値保存部 28で算出された第 1の閾値とが交差する第 1 の閾値交差点の情報を出力するが、当該情報には第 1の閾値交差点の個数についての情報も含まれており、図 26に示すように、各垂直方向ブロック vb0〜vb6ごとに第 1の閾値交差点の個数が得られる。

[0265] 図 27は、垂直方向ブロックの有効 Z無効の判定を模式的に示す図である。

図 27においては、横軸を各垂直方向ブロック vb0〜vb6における第 1の閾値交差点の個数の最大値とし、縦軸を第 1の閾値交差点の個数としたグラフを表しており、水平方向動きベクトル決定部 320では、各垂直方向ブロック vb0〜vb6における第 1 の閾値交差点の個数が、所定値 D (例えば、 10進数表記で 3)以下のブロックについては、第 1の閾値交差点の個数の最大値に関わりなく無効ブロックと判断する。図 26 の例では、垂直方向ブロック vbOおよび vb6が無効ブロックと判断される。

[0266] 無効ブロックと判断される垂直方向ブロックについては、画像全体の水平方向動きベクトルの決定には使用しないことで、水平方向動きベクトルの信頼性を高めることができる。

[0267] 一方で、第 1の閾値交差点の個数は少なくとも水平方向の画素数以下であり、水平方向の画素数と比較して余りにも個数が多い場合は非常に周期的な絵柄を捉えていると言えるので、例えば、所定値 E以上 (例えば、水平方向画素数の半分以上）となっているような場合には、そのブロックを無効ブロックと判断するように構成しても良い。

[0268] また、図 28に示すように、第 1の閾値交差点の個数の最大値が所定値 C ( >D)以上である場合にのみ、所定値 D以下のブロックについては無効ブロックと判断するように構成しても良い。この場合、第 1の閾値交差点の個数の最大値が所定値じよりも小さい場合には、所定値 D以下のブロックが存在しても、当該ブロックについては無効ブロックとは判断されず、無効ブロックの判定基準をより細力べ設定できる。

[0269] なお、上記におヽては、有効 Z無効の判定条件を、所定値 Dを 3とし、所定値 Eを水平方向画素数の半分とする例を示したが、これに限定されるものではない。

[0270] 以上説明した第 1の垂直方向ブロック射影データ最大値を用いて各垂直方向プロックの有効 Z無効を判定する方法、垂直方向ブロック n値化加算データピーク値を用いて各垂直方向ブロックの有効 Z無効を判定する方法および第 lの閾値交差点の情報を用いて各垂直方向ブロックの有効 Z無効を判定する方法を用いることで、無効ブロックを判定し、無効ブロックとされた垂直方向ブロック力算出された水平方向動きベクトルは、画像全体の水平方向動きベクトルを決定する際には使用しないようにすることで、動きベクトルの信頼性を高めることができる。

[0271] また、以上説明した 3つの判定方法は、単独で用いても良いが組み合わせて用いても良い。

[0272] 例えば、第 1の垂直方向ブロック射影データ最大値を用いて有効 Z無効を判定するとともに、垂直方向ブロック n値化加算データピーク値を用、て各垂直方向ブロックの有効 Z無効を判定しても良いし、第 1の垂直方向ブロック射影データ最大値を用いて有効 Z無効を判定するとともに、第 1の閾値交差点の情報を用いて各垂直方向ブロックの有効 Z無効を判定しても良！、。

[0273] このような組み合わせにより、無効ブロックを確実に選択することができ、動きべタトルの信頼性をさらに高めることができる。

[0274] <水平方向動きベクトルの決定方法 >

水平方向動きベクトル決定部 320では、上記のように垂直方向ブロックの有効 Z無効を判定し、有効ブロックと判定された垂直方向ブロックについて、その水平方向動きベクトル力も画像全体の水平方向動きベクトルを決定する。

[0275] このとき、同じ水平方向動きベクトルを有する垂直方向ブロックを集め、ヒストグラムを作成する。

[0276] 以下、図 29および図 30を用いて、画像全体の水平方向動きベクトルの決定方法の一例について説明する。

[0277] 図 29および図 30においては、水平方向動きベクトルの検出範囲を Vないし Vとする場合を示しており、ここでは、一例として Vが 31の場合を示しており、 31から 3 1まで 1ベクトル間隔で表示されている。なお、各ベクトルに対応して設けたボックス内に表示された数字は、同じベクトルを有する垂直方向ブロックの個数を表して、る。

[0278] 図 29に示すように、各垂直方向ブロックについて算出された水平方向動きベクトルのうち、水平方向動きベクトル 6については 2つの垂直方向ブロックで算出されている力他の垂直方向ブロックでは全てバラバラの水平方向動きベクトルとなっており、その分布範囲の最小値は 14、最大値は 27となっており、その差 41となって動きべクトル検出範囲に対して非常にバラツキがあると言える。なお、図 29においては、現フレームの各垂直方向ブロックから得られた水平方向動きベクトルに対応するブロックに砂地のハッチングを付して!/、る。

[0279] 水平方向動きベクトル決定部 320では、各垂直方向ブロックから得られた水平方向動きベクトルの分布範囲の最大値と最小値の差が予め定めた閾値 B (例えば、上述した V)以上のとき、各垂直方向ブロック力得られる水平方向動きベクトルは信頼性が低いとして、水平方向動きベクトルを 0とする。

[0280] このような処理を行うことで、画像全体の水平方向動きベクトルの信頼性を高めることがでさる。

[0281] 一方、水平方向動きベクトル 6を有する垂直方向ブロックの個数が予め定めた数値

A (例えば 3)以上である場合には、各垂直方向ブロックから得られる水平方向動きべタトルは十分信頼できると判断する。

[0282] 同様に、各垂直方向ブロックから得られた水平方向動きベクトルの最大値と最小値の差が閾値 Bより小さい場合にも、各垂直方向ブロック力得られた水平方向動きべタトルは十分信頼できると判断する。

[0283] なお、数値 A、閾値 Bは上述した値に限るものではな、。また、ノラツキの判断も上述した水平方向動きベクトルの最大値と最小値の差で判断することに限定されず、標準偏差を用いて、例えば、標準偏差が閾値 B以上のとき、バラツキが大きいと判断しても良い。

[0284] 上述した処理の結果、各垂直方向ブロックから得られた水平方向動きベクトルが十分信頼できると判断できた場合、次の手順で現フレームの水平方向動きべ外ルを算出する。

[0285] その概要は、現フレームの各垂直方向ブロックから出力された水平方向動きべタトルのうち、前フレームの水平方向動きベクトルに最も近、水平方向動きベクトルを現フレームの水平方向動きベクトルとするものである。

[0286] 図 30においては、各垂直方向ブロック力得られた水平方向動きベクトルの分布範囲の最大値と最小値の差が 11である場合を示しており、閾値 B (例えば V= 31)よりも小さいため、水平方向動きベクトル決定部 320では、各垂直方向ブロックカも算出された水平方向動きベクトルは信頼性があるものと判断する。

[0287] ここで、図 30においては水平方向動きベクトル 5が前フレームの水平方向動きべクトルであり、これに最も近い現フレームの各垂直方向ブロックから得られた水平方向動きベクトルは、水平方向動きベクトル 6である。従って、水平方向動きベクトル 6が現フレームの水平方向動きベクトルと決定される。なお、図 30においては、現フレームの各垂直方向ブロック力得られた水平方向動きベクトルに対応するブロックに砂地のハッチングを付し、前フレームの水平方向動きベクトルに対応するブロックに斜線のハッチングを付して、る。

[0288] ここで、複数の垂直方向ブロックの出力結果が同じ水平方向動きベクトルとなった場合、すなわち、ある水平方向動きベクトルの個数が 2以上となった場合、個数 1の水平方向動きベクトルは信頼性が低、ものとして除外し、その上で前フレームの水平方向動きベクトルに最も近い水平方向動きベクトルを求め、その水平方向動きべタトルを現フレームの水平方向動きベクトルとしても良い。

[0289] この方法を採る場合、図 30の例では、水平方向動きベクトル 8が現フレームの水平方向動きベクトルとなる。

[0290] なお、前フレームの水平方向動きベクトルに最も近い水平方向動きベクトルが 2つ存在する場合には、その平均、つまり、前フレームの水平方向動きベクトルそのものを現フレームの水平方向動きベクトルとすれば良、。

[0291] ここで、前フレームの水平方向動きベクトルの情報は、水平方向動きべクトノレ決定部 320内に設けられた所定の記憶部（前フレーム水平方向動きベクトル保存手段）に保存しておき、必要に応じて読み出すように構成されて、る。

[0292] 以上説明したように、垂直方向ブロックの有効 Z無効の判定動作により信頼性の低 V、垂直方向ブロックを除外した上で、信頼性の高!、垂直方向ブロックに基づ、て算出される水平方向動きベクトルについてバラツキを考慮して画像全体の水平方向動きベクトルの信頼性を評価し、信頼できると判断した場合にも、前フレームの水平方向動きベクトルを考慮することで、前フレームからの動きを加味した違和感の少なヽ水平方向動きベクトルを決定することができる。

[0293] <垂直方向動きベクトル検出部 4Bの動作 >

次に、動きベクトル検出装置 1Bにおいて画像の垂直方向の動きベクトルを検出する垂直方向動きベクトル検出部 4Bの動作を説明する。

[0294] なお、垂直方向動きベクトル検出部 4Bのの動作は、基本的には、実施の形態 1において説明した垂直方向動きベクトル検出部 4の動作と同じであり、重複する説明は省略するものとし、水平方向ブロック垂直向動きベクトル算出部 500および垂直方向動きベクトル決定部 510の動作を中心に説明する。

[0295] 第 3の閾値交差点探索部 48では、第 2の水平方向ブロック射影ラインメモリ 46から読み出された第 2の水平方向ブロック射影データと、第 2の水平方向ブロック射影データ最大値保存部 47から出力された第 3の閾値との交差点 (第 3の閾値交差点)を垂直方向に探索する。この第 3の閾値交差点探索部 48で得られた第 3の閾値交差点の情報は、水平方向ブロック射影データ読み出し部 49、水平方向ブロック垂直方向動きベクトル算出部 500および垂直方向動きベクトル決定部 510に出力される。

[0296] 水平方向ブロック射影データ読み出し部 49は、第 3の閾値交差点探索部 48から出力された第 3の閾値交差点を中心とした動きべ外ル検出範囲に対応した現フレームの (第 1の)水平方向ブロック射影データを、第 1の水平方向ブロック射影ラインメモリ 4 4から読み出す。すなわち、第 3の閾値交差点を B(i) (ただし i= l,2, ' · 'qで、 qは検出された第 3の閾値交差点の総数)とし、動きベクトル検出範囲を第 3の閾値交差点を中心とした (一 U)から (+U) (ただし Uは正の整数)の範囲とすると、第 1の水平方向ブロック射影ラインメモリ 44から読み出される射影データは、垂直方向において (B(i)— U)力も (B(i) + U)までの範囲にある第 1の水平方向ブロック射影データの部分データとなる。

[0297] この水平方向ブロック射影データ読み出し部 49によって第 1の水平方向ブロック射影ラインメモリ 44から読み出された第 1の水平方向ブロック射影データは、水平方向ブロック垂直方向動きベクトル算出部 500に出力される。

[0298] 水平方向ブロック射影データ読み出し部 49から出力された第 1の水平方向ブロック射影データは、図 21に示す水平方向ブロック垂直方向動きベクトル算出部 500の入力端子 501を介して n値化器 504に入力される。この n値化器 504の処理については、図 10を用いて説明済みであるので、説明は省略する。

[0299] また、第 3の閾値交差点探索部 48、水平方向ブロック射影データ読み出し部 49および水平方向ブロック垂直方向動きベクトル算出部 500 (水平方向ブロック垂直方向動きベクトル算出部 50と基本的に同じ)の動作については、図 14を用いて説明済みであるので、説明は省略する。

[0300] 次に、加算器 505(図 21)では、入力端子 503を介して第 3の閾値交差点探索部 48 力も出力された第 3の閾値交差点を中心に、 n値化器 504で n値化された第 1の水平方向ブロック射影データと、垂直方向動きベクトル加算メモリ 506から読み出された 1 つ前までの n値ィ匕された第 1の水平方向ブロック射影データの加算値とを加算し、その加算結果を垂直方向動きベクトル加算メモリ 506に再び記憶させる。そして、第 3 の閾値交差点探索部 48で検出された全ての第 3の閾値交差点のうち最後のものに関する n値化された第 1の水平方向ブロック射影データを加算器 505で加算して 1つの水平方向ブロックにつ、ての加算処理を終了する際には、その加算結果をピーク検出器 5070に出力するようにする。なお、加算器 505での加算処理終了後に、全ての第 3の閾値交差点に関する加算結果を記憶している垂直方向動きベクトル加算メモリ 506から、その加算結果をピーク検出部 5070が読み出すようにしても良い。

[0301] ピーク検出器 5070には、第 3の閾値交差点探索部 48で検出された全ての第 3の閾値交差点について各第 3の閾値交差点を中心とした動きべ外ル検出範囲 (上述した ± Uの範囲）に対応する n値化済みの第 1の水平方向ブロック射影データを加算したデータ（以下では「水平方向ブロック n値ィ匕データ」とも言う）が入力される力この水平方向ブロック n値ィ匕データに関するピーク値がピーク検出器 5070で検出される。このピーク検出器 5070において検出される水平方向ブロック n値ィ匕データのピーク位置が、その水平方向ブロック力得られる垂直方向動きベクトルとなり、出力端子 5 08を介して垂直方向動き決定部 510に出力される。同様に、そのときのピーク値は出力端子 509から出力される。

[0302] なお、加算器 505およびピーク検出部 5070の具体的な動作については、図 15を用いて説明した、水平方向ブロック垂直方向動きベクトル算出部 50の加算器 505およびピーク検出部 507と同様なので説明は省略する力ピーク検出器 507で水平方向ブロックごとに算出された垂直方向動きベクトル (ピーク位置）と、水平方向ブロックの n値化され加算された加算データのピーク値 (以下、「水平方向ブロック n値化加算データピーク値」とも言う）は、それぞれ出力端子 508および 509を介して垂直方向動きベクトル決定部 510に入力され、水平方向ブロック n値化加算データピーク値は、水平方向ブロックの有効 Z無効判定に使用される。

[0303] 垂直方向動きベクトル決定部 510 (図 20)では、水平方向ブロック垂直方向動きべタトル算出部 500から順次に出力される各水平方向ブロックの垂直方向動きベクトルに基づき、画像全体の垂直方向動きベクトルが決定される。

[0304] このとき、垂直方向動きベクトル決定部 510では、第 1の水平方向ブロック射影データ最大値保存部 45から出力される第 1の水平方向ブロック射影データ最大値、水平方向ブロック垂直方向動きベクトル算出部 500から出力される水平方向ブロック n値ィ匕加算データピーク値および第 3の閾値交差点探索部 48から出力される第 3の閾値交差点の情報に基づいて各水平方向ブロックの有効 Z無効を判定する。そして、無効ブロックと判定された水平方向ブロック力算出された垂直方向動きベクトルは画像全体の垂直方向動きベクトルを決定する際には使用しな、ものとする。

[0305] <水平方向ブロックの有効 Z無効の判定動作 >

<第 1の水平方向ブロック射影データ最大値を用いる場合 > 以下、各水平方向ブロックの有効 Z無効を判定する方法について説明する。

[0306] 図 31は、第 1の水平方向ブロック射影データ最大値を用いて各水平方向ブロックの有効 Z無効を判定する方法を説明する図である。

[0307] 図 31においては、図 13の (a)に示した 640画素 X 480画素の画像データを例に採り、水平方向に 64画素の幅 (分割幅)を有した 10個の水平方向ブロック hbO〜hb9に分割した場合を示している。

[0308] また、図 31においては、第 1の水平方向ブロック射影データ最大値保存部 45 (図 2 0)から出力される各水平方向ブロックの第 1の水平方向ブロック射影データ最大値を、各ブロックごとに 16進数表記で示している。

[0309] 垂直方向動きベクトル決定部 510では、各水平方向ブロック hbO〜hb9における第 1の水平方向ブロック射影データ最大値の中力も全ブロック中の最大値を求める。図 31の例では、水平方向ブロック hb4が全ブロック中の最大値を有しており、この値を全水平方向ブロック射影データ最大値と呼称する。

[0310] また、垂直方向動きベクトル決定部 510では、全水平方向ブロック射影データ最大値に対して、例えば 1Z4以下の最大値しか有さない水平方向ブロックを無効ブロックとして判断する。図 31の例では、水平方向ブロック hbO、 hbl、 hb8およひ hb9が無効ブロックと判断される。

[0311] 図 32は、水平方向ブロックの有効 Z無効の判定を模式的に示す図である。

[0312] 図 32においては、横軸を全水平方向ブロック射影データ最大値とし、縦軸を第 1の水平方向ブロック射影データ最大値としたグラフを表しており、原点を起点とした傾き 1/4 (S = l/4)の直線を境にして、有効ブロックと無効ブロックとに分かれることが表されている。

[0313] 無効ブロックと判断される水平方向ブロックは、絵柄として特徴の少ない（くっきりとした箇所が少ない）、あるいは、非常に細かい絵柄であると言うことができ、結果として、他の有効ブロックに対して信頼性が低いと判断できるものである。従って、無効プロックと判断される水平方向ブロックについては、画像全体の垂直方向動きベクトルの決定には使用しないことで、垂直方向動きベクトルの信頼性を高めることができる。

[0314] なお、上記にお、ては、有効 Z無効の判定条件を、全水平方向ブロック射影データ最大値の 1Z4以下として説明した力これに限るものではなぐ場合によっては 1 Z2以下、あるいは 1Z8以下としても良い。このように、判定条件 lZ2ⁿで設定することにより、有効、無効の判定を簡単に行うことが可能である。

[0315] <水平方向ブロック n値化加算データピーク値を用いる場合 >

図 33は、水平方向ブロック n値化加算データピーク値を用ヽて各水平方向ブロックの有効 Z無効を判定する方法を説明する図である。

[0316] 図 33においては、図 13の (a)に示した 640画素 X 480画素の画像データを例に採り、水平方向に 64画素の幅 (分割幅)を有した 10個の水平方向ブロック hbO〜hb9に分割した場合を示している。

[0317] また、図 33においては、水平方向ブロック垂直方向動きベクトル算出部 500 (図 20 )から出力される各水平方向ブロックの水平方向ブロック n値化加算データピーク値を、各ブロックごとに 16進数表記で示している。

[0318] 垂直方向動きベクトル決定部 510では、各水平方向ブロック hbO〜hb9における水平方向ブロック n値化加算データピーク値の中力も最大値を求める。図 33の例では、水平方向ブロック hb4が最大値を有しており、この値を水平方向ブロック n値化加算データピーク値の最大値と呼称する。

[0319] また、垂直方向動きベクトル決定部 510では、水平方向ブロック n値化加算データピーク値の最大値が所定値 A (例えば、 10進数表記で 12)以上のとき、水平方向ブロック n値化加算データが所定値 B (例えば、 10進数表記で 7)以下の水平方向プロックを無効ブロックとして判断する。図 33の例では、垂直方向ブロック hbO、 hbl、 hb 7、 hb8および hb9が無効ブロックと判断される。

[0320] 水平方向ブロック垂直方向動きベクトル算出部 500 (図 20)の加算器 505 (図 21) の出力は、第 3の閾値交差点を中心に、第 4の閾値で n値化された第 1の水平方向ブロック射影データを加算したものであり、第 3の閾値交差点が多ぐかつ、プラス側の第 4の閾値（ひ 4)を超える振幅（山）が多いほど大きな値となる。逆に、マイナス側の第 4の閾値（一 α 4)を超える振幅があれば打ち消されることになる。

[0321] 言い換えれば、加算器 505の出力の最大値、つまり、ある水平方向ブロックの水平方向ブロック _η値化加算データピーク値が所定値 Α以上であり、その一方で、他の水平方向ブロックの水平方向ブロック n値化加算データピーク値が所定値 B以下であるとき、当該他の水平方向ブロックにおいては加算結果が打ち消される絵柄、あるいは、特徴が少なぐ振幅が少ない絵柄であると言える。

[0322] 従って、水平方向ブロック n値化加算データピーク値力所定値 B以下のブロックは、所定値 A以上のブロックに比べて、信頼性が低いと判断できる。従って、無効ブロックと判断される水平方向ブロックについては、画像全体の垂直方向動きベクトルの決定には使用しないことで、垂直方向動きベクトルの信頼性を高めることができる。

[0323] 図 34は、水平方向ブロックの有効 Z無効の判定を模式的に示す図である。

図 34においては、横軸を水平方向ブロック n値化加算データピーク値の最大値とし、縦軸を水平方向ブロック n値化加算データピーク値としたグラフを表しており、水平方向ブロック _n値化加算データピーク値の最大値が所定値 A以上のときは、水平方向ブロック n値化加算データが所定値 B以下の水平方向ブロックを無効ブロックとして判断する動作が表されて、る。

[0324] また、図 34においては、水平方向ブロック n値化加算データピーク値の最大値が所定値 Aよりも小さ、場合には、水平方向ブロック n値化加算データピーク値が所定値 B以下のブロックが存在しても、当該ブロックについては無効ブロックと判断しないという動作も表されている。

[0325] 例えば、図 33を例に採れば、水平方向ブロック n値化加算データピーク値の最大値が 7である場合は、垂直方向ブロック hbO、 hbl、 hb7、 hb8および hb9は無効ブロックとは判断されない。これは、水平方向ブロック n値化加算データピーク値が最大値であるブロックに対して、相対的には信頼性が低いとは言えないからである。

[0326] なお、上記においては、有効 Z無効の判定条件を、所定値 Aを 12とし、所定値 Bを 7とする例を示した力これに限定されるものではなぐ画像の垂直方向画素数に依存し、例えば垂直方向画素数力 80画素である場合には、所定値 Aは 10程度の値に設定し、所定値 Bはその半分前後の値に設定すれば良、。

[0327] く第 3の閾値交差点の個数を用いる場合〉

図 35は、第 3の閾値交差点の個数を用いて各垂直方向ブロックの有効 Z無効を判定する方法を説明する図である。

[0328] 図 35においては、図 13の (a)に示した 640画素 X 480画素の画像データを例に採り、水平方向に 64画素の幅 (分割幅)を有した 10個の水平方向ブロック hbO〜hb9に分割した場合を示している。

[0329] また、図 35においては、第 3の閾値交差点探索部 48 (図 20)から出力される第 3の閾値交差点の個数を、各ブロックごとに 16進数表記で示して、る。

[0330] 第 3の閾値交差点探索部 48では、第 2の水平方向ブロック射影ラインメモリ 46に保存される前フレームに係る第 2の水平方向ブロック射影データの波形と、第 2の水平方向ブロック射影データ最大値保存部 45で算出された第 3の閾値とが交差する第 3 の閾値交差点の情報を出力するが、当該情報には第 3の閾値交差点の個数についての情報も含まれており、図 35に示すように、各水平方向ブロック hbO〜hb9ごとに第 3の閾値交差点の個数が得られる。

[0331] 図 36は、水平方向ブロックの有効 Z無効の判定を模式的に示す図である。

図 36においては、横軸を各水平方向ブロック hbO〜hb9における第 3の閾値交差点の個数の最大値とし、縦軸を第 3の閾値交差点の個数としたグラフを表しており、垂直方向動きベクトル決定部 510 (図 20)では、各水平方向ブロック hbO〜hb9における第 3の閾値交差点の個数が、所定値 D (例えば、 10進数表記で 3)以下のブロックについては、第 3の閾値交差点の個数の最大値に関わりなく無効ブロックと判断する。図 35の例では、水平方向ブロック hbOおよび hb9が無効ブロックと判断される。

[0332] 無効ブロックと判断される水平方向ブロックについては、画像全体の垂直方向動きベクトルの決定には使用しないことで、垂直方向動きベクトルの信頼性を高めることができる。

[0333] 一方で、第 3の閾値交差点の個数は少なくとも垂直方向の画素数以下であり、垂直方向の画素数と比較して余りにも個数が多い場合は非常に周期的な絵柄を捉えていると言えるので、例えば、所定値 E以上 (例えば、垂直方向画素数の半分以上）となっているような場合には、そのブロックを無効ブロックと判断するように構成しても良い。例えば、図 35の水平方向ブロック hb4では、第 3の閾値交差点の個数が 241であり、垂直方向画素数の半分以上あるので、無効ブロックと判断される。

[0334] また、図 37に示すように、第 3の閾値交差点の個数の最大値が所定値 C ( >D)以上である場合にのみ、所定値 D以下のブロックについては無効ブロックと判断するように構成しても良い。この場合、第 3の閾値交差点の個数の最大値が所定値じよりも小さい場合には、所定値 D以下のブロックが存在しても、当該ブロックについては無効ブロックとは判断されず、無効ブロックの判定基準をより細力べ設定できる。

[0335] なお、上記にぉ、ては、有効 Z無効の判定条件を、所定値 Dを 3とし、所定値 Eを垂直方向画素数の半分とする例を示したが、これに限定されるものではない。

[0336] 以上説明した第 1の水平方向ブロック射影データ最大値を用、て各水平方向プロックの有効 Z無効を判定する方法、水平方向ブロック n値化加算データピーク値を用いて各水平方向ブロックの有効 Z無効を判定する方法および第 3の閾値交差点の情報を用いて各水平方向ブロックの有効 Z無効を判定する方法を用いることで無効ブロックを判定し、無効ブロックとされた水平方向ブロック力算出された垂直方向動きベクトルは、画像全体の垂直方向動きベクトルを決定する際には使用しないようにすることで、動きベクトルの信頼性を高めることができる。

[0337] また、以上説明した 3つの判定方法は、単独で用いても良!、が組み合わせて用いても良い。

[0338] 例えば、第 1の水平方向ブロック射影データ最大値を用いて有効 Z無効を判定するとともに、水平方向ブロック n値化加算データピーク値を用、て各水平方向ブロックの有効 Z無効を判定しても良いし、第 1の水平方向ブロック射影データ最大値を用いて有効 Z無効を判定するとともに、第 3の閾値交差点の情報を用いて各水平方向ブロックの有効 Z無効を判定しても良！、。

[0339] このような組み合わせにより、無効ブロックを確実に選択することができ、動きべタトルの信頼性をさらに高めることができる。

[0340] <垂直方向動きベクトルの決定方法 >

垂直方向動きベクトル決定部 510では、上記のように水平方向ブロックの有効 Z無効を判定し、有効ブロックと判定された水平方向ブロックについて、その垂直方向動きベクトル力も画像全体の垂直方向動きベクトルを決定する。

[0341] このとき、同じ垂直方向動きベクトルを有する水平方向ブロックを集め、ヒストグラムを作成する。

[0342] 以下、図 38および図 39を用いて、画像全体の垂直方向動きベクトルの決定方法の一例について説明する。

[0343] 図 38および図 39においては、水平方向動きベクトルの検出範囲を Uないし Uとする場合を示しており、ここでは、一例として Uが 31の場合を示しており、 31から 3 1まで 1ベクトル間隔で表示されている。なお、各ベクトルに対応して設けたボックス内に表示された数字は、同じベクトルを有する水平方向ブロックの個数を表して、る。

[0344] 図 38に示すように、各水平方向ブロックについて算出された垂直方向動きベクトルのうち、垂直方向動きベクトル 3および垂直方向動きベクトル 2については 2つの水平方向ブロックで算出されている力 S、他の水平方向ブロックでは全てバラバラの垂直方向動きベクトルとなっており、その分布範囲の最小値は 26、最大値は 8となっており、その差 34となって動きベクトル検出範囲に対して非常にバラツキがあると言える。なお、図 38においては、現フレームの各水平方向ブロックから得られた垂直方向動きベクトルに対応するブロックに砂地のハッチングを付している。

[0345] 垂直方向動きベクトル決定部 510では、各水平方向ブロックから得られた垂直方向動きベクトルの最大値と最小値の差が予め定めた閾値 B (例えば、上述した U)以上のとき、各水平方向ブロック力も得られる垂直方向動きベクトルは信頼性が低いとして、垂直方向動きベクトルを 0とする。

[0346] このような処理を行うことで、画像全体の水平方向動きベクトルの信頼性を高めることがでさる。

[0347] 一方、垂直方向動きベクトル 3および垂直方向動きベクトル 2を有する水平方向ブロックの個数が予め定めた数値 A (例えば 3)以上である場合には、各水平方向ブロック力得られる垂直方向動きベクトルは十分信頼できると判断する。

[0348] 同様に、各水平方向ブロックから得られた垂直方向動きベクトルの最大値と最小値の差が閾値 Bより小さい場合にも、各水平方向ブロック力得られた垂直方向動きべタトルは十分信頼できると判断する。

[0349] なお、数値 A、閾値 Bは上述した値に限るものではな、。また、ノラツキの判断も上述した垂直方向動きベクトルの最大値と最小値の差で判断することに限定されず、標準偏差を用いて、例えば、標準偏差が閾値 B以上のとき、バラツキが大きいと判断しても良い。

[0350] 上述した処理の結果、各水平方向ブロック力得られた垂直方向動きベクトルが十分信頼できると判断できた場合、次の手順で現フレームの垂直方向動きべ外ルを算出する。

[0351] その概要は、現フレームの各水平方向ブロックから出力された垂直方向動きべタトルのうち、前フレームの垂直方向動きベクトルに最も近、垂直方向動きベクトルを現フレームの垂直方向動きベクトルとするものである。

[0352] 図 39においては、各水平方向ブロック力得られた垂直方向動きベクトルの分布範囲の最大値と最小値の差が 9である場合を示しており、閾値 B (例えば U= 31)よりも小さいため、垂直方向動きベクトル決定部 510では、各水平方向ブロックから算出された垂直方向動きベクトルは信頼性があるものと判断する。

[0353] ここで、図 39においては垂直方向動きベクトル 8が前フレームの垂直方向動きべクトルであり、これに最も近い現フレームの各水平方向ブロックから得られた垂直方向動きベクトルは、垂直方向動きベクトル 6である。従って、垂直方向動きベクトル 6が現フレームの垂直方向動きベクトルと決定される。なお、図 39においては、現フレームの各水平方向ブロック力得られた垂直方向動きベクトルに対応するブロックに砂地のハッチングを付し、前フレームの垂直方向動きベクトルに対応するブロックに斜線のハッチングを付して、る。

[0354] ここで、複数の水平方向ブロックの出力結果が同じ垂直方向動きベクトルとなった場合、すなわち、ある垂直方向動きベクトルの個数が 2以上となった場合、個数 1の垂直方向動きベクトルは信頼性が低、ものとして除外し、その上で前フレームの垂直方向動きベクトルに最も近い垂直方向動きベクトルを求め、その垂直方向動きべタトルを現フレームの垂直方向動きベクトルとしても良い。

[0355] この方法を採る場合、図 39の例では、垂直方向動きベクトル 5が現フレームの水平方向動きベクトルとなる。

[0356] なお、前フレームの垂直方向動きベクトルに最も近い垂直方向動きベクトルが 2つ存在する場合には、その平均、つまり、前フレームの垂直方向動きベクトルそのものを現フレームの垂直方向動きベクトルとすれば良!、。

[0357] ここで、前フレームの垂直方向動きベクトルの情報は、垂直方向動きベクトル決定部 510内に設けられた所定の記憶部（前フレーム垂直方向動きベクトル保存手段）に保存しておき、必要に応じて読み出すように構成されて、る。

[0358] 以上説明したように、水平方向ブロックの有効 Z無効の判定動作により信頼性の低 V、水平方向ブロックを除外した上で、信頼性の高!、水平方向ブロックに基づ!/、て算出される垂直方向動きベクトルについてバラツキを考慮して画像全体の垂直方向動きベクトルの信頼性を評価し、信頼できると判断した場合にも、前フレームの垂直方向動きベクトルを考慮することで、前フレームからの動きを加味した違和感の少なヽ垂直方向動きベクトルを決定することができる。

[0359] <効果 > 以上に説明したように、実施の形態 3に係る動きベクトル検出装置 IBの水平方向動きベクトル検出部 2Bにおいては、水平方向動きベクトル決定部 320において、第 1 の垂直方向ブロック射影データ最大値保存部 24から出力される第 1の垂直方向プロック射影データ最大値、垂直方向ブロック水平方向動きベクトル算出部 310から出力される垂直方向ブロック n値化加算データピーク値、第 1の閾値交差点探索部 29から出力される第 1の閾値交差点の情報に基づいて、垂直方向ブロックの有効 Z無効の判断を行うため、信頼性の低い垂直方向ブロック力得られた水平方向動きベクトルを除外することができ、結果的に、信頼性の高い水平方向動きベクトルを算出することがでさる。

[0360] また、信頼性の高い垂直方向ブロックに基づいて算出される水平方向動きベクトルについてバラツキを考慮して画像全体の水平方向動きベクトルの信頼性を評価し、信頼できると判断した場合にも、前フレームの水平方向動きベクトルを考慮することで、前フレーム力の動きをカ卩味した違和感の少な、水平方向動きベクトルを決定することができる。

[0361] また、垂直方向動きベクトル検出部 4Bにおいては、垂直方向動きベクトル決定部 5 10において、第 1の水平方向ブロック射影データ最大値保存部 45から出力される第 1の水平方向ブロック射影データ最大値、水平方向ブロック垂直方向動きベクトル算出部 500から出力される水平方向ブロック n値化加算データピーク値、第 3の閾値交差点探索部 48から出力される第 3の閾値交差点の情報に基づいて、水平方向ブロックの有効 Z無効の判断を行うため、信頼性の低、水平方向ブロック力得られた垂直方向動きベクトルを除外することができ、結果的に、信頼性の高い垂直方向動きべタトルを算出することができる。

[0362] また、信頼性の高い水平方向ブロックに基づいて算出される垂直方向動きベクトルについてバラツキを考慮して画像全体の垂直方向動きベクトルの信頼性を評価し、信頼できると判断した場合にも、前フレームの垂直方向動きベクトルを考慮することで、前フレーム力の動きをカ卩味した違和感の少な、垂直方向動きベクトルを決定することができる。

[0363] また、動きベクトル検出装置 1Bでは、垂直方向画像分割部 21でフレーム画像を垂直方向に分割した後に、各分割画像 (垂直方向ブロック)につ、て垂直方向のエッジを強調するため、垂直方向のエッジが強調された分割画像を簡易に生成できる。同様に、水平方向画像分割部 41でフレーム画像を水平方向に分割した後に、各分割画像 (水平方向ブロック)について水平方向のエッジを強調するため、水平方向のエツジが強調された分割画像を簡易に生成できる。

[0364] 実施の形態 4.

<動きベクトル検出装置の構成 >

図 1に示すように、本発明の実施の形態 4に係る動きベクトル検出装置 1Cについては、実施の形態 1の動きベクトル検出装置 1と類似の構成を有している力水平方向動きベクトル検出部と垂直方向動きベクトル検出部との構成が異なっている。

[0365] 以下、動きベクトル検出装置 1Cにおける水平方向動きベクトル検出部 2Cおよび垂直方向動きベクトル検出部 4Cの構成について図 40および図 41を参照して説明する。図 40は、水平方向動きベクトル検出部 2Cの要部構成を示すブロック図である。なお、図 40では、実施の形態 3で説明した水平方向動きベクトル検出部 2Bと同様の機能を有する部位には同一の符号を付し、重複する説明は省略する。

[0366] 水平方向動きベクトル検出部 2Cのエッジ強調手段では、実施の形態 3の水平方向動きベクトル検出部 2Bのエッジ強調手段に対して垂直方向画像分割部 21と垂直方向エッジ抽出フィルタリング部 22との配置が逆転している。以下では、この水平方向動きベクトル検出部 2Cの動作について説明する。

[0367] 図 2に示すように水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像が、水平方向動きベクトル検出部 2Cの入力端子 20に入力されると、垂直方向エッジ抽出フィルタリング部 22にお、て垂直方向に延びるエッジ成分の抽出、換言すれば水平方向に急峻に変化する画像部分を強調するようなフィルタリング処理が施される。

[0368] 垂直方向エッジ抽出フィルタリング部 22で垂直方向のエッジが強調されたフレーム画像が垂直方向画像分割部 21に入力されると、垂直方向にブロック分割される。すなわち、垂直方向画像分割部 21では、エッジ強調が施されたフレーム画像を垂直方向に分割して得られる複数の画像領域 (垂直方向ブロック)が設定される。これ〖こより、以降の処理では、垂直方向ブロックごとに処理および管理が行われることとなる。

[0369] 垂直方向画像分割部 21で分割された画像データは、垂直方向ブロック射影部 23 に入力される力この垂直方向ブロック射影部 23以降の処理は、実施の形態 3の水平方向動きベクトル検出部 2Bと同様の処理が行われる。

[0370] 図 41は、垂直方向動きベクトル検出部 4Cの要部構成を示すブロック図である。なお、図 41では、実施の形態 3で説明した垂直方向動きベクトル検出部 4Bと同様の機能を有する部位には同一の符号を付し、重複する説明は省略する。

[0371] 垂直方向動きベクトル検出部 4Cのエッジ強調手段では、実施の形態 3の垂直方向動きベクトル検出部 4Bのエッジ強調手段に対して水平方向画像分割部 41と水平方向エッジ抽出フィルタリング部 42との配置が逆転している。以下では、この垂直方向動きベクトル検出部 4Cの動作について説明する。

[0372] 図 2に示すように水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像が、垂直方向動きベクトル検出部 4Cの入力端子 40に入力されると、水平方向エッジ抽出フィルタリング部 42において水平方向に延びるエッジ成分の抽出、換言すれば垂直方向に急峻に変化する画像部分を強調するようなフィルタリング処理が施される。

[0373] 水平方向エッジ抽出フィルタリング部 42で水平方向のエッジが強調されたフレーム画像が水平方向画像分割部 41に入力されると、水平方向にブロック分割される。すなわち、水平方向画像分割部 41では、エッジ強調が施されたフレーム画像を水平方向に分割して得られる複数の画像領域 (水平方向ブロック)が設定される。これ〖こより、以降の処理では、水平方向ブロックごとに処理および管理が行われることとなる。

[0374] 水平方向画像分割部 41で分割された画像データは、水平方向ブロック射影部 43 に入力される力この水平方向ブロック射影部 43以降の処理は、実施の形態 3の垂直方向動きベクトル検出部 4Bと同様の処理が行われる。

[0375] 以上の動きベクトル検出装置 1Cの動作により、実施の形態 3と同様の効果を奏する

[0376] そして、動きベクトル検出装置 1Cでは、垂直方向エッジ抽出フィルタリング部 22でフレーム画像に対する垂直方向のエッジを強調した後に、エッジ強調されたフレーム画像を垂直方向画像分割部 21におヽて垂直方向に分割するため、垂直方向のエツジが強調された分割画像を簡易に生成できる。

[0377] 同様に、水平方向エッジ抽出フィルタリング部 42でフレーム画像に対する水平方向のエッジを強調した後に、エッジ強調されたフレーム画像を水平方向画像分割部 41 において水平方向に分割するため、水平方向のエッジが強調された分割画像を簡易に生成できる。

[0378] なお、動きベクトル検出装置 1Cにおいては、垂直方向エッジ抽出フィルタリング部 22と水平方向エッジ抽出フィルタリング部 42とを別々に水平方向動きベクトル検出部 2Aおよび垂直方向動きベクトル検出部 4Aに配置するのは必須でなぐ垂直方向エッジ抽出フィルタリング部 22および水平方向エッジ抽出フィルタリング部 42の双方の機能を一体ィ匕した水平 Z垂直方向エッジ抽出フィルタリング部を設けて、その出力を垂直方向画像分割部 21および水平方向画像分割部 41それぞれに入力させるようにしても良い。

[0379] <変形例>

上記の各実施の形態における垂直方向エッジ抽出フィルタリング部および水平方向エッジ抽出フィルタリング部については、エッジ抽出を行うフィルタリング処理後に、所定の閾値との大小関係を判別する閾値処理により例えば「エッジあり」「エッジなし」の 2値化や、「正のエッジあり」「エッジなし」「負のエッジあり」の 3値化を行うようにしても良い。このような閾値処理を行うことにより、所定の閾値以上の輝度変化 (輝度勾配) を有するエッジを同一に扱うことが可能となる。

[0380] 上記の各実施の形態においては、ビット数削減部 25から出力されるデータを、例えばフレームごとのスィッチ切替えによって第 1の垂直方向ブロック射影ラインメモリ 26 と第 2の垂直方向ブロック射影ラインメモリ 27とに交互に入力させるようにしても良い。

[0381] また、水平方向ブロック射影部 43から出力されるデータを、例えばフレームごとのスイッチ切替えによって第 1の水平方向ブロック射影ラインメモリ 44と第 2の水平方向ブロック射影ラインメモリ 46とに交互に入力させるようにしても良い。

[0382] 同様に、垂直 (水平)方向ブロック射影部から出力されるデータを、例えばフレームごとのスィッチ切替えによって第 1の垂直 (水平)方向ブロック射影データ最大値保存部と第 2の垂直 (水平)方向ブロック射影データ最大値保存部とに交互に入力させるようにしても良い。

[0383] 本発明における「前フレーム」には、後フレーム (例えば現在のフレーム)に対して 1 つだけ前のフレームに限らず、 2つ以上前のフレームも含まれる。例えば、フレーム間引き処理により途中のフレームがスキップされている場合には、スキップされたフレームの前のフレームが含まれる。

[0384] この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例力この発明の範囲力外れることなく想定され得るものと解される。

Claims

請求の範囲

[1] 時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルを検出する動きベクトル検出装置であって、

水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像に関して、垂直方向に一定の分割幅を有して複数に分割されたブロックごとに垂直方向のエッジを強調するエッジ強調手段（21, 22)と、

前記エッジ強調手段（21, 22)でエッジが強調された画像について、前記ブロックごとに垂直方向に射影をとり、前記ブロックのそれぞれで 1水平ライン分のデータ配列を有する射影データを生成する射影手段 (23)と、

前記前フレームに対して前記射影手段（23)で得られた射影データに関して前記データ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定する特定手段 (2 9)と、

前記各交差点の配列要素の位置を中心とした所定範囲のデータ配列を、前記後フレームに対して前記射影手段で得られた射影データ力抽出する抽出手段 (30)と、前記抽出手段（30)で抽出された所定範囲のデータ配列それぞれについて、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算する加算手段 (31)と、

前記加算手段（31)で加算された加算結果に基づき、フレーム画像の水平方向に関する動きベクトルを検出する検出手段（32)と、を備える動きベクトル検出装置。

[2] 請求項 1記載の動きベクトル検出装置において、

前記射影データの配列要素にぉ、て最大値を求める最大値取得手段（24)と、前記最大値取得手段で求められた最大値に基づき前記射影データに関する各配列要素のデータ長を削減する削減手段 (25)と、

前記後フレームにつ、て前記削減手段（25)でデータ長が削減された射影データを記憶する記憶手段（26)と、をさらに備え、

前記特定手段（29)は、

前記前フレームにつ、て前記削減手段（25)でデータ長が削減された射影データに関して前記データ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定する位置特定手段、を有するとともに、

前記抽出手段（30)は、

前記位置特定手段で特定された各交差点の配列要素の位置を中心とした所定範囲のデータ配列を、前記記憶手段（26)に記憶されるデータ長が削減された後フレームの射影データ力も抽出する手段を有する、動きベクトル検出装置。

[3] 請求項 1記載の動きベクトル検出装置において、

前記加算手段 (31)は、

前記抽出手段（30)で抽出された所定範囲のデータ配列に関する各配列要素のデ一タ長を圧縮する圧縮手段 (314)と、

前記圧縮手段によりデータ長が圧縮された所定範囲のデータ配列それぞれについて、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算する手段 (315)を有する、動きベクトル検出装置。

[4] 請求項 3記載の動きベクトル検出装置において、

前記圧縮手段（314)は、

前記抽出手段で抽出された所定範囲のデータ配列に関する各配列要素の値を 3 値化処理し、

前記 3値化処理では、前記後フレームの射影データにおける配列要素の最大値に基づき設定される閾値 Th(Th>0)に関して、前記抽出手段（30)で抽出された射影データに関する配列要素の値力（一 Th)より小さい場合、（― Th)以上で Th以下の場合、および Thより大きい場合の 3段階による 3値ィ匕が行われる、動きベクトル検出装置。

[5] 時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルを検出する動きベクトル検出装置であって、

水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像に関して、水平方向に一定の分割幅を有して複数のブロックに分割されたブロックごとに水平方向のエッジを強調するエッジ強調手段 (42)と、前記エッジ強調手段でエッジが強調された画像にっ、て、前記ブロックごとに水平方向に射影をとり、前記ブロックのそれぞれで 1垂直ライン分のデータ配列を有する射影データを生成する射影手段 (43)と、

前記前フレームに対して前記射影手段 (43)で得られた射影データに関して前記データ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定する特定手段 (4 8)と、

前記各交差点の配列要素の位置を中心とした所定範囲のデータ配列を、前記後フレームに対して前記射影手段で得られた射影データ力抽出する抽出手段 (49)と、前記抽出手段 (49)で抽出された所定範囲のデータ配列それぞれにつ、て、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算する加算手段 (50)と、

前記加算手段（50)で加算された加算結果に基づき、フレーム画像の垂直方向に関する動きベクトルを検出する検出手段（51)と、を備える、動きベクトル検出装置。

[6] 請求項 5記載の動きベクトル検出装置において、

前記加算手段（50)は、

前記抽出手段 (49)で抽出された所定範囲のデータ配列に関する各配列要素のデ一タ長を圧縮する圧縮手段 (504)と、

前記圧縮手段によりデータ長が圧縮された所定範囲のデータ配列それぞれについて、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算する手段 (505)を有する、動きベクトル検出装置。

[7] 請求項 6記載の動きベクトル検出装置において、

前記圧縮手段（504)は、

前記 3値化処理では、前記前フレームの射影データにおける配列要素の最大値に基づき設定される閾値 Th(Th>0)に関して、前記抽出手段で抽出された射影データに関する配列要素の値が、（一 Th)より小さい場合、（― Th)以上で Th以下の場合、および Thより大きい場合の 3段階による 3値ィ匕が行われる、動きベクトル検出装置。

[8] 請求項 1または請求項 5に記載の動きベクトル検出装置において、

前記前フレームに関する射影データの配列要素における最大値を求める、最大値特定手段 (28, 47)を備える、動きベクトル検出装置。

[9] 時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルを検出する動きベクトル検出装置であって、

水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像に関して、垂直方向に一定の分割幅を有して複数のブロックに分割されたブロックごとに垂直方向のエッジを強調するエッジ強調手段（21, 22)と、

前記後フレームに対して前記射影手段（23)で得られた後フレーム射影データの配列要素において最大値を求める最大値取得手段（24)と、

前記前フレームに対して前記射影手段（23)で得られた前フレーム射影データに関して前記データ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定して交差点情報として出力する特定手段 (29)と、

前記各交差点の配列要素の位置を中心とした所定範囲のデータ配列を、前記後フレーム射影データ力抽出する抽出手段（30)と、

前記抽出手段（30)で抽出された所定範囲のデータ配列それぞれについて、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算し、得られた加算結果に基づいて前記ブロックごとの水平方向動きベクトルを算出する加算手段 (310)と、

前記加算手段（310)で算出された前記ブロックごとの水平方向動きベクトルに基づき、フレーム画像全体の水平方向動きベクトルを検出する検出手段（320)と、を備え前記検出手段（320)は、前記最大値取得手段（24)で得られた前記後フレーム射影データの前記最大値、前記加算手段 (310)で得られた前記加算結果および前記特定手段 (29)で得られた前記交差点情報のうち少なくとも 1つを用いて前記ブロックごとの水平方向動きべタトルの信頼性評価を行う、動きベクトル検出装置。

[10] 請求項 9記載の動きベクトル検出装置において、

前記検出手段（320)は、

前記後フレーム射影データの前記最大値を用いて前記ブロックごとの水平方向動きベクトルの信頼性評価を行う場合、

前記複数のブロックのそれぞれにお、て得られた、前記後フレーム射影データの前記最大値の中力全ブロック中の最大値を求め、該全ブロック中の最大値に対して、予め定めた比率以下の前記最大値を有する前記ブロックについては無効ブロックとし、該無効ブロック力も算出された前記ブロックごとの水平方向動きベクトルは、前記フレーム画像全体の水平方向動きベクトルの検出には使用しない、動きベクトル検出装置。

[11] 請求項 9記載の動きベクトル検出装置において、

前記検出手段（320)は、

前記加算結果を用いて前記ブロックごとの水平方向動きベクトルの信頼性評価を行う場合、

前記複数のブロックのそれぞれにおいて得られた前記加算結果のピーク値の中から最大ピーク値を求め、該最大ピーク値が予め定めた第 1の所定値以上である場合は、予め定めた第 2の所定値以下の前記最大値を有する前記ブロックについては無効ブロックとし、該無効ブロック力も算出された前記ブロックごとの水平方向動きべタトルは、前記フレーム画像全体の水平方向動きベクトルの検出には使用しない、動きベクトル検出装置。

[12] 請求項 9記載の動きベクトル検出装置において、

前記検出手段（320)は、

前記交差点情報を用いて前記ブロックごとの水平方向動きベクトルの信頼性評価を行う場合、前記交差点情報のうち交差点数の情報を使用し、前記複数のブロックのそれぞれにおいて得られた前記交差点数のうち、予め定めた第 1の所定値以下および予め定めた第 2の所定値以上の前記交差点数を有する前記ブロックについては無効ブロックとし、該無効ブロック力も算出された前記ブロックごとの水平方向動きベクトルは、前記フレーム画像全体の水平方向動きベクトルの検出には使用しない、動きベクトル検出装置。

[13] 請求項 9記載の動きベクトル検出装置において、

前記検出手段（320)は、

前記交差点情報を用いて前記ブロックごとの水平方向動きベクトルの信頼性評価を行う場合、前記交差点情報のうち交差点数の情報を使用し、

前記複数のブロックのそれぞれにおいて得られた前記交差点数の中から最大値を求め、該最大値が予め定めた第 1の所定値以上である場合は、予め定めた第 2の所定値以下および予め定めた第 3の所定値以上の前記交差点数を有する前記ブロックについては無効ブロックとし、該無効ブロック力算出された前記ブロックごとの水平方向動きベクトルは、前記フレーム画像全体の水平方向動きベクトルの検出には使用しない、動きベクトル検出装置。

[14] 請求項 10ないし請求項 13の何れかに記載の動きベクトル検出装置において、前記検出手段（320)は、

前記ブロックごとの水平方向動きベクトルの信頼性評価によって有効ブロックと判断された前記ブロック力算出された前記ブロックごとの水平方向動きベクトルについて分布範囲を求め、該分布範囲が予め定めた閾値以上の場合は、前記フレーム画像全体の水平方向動きベクトルをゼロとする、動きベクトル検出装置。

[15] 請求項 14記載の動きベクトル検出装置において、

前記検出手段（320)は、

前記前フレームの前記フレーム画像全体の水平方向動きベクトルを保存する前フレーム水平方向動きベクトル保存手段を有し、

前記有効ブロックと判断された前記ブロック力算出された前記ブロックごとの水平方向動きベクトルのうち、前記前フレームの前記フレーム画像全体の水平方向動きベクトルに最も近いものを、前記後フレームの前記フレーム画像全体の水平方向動きベクトルとする、動きベクトル検出装置。

時系列的に前後の関係となる前フレームと後フレームとに関するフレーム画像間の動きベクトルを検出する動きベクトル検出装置であって、

水平ラインの画素走査を垂直方向に順に繰り返すことによって読み出されるフレーム画像に関して、水平方向に一定の分割幅を有して複数のブロックに分割されたブロックごとに水平方向のエッジを強調するエッジ強調手段 (42)と、

前記エッジ強調手段 (42)でエッジが強調された画像にっ、て、前記ブロックごとに水平方向に射影をとり、前記ブロックのそれぞれで 1垂直ライン分のデータ配列を有する射影データを生成する射影手段 (43)と、

前記後フレームに対して前記射影手段 (43)で得られた後フレーム射影データの配列要素において最大値を求める最大値取得手段 (45)と、

前記前フレームに対して前記射影手段 (43)で得られた前フレーム射影データに関して前記データ配列の要素順に配列要素の値をグラフ化した波形と、配列要素の値が所定の一定値となる直線とが交差する各交差点の配列要素の位置を特定して交差点情報として出力する特定手段 (48)と、

前記各交差点の配列要素の位置を中心とした所定範囲のデータ配列を、前記後フレーム射影データ力抽出する抽出手段 (49)と、

前記抽出手段 (49)で抽出された所定範囲のデータ配列それぞれにつ、て、前記各交差点の配列要素の位置に対して相対位置が同じ配列要素同士の値を加算し、得られた加算結果に基づいて前記ブロックごとの垂直方向動きベクトルを算出する加算手段 (500)と、

前記加算手段（500)で算出された前記ブロックごとの垂直方向動きベクトルに基づき、フレーム画像全体の垂直方向動きベクトルを検出する検出手段（510)と、を備え前記検出手段（510)は、

前記最大値取得手段 (45)で得られた前記後フレーム射影データの前記最大値、前記加算手段 (500)で得られた前記加算結果および前記特定手段 (48)で得られた前記交差点情報のうち少なくとも 1つを用いて前記ブロックごとの垂直方向動きべタトルの信頼性評価を行う、動きベクトル検出装置。

[17] 請求項 16記載の動きベクトル検出装置において、

前記検出手段（510)は、

前記後フレーム射影データの前記最大値を用いて前記ブロックごとの垂直方向動きベクトルの信頼性評価を行う場合、

前記複数のブロックのそれぞれにお、て得られた、前記後フレーム射影データの前記最大値の中力全ブロック中の最大値を求め、該全ブロック中の最大値に対して、予め定めた比率以下の前記最大値を有する前記ブロックについては無効ブロックとし、該無効ブロック力算出された前記ブロックごとの垂直方向動きベクトルは、前記フレーム画像全体の垂直方向動きベクトルの検出には使用しない、動きベクトル検出装置。

[18] 請求項 16記載の動きベクトル検出装置において、

前記検出手段（510)は、

前記加算結果を用いて前記ブロックごとの垂直方向動きベクトルの信頼性評価を行う場合、

[19] 請求項 16記載の動きベクトル検出装置において、

前記検出手段（510)は、

前記交差点情報を用いて前記ブロックごとの垂直方向動きベクトルの信頼性評価を行う場合、前記交差点情報のうち交差点数の情報を使用し、

前記複数のブロックのそれぞれにおいて得られた前記交差点数のうち、予め定めた第 1の所定値以下および予め定めた第 2の所定値以上の前記交差点数を有する前記ブロックについては無効ブロックとし、該無効ブロック力も算出された前記ブロックごとの垂直方向動きベクトルは、前記フレーム画像全体の垂直方向動きベクトルの検出には使用しない、動きベクトル検出装置。

[20] 請求項 16記載の動きベクトル検出装置において、

前記検出手段（510)は、

前記複数のブロックのそれぞれにおいて得られた前記交差点数の中から最大値を求め、該最大値が予め定めた第 1の所定値以上である場合は、予め定めた第 2の所定値以下および予め定めた第 3の所定値以上の前記交差点数を有する前記ブロックについては無効ブロックとし、該無効ブロック力算出された前記ブロックごとの垂直方向動きベクトルは、前記フレーム画像全体の垂直方向動きベクトルの検出には使用しない、動きベクトル検出装置。

[21] 請求項 17ないし請求項 20の何れかに記載の動きベクトル検出装置において、前記検出手段（510)は、

前記ブロックごとの垂直方向動きベクトルの信頼性評価によって有効ブロックと判断された前記ブロック力算出された前記ブロックごとの垂直方向動きベクトルについて分布範囲を求め、該分布範囲が予め定めた閾値以上の場合は、前記フレーム画像全体の垂直方向動きベクトルをゼロとする、動きベクトル検出装置。

[22] 請求項 21記載の動きベクトル検出装置において、

前記検出手段は、

前記前フレームの前記フレーム画像全体の垂直方向動きベクトルを保存する前フレーム垂直方向動きベクトル保存手段を有し、

前記有効ブロックと判断された前記ブロックから算出された前記ブロックごとの垂直方向動きベクトルのうち、前記前フレームの前記フレーム画像全体の垂直方向動きベクトルに最も近いものを、前記後フレームの前記フレーム画像全体の垂直方向動きベクトルとする、動きベクトル検出装置。

[23] 請求項 1または請求項 9記載の動きベクトル検出装置において、

前記エッジ強調手段（21、 22)は、前記フレーム画像を垂直方向に分割して得られる複数の画像領域のそれぞれを、前記ブロックとして設定する画像分割手段 (21)と、

前記複数のブロックのそれぞれにつ、て垂直方向のエッジを強調する強調手段（2 2)と、を有する、動きべ外ル検出装置。

[24] 請求項 1または請求項 9記載の動きベクトル検出装置において、

前記エッジ強調手段（21、 22)は、

前記フレーム画像について垂直方向のエッジを強調する強調手段（22)と、前記強調手段（22)でエッジが強調された前記フレーム画像を垂直方向に分割して得られる複数の画像領域のそれぞれを、前記ブロックとして設定する画像分割手段 (21)と、を有する、動きべ外ル検出装置。

[25] 請求項 5または請求項 16に記載の動きベクトル検出装置において、

前記エッジ強調手段 (41, 42)は、

前記フレーム画像を水平方向に分割して得られる複数の画像領域のそれぞれを、前記ブロックとして設定する画像分割手段 (41)と、

前記複数のブロックのそれぞれにつ、て水平方向のエッジを強調する強調手段 (4 2)と、を有する、動きべ外ル検出装置。

[26] 請求項 5または請求項 16に記載の動きベクトル検出装置において、

前記エッジ強調手段 (41, 42)は、

前記フレーム画像について水平方向のエッジを強調する強調手段 (42)と、前記強調手段 (42)でエッジが強調された前記フレーム画像を水平方向に分割して得られる複数の画像領域のそれぞれを、前記ブロックとして設定する画像分割手段 (41)とを、有する動きべ外ル検出装置。