JP3908792B2 - 画像照合方法および装置 - Google Patents
画像照合方法および装置 Download PDFInfo
- Publication number
- JP3908792B2 JP3908792B2 JP03317494A JP3317494A JP3908792B2 JP 3908792 B2 JP3908792 B2 JP 3908792B2 JP 03317494 A JP03317494 A JP 03317494A JP 3317494 A JP3317494 A JP 3317494A JP 3908792 B2 JP3908792 B2 JP 3908792B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- block
- range
- pixel data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、一般的には、二つのディジタル画像の部分的照合をとるための方法および装置、より具体的には、ブロックマッチング法により画像の動きの方向および量を表す動きベクトルを検出する場合に適用可能な画像照合方法および装置に関する。
【０００２】
【従来の技術】
動きベクトルの一つの利用分野は、ディジタル画像データの予測符号化における動き補償である。一例として、動画の高能率符号化の国際的標準方式である、ＭＰＥＧ(Moving Picture Coding Experts Group) 方式が提案されている。このＭＰＥＧ方式は、ＤＣＴ(Discrete Cosine Transform) と動き補償予測符号化とを組み合わせたものである。
【０００３】
図２０は、動き補償予測符号化装置の一例を示す。図２０において、入力端子６１からのディジタルビデオデータが動きベクトル検出回路６２および減算回路６３に供給される。動きベクトル検出回路６２では、現フレームと参照フレーム（例えば時間的に前フレーム）との間の動きベクトルが検出される。この動きベクトルが動き補償回路６４に供給される。
【０００４】
フレームメモリ６５に蓄えられている画像が動き補償回路６４において動きベクトルに基づいて動き補償された後に、減算回路６３および加算回路６６に供給される。減算回路６３では、現フレームのビデオデータと動き補償回路６４からの前フレームの復号ビデオデータとが画素毎に減算される。減算回路６３からの差分データがＤＣＴ回路６７においてＤＣＴ変換される。ＤＣＴ回路６７からの係数データが量子化回路６８により再量子化される。量子化回路６８の出力データが出力端子６９に取り出されるとともに、逆量子化回路７０に供給される。
【０００５】
逆量子化回路７０とこれに接続された逆ＤＣＴ回路７１とは、ＤＣＴ回路６７および量子化回路６８と反対の処理を行うためのローカル復号回路を構成する。逆ＤＣＴ回路７１からの復号差分データが加算回路６６に供給される。加算回路６６の出力データがフレームメモリ６５を介して動き補償回路６４に供給される。動き補償回路６４からの前フレームの復号データが加算回路６６に供給されることで、復号データが形成され、この復号データがフレームメモリ６５に蓄えられる。
【０００６】
動きベクトル検出回路６２では、ブロックマッチング法により動きベクトルが検出される。これは、参照フレームの検査ブロックを所定の探索範囲内で移動し、現フレームの基準ブロックと最も合致しているブロックを検出することにより動きベクトルを求めるものである。従って、動きベクトルは、ブロック毎に求められる。なお、画面全体あるいは１画面を１／４に分割した領域のような比較的大きい領域の動きベクトルを求める場合もある（例えば特開昭６１−１０５１７８号公報参照）。
【０００７】
ブロックマッチング法では、図２１Ａに示すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖラインの１フレームの画像が図２１Ｂに示すように、Ｐ画素×Ｑラインのブロックに細分化される。図２１Ｂの例では、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画素位置である。
【０００８】
図２２は、ｃを中心画素とする基準ブロックとｃ´を中心とする検査ブロックの位置関係を示している。ｃを中心画素とする基準ブロックは、現フレームの注目しているある基準ブロックであり、その画像と一致する参照フレームの検査ブロックが参照フレームにおいてｃ´を中心とするブロックの位置にあるものとしている。ブロックマッチング法では、探索範囲内において、基準ブロックと最も合致する検査ブロックを見出すことによって、動きベクトルを検出する。
【０００９】
図２２Ａの場合では、水平方向に−１画素、垂直方向に−１ライン、すなわち、（−１，−１）の動きベクトルが検出される。図２２Ｂでは、（−３，−３）の動きベクトルが検出され、図２２Ｃでは、（−２，＋１）の動きベクトルが検出される。動きベクトルは、現フレームの基準ブロック毎に求められる。動きベクトルの極性は、テレビジョンのラスター走査の方向と一致する方向を＋としている。
【００１０】
動きベクトルを探索する範囲を水平方向で±Ｓ画素、垂直方向で±Ｔラインとすると、基準ブロックは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔずれたところに中心ｃ´を有する検査ブロックと比較される必要がある。図２３は、現フレームのある基準ブロックの中心ｃの位置をＲとする時に、比較すべき参照フレームの（２Ｓ＋１）×（２Ｔ＋１）個の検査ブロックとの比較が必要なことを示している。すなわち、この図２３のます目の位置にｃ´が存在する検査ブロックの全てが比較対象である。図２３は、Ｓ＝４，Ｔ＝３とした例である。
【００１１】
探索範囲内の比較で得られた評価値（すなわち、フレーム差の絶対値和、このフレーム差の二乗和、あるいはフレーム差の絶対値のｎ乗和）の中で、最小値を検出することによって、動きベクトルが検出される。図２３の探索範囲は、検査ブロックの中心が位置する領域であり、検査ブロックの全体が含まれる探索範囲の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。
【００１２】
図２４は、従来の動きベクトル検出装置の一例の構成を示す。図２４において、８１が現フレームの画像データの入力端子であり、この画像データが現フレームメモリ８３に蓄えられる。８２が参照フレームの画像データの入力端子であり、この画像データが参照フレームメモリ８４に蓄えられる。
【００１３】
現フレームメモリ８３および参照フレームメモリ８４の読出し／書込みは、コントローラ８５によって制御される。現フレームメモリ８３からは、現フレームの基準ブロックの画素データが読出され、参照フレームメモリ８４からは、参照フレームの検査ブロックの画素データが読出される。参照フレームメモリ８４と関連してアドレス移動回路８６が設けられる。コントローラ８５がアドレス移動回路８６を制御する結果、検査ブロックの中心位置が１画素ステップで、探索範囲内を移動される。
【００１４】
現フレームメモリ８３の出力と参照フレームメモリ８４の出力とが差分検出回路８７に供給され、１画素毎の差分が検出される。差分検出回路８７の出力が絶対値化回路８８で絶対値に変換され、この絶対値が累算回路８９に供給される。累算回路８９が１ブロックで発生した絶対値差分を累算し、その出力が評価値として判断回路９０に供給される。判断回路９０は、探索範囲内で検査ブロックを移動させた時にそれぞれ発生する差分の絶対値和から動きベクトルを検出する。すなわち、最小の差分の絶対値和を発生する検査ブロックの位置を動きベクトルとして検出する。
【００１５】
上述の従来のブロックマッチング法は、基準ブロックと検査ブロックとの間でフレーム差分の絶対値和を求める処理を探索範囲内で行う必要がある。上述の図２１、図２２、図２３の例では、（Ｐ×Ｑ）回の絶対値差分の累算を全ての探索点、すなわち，（２Ｓ＋１）×（２Ｔ＋１）回行う必要がある。この関係から、演算量は、（Ｐ×Ｑ）×（２Ｓ＋１）×（２Ｔ＋１）で表される。従って、上述のブロックマッチング法は、ハードウエアの規模が大きく、演算量が膨大であるという問題点があった。
【００１６】
より具体的な例として、図２５に示すように、Ｐ＝１６，Ｑ＝１６、Ｓ＝２，Ｔ＝２の例を考える。このＳおよびＴの数値は、説明および図示の簡単のために、非常に小さな値としており、実際には、より大きな探索範囲が設定される。図２５では、基準ブロックと（＋２，＋２）の移動量の検査ブロックとが描かれている。この具体例では、探索範囲を水平および垂直方向に±２としており、探索点が（５×５＝２５）である。
【００１７】
そして、ブロックマッチングのための演算量について考えると、（１６×１６）回の画素間の差分を求める減算と、その絶対値を得る減算と、全ての差分の絶対値を加算する演算とを一つの探索点について必要とする。さらに、この演算を２５個の全ての探索点について行う必要がある。従って、ブロックマッチング法における演算量は、照合画素数×探索点に依存すると考えることができ、この演算量が膨大となる。従来において、基準ブロック内の画素を一つの代表点画素とし、代表点データと検査ブロック内のデータとの差分を演算するものが提案されている（例えば特開昭６２−２５５８７号公報参照）。この方式は、ハードウエアの簡略化あるいは処理時間の短縮化をある程度達成することができるが、演算量の大幅な減少を達成することができない。
【００１８】
この対策として、探索方式を簡略化する手法と、照合方式を簡略化する手法が提案されている。探索を簡略化する方法としては、探索範囲で検査ブロックを移動する時に、最初のステップとして、数画素の間隔で検査ブロックを移動させることによって、大まかな動きベクトルを検出し、次のステップで、検出された位置の付近で、１画素間隔で検査ブロックを移動させることによって、最終的に動きベクトルを求める方法（２ステップ法）が知られている。ステップ数を３とした３ステップ法も考えられる。この方法によれば、フルサーチで必要とされた、全ての探索点において必要とされた演算を各ステップで検出された動きベクトルの周辺の探索点と対応する回数へ減少させることができる。
【００１９】
さらに、照合方式および探索方式の双方を簡略化する方法として、ブロック内の画素数を間引き（サブサンプリング）により減少させるものである。例えば図２６に示すように、（１６×１６）画素のブロックを水平および垂直方向に１／４の間引きを行ない、ブロック内の画素数を１／１６に減少させる。また、探索点は、４画素毎に存在する。これによって、照合画素数および探索点を少なくできる。
【００２０】
照合方式および探索方式の双方を簡略化する他の方法として、階層構造を採用するものが提案されている。一例として、原画像（第１階層と称する）と、第１階層からローパスフィルタおよび／またはサブサンプリングによって、水平および垂直方向で画素数が１／２に間引かれた第２階層と、さらに、第２階層をローパスフィルタおよび／またはサブサンプリングによって、水平および垂直方向で１／２に間引いた第３階層とからなる階層構造を規定する。
【００２１】
そして、第３階層に関してブロックマッチングを行ない、検出された最小値の位置に原点を移動して第２階層に関してブロックマッチングを行ない、検出された最小値の位置に原点を移動して、第１階層に関してブロックマッチングを行い、最終的に１画素ステップのブロックマッチングで動きベクトルを検出する。
【００２２】
照合方式および探索方式の双方を簡略化するさらに他の方法として、基準ブロックおよび検査ブロックを水平方向および垂直方向のそれぞれの方向で小ブロックに更に分割し、小ブロック毎に特徴量を抽出するものが提案されている。すなわち、基準ブロックおよび検査ブロックの間で、水平方向小ブロックの特徴量と垂直方向小ブロック特徴量とを別個に比較し、比較結果の絶対値をそれぞれ累算し、累算結果を加重平均したものをブロック間の比較結果として用いる。小ブロックの特徴量は、例えばその小ブロック内の画素データの累算結果である。この方法は、１ブロック内の全画素数に関して必要とされた演算を水平および垂直方向の小ブロックの数に減少することができる。
【００２３】
【発明が解決しようとする課題】
ブロックマッチングの上述したような種々の改良は、演算量を減少させることはできるが、誤検出が生じる欠点を有している。これは、簡略化の結果として、原画像の有する情報量の欠落が生じるからである。
【００２４】
より具体的に述べると、ブロック内の要素数（照合画素数）を減らすようにした照合方式の簡略化においては、ブロックの画像データのディテイルが失われ、その結果、誤検出が生じる。図２７に示すように、基準ブロックと検査ブロック（簡単のため、各ブロックが１次元ブロックとする）を照合する場合を考える。基準ブロックデータを４画素毎に平均化したものは、検査ブロックデータと同じ波形となり、元の二つのデータは、異なる波形であるにもかかわらず、比較の結果、両者が合致するものと判定され、誤検出が生じる。
【００２５】
この問題の一つの解決法を本願発明者は、提案している（特願平５−２４８８１３号参照）。この方法は、基準ブロックと検査ブロックとを比較する時に、定常成分と過渡成分とをそれぞれ各ブロックから抽出し、定常成分同士、過渡成分同士を比較することによって、誤検出を防止しようとするものである。図２７の例において、過渡成分の一例として、平均値に対する差分の絶対値を求めると、基準ブロックデータと検査ブロックデータとが大きく異なったものとなる。従って、過渡成分を参照することによって、誤検出を防止することができる。
【００２６】
探索点を減少することによって、探索を簡略化する方法では、大まかな動きベクトルを検出する時に、精度が粗いために、誤検出のおそれが生じる。照合方式および探索方式の簡略化を行う方法では、やはり、間引かれた画像あるいはローパスフィルタを通した画像に基づいて動きベクトルの検出する時に、誤検出のおそれがある。
【００２７】
さらに、探索点を減少させる時には、探索点の位相と画像の動きとの間に位相ずれが生じる。これを図２８を参照して説明する。図２８は、１次元ブロックについて４画素毎の探索点を設定した場合であり、原信号の波形を水平に、１画素、２画素、３画素および４画素移動した波形がそれぞれ示されている。基準ブロックと検査ブロックの切り出しが同一位相の場合では、静止と４画素の倍数の動きにおいて、両ブロックが合致し、これを検出できる。しかしながら、それ以外の動きは、検出することができない。
【００２８】
特に、変化が激しい画像の場合には、真の動きが３画素以下であっても、原点から４画素離れた探索点における差分の絶対値の累算値が非常に大きな値となるおそれがある。若し、他の探索点における差分の絶対値の累算値がこれより小さな時には、検出される動きが真のものとかけ離れたものとなる。
【００２９】
従って、この発明の目的は、演算量を減少でき、ハードウエアが簡単な特徴を備え、また、誤検出を防止でき、さらに、位相ずれの補償および検出精度の向上が可能な画像照合方法および装置を提供することにある。
【００３０】
【課題を解決するための手段】
請求項１に記載の発明は、第１の画像データを複数の基準ブロックへ分割するステップと、
第２の画像データを複数の検査ブロックへ分割するステップと、
基準ブロック内の所定の位置の画素データを第１の代表画素データとして抽出するステップと、
検査ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出するステップと、
第１の代表画素データの値が第１の特徴量データの示す範囲内に存在する場合に０となり、第１の代表画素データの値が範囲内に存在しない場合に第１の代表画素データの値と最大値または最小値との差分となる第１の評価値を生成するステップと、
検査ブロック内の所定の位置の画素データを第２の代表画素データとして抽出するステップと、
第２の代表画素データと対応する画素データを含む基準ブロックについて、該基準ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出するステップと、
第２の代表画素データの値が第２の特徴量データの示す範囲内に存在する場合に０となり、第２の代表画素データの値が範囲内に存在しない場合に第２の代表画素データの値と最大値または最小値との差分となる第２の評価値を生成するステップと、
第１および第２の評価値を加算した総合評価値を生成し、総合評価値の大小に基づいて第１および第２の画像データの部分的照合を行うステップとからなる画像照合方法である。
【００３１】
請求項２に記載の発明は、第１の画像データを複数の基準ブロックへ分割する手段と、
第２の画像データを複数の検査ブロックへ分割する手段と、
基準ブロック内の所定の位置の画素データを第１の代表画素データとして抽出する手段と、
検査ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出する手段と、
第１の代表画素データの値が第１の特徴量データの示す範囲内に存在する場合に０となり、第１の代表画素データの値が範囲内に存在しない場合に第１の代表画素データの値と最大値または最小値との差分となる第１の評価値を生成する手段と、
検査ブロック内の所定の位置の画素データを第２の代表画素データとして抽出する手段と、
第２の代表画素データと対応する画素データを含む基準ブロックについて、該基準ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出する手段と、
第２の代表画素データの値が第２の特徴量データの示す範囲内に存在する場合に０となり、第２の代表画素データの値が範囲内に存在しない場合に第２の代表画素データの値と最大値または最小値との差分となる第２の評価値を生成する手段と、
第１および第２の評価値を加算した総合評価値を生成し、総合評価値の大小に基づいて第１および第２の画像データの部分的照合を行う手段とからなる画像照合装置である。
【００３２】
請求項３に記載の発明は、第１の画像データを複数の基準ブロックへ分割するステップと、
基準ブロックを複数の基準小ブロックへ分割するステップと、
第２の画像データを複数の検査ブロックへ分割するステップと、
検査ブロックを複数の検査小ブロックへ分割するステップと、
基準小ブロック内の所定の位置の画素データを第１の代表画素データとしてそれぞれ抽出するステップと、
検査小ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出するステップと、
第１の代表画素データの値が第１の特徴量データの示す範囲内に存在する場合に０となり、第１の代表画素データの値が範囲内に存在しない場合に第１の代表画素データの値と最大値または最小値との差分となる評価値を複数の検査小ブロックについてそれぞれ求め、求められた評価値を積算して第１の評価値を生成するステップと、
検査小ブロック内の所定の位置の画素データを第２の代表画素データとして抽出するステップと、
第２の代表画素データと対応する画素データを含む基準小ブロックについて、該基準小ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出するステップと、
第２の代表画素データの値が第２の特徴量データの示す範囲内に存在する場合に０となり、第２の代表画素データの値が範囲内に存在しない場合に第２の代表画素データの値と最大値または最小値との差分となる評価値を複数の基準小ブロックについてそれぞれ求め、求められた評価値を積算して第２の評価値を生成するステップと、
第１および第２の評価値を加算した総合評価値を生成し、総合評価値の大小に基づいて第１および第２の画像データの部分的照合を行うステップとからなる画像照合方法である。
【００３３】
請求項４に記載の発明は、第１の画像データを複数の基準ブロックへ分割する手段と、
基準ブロックを複数の基準小ブロックへ分割する手段と、
第２の画像データを複数の検査ブロックへ分割する手段と、
検査ブロックを複数の検査小ブロックへ分割する手段と、
基準小ブロック内の所定の位置の画素データを第１の代表画素データとしてそれぞれ抽出する手段と、
検査小ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出する手段と、
第１の代表画素データの値が第１の特徴量データの示す範囲内に存在する場合に０となり、第１の代表画素データの値が範囲内に存在しない場合に第１の代表画素データの値と最大値または最小値との差分となる評価値を複数の検査小ブロックについてそれぞれ求め、求められた評価値を積算して第１の評価値を生成する手段と、
検査小ブロック内の所定の位置の画素データを第２の代表画素データとして抽出する手段と、
第２の代表画素データと対応する画素データを含む基準小ブロックについて、該基準小ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出する手段と、
第２の代表画素データの値が第２の特徴量データの示す範囲内に存在する場合に０となり、第２の代表画素データの値が範囲内に存在しない場合に第２の代表画素データの値と最大値または最小値との差分となる評価値を複数の基準小ブロックについてそれぞれ求め、求められた評価値を積算して第２の評価値を生成する手段と、
第１および第２の評価値を加算した総合評価値を生成し、総合評価値の大小に基づいて第１および第２の画像データの部分的照合を行う手段とからなる画像照合装置である。
【００３４】
【作用】
基準ブロックの例えば中央位置の画素データを代表画素データｘa として抽出し、代表画素データｘa と検査ブロックの特徴量とを比較する。検査ブロックの例えば最大値ＭＡＸ２および最小値ＭＩＮ２が検出され、ＭＡＸ２およびＭＩＮ２の範囲に代表画素データｘa の値が含まれるかどうかの比較がなされる。これが順方向の照合である。逆方向の照合は、検査ブロックから抽出された代表画素データｘb と基準ブロックの最大値ＭＡＸ１および最小値ＭＩＮ１を使用してなされる。順方向および逆方向の照合結果に基づいて総合評価値が形成され、総合評価値に基づいて照合の程度が調べられる。このように、演算量が低減でき、また、位相ずれの問題を解決することができ、さらに、照合の精度を向上することができる。
【００３５】
代表画素データと特徴量とを比較して、照合を行う他に、基準ブロックと検査ブロック間で、領域同士の照合を行うことができる。この場合にも、双方向の照合が行われ、照合の精度を向上することができる。
【００３６】
【実施例】
以下、この発明を動きベクトル検出装置に対して適用した一実施例について図面を参照して説明する。図１は、一実施例のブロック図であり、図１において、１が現フレームの画像データの入力端子、２が参照フレームの画像データの入力端子、３が現フレームの画像データを蓄える現フレームメモリ、４が参照フレームの画像データを蓄える参照フレームメモリである。現フレームメモリ３および参照フレームの書込み／読出し動作がコントローラ５により制御される。さらに、参照フレームメモリ４と関連して設けられたアドレス移動回路６がコントローラ５によって制御され、これによって、参照フレーム内で検査ブロックが移動される。
【００３７】
図２は、この一実施例のブロック構造を説明するためのもので、基準ブロックは、（３×３）画素の構成とされている。検査ブロックも同様の構造である。順方向の照合は、基準ブロックから検査ブロックに対してなされるものであり、逆方向の照合は、検査ブロックから基準ブロックに対してなされるものである。
【００３８】
基準ブロックのデータが代表値抽出回路７ａおよびＭＡＸ１，ＭＩＮ１（最大値，最小値）検出回路８ｂに供給される。代表値抽出回路７ａは、基準ブロック毎に代表値例えば図２に示すように、各基準ブロックの中央位置の画素の値ｘa を抽出する。検査ブロックのデータが代表値抽出回路７ｂおよびＭＡＸ２，ＭＩＮ２検出回路８ａに供給される。代表値抽出回路７ｂは、検査ブロック毎に代表値例えば図２に示すように、各検査ブロックの中央位置の画素の値ｘb を抽出する。代表画素としては、これ以外に、ブロックの異なる位置の画素の値、またはブロックの最大値、最小値、極値を代表値として使用することができる。
【００３９】
ＭＡＸ１，ＭＩＮ１検出回路８ｂは、基準ブロックの特徴量としての最大値ＭＡＸ１および最小値ＭＩＮ１を検出する。ＭＡＸ２，ＭＩＮ２検出回路８ａは、検査ブロックの特徴量としての最大値ＭＡＸ２および最小値ＭＩＮ２を検出する。特徴量としては、ＭＡＸ，ＭＩＮおよびダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）の内の二つの値を使用することができる。さらに、ブロックの平均値Ａｖおよび標準偏差σを計算し、Ａｖ＋σとＡｖ−σとを特徴量として使用しても良い。
【００４０】
ブロックマッチングの対象としては、上述のような現フレームと参照フレーム（現フレームに対して時間的に前あるいは後のフレーム）に限られない。例えば２枚の静止画像間で動きベクトルを検出する場合、または解像度が異なる画像同士の間で動きベクトルを検出する場合に対しても、この発明を適用することができる。さらに、動きベクトルの検出に限らず、二つの静止画像間で照合をとる場合、例えば集合写真に相当する静止画像を参照画像とし、特定の人物の写真を注目画像とし、注目画像が参照画像中のどの位置に存在しているかを検出するような画像照合に対しても適用できる。この例では、参照画像の全体が探索範囲となる。
【００４１】
検出回路８ａ、８ｂの一例を図３に示す。入力端子２１からは、検出回路８ａの場合では、検査ブロックの画素データが供給され、検出回路８ｂの場合では、基準ブロックの画素データが供給される。検出回路８ａおよび８ｂは、同じ構成であるので、図３では、特に区別しないで示されており、ＭＡＸ１およびＭＡＸ２が単にＭＡＸとして示され、ＭＩＮ１およびＭＩＮ２がＭＩＮとして示されている。入力データがタイミング生成回路２２、選択回路２３および２４にそれぞれ供給される。タイミング生成回路２２は、画素データと同期したサンプルクロックおよびブロックの区切りを示すブロックタイミング信号を発生する。
【００４２】
選択回路２３は、二つの画素データの内のより大きな値の画素データを選択的に出力し、選択回路２４は、二つの画素データの内のより小さな値の画素データを選択的に出力する。選択回路２３の出力データがラッチ２５およびレジスタ２７に供給され、選択回路２４の出力データがラッチ２６およびレジスタ２８に供給される。レジスタ２７および２８の出力が選択回路２３および２４に入力される。ラッチ２５から出力端子２９にそのブロックの画素の最大値ＭＡＸが取り出され、ラッチ２６から出力端子３０にそのブロックの画素の最小値ＭＩＮが取り出される。
【００４３】
レジスタ２７は、一つのブロックの画素データが入力される前の初期状態では、ゼロにクリアされている。そして、選択回路２３の出力がレジスタ２７に取り込まれ、レジスタ２７の出力および入力画素データの内のより大きな値が選択回路２３によって選択されるので、次の画素データが到来する時には、以前の画素データの最大値がレジスタ２７に保持されている。そして、一つのブロックの選択画素データが入力された時に、選択回路２３がそのブロックの最大値ＭＡＸを出力する。このＭＡＸがラッチ２５に取り込まれる。最小値ＭＩＮの検出も同様になされ、出力端子３０にブロックのＭＩＮが取り出される。
【００４４】
代表値ｘa と検出されたＭＡＸ２およびＭＩＮ２は、比較回路９ａおよび評価値計算回路１０ａにそれぞれ供給される。比較回路９ａの比較結果によって、評価値計算回路１０ａが制御される。代表値ｘb と検出されたＭＡＸ１およびＭＩＮ１は、比較回路９ｂおよび評価値計算回路１０ｂにそれぞれ供給される。比較回路９ｂの比較結果によって、評価値計算回路１０ｂが制御される。評価値計算回路１０ａは、順方向の照合に基づくブロック毎の評価値を発生し、評価値計算回路１０ｂは、逆方向の照合に基づくブロック毎の評価値を発生する。比較回路９ａ、９ｂおよび評価値計算回路１０ａ、１０ｂの処理をソフトウェア処理で行う時のフローチャートが図４に示される。図４および後述の図５では、図３の場合と同様に、代表画素ｘa 、ｘb をｘで表し、ＭＡＸ１，ＭＡＸ２をＭＡＸで表し、ＭＩＮ１，ＭＩＮ２をＭＩＮで表す。
【００４５】
比較処理が開始されると、ステップ３１において、ｘ＞ＭＡＸが調べられる。若し、この関係が成立する（Ｙ）時には、ステップ３２へ処理が移り、評価値Δ＝ｘ−ＭＡＸが生成される。ステップ３１の結果が否定（Ｎ）の時には、ステップ３３において、ｘ＜ＭＩＮの関係が成立するかどうかが調べられる。これが成立する時には、Δ＝ＭＩＮ−ｘが生成される。ステップ３３における関係が成立しない時、すなわち、ＭＩＮ≦ｘ≦ＭＡＸの時には、Δ＝０（ステップ３５）とされる。このように生成された評価値Δが出力される（ステップ３６）。
【００４６】
図５は、比較回路９（９ａ、９ｂ）および評価値計算回路１０（１０ａ、１０ｂ）をハードウエアで構成した時のブロック図である。比較回路９には、代表値ｘ、ＭＡＸおよびＭＩＮが供給され、２ビットの比較出力が発生する。この比較出力が選択回路４１を制御する。選択回路４１の入力端子ａには、減算回路４２からのｘ−ＭＡＸが供給される。その入力端子ｂには、ゼロデータが供給される。その入力端子ｃには、減算回路４３からのＭＩＮ−ｘが供給される。
【００４７】
比較回路９の２ビットの出力は、ｘ＞ＭＡＸ、ｘ＜ＭＩＮ、ＭＩＮ≦ｘ≦ＭＡＸの３つの関係を指示するものであって、各関係に応じて入力端子ａ、ｂ、ｃが選択され、上述と同様の評価値Δが生成される。評価値計算回路１０で生成された評価値Δが累算回路１９に供給され、累算回路１９の出力が評価値メモリ１１に格納される。
【００４８】
評価値Δは、図６Ａに示すように、代表値が相手方のブロックの画素のＭＩＮおよびＭＡＸの間の範囲に含まれる時に、０であり、ＭＩＮより小さい時およびＭＡＸより大きい時には、次第に大きくなる値である。実際には、ノイズが存在するので、ノイズマージンを設定し、図６Ａにおける破線のような変化を呈する評価値Δを形成しても良い。なお、図５の構成は、一例であって、ゲート回路あるいは２入力の選択回路の組合せ等によって、種々の構成が可能である。また、評価値としては、差分の絶対値、差分のｎ乗値等を使用しても良い。
【００４９】
評価値計算回路１０ａからの順方向照合の結果の評価値Δａと評価値計算回路１０ｂからの逆方向照合の結果の評価値Δｂとが加算回路１４において加算される。この場合、単純な加算ではなく、重み付け加算を行うようにしても良い。加算回路１４からの総合評価値（Δａ＋Δｂ）が評価値メモリ１１に格納される。この総合評価値は、所定の探索範囲内の各ブロックについてそれぞれ計算される。例えば、図６Ｂに示すように、６個のブロックと対応する６個の総合評価値Δ１〜Δ６が求められ、これらが評価値メモリ１１に格納される。
【００５０】
図１に戻って説明すると、評価値メモリ１１への総合評価値の格納は、コントローラ５により制御される。そして、所定の探索範囲（図６Ｂでは、９×９の範囲）で総合評価値がそれぞれ求められ、総合評価値の中の最小値が最小値検出回路１２において検出される。最小値の存在する位置がその基準ブロックの動きベクトルである。
【００５１】
次に、この発明の他の実施例について説明する。図７は、他の実施例の構成を示し、上述の一実施例の構成（図１のブロック図）と対応する部分には、同一符号を付して示す。図１の構成に対して、現フレームメモリ３および参照フレームメモリ４に対してそれぞれ小ブロック化回路１７ａおよび１７ｂが接続され、また、加算回路１４に対して累算回路１６が接続される点が相違している。
【００５２】
他の実施例では、図８に示すように、（３×３）画素の領域を小ブロックとして扱い、小ブロックを縦横に３個ずつ並べた（９×９）画素の領域を基準ブロックおよび検査ブロックとして扱う。図８では、基準ブロックについては、各小ブロックの中央位置の代表画素のみが示されている。そして、基準ブロックの小ブロックの代表値ｘa が検査ブロックの小ブロックのＭＡＸ２，ＭＩＮ２と比較され、上述の一実施例と同様に順方向の評価値Δａが小ブロック毎に計算される。逆方向の評価値Δb も同様に小ブロック毎に求められる。そして、Δａ＋Δｂによって、小ブロック毎の総合評価値Δが形成される。
【００５３】
基準小ブロックとある位置の検査小ブロックとの比較および評価値の計算の結果、Δ１〜Δ９の総合評価値が小ブロック毎に得られる。この評価値が累算回路１６において累算される。すなわち、ΣΔ＝Δ１＋Δ２＋・・・・＋Δ９の累算がなされる。検査ブロックが探索範囲内で移動され、各探索点において、総合評価値の累算値が求められる。この累算評価値の中の最小値が最小値検出回路１２により検出され、その最小値を生じさせる検査ブロックの位置と対応する動きベクトルが出力端子１３に取り出される。
【００５４】
図９は、例えば±５の探索範囲（一点鎖線で示す）の一部を示す。基準ブロックの右下の頂点を基準として考え、３画素毎に目盛られた座標軸（ｘ，ｙ）が描かれている。なお、基準の点は、より好ましくは、ブロック内のより中心に近い点に設定される。例えば図９に示すような（＋５，＋５）の位置の検査ブロックが最小の累算評価値を生じさせる時には、（＋１５（＝５×３），＋１５（＝５×３））の動きベクトルが出力される。
【００５５】
上述の一実施例および他の実施例は、要約すると、ブロックの代表画素と対応ブロック（領域）間の照合をとるもので、ブロックの画素の全てを代表する量として、例えば最大値および最小値を求めている。代表画素の値がこの間に存在しない場合には、基準ブロックと検査ブロックの照合の可能性はない。従来では、探索点を減少させる簡略化を行うと、位相ずれによって誤検出が生じる問題があった。この発明は、探索点を例えば３画素毎に減少させても、フルサーチと等価な処理、すなわち、位相ずれを生じない照合を行うことができる。
【００５６】
図１０は、この発明が位相ずれを生じないことを説明するものである。簡単のために、ａ、ｂ、ｃの値をそれぞれ有する３画素からなる１次元ブロックを考える。破線は、３画素毎に描かれている。この１次元ブロックを基準ブロックとして考え、その中央位置の画素の値ｂが代表値である。図１０では、基準ブロックが静止、＋１画素の動き、−１画素の動き、＋２画素の動き、＋３画素の動き、＋４画素の動きがそれぞれ示されている。
【００５７】
この図１０から分かるように、±１画素の動きの場合でも、代表値ｂが３画素の区切りの中に存在している。従って、±１画素の動きの場合でも、検査ブロックとの照合がとれ、評価値Δが０となる。＋２画素、＋３画素、＋４画素の動きは、次の検査ブロックとの照合によって、検出することができる。従って、検査ブロック（小ブロック）の区切りをオーバーラップさせる必要がない。従来の探索点の簡略化では、静止並びに探索点の間隔の倍数の動きしか正確に検出することができなかった。この発明は、かかる位相ずれを補償することができる。
【００５８】
次に、この発明のさらに他の実施例について説明する。以下に述べる二つの実施例では、ブロック間の照合をとる時に、領域対領域で比較するものである。他の実施例のブロック構成を図１２に示す。基準ブロックは、例えば（２×４）画素の大きさである。検査ブロックは、基準ブロックと同様に、（２×４）画素の領域である。修正検査ブロックは、後述のように、位相補償範囲の±１ラインおよび±２画素を検査ブロックに付加した領域である。順方向照合時では、この基準ブロックと修正検査ブロックとの照合が行われ、逆方向照合時では、図１２に示すように、検査ブロックおよび修正基準ブロックとの照合が行われる。
【００５９】
上述の一実施例（図１）および他の実施例（図７）における代表値抽出回路７ａ、７ｂの代わりに、更に他の実施例では、基準ブロックの画素データがＭＡＸ３，ＭＩＮ３検出回路１５ａおよび検査ブロックのＭＡＸ４，ＭＩＮ４検出回路１５ｂが設けられる。また、ＭＡＸ２，ＭＩＮ２検出回路８ａは、修正検査ブロック毎に最大値ＭＡＸ２および最小値ＭＩＮ２を特徴量として抽出し、ＭＡＸ１，ＭＩＮ１検出回路８ｂは、修正基準ブロック毎に最大値ＭＡＸ１および最小値ＭＩＮ１を特徴量として抽出する。
【００６０】
ＭＡＸ３，ＭＩＮ３検出回路１５ａによって検出されたＭＡＸ３およびＭＩＮ３と、ＭＡＸ２，ＭＩＮ２検出回路８ａによって検出されたＭＡＸ２およびＭＩＮ２とが比較回路９ａおよび評価値計算回路１０ａに供給される。同様に、ＭＡＸ１，ＭＩＮ１とＭＡＸ４，ＭＩＮ４とが比較回路９ｂおよび評価値計算回路１０ｂに供給される。比較回路９ａおよび評価値計算回路１０ａの処理をソフトウェア処理で行う時のフローチャートが図１２に示される。
【００６１】
比較処理が開始されると、ステップ１３１において、ＭＡＸ３＞ＭＡＸ２が成立するかどうかが調べられる。若し、この関係が成立しない（Ｎ）時（すなわち、ＭＡＸ２≧ＭＡＸ３の時）には、ステップ１３２へ処理が移り、評価値Δ１＝０とされる。そして、次に、ＭＩＮ３＜ＭＩＮ２が成立するかどうかが調べられる（ステップ１３３）。若し、この関係が成立しない（Ｎ）時（すなわち、ＭＩＮ３≧ＭＩＮ２の時）には、ステップ１３４へ処理が移り、評価値Δ２＝０とされる。従って、評価値Δ１＝０、Δ２＝０（ステップ１３５ａ）である。これは、基準ブロックの最小値ＭＩＮ３および最大値ＭＡＸ３が修正検査ブロックＭＩＮ２および最大値ＭＡＸ２の範囲内に含まれ、基準ブロックと検査ブロックとの照合が成立したと判断されることを意味する。若し、ステップ１３３の結果が肯定の場合では、Δ１＝０、Δ２＝ＭＩＮ２−ＭＩＮ３の評価値が生成される（ステップ１３５ｂ）。
【００６２】
ステップ１３１の結果が肯定（Ｙ）の時には、ステップ１３６において、ＭＩＮ３＜ＭＩＮ２の関係が成立するかどうかが調べられる。これが成立しない時（すなわち、ＭＩＮ３≧ＭＩＮ２の時）には、Δ２＝０とされ（ステップ１３７）、Δ１＝ＭＡＸ３−ＭＡＸ２，Δ２＝０の評価値が生成される（ステップ１３５ｃ）。ステップ１３６の結果が肯定の時には、Δ１＝ＭＡＸ３−ＭＡＸ２，Δ２＝ＭＩＮ２−ＭＩＮ３の評価値が生成される（ステップ１３５ｄ）。
【００６３】
図１４は、比較回路９ａおよび評価値計算回路１０ａをハードウエアで構成した時のブロック図である。比較回路９ａには、基準ブロックのＭＡＸ３およびＭＩＮ３と修正検査ブロックのＭＡＸ２およびＭＩＮ２が供給され、二つの比較出力が発生する。これらの比較出力が選択回路１４１および１４２を制御する。選択回路１４１の入力端子ａには、減算回路１４５からのＭＡＸ３−ＭＡＸ２が供給され、その入力端子ｂには、ゼロデータが供給される。選択回路１４２の入力端子ａには、減算回路１４６からのＭＩＮ２−ＭＩＮ３が供給され、その入力端子ｂには、ゼロデータが供給される。
【００６４】
比較回路９の一方の出力は、ＭＡＸ３＞ＭＡＸ２の時には、選択回路１４１が入力端子ａ（すなわち、ＭＡＸ３−ＭＡＸ２）を選択するように制御し、ＭＡＸ３＜ＭＡＸ２の時には、選択回路１４１が入力端子ｂ（すなわち、ゼロデータ）を選択するように制御する。比較回路９の他方の出力は、ＭＩＮ３＜ＭＩＮ２の時には、選択回路１４２が入力端子ａ（すなわち、ＭＩＮ２−ＭＩＮ３）を選択するように制御し、ＭＩＮ３≧ＭＩＮ２の時には、選択回路１４２が入力端子ｂ（すなわち、ゼロデータ）を選択するように制御する。選択回路１４１からの評価値Δ１と選択回路１４２からの評価値Δ２とが加算回路１４３に供給される。選択回路１４３からのΔ１＋Δ２の出力が出力端子１４４に取り出される。
【００６５】
評価値Δ１およびΔ２は、図１５に示すように変化する。評価値Δ１は、ＭＡＸ３がＭＡＸ２よりも小さい範囲では、０であり、ＭＡＸ２よりも大きくなるに従って、その値が大きくなる。また、評価値Δ２は、ＭＩＮ３がＭＩＮ２よりも大きい範囲では、０であり、ＭＩＮ２よりも小さくなるに従って、その値が大きくなる。実際には、ノイズが存在するので、ノイズマージンを設定し、図１５における破線のような変化を呈する評価値Δ１およびΔ２を形成しても良い。なお、図１４の構成は、一例であって、種々の構成が可能である。また、評価値としては、差分の絶対値、差分のｎ乗値等を使用しても良い。
【００６６】
比較回路９ｂおよび評価値計算回路１０ｂは、上述した順方向の照合のための比較回路９ａおよび評価値計算回路１０ａと同様に構成されており、評価値計算回路１０ｂからは、逆方向の照合の結果の評価値が発生する。そして、上述したように、加算回路１４によって総合評価値が形成され、この総合評価値が評価値メモリ１１に格納される。この総合評価値の中の最小値が最小値検出回路１２によって検出され、検出された最小値の位置と対応する動きベクトルが出力端子１３に取り出される。
【００６７】
次に、この発明のよりさらに他の実施例について説明する。図１６は、その構成を示し、上述の他の実施例の構成（図７のブロック図）と対応する部分には、同一符号を付して示す。図１６では、図１１の構成と比較して、現フレームメモリ３および参照フレームメモリ４に対してそれぞれ小ブロック化回路１７ａおよび１７ｂが接続され、また、加算回路１４に対して累算回路１６が接続される点が相違している。
【００６８】
よりさらに他の実施例では、上述の他の実施例では、基準ブロックとして説明した大きさの（２×４）画素の領域を小ブロックとして扱い、小ブロックを縦横に４個ずつ並べた（８×１６）画素の領域（上述一実施例では、探索範囲として説明した）を基準ブロックおよび検査ブロックとして扱う。そして、順方向の照合時には、基準ブロックの小ブロックのＭＡＸ３およびＭＩＮ３が検査ブロックの修正小ブロックのＭＡＸ２およびＭＩＮ２と比較され、上述の一実施例と同様に評価値が小ブロック毎に計算される。
【００６９】
また、逆方向の照合時には、検査ブロックのＭＡＸ４，ＭＩＮ４が修正基準小ブロックのＭＡＸ１，ＭＩＮ１と比較され、評価値が小ブロック毎に計算される。これらの順および逆方向の照合の結果発生する小ブロック毎の評価値が加算回路１４で加算され、加算結果が累算回路１６によって、累算される。累算回路１６から総合評価値がブロック毎に形成される。図１７のように、ブロックの大きさとして、小ブロックの縦横に４個ずつ並べた構成のブロックの場合、小ブロック毎に評価値Δ１〜Δ１６が形成される。Δ１〜Δ１６を累算したものが総合評価値である。
【００７０】
検査ブロックが所定の探索範囲内で移動され、各探索点において、総合評価値が求められる。この総合評価値の中の最小値が最小値検出回路１２により検出され、その最小値を生じさせる検査ブロックの位置と対応する動きベクトルが出力端子１３に取り出される。
【００７１】
図１８は、例えば±５の探索範囲（一点鎖線で示す）の一部を示す。基準ブロックの例えば中心を基準の一例として考え、４画素毎に目盛られた座標軸ｘと、２画素毎に目盛られたｙ軸とが描かれている。例えば図１８に示すような（＋５，＋５）の位置の検査ブロックが最小の累算評価値を生じさせる時には、（＋２０（＝４×５），＋１０（＝２×５））の動きベクトルが出力される。
【００７２】
この発明のさらに他の実施例およびよりさらに他の実施例は、要約すると、基準ブロックの領域と検査ブロックの領域間の照合をとるもので、検査ブロックの全画素の存在範囲を表す量として、例えば最大値ＭＡＸ２および最小値ＭＩＮ２を求めている。基準ブロックのＭＡＸ３およびＭＩＮ３がこの間に存在しない場合には、両者が照合しないと判断される。従来では、探索点を減少させる簡略化を行うと、位相ずれによって誤検出が生じる問題があった。この発明は、探索点を例えば数画素毎に減少させても、フルサーチと等価な処理、すなわち、位相ずれを生じない照合を行うことができる。
【００７３】
図１９は、この領域間の照合が位相ずれを生じないことを説明するものである。簡単のために、ａ、ｂ、ｃ、ｄの値をそれぞれ有する４画素からなる１次元ブロックを考える。破線は、４画素毎に描かれている。この１次元ブロックを基準ブロックとして考える。図１９では、基準ブロックが＋１画素の動き、＋２画素の動き、＋３画素の動き、＋４画素の動きがそれぞれ示されている。
【００７４】
この図１９から分かるように、領域同士を比較する時に、検査ブロックが基準ブロックと同じ大きさの場合では、＋１画素、＋２画素、＋３画素、＋４画素の動きの場合には、誤照合が発生する可能性がある。しかしながら、４画素の大きさの場合では、検査ブロックに対して、左右に２画素分の拡張領域を付加しているので、誤照合を防止できる。＋３画素および＋４画素の動きは、次の基準ブロックに関する照合によって、照合をとることができる。どの程度の幅を検査ブロックに対して付加するかは、ブロックの大きさによって変化する。従来の探索点の簡略化では、静止並びに探索点の間隔の倍数の動きしか正確に検出することができなかった。この発明は、かかる位相ずれを補償することができる。
【００７５】
この発明の具体的構成は、上述した実施例の構成以外に種々のものが可能である。例えば過渡成分を考慮して簡略化による誤検出を防止する方式を併用しても良い。また、動きベクトルを求める時に、動きベクトルの精度を１画素ではなく、ハーフペル精度とするようにしても良い。
【００７６】
【発明の効果】
この発明は、探索点を簡略化するのと同様に、演算量および比較回数を大幅に減少することができる。これと共に、位相ずれによる誤検出を防止することができる。また、この発明は、照合時に順方向および逆方向の照合を行ない、この双方向の照合の結果に基づいて評価値を形成するので、検出精度を向上することができる。
【図面の簡単な説明】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】この発明の一実施例におけるブロックの構成を示す略線図である。
【図３】この発明の一実施例における最大値，最小値検出回路の一例のブロック図である。
【図４】代表画素の値と最大値，最小値の比較処理および評価値生成の処理を示すフローチャートである。
【図５】代表画素の値と最大値，最小値の比較回路および評価値生成回路の一例のブロック図である。
【図６】評価値および探索範囲の説明に用いる略線図である。
【図７】この発明の他の実施例のブロック図である。
【図８】この発明の他の実施例における総合評価値の形成の説明に用いる略線図である。
【図９】この発明の他の実施例の探索範囲の一部を示す略線図である。
【図１０】この発明の他の実施例による位相補償を説明するための略線図である。
【図１１】この発明のさらに他の実施例のブロック図である。
【図１２】この発明のさらに他の実施例のブロック構成を示す略線図である。
【図１３】この発明のさらに他の実施例における評価値の生成を説明するためのフローチャートである。
【図１４】この発明のさらに他の実施例における評価値の生成のための構成の一例のブロック図である。
【図１５】この発明のさらに他の実施例における評価値の説明のための略線図である。
【図１６】この発明のよりさらに他の実施例のブロック構成を示す略線図である。
【図１７】この発明のよりさらに他の実施例における総合評価値の生成を説明するための略線図である。
【図１８】この発明のよりさらに他の実施例における探索範囲の一部を示す略線図である。
【図１９】この発明のよりさらに他の実施例による位相補償を説明するための略線図である。
【図２０】この発明を適用することができる動き補償予測符号化装置の一例を示すブロック図である。
【図２１】従来のブロックマッチング法による動きベクトル検出方法の説明のための略線図である。
【図２２】従来のブロックマッチング法による動きベクトル検出方法の説明のための略線図である。
【図２３】従来のブロックマッチング法による動きベクトル検出方法における探索範囲の説明のための略線図である。
【図２４】従来のブロックマッチング法による動きベクトル検出装置の一例のブロック図である。
【図２５】従来のブロックマッチング法による動きベクトル検出をより具体的に説明するための略線図である。
【図２６】従来の間引き法によるブロックマッチングの説明のための略線図である。
【図２７】先に提案されている誤照合を防止する手法の説明のための略線図である。
【図２８】従来の簡略化されたブロックマッチング方式の問題点を説明するための略線図である。
【符号の説明】
３ 現フレームメモリ
４ 参照フレームメモリ
７ａ，７ｂ 代表値抽出回路
８ａ，８ｂ 最大値，最小値検出回路
９ａ，９ｂ 比較回路
１０ａ，１０ｂ 評価値計算回路
１２ 最小値検出回路
【産業上の利用分野】
この発明は、一般的には、二つのディジタル画像の部分的照合をとるための方法および装置、より具体的には、ブロックマッチング法により画像の動きの方向および量を表す動きベクトルを検出する場合に適用可能な画像照合方法および装置に関する。
【０００２】
【従来の技術】
動きベクトルの一つの利用分野は、ディジタル画像データの予測符号化における動き補償である。一例として、動画の高能率符号化の国際的標準方式である、ＭＰＥＧ(Moving Picture Coding Experts Group) 方式が提案されている。このＭＰＥＧ方式は、ＤＣＴ(Discrete Cosine Transform) と動き補償予測符号化とを組み合わせたものである。
【０００３】
図２０は、動き補償予測符号化装置の一例を示す。図２０において、入力端子６１からのディジタルビデオデータが動きベクトル検出回路６２および減算回路６３に供給される。動きベクトル検出回路６２では、現フレームと参照フレーム（例えば時間的に前フレーム）との間の動きベクトルが検出される。この動きベクトルが動き補償回路６４に供給される。
【０００４】
フレームメモリ６５に蓄えられている画像が動き補償回路６４において動きベクトルに基づいて動き補償された後に、減算回路６３および加算回路６６に供給される。減算回路６３では、現フレームのビデオデータと動き補償回路６４からの前フレームの復号ビデオデータとが画素毎に減算される。減算回路６３からの差分データがＤＣＴ回路６７においてＤＣＴ変換される。ＤＣＴ回路６７からの係数データが量子化回路６８により再量子化される。量子化回路６８の出力データが出力端子６９に取り出されるとともに、逆量子化回路７０に供給される。
【０００５】
逆量子化回路７０とこれに接続された逆ＤＣＴ回路７１とは、ＤＣＴ回路６７および量子化回路６８と反対の処理を行うためのローカル復号回路を構成する。逆ＤＣＴ回路７１からの復号差分データが加算回路６６に供給される。加算回路６６の出力データがフレームメモリ６５を介して動き補償回路６４に供給される。動き補償回路６４からの前フレームの復号データが加算回路６６に供給されることで、復号データが形成され、この復号データがフレームメモリ６５に蓄えられる。
【０００６】
動きベクトル検出回路６２では、ブロックマッチング法により動きベクトルが検出される。これは、参照フレームの検査ブロックを所定の探索範囲内で移動し、現フレームの基準ブロックと最も合致しているブロックを検出することにより動きベクトルを求めるものである。従って、動きベクトルは、ブロック毎に求められる。なお、画面全体あるいは１画面を１／４に分割した領域のような比較的大きい領域の動きベクトルを求める場合もある（例えば特開昭６１−１０５１７８号公報参照）。
【０００７】
ブロックマッチング法では、図２１Ａに示すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖラインの１フレームの画像が図２１Ｂに示すように、Ｐ画素×Ｑラインのブロックに細分化される。図２１Ｂの例では、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画素位置である。
【０００８】
図２２は、ｃを中心画素とする基準ブロックとｃ´を中心とする検査ブロックの位置関係を示している。ｃを中心画素とする基準ブロックは、現フレームの注目しているある基準ブロックであり、その画像と一致する参照フレームの検査ブロックが参照フレームにおいてｃ´を中心とするブロックの位置にあるものとしている。ブロックマッチング法では、探索範囲内において、基準ブロックと最も合致する検査ブロックを見出すことによって、動きベクトルを検出する。
【０００９】
図２２Ａの場合では、水平方向に−１画素、垂直方向に−１ライン、すなわち、（−１，−１）の動きベクトルが検出される。図２２Ｂでは、（−３，−３）の動きベクトルが検出され、図２２Ｃでは、（−２，＋１）の動きベクトルが検出される。動きベクトルは、現フレームの基準ブロック毎に求められる。動きベクトルの極性は、テレビジョンのラスター走査の方向と一致する方向を＋としている。
【００１０】
動きベクトルを探索する範囲を水平方向で±Ｓ画素、垂直方向で±Ｔラインとすると、基準ブロックは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔずれたところに中心ｃ´を有する検査ブロックと比較される必要がある。図２３は、現フレームのある基準ブロックの中心ｃの位置をＲとする時に、比較すべき参照フレームの（２Ｓ＋１）×（２Ｔ＋１）個の検査ブロックとの比較が必要なことを示している。すなわち、この図２３のます目の位置にｃ´が存在する検査ブロックの全てが比較対象である。図２３は、Ｓ＝４，Ｔ＝３とした例である。
【００１１】
探索範囲内の比較で得られた評価値（すなわち、フレーム差の絶対値和、このフレーム差の二乗和、あるいはフレーム差の絶対値のｎ乗和）の中で、最小値を検出することによって、動きベクトルが検出される。図２３の探索範囲は、検査ブロックの中心が位置する領域であり、検査ブロックの全体が含まれる探索範囲の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。
【００１２】
図２４は、従来の動きベクトル検出装置の一例の構成を示す。図２４において、８１が現フレームの画像データの入力端子であり、この画像データが現フレームメモリ８３に蓄えられる。８２が参照フレームの画像データの入力端子であり、この画像データが参照フレームメモリ８４に蓄えられる。
【００１３】
現フレームメモリ８３および参照フレームメモリ８４の読出し／書込みは、コントローラ８５によって制御される。現フレームメモリ８３からは、現フレームの基準ブロックの画素データが読出され、参照フレームメモリ８４からは、参照フレームの検査ブロックの画素データが読出される。参照フレームメモリ８４と関連してアドレス移動回路８６が設けられる。コントローラ８５がアドレス移動回路８６を制御する結果、検査ブロックの中心位置が１画素ステップで、探索範囲内を移動される。
【００１４】
現フレームメモリ８３の出力と参照フレームメモリ８４の出力とが差分検出回路８７に供給され、１画素毎の差分が検出される。差分検出回路８７の出力が絶対値化回路８８で絶対値に変換され、この絶対値が累算回路８９に供給される。累算回路８９が１ブロックで発生した絶対値差分を累算し、その出力が評価値として判断回路９０に供給される。判断回路９０は、探索範囲内で検査ブロックを移動させた時にそれぞれ発生する差分の絶対値和から動きベクトルを検出する。すなわち、最小の差分の絶対値和を発生する検査ブロックの位置を動きベクトルとして検出する。
【００１５】
上述の従来のブロックマッチング法は、基準ブロックと検査ブロックとの間でフレーム差分の絶対値和を求める処理を探索範囲内で行う必要がある。上述の図２１、図２２、図２３の例では、（Ｐ×Ｑ）回の絶対値差分の累算を全ての探索点、すなわち，（２Ｓ＋１）×（２Ｔ＋１）回行う必要がある。この関係から、演算量は、（Ｐ×Ｑ）×（２Ｓ＋１）×（２Ｔ＋１）で表される。従って、上述のブロックマッチング法は、ハードウエアの規模が大きく、演算量が膨大であるという問題点があった。
【００１６】
より具体的な例として、図２５に示すように、Ｐ＝１６，Ｑ＝１６、Ｓ＝２，Ｔ＝２の例を考える。このＳおよびＴの数値は、説明および図示の簡単のために、非常に小さな値としており、実際には、より大きな探索範囲が設定される。図２５では、基準ブロックと（＋２，＋２）の移動量の検査ブロックとが描かれている。この具体例では、探索範囲を水平および垂直方向に±２としており、探索点が（５×５＝２５）である。
【００１７】
そして、ブロックマッチングのための演算量について考えると、（１６×１６）回の画素間の差分を求める減算と、その絶対値を得る減算と、全ての差分の絶対値を加算する演算とを一つの探索点について必要とする。さらに、この演算を２５個の全ての探索点について行う必要がある。従って、ブロックマッチング法における演算量は、照合画素数×探索点に依存すると考えることができ、この演算量が膨大となる。従来において、基準ブロック内の画素を一つの代表点画素とし、代表点データと検査ブロック内のデータとの差分を演算するものが提案されている（例えば特開昭６２−２５５８７号公報参照）。この方式は、ハードウエアの簡略化あるいは処理時間の短縮化をある程度達成することができるが、演算量の大幅な減少を達成することができない。
【００１８】
この対策として、探索方式を簡略化する手法と、照合方式を簡略化する手法が提案されている。探索を簡略化する方法としては、探索範囲で検査ブロックを移動する時に、最初のステップとして、数画素の間隔で検査ブロックを移動させることによって、大まかな動きベクトルを検出し、次のステップで、検出された位置の付近で、１画素間隔で検査ブロックを移動させることによって、最終的に動きベクトルを求める方法（２ステップ法）が知られている。ステップ数を３とした３ステップ法も考えられる。この方法によれば、フルサーチで必要とされた、全ての探索点において必要とされた演算を各ステップで検出された動きベクトルの周辺の探索点と対応する回数へ減少させることができる。
【００１９】
さらに、照合方式および探索方式の双方を簡略化する方法として、ブロック内の画素数を間引き（サブサンプリング）により減少させるものである。例えば図２６に示すように、（１６×１６）画素のブロックを水平および垂直方向に１／４の間引きを行ない、ブロック内の画素数を１／１６に減少させる。また、探索点は、４画素毎に存在する。これによって、照合画素数および探索点を少なくできる。
【００２０】
照合方式および探索方式の双方を簡略化する他の方法として、階層構造を採用するものが提案されている。一例として、原画像（第１階層と称する）と、第１階層からローパスフィルタおよび／またはサブサンプリングによって、水平および垂直方向で画素数が１／２に間引かれた第２階層と、さらに、第２階層をローパスフィルタおよび／またはサブサンプリングによって、水平および垂直方向で１／２に間引いた第３階層とからなる階層構造を規定する。
【００２１】
そして、第３階層に関してブロックマッチングを行ない、検出された最小値の位置に原点を移動して第２階層に関してブロックマッチングを行ない、検出された最小値の位置に原点を移動して、第１階層に関してブロックマッチングを行い、最終的に１画素ステップのブロックマッチングで動きベクトルを検出する。
【００２２】
照合方式および探索方式の双方を簡略化するさらに他の方法として、基準ブロックおよび検査ブロックを水平方向および垂直方向のそれぞれの方向で小ブロックに更に分割し、小ブロック毎に特徴量を抽出するものが提案されている。すなわち、基準ブロックおよび検査ブロックの間で、水平方向小ブロックの特徴量と垂直方向小ブロック特徴量とを別個に比較し、比較結果の絶対値をそれぞれ累算し、累算結果を加重平均したものをブロック間の比較結果として用いる。小ブロックの特徴量は、例えばその小ブロック内の画素データの累算結果である。この方法は、１ブロック内の全画素数に関して必要とされた演算を水平および垂直方向の小ブロックの数に減少することができる。
【００２３】
【発明が解決しようとする課題】
ブロックマッチングの上述したような種々の改良は、演算量を減少させることはできるが、誤検出が生じる欠点を有している。これは、簡略化の結果として、原画像の有する情報量の欠落が生じるからである。
【００２４】
より具体的に述べると、ブロック内の要素数（照合画素数）を減らすようにした照合方式の簡略化においては、ブロックの画像データのディテイルが失われ、その結果、誤検出が生じる。図２７に示すように、基準ブロックと検査ブロック（簡単のため、各ブロックが１次元ブロックとする）を照合する場合を考える。基準ブロックデータを４画素毎に平均化したものは、検査ブロックデータと同じ波形となり、元の二つのデータは、異なる波形であるにもかかわらず、比較の結果、両者が合致するものと判定され、誤検出が生じる。
【００２５】
この問題の一つの解決法を本願発明者は、提案している（特願平５−２４８８１３号参照）。この方法は、基準ブロックと検査ブロックとを比較する時に、定常成分と過渡成分とをそれぞれ各ブロックから抽出し、定常成分同士、過渡成分同士を比較することによって、誤検出を防止しようとするものである。図２７の例において、過渡成分の一例として、平均値に対する差分の絶対値を求めると、基準ブロックデータと検査ブロックデータとが大きく異なったものとなる。従って、過渡成分を参照することによって、誤検出を防止することができる。
【００２６】
探索点を減少することによって、探索を簡略化する方法では、大まかな動きベクトルを検出する時に、精度が粗いために、誤検出のおそれが生じる。照合方式および探索方式の簡略化を行う方法では、やはり、間引かれた画像あるいはローパスフィルタを通した画像に基づいて動きベクトルの検出する時に、誤検出のおそれがある。
【００２７】
さらに、探索点を減少させる時には、探索点の位相と画像の動きとの間に位相ずれが生じる。これを図２８を参照して説明する。図２８は、１次元ブロックについて４画素毎の探索点を設定した場合であり、原信号の波形を水平に、１画素、２画素、３画素および４画素移動した波形がそれぞれ示されている。基準ブロックと検査ブロックの切り出しが同一位相の場合では、静止と４画素の倍数の動きにおいて、両ブロックが合致し、これを検出できる。しかしながら、それ以外の動きは、検出することができない。
【００２８】
特に、変化が激しい画像の場合には、真の動きが３画素以下であっても、原点から４画素離れた探索点における差分の絶対値の累算値が非常に大きな値となるおそれがある。若し、他の探索点における差分の絶対値の累算値がこれより小さな時には、検出される動きが真のものとかけ離れたものとなる。
【００２９】
従って、この発明の目的は、演算量を減少でき、ハードウエアが簡単な特徴を備え、また、誤検出を防止でき、さらに、位相ずれの補償および検出精度の向上が可能な画像照合方法および装置を提供することにある。
【００３０】
【課題を解決するための手段】
請求項１に記載の発明は、第１の画像データを複数の基準ブロックへ分割するステップと、
第２の画像データを複数の検査ブロックへ分割するステップと、
基準ブロック内の所定の位置の画素データを第１の代表画素データとして抽出するステップと、
検査ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出するステップと、
第１の代表画素データの値が第１の特徴量データの示す範囲内に存在する場合に０となり、第１の代表画素データの値が範囲内に存在しない場合に第１の代表画素データの値と最大値または最小値との差分となる第１の評価値を生成するステップと、
検査ブロック内の所定の位置の画素データを第２の代表画素データとして抽出するステップと、
第２の代表画素データと対応する画素データを含む基準ブロックについて、該基準ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出するステップと、
第２の代表画素データの値が第２の特徴量データの示す範囲内に存在する場合に０となり、第２の代表画素データの値が範囲内に存在しない場合に第２の代表画素データの値と最大値または最小値との差分となる第２の評価値を生成するステップと、
第１および第２の評価値を加算した総合評価値を生成し、総合評価値の大小に基づいて第１および第２の画像データの部分的照合を行うステップとからなる画像照合方法である。
【００３１】
請求項２に記載の発明は、第１の画像データを複数の基準ブロックへ分割する手段と、
第２の画像データを複数の検査ブロックへ分割する手段と、
基準ブロック内の所定の位置の画素データを第１の代表画素データとして抽出する手段と、
検査ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出する手段と、
第１の代表画素データの値が第１の特徴量データの示す範囲内に存在する場合に０となり、第１の代表画素データの値が範囲内に存在しない場合に第１の代表画素データの値と最大値または最小値との差分となる第１の評価値を生成する手段と、
検査ブロック内の所定の位置の画素データを第２の代表画素データとして抽出する手段と、
第２の代表画素データと対応する画素データを含む基準ブロックについて、該基準ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出する手段と、
第２の代表画素データの値が第２の特徴量データの示す範囲内に存在する場合に０となり、第２の代表画素データの値が範囲内に存在しない場合に第２の代表画素データの値と最大値または最小値との差分となる第２の評価値を生成する手段と、
第１および第２の評価値を加算した総合評価値を生成し、総合評価値の大小に基づいて第１および第２の画像データの部分的照合を行う手段とからなる画像照合装置である。
【００３２】
請求項３に記載の発明は、第１の画像データを複数の基準ブロックへ分割するステップと、
基準ブロックを複数の基準小ブロックへ分割するステップと、
第２の画像データを複数の検査ブロックへ分割するステップと、
検査ブロックを複数の検査小ブロックへ分割するステップと、
基準小ブロック内の所定の位置の画素データを第１の代表画素データとしてそれぞれ抽出するステップと、
検査小ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出するステップと、
第１の代表画素データの値が第１の特徴量データの示す範囲内に存在する場合に０となり、第１の代表画素データの値が範囲内に存在しない場合に第１の代表画素データの値と最大値または最小値との差分となる評価値を複数の検査小ブロックについてそれぞれ求め、求められた評価値を積算して第１の評価値を生成するステップと、
検査小ブロック内の所定の位置の画素データを第２の代表画素データとして抽出するステップと、
第２の代表画素データと対応する画素データを含む基準小ブロックについて、該基準小ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出するステップと、
第２の代表画素データの値が第２の特徴量データの示す範囲内に存在する場合に０となり、第２の代表画素データの値が範囲内に存在しない場合に第２の代表画素データの値と最大値または最小値との差分となる評価値を複数の基準小ブロックについてそれぞれ求め、求められた評価値を積算して第２の評価値を生成するステップと、
第１および第２の評価値を加算した総合評価値を生成し、総合評価値の大小に基づいて第１および第２の画像データの部分的照合を行うステップとからなる画像照合方法である。
【００３３】
請求項４に記載の発明は、第１の画像データを複数の基準ブロックへ分割する手段と、
基準ブロックを複数の基準小ブロックへ分割する手段と、
第２の画像データを複数の検査ブロックへ分割する手段と、
検査ブロックを複数の検査小ブロックへ分割する手段と、
基準小ブロック内の所定の位置の画素データを第１の代表画素データとしてそれぞれ抽出する手段と、
検査小ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出する手段と、
第１の代表画素データの値が第１の特徴量データの示す範囲内に存在する場合に０となり、第１の代表画素データの値が範囲内に存在しない場合に第１の代表画素データの値と最大値または最小値との差分となる評価値を複数の検査小ブロックについてそれぞれ求め、求められた評価値を積算して第１の評価値を生成する手段と、
検査小ブロック内の所定の位置の画素データを第２の代表画素データとして抽出する手段と、
第２の代表画素データと対応する画素データを含む基準小ブロックについて、該基準小ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出する手段と、
第２の代表画素データの値が第２の特徴量データの示す範囲内に存在する場合に０となり、第２の代表画素データの値が範囲内に存在しない場合に第２の代表画素データの値と最大値または最小値との差分となる評価値を複数の基準小ブロックについてそれぞれ求め、求められた評価値を積算して第２の評価値を生成する手段と、
第１および第２の評価値を加算した総合評価値を生成し、総合評価値の大小に基づいて第１および第２の画像データの部分的照合を行う手段とからなる画像照合装置である。
【００３４】
【作用】
基準ブロックの例えば中央位置の画素データを代表画素データｘa として抽出し、代表画素データｘa と検査ブロックの特徴量とを比較する。検査ブロックの例えば最大値ＭＡＸ２および最小値ＭＩＮ２が検出され、ＭＡＸ２およびＭＩＮ２の範囲に代表画素データｘa の値が含まれるかどうかの比較がなされる。これが順方向の照合である。逆方向の照合は、検査ブロックから抽出された代表画素データｘb と基準ブロックの最大値ＭＡＸ１および最小値ＭＩＮ１を使用してなされる。順方向および逆方向の照合結果に基づいて総合評価値が形成され、総合評価値に基づいて照合の程度が調べられる。このように、演算量が低減でき、また、位相ずれの問題を解決することができ、さらに、照合の精度を向上することができる。
【００３５】
代表画素データと特徴量とを比較して、照合を行う他に、基準ブロックと検査ブロック間で、領域同士の照合を行うことができる。この場合にも、双方向の照合が行われ、照合の精度を向上することができる。
【００３６】
【実施例】
以下、この発明を動きベクトル検出装置に対して適用した一実施例について図面を参照して説明する。図１は、一実施例のブロック図であり、図１において、１が現フレームの画像データの入力端子、２が参照フレームの画像データの入力端子、３が現フレームの画像データを蓄える現フレームメモリ、４が参照フレームの画像データを蓄える参照フレームメモリである。現フレームメモリ３および参照フレームの書込み／読出し動作がコントローラ５により制御される。さらに、参照フレームメモリ４と関連して設けられたアドレス移動回路６がコントローラ５によって制御され、これによって、参照フレーム内で検査ブロックが移動される。
【００３７】
図２は、この一実施例のブロック構造を説明するためのもので、基準ブロックは、（３×３）画素の構成とされている。検査ブロックも同様の構造である。順方向の照合は、基準ブロックから検査ブロックに対してなされるものであり、逆方向の照合は、検査ブロックから基準ブロックに対してなされるものである。
【００３８】
基準ブロックのデータが代表値抽出回路７ａおよびＭＡＸ１，ＭＩＮ１（最大値，最小値）検出回路８ｂに供給される。代表値抽出回路７ａは、基準ブロック毎に代表値例えば図２に示すように、各基準ブロックの中央位置の画素の値ｘa を抽出する。検査ブロックのデータが代表値抽出回路７ｂおよびＭＡＸ２，ＭＩＮ２検出回路８ａに供給される。代表値抽出回路７ｂは、検査ブロック毎に代表値例えば図２に示すように、各検査ブロックの中央位置の画素の値ｘb を抽出する。代表画素としては、これ以外に、ブロックの異なる位置の画素の値、またはブロックの最大値、最小値、極値を代表値として使用することができる。
【００３９】
ＭＡＸ１，ＭＩＮ１検出回路８ｂは、基準ブロックの特徴量としての最大値ＭＡＸ１および最小値ＭＩＮ１を検出する。ＭＡＸ２，ＭＩＮ２検出回路８ａは、検査ブロックの特徴量としての最大値ＭＡＸ２および最小値ＭＩＮ２を検出する。特徴量としては、ＭＡＸ，ＭＩＮおよびダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）の内の二つの値を使用することができる。さらに、ブロックの平均値Ａｖおよび標準偏差σを計算し、Ａｖ＋σとＡｖ−σとを特徴量として使用しても良い。
【００４０】
ブロックマッチングの対象としては、上述のような現フレームと参照フレーム（現フレームに対して時間的に前あるいは後のフレーム）に限られない。例えば２枚の静止画像間で動きベクトルを検出する場合、または解像度が異なる画像同士の間で動きベクトルを検出する場合に対しても、この発明を適用することができる。さらに、動きベクトルの検出に限らず、二つの静止画像間で照合をとる場合、例えば集合写真に相当する静止画像を参照画像とし、特定の人物の写真を注目画像とし、注目画像が参照画像中のどの位置に存在しているかを検出するような画像照合に対しても適用できる。この例では、参照画像の全体が探索範囲となる。
【００４１】
検出回路８ａ、８ｂの一例を図３に示す。入力端子２１からは、検出回路８ａの場合では、検査ブロックの画素データが供給され、検出回路８ｂの場合では、基準ブロックの画素データが供給される。検出回路８ａおよび８ｂは、同じ構成であるので、図３では、特に区別しないで示されており、ＭＡＸ１およびＭＡＸ２が単にＭＡＸとして示され、ＭＩＮ１およびＭＩＮ２がＭＩＮとして示されている。入力データがタイミング生成回路２２、選択回路２３および２４にそれぞれ供給される。タイミング生成回路２２は、画素データと同期したサンプルクロックおよびブロックの区切りを示すブロックタイミング信号を発生する。
【００４２】
選択回路２３は、二つの画素データの内のより大きな値の画素データを選択的に出力し、選択回路２４は、二つの画素データの内のより小さな値の画素データを選択的に出力する。選択回路２３の出力データがラッチ２５およびレジスタ２７に供給され、選択回路２４の出力データがラッチ２６およびレジスタ２８に供給される。レジスタ２７および２８の出力が選択回路２３および２４に入力される。ラッチ２５から出力端子２９にそのブロックの画素の最大値ＭＡＸが取り出され、ラッチ２６から出力端子３０にそのブロックの画素の最小値ＭＩＮが取り出される。
【００４３】
レジスタ２７は、一つのブロックの画素データが入力される前の初期状態では、ゼロにクリアされている。そして、選択回路２３の出力がレジスタ２７に取り込まれ、レジスタ２７の出力および入力画素データの内のより大きな値が選択回路２３によって選択されるので、次の画素データが到来する時には、以前の画素データの最大値がレジスタ２７に保持されている。そして、一つのブロックの選択画素データが入力された時に、選択回路２３がそのブロックの最大値ＭＡＸを出力する。このＭＡＸがラッチ２５に取り込まれる。最小値ＭＩＮの検出も同様になされ、出力端子３０にブロックのＭＩＮが取り出される。
【００４４】
代表値ｘa と検出されたＭＡＸ２およびＭＩＮ２は、比較回路９ａおよび評価値計算回路１０ａにそれぞれ供給される。比較回路９ａの比較結果によって、評価値計算回路１０ａが制御される。代表値ｘb と検出されたＭＡＸ１およびＭＩＮ１は、比較回路９ｂおよび評価値計算回路１０ｂにそれぞれ供給される。比較回路９ｂの比較結果によって、評価値計算回路１０ｂが制御される。評価値計算回路１０ａは、順方向の照合に基づくブロック毎の評価値を発生し、評価値計算回路１０ｂは、逆方向の照合に基づくブロック毎の評価値を発生する。比較回路９ａ、９ｂおよび評価値計算回路１０ａ、１０ｂの処理をソフトウェア処理で行う時のフローチャートが図４に示される。図４および後述の図５では、図３の場合と同様に、代表画素ｘa 、ｘb をｘで表し、ＭＡＸ１，ＭＡＸ２をＭＡＸで表し、ＭＩＮ１，ＭＩＮ２をＭＩＮで表す。
【００４５】
比較処理が開始されると、ステップ３１において、ｘ＞ＭＡＸが調べられる。若し、この関係が成立する（Ｙ）時には、ステップ３２へ処理が移り、評価値Δ＝ｘ−ＭＡＸが生成される。ステップ３１の結果が否定（Ｎ）の時には、ステップ３３において、ｘ＜ＭＩＮの関係が成立するかどうかが調べられる。これが成立する時には、Δ＝ＭＩＮ−ｘが生成される。ステップ３３における関係が成立しない時、すなわち、ＭＩＮ≦ｘ≦ＭＡＸの時には、Δ＝０（ステップ３５）とされる。このように生成された評価値Δが出力される（ステップ３６）。
【００４６】
図５は、比較回路９（９ａ、９ｂ）および評価値計算回路１０（１０ａ、１０ｂ）をハードウエアで構成した時のブロック図である。比較回路９には、代表値ｘ、ＭＡＸおよびＭＩＮが供給され、２ビットの比較出力が発生する。この比較出力が選択回路４１を制御する。選択回路４１の入力端子ａには、減算回路４２からのｘ−ＭＡＸが供給される。その入力端子ｂには、ゼロデータが供給される。その入力端子ｃには、減算回路４３からのＭＩＮ−ｘが供給される。
【００４７】
比較回路９の２ビットの出力は、ｘ＞ＭＡＸ、ｘ＜ＭＩＮ、ＭＩＮ≦ｘ≦ＭＡＸの３つの関係を指示するものであって、各関係に応じて入力端子ａ、ｂ、ｃが選択され、上述と同様の評価値Δが生成される。評価値計算回路１０で生成された評価値Δが累算回路１９に供給され、累算回路１９の出力が評価値メモリ１１に格納される。
【００４８】
評価値Δは、図６Ａに示すように、代表値が相手方のブロックの画素のＭＩＮおよびＭＡＸの間の範囲に含まれる時に、０であり、ＭＩＮより小さい時およびＭＡＸより大きい時には、次第に大きくなる値である。実際には、ノイズが存在するので、ノイズマージンを設定し、図６Ａにおける破線のような変化を呈する評価値Δを形成しても良い。なお、図５の構成は、一例であって、ゲート回路あるいは２入力の選択回路の組合せ等によって、種々の構成が可能である。また、評価値としては、差分の絶対値、差分のｎ乗値等を使用しても良い。
【００４９】
評価値計算回路１０ａからの順方向照合の結果の評価値Δａと評価値計算回路１０ｂからの逆方向照合の結果の評価値Δｂとが加算回路１４において加算される。この場合、単純な加算ではなく、重み付け加算を行うようにしても良い。加算回路１４からの総合評価値（Δａ＋Δｂ）が評価値メモリ１１に格納される。この総合評価値は、所定の探索範囲内の各ブロックについてそれぞれ計算される。例えば、図６Ｂに示すように、６個のブロックと対応する６個の総合評価値Δ１〜Δ６が求められ、これらが評価値メモリ１１に格納される。
【００５０】
図１に戻って説明すると、評価値メモリ１１への総合評価値の格納は、コントローラ５により制御される。そして、所定の探索範囲（図６Ｂでは、９×９の範囲）で総合評価値がそれぞれ求められ、総合評価値の中の最小値が最小値検出回路１２において検出される。最小値の存在する位置がその基準ブロックの動きベクトルである。
【００５１】
次に、この発明の他の実施例について説明する。図７は、他の実施例の構成を示し、上述の一実施例の構成（図１のブロック図）と対応する部分には、同一符号を付して示す。図１の構成に対して、現フレームメモリ３および参照フレームメモリ４に対してそれぞれ小ブロック化回路１７ａおよび１７ｂが接続され、また、加算回路１４に対して累算回路１６が接続される点が相違している。
【００５２】
他の実施例では、図８に示すように、（３×３）画素の領域を小ブロックとして扱い、小ブロックを縦横に３個ずつ並べた（９×９）画素の領域を基準ブロックおよび検査ブロックとして扱う。図８では、基準ブロックについては、各小ブロックの中央位置の代表画素のみが示されている。そして、基準ブロックの小ブロックの代表値ｘa が検査ブロックの小ブロックのＭＡＸ２，ＭＩＮ２と比較され、上述の一実施例と同様に順方向の評価値Δａが小ブロック毎に計算される。逆方向の評価値Δb も同様に小ブロック毎に求められる。そして、Δａ＋Δｂによって、小ブロック毎の総合評価値Δが形成される。
【００５３】
基準小ブロックとある位置の検査小ブロックとの比較および評価値の計算の結果、Δ１〜Δ９の総合評価値が小ブロック毎に得られる。この評価値が累算回路１６において累算される。すなわち、ΣΔ＝Δ１＋Δ２＋・・・・＋Δ９の累算がなされる。検査ブロックが探索範囲内で移動され、各探索点において、総合評価値の累算値が求められる。この累算評価値の中の最小値が最小値検出回路１２により検出され、その最小値を生じさせる検査ブロックの位置と対応する動きベクトルが出力端子１３に取り出される。
【００５４】
図９は、例えば±５の探索範囲（一点鎖線で示す）の一部を示す。基準ブロックの右下の頂点を基準として考え、３画素毎に目盛られた座標軸（ｘ，ｙ）が描かれている。なお、基準の点は、より好ましくは、ブロック内のより中心に近い点に設定される。例えば図９に示すような（＋５，＋５）の位置の検査ブロックが最小の累算評価値を生じさせる時には、（＋１５（＝５×３），＋１５（＝５×３））の動きベクトルが出力される。
【００５５】
上述の一実施例および他の実施例は、要約すると、ブロックの代表画素と対応ブロック（領域）間の照合をとるもので、ブロックの画素の全てを代表する量として、例えば最大値および最小値を求めている。代表画素の値がこの間に存在しない場合には、基準ブロックと検査ブロックの照合の可能性はない。従来では、探索点を減少させる簡略化を行うと、位相ずれによって誤検出が生じる問題があった。この発明は、探索点を例えば３画素毎に減少させても、フルサーチと等価な処理、すなわち、位相ずれを生じない照合を行うことができる。
【００５６】
図１０は、この発明が位相ずれを生じないことを説明するものである。簡単のために、ａ、ｂ、ｃの値をそれぞれ有する３画素からなる１次元ブロックを考える。破線は、３画素毎に描かれている。この１次元ブロックを基準ブロックとして考え、その中央位置の画素の値ｂが代表値である。図１０では、基準ブロックが静止、＋１画素の動き、−１画素の動き、＋２画素の動き、＋３画素の動き、＋４画素の動きがそれぞれ示されている。
【００５７】
この図１０から分かるように、±１画素の動きの場合でも、代表値ｂが３画素の区切りの中に存在している。従って、±１画素の動きの場合でも、検査ブロックとの照合がとれ、評価値Δが０となる。＋２画素、＋３画素、＋４画素の動きは、次の検査ブロックとの照合によって、検出することができる。従って、検査ブロック（小ブロック）の区切りをオーバーラップさせる必要がない。従来の探索点の簡略化では、静止並びに探索点の間隔の倍数の動きしか正確に検出することができなかった。この発明は、かかる位相ずれを補償することができる。
【００５８】
次に、この発明のさらに他の実施例について説明する。以下に述べる二つの実施例では、ブロック間の照合をとる時に、領域対領域で比較するものである。他の実施例のブロック構成を図１２に示す。基準ブロックは、例えば（２×４）画素の大きさである。検査ブロックは、基準ブロックと同様に、（２×４）画素の領域である。修正検査ブロックは、後述のように、位相補償範囲の±１ラインおよび±２画素を検査ブロックに付加した領域である。順方向照合時では、この基準ブロックと修正検査ブロックとの照合が行われ、逆方向照合時では、図１２に示すように、検査ブロックおよび修正基準ブロックとの照合が行われる。
【００５９】
上述の一実施例（図１）および他の実施例（図７）における代表値抽出回路７ａ、７ｂの代わりに、更に他の実施例では、基準ブロックの画素データがＭＡＸ３，ＭＩＮ３検出回路１５ａおよび検査ブロックのＭＡＸ４，ＭＩＮ４検出回路１５ｂが設けられる。また、ＭＡＸ２，ＭＩＮ２検出回路８ａは、修正検査ブロック毎に最大値ＭＡＸ２および最小値ＭＩＮ２を特徴量として抽出し、ＭＡＸ１，ＭＩＮ１検出回路８ｂは、修正基準ブロック毎に最大値ＭＡＸ１および最小値ＭＩＮ１を特徴量として抽出する。
【００６０】
ＭＡＸ３，ＭＩＮ３検出回路１５ａによって検出されたＭＡＸ３およびＭＩＮ３と、ＭＡＸ２，ＭＩＮ２検出回路８ａによって検出されたＭＡＸ２およびＭＩＮ２とが比較回路９ａおよび評価値計算回路１０ａに供給される。同様に、ＭＡＸ１，ＭＩＮ１とＭＡＸ４，ＭＩＮ４とが比較回路９ｂおよび評価値計算回路１０ｂに供給される。比較回路９ａおよび評価値計算回路１０ａの処理をソフトウェア処理で行う時のフローチャートが図１２に示される。
【００６１】
比較処理が開始されると、ステップ１３１において、ＭＡＸ３＞ＭＡＸ２が成立するかどうかが調べられる。若し、この関係が成立しない（Ｎ）時（すなわち、ＭＡＸ２≧ＭＡＸ３の時）には、ステップ１３２へ処理が移り、評価値Δ１＝０とされる。そして、次に、ＭＩＮ３＜ＭＩＮ２が成立するかどうかが調べられる（ステップ１３３）。若し、この関係が成立しない（Ｎ）時（すなわち、ＭＩＮ３≧ＭＩＮ２の時）には、ステップ１３４へ処理が移り、評価値Δ２＝０とされる。従って、評価値Δ１＝０、Δ２＝０（ステップ１３５ａ）である。これは、基準ブロックの最小値ＭＩＮ３および最大値ＭＡＸ３が修正検査ブロックＭＩＮ２および最大値ＭＡＸ２の範囲内に含まれ、基準ブロックと検査ブロックとの照合が成立したと判断されることを意味する。若し、ステップ１３３の結果が肯定の場合では、Δ１＝０、Δ２＝ＭＩＮ２−ＭＩＮ３の評価値が生成される（ステップ１３５ｂ）。
【００６２】
ステップ１３１の結果が肯定（Ｙ）の時には、ステップ１３６において、ＭＩＮ３＜ＭＩＮ２の関係が成立するかどうかが調べられる。これが成立しない時（すなわち、ＭＩＮ３≧ＭＩＮ２の時）には、Δ２＝０とされ（ステップ１３７）、Δ１＝ＭＡＸ３−ＭＡＸ２，Δ２＝０の評価値が生成される（ステップ１３５ｃ）。ステップ１３６の結果が肯定の時には、Δ１＝ＭＡＸ３−ＭＡＸ２，Δ２＝ＭＩＮ２−ＭＩＮ３の評価値が生成される（ステップ１３５ｄ）。
【００６３】
図１４は、比較回路９ａおよび評価値計算回路１０ａをハードウエアで構成した時のブロック図である。比較回路９ａには、基準ブロックのＭＡＸ３およびＭＩＮ３と修正検査ブロックのＭＡＸ２およびＭＩＮ２が供給され、二つの比較出力が発生する。これらの比較出力が選択回路１４１および１４２を制御する。選択回路１４１の入力端子ａには、減算回路１４５からのＭＡＸ３−ＭＡＸ２が供給され、その入力端子ｂには、ゼロデータが供給される。選択回路１４２の入力端子ａには、減算回路１４６からのＭＩＮ２−ＭＩＮ３が供給され、その入力端子ｂには、ゼロデータが供給される。
【００６４】
比較回路９の一方の出力は、ＭＡＸ３＞ＭＡＸ２の時には、選択回路１４１が入力端子ａ（すなわち、ＭＡＸ３−ＭＡＸ２）を選択するように制御し、ＭＡＸ３＜ＭＡＸ２の時には、選択回路１４１が入力端子ｂ（すなわち、ゼロデータ）を選択するように制御する。比較回路９の他方の出力は、ＭＩＮ３＜ＭＩＮ２の時には、選択回路１４２が入力端子ａ（すなわち、ＭＩＮ２−ＭＩＮ３）を選択するように制御し、ＭＩＮ３≧ＭＩＮ２の時には、選択回路１４２が入力端子ｂ（すなわち、ゼロデータ）を選択するように制御する。選択回路１４１からの評価値Δ１と選択回路１４２からの評価値Δ２とが加算回路１４３に供給される。選択回路１４３からのΔ１＋Δ２の出力が出力端子１４４に取り出される。
【００６５】
評価値Δ１およびΔ２は、図１５に示すように変化する。評価値Δ１は、ＭＡＸ３がＭＡＸ２よりも小さい範囲では、０であり、ＭＡＸ２よりも大きくなるに従って、その値が大きくなる。また、評価値Δ２は、ＭＩＮ３がＭＩＮ２よりも大きい範囲では、０であり、ＭＩＮ２よりも小さくなるに従って、その値が大きくなる。実際には、ノイズが存在するので、ノイズマージンを設定し、図１５における破線のような変化を呈する評価値Δ１およびΔ２を形成しても良い。なお、図１４の構成は、一例であって、種々の構成が可能である。また、評価値としては、差分の絶対値、差分のｎ乗値等を使用しても良い。
【００６６】
比較回路９ｂおよび評価値計算回路１０ｂは、上述した順方向の照合のための比較回路９ａおよび評価値計算回路１０ａと同様に構成されており、評価値計算回路１０ｂからは、逆方向の照合の結果の評価値が発生する。そして、上述したように、加算回路１４によって総合評価値が形成され、この総合評価値が評価値メモリ１１に格納される。この総合評価値の中の最小値が最小値検出回路１２によって検出され、検出された最小値の位置と対応する動きベクトルが出力端子１３に取り出される。
【００６７】
次に、この発明のよりさらに他の実施例について説明する。図１６は、その構成を示し、上述の他の実施例の構成（図７のブロック図）と対応する部分には、同一符号を付して示す。図１６では、図１１の構成と比較して、現フレームメモリ３および参照フレームメモリ４に対してそれぞれ小ブロック化回路１７ａおよび１７ｂが接続され、また、加算回路１４に対して累算回路１６が接続される点が相違している。
【００６８】
よりさらに他の実施例では、上述の他の実施例では、基準ブロックとして説明した大きさの（２×４）画素の領域を小ブロックとして扱い、小ブロックを縦横に４個ずつ並べた（８×１６）画素の領域（上述一実施例では、探索範囲として説明した）を基準ブロックおよび検査ブロックとして扱う。そして、順方向の照合時には、基準ブロックの小ブロックのＭＡＸ３およびＭＩＮ３が検査ブロックの修正小ブロックのＭＡＸ２およびＭＩＮ２と比較され、上述の一実施例と同様に評価値が小ブロック毎に計算される。
【００６９】
また、逆方向の照合時には、検査ブロックのＭＡＸ４，ＭＩＮ４が修正基準小ブロックのＭＡＸ１，ＭＩＮ１と比較され、評価値が小ブロック毎に計算される。これらの順および逆方向の照合の結果発生する小ブロック毎の評価値が加算回路１４で加算され、加算結果が累算回路１６によって、累算される。累算回路１６から総合評価値がブロック毎に形成される。図１７のように、ブロックの大きさとして、小ブロックの縦横に４個ずつ並べた構成のブロックの場合、小ブロック毎に評価値Δ１〜Δ１６が形成される。Δ１〜Δ１６を累算したものが総合評価値である。
【００７０】
検査ブロックが所定の探索範囲内で移動され、各探索点において、総合評価値が求められる。この総合評価値の中の最小値が最小値検出回路１２により検出され、その最小値を生じさせる検査ブロックの位置と対応する動きベクトルが出力端子１３に取り出される。
【００７１】
図１８は、例えば±５の探索範囲（一点鎖線で示す）の一部を示す。基準ブロックの例えば中心を基準の一例として考え、４画素毎に目盛られた座標軸ｘと、２画素毎に目盛られたｙ軸とが描かれている。例えば図１８に示すような（＋５，＋５）の位置の検査ブロックが最小の累算評価値を生じさせる時には、（＋２０（＝４×５），＋１０（＝２×５））の動きベクトルが出力される。
【００７２】
この発明のさらに他の実施例およびよりさらに他の実施例は、要約すると、基準ブロックの領域と検査ブロックの領域間の照合をとるもので、検査ブロックの全画素の存在範囲を表す量として、例えば最大値ＭＡＸ２および最小値ＭＩＮ２を求めている。基準ブロックのＭＡＸ３およびＭＩＮ３がこの間に存在しない場合には、両者が照合しないと判断される。従来では、探索点を減少させる簡略化を行うと、位相ずれによって誤検出が生じる問題があった。この発明は、探索点を例えば数画素毎に減少させても、フルサーチと等価な処理、すなわち、位相ずれを生じない照合を行うことができる。
【００７３】
図１９は、この領域間の照合が位相ずれを生じないことを説明するものである。簡単のために、ａ、ｂ、ｃ、ｄの値をそれぞれ有する４画素からなる１次元ブロックを考える。破線は、４画素毎に描かれている。この１次元ブロックを基準ブロックとして考える。図１９では、基準ブロックが＋１画素の動き、＋２画素の動き、＋３画素の動き、＋４画素の動きがそれぞれ示されている。
【００７４】
この図１９から分かるように、領域同士を比較する時に、検査ブロックが基準ブロックと同じ大きさの場合では、＋１画素、＋２画素、＋３画素、＋４画素の動きの場合には、誤照合が発生する可能性がある。しかしながら、４画素の大きさの場合では、検査ブロックに対して、左右に２画素分の拡張領域を付加しているので、誤照合を防止できる。＋３画素および＋４画素の動きは、次の基準ブロックに関する照合によって、照合をとることができる。どの程度の幅を検査ブロックに対して付加するかは、ブロックの大きさによって変化する。従来の探索点の簡略化では、静止並びに探索点の間隔の倍数の動きしか正確に検出することができなかった。この発明は、かかる位相ずれを補償することができる。
【００７５】
この発明の具体的構成は、上述した実施例の構成以外に種々のものが可能である。例えば過渡成分を考慮して簡略化による誤検出を防止する方式を併用しても良い。また、動きベクトルを求める時に、動きベクトルの精度を１画素ではなく、ハーフペル精度とするようにしても良い。
【００７６】
【発明の効果】
この発明は、探索点を簡略化するのと同様に、演算量および比較回数を大幅に減少することができる。これと共に、位相ずれによる誤検出を防止することができる。また、この発明は、照合時に順方向および逆方向の照合を行ない、この双方向の照合の結果に基づいて評価値を形成するので、検出精度を向上することができる。
【図面の簡単な説明】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】この発明の一実施例におけるブロックの構成を示す略線図である。
【図３】この発明の一実施例における最大値，最小値検出回路の一例のブロック図である。
【図４】代表画素の値と最大値，最小値の比較処理および評価値生成の処理を示すフローチャートである。
【図５】代表画素の値と最大値，最小値の比較回路および評価値生成回路の一例のブロック図である。
【図６】評価値および探索範囲の説明に用いる略線図である。
【図７】この発明の他の実施例のブロック図である。
【図８】この発明の他の実施例における総合評価値の形成の説明に用いる略線図である。
【図９】この発明の他の実施例の探索範囲の一部を示す略線図である。
【図１０】この発明の他の実施例による位相補償を説明するための略線図である。
【図１１】この発明のさらに他の実施例のブロック図である。
【図１２】この発明のさらに他の実施例のブロック構成を示す略線図である。
【図１３】この発明のさらに他の実施例における評価値の生成を説明するためのフローチャートである。
【図１４】この発明のさらに他の実施例における評価値の生成のための構成の一例のブロック図である。
【図１５】この発明のさらに他の実施例における評価値の説明のための略線図である。
【図１６】この発明のよりさらに他の実施例のブロック構成を示す略線図である。
【図１７】この発明のよりさらに他の実施例における総合評価値の生成を説明するための略線図である。
【図１８】この発明のよりさらに他の実施例における探索範囲の一部を示す略線図である。
【図１９】この発明のよりさらに他の実施例による位相補償を説明するための略線図である。
【図２０】この発明を適用することができる動き補償予測符号化装置の一例を示すブロック図である。
【図２１】従来のブロックマッチング法による動きベクトル検出方法の説明のための略線図である。
【図２２】従来のブロックマッチング法による動きベクトル検出方法の説明のための略線図である。
【図２３】従来のブロックマッチング法による動きベクトル検出方法における探索範囲の説明のための略線図である。
【図２４】従来のブロックマッチング法による動きベクトル検出装置の一例のブロック図である。
【図２５】従来のブロックマッチング法による動きベクトル検出をより具体的に説明するための略線図である。
【図２６】従来の間引き法によるブロックマッチングの説明のための略線図である。
【図２７】先に提案されている誤照合を防止する手法の説明のための略線図である。
【図２８】従来の簡略化されたブロックマッチング方式の問題点を説明するための略線図である。
【符号の説明】
３ 現フレームメモリ
４ 参照フレームメモリ
７ａ，７ｂ 代表値抽出回路
８ａ，８ｂ 最大値，最小値検出回路
９ａ，９ｂ 比較回路
１０ａ，１０ｂ 評価値計算回路
１２ 最小値検出回路
Claims (19)
- 第１の画像データを複数の基準ブロックへ分割するステップと、
第２の画像データを複数の検査ブロックへ分割するステップと、
上記基準ブロック内の所定の位置の画素データを第１の代表画素データとして抽出するステップと、
上記検査ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出するステップと、
上記第１の代表画素データの値が上記第１の特徴量データの示す上記範囲内に存在する場合に０となり、上記第１の代表画素データの値が上記範囲内に存在しない場合に上記第１の代表画素データの値と上記最大値または上記最小値との差分となる第１の評価値を生成するステップと、
上記検査ブロック内の所定の位置の画素データを第２の代表画素データとして抽出するステップと、
上記第２の代表画素データと対応する画素データを含む上記基準ブロックについて、該基準ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出するステップと、
上記第２の代表画素データの値が上記第２の特徴量データの示す上記範囲内に存在する場合に０となり、上記第２の代表画素データの値が上記範囲内に存在しない場合に上記第２の代表画素データの値と上記最大値または上記最小値との差分となる第２の評価値を生成するステップと、
上記第１および第２の評価値を加算した総合評価値を生成し、上記総合評価値の大小に基づいて上記第１および上記第２の画像データの部分的照合を行うステップとからなる画像照合方法。 - 第１の画像データを複数の基準ブロックへ分割する手段と、
第２の画像データを複数の検査ブロックへ分割する手段と、
上記基準ブロック内の所定の位置の画素データを第１の代表画素データとして抽出する手段と、
上記検査ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出する手段と、
上記第１の代表画素データの値が上記第１の特徴量データの示す上記範囲内に存在する場合に０となり、上記第１の代表画素データの値が上記範囲内に存在しない場合に上記第１の代表画素データの値と上記最大値または上記最小値との差分となる第１の評価値を生成する手段と、
上記検査ブロック内の所定の位置の画素データを第２の代表画素データとして抽出する手段と、
上記第２の代表画素データと対応する画素データを含む上記基準ブロックについて、該基準ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出する手段と、
上記第２の代表画素データの値が上記第２の特徴量データの示す上記範囲内に存在する場合に０となり、上記第２の代表画素データの値が上記範囲内に存在しない場合に上記第２の代表画素データの値と上記最大値または上記最小値との差分となる第２の評価値を生成する手段と、
上記第１および第２の評価値を加算した総合評価値を生成し、上記総合評価値の大小に基づいて上記第１および第２の画像データの部分的照合を行う手段とからなる画像照合装置。 - 第１の画像データを複数の基準ブロックへ分割するステップと、
上記基準ブロックを複数の基準小ブロックへ分割するステップと、
第２の画像データを複数の検査ブロックへ分割するステップと、
上記検査ブロックを複数の検査小ブロックへ分割するステップと、
上記基準小ブロック内の所定の位置の画素データを第１の代表画素データとしてそれぞれ抽出するステップと、
上記検査小ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出するステップと、
上記第１の代表画素データの値が上記第１の特徴量データの示す上記範囲内に存在する場合に０となり、上記第１の代表画素データの値が上記範囲内に存在しない場合に上記第１の代表画素データの値と上記最大値または上記最小値との差分となる評価値を複数の上記検査小ブロックについてそれぞれ求め、求められた上記評価値を積算して第１の評価値を生成するステップと、
上記検査小ブロック内の所定の位置の画素データを第２の代表画素データとして抽出するステップと、
上記第２の代表画素データと対応する画素データを含む上記基準小ブロックについて、該基準小ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出するステップと、
上記第２の代表画素データの値が上記第２の特徴量データの示す上記範囲内に存在する場合に０となり、上記第２の代表画素データの値が上記範囲内に存在しない場合に上記第２の代表画素データの値と上記最大値または上記最小値との差分となる評価値を複数の上記基準小ブロックについてそれぞれ求め、求められた上記評価値を積算して第２の評価値を生成するステップと、
上記第１および第２の評価値を加算した総合評価値を生成し、上記総合評価値の大小に基づいて上記第１および上記第２の画像データの部分的照合を行うステップとからなる画像照合方法。 - 第１の画像データを複数の基準ブロックへ分割する手段と、
上記基準ブロックを複数の基準小ブロックへ分割する手段と、
第２の画像データを複数の検査ブロックへ分割する手段と、
上記検査ブロックを複数の検査小ブロックへ分割する手段と、
上記基準小ブロック内の所定の位置の画素データを第１の代表画素データとしてそれぞれ抽出する手段と、
上記検査小ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出する手段と、
上記第１の代表画素データの値が上記第１の特徴量データの示す上記範囲内に存在する場合に０となり、上記第１の代表画素データの値が上記範囲内に存在しない場合に上記第１の代表画素データの値と上記最大値または上記最小値との差分となる評価値を複数の上記検査小ブロックについてそれぞれ求め、求められた上記評価値を積算して第１の評価値を生成する手段と、
上記検査小ブロック内の所定の位置の画素データを第２の代表画素データとして抽出する手段と、
上記第２の代表画素データと対応する画素データを含む上記基準小ブロックについて、該基準小ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出する手段と、
上記第２の代表画素データの値が上記第２の特徴量データの示す上記範囲内に存在する場合に０となり、上記第２の代表画素データの値が上記範囲内に存在しない場合に上記第２の代表画素データの値と上記最大値または上記最小値との差分となる評価値を複数の上記基準小ブロックについてそれぞれ求め、求められた上記評価値を積算して第２の評価値を生成する手段と、
上記第１および第２の評価値を加算した総合評価値を生成し、上記総合評価値の大小に基づいて上記第１および上記第２の画像データの部分的照合を行う手段とからなる画像照合装置。 - 第１の画像データをそれぞれが検査ブロックと同一の大きさの複数の基準ブロックへ分割するステップと、
第２の画像データを複数の上記基準ブロックと同一の大きさの検査ブロックへ分割すると共に、上記検査ブロックを所定画素数拡大した修正検査ブロックを構成するステップと、
上記基準ブロック内の全画素の値の最小値ＭＩＮ３から最大値ＭＡＸ３までの範囲を示す第１の特徴量データを抽出するステップと、
上記修正検査ブロックの全画素の値の最小値ＭＩＮ２から最大値ＭＡＸ２までの範囲を示す第２の特徴量データを抽出するステップと、
上記第１の特徴量データの上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれが上記第２の特徴量データの上記最小値ＭＩＮ２および最大値ＭＡＸ２の範囲内に存在する場合に０となり、上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれが上記範囲内に存在しない場合に、上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれと、上記第２の特徴量データの上記最小値ＭＩＮ２および上記最大値ＭＡＸ２のそれぞれとの差分の加算値となる第１の評価値を生成するステップと、
上記基準ブロックを所定画素数拡大した修正基準ブロックを構成するステップと、
上記検査ブロックの全画素の値の最小値ＭＩＮ４から最大値ＭＡＸ４までの範囲を示す第３の特徴量データを抽出するステップと、
上記修正基準ブロックの全画素の値の最小値ＭＩＮ１から最大値ＭＡＸ１までの範囲を示す第４の特徴量データを抽出するステップと、
上記第３の特徴量データの上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれが上記第４の特徴量データの上記最小値ＭＩＮ１および最大値ＭＡＸ１の範囲内に存在する場合に０となり、上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれが上記範囲内に存在しない場合に、上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれと、上記第３の特徴量データの上記最小値ＭＩＮ１および上記最大値ＭＡＸ１のそれぞれとの差分の加算値となる第２の評価値を生成するステップと、
上記第１および第２の評価値を加算した総合評価値を生成し、上記総合評価値の大小に基づいて上記第１および第２の画像データの部分的照合を行うステップとからなる画像照合方法。 - 第１の画像データをそれぞれが検査ブロックと同一の大きさの複数の基準ブロックへ分割する手段と、
第２の画像データを複数の上記基準ブロックと同一の大きさの検査ブロックへ分割すると共に、上記検査ブロックを所定画素数拡大した修正検査ブロックを構成する手段と、
上記基準ブロック内の全画素の値の最小値ＭＩＮ３から最大値ＭＡＸ３までの範囲を示す第１の特徴量データを抽出する手段と、
上記修正検査ブロックの全画素の値の最小値ＭＩＮ２から最大値ＭＡＸ２までの範囲を示す第２の特徴量データを抽出する手段と、
上記第１の特徴量データの上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれが上記第２の特徴量データの上記最小値ＭＩＮ２および最大値ＭＡＸ２の範囲内に存在する場合に０となり、上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれが上記範囲内に存在しない場合に、上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれと、上記第２の特徴量データの上記最小値ＭＩＮ２および上記最大値ＭＡＸ２のそれぞれとの差分の加算値となる第１の評価値を生成する手段と、
上記基準ブロックを所定画素数拡大した修正基準ブロックを構成する手段と、
上記検査ブロックの全画素の値の最小値ＭＩＮ４から最大値ＭＡＸ４までの範囲を示す第３の特徴量データを抽出する手段と、
上記修正基準ブロックの全画素の値の最小値ＭＩＮ１から最大値ＭＡＸ１までの範囲を示す第４の特徴量データを抽出する手段と、
上記第３の特徴量データの上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれが上記第４の特徴量データの上記最小値ＭＩＮ１および最大値ＭＡＸ１の範囲内に存在する場合に０となり、上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれが上記範囲内に存在しない場合に、上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれと、上記第３の特徴量データの上記最小値ＭＩＮ１および上記最大値ＭＡＸ１のそれぞれとの差分の加算値となる第２の評価値を生成する手段と、
上記第１および第２の評価値を加算した総合評価値を生成し、上記総合評価値の大小に基づいて上記第１および第２の画像データの部分的照合を行う手段とからなる画像照合装置。 - 第１の画像データを複数の基準ブロックへ分割するステップと、
上記第１の画像データと時間的に異なる第２の画像データを複数の検査ブロックへ分割するステップと、
上記基準ブロック内の所定の位置の画素データを第１の代表画素データとして抽出するステップと、
上記検査ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出するステップと、
上記第１の代表画素データの値が上記第１の特徴量データの示す上記範囲内に存在する場合に０となり、上記第１の代表画素データの値が上記範囲内に存在しない場合に上記第１の代表画素データの値と上記最大値または上記最小値との差分となる第１の評価値を生成するステップと、
上記検査ブロック内の所定の位置の画素データを第２の代表画素データとして抽出するステップと、
上記第２の代表画素データと対応する画素データを含む上記基準ブロックについて、該基準ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出するステップと、
上記第２の代表画素データの値が上記第２の特徴量データの示す上記範囲内に存在する場合に０となり、上記第２の代表画素データの値が上記範囲内に存在しない場合に上記第２の代表画素データの値と上記最大値または上記最小値との差分となる第２の評価値を生成するステップと、
上記第１および第２の評価値を加算した総合評価値を生成し、所定の探索範囲内で上記検査ブロックを移動することで生成された上記総合評価値の大小に基づいて、上記基準ブロックと最も合致する上記検査ブロックの位置と対応する動きベクトルを検出するステップとからなることを特徴とする動きベクトル検出方法。 - 第１の画像データを複数の基準ブロックへ分割する手段と、
上記第１の画像データと時間的に異なる第２の画像データを複数の検査ブロックへ分割する手段と、
上記基準ブロック内の所定の位置の画素データを第１の代表画素データとして抽出する手段と、
上記検査ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出する手段と、
上記第１の代表画素データの値が上記第１の特徴量データの示す上記範囲内に存在する場合に０となり、上記第１の代表画素データの値が上記範囲内に存在しない場合に上記第１の代表画素データの値と上記最大値または上記最小値との差分となる第１の評価値を生成する手段と、
上記検査ブロック内の所定の位置の画素データを第２の代表画素データとして抽出する手段と、
上記第２の代表画素データと対応する画素データを含む上記基準ブロックについて、該基準ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出する手段と、
上記第２の代表画素データの値が上記第２の特徴量データの示す上記範囲内に存在する場合に０となり、上記第２の代表画素データの値が上記範囲内に存在しない場合に上記第２の代表画素データの値と上記最大値または上記最小値との差分となる第２の評価値を生成する手段と、
上記第１および第２の評価値を加算した総合評価値を生成し、所定の探索範囲内で上記検査ブロックを移動することで生成された上記総合評価値の大小に基づいて、上記基準ブロックと最も合致する上記検査ブロックの位置と対応する動きベクトルを検出する手段とからなることを特徴とする動きベクトル検出装置。 - 第１の画像データを複数の基準ブロックへ分割するステップと、
上記基準ブロックを複数の基準小ブロックへ分割するステップと、
上記第１の画像データと時間的に異なる第２の画像データを複数の検査ブロックへ分割するステップと、
上記検査ブロックを複数の検査小ブロックへ分割するステップと、
上記基準小ブロック内の所定の位置の画素データを第１の代表画素データとしてそれぞれ抽出するステップと、
上記検査小ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出するステップと、
上記第１の代表画素データの値が上記第１の特徴量データの示す上記範囲内に存在する場合に０となり、上記第１の代表画素データの値が上記範囲内に存在しない場合に上記第１の代表画素データの値と上記最大値または上記最小値との差分となる評価値を複数の上記検査小ブロックについてそれぞれ求め、求められた上記評価値を積算して第１の評価値を生成するステップと、
上記検査小ブロック内の所定の位置の画素データを第２の代表画素データとして抽出するステップと、
上記第２の代表画素データと対応する画素データを含む上記基準小ブロックについて、該基準小ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出するステップと、
上記第２の代表画素データの値が上記第２の特徴量データの示す上記範囲内に存在する場合に０となり、上記第２の代表画素データの値が上記範囲内に存在しない場合に上記第２の代表画素データの値と上記最大値または上記最小値との差分となる評価値を複数の上記基準小ブロックについてそれぞれ求め、求められた上記評価値を積算して第２の評価値を生成するステップと、
上記第１および第２の評価値を加算した総合評価値を生成し、所定の探索範囲内で上記検査ブロックを移動することで生成された上記総合評価値の大小に基づいて、上記基準ブロックと最も合致する上記検査ブロックの位置と対応する動きベクトルを検出するステップとからなることを特徴とする動きベクトル検出方法。 - 第１の画像データを複数の基準ブロックへ分割する手段と、
上記基準ブロックを複数の基準小ブロックへ分割する手段と、
上記第１の画像データと時間的に異なる第２の画像データを複数の検査ブロックへ分割する手段と、
上記検査ブロックを複数の検査小ブロックへ分割する手段と、
上記基準小ブロック内の所定の位置の画素データを第１の代表画素データとしてそれぞれ抽出する手段と、
上記検査小ブロック内の全画素の値の最小値から最大値までの範囲を示す第１の特徴量データを抽出する手段と、
上記第１の代表画素データの値が上記第１の特徴量データの示す上記範囲内に存在する場合に０となり、上記第１の代表画素データの値が上記範囲内に存在しない場合に上記第１の代表画素データの値と上記最大値または上記最小値との差分となる評価値を複数の上記検査小ブロックについてそれぞれ求め、求められた上記評価値を積算して第１の評価値を生成する手段と、
上記検査小ブロック内の所定の位置の画素データを第２の代表画素データとして抽出する手段と、
上記第２の代表画素データと対応する画素データを含む上記基準小ブロックについて、該基準小ブロック内の全画素の値の最小値から最大値までの範囲を示す第２の特徴量データを抽出する手段と、
上記第２の代表画素データの値が上記第２の特徴量データの示す上記範囲内に存在する場合に０となり、上記第２の代表画素データの値が上記範囲内に存在しない場合に上記第２の代表画素データの値と上記最大値または上記最小値との差分となる評価値を複数の上記基準小ブロックについてそれぞれ求め、求められた上記評価値を積算して第２の評価値を生成する手段と、
上記第１および第２の評価値を加算した総合評価値を生成し、所定の探索範囲内で上記検査ブロックを移動することで生成された上記総合評価値の大小に基づいて、上記基準ブロックと最も合致する上記検査ブロックの位置と対応する動きベクトルを検出する手段とからなることを特徴とする動きベクトル検出装置。 - 第１の画像データをそれぞれが検査ブロックと同一の大きさの複数の基準ブロックへ分割するステップと、
上記第１の画像データと時間的に異なる第２の画像データを複数の上記基準ブロックと同一の大きさの検査ブロックへ分割すると共に、上記検査ブロックを所定画素数拡大した修正検査ブロックを構成するステップと、
上記基準ブロック内の全画素の値の最小値ＭＩＮ３から最大値ＭＡＸ３までの範囲を示す第１の特徴量データを抽出するステップと、
上記修正検査ブロックの全画素の値の最小値ＭＩＮ２から最大値ＭＡＸ２までの範囲を示す第２の特徴量データを抽出するステップと、
上記第１の特徴量データの上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれが上記第２の特徴量データの上記最小値ＭＩＮ２および最大値ＭＡＸ２の範囲内に存在する場合に０となり、上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれが上記範囲内に存在しない場合に、上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれと、上記第２の特徴量データの上記最小値ＭＩＮ２および上記最大値ＭＡＸ２のそれぞれとの差分の加算値となる第１の評価値を生成するステップと、
上記基準ブロックを所定画素数拡大した修正基準ブロックを構成するステップと、
上記検査ブロックの全画素の値の最小値ＭＩＮ４から最大値ＭＡＸ４までの範囲を示す第３の特徴量データを抽出するステップと、
上記修正基準ブロックの全画素の値の最小値ＭＩＮ１から最大値ＭＡＸ１までの範囲を示す第４の特徴量データを抽出するステップと、
上記第３の特徴量データの上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれが上記第４の特徴量データの上記最小値ＭＩＮ１および最大値ＭＡＸ１の範囲内に存在する場合に０となり、上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれが上記範囲内に存在しない場合に、上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれと、上記第３の特徴量データの上記最小値ＭＩＮ１および上記最大値ＭＡＸ１のそれぞれとの差分の加算値となる第２の評価値を生成するステップと、
上記第１および第２の評価値を加算した総合評価値を生成し、所定の探索範囲内で上記検査ブロックを移動することで生成された上記総合評価値の大小に基づいて、上記基準ブロックと最も合致する上記検査ブロックの位置と対応する動きベクトルを検出するステップとからなることを特徴とする動きベクトル検出方法。 - 第１の画像データをそれぞれが検査ブロックと同一の大きさの複数の基準ブロックへ分割する手段と、
上記第１の画像データと時間的に異なる第２の画像データを複数の上記基準ブロックと同一の大きさの検査ブロックへ分割すると共に、上記検査ブロックを所定画素数拡大した修正検査ブロックを構成する手段と、
上記基準ブロック内の全画素の値の最小値ＭＩＮ３から最大値ＭＡＸ３までの範囲を示す第１の特徴量データを抽出する手段と、
上記修正検査ブロックの全画素の値の最小値ＭＩＮ２から最大値ＭＡＸ２までの範囲を示す第２の特徴量データを抽出する手段と、
上記第１の特徴量データの上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれが上記第２の特徴量データの上記最小値ＭＩＮ２および最大値ＭＡＸ２の範囲内に存在する場合に０となり、上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれが上記範囲内に存在しない場合に、上記最小値ＭＩＮ３および上記最大値ＭＡＸ３のそれぞれと、上記第２の特徴量データの上記最小値ＭＩＮ２および上記最大値ＭＡＸ２のそれぞれとの差分の加算値となる第１の評価値を生成する手段と、
上記基準ブロックを所定画素数拡大した修正基準ブロックを構成する手段と、
上記検査ブロックの全画素の値の最小値ＭＩＮ４から最大値ＭＡＸ４までの範囲を示す第３の特徴量データを抽出する手段と、
上記修正基準ブロックの全画素の値の最小値ＭＩＮ１から最大値ＭＡＸ１までの範囲を示す第４の特徴量データを抽出する手段と、
上記第３の特徴量データの上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれが上記第４の特徴量データの上記最小値ＭＩＮ１および最大値ＭＡＸ１の範囲内に存在する場合に０となり、上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれが上記範囲内に存在しない場合に、上記最小値ＭＩＮ４および上記最大値ＭＡＸ４のそれぞれと、上記第３の特徴量データの上記最小値ＭＩＮ１および上記最大値ＭＡＸ１のそれぞれとの差分の加算値となる第２の評価値を生成する手段と、
上記第１および第２の評価値を加算した総合評価値を生成し、所定の探索範囲内で上記検査ブロックを移動することで生成された上記総合評価値の大小に基づいて、上記基準ブロックと最も合致する上記検査ブロックの位置と対応する動きベクトルを検出するステップとからなることを特徴とする動きベクトル検出装置。 - 請求項２、４、８、または１０に記載の装置において、
上記第１および第２の代表画素データがブロック内の中央位置の画素のデータであることを特徴とする装置。 - 請求項２、４、８、または１０に記載の装置において、
上記第１および第２の特徴量データが示す範囲の上記最小値および上記最大値がブロック内の複数画素の最大値、最小値およびダイナミックレンジの内の二つのデータで表されたものであることを特徴とする装置。 - 請求項２、４、８、または１０に記載の装置において、
上記第１および第２の特徴量データが示す範囲の上記最小値および上記最大値がブロック内の画素のダイナミックレンジおよび最大値若しくは最小値のうちの一方で表されたものである場合に、演算によって上記最大値および最小値を求めることを特徴とする装置。 - 請求項２、４、８、または１０に記載の装置において、
上記第１および第２の特徴量データが示す範囲の上記最小値および上記最大値がブロック内の複数画素の平均値と標準偏差の和データおよび上記平均値と標準偏差の差データで表されたものであることを特徴とする装置。 - 請求項６または１２に記載の装置において、
上記第１、第２、第３および第４の特徴量データが示す範囲の上記最小値および上記最大値がブロック内の複数画素の最大値、最小値およびダイナミックレンジの内の二つのデータで表されたものであることを特徴とする装置。 - 請求項６または１２に記載の装置において、
上記第１、第２、第３および第４の特徴量データが示す範囲の上記最小値および上記最大値がブロック内の画素のダイナミックレンジおよび最大値若しくは最小値のうちの一方で表されたものである場合に、演算によって上記最大値および最小値を求めることを特徴とする装置。 - 請求項６または１２に記載の装置において、
上記第１、第２、第３および第４の特徴量データが示す範囲の上記最小値および上記最大値がブロック内の複数画素の平均値と標準偏差の和データおよび上記平均値と標準偏差の差データで表されたものであることを特徴とする装置。
Priority Applications (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03317494A JP3908792B2 (ja) | 1994-02-04 | 1994-02-04 | 画像照合方法および装置 |
| KR1019950001876A KR100366141B1 (ko) | 1994-01-31 | 1995-01-28 | 화상대조방법및장치 |
| EP98203070A EP0895423B1 (en) | 1994-01-31 | 1995-01-30 | Image collating method and apparatus |
| US08/380,392 US5612751A (en) | 1994-01-31 | 1995-01-30 | Image collating method and apparatus |
| DE69531706T DE69531706T2 (de) | 1994-01-31 | 1995-01-30 | Verfahren und Vorrichtung zum Bildvergleich |
| DE69531510T DE69531510T2 (de) | 1994-01-31 | 1995-01-30 | Verfahren und Vorrichtung zur Bewegungsschätzung mittels Blockübereinstimmung |
| EP95300570A EP0665692B1 (en) | 1994-01-31 | 1995-01-30 | Image collating method and apparatus |
| DE69531364T DE69531364T2 (de) | 1994-01-31 | 1995-01-30 | Verfahren und Vorrichtung zum Bildvergleich |
| EP98203071A EP0893924B1 (en) | 1994-01-31 | 1995-01-30 | Method and apparatus for motion estimation using block matching |
| DE69515535T DE69515535T2 (de) | 1994-01-31 | 1995-01-30 | Verfahren und Vorrichtung zum Bildvergleich |
| EP98203069A EP0895426B1 (en) | 1994-01-31 | 1995-01-30 | Image collating method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03317494A JP3908792B2 (ja) | 1994-02-04 | 1994-02-04 | 画像照合方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07222174A JPH07222174A (ja) | 1995-08-18 |
| JP3908792B2 true JP3908792B2 (ja) | 2007-04-25 |
Family
ID=12379168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03317494A Expired - Lifetime JP3908792B2 (ja) | 1994-01-31 | 1994-02-04 | 画像照合方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3908792B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003058891A (ja) * | 1996-11-06 | 2003-02-28 | Dohme:Kk | 移動物体検出装置およびその方法 |
-
1994
- 1994-02-04 JP JP03317494A patent/JP3908792B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07222174A (ja) | 1995-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3277418B2 (ja) | 動きベクトル検出装置および方法 | |
| US4777530A (en) | Apparatus for detecting a motion of a picture of a television signal | |
| JP4004653B2 (ja) | 動きベクトル検出方法および装置、記録媒体 | |
| JP3994445B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| US5610658A (en) | Motion vector detection using hierarchical calculation | |
| US8064522B2 (en) | Motion-vector detecting device, motion-vector detecting method, and computer program | |
| US6469745B1 (en) | Image signal processor for detecting duplicate fields | |
| EP0679034B1 (en) | Apparatus and method for detecting motion vectors | |
| EP0893924B1 (en) | Method and apparatus for motion estimation using block matching | |
| US4817174A (en) | Image processing apparatus | |
| US6665340B1 (en) | Moving picture encoding/decoding system, moving picture encoding/decoding apparatus, moving picture encoding/decoding method, and recording medium | |
| JP3908792B2 (ja) | 画像照合方法および装置 | |
| JP3908793B2 (ja) | 画像照合方法および装置 | |
| JP3598526B2 (ja) | 動きベクトル検出方法及び画像データの符号化方法 | |
| JP3277419B2 (ja) | 動きベクトル検出装置および方法 | |
| JP3334317B2 (ja) | 画像照合方法および装置 | |
| JP3334316B2 (ja) | 画像照合方法および装置 | |
| JP3277417B2 (ja) | 動きベクトル検出装置および方法 | |
| WO1999038331A1 (en) | Device and method for detecting moving vector | |
| JP3490142B2 (ja) | 動画像符号化方法及び装置 | |
| JP3549175B2 (ja) | 動きベクトル検出方法および装置 | |
| JPH10257485A (ja) | 繰り返し画像検出回路及び画像符号化装置 | |
| JPH0795585A (ja) | 動きベクトル検出装置 | |
| JPH1075455A (ja) | 動きベクトル検出回路 | |
| JPH08195939A (ja) | 動画像信号の動きベクトル検出方法および動きベクトル検出回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041021 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041207 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041210 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050715 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140126 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |