JP3334316B2 - 画像照合方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、一般的には、二つの
ディジタル画像の部分的照合をとるための方法および装
置、より具体的には、ブロックマッチング法により画像
の動きの方向および量を表す動きベクトルを検出する場
合に適用可能な画像照合方法および装置に関する。

【０００２】

【従来の技術】動きベクトルの一つの利用分野は、ディ
ジタル画像データの予測符号化における動き補償であ
る。一例として、動画の高能率符号化の国際的標準方式
である、ＭＰＥＧ(Moving Picture Coding Experts Gro
up) 方式が提案されている。このＭＰＥＧ方式は、ＤＣ
Ｔ(Discrete Cosine Transform) と動き補償予測符号化
とを組み合わせたものである。

【０００３】図１１は、動き補償予測符号化装置の一例
を示す。図１１において、入力端子６１からのディジタ
ルビデオデータが動きベクトル検出回路６２および減算
回路６３に供給される。動きベクトル検出回路６２で
は、現フレームと参照フレーム（例えば時間的に前フレ
ーム）との間の動きベクトルが検出される。この動きベ
クトルが動き補償回路６４に供給される。

【０００４】フレームメモリ６５に蓄えられている画像
が動き補償回路６４において動きベクトルに基づいて動
き補償された後に、減算回路６３および加算回路６６に
供給される。減算回路６３では、現フレームのビデオデ
ータと動き補償回路６４からの前フレームの復号ビデオ
データとが画素毎に減算される。減算回路６３からの差
分データがＤＣＴ回路６７においてＤＣＴ変換される。
ＤＣＴ回路６７からの係数データが量子化回路６８によ
り再量子化される。量子化回路６８の出力データが出力
端子６９に取り出されるとともに、逆量子化回路７０に
供給される。

【０００５】逆量子化回路７０とこれに接続された逆Ｄ
ＣＴ回路７１とは、ＤＣＴ回路６７および量子化回路６
８と反対の処理を行うためのローカル復号回路を構成す
る。逆ＤＣＴ回路７１からの復号差分データが加算回路
６６に供給される。加算回路６６の出力データがフレー
ムメモリ６５を介して動き補償回路６４に供給される。
動き補償回路６４からの前フレームの復号データが加算
回路６６に供給されることで、復号データが形成され、
この復号データがフレームメモリ６５に蓄えられる。

【０００６】動きベクトル検出回路６２では、ブロック
マッチング法により動きベクトルが検出される。これ
は、参照フレームの検査ブロックを所定の探索範囲内で
移動し、現フレームの基準ブロックと最も合致している
ブロックを検出することにより動きベクトルを求めるも
のである。従って、動きベクトルは、ブロック毎に求め
られる。なお、画面全体あるいは１画面を１／４に分割
した領域のような比較的大きい領域の動きベクトルを求
める場合もある（例えば特開昭６１−１０５１７８号公
報参照）。

【０００７】ブロックマッチング法では、図１２Ａに示
すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖライ
ンの１フレームの画像が図１２Ｂに示すように、Ｐ画素
×Ｑラインのブロックに細分化される。図１２Ｂの例で
は、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画
素位置である。

【０００８】図１３は、ｃを中心画素とする基準ブロッ
クとｃ´を中心とする検査ブロックの位置関係を示して
いる。ｃを中心画素とする基準ブロックは、現フレーム
の注目しているある基準ブロックであり、その画像と一
致する参照フレームの検査ブロックが参照フレームにお
いてｃ´を中心とするブロックの位置にあるものとして
いる。ブロックマッチング法では、探索範囲内におい
て、基準ブロックと最も合致する検査ブロックを見出す
ことによって、動きベクトルを検出する。

【０００９】図１３Ａの場合では、水平方向に−１画
素、垂直方向に−１ライン、すなわち、（−１，−１）
の動きベクトルが検出される。図１３Ｂでは、（−３，
−３）の動きベクトルが検出され、図１３Ｃでは、（−
２，＋１）の動きベクトルが検出される。動きベクトル
は、現フレームの基準ブロック毎に求められる。動きベ
クトルの極性は、テレビジョンのラスター走査の方向と
一致する方向を＋としている。

【００１０】動きベクトルを探索する範囲を水平方向で
±Ｓ画素、垂直方向で±Ｔラインとすると、基準ブロッ
クは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔず
れたところに中心ｃ´を有する検査ブロックと比較され
る必要がある。図１４は、現フレームのある基準ブロッ
クの中心ｃの位置をＲとする時に、比較すべき参照フレ
ームの（２Ｓ＋１）×（２Ｔ＋１）個の検査ブロックと
の比較が必要なことを示している。すなわち、この図１
４のます目の位置にｃ´が存在する検査ブロックの全て
が比較対象である。図１４は、Ｓ＝４，Ｔ＝３とした例
である。

【００１１】探索範囲内の比較で得られた評価値（すな
わち、フレーム差の絶対値和、このフレーム差の二乗
和、あるいはフレーム差の絶対値のｎ乗和）の中で、最
小値を検出することによって、動きベクトルが検出され
る。図１４の探索範囲は、検査ブロックの中心が位置す
る領域であり、検査ブロックの全体が含まれる探索範囲
の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。

【００１２】図１５は、従来の動きベクトル検出装置の
一例の構成を示す。図１５において、８１が現フレーム
の画像データの入力端子であり、この画像データが現フ
レームメモリ８３に蓄えられる。８２が参照フレームの
画像データの入力端子であり、この画像データが参照フ
レームメモリ８４に蓄えられる。

【００１３】現フレームメモリ８３および参照フレーム
メモリ８４の読出し／書込みは、コントローラ８５によ
って制御される。現フレームメモリ８３からは、現フレ
ームの基準ブロックの画素データが読出され、参照フレ
ームメモリ８４からは、参照フレームの検査ブロックの
画素データが読出される。参照フレームメモリ８４と関
連してアドレス移動回路８６が設けられる。コントロー
ラ８５がアドレス移動回路８６を制御する結果、検査ブ
ロックの中心位置が１画素ステップで、探索範囲内を移
動される。

【００１４】現フレームメモリ８３の出力と参照フレー
ムメモリ８４の出力とが差分検出回路８７に供給され、
１画素毎の差分が検出される。差分検出回路８７の出力
が絶対値化回路８８で絶対値に変換され、この絶対値が
累算回路８９に供給される。累算回路８９が１ブロック
で発生した絶対値差分を累算し、その出力が評価値とし
て判断回路９０に供給される。判断回路９０は、探索範
囲内で検査ブロックを移動させた時にそれぞれ発生する
差分の絶対値和から動きベクトルを検出する。すなわ
ち、最小の差分の絶対値和を発生する検査ブロックの位
置を動きベクトルとして検出する。

【００１５】上述の従来のブロックマッチング法は、基
準ブロックと検査ブロックとの間でフレーム差分の絶対
値和を求める処理を探索範囲内で行う必要がある。上述
の図１２、図１３、図１４の例では、（Ｐ×Ｑ）回の絶
対値差分の累算を全ての探索点、すなわち，（２Ｓ＋
１）×（２Ｔ＋１）回行う必要がある。この関係から、
演算量は、（Ｐ×Ｑ）×（２Ｓ＋１）×（２Ｔ＋１）で
表される。従って、上述のブロックマッチング法は、ハ
ードウエアの規模が大きく、演算量が膨大であるという
問題点があった。

【００１６】より具体的な例として、図１６に示すよう
に、Ｐ＝１６，Ｑ＝１６、Ｓ＝２，Ｔ＝２の例を考え
る。このＳおよびＴの数値は、説明および図示の簡単の
ために、非常に小さな値としており、実際には、より大
きな探索範囲が設定される。図１６では、基準ブロック
と（＋２，＋２）の移動量の検査ブロックとが描かれて
いる。この具体例では、探索範囲を水平および垂直方向
に±２としており、探索点が（５×５＝２５）である。

【００１７】そして、ブロックマッチングのための演算
量について考えると、（１６×１６）回の画素間の差分
を求める減算と、その絶対値を得る減算と、全ての差分
の絶対値を加算する演算とを一つの探索点について必要
とする。さらに、この演算を２５個の全ての探索点につ
いて行う必要がある。従って、ブロックマッチング法に
おける演算量は、照合画素数×探索点に依存すると考え
ることができ、この演算量が膨大となる。従来におい
て、基準ブロック内の画素を一つの代表点画素とし、代
表点データと検査ブロック内のデータとの差分を演算す
るものが提案されている（例えば特開昭６２−２５５８
７号公報差分）。この方式は、ハードウエアの簡略化あ
るいは処理時間の短縮化をある程度達成することができ
るが、演算量の大幅な減少を達成することができない。

【００１８】この対策として、探索方式を簡略化する手
法と、照合方式を簡略化する手法が提案されている。探
索を簡略化する方法としては、探索範囲で検査ブロック
を移動する時に、最初のステップとして、数画素の間隔
で検査ブロックを移動させることによって、大まかな動
きベクトルを検出し、次のステップで、検出された位置
の付近で、１画素間隔で検査ブロックを移動させること
によって、最終的に動きベクトルを求める方法（２ステ
ップ法）が知られている。ステップ数を３とした３ステ
ップ法も考えられる。この方法によれば、フルサーチで
必要とされた、全ての探索点において必要とされた演算
を各ステップで検出された動きベクトルの周辺の探索点
と対応する回数へ減少させることができる。

【００１９】さらに、照合方式および探索方式の双方を
簡略化する方法として、ブロック内の画素数を間引き
（サブサンプリング）により減少させるものである。例
えば図１７に示すように、（１６×１６）画素のブロッ
クを水平および垂直方向に１／４の間引きを行ない、ブ
ロック内の画素数を１／１６に減少させる。また、探索
点は、４画素毎に存在する。これによって、照合画素数
および探索点を少なくできる。

【００２０】照合方式および探索方式の双方を簡略化す
る他の方法として、階層構造を採用するものが提案され
ている。一例として、原画像（第１階層と称する）と、
第１階層からローパスフィルタおよび／またはサブサン
プリングによって、水平および垂直方向で画素数が１／
２に間引かれた第２階層と、さらに、第２階層をローパ
スフィルタおよび／またはサブサンプリングによって、
水平および垂直方向で１／２に間引いた第３階層とから
なる階層構造を規定する。

【００２１】そして、第３階層に関してブロックマッチ
ングを行ない、検出された最小値の位置に原点を移動し
て第２階層に関してブロックマッチングを行ない、検出
された最小値の位置に原点を移動して、第１階層に関し
てブロックマッチングを行い、最終的に１画素ステップ
のブロックマッチングで動きベクトルを検出する。

【００２２】照合方式および探索方式の双方を簡略化す
るさらに他の方法として、基準ブロックおよび検査ブロ
ックを水平方向および垂直方向のそれぞれの方向で小ブ
ロックに更に分割し、小ブロック毎に特徴量を抽出する
ものが提案されている。すなわち、基準ブロックおよび
検査ブロックの間で、水平方向小ブロックの特徴量と垂
直方向小ブロック特徴量とを別個に比較し、比較結果の
絶対値をそれぞれ累算し、累算結果を加重平均したもの
をブロック間の比較結果として用いる。小ブロックの特
徴量は、例えばその小ブロック内の画素データの累算結
果である。この方法は、１ブロック内の全画素数に関し
て必要とされた演算を水平および垂直方向の小ブロック
の数に減少することができる。

【００２３】

【発明が解決しようとする課題】ブロックマッチングの
上述したような種々の改良は、演算量を減少させること
はできるが、誤検出が生じる欠点を有している。これ
は、簡略化の結果として、原画像の有する情報量の欠落
が生じるからである。

【００２４】より具体的に述べると、ブロック内の要素
数（照合画素数）を減らすようにした照合方式の簡略化
においては、ブロックの画像データのディテイルが失わ
れ、その結果、誤検出が生じる。図１８に示すように、
基準ブロックと検査ブロック（簡単のため、各ブロック
が１次元ブロックとする）を照合する場合を考える。基
準ブロックデータを４画素毎に平均化したものは、検査
ブロックデータと同じ波形となり、元の二つのデータ
は、異なる波形であるにもかかわらず、比較の結果、両
者が合致するものと判定され、誤検出が生じる。

【００２５】この問題の一つの解決法を本願発明者は、
提案している（特願平５−２４８８１３号参照）。この
方法は、基準ブロックと検査ブロックとを比較する時
に、定常成分と過渡成分とをそれぞれ各ブロックから抽
出し、定常成分同士、過渡成分同士を比較することによ
って、誤検出を防止しようとするものである。図１８の
例において、過渡成分の一例として、平均値に対する差
分の絶対値を求めると、基準ブロックデータと検査ブロ
ックデータとが大きく異なったものとなる。従って、過
渡成分を参照することによって、誤検出を防止すること
ができる。

【００２６】探索点を減少することによって、探索を簡
略化する方法では、大まかな動きベクトルを検出する時
に、精度が粗いために、誤検出のおそれが生じる。照合
方式および探索方式の簡略化を行う方法では、やはり、
間引かれた画像あるいはローパスフィルタを通した画像
に基づいて動きベクトルの検出する時に、誤検出のおそ
れがある。

【００２７】さらに、探索点を減少させる時には、探索
点の位相と画像の動きとの間に位相ずれが生じる。これ
を図１９を参照して説明する。図１９は、１次元ブロッ
クについて４画素毎の探索点を設定した場合であり、原
信号の波形を水平に、１画素、２画素、３画素および４
画素移動した波形がそれぞれ示されている。基準ブロッ
クと検査ブロックの切り出しが同一位相の場合では、静
止と４画素の倍数の動きにおいて、両ブロックが合致
し、これを検出できる。しかしながら、それ以外の動き
は、検出することができない。

【００２８】特に、変化が激しい画像の場合には、真の
動きが３画素以下であっても、原点から４画素離れた探
索点における差分の絶対値の累算値が非常に大きな値と
なるおそれがある。若し、他の探索点における差分の絶
対値の累算値がこれより小さな時には、検出される動き
が真のものとかけ離れたものとなる。

【００２９】従って、この発明の目的は、演算量を減少
でき、ハードウエアが簡単な特徴を備え、また、誤検出
を防止でき、さらに、位相ずれを補償することができる
画像照合方法および装置を提供することにある。

【００３０】

【課題を解決するための手段】請求項１に記載の発明
は、第１の画像データを複数の基準ブロックへ分割する
ステップと、第２の画像データを複数の検査ブロックへ
分割するステップと、基準ブロックから代表画素データ
を抽出するステップと、代表画素データと対応する画素
データを含む検査ブロックの画素の値が存在する範囲を
示す特徴量データを抽出するステップと、特徴量データ
によって示される検査ブロックの画素の値が存在する範
囲に対する代表画素データの存在位置を判別することに
よって、基準ブロックと検査ブロックの部分的照合を行
う照合ステップとからなる画像照合方法である。

【００３１】請求項２に記載の発明は、第１の画像デー
タを複数の基準ブロックへ分割するための手段と、第２
の画像データを複数の検査ブロックへ分割するための手
段と、基準ブロックから代表画素データを抽出するため
の手段と、代表画素データと対応する画素データを含む
検査ブロックの画素の値が存在する範囲を示す特徴量デ
ータを抽出するための手段と、特徴量データによって示
される検査ブロックの画素の値が存在する範囲に対する
代表画素データの存在位置を判別することによって、基
準ブロックと検査ブロックの部分的照合を行う照合手段
とからなる画像照合装置である。

【００３２】請求項３に記載の発明は、第１の画像デー
タを複数の基準ブロックへ分割するステップと、第２の
画像データを複数の検査ブロックへ分割するステップ
と、基準ブロックから代表画素データを抽出するステッ
プと、代表画素データと対応する画素データを含む検査
ブロックの画素の値が存在する範囲を示す特徴量データ
を抽出するステップと、特徴量データによって示される
検査ブロックの画素の値が存在する範囲に対する代表画
素データの存在位置から基準ブロックと検査ブロックの
合致度を示す評価値を生成するステップと、所定の探索
範囲内で検査ブロックを移動することで生成された評価
値に基づいて、基準ブロックと最も合致する検査ブロッ
クの位置と対応する動きベクトルを検出するステップと
からなることを特徴とする動きベクトル検出方法であ
る。

【００３３】請求項４に記載の発明は、第１の画像デー
タを複数の基準ブロックへ分割するための手段と、第２
の画像データを複数の検査ブロックへ分割するための手
段と、基準ブロックから代表画素データを抽出するため
の手段と、代表画素データと対応する画素データを含む
検査ブロックの画素の値が存在する範囲を示す特徴量デ
ータを抽出するための手段と、特徴量データによって示
される検査ブロックの画素の値が存在する範囲に対する
代表画素データの存在位置から基準ブロックと検査ブロ
ックの合致度を示す評価値を生成するための手段と、所
定の探索範囲内で検査ブロックを移動することで生成さ
れた評価値に基づいて、基準ブロックと最も合致する検
査ブロックの位置と対応する動きベクトルを検出するた
めの手段とからなることを特徴とする動きベクトル検出
装置である。

【００３４】

【作用】基準ブロックの例えば中央位置の画素データを
代表画素データとして抽出し、代表画素データと検査ブ
ロックの特徴量とを比較する。検査ブロックの例えば最
大値ＭＡＸおよび最小値ＭＩＮが検出され、ＭＡＸおよ
びＭＩＮの範囲に代表画素データの値が含まれるかどう
かの比較がなされる。この比較結果に基づいて評価値が
生成される。このように、演算量が低減でき、また、位
相ずれの問題を解決することができる。

【００３５】

【実施例】以下、この発明を動きベクトル検出装置に対
して適用した一実施例について図面を参照して説明す
る。図１は、一実施例のブロック図であり、図１におい
て、１が現フレームの画像データの入力端子、２が参照
フレームの画像データの入力端子、３が現フレームの画
像データを蓄える現フレームメモリ、４が参照フレーム
の画像データを蓄える参照フレームメモリである。現フ
レームメモリ３および参照フレームの書込み／読出し動
作がコントローラ５により制御される。さらに、参照フ
レームメモリ４と関連して設けられたアドレス移動回路
６がコントローラ５によって制御され、これによって、
参照フレーム内で検査ブロックが移動される。

【００３６】現フレームメモリ３からは、コントローラ
５の制御によって、基準ブロックのデータが出力され、
この出力が代表値抽出回路７に供給される。代表値抽出
回路７は、基準ブロック毎に代表値を抽出する。代表値
は、代表画素の値を意味し、例えば図２に示すように、
（３×３）の基準ブロックの中央位置の画素の値ｘであ
る。これ以外に、基準ブロックの異なる位置の画素の
値、または基準ブロックの最大値、最小値、極値を代表
値として使用することができる。

【００３７】参照フレームメモリ４からは、コントロー
ラ５の制御によって、検査ブロックのデータが出力され
る。検査ブロックは、基準ブロックと同様に、図２に示
す（３×３）の２次元領域である。検査ブロック内の９
個の画素の値をａ，ｂ，ｃ，・・・，ｉと表す。この出
力が最大値、最小値（ＭＡＸ，ＭＩＮ）検出回路８に供
給される。ＭＡＸ，ＭＩＮ検出回路８は、検査ブロック
の特徴量としての最大値ＭＡＸおよび最小値ＭＩＮを検
出する。特徴量としては、ＭＡＸ，ＭＩＮおよびダイナ
ミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）の内の二つの値
を使用することができる。さらに、検査ブロックの平均
値Ａｖおよび標準偏差σを計算し、Ａｖ＋σとＡｖ−σ
とを特徴量として使用しても良い。

【００３８】ブロックマッチングの対象としては、上述
のような現フレームと参照フレーム（現フレームに対し
て時間的に前あるいは後のフレーム）に限られない。例
えば２枚の静止画像間で動きベクトルを検出する場合、
または解像度が異なる画像同士の間で動きベクトルを検
出する場合に対しても、この発明を適用することができ
る。さらに、動きベクトルの検出に限らず、二つの静止
画像間で照合をとる場合、例えば集合写真に相当する静
止画像を参照画像とし、特定の人物の写真を注目画像と
し、注目画像が参照画像中のどの位置に存在しているか
を検出するような画像照合に対しても適用できる。この
例では、参照画像の全体が探索範囲となる。

【００３９】ＭＡＸ，ＭＩＮ検出回路８の一例を図３に
示す。入力端子２１からは、参照フレームメモリ４から
読出された検査ブロックの画素データが供給される。こ
の入力データがタイミング生成回路２２、選択回路２３
および２４にそれぞれ供給される。タイミング生成回路
２２は、画素データと同期したサンプルクロックおよび
検査ブロックの区切りを示すブロックタイミング信号を
発生する。

【００４０】選択回路２３は、二つの画素データの内の
より大きな値の画素データを選択的に出力し、選択回路
２４は、二つの画素データの内のより小さな値の画素デ
ータを選択的に出力する。選択回路２３の出力データが
ラッチ２５およびレジスタ２７に供給され、選択回路２
４の出力データがラッチ２６およびレジスタ２８に供給
される。レジスタ２７および２８の出力が選択回路２３
および２４に入力される。ラッチ２５から出力端子２９
に最大値ＭＡＸが取り出され、ラッチ２６から出力端子
３０に最小値ＭＩＮが取り出される。

【００４１】レジスタ２７は、一つの検査ブロックのデ
ータが入力される前の初期状態では、ゼロにクリアされ
ている。そして、選択回路２３の出力がレジスタ２７に
取り込まれ、レジスタ２７の出力およびと入力画素デー
タの内のより大きな値が選択回路２３によって選択され
るので、次の画素データが到来する時には、以前の画素
データの最大値がレジスタ２７に保持されている。そし
て、一つの検査ブロックの９個の画素データａ〜ｉが入
力された時に、選択回路２３がその検査ブロックの最大
値ＭＡＸを出力する。このＭＡＸがラッチ２５に取り込
まれる。最小値ＭＩＮの検出も同様になされ、出力端子
３０に検査ブロックのＭＩＮが取り出される。

【００４２】代表値ｘと検出されたＭＡＸおよびＭＩＮ
は、比較回路９および評価値計算回路１０にそれぞれ供
給される。比較回路９および評価値計算回路１０の処理
をソフトウェア処理で行う時のフローチャートが図４に
示される。比較処理が開始されると、ステップ３１にお
いて、ｘ＞ＭＡＸが調べられる。若し、この関係が成立
する（Ｙ）時には、ステップ３２へ処理が移り、評価値
Δ＝ｘ−ＭＡＸが生成される。

【００４３】ステップ３１の結果が否定（Ｎ）の時に
は、ステップ３３において、ｘ＜ＭＩＮの関係が成立す
るかどうかが調べられる。これが成立する時には、Δ＝
ＭＩＮ−ｘが生成される。ステップ３３における関係が
成立しない時、すなわち、ＭＩＮ≦ｘ≦ＭＡＸの時に
は、Δ＝０（ステップ３５）とされる。このように生成
された評価値Δが出力される（ステップ３６）。

【００４４】図５は、比較回路９および評価値計算回路
１０をハードウエアで構成した時のブロック図である。
比較回路９には、代表値ｘ、ＭＡＸおよびＭＩＮが供給
され、２ビットの比較出力が発生する。この比較出力が
選択回路４１を制御する。選択回路４１の入力端子ａに
は、減算回路４２からのｘ−ＭＡＸが供給される。その
入力端子ｂには、ゼロデータが供給される。その入力端
子ｃには、減算回路４３からのＭＩＮ−ｘが供給され
る。

【００４５】比較回路９の２ビットの出力は、ｘ＞ＭＡ
Ｘ、ｘ＜ＭＩＮ、ＭＩＮ≦ｘ≦ＭＡＸの３つの関係を指
示するものであって、各関係に応じて入力端子ａ、ｂ、
ｃが選択され、上述と同様の評価値Δが生成される。評
価値計算回路１０で生成された評価値Δが評価値メモリ
１１に格納される。

【００４６】評価値Δは、図６Ａに示すように、代表値
ｘが検査ブロックのＭＩＮおよびＭＡＸの間の範囲に含
まれる時に、０であり、ＭＩＮより小さい時およびＭＡ
Ｘより大きい時には、次第に大きくなる値である。実際
には、ノイズが存在するので、ノイズマージンを設定
し、図６Ａにおける破線のような変化を呈する評価値Δ
を形成しても良い。なお、図５の構成は、一例であっ
て、ゲート回路あるいは２入力の選択回路の組合せ等に
よって、種々の構成が可能である。また、評価値として
は、差分の絶対値、差分のｎ乗値等を使用しても良い。

【００４７】上述の評価値は、参照フレーム内の代表画
素と対応する位置の周辺の検査ブロックについてそれぞ
れ計算される。探索範囲の大きさは、基準ブロックおよ
び検査ブロックを縦横にそれぞれ例えば３個並べたもの
であり、（９×９）画素である。この例では、図６Ｂに
示すように、Δ１〜Δ９の９個の評価値が求まり、これ
が評価値メモリ１１に格納される。基準ブロックの位置
は、この探索範囲の中央位置（評価値Δ５の位置）であ
る。

【００４８】図１に戻って説明すると、評価値メモリ１
１への評価値の格納は、コントローラ５により制御され
る。そして、９個の評価値Δ１〜Δ９の中の最小値が最
小値検出回路１２において検出される。最小値の存在す
る位置がその基準ブロックの動きベクトルである。

【００４９】次に、この発明の他の実施例について説明
する。図７は、他の実施例の構成を示し、上述の一実施
例の構成（図１のブロック図）と対応する部分には、同
一符号を付して示す。図１の構成に対して、現フレーム
メモリ３および参照フレームメモリ４に対してそれぞれ
小ブロック化回路１４および１５が接続され、また、評
価値計算回路１０に対して累算回路１６が接続される点
が相違している。

【００５０】他の実施例では、図８に示すように、（３
×３）画素の領域を小ブロックとして扱い、小ブロック
を縦横に３個ずつ並べた（９×９）画素の領域を基準ブ
ロックおよび検査ブロックとして扱う。図８では、基準
ブロックについては、各小ブロックの中央位置の代表画
素のみが示されている。そして、基準ブロックの小ブロ
ックの代表値が検査ブロックの小ブロックのＭＡＸ，Ｍ
ＩＮと比較され、上述の一実施例と同様に評価値Δが小
ブロック毎に計算される。

【００５１】基準ブロックとある位置の検査ブロックと
の比較および評価値の計算の結果、Δ１〜Δ９の評価値
が得られる。この評価値が累算回路１６において累算さ
れる。すなわち、ΣΔ＝Δ１＋Δ２＋・・・・＋Δ９の
累算がなされる。検査ブロックが探索範囲内で移動さ
れ、各探索点において、評価値の累算値が求められる。
この累算評価値の中の最小値が最小値検出回路１２によ
り検出され、その最小値を生じさせる検査ブロックの位
置と対応する動きベクトルが出力端子１３に取り出され
る。

【００５２】図９は、例えば±５の探索範囲（一点鎖線
で示す）の一部を示す。基準ブロックの右下の頂点を基
準として考え、３画素毎に目盛られた座標軸（ｘ，ｙ）
が描かれている。なお、基準の点は、より好ましくは、
ブロック内のより中心に近い点に設定される。例えば図
９に示すような（＋５，＋５）の位置の検査ブロックが
最小の累算評価値を生じさせる時には、（＋１５（＝５
×３），＋１５（＝５×３））の動きベクトルが出力さ
れる。

【００５３】この発明は、要約すると、基準ブロックの
代表画素と検査ブロック（領域）間の照合をとるもの
で、検査ブロックのａ〜ｉの全てを代表する量として、
例えば最大値ＭＡＸおよび最小値ＭＩＮを求めている。
代表画素の値ｘがこの間に存在しない場合には、代表画
素（ｘ）と９画素（ａ〜ｉ）の照合の可能性はない。従
来では、探索点を減少させる簡略化を行うと、位相ずれ
によって誤検出が生じる問題があった。この発明は、探
索点を例えば３画素毎に減少させても、フルサーチと等
価な処理、すなわち、位相ずれを生じない照合を行うこ
とができる。

【００５４】図１０は、この発明が位相ずれを生じない
ことを説明するものである。簡単のために、ａ、ｂ、ｃ
の値をそれぞれ有する３画素からなる１次元ブロックを
考える。破線は、３画素毎に描かれている。この１次元
ブロックを基準ブロックとして考え、その中央位置の画
素の値ｂが代表値である。図１０では、基準ブロックが
静止、＋１画素の動き、−１画素の動き、＋２画素の動
き、＋３画素の動き、＋４画素の動きがそれぞれ示され
ている。

【００５５】この図１０から分かるように、±１画素の
動きの場合でも、代表値ｂが３画素の区切りの中に存在
している。従って、±１画素の動きの場合でも、検査ブ
ロックとの照合がとれ、評価値Δが０となる。＋２画
素、＋３画素、＋４画素の動きは、次の参照ブロックと
の照合によって、検出することができる。従って、参照
ブロック（小ブロック）の区切りをオーバーラップさせ
る必要がない。従来の探索点の簡略化では、静止並びに
探索点の間隔の倍数の動きしか正確に検出することがで
きなかった。この発明は、かかる位相ずれを補償するこ
とができる。

【００５６】この発明の具体的構成は、上述の一実施例
および他の実施例の構成以外に種々のものが可能であ
る。例えば過渡成分を考慮して簡略化による誤検出を防
止する方式を併用しても良い。また、動きベクトルを求
める時に、動きベクトルの精度を１画素ではなく、ハー
フペル精度とするようにしても良い。

【００５７】

【発明の効果】この発明は、探索点を簡略化するのと同
様に、演算量および比較回数を大幅に減少することがで
きる。これと共に、位相ずれによる誤検出を防止するこ
とができる。

【図面の簡単な説明】

【図１】この発明の一実施例の構成を示すブロック図で
ある。

【図２】この発明の一実施例におけるブロックの構成を
示す略線図である。

【図３】この発明の一実施例における最大値，最小値検
出回路の一例のブロック図である。

【図４】代表画素の値と最大値，最小値の比較処理およ
び評価値生成の処理を示すフローチャートである。

【図５】代表画素の値と最大値，最小値の比較回路およ
び評価値生成回路の一例のブロック図である。

【図６】評価値および一実施例における探索範囲の説明
に用いる略線図である。

【図７】この発明の他の実施例のブロック図である。

【図８】この発明の他の実施例における基準ブロック、
検査ブロックおよび評価値の説明のための略線図であ
る。

【図９】この発明の他の実施例の探索範囲の一部を示す
略線図である。

【図１０】この発明による位相補償を説明するための略
線図である。

【図１１】この発明を適用することができる動き補償予
測符号化装置の一例を示すブロック図である。

【図１２】従来のブロックマッチング法による動きベク
トル検出方法の説明のための略線図である。

【図１３】従来のブロックマッチング法による動きベク
トル検出方法の説明のための略線図である。

【図１４】従来のブロックマッチング法による動きベク
トル検出方法における探索範囲の説明のための略線図で
ある。

【図１５】従来のブロックマッチング法による動きベク
トル検出装置の一例のブロック図である。

【図１６】従来のブロックマッチング法による動きベク
トル検出をより具体的に説明するための略線図である。

【図１７】従来の間引き法によるブロックマッチングの
説明のための略線図である。

【図１８】先に提案されている誤照合を防止する手法の
説明のための略線図である。

【図１９】従来の簡略化されたブロックマッチング方式
の問題点を説明するための略線図である。

【符号の説明】

３ 現フレームメモリ ４ 参照フレームメモリ ７ 代表値抽出回路 ８ 最大値，最小値検出回路 ９ 比較回路 １０ 評価値計算回路 １２ 最小値検出回路

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 第１の画像データを複数の基準ブロック
   へ分割するステップと、 第２の画像データを複数の検査ブロックへ分割するステ
   ップと、 上記基準ブロックから代表画素データを抽出するステッ
   プと、 上記代表画素データと対応する画素データを含む上記検
   査ブロックの画素の値が存在する範囲を示す特徴量デー
   タを抽出するステップと、 上記特徴量データによって示される上記検査ブロックの
   画素の値が存在する範囲に対する上記代表画素データの
   存在位置を判別することによって、上記基準ブロックと
   上記検査ブロックの部分的照合を行う照合ステップとか
   らなる画像照合方法。
2. 【請求項２】 第１の画像データを複数の基準ブロック
   へ分割するための手段と、 第２の画像データを複数の検査ブロックへ分割するため
   の手段と、 上記基準ブロックから代表画素データを抽出するための
   手段と、 上記代表画素データと対応する画素データを含む上記検
   査ブロックの画素の値が存在する範囲を示す特徴量デー
   タを抽出するための手段と、 上記特徴量データによって示される上記検査ブロックの
   画素の値が存在する範囲に対する上記代表画素データの
   存在位置を判別することによって、上記基準ブロックと
   上記検査ブロックの部分的照合を行う照合手段とからな
   る画像照合装置。
3. 【請求項３】 第１の画像データを複数の基準ブロック
   へ分割するステップと、 第２の画像データを複数の検査ブロックへ分割するステ
   ップと、 上記基準ブロックから代表画素データを抽出するステッ
   プと、 上記代表画素データと対応する画素データを含む上記検
   査ブロックの画素の値が存在する範囲を示す特徴量デー
   タを抽出するステップと、 上記特徴量データによって示される上記検査ブロックの
   画素の値が存在する範囲に対する上記代表画素データの
   存在位置から上記基準ブロックと上記検査ブロックの合
   致度を示す評価値を生成するステップと、 所定の探索範囲内で上記検査ブロックを移動することで
   生成された上記評価値に基づいて、上記基準ブロックと
   最も合致する上記検査ブロックの位置と対応する動きベ
   クトルを検出するステップとからなることを特徴とする
   動きベクトル検出方法。
4. 【請求項４】 第１の画像データを複数の基準ブロック
   へ分割するための手段と、 第２の画像データを複数の検査ブロックへ分割するため
   の手段と、 上記基準ブロックから代表画素データを抽出するための
   手段と、 上記代表画素データと対応する画素データを含む上記検
   査ブロックの画素の値が存在する範囲を示す特徴量デー
   タを抽出するための手段と、 上記特徴量データによって示される上記検査ブロックの
   画素の値が存在する範囲に対する上記代表画素データの
   存在位置から上記基準ブロックと上記検査ブロックの合
   致度を示す評価値を生成するための手段と、 所定の探索範囲内で上記検査ブロックを移動することで
   生成された上記評価値に基づいて、上記基準ブロックと
   最も合致する上記検査ブロックの位置と対応する動きベ
   クトルを検出するための手段とからなることを特徴とす
   る動きベクトル検出装置。
5. 【請求項５】 請求項１または３に記載の方法におい
   て、 上記代表画素データが上記基準ブロックの略中央位置の
   画素のデータであることを特徴とする方法。
6. 【請求項６】 請求項１または３に記載の方法におい
   て、 上記特徴量データが上記検査ブロック内の複数画素の最
   大値、最小値およびダイナミックレンジの内の二つのデ
   ータであることを特徴とする方法。
7. 【請求項７】 請求項１または３に記載の方法におい
   て、 上記特徴量データが上記検査ブロック内の複数画素の平
   均値と標準偏差であることを特徴とする方法。
8. 【請求項８】 請求項１または３に記載の方法におい
   て、 上記特徴量データが上記検査ブロック内の複数画素の最
   大値、最小値およびダイナミックレンジの内の二つのデ
   ータであり、 上記評価値の生成手段は、上記代表画素データの値が上
   記最大値および上記最小値の間の範囲に含まれる時に
   は、略０を評価値として出力し、そうでない時は、上記
   代表画素データと上記最小値および上記最小値との差分
   を上記評価値として出力することを特徴とする方法。
9. 【請求項９】 請求項１または３に記載の方法におい
   て、 上記特徴量データが上記検査ブロックの平均値と標準偏
   差であり、 上記評価値の生成手段は、上記平均値および上記標準偏
   差の和および差の間の範囲に上記代表画素データが含ま
   れる時には、略０を評価値として出力し、そうでない時
   は、上記代表画素データと上記和および上記差との差分
   を上記評価値として出力することを特徴とする方法。
10. 【請求項１０】 請求項１または３に記載の方法におい
    て、 上記基準ブロックおよび上記検査ブロックは、複数の小
    ブロックデータからなり、上記代表画素データおよび上
    記特徴量が上記小ブロック毎に抽出され、 上記評価値が上記小ブロック毎に生成され、生成された
    上記評価値が累算され、累算値に基づいて上記基準ブロ
    ックと上記検査ブロックの部分的照合を行うことを特徴
    とする方法。