JPH07222175A

JPH07222175A - 画像照合方法および装置

Info

Publication number: JPH07222175A
Application number: JP3317594A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-02-04
Filing date: 1994-02-04
Publication date: 1995-08-18
Anticipated expiration: 2022-04-25
Also published as: JP3908793B2

Abstract

(57)【要約】【目的】ブロックマッチング法により動きベクトルを
検出する時に、演算量を低減することができ、また、位
相ずれに起因する誤検出のおそれを防止することがで
き、さらに、照合の精度を向上できる。【構成】（３×３）画素の基準サブブロックの代表画
素値ｘが代表値抽出回路７ａで抽出される。同じ大きさ
の検査サブブロックの最大値，最小値がＭＡＸ，ＭＩＮ
検出回路８で検出される。比較回路９において、代表画
素値ｘがＭＡＸおよびＭＩＮの範囲内にあるかどうかが
比較され、その比較結果に応じた評価値Δが評価値計算
回路１０で計算される。若し、ｘがＭＡＸおよびＭＩＮ
の間に含まれる時には、Δが０とされる。基準サブブロ
ックに関して剛体仮定を導入し、検査サブブロックの中
で照合に使用される候補画素が選択回路１７で選択され
る。検出された画素からなる検査ブロックに関してＭＡ
Ｘ，ＭＩＮが検出される。サブブロック毎の評価値から
総合評価値が形成され、この総合評価値に基づいて動き
ベクトルが検出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、一般的には、二つの
ディジタル画像の部分的照合をとるための方法および装
置、より具体的には、ブロックマッチング法により画像
の動きの方向および量を表す動きベクトルを検出する場
合に適用可能な画像照合方法および装置に関する。

【０００２】

【従来の技術】動きベクトルの一つの利用分野は、ディ
ジタル画像データの予測符号化における動き補償であ
る。一例として、動画の高能率符号化の国際的標準方式
である、ＭＰＥＧ(Moving Picture Coding Experts Gro
up) 方式が提案されている。このＭＰＥＧ方式は、ＤＣ
Ｔ(Discrete Cosine Transform) と動き補償予測符号化
とを組み合わせたものである。

【０００３】図１６は、動き補償予測符号化装置の一例
を示す。図１６において、入力端子６１からのディジタ
ルビデオデータが動きベクトル検出回路６２および減算
回路６３に供給される。動きベクトル検出回路６３で
は、現フレームと参照フレーム（例えば時間的に前フレ
ーム）との間の動きベクトルが検出される。この動きベ
クトルが動き補償回路６４に供給される。

【０００４】フレームメモリ６５に蓄えられている画像
が動き補償回路６４において動きベクトルに基づいて動
き補償された後に、減算回路６３および加算回路６６に
供給される。減算回路６３では、現フレームのビデオデ
ータと動き補償回路６４からの前フレームの復号ビデオ
データとが画素毎に減算される。減算回路６３からの差
分データがＤＣＴ回路６７においてＤＣＴ変換される。
ＤＣＴ回路６７からの係数データが量子化回路６８によ
り再量子化される。量子化回路６８の出力データが出力
端子６９に取り出されるとともに、逆量子化回路７０に
供給される。

【０００５】逆量子化回路７０とこれに接続された逆Ｄ
ＣＴ回路７１とは、ＤＣＴ回路６７および量子化回路６
８と反対の処理を行うためのローカル復号回路を構成す
る。逆ＤＣＴ回路７１からの復号差分データが加算回路
６６に供給される。加算回路６６の出力データがフレー
ムメモリ６５を介して動き補償回路６４に供給される。
動き補償回路６４からの前フレームの復号データが加算
回路６６に供給されることで、復号データが形成され、
この復号データがフレームメモリ６５に蓄えられる。

【０００６】動きベクトル検出回路６２では、ブロック
マッチング法により動きベクトルが検出される。これ
は、参照フレームの検査ブロックを所定の探索範囲内で
移動し、現フレームの基準ブロックと最も合致している
ブロックを検出することにより動きベクトルを求めるも
のである。従って、動きベクトルは、ブロック毎に求め
られる。なお、画面全体あるいは１画面を１／４に分割
した領域のような比較的大きい領域の動きベクトルを求
める場合もある（例えば特開昭６１−１０５１７８号公
報参照）。

【０００７】ブロックマッチング法では、図１７Ａに示
すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖライ
ンの１フレームの画像が図１７Ｂに示すように、Ｐ画素
×Ｑラインのブロックに細分化される。図１７Ｂの例で
は、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画
素位置である。

【０００８】図１８は、ｃを中心画素とする基準ブロッ
クとｃ´を中心とする検査ブロックの位置関係を示して
いる。ｃを中心画素とする基準ブロックは、現フレーム
の注目しているある基準ブロックであり、その画像と一
致する参照フレームの検査ブロックが参照フレームにお
いてｃ´を中心とするブロックの位置にあるものとして
いる。ブロックマッチング法では、探索範囲内におい
て、基準ブロックと最も合致する検査ブロックを見出す
ことによって、動きベクトルを検出する。

【０００９】図１８Ａの場合では、水平方向に−１画
素、垂直方向に−１ライン、すなわち、（−１，−１）
の動きベクトルが検出される。図１８Ｂでは、（−３，
−３）の動きベクトルが検出され、図１８Ｃでは、（−
２，＋１）の動きベクトルが検出される。動きベクトル
は、現フレームの基準ブロック毎に求められる。動きベ
クトルの極性は、テレビジョンのラスター走査の方向と
一致する方向を＋としている。

【００１０】動きベクトルを探索する範囲を水平方向で
±Ｓ画素、垂直方向で±Ｔラインとすると、基準ブロッ
クは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔず
れたところに中心ｃ´を有する検査ブロックと比較され
る必要がある。図１９は、現フレームのある基準ブロッ
クの中心ｃの位置をＲとする時に、比較すべき参照フレ
ームの（２Ｓ＋１）×（２Ｔ＋１）個の検査ブロックと
の比較が必要なことを示している。すなわち、この図１
９のます目の位置にｃ´が存在する検査ブロックの全て
が比較対象である。図１９は、Ｓ＝４，Ｔ＝３とした例
である。

【００１１】探索範囲内の比較で得られた評価値（すな
わち、フレーム差の絶対値和、このフレーム差の二乗
和、あるいはフレーム差の絶対値のｎ乗和）の中で、最
小値を検出することによって、動きベクトルが検出され
る。図１９の探索範囲は、検査ブロックの中心が位置す
る領域であり、検査ブロックの全体が含まれる探索範囲
の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。

【００１２】図２０は、従来の動きベクトル検出装置の
一例の構成を示す。図２０において、８１が現フレーム
の画像データの入力端子であり、この画像データが現フ
レームメモリ８３に蓄えられる。８２が参照フレームの
画像データの入力端子であり、この画像データが参照フ
レームメモリ８４に蓄えられる。

【００１３】現フレームメモリ８３および参照フレーム
メモリ８４の読出し／書込みは、コントローラ８５によ
って制御される。現フレームメモリ８３からは、現フレ
ームの基準ブロックの画素データが読出され、参照フレ
ームメモリ８４からは、参照フレームの検査ブロックの
画素データが読出される。参照フレームメモリ８４と関
連してアドレス移動回路８６が設けられる。コントロー
ラ８５がアドレス移動回路８６を制御する結果、検査ブ
ロックの中心位置が１画素ステップで、探索範囲内を移
動される。

【００１４】現フレームメモリ８３の出力と参照フレー
ムメモリ８４の出力とが差分検出回路８７に供給され、
１画素毎の差分が検出される。差分検出回路８７の出力
が絶対値化回路８８で絶対値に変換され、この絶対値が
累算回路８９に供給される。累算回路８９が１ブロック
で発生した絶対値差分を累算し、その出力が評価値とし
て判断回路９０に供給される。判断回路９０は、探索範
囲内で検査ブロックを移動させた時にそれぞれ発生する
差分の絶対値和から動きベクトルを検出する。すなわ
ち、最小の差分の絶対値和を発生する検査ブロックの位
置を動きベクトルとして検出する。

【００１５】上述の従来のブロックマッチング法は、基
準ブロックと検査ブロックとの間でフレーム差分の絶対
値和を求める処理を探索範囲内で行う必要がある。上述
の図１７、図１８、図１９の例では、（Ｐ×Ｑ）回の絶
対値差分の累算を全ての探索点、すなわち，（２Ｓ＋
１）×（２Ｔ＋１）回行う必要がある。この関係から、
演算量は、（Ｐ×Ｑ）×（２Ｓ＋１）×（２Ｔ＋１）で
表される。従って、上述のブロックマッチング法は、ハ
ードウエアの規模が大きく、演算量が膨大であるという
問題点があった。

【００１６】より具体的な例として、図２２に示すよう
に、Ｐ＝１６，Ｑ＝１６、Ｓ＝２，Ｔ＝２の例を考え
る。このＳおよびＴの数値は、説明および図示の簡単の
ために、非常に小さな値としており、実際には、より大
きな探索範囲が設定される。図２１では、基準ブロック
と（＋２，＋２）の移動量の検査ブロックとが描かれて
いる。この具体例では、探索範囲を水平および垂直方向
に±２としており、探索点が（５×５＝２５）である。

【００１７】そして、ブロックマッチングのための演算
量について考えると、（１６×１６）回の画素間の差分
を求める減算と、その絶対値を得る減算と、全ての差分
の絶対値を加算する演算とを一つの探索点について必要
とする。さらに、この演算を２５個の全ての探索点につ
いて行う必要がある。従って、ブロックマッチング法に
おける演算量は、照合画素数×探索点に依存すると考え
ることができ、この演算量が膨大となる。従来におい
て、基準ブロック内の画素を一つの代表点画素とし、代
表点データと検査ブロック内のデータとの差分を演算す
るものが提案されている（例えば特開昭６２−２５５８
７号公報参照）。この方式は、ハードウエアの簡略化あ
るいは処理時間の短縮化をある程度達成することができ
るが、演算量の大幅な減少を達成することができない。

【００１８】この対策として、探索方式を簡略化する手
法と、照合方式を簡略化する手法が提案されている。探
索を簡略化する方法としては、探索範囲で検査ブロック
を移動する時に、最初のステップとして、数画素の間隔
で検査ブロックを移動させることによって、大まかな動
きベクトルを検出し、次のステップで、検出された位置
の付近で、１画素間隔で検査ブロックを移動させること
によって、最終的に動きベクトルを求める方法（２ステ
ップ法）が知られている。ステップ数を３とした３ステ
ップ法も考えられる。この方法によれば、フルサーチで
必要とされた、全ての探索点において必要とされた演算
を各ステップで検出された動きベクトルの周辺の探索点
と対応する回数へ減少させることができる。

【００１９】さらに、照合方式および探索方式の双方を
簡略化する方法として、ブロック内の画素数を間引き
（サブサンプリング）により減少させるものである。例
えば図２２に示すように、（１６×１６）画素のブロッ
クを水平および垂直方向に１／４の間引きを行ない、ブ
ロック内の画素数を１／１６に減少させる。また、探索
点は、４画素毎に存在する。これによって、照合画素数
および探索点を少なくできる。

【００２０】照合方式および探索方式の双方を簡略化す
る他の方法として、階層構造を採用するものが提案され
ている。一例として、原画像（第１階層と称する）と、
第１階層からローパスフィルタおよび／またはサブサン
プリングによって、水平および垂直方向で画素数が１／
２に間引かれた第２階層と、さらに、第２階層をローパ
スフィルタおよび／またはサブサンプリングによって、
水平および垂直方向で１／２に間引いた第３階層とから
なる階層構造を規定する。

【００２１】そして、第３階層に関してブロックマッチ
ングを行ない、検出された最小値の位置に原点を移動し
て第２階層に関してブロックマッチングを行ない、検出
された最小値の位置に原点を移動して、第１階層に関し
てブロックマッチングを行い、最終的に１画素ステップ
のブロックマッチングで動きベクトルを検出する。

【００２２】照合方式および探索方式の双方を簡略化す
るさらに他の方法として、基準ブロックおよび検査ブロ
ックを水平方向および垂直方向のそれぞれの方向で小ブ
ロックに更に分割し、小ブロック毎に特徴量を抽出する
ものが提案されている。すなわち、基準ブロックおよび
検査ブロックの間で、水平方向小ブロックの特徴量と垂
直方向小ブロック特徴量とを別個に比較し、比較結果の
絶対値をそれぞれ累算し、累算結果を加重平均したもの
をブロック間の比較結果として用いる。小ブロックの特
徴量は、例えばその小ブロック内の画素データの累算結
果である。この方法は、１ブロック内の全画素数に関し
て必要とされた演算を水平および垂直方向の小ブロック
の数に減少することができる。

【００２３】

【発明が解決しようとする課題】ブロックマッチングの
上述したような種々の改良は、演算量を減少させること
はできるが、誤検出が生じる欠点を有している。これ
は、簡略化の結果として、原画像の有する情報量の欠落
が生じるからである。

【００２４】より具体的に述べると、ブロック内の要素
数（照合画素数）を減らすようにした照合方式の簡略化
においては、ブロックの画像データのディテイルが失わ
れ、その結果、誤検出が生じる。図２３に示すように、
基準ブロックと検査ブロック（簡単のため、各ブロック
が１次元ブロックとする）を照合する場合を考える。基
準ブロックデータを４画素毎に平均化したものは、検査
ブロックデータと同じ波形となり、元の二つのデータ
は、異なる波形であるにもかかわらず、比較の結果、両
者が合致するものと判定され、誤検出が生じる。

【００２５】この問題の一つの解決法を本願発明者は、
提案している（特願平５−２４８８１３号参照）。この
方法は、基準ブロックと検査ブロックとを比較する時
に、定常成分と過渡成分とをそれぞれ各ブロックから抽
出し、定常成分同士、過渡成分同士を比較することによ
って、誤検出を防止しようとするものである。図２４の
例において、過渡成分の一例として、平均値に対する差
分の絶対値を求めると、基準ブロックデータと検査ブロ
ックデータとが大きく異なったものとなる。従って、過
渡成分を参照することによって、誤検出を防止すること
ができる。

【００２６】探索点を減少することによって、探索を簡
略化する方法では、大まかな動きベクトルを検出する時
に、精度が粗いために、誤検出のおそれが生じる。照合
方式および探索方式の簡略化を行う方法では、やはり、
間引かれた画像あるいはローパスフィルタを通した画像
に基づいて動きベクトルの検出する時に、誤検出のおそ
れがある。

【００２７】さらに、探索点を減少させる時には、探索
点の位相と画像の動きとの間に位相ずれが生じる。これ
を図２４を参照して説明する。図２４は、１次元ブロッ
クについて４画素毎の探索点を設定した場合であり、原
信号の波形を水平に、１画素、２画素、３画素および４
画素移動した波形がそれぞれ示されている。基準ブロッ
クと検査ブロックの切り出しが同一位相の場合では、静
止と４画素の倍数の動きにおいて、両ブロックが合致
し、これを検出できる。しかしながら、それ以外の動き
は、検出することができない。

【００２８】特に、変化が激しい画像の場合には、真の
動きが３画素以下であっても、原点から４画素離れた探
索点における差分の絶対値の累算値が非常に大きな値と
なるおそれがある。若し、他の探索点における差分の絶
対値の累算値がこれより小さな時には、検出される動き
が真のものとかけ離れたものとなる。

【００２９】従って、この発明の目的は、演算量を減少
でき、ハードウエアが簡単な特徴を備え、また、誤検出
を防止でき、さらに、位相ずれの補償および検出精度の
向上が可能な画像照合方法および装置を提供することに
ある。

【００３０】

【課題を解決するための手段】請求項１に記載の発明
は、第１の画像データを複数の基準ブロックへ分割し、
基準ブロックをさらに複数の基準サブブロックへ分割す
るステップと、第２の画像データを複数の検査ブロック
へ分割し、検査ブロックをさらに複数の検査サブブロッ
クへ分割するステップと、基準サブブロックから第１の
代表画素データをそれぞれ抽出するステップと、複数の
基準サブブロックの第１の代表画素データ群を指示する
第１の指示データと、複数の検査サブブロックの互いに
対応する位置の画素群を指示する第２の指示データとを
それぞれ形成し、第１および第２の指示データを比較す
ることによって、照合に使用する画素データを選択する
ステップと、検査サブブロックの選択された画素の存在
範囲を示す特徴量データをそれぞれ抽出するステップと
基準サブブロックから第２の代表画素データをそれぞれ
抽出するステップと、第２の代表画素データと特徴量デ
ータとを比較することによって、サブブロック毎の評価
値を生成し、サブブロック毎の評価値から総合評価値を
生成し、総合評価値に基づいて第１および第２の画像デ
ータの部分的照合を行うステップとからなる画像照合方
法である。

【００３１】請求項２に記載の発明は、第１の画像デー
タを複数の基準ブロックへ分割し、基準ブロックをさら
に複数の基準サブブロックへ分割する手段と、第２の画
像データを複数の検査ブロックへ分割し、検査ブロック
をさらに複数の検査サブブロックへ分割する手段と、基
準サブブロックから第１の代表画素データをそれぞれ抽
出する手段と、複数の基準サブブロックの第１の代表画
素データ群を指示する第１の指示データと、複数の検査
サブブロックの互いに対応する位置の画素群を指示する
第２の指示データとをそれぞれ形成し、第１および第２
の指示データを比較することによって、照合に使用する
画素データを選択する手段と、検査サブブロックの選択
された画素の存在範囲を示す特徴量データをそれぞれ抽
出する手段と、基準サブブロックから第２の代表画素デ
ータをそれぞれ抽出する手段と、第２の代表画素データ
と特徴量データとを比較することによって、サブブロッ
ク毎の評価値を生成し、サブブロック毎の評価値から総
合評価値を生成し、総合評価値に基づいて第１および第
２の画像データの部分的照合を行う手段とからなる画像
照合装置である。

【００３２】請求項３に記載の発明は、第１の画像デー
タを複数の基準ブロックへ分割し、基準ブロックをさら
に複数の基準サブブロックへ分割するステップと、第２
の画像データを複数の検査ブロックへ分割し、検査ブロ
ックをさらに複数の検査サブブロックへ分割し、位相補
償に必要な範囲の検査サブブロックの近傍画素を含む修
正検査サブブロックを構成するステップと、基準サブブ
ロックから第１の代表画素データをそれぞれ抽出するス
テップと、複数の基準サブブロックの第１の代表画素デ
ータ群を指示する第１の指示データと、複数の修正検査
サブブロックの互いに対応する位置の画素群を指示する
第２の指示データとをそれぞれ形成し、第１および第２
の指示データを比較することによって、照合に使用する
画素データを選択するステップと、基準サブブロックの
全画素の存在範囲を示す第１の特徴量データをそれぞれ
抽出するステップと、選択された画素データからなる修
正検査サブブロックの全画素の存在範囲を示す第２の特
徴量データをそれぞれ抽出するステップと、第１および
第２の特徴量データとを比較することによって、サブブ
ロック毎の評価値を生成し、サブブロック毎の評価値か
ら総合評価値を生成し、総合評価値に基づいて第１およ
び第２の画像データの部分的照合を行うステップとから
なる画像照合方法である。

【００３３】請求項４に記載の発明は、第１の画像デー
タを複数の基準ブロックへ分割し、基準ブロックをさら
に複数の基準サブブロックへ分割する手段と、第２の画
像データを複数の検査ブロックへ分割し、検査ブロック
をさらに複数の検査サブブロックへ分割し、位相補償に
必要な範囲の検査サブブロックの近傍画素を含む修正検
査サブブロックを構成する手段と、基準サブブロックか
ら第１の代表画素データをそれぞれ抽出する手段と、複
数の基準サブブロックの第１の代表画素データ群を指示
する第１の指示データと、複数の修正検査サブブロック
の互いに対応する位置の画素群を指示する第２の指示デ
ータとをそれぞれ形成し、第１および第２の指示データ
を比較することによって、照合に使用する画素データを
選択する手段と、基準サブブロックの全画素の存在範囲
を示す第１の特徴量データをそれぞれ抽出する手段と、
選択された画素データからなる修正検査サブブロックの
全画素の存在範囲を示す第２の特徴量データをそれぞれ
抽出する手段と、第１および第２の特徴量データとを比
較することによって、サブブロック毎の評価値を生成
し、サブブロック毎の評価値から総合評価値を生成し、
総合評価値に基づいて第１および第２の画像データの部
分的照合を行う手段とからなる画像照合装置である。

【００３４】

【作用】基準ブロックが複数の基準サブブロックへ分割
され、各基準サブブロックの例えば中央位置の画素デー
タを第１の代表画素データとして抽出する。第１の代表
画素群を指示する第１の指示データとしての平均値が形
成される。また、検査ブロックが複数の検査サブブロッ
クへ分割され、各検査サブブロックの互いに対応する位
置の画素群を指示する第２の指示データとしての平均値
が各位置に関して形成される。これらの平均値が比較さ
れ、照合に使用する画素データが選択される。検査サブ
ブロック毎に選択画素データの存在範囲を示す特徴量デ
ータ（ＭＡＸ，ＭＩＮ）が抽出される。基準サブブロッ
クから抽出された第２の代表画素データがＭＡＸおよび
ＭＩＮの範囲に含まれるかどうかの比較がなされる。こ
の比較結果に基づいて評価値が生成される。このよう
に、演算量が低減でき、また、位相ずれの問題を解決す
ることができる。

【００３５】代表画素データと特徴量とを比較して、照
合を行う他に、基準サブブロックと検査サブブロック間
で、領域同士の照合を行うことができる。この場合に
も、検査サブブロックの中で使用される画素が選択され
る。すなわち、基準サブブロックの例えば最大値ＭＡＸ
１および最小値ＭＩＮ１を第１の特徴量データとして抽
出し、検査サブブロックを位相補償のために拡大した修
正検査ブロックから同様に、最大値ＭＡＸ２および最小
値ＭＩＮ２を第２の特徴量データとして抽出し、第１お
よび第２の特徴量データを比較する。ＭＡＸ２≧ＭＡＸ
１で且つＭＩＮ１≧ＭＩＮ２の時には、Δ１＝０、Δ２
＝０の評価値が生成される。ＭＡＸ１≧ＭＡＸ２の時
は、Δ１＝ＭＡＸ１−ＭＡＸ２、Δ２＝０の評価値が生
成される。ＭＩＮ２≧ＭＩＮ１の時には、Δ１＝０、Δ
２＝ＭＩＮ２−ＭＩＮ１の評価値が生成される。このよ
うにして、演算量を低減でき、位相補償を行うことがで
きる。

【００３６】

【実施例】以下、この発明を動きベクトル検出装置に対
して適用した一実施例について図面を参照して説明す
る。図１は、一実施例のブロック図であり、図１におい
て、１が現フレームの画像データの入力端子、２が参照
フレームの画像データの入力端子、３が現フレームの画
像データを蓄える現フレームメモリ、４が参照フレーム
の画像データを蓄える参照フレームメモリである。現フ
レームメモリ３および参照フレームの書込み／読出し動
作がコントローラ５により制御される。さらに、参照フ
レームメモリ４と関連して設けられたアドレス移動回路
６がコントローラ５によって制御され、これによって、
参照フレーム内で検査ブロックが移動される。

【００３７】現フレームメモリ３および参照フレームメ
モリ４に対してサブブロック化回路１４ａおよび１４ｂ
がそれぞれ接続される。サブブロック化回路１４ａおよ
び１４ｂがコントローラ５によって制御され、サブブロ
ック化回路１４ａおよび１４ｂから基準サブブロックお
よび検査サブブロックのデータが出力される。図２は、
この一実施例のブロック構造を説明するためのもので、
基準ブロックは、（３×３）画素のサブブロックを（２
×３）に配列した構成とされている。検査ブロックも同
様の構造である。

【００３８】基準サブブロックのデータが代表値抽出回
路７ａおよび平均化回路１５ａに供給される。代表値抽
出回路７ａは、基準サブブロック毎に代表値を抽出す
る。代表値は、代表画素の値を意味し、例えば図２に示
すように、各基準サブブロックの中央位置の画素の値ｘ
₁〜ｘ₆である。これ以外に、基準サブブロックの異な
る位置の画素の値、または基準サブブロックの最大値、
最小値、極値を代表値として使用することができる。平
均化回路１５ａは、代表画素群ｘ₁〜ｘ₆の平均値Ｘ
（＝（ｘ₁＋ｘ₂＋ｘ₃＋ｘ₄＋ｘ₅＋ｘ₆）／６）を
生成する。この平均値Ｘが第１の指示データである。

【００３９】サブブロック化回路１４ｂからの検査サブ
ブロックのデータが平均化回路１５ｂおよび候補画素選
択回路１７に供給される。平均化回路１５ｂは、６個の
検査サブブロックのそれぞれの対応する位置の画素デー
タの平均値を形成する。図２に示すように、サブブロッ
ク内の左上コーナーから右下コーナーに向かう順序で、
画素をａ，ｂ，ｃ，・・・，ｉの符号で区別し、６個の
サブブロックの区別を１，２，３，・・・・，６の数字
を添えて区別する。

【００４０】平均化回路１５ｂは、６個の画素の位置の
それぞれについて下記の平均値を形成する。Ａ＝（ａ₁＋ａ₂＋ａ₃＋ａ₄＋ａ₅＋ａ₆）／６Ｂ＝（ｂ₁＋ｂ₂＋ｂ₃＋ｂ₄＋ｂ₅＋ｂ₆）／６Ｃ＝（ｃ₁＋ｃ₂＋ｃ₃＋ｃ₄＋ｃ₅＋ｃ₆）／６・・・・・・・・Ｉ＝（ｉ₁＋ｉ₂＋ｉ₃＋ｉ₄＋ｉ₅＋ｉ₆）／６これらの平均値Ａ〜Ｉが第２の指示データである。

【００４１】平均化回路１５ａおよび平均化回路１５ｂ
のそれぞれの平均値が比較回路１６に供給される。比較
回路１６は、平均値Ｘと平均値Ａ〜Ｉとを比較する。例
えばＸに対するＡ〜Ｉの差分の絶対値（｜Ｘ−Ａ｜，｜
Ｘ−Ｂ｜，｜Ｘ−Ｃ｜，・・・・・，｜Ｘ−Ｉ｜）が計
算され、これらの差分の絶対値としきい値とが比較され
る。しきい値より小の差分の絶対値を生じさせる画素群
は、候補画素と決定される。比較回路１６の比較結果が
コントローラ１８に供給され、コントローラ１８は、比
較結果に応答して、サブブロック化回路１４ｂからの検
査サブブロック内の候補画素データを選択的に出力す
る。

【００４２】かかる候補画素の選択は、剛体仮定に基づ
いている。すなわち、基準ブロックが動く時は、基準ブ
ロック内の全画素が平行移動する（回転を許さない）と
仮定している。ブロックの大きさが小さいので、かかる
仮定は、実際的である。言い換えると、代表画素データ
ｘ₁〜ｘ₆の例えば１フレーム後の位置は、ａ₁〜ａ₆
の位置、ｂ₁〜ｂ₆の位置、・・・・・、ｉ₁〜ｉ₆の
中のいずれかの位置である。従って、代表画素データ群
を表す平均値と比較して、かけ離れた平均値を呈するも
のは、剛体仮定に反するものとして、後述の照合の前に
排除する。それによって、照合の精度を向上できる。な
お、指示データとしては、平均値に限らず、最大値ＭＡ
Ｘ、最小値ＭＩＮ、ダイナミックレンジＤＲ（＝ＭＡＸ
−ＭＩＮ）、標準偏差等を使用しても良い。

【００４３】候補画素選択回路１７で選択された候補画
素データが最大値、最小値（ＭＡＸ，ＭＩＮ）検出回路
８に供給される。ＭＡＸ，ＭＩＮ検出回路８は、検査サ
ブブロックの特徴量としての最大値ＭＡＸおよび最小値
ＭＩＮを検出する。特徴量としては、ＭＡＸ，ＭＩＮお
よびダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）の内
の二つの値を使用することができる。さらに、検査サブ
ブロックの平均値Ａｖおよび標準偏差σを計算し、Ａｖ
＋σとＡｖ−σとを特徴量として使用しても良い。

【００４４】ブロックマッチングの対象としては、上述
のような現フレームと参照フレーム（現フレームに対し
て時間的に前あるいは後のフレーム）に限られない。例
えば２枚の静止画像間で動きベクトルを検出する場合、
または解像度が異なる画像同士の間で動きベクトルを検
出する場合に対しても、この発明を適用することができ
る。さらに、動きベクトルの検出に限らず、二つの静止
画像間で照合をとる場合、例えば集合写真に相当する静
止画像を参照画像とし、特定の人物の写真を注目画像と
し、注目画像が参照画像中のどの位置に存在しているか
を検出するような画像照合に対しても適用できる。この
例では、参照画像の全体が探索範囲となる。

【００４５】ＭＡＸ，ＭＩＮ検出回路８の一例を図３に
示す。入力端子２１からは、候補画素選択回路１７で選
択された検査サブブロックの画素データが供給される。
この入力データがタイミング生成回路２２、選択回路２
３および２４にそれぞれ供給される。タイミング生成回
路２２は、画素データと同期したサンプルクロックおよ
び検査サブブロックの区切りを示すブロックタイミング
信号を発生する。

【００４６】選択回路２３は、二つの画素データの内の
より大きな値の画素データを選択的に出力し、選択回路
２４は、二つの画素データの内のより小さな値の画素デ
ータを選択的に出力する。選択回路２３の出力データが
ラッチ２５およびレジスタ２７に供給され、選択回路２
４の出力データがラッチ２６およびレジスタ２８に供給
される。レジスタ２７および２８の出力が選択回路２３
および２４に入力される。ラッチ２５から出力端子２９
にその検査サブブロックの候補画素の最大値ＭＡＸが取
り出され、ラッチ２６から出力端子３０にその検査サブ
ブロックの候補画素の最小値ＭＩＮが取り出される。

【００４７】レジスタ２７は、一つの検査サブブロック
の選択データが入力される前の初期状態では、ゼロにク
リアされている。そして、選択回路２３の出力がレジス
タ２７に取り込まれ、レジスタ２７の出力および入力画
素データの内のより大きな値が選択回路２３によって選
択されるので、次の画素データが到来する時には、以前
の画素データの最大値がレジスタ２７に保持されてい
る。そして、一つの検査サブブロックの選択画素データ
が入力された時に、選択回路２３がその検査サブブロッ
クの最大値ＭＡＸを出力する。このＭＡＸがラッチ２５
に取り込まれる。最小値ＭＩＮの検出も同様になされ、
出力端子３０に検査サブブロックのＭＩＮが取り出され
る。

【００４８】代表値と検出されたＭＡＸおよびＭＩＮ
は、比較回路９および評価値計算回路１０にそれぞれ供
給される。比較回路９の比較結果がコントローラ１８に
供給され、コントローラ１８が評価値計算回路１０を制
御する。比較回路９および評価値計算回路１０の処理を
ソフトウェア処理で行う時のフローチャートが図４に示
される。一つの基準サブブロックの代表値ｘとこれと対
応する位置の一つの検査サブブロックの候補画素データ
の最大値ＭＡＸおよび最小値ＭＩＮについて説明する。
比較処理が開始されると、ステップ３１において、ｘ＞
ＭＡＸが調べられる。若し、この関係が成立する（Ｙ）
時には、ステップ３２へ処理が移り、評価値Δ＝ｘ−Ｍ
ＡＸが生成される。

【００４９】ステップ３１の結果が否定（Ｎ）の時に
は、ステップ３３において、ｘ＜ＭＩＮの関係が成立す
るかどうかが調べられる。これが成立する時には、Δ＝
ＭＩＮ−ｘが生成される。ステップ３３における関係が
成立しない時、すなわち、ＭＩＮ≦ｘ≦ＭＡＸの時に
は、Δ＝０（ステップ３５）とされる。このように生成
された評価値Δが出力される（ステップ３６）。

【００５０】図５は、比較回路９および評価値計算回路
１０をハードウエアで構成した時のブロック図である。
比較回路９には、基準サブブロックおよび対応検査サブ
ブロックの代表値ｘ、ＭＡＸおよびＭＩＮが供給され、
２ビットの比較出力が発生する。この比較出力が選択回
路４１を制御する。選択回路４１の入力端子ａには、減
算回路４２からのｘ−ＭＡＸが供給される。その入力端
子ｂには、ゼロデータが供給される。その入力端子ｃに
は、減算回路４３からのＭＩＮ−ｘが供給される。

【００５１】比較回路９の２ビットの出力は、ｘ＞ＭＡ
Ｘ、ｘ＜ＭＩＮ、ＭＩＮ≦ｘ≦ＭＡＸの３つの関係を指
示するものであって、各関係に応じて入力端子ａ、ｂ、
ｃが選択され、上述と同様の評価値Δが生成される。評
価値計算回路１０で生成された評価値Δが出力端子４４
を介して累算回路１９に供給され、累算回路１９の出力
が評価値メモリ１１に格納される。

【００５２】評価値Δは、図６に示すように、各基準サ
ブブロックの代表値が各検査サブブロックの候補画素の
ＭＩＮおよびＭＡＸの間の範囲に含まれる時に、０であ
り、ＭＩＮより小さい時およびＭＡＸより大きい時に
は、次第に大きくなる値である。実際には、ノイズが存
在するので、ノイズマージンを設定し、図６における破
線のような変化を呈する評価値Δを形成しても良い。な
お、図５の構成は、一例であって、ゲート回路あるいは
２入力の選択回路の組合せ等によって、種々の構成が可
能である。また、評価値としては、差分の絶対値、差分
のｎ乗値等を使用しても良い。

【００５３】上述の評価値は、基準サブブロックの代表
画素と対応する位置の検査サブブロックについてそれぞ
れ計算される。従って、図７に示すように、６個のサブ
ブロックと対応する６個の評価値Δ１〜Δ６が求まる。
この評価値Δ１〜Δ６が累算回路１９によって累算され
る（すなわち、Δ１＋Δ２＋Δ３＋・・・＋Δ６）。そ
して、累算結果（総合評価値）が評価値メモリ１１に格
納される。

【００５４】図１に戻って説明すると、評価値メモリ１
１への総合評価値の格納は、コントローラ５により制御
される。そして、所定の探索範囲で総合評価値がそれぞ
れ求められ、総合評価値の中の最小値が最小値検出回路
１２において検出される。最小値の存在する位置がその
基準ブロックの動きベクトルである。

【００５５】図８は、例えば±５の探索範囲（一点鎖線
で示す）の一部を示す。基準ブロックの右下の頂点を基
準として考え、３画素毎に目盛られた座標軸（ｘ，ｙ）
が描かれている。なお、基準の点は、より好ましくは、
ブロック内のより中心に近い点に設定される。例えば図
８に示すような（＋５，＋５）の位置の検査ブロックが
最小の総合評価値を生じさせる時には、（＋１５（＝５
×３），＋１５（＝５×３））の動きベクトルが出力さ
れる。

【００５６】上述の一実施例は、要約すると、基準サブ
ブロックの代表画素と検査サブブロック（領域）間の照
合をとるもので、検査サブブロックの候補画素の全てを
代表する量として、例えば最大値ＭＡＸおよび最小値Ｍ
ＩＮを求めている。代表画素の値がこの間に存在しない
場合には、基準サブブロックと検査サブブロックの照合
の可能性はない。剛体仮定を導入することによって、照
合の精度を向上できる。従来では、探索点を減少させる
簡略化を行うと、位相ずれによって誤検出が生じる問題
があった。この発明は、探索点を例えば３画素毎に減少
させても、フルサーチと等価な処理、すなわち、位相ず
れを生じない照合を行うことができる。

【００５７】図９は、この発明が位相ずれを生じないこ
とを説明するものである。簡単のために、ａ、ｂ、ｃの
値をそれぞれ有する３画素からなる１次元ブロックを考
える。破線は、３画素毎に描かれている。この１次元ブ
ロックを基準ブロックとして考え、その中央位置の画素
の値ｂが代表値である。図９では、基準ブロックが＋１
画素の動き、−１画素の動き、＋２画素の動き、＋３画
素の動き、＋４画素の動きがそれぞれ示されている。

【００５８】この図９から分かるように、±１画素の動
きの場合でも、代表値ｂが３画素の区切りの中に存在し
ている。従って、±１画素の動きの場合でも、検査サブ
ブロックとの照合がとれ、評価値Δが０となる。＋２画
素、＋３画素、＋４画素の動きは、次の検査ブロックと
の照合によって、検出することができる。従って、検査
ブロックの区切りをオーバーラップさせる必要がない。
従来の探索点の簡略化では、静止並びに探索点の間隔の
倍数の動きしか正確に検出することができなかった。こ
の発明は、かかる位相ずれを補償することができる。

【００５９】次に、この発明の他の実施例について説明
する。他の実施例では、サブブロック間の照合をとる時
に、領域対領域で比較するものである。検査サブブロッ
ク内の候補画素の選択は、上述の一実施例と同様になさ
れる。他の実施例の構成を示す図１０において、代表値
抽出回路７、平均化回路１５ａ、１５ｂ、比較回路１
６、候補画素選択回路１７は、上述の一実施例と同様で
ある。

【００６０】他の実施例のブロック構成を図１１に示
す。基準サブブロックは、例えば（２×４）画素の大き
さである。検査サブブロックは、基準サブブロックと同
様に、（２×４）画素の２次元領域である。修正検査サ
ブブロックは、後述のように、位相補償範囲の±１ライ
ンおよび±２画素を検査ブロックに付加した領域であ
る。図示しないが、基準および検査サブブロックを例え
ば（２×４）個並べたものがそれぞれ基準ブロックおよ
び検査ブロックとされる。

【００６１】サブブロック化回路１４ａからの基準サブ
ブロックの画素データが最大値，最小値（ＭＡＸ１，Ｍ
ＩＮ１）抽出回路７ａに供給される。ＭＡＸ１，ＭＩＮ
１抽出回路７ａは、基準サブブロック毎に最大値ＭＡＸ
１および最小値ＭＩＮ１を第１の特徴量として抽出す
る。第１の特徴量としては、ＭＡＸ１，ＭＩＮ１および
ダイナミックレンジＤＲ１（＝ＭＡＸ１−ＭＩＮ１）の
内の二つの値を使用することができる。さらに、第１の
特徴量としては、これ以外に、基準サブブロックの平均
値Ａｖ１および標準偏差σ１を計算し、Ａｖ１＋σ１と
Ａｖ１−σ１とを使用しても良い。

【００６２】サブブロック化回路１４ｂからの修正検査
サブブロックのデータが候補画素選択回路１７に供給さ
れ、選択された画素データが最大値、最小値（ＭＡＸ
２，ＭＩＮ２）検出回路８に供給される。ＭＡＸ２，Ｍ
ＩＮ２検出回路８は、第２の特徴量としての最大値ＭＡ
Ｘ２および最小値ＭＩＮ２を検出する。第２の特徴量と
しては、ＭＡＸ２，ＭＩＮ２およびダイナミックレンジ
ＤＲ２（＝ＭＡＸ２−ＭＩＮ２）の内の二つの値を使用
することができる。さらに、修正検査サブブロックの平
均値Ａｖ２および標準偏差σ２を計算し、Ａｖ＋σとＡ
ｖ−σとを第２の特徴量として使用しても良い。

【００６３】ＭＡＸ，ＭＩＮ検出回路７ｂおよび８は、
上述したような図３と同様の構成とされている。そし
て、ＭＡＸ，ＭＩＮ検出回路７ｂおよび８のそれぞれに
よって、検出されたＭＡＸ１，ＭＩＮ１，ＭＡＸ２，Ｍ
ＩＮ２は、比較回路９および評価値計算回路１０にそれ
ぞれ供給される。比較回路９および評価値計算回路１０
の処理をソフトウェア処理で行う時のフローチャートが
図１２に示される。

【００６４】比較処理が開始されると、ステップ１３１
において、ＭＡＸ１＞ＭＡＸ２が成立するかどうかが調
べられる。若し、この関係が成立しない（Ｎ）時（すな
わち、ＭＡＸ２≧ＭＡＸ１の時）には、ステップ１３２
へ処理が移り、評価値Δ１＝０とされる。そして、次
に、ＭＩＮ１＜ＭＩＮ２が成立するかどうかが調べられ
る（ステップ１３３）。若し、この関係が成立しない
（Ｎ）時（すなわち、ＭＩＮ１≧ＭＩＮ２の時）には、
ステップ１３４へ処理が移り、評価値Δ２＝０とされ
る。従って、評価値Δ１＝０、Δ２＝０（ステップ１３
５ａ）である。これは、基準サブブロックの最小値ＭＩ
Ｎ１および最大値ＭＡＸ１が修正検査サブブロックＭＩ
Ｎ２および最大値ＭＡＸ２の範囲内に含まれ、基準サブ
ブロックと検査サブブロックとの照合が成立したと判断
されることを意味する。若し、ステップ１３３の結果が
肯定の場合では、Δ１＝０、Δ２＝ＭＩＮ２−ＭＩＮ１
の評価値が生成される（ステップ１３５ｂ）。

【００６５】ステップ１３１の結果が肯定（Ｙ）の時に
は、ステップ１３６において、ＭＩＮ１＜ＭＩＮ２の関
係が成立するかどうかが調べられる。これが成立しない
時（すなわち、ＭＩＮ１≧ＭＩＮ２の時）には、Δ２＝
０とされ（ステップ１３７）、Δ１＝ＭＡＸ１−ＭＡＸ
２，Δ２＝０の評価値が生成される（ステップ１３５
ｃ）。ステップ１３６の結果が肯定の時には、Δ１＝Ｍ
ＡＸ１−ＭＡＸ２，Δ２＝ＭＩＮ２−ＭＩＮ１の評価値
が生成される（ステップ１３５ｄ）。

【００６６】図１３は、比較回路９および評価値計算回
路１０をハードウエアで構成した時のブロック図であ
る。比較回路９には、基準サブブロックのＭＡＸ１およ
びＭＩＮ１と修正検査サブブロックのＭＡＸ２およびＭ
ＩＮ２が供給され、二つの比較出力が発生する。これら
の比較出力が選択回路１４１および１４２を制御する。
選択回路１４１の入力端子ａには、減算回路１４５から
のＭＡＸ１−ＭＡＸ２が供給され、その入力端子ｂに
は、ゼロデータが供給される。選択回路１４２の入力端
子ａには、減算回路１４６からのＭＩＮ２−ＭＩＮ１が
供給され、その入力端子ｂには、ゼロデータが供給され
る。

【００６７】比較回路９の一方の出力は、ＭＡＸ１＞Ｍ
ＡＸ２の時には、選択回路１４１が入力端子ａ（すなわ
ち、ＭＡＸ１−ＭＡＸ２）を選択するように制御し、Ｍ
ＡＸ１＜ＭＡＸ２の時には、選択回路１４１が入力端子
ｂ（すなわち、ゼロデータ）を選択するように制御す
る。比較回路９の他方の出力は、ＭＩＮ１＜ＭＩＮ２の
時には、選択回路１４２が入力端子ａ（すなわち、ＭＩ
Ｎ２−ＭＩＮ１）を選択するように制御し、ＭＩＮ１≧
ＭＩＮ２の時には、選択回路１４２が入力端子ｂ（すな
わち、、ゼロデータ）を選択するように制御する。選択
回路１４１からの評価値Δ１と選択回路１４２からの評
価値Δ２とが加算回路１４３に供給される。選択回路１
４３からのΔ１＋Δ２の出力が出力端子１４４に取り出
される。

【００６８】評価値Δ１およびΔ２は、図１４に示すよ
うに変化する。評価値Δ１は、ＭＡＸ１がＭＡＸ２より
も小さい範囲では、０であり、ＭＡＸ２よりも大きくな
るに従って、その値が大きくなる。また、評価値Δ２
は、ＭＩＮ１がＭＩＮ２よりも大きい範囲では、０であ
り、ＭＩＮ２よりも小さくなるに従って、その値が大き
くなる。実際には、ノイズが存在するので、ノイズマー
ジンを設定し、図１４における破線のような変化を呈す
る評価値Δ１およびΔ２を形成しても良い。なお、図１
３の構成は、一例であって、種々の構成が可能である。
また、評価値としては、差分の絶対値、差分のｎ乗値等
を使用しても良い。

【００６９】上述の評価値は、基準サブブロックと対応
する位置の検査サブブロックについてそれぞれ計算され
る。この評価値が累算回路１９によって、累算され、累
算回路１９から総合評価値が発生する。この総合評価値
が評価値メモリ１１に格納される。所定の探索範囲にお
いて、検査ブロックのそれぞれの位置で総合評価値が計
算される。この総合評価値の中の最小値が最小値検出回
路１２によって検出され、検出された最小値の位置と対
応する動きベクトルが出力端子１３に取り出される。

【００７０】他の実施例は、要約すると、基準サブブロ
ックの領域と検査サブブロックの領域間の照合をとるも
ので、修正検査サブブロックの選択画素の存在範囲を表
す量として、例えば最大値ＭＡＸ２および最小値ＭＩＮ
２を求めている。基準サブブロックのＭＡＸ１およびＭ
ＩＮ１がこの間に存在しない場合には、両者が照合しな
いと判断される。剛体仮定を導入して、候補画素を選択
することによって、検出精度を向上できる。また、従来
では、探索点を減少させる簡略化を行うと、位相ずれに
よって誤検出が生じる問題があった。この発明は、探索
点を例えば数画素毎に減少させても、フルサーチと等価
な処理、すなわち、位相ずれを生じない照合を行うこと
ができる。

【００７１】図１５は、この発明が位相ずれを生じない
ことを説明するものである。簡単のために、ａ、ｂ、
ｃ、ｄの値をそれぞれ有する４画素からなる１次元ブロ
ックを考える。破線は、４画素毎に描かれている。この
１次元ブロックを基準ブロックとして考える。図１５で
は、基準ブロックが＋１画素の動き、＋２画素の動き、
＋３画素の動き、＋４画素の動きがそれぞれ示されてい
る。

【００７２】この図１５から分かるように、領域同士を
比較する時に、検査ブロックが基準ブロックと同じ大き
さの場合では、＋１画素、＋２画素、＋３画素、＋４画
素の動きの場合には、誤照合が発生する可能性がある。
しかしながら、４画素の大きさの場合では、検査ブロッ
クに対して、左右に２画素分の拡張領域を付加している
ので、誤照合を防止できる。＋３画素および＋４画素の
動きは、次の基準ブロックに関する照合によって、照合
をとることができる。どの程度の幅を検査ブロックに対
して付加するかは、ブロックの大きさによって変化す
る。従来の探索点の簡略化では、静止並びに探索点の間
隔の倍数の動きしか正確に検出することができなかっ
た。この発明は、かかる位相ずれを補償することができ
る。

【００７３】この発明の具体的構成は、上述の一実施例
および他の実施例の構成以外に種々のものが可能であ
る。例えば過渡成分を考慮して簡略化による誤検出を防
止する方式を併用しても良い。また、動きベクトルを求
める時に、動きベクトルの精度を１画素ではなく、ハー
フペル精度とするようにしても良い。

【００７４】

【発明の効果】この発明は、探索点を簡略化するのと同
様に、演算量および比較回数を大幅に減少することがで
きる。これと共に、位相ずれによる誤検出を防止するこ
とができる。また、この発明は、照合の前処理として、
剛体仮定に基づく候補画素の選択を行うので、検出精度
を向上することができる。

【図面の簡単な説明】

【図１】この発明の一実施例の構成を示すブロック図で
ある。

【図２】この発明の一実施例におけるブロックの構成を
示す略線図である。

【図３】この発明の一実施例における最大値，最小値検
出回路の一例のブロック図である。

【図４】代表画素の値と最大値，最小値の比較処理およ
び評価値生成の処理を示すフローチャートである。

【図５】代表画素の値と最大値，最小値の比較回路およ
び評価値生成回路の一例のブロック図である。

【図６】評価値の説明に用いる略線図である。

【図７】総合評価値の形成の説明に用いる略線図であ
る。

【図８】この発明の一実施例の探索範囲の一部を示す略
線図である。

【図９】この発明の一実施例による位相補償を説明する
ための略線図である。

【図１０】この発明の他の実施例のブロック図である。

【図１１】この発明の他の実施例のブロック構成を示す
略線図である。

【図１２】この発明の他の実施例における評価値の生成
を説明するためのフローチャートである。

【図１３】この発明の他の実施例における評価値の生成
のための構成の一例のブロック図である。

【図１４】この発明の他の実施例における評価値の説明
のための略線図である。

【図１５】この発明の他の実施例による位相補償を説明
するための略線図である。

【図１６】この発明を適用することができる動き補償予
測符号化装置の一例を示すブロック図である。

【図１７】従来のブロックマッチング法による動きベク
トル検出方法の説明のための略線図である。

【図１８】従来のブロックマッチング法による動きベク
トル検出方法の説明のための略線図である。

【図１９】従来のブロックマッチング法による動きベク
トル検出方法における探索範囲の説明のための略線図で
ある。

【図２０】従来のブロックマッチング法による動きベク
トル検出装置の一例のブロック図である。

【図２１】従来のブロックマッチング法による動きベク
トル検出をより具体的に説明するための略線図である。

【図２２】従来の間引き法によるブロックマッチングの
説明のための略線図である。

【図２３】先に提案されている誤照合を防止する手法の
説明のための略線図である。

【図２４】従来の簡略化されたブロックマッチング方式
の問題点を説明するための略線図である。

【符号の説明】

３現フレームメモリ４参照フレームメモリ７代表値抽出回路８最大値，最小値検出回路９比較回路１０評価値計算回路１２最小値検出回路

Claims

【特許請求の範囲】

【請求項１】第１の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割するステップと、第２の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割す
るステップと、上記基準サブブロックから第１の代表画素データをそれ
ぞれ抽出するステップと、上記複数の基準サブブロックの第１の代表画素データ群
を指示する第１の指示データと、上記複数の検査サブブ
ロックの互いに対応する位置の画素群を指示する第２の
指示データとをそれぞれ形成し、上記第１および第２の
指示データを比較することによって、照合に使用する画
素データを選択するステップと、上記検査サブブロックの選択された画素の存在範囲を示
す特徴量データをそれぞれ抽出するステップと上記基準
サブブロックから第２の代表画素データをそれぞれ抽出
するステップと、上記第２の代表画素データと上記特徴量データとを比較
することによって、サブブロック毎の評価値を生成し、
上記サブブロック毎の評価値から総合評価値を生成し、
上記総合評価値に基づいて上記第１および第２の画像デ
ータの部分的照合を行うステップとからなる画像照合方
法。
【請求項２】第１の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割する手段と、第２の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割す
る手段と、上記基準サブブロックから第１の代表画素データをそれ
ぞれ抽出する手段と、上記複数の基準サブブロックの第１の代表画素データ群
を指示する第１の指示データと、上記複数の検査サブブ
ロックの互いに対応する位置の画素群を指示する第２の
指示データとをそれぞれ形成し、上記第１および第２の
指示データを比較することによって、照合に使用する画
素データを選択する手段と、上記検査サブブロックの選択された画素の存在範囲を示
す特徴量データをそれぞれ抽出する手段と、上記基準サブブロックから第２の代表画素データをそれ
ぞれ抽出する手段と、上記第２の代表画素データと上記特徴量データとを比較
することによって、サブブロック毎の評価値を生成し、
上記サブブロック毎の評価値から総合評価値を生成し、
上記総合評価値に基づいて上記第１および第２の画像デ
ータの部分的照合を行う手段とからなる画像照合装置。
【請求項３】第１の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割するステップと、第２の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割
し、位相補償に必要な範囲の上記検査サブブロックの近
傍画素を含む修正検査サブブロックを構成するステップ
と、上記基準サブブロックから第１の代表画素データをそれ
ぞれ抽出するステップと、上記複数の基準サブブロックの第１の代表画素データ群
を指示する第１の指示データと、上記複数の修正検査サ
ブブロックの互いに対応する位置の画素群を指示する第
２の指示データとをそれぞれ形成し、上記第１および第
２の指示データを比較することによって、照合に使用す
る画素データを選択するステップと、上記基準サブブロックの全画素の存在範囲を示す第１の
特徴量データをそれぞれ抽出するステップと、選択された画素データからなる上記修正検査サブブロッ
クの全画素の存在範囲を示す第２の特徴量データをそれ
ぞれ抽出するステップと、上記第１および第２の特徴量データとを比較することに
よって、サブブロック毎の評価値を生成し、上記サブブ
ロック毎の評価値から総合評価値を生成し、上記総合評
価値に基づいて上記第１および第２の画像データの部分
的照合を行うステップとからなる画像照合方法。
【請求項４】第１の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割する手段と、第２の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割
し、位相補償に必要な範囲の上記検査サブブロックの近
傍画素を含む修正検査サブブロックを構成する手段と、上記基準サブブロックから第１の代表画素データをそれ
ぞれ抽出する手段と、上記複数の基準サブブロックの第１の代表画素データ群
を指示する第１の指示データと、上記複数の修正検査サ
ブブロックの互いに対応する位置の画素群を指示する第
２の指示データとをそれぞれ形成し、上記第１および第
２の指示データを比較することによって、照合に使用す
る画素データを選択する手段と、上記基準サブブロックの全画素の存在範囲を示す第１の
特徴量データをそれぞれ抽出する手段と、選択された画素データからなる上記修正検査サブブロッ
クの全画素の存在範囲を示す第２の特徴量データをそれ
ぞれ抽出する手段と、上記第１および第２の特徴量データとを比較することに
よって、サブブロック毎の評価値を生成し、上記サブブ
ロック毎の評価値から総合評価値を生成し、上記総合評
価値に基づいて上記第１および第２の画像データの部分
的照合を行う手段とからなる画像照合装置。
【請求項５】第１および第２の画像データの部分的照
合をとる時に、簡略化を行って生じる位相差を補償する
ようにした画像照合方法において、基準ブロックおよび検査ブロックをそれぞれ基準サブブ
ロックおよび検査サブブロックへそれぞれ分割するステ
ップと、剛体仮定のもとで、照合に使用する画素データを選択す
るステップと、上記検査サブブロックの選択された画素データと上記基
準サブブロックの画素データとの間で、上記検査サブブ
ロックおよび上記基準サブブロックの照合の度合いを示
すサブブロック毎の評価値を生成するステップと、上記サブブロック毎の評価値からブロック毎の総合評価
値を生成し、上記総合評価値に基づいて上記第１および
第２の画像データの部分的照合を行うステップとからな
る画像照合方法。
【請求項６】第１および第２の画像データの部分的照
合をとる時に、簡略化を行って生じる位相差を補償する
ようにした画像照合装置において、基準ブロックおよび検査ブロックをそれぞれ基準サブブ
ロックおよび検査サブブロックへそれぞれ分割する手段
と、剛体仮定のもとで、照合に使用する画素データを選択す
る手段と、上記検査サブブロックの選択された画素データと上記基
準サブブロックの画素データとの間で、上記検査サブブ
ロックおよび上記基準サブブロックの照合の度合いを示
すサブブロック毎の評価値を生成する手段と、上記サブブロック毎の評価値からブロック毎の総合評価
値を生成し、上記総合評価値に基づいて上記第１および
第２の画像データの部分的照合を行う手段とからなる画
像照合装置。
【請求項７】第１の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割するステップと、第２の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割す
るステップと、上記基準サブブロックから第１の代表画素データをそれ
ぞれ抽出するステップと、上記複数の基準サブブロックの第１の代表画素データ群
を指示する第１の指示データと、上記複数の検査サブブ
ロックの互いに対応する位置の画素群を指示する第２の
指示データとをそれぞれ形成し、上記第１および第２の
指示データを比較することによって、照合に使用する画
素データを選択するステップと、上記検査サブブロックの選択された画素の存在範囲を示
す特徴量データをそれぞれ抽出するステップと上記基準
サブブロックから第２の代表画素データをそれぞれ抽出
するステップと、上記第２の代表画素データと上記特徴量データとを比較
することによって、サブブロック毎の評価値を生成し、
上記サブブロック毎の評価値から総合評価値を生成し、
所定の探索範囲内で上記検査ブロックを移動することで
生成された上記総合評価値に基づいて、上記基準ブロッ
クと最も合致する上記検査ブロックの位置と対応する動
きベクトルを検出するステップとからなることを特徴と
する動きベクトル検出方法。
【請求項８】第１の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割する手段と、第２の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割す
る手段と、上記基準サブブロックから第１の代表画素データをそれ
ぞれ抽出する手段と、上記複数の基準サブブロックの第１の代表画素データ群
を指示する第１の指示データと、上記複数の検査サブブ
ロックの互いに対応する位置の画素群を指示する第２の
指示データとをそれぞれ形成し、上記第１および第２の
指示データを比較することによって、照合に使用する画
素データを選択する手段と、上記検査サブブロックの選択された画素の存在範囲を示
す特徴量データをそれぞれ抽出する手段と上記基準サブ
ブロックから第２の代表画素データをそれぞれ抽出する
手段と、上記第２の代表画素データと上記特徴量データとを比較
することによって、サブブロック毎の評価値を生成し、
上記サブブロック毎の評価値から総合評価値を生成し、
所定の探索範囲内で上記検査ブロックを移動することで
生成された上記総合評価値に基づいて、上記基準ブロッ
クと最も合致する上記検査ブロックの位置と対応する動
きベクトルを検出する手段とからなることを特徴とする
動きベクトル検出装置。
【請求項９】第１の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割するステップと、第２の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割
し、位相補償に必要な範囲の上記検査サブブロックの近
傍画素を含む修正検査サブブロックを構成するステップ
と、上記基準サブブロックから第１の代表画素データをそれ
ぞれ抽出するステップと、上記複数の基準サブブロックの第１の代表画素データ群
を指示する第１の指示データと、上記複数の修正検査サ
ブブロックの互いに対応する位置の画素群を指示する第
２の指示データとをそれぞれ形成し、上記第１および第
２の指示データを比較することによって、照合に使用す
る画素データを選択するステップと、上記基準サブブロックの全画素の存在範囲を示す第１の
特徴量データをそれぞれ抽出するステップと、選択された画素データからなる上記修正検査サブブロッ
クの全画素の存在範囲を示す第２の特徴量データをそれ
ぞれ抽出するステップと、上記第１および第２の特徴量データとを比較することに
よって、サブブロック毎の評価値を生成し、上記サブブ
ロック毎の評価値から総合評価値を生成し、所定の探索
範囲内で上記検査ブロックを移動することで生成された
上記総合評価値に基づいて、上記基準ブロックと最も合
致する上記検査ブロックの位置と対応する動きベクトル
を検出するステップとからなることを特徴とする動きベ
クトル検出方法。
【請求項１０】第１の画像データを複数の基準ブロッ
クへ分割し、上記基準ブロックをさらに複数の基準サブ
ブロックへ分割する手段と、第２の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割
し、位相補償に必要な範囲の上記検査サブブロックの近
傍画素を含む修正検査サブブロックを構成する手段と、上記基準サブブロックから第１の代表画素データをそれ
ぞれ抽出する手段と、上記複数の基準サブブロックの第１の代表画素データ群
を指示する第１の指示データと、上記複数の修正検査サ
ブブロックの互いに対応する位置の画素群を指示する第
２の指示データとをそれぞれ形成し、上記第１および第
２の指示データを比較することによって、照合に使用す
る画素データを選択する手段と、上記基準サブブロックの全画素の存在範囲を示す第１の
特徴量データをそれぞれ抽出する手段と、選択された画素データからなる上記修正検査サブブロッ
クの全画素の存在範囲を示す第２の特徴量データをそれ
ぞれ抽出する手段と、上記第１および第２の特徴量データとを比較することに
よって、サブブロック毎の評価値を生成し、上記サブブ
ロック毎の評価値から総合評価値を生成し、所定の探索
範囲内で上記検査ブロックを移動することで生成された
上記総合評価値に基づいて、上記基準ブロックと最も合
致する上記検査ブロックの位置と対応する動きベクトル
を検出する手段とからなることを特徴とする動きベクト
ル検出装置。
【請求項１１】請求項１、２、７または８に記載の方
法または装置において、上記第１および第２の代表画素データがブロックの略中
央位置の画素のデータであることを特徴とする方法また
は装置。
【請求項１２】請求項１、２、７または８に記載の方
法または装置において、上記特徴量データがブロック内の複数画素の最大値、最
小値およびダイナミックレンジの内の二つのデータであ
ることを特徴とする方法または装置。
【請求項１３】請求項１、２、７または８に記載の方
法または装置において、上記特徴量データがブロック内の複数画素の平均値と標
準偏差であることを特徴とする方法または装置。
【請求項１４】請求項１、２、７または８に記載の方
法または装置において、上記特徴量データがブロック内の複数画素の最大値、最
小値およびダイナミックレンジの内の二つのデータであ
り、上記評価値の生成手段は、上記第２の代表画素データの
値が上記最大値および上記最小値の間の範囲に含まれる
時には、略０を上記サブブロック毎の評価値として出力
し、そうでない時は、第２の代表画素データと上記最大
値および上記最小値との差分を上記サブブロック毎の評
価値として出力することを特徴とする方法または装置。
【請求項１５】請求項１、２、７または８に記載の方
法または装置において、上記特徴量データが上記検査ブロックの平均値と標準偏
差であり、上記評価値の生成手段は、上記平均値および上記標準偏
差の和および差の間の範囲に上記第１および第２の代表
画素データが含まれる時には、略０を上記サブブロック
毎の評価値として出力し、そうでない時は、上記第２の
代表画素データと上記和および上記差との差分を上記サ
ブブロック毎の評価値として出力することを特徴とする
方法または装置。
【請求項１６】請求項３、４、９または１０に記載の
方法または装置において、上記第１および第２の特徴量データがブロック内の複数
画素の最大値、最小値およびダイナミックレンジの内の
二つのデータであることを特徴とする方法または装置。
【請求項１７】請求項３、４、９または１０に記載の
方法または装置において、上記第１および第２の特徴量データがブロック内の複数
画素の平均値および標準偏差であることを特徴とする方
法または装置。
【請求項１８】請求項３、４、９または１０に記載の
方法または装置において、上記第１および第２の特徴量データがブロック内の複数
画素の最大値、最小値およびダイナミックレンジの内の
二つのデータであり、上記評価値の生成手段は、第１の特徴量データの上記最
大値および最小値が上記第２の特徴量データの上記最大
値および上記最小値の間の範囲に含まれる時には、略０
を上記サブブロック毎の評価値として出力し、そうでな
い時は、上記第１および第２の特徴量データの間で、最
大値同士の差分と最小値同士の差分を上記サブブロック
毎の評価値として出力することを特徴とする方法または
装置。
【請求項１９】請求項３、４、９または１０に記載の
方法または装置において、上記第１および第２の特徴量データが上記基準ブロック
および修正検査ブロック内の複数画素の平均値および標
準偏差であり、上記評価値の生成手段は、上記平均値および標準偏差の
和と差をそれぞれ形成し、上記第１の特徴量データの上記平均値および標準偏差の
和と差が上記第２の特徴量データの上記平均値および標
準偏差の和と差の間の範囲に含まれる時には、略０を上
記サブブロック毎の評価値として出力し、そうでない時
は、上記第１および第２の特徴量データの間で、上記平
均値および標準偏差の和同士の差分と上記平均値および
標準偏差の差同士の差分を上記サブブロック毎の評価値
として出力することを特徴とする方法または装置。
【請求項２０】請求項１，２，３、４、７，８，９ま
たは１０に記載の方法または装置において、上記第１および第２の指示データは、平均値であること
を特徴とする方法または装置。