JPH02206294A - 画像マッチング装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明は画像のディジタル信号処理を行なう場合の画像
マツチング方式に関するものである。

（従来の技術） 従来、動画像の動きベクトル検出やステレオ画像におけ
る被写体の変位ベクトル検出に用いられてきたブロック
マツチング方式は、画像間に輝度変化やコントラスト変
化がある場合には正確に変化ベクトルを検出できないと
いう問題点があった。

このブロックマツチング方式は比較すべき画像をＮＸＮ
のブロックに区切って数サンプル分シフトさせ１画像間
の差の絶対値和あるいは２乗和を求め、最小値を与える
シフトベクトルを変位とする手法である。従って、画像
の平均輝度やコントラストが変化すれば画像の変位と輝
度変化を区別することができず、しばしば現実とは異な
った動きが検出されていた。

（発明の目的） 本発明の目的は、動画像に輝度およびコントラスト変化
がある場合に、正確に動きベクトルを検出すると共に輝
度およびコントラスト変化を検出することにある。また
、ステレオ画像間において輝度およびコントラスト変化
がある場合に、被写体の変位と輝度およびコントラスト
変化を検出することにある。

（発明の構成） （発明の特徴と従来の技術との差異） 本発明は、上記目的を達成するため、離散化された画像
をフーリエ変換係数の位相差の逆変換によって画像の変
位を検出する位相相関法によることを最も主要な特徴と
する。従って本発明は画像の輝度、コントラスト変化に
関係なく変位検出が可能であり、この検出された変位量
を用いて輝度とコントラストの変化の推定を行うことが
できる。

従来のブロックマツチング方式に比べ、（ア）画像に輝
度、コントラスト変化のある場合でも変位量推定が可能
であることと、（イ）位相相関法により求めた変位量を
用いて輝度、コントラスト変化を推定できる点が従来と
異なる。

（実施例） 第１図は本発明を実施するための一実施例のブロック構
成図を示す。同図において、１及び２は夫々離散化され
た入力画像Ｚ、Ｘ、３及び４は上記入力画像ｚ、ｘのフ
ーリエ変換回路、５及び６は該フーリエ変換回路が求め
たフーリエ係数の位相項、７は該位相項５，６の差分を
求める位相差計算回路、８は該位相差計算回路７で求め
られた差分を再び逆変換する逆フーリエ変換回路、１０
は前記入力画像Ｘを該フーリエ変換回路８で求めた変位
量αでシフトさせるデータシフト回路、１１はそのデー
タシフト回路１０の出力であるシフトデータ、　１２は
該シフトデータと前記入力画像Ｚを入力とし、輝度推定
値１３（ａ　）及びコントラスト推定値１４（Ｇ）を求
める輝度、コントラスト推定回路である。

次にこれの動作を説明すると、離散化された２フレーム
の入力画像１，２をそれぞれフーリエ変換回路３，４に
おいてフーリエ変換し、位相差計算回路７においてフー
リエ係数の位相項５，６の差分を求め、逆フーリエ変換
回路８において再び逆変換する。このとき、フーリエ変
換係数の振幅項は計算には用いない。位相相関関数は変
位量（α）９に一致する点でインパルスを与える。

次にデータシフト回路１０において入力画像（Ｘ）２を
変位量αだけシフトさせる。シフトされたデータ１１と
もう一方のオリジナルデータである入力画像（Ｚ）１が
輝度、コントラスト推定回路１２に入力される。この輝
度、コントラスト推定回路では、輝度とコントラストの
各推定値１３（＠　）、　１４（Ｇ　）カ計算され出力
される。

次に上記実施例の動作原理について説明する。

まず、位相相関による変位ベクトル推定の原理をのべる
。

信号ｘ（ｎ）（ｎ＝ｏ、１．、、、、　Ｎ−１）を変位
量αでサンプルシフト（変位）した信号をｙ　（ｎ）（
ｎ＝ｏ１１１．、、ｌＮ−１）とし、それぞれのフーリ
エ変換をフーリエ変換回路３，４で行ないＸ（ｋ）、　
Ｙ（ｋ）（ｋ＝ｏ、１．、、、。

Ｎ−１）とすると夫々下記（１）式、（２）式で示され
る。

Ｘ　（ｋ）：Ｉ　Ｘ　（ｋ）　Ｉ　ｅｘｐ（ｊθｘ　（
ｋ））　−−（１）Ｙ（ｋ）＝ｌ　Ｙ（ｋ）　Ｉｅｘｐ
（ｌ　ｙ（ｋ））　−（２）次に位相相関による変位の
推定は、逆フーリエ変換回路８でもって位相差のフーリ
エ逆変換すると、下記（３）式で求められる。

ｄ　（ｎ）＝　Ｆ−１［ａｘｐ（ｊθｘ　（ｋ））ｅｘ
ｐ（−ｊθｙ（ｋ））］　−（３）ここで信号の周期性
を仮定したとき、 は（３）式で与えられる。従って、これを動画像の動き
補償に用いた場合、入力信号レベルが線形に変化する場
合にも動ベクトル推定が可能である。

また、異なった特性のカメラにより撮像されたステレオ
画像間の視差ベクトルの推定も可能である。

次に輝度、コントラスト変化の推定の動作原理をのべる
。

信号ｚ　（ｎ）と変位量が既に推定された信号Ｘ（ｎ＋
α）の輝度およびコントラストの最良近似を行う。評価
関数Ｊを次式で定義する。

Ｊ＝（Ｚ−（ａＸ＋ｂＵ））”（Ｚ−（ａＸ＋ｂＵ））
　＋＋＋・＋＋　（６）ここに、ｚ、Ｘは比較すべき信
号のベクトル表示。

Ｚ＝　［ｚ（０）ｚ（１）、、、ｚ（Ｎ−１）］’、Ｘ
＝　［ｘ（０＋α）ｘ　（１＋　ａ　）、、、　ｘ　（
Ｎ−１＋　ａ　）コアであり、　Ｕ＝［１１，、，１コ
アである。（６）式をａ、ｂで偏微分して０と置けば、
上記（４）式となり、変位量αの位置でインパルスが得
られる。信号ｙ　（ｎ）の振幅が ｚ　（ｎ）＝ａ　ｙ　（ｎ）　＋　ｂ　　　　　　　・
・・−（５）と変化しても、信号ｘ　（ｎ）と信号ｙ　
（ｎ）の位相相関となり、最小値ｍｉｎ　Ｊを与える８
、Ｇが得られる。

第１図の輝度、コントラスト推定回路１２では、（７）
式が実行される。

処理対象とする画像信号に異なった変位の被写体が複数
個含まれるときには、（３）式のｄ　（ｎ）は単一のイ
ンパルスではなく複数のピークを与える。

そこで、いくつかのピークを与スる座標を変位の候補と
して、ブロックあるいは画素単位に検定を行い、これら
候補の中から実際の変位を表現するシフト量を抽出する
。この検定は、候補となった複数の変位量αに対応する
Ｘ毎に、 を求め、最小値を与えるＸに対応する変位量αを変位と
すればよい。このとき、局所的な輝度およびコントラス
トの推定はＸを（７）式に代入して得られる。

本発明の有効性を確認するため、計算機実験を行った。

第２図ないし第４図（１）はその実験結果を示す図であ
る。第２図はランダム雑音（第４図（２）のＳ／Ｎ　＝
　４０ｄＢ）を加えた２次元の画像信号Ｘ　（ｘ＋ｊ）
　（１１ｊ＝ｏ、、、、、６３）（０，２５５）を示し
１図の突出部が輝度の大きさを、また、平面部のギザギ
ザ模様は雑音を示す。

同様に第３図はサンプル変位（αｉ、αｊ）＝９．９と
輝度、コントラスト変化（ａ　＝０．９　ｂ　＝−５）
を施し。

雑音を加えた２次元の画像信号Ｚ（ｉ、ｊ）を示す。

図面上の突出部やギザギザ模様は上記第２図と同じであ
り１両図とも（３）式、（７）式により推定を行った。

また第４図（１）はＳ／Ｎ　＝　４０ｄＢの場合の位相
相関図を示し、その突出部がインパルスｄ　（ｎ）が得
られた位置である。また第４図（２）は、Ｓハを変えた
ときの変位ベクトル（ａｉ、　ａｊ）と輝度（５）、コ
ントラスト（Ｃ）の推定結果を示す図である。この図か
ら分かるようにＳ／Ｎがωの場合だけでなく、約４０ｄ
Ｂの雑音が重畳している場合にも有効に変位ベクトルと
輝度、コントラストが推定できる。

（発明の効果） 以上説明したように、位相相関を用いた変位ベクトル推
定は、輝度あるいはコントラスト変化のある場合にも有
効に動作する。従って、本発明によれば１時間的輝度変
化の推定を含んだ動きベクトルの推定や空間的輝度変化
の推定を含んだステレオ画像間の視差ベクトルの推定を
正確に行うことができる。

【図面の簡単な説明】

第１図は本発明を実施するための一実施例のブロック構
成図、第２図ないし第４図は本発明の有効性を確認する
ため計算機実験を行った時の図を示し、第２図は画像信
号Ｘ（ｉ、　ｊ）、第３図は画像信号Ｚ（１１，１）、
第４図は位相相関関数（１）と推定結果（２）を示す。 １　・・・入力画像Ｚ、　２・・・入力画像Ｘ。 ３．４　・・・フーリエ変換回路、５，６・・・位相項
、　７・・・位相差計算回路、　８・・・逆フーリエ変
換回路、　９　・・・変位ベクトル（シフト量）、１０
・・・データシフト回路、１１・・・シフトデータ、１
２・・・輝度、コントラスト推定回路、１３・・・輝度
推定値、１４・・・コントラスト推定値。 第１図

Claims (1)

【特許請求の範囲】
1. 位相相関を用いて画像間の被写体変位を検出し、その変
   位の前後の画像信号と比較して輝度およびコントラスト
   の変化を検出することを特徴とする画像マッチング方式
   。