JP2741888B2 - 階層的画像マッチング処理方法および装置 - Google Patents

階層的画像マッチング処理方法および装置

Info

Publication number
JP2741888B2
JP2741888B2 JP1060073A JP6007389A JP2741888B2 JP 2741888 B2 JP2741888 B2 JP 2741888B2 JP 1060073 A JP1060073 A JP 1060073A JP 6007389 A JP6007389 A JP 6007389A JP 2741888 B2 JP2741888 B2 JP 2741888B2
Authority
JP
Japan
Prior art keywords
phase correlation
displacement
image
contrast
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP1060073A
Other languages
English (en)
Other versions
JPH02238580A (ja
Inventor
裕 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP1060073A priority Critical patent/JP2741888B2/ja
Publication of JPH02238580A publication Critical patent/JPH02238580A/ja
Application granted granted Critical
Publication of JP2741888B2 publication Critical patent/JP2741888B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】 (1)発明の属する技術分野 本発明は画像のディジタル信号処理における階層的画
像マッチング処理方法および装置に関するものである。
(2)従来の技術 従来,動画像の動きベクトル検出やステレオ画像にお
ける被写体の変位ベクトル検出に用いられてきたブロッ
クマッチングは,画像間に輝度変化やコントラスト変化
がある場合には正確に変位ベクトルを検出できないとい
う問題点があった。ブロックマッチングは比較すべき画
像をN×Nの画素よりなるブロックに区切って数サンプ
ル分シフトさせ,画像間の差の絶対値和あるいは2乗和
を求め,これらの最小値を与えるシフトベクトルを変位
とする手法である。従って,画像の平均輝度やコントラ
ストが変化すれば被写体の変位と輝度変化を区別するこ
とができず,しばしば現実とは異なった動きが検出され
ていた。そこで,輝度やコントラスト変化と被写体変位
とを検出する手法が本発明者によって提案され特許出願
中であるが,被写体変位検出の範囲は画素N×Nのブロ
ックサイズに対して(±N/2)×(±N/2)の画素の範囲
までが限度であるためブロックサイズが小さい場合には
被写体変位が大きいと検出できないという欠点が残って
いる。また画像中に多くの異なった局所的な被写体変位
が存在する場合には,それらを正確に検出することは困
難であった。
(3)発明の目的 本発明の目的は,動画像に輝度およびコントラストの
変化と大きな動きとがある場合にも動きベクトルを検出
すると共に輝度およびコントラストの変化を検出するこ
とにある。また,ステレオ画像間において輝度およびコ
ントラストの変化と大きな被写体変位とがある場合にも
被写体の変位と輝度およびコントラストの変化を検出す
ることにある。
(4)発明の構成 〔4−1発明の特徴と従来の技術との差異〕 本発明は,画像を階層的にブロック分割し,各階層で
ブロック単位に位相相関法を適用して輝度,コントラス
トの変化の検出と被写体変位の検出を行うようにしてお
り,上位階層のブロックで検出した被写体変位を下位階
層のブロックの位置決定に利用する変位追従型の階層的
画像マッチング処理方法および装置を提供している。位
相相関法は先の提案に示している如くフーリエ変換係数
の位相差の逆変換によって画像の被写体変位を検出する
手法であり,画像の輝度,コントラストの変化に関係な
く変位検出が可能である。従って,検出された変位量を
用いて輝度とコントラストの変化の推定を行うことがで
きる。従来のブロックマッチング法に比べ, (1) 画像に輝度,コントラストの変化のある場合で
も変位量推定が可能である。
(2) 位相相関法により求めた変位量を用いて輝度,
コントラストの変化を推定できる。
なる利点がある。
しかし,被写体変位検出の範囲はN×Nのブロックサ
イズに対して(±N/2)×(±N/2)が理論上の限界であ
るのでブロックサイズが小さい場合には大きな被写体変
位を検出できないという欠点があった。そこで本発明で
は,位相相関法の適用の対象であるブロックを階層的な
構成とし,上位ブロックの変位ベクトルを下位ブロック
の位置決定時のシフトベクトルとして与えることによ
り,大きな変位成分を持たない下位ブロックを抽出し,
この欠点を解消している。即ち,上位ブロックの変位ベ
クトルを利用して言わば大まかな抽出を行った上でそれ
を利用して処理するようにしている。
〔4−2実施例〕 第1図は本発明の実施例を示す。入力画像A(01),B
(02)はN×Nブロックに分割され,第1階層の位相相
関回路03に入力される。位相相関回路03では第1階層の
変位ベクトルα(1|1)05が抽出される。ここで,α(n
|s)はnがブロックの番号を示し,sが階層数を表すもの
とする。本実施例では,画像を縦,横に1/2ずつ階層的
に分割するものとしているが,下位の階層の画像サイズ
に制限はなく,また,重なりを許しながらブロック分割
を行うこともできる。第1階層の位相相関回路03から
(N/2)*(N/2)に分割されたブロック画像04が出力さ
れる。なお図にいう位相相関回路については,先に提案
しているものであり,第2図を参照して後述される。
第2階層の位相相関回路06では,ブロック画像04が第
1階層の変位ベクトルα(1|1)05だけシフトされ,画
像A(01)との間で位相相関法が適用される。このと
き,位相相関のためのブロックサイズは(N/2)*(N/
2)である。第2階層の位相相関回路06からは第2階層
の変位ベクトルα(1|2),...,α(4|2)08が出力され
る。第2階層のブロックサイズは第1階層のそれの1/4
であるから,4回位相相関法が用いられ,4個の異なった変
位ベクトルが得られる。第2階層の位相相関回路06から
は(N/4)*(N/4)に分割されたブロック画像07が出力
される。
第3階層の位相相関回路09では,(N/4)*(N/4)ブ
ロック画像07がそれぞれ位置的に対応する4個のブロッ
クごとに第2階層の変位ベクトルα(1|2),...,α(4|
2)08によってシフトされて画像A(01)との間に位相
相関法が適用される。このシフトは,もとの画像B(0
2)を基準に考えれば,α(1|1)+α(1|2),...,α
(1|1)+α(4|2)だけシフトしたことに相当する。従
って,第1階層でα(1|1)だけ変位に追従し,第2階
層ではその状態からさらに細かなブロックに分割して或
(1|2),...,α(4|2)だけ変位に追従した画像に対し
て位相相関法を適用することになる。そのため,入力画
像A,Bの間の被写体変位が大きい場合にも変位ベクトル
を検出することができる。
第3階層の位相相関回路09において,変位の検出単位
であるブロックサイズは第1階層の1/16であるから,16
回位相相関法が用いられ,16個の異なった変位ベクトル
α(1|3),...,α(16|3)11が出力される。これらの変
位ベクトル11は第4階層の位相相関回路12で使用され
る。第3階層の位相相関回路09からは(N/8)*(N/8)
に分割されたブロック画像10が出力される。
以下,第4階層の位相相関回路12においても,第2階
層,第3階層と同様の処理が行われ,第4階層では64個
の変位ベクトルα(1|4)〜α(64|4)13が出力され
る。第4階層でマッチングを終了する場合には,それぞ
れのブロックに対応する各階層での変位ベクトルの和が
総合的な変位ベクトルを与える。すなわち, なる64個の変位ベクトルが(N/8)*(N/8)ブロックご
とに得られる。この変位ベクトルを用いて最終的に(N/
8)*(N/8)ブロックごとに輝度,コントラスト変動の
推定を行う。
第2図は位相相関回路の実現例を示す。当該位相相関
回路については先に提案しているものであるが,以下に
述べる離散化された2ブロックの画像データ21,22をそ
れぞれフーリエ変換回路23,24においてフーリエ変換
し,位相差分回路27においてフーリエ係数の位相項25,2
6の差分を求め,逆フーリエ変換回路28において再び逆
変換する。このとき,フーリエ変換係数の振幅項は計算
には用いない。位相相関関数は変位量α(29)に一致す
る点でインパルスを与える。次にシフト回路30において
入力データを変位量だけシフトさせる。シフトされたデ
ータ31ともう片方のオリジナルデータ21とが輝度・コン
トラスト推定回路32に入力される。輝度・コントラスト
推定回路32では,輝度とコントラストの推定値33,34が
計算され出力される。
次に動作原理について説明する。まず,位相相関によ
る変位ベクトル推定の原理を示す。
信号x(n)(n=0,1,...,N−1)をαサンプルだ
けシフト(変位)した信号をy(n)(n=0,1,...,N
−1)とし,それぞれのフーリエ変換をX(k),Y
(k)(k=0,1,...,N−1)とする。
X(k)=|X(k)|exp(jθx(k)) (1) Y(k)=|Y(k)|exp(jθy(k)) (2) 位相相関による変位の推定は,位相差のフーリエ逆変換 d(n)=F-1[exp(jθ(k))exp(−jθ(k))] (3) により求められる。信号の周期性を仮定したとき, となり,位置αでインパルスが得られる。信号y(n)
の振幅が z(n)=ay(n)+b (5) と変化しても,x(n)とz(n)の位相相関は式(3)
で与えられる。従って,本手法を動画像の動き補償に用
いた場合,入力信号レベルが線形に変化する場合にも動
ベクトル推定が可能である。また,異なった特性のカメ
ラにより撮像されたステレオ画像間の視差ベクトルの推
定も可能である。
次に,輝度,コントラストの変化の推定の動作原理を
示す。
信号z(n)と変位量が既に推定された信号x(n+
α)の輝度およびコントラストの最良近似を行う。評価
関数Jを次式で定義する。
J=(Z−(aX+bU))(Z−(aX+bU))(6) ここに,Z,Xは比較すべき信号のベクトル表示,Z=[z
(0)z(1)...z(N−1)]T,X=[x(0+α)
x(1+α)...x(N−1+α)]であり,U=[1
1...1]である。式(6)をa,bで偏微分して0と置け
ば, となり,最小値minJを与えるa,bが得られる。第2図の
輝度・コントラスト推定回路では,式(7)が実行され
る。
処理対象とする画像信号に異なった変位の被写体が複
数個含まれるときには,d(n)は単一のインパルスでは
なく複数のピークを与える。そこで,いくつかのピーク
を与える座標を変位の候補とし,ブロックあるいは画素
単位に検定を行い,これら候補の中から実際の変位を表
現するシフト量を抽出する。この検定は,候補となった
複数のαに対応するX毎に, を求め,最小値を与えるXに対応するαを変位とすれば
よい。このとき,局所的な輝度およびコントラストの推
定はXを式(7)に代入して得られる。
(5)発明の効果 本発明によれば,輝度,コントラストが変化した画像
間の大きな被写体変位ベクトルについての検出を行うこ
とができる。また,局部的に異なった被写体変位をも局
部的な輝度,コントラスト推定値とともに検出すること
ができる。従って,時間的輝度変化の推定を含んだ動き
ベクトルの推定や空間的輝度変化の推定を含んだステレ
オ画像間の視差ベクトルの推定を正確に行うことができ
る。
【図面の簡単な説明】
第1図は本発明の実施例,第2図は位相相関回路の実現
例を示す。 01……入力画像A,02……入力画像B,03……N×Nブロッ
クに対する位相相関回路,04……(N/2)*(N/2)ブロ
ック画像,05……第1階層の変位ベクトルα(1|1),06
……(N/2)*(N/2)ブロックに対する位相相関回路,0
7……(N/2)*(N/2)ブロック画像,08……第2階層の
変位ベクトルα(1|2),...,α(4|2),09……(N/4)
*(N/4)ブロックに対する位相相関回路,10……(N/
4)*(N/4)ブロック画像,11……第3階層の変位ベク
トルα(1|3),...,α(16|3),12……(N/8)*(N/
8)ブロックに対する位相相関回路,13……第4階層の変
位ベクトルα(1|4)〜α(64|4),21……画像ブロック
Z,22……画像ブロックX,23……フーリエ変換回路,24…
…フーリエ変換回路,25……位相項,26……位相項,27…
…位相差分回路,28……逆フーリエ変換回路,29……変位
ベクトル(変位量),30……シフト回路,31……シフトデ
ータ,32……輝度・コントラスト推定回路,33……輝度推
定値,34……コントラスト推定値。

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】入力画像と参照画像に対して大きなブロッ
    クサイズで位相相関法を用いて動きベクトルを検出し、 そのベクトルを基準にしてシフトした点の周囲でより小
    さなブロックサイズで位相相関を用いて再び位相相関法
    を用いて動きベクトルを検出し、 それらを繰り返して動きベクトルを検出し、 得られた動きベクトル群を用いて複数の小さなブロック
    単位に対応して輝度変化とコントラスト変化とを検出す
    る ようにしたことを特徴とする階層的画像マッチング処理
    方法。
  2. 【請求項2】入力画像と参照画像に対して大きなブロッ
    クサイズで位相相関法を用いて動きベクトルを検出する
    手段と、 そのベクトルを基準にしてシフトした点の周囲でより小
    さなブロックサイズで位相相関を用いて再び位相相関法
    を用いて動きベクトルを検出する手段と、 それらを繰り返して動きベクトルを検出する手段と、 得られた動きベクトル群を用いて複数の小さなブロック
    単位に対応して輝度変化とコントラスト変化とを検出す
    る手段と を備えることを特徴とする階層的画像マッチング処理装
    置。
JP1060073A 1989-03-13 1989-03-13 階層的画像マッチング処理方法および装置 Expired - Fee Related JP2741888B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1060073A JP2741888B2 (ja) 1989-03-13 1989-03-13 階層的画像マッチング処理方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1060073A JP2741888B2 (ja) 1989-03-13 1989-03-13 階層的画像マッチング処理方法および装置

Publications (2)

Publication Number Publication Date
JPH02238580A JPH02238580A (ja) 1990-09-20
JP2741888B2 true JP2741888B2 (ja) 1998-04-22

Family

ID=13131543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1060073A Expired - Fee Related JP2741888B2 (ja) 1989-03-13 1989-03-13 階層的画像マッチング処理方法および装置

Country Status (1)

Country Link
JP (1) JP2741888B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1050850A1 (en) * 1999-05-03 2000-11-08 THOMSON multimedia Process for estimating a dominant motion between two frames
WO2006022077A1 (ja) * 2004-08-23 2006-03-02 Sony Corporation 撮像装置、撮像結果の処理方法及び集積回路
JP5098369B2 (ja) * 2007-03-06 2012-12-12 コニカミノルタホールディングス株式会社 距離画像生成装置、距離画像生成方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5847530A (ja) * 1981-09-14 1983-03-19 Kishimoto Akira 2重巻締法
JPS61217346A (ja) * 1985-03-18 1986-09-26 大和製罐株式会社 金属蓋を二重巻締したプラスチツク容器の口部構造

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Morandi Cet.al.Robust 1−d equivalent of phase−correlation image registration algorithm,Electron Letter,1988,Vol.22,No.7,P.286−288

Also Published As

Publication number Publication date
JPH02238580A (ja) 1990-09-20

Similar Documents

Publication Publication Date Title
Takita et al. A sub-pixel correspondence search technique for computer vision applications
EP0420657B1 (en) Moving object detecting system
US5719954A (en) Stereo matching method and disparity measuring method
JPH07505749A (ja) ディジタルビデオ信号の画像シーケンスにおける不所望の全体的画像不安定性の推定方法
JP4053422B2 (ja) 動き補償による補間におけるハローの影響の低減方法
JP2543505B2 (ja) 時空間微分法を用いた信号処理装置および計測装置
JP2006146926A (ja) 2次元画像の表現方法、画像表現、画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、動き表現、画像の位置を求める方法、表現の使用、制御デバイス、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
US8189054B2 (en) Motion estimation method, device, and system for image processing
US4974084A (en) Method and apparatus for picture motion measurement
JP2005509230A (ja) オクルージョン領域を検出するオクルージョン検出器および方法
JP5082856B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
EP0367310B1 (en) Picture motion measurement
JP2741888B2 (ja) 階層的画像マッチング処理方法および装置
EP0454481A2 (en) Movement vector detection device
JPH08292014A (ja) パターン位置の計測方法および計測装置
US5008744A (en) Method and apparatus for picture motion measurement using picture correlation as a function of displacement
JP2823577B2 (ja) 画像マッチング装置
JPH02100589A (ja) 両眼視差検出方法
JP3903358B2 (ja) 動きベクトルの評価方法および装置
JP3334271B2 (ja) 動き量検出装置及び動き量検出方法
JP3334283B2 (ja) 動き量検出装置及び動き量検出方法
JP2551319B2 (ja) 動画像処理方法
JP3271387B2 (ja) 動き量検出装置及び動き量検出方法
JP3774028B2 (ja) 動画像の動き量推定装置
JPH05151355A (ja) 二次元動画像のオプテイカルフロー生成方式

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees