JPH02238580A - Hierarchic image matching processing system - Google Patents
Hierarchic image matching processing systemInfo
- Publication number
- JPH02238580A JPH02238580A JP1060073A JP6007389A JPH02238580A JP H02238580 A JPH02238580 A JP H02238580A JP 1060073 A JP1060073 A JP 1060073A JP 6007389 A JP6007389 A JP 6007389A JP H02238580 A JPH02238580 A JP H02238580A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- displacement
- block
- phase correlation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006073 displacement reaction Methods 0.000 claims abstract description 62
- 238000003672 processing method Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 abstract description 27
- 238000000034 method Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Abstract
Description
【発明の詳細な説明】
（１）発明の属する技術分野
本発明は画像のディジタル信号処理における階層的画像
マッチング処理方式に関するものである。DETAILED DESCRIPTION OF THE INVENTION (1) Technical field to which the invention pertains The present invention relates to a hierarchical image matching processing method in digital signal processing of images.
（２）従来の技術
従来，動画像の動きベクトル検出やステレオ画像におけ
る被写体の変位ベクトル検出に用いられてきたブロック
マッチング方式は，画像間に輝度変化やコントラスト変
化がある場合には正確に変位ベクトルを検出できないと
いう問題点があった。(2) Conventional technology The block matching method, which has been used to detect motion vectors in moving images and displacement vectors of objects in stereo images, accurately detects displacement vectors when there are changes in brightness or contrast between images. The problem was that it could not be detected.
ブロックマッチングは比較すべき画像をＮＸＮの画素よ
りなるブロックに区切って数サンプル分シフトさせ，画
像間の差の絶対値和あるいは２乗和を求め，これらの最
小値を与えるシフトベクトルを変位とする手法である。Block matching divides the images to be compared into blocks of NXN pixels, shifts them by several samples, calculates the sum of absolute values or sum of squares of the differences between the images, and uses the shift vector that gives the minimum value as the displacement. It is a method.
従って，画像の平均輝度やコントラストが変化すれば被
写体の変位と輝度変化を区別することができず，しばし
ば現実とは異なった動きが検出されていた。そこで，輝
度やコントラスト変化と被写体変位とを検出する手法が
本発明者によって提案され特許出願中であるが，被写体
変位検出の範囲は画素ＮＸＮのプロソクサイズに対して
（十Ｎ／２）Ｘ（±Ｎ／２）の画素の範囲までが限度で
あるためブロックサイズが小さい場合には被写体変位が
大きいと検出できないという欠点が残っている。また画
像中に多くの異なった局所的な被写体変位が存在する場
合にはそれらを正確に検出することは困難であった。Therefore, if the average brightness or contrast of the image changes, it is impossible to distinguish between the displacement of the subject and the change in brightness, and movements that differ from reality are often detected. Therefore, the inventor has proposed a method for detecting changes in brightness and contrast as well as object displacement, and is currently applying for a patent. However, the range of object displacement detection is (10N/2) Since the limit is up to a pixel range of (±N/2), there remains the drawback that if the block size is small, large subject displacements cannot be detected. Furthermore, when there are many different local object displacements in an image, it is difficult to accurately detect them.
（３）発明の目的
本発明の目的は，動画像に輝度およびコントラストの変
化と大きな動きとがある場合にも動きヘクトルを検出す
ると共に輝度およびコントラストの変化を検出すること
にある。また，ステレオ画像間において輝度およびコン
トラストの変化と大きな被写体変位とがある場合にも被
写体の変位と輝度およびコントラストの変化を検出する
ことにある。(3) Purpose of the Invention An object of the present invention is to detect motion vectors and detect changes in brightness and contrast even when a moving image has changes in brightness and contrast and large movements. Another object of the present invention is to detect the displacement of a subject and the change in brightness and contrast even when there is a change in brightness and contrast and a large displacement of the subject between stereo images.
（４）発明の構成
〔４−１発明の特徴と従来の技術との差異〕本発明は，
画像を階層的にブロック分割し．各階層でブロック単位
に位相相関法を適用して輝度，コントラストの変化の検
出と被写体変位の検出を行うようにしており，」二位階
層のブロックで検出した被写体変位を下位階層のプロ，
クの位置決定に利用する変位追従型の階層的画像マノチ
ング処理方式を提供している。位相相関法は先の提案に
示している如くフーリエ変換係数の位相差の逆変換によ
って画像の被写体変位を検出する手法であり，画像の輝
度，コントラス１−の変化に関係なく変位検出が可能で
ある。従って，検出された変位量を用いて輝度とコント
ラストの変化の推定を行うことができる。従来のプロソ
クマノチング法に比べ
（１）画像に輝度，コントラスｌ・の変化のある場合で
も変位量推定が可能である。(4) Structure of the invention [4-1 Features of the invention and differences from the conventional technology] The present invention has the following features:
Divide the image into blocks hierarchically. The phase correlation method is applied to each block in each layer to detect changes in brightness and contrast as well as object displacement.
We provide a displacement-following hierarchical image manoching processing method that is used to determine the position of objects. As shown in the previous proposal, the phase correlation method is a method of detecting object displacement in an image by inversely transforming the phase difference of Fourier transform coefficients, and it is possible to detect displacement regardless of changes in image brightness and contrast. be. Therefore, changes in brightness and contrast can be estimated using the detected amount of displacement. Compared to the conventional prosocmanotching method, (1) the amount of displacement can be estimated even when the image has changes in brightness and contrast l.
（２）位相相関法により求めた変位量を用いて輝度コン
トラストの変化を推定できる。(2) Changes in brightness contrast can be estimated using the amount of displacement determined by the phase correlation method.
なる利点がある。There are some advantages.
しかし，被写体変位検出の範囲はＮＸＮのブロックサイ
ズに対して（±Ｎ／２）Ｘ（±Ｎ／２）が理論上の限界
であるのでプロソクサイズが小さい場合には大きな被写
体変位を検出できないという欠点があった。そこで本発
明では，位相相関法の適用の対象であるブロックを階層
的な構成とし，上位ブロックの変位ヘクトルを下位ブロ
ックの位置決定時のシフトベクトルとして与えることに
より大きな変位成分を持たない下位ブロックを抽出しこ
の欠点を解消している。即ち，上位ブロックの変位ヘク
トルを利用して言わば大まかな抽出を行った上でそれを
利用して処理するようにしている。However, the theoretical limit for detecting object displacement is (±N/2) x (±N/2) for the block size of NXN, so if the block size is small, large object displacements cannot be detected. There was a drawback. Therefore, in the present invention, the blocks to which the phase correlation method is applied are structured hierarchically, and the displacement hectare of the upper block is given as the shift vector when determining the position of the lower block, so that the lower block that does not have a large displacement component is This shortcoming has been solved by extracting it. In other words, the displacement hectares of the upper block are used to perform rough extraction, and then this is used for processing.
〔４−２実施例〕
第１図は本発明の実施例を示す。入力画像Ａ（０１），
Ｂ（０２）はＮｘＮブロノクに分割され，第１階層
の位相相関回路０３に入力される。位相相関回路０３で
は第１階層の変位ベク１・ルα（１． １ １）０５が
抽出される。ここで，α（ｎｆｓ）はｎがブロノクの番
号を示し．Ｓが階層数を表すものとする。本実施例では
，画像を縦，横に１／２ずつ階層的に分割するものとし
ているが，下位の階層の画像サイズに制限はなく，また
，重なりを許しながらブロック分割を行・うこともでき
る。第１階層の位相相関回路０３から（Ｎ ／２） ＊
（Ｎ ／２）に分割ざれたプロソク画像０４が出力さ
れる。なお口にいう位相相関回路については．先に提案
しているものであり，第２図を参照して後述される。[4-2 Example] FIG. 1 shows an example of the present invention. Input image A (01),
B(02) is divided into N×N blocks and input to the phase correlation circuit 03 of the first layer. The phase correlation circuit 03 extracts the displacement vector 1·le α(1. 1 1) 05 of the first layer. Here, α(nfs) is where n indicates Bronnok's number. Let S represent the number of layers. In this embodiment, the image is hierarchically divided into halves vertically and horizontally, but there is no limit to the image size of lower layers, and it is also possible to divide the image into blocks while allowing overlap. can. From the first layer phase correlation circuit 03 (N /2) *
A prosock image 04 divided into (N/2) parts is output. As for the so-called phase correlation circuit. This has been proposed previously and will be described later with reference to FIG.
第２階層の位相相関回路０６では，ブロック画像０４が
第１階層の変位ヘクトルα（１． １ １）０５だけシ
フトされ，画像Ａ （０１）との間で位相相関法が適用
される。このとき，位相相関のためのプロソクザイズは
（Ｎ ／２） ＊ （ Ｎ ／２）である。第２階層の
位相相関回路０６からは第２階層の変位ヘクトルα（１
１ ２）．．，α（４ ｔ ２）０８が出力される。In the second layer phase correlation circuit 06, the block image 04 is shifted by the first layer displacement hectare α(1.1 1)05, and the phase correlation method is applied between it and the image A (01). At this time, the prosocization for phase correlation is (N/2) * (N/2). The second layer phase correlation circuit 06 outputs the second layer displacement hector α(1
1 2). ．． , α(4 t 2) 08 are output.
第２階層のプロソクサイズは第１階層のそれの１／４で
あるから４回位相相関法が用いられ，４個の異なった変
位ヘクトルが得られる。第２階層の位相相関回路０６か
らは（Ｎ／４）＊（Ｎ／４）に分割されたブロノク画像
０７が出力される。Since the prosoc size of the second layer is 1/4 of that of the first layer, the four-time phase correlation method is used, and four different displacement hectares are obtained. The phase correlation circuit 06 of the second layer outputs a block image 07 divided into (N/4)*(N/4).
第３階層の位相相関回絡０９では， （Ｎ／４）＊（Ｎ
／４）ブロック画像０７がそれぞれ位置的に対応ずる４
個のブロックごとに第２階層の変位ヘクｌ・ルα（１
１ ２）． ．．．，α（４ １ ２）０８によってシ
フトされて画像Ａ（旧）との間に位相相関法が適用され
る。このシフトは，もとの画像Ｂ （０２）を基準に考
えればα（１ １ １）＋α（］． ｌ ２）． ．．
．，α（１１１）＋α（４ １ ２）だけシフトしたこ
とに相当する。従って，第１階層でα（１ １ ］）だ
け変位に追従し，第２階層ではその状態からさらに細か
なブロックに分割してα（１２）． ．．．，α（４１
２）だけ変位に追従した画像に対して位相相関法を適
用することになる。そのため入力画像Ａ，Ｂの間の被写
体変位が大きい場合にも変位ベクトルを検出することが
できる。In the phase correlation circuit 09 of the third layer, (N/4)*(N
/4) Block images 07 correspond to each other 4
For each block, the displacement of the second layer is heckle α(1
1 2). ．． ．． ．． , α(4 1 2) 08, and the phase correlation method is applied to the image A (old). This shift is α(1 1 1) + α(]. l 2) when considering the original image B (02) as a reference. ．． ．．
．． , α(111)+α(4 1 2). Therefore, in the first layer, the displacement is followed by α(1 1 ]), and in the second layer, the state is divided into smaller blocks and α(12). ．． ．． ．． ,α(41
The phase correlation method is applied to the image that follows the displacement by 2). Therefore, even when the displacement of the subject between input images A and B is large, the displacement vector can be detected.
第３階層の位相相関回路０９において，変位の検出単位
であるプロソクザイズは第１階層の１／１６であるから
，１６回位相相関法が用いられ，１６個の異なった変位
ヘクトルα（１ １ ３）． ．．．．α（１６ １
３）１１が出力される。これらの変位へクトル１１は第
４階層の位相相関回路１２で使用される。第３階層の位
相相関回路０９からは（Ｎ ／８） ＊ （Ｎ ／８）
に分割されたブロック画像１０が出力される。In the third layer phase correlation circuit 09, the displacement detection unit 1/16 is 1/16 of the first layer, so the 16-time phase correlation method is used, and 16 different displacement hectors α (1 1 3 ). ．． ．． ．． ．． α(16 1
3) 11 is output. These displacement vectors 11 are used in the fourth layer phase correlation circuit 12. From the third layer phase correlation circuit 09: (N /8) * (N /8)
The divided block image 10 is output.
以下．第４階層の位相相関回路１２においても第２階層
，第３階層と同様の処理が行われ，第４階層では６４個
の変位ベク１−ルα（１１４）〜α（６４ １ ４）１
３が出力される。第４階層でマノチングを終了する場合
には，それぞれのブロックに対応する各階層での変位ヘ
クトルの和が総合的な変位ヘク１・ルを与える。すなわ
ち
１． α（１ １ １）＋α（１ １ ２）＋α（１
１ ３）十α（１ １ ４）２． α（１ １ １）＋
α（１ １ ２）→−α（１ １ ３）十α（２ １
４）４． α（１ １ １）十α（１ １ ２）＋α（
１． １ ３）＋α（４１５， α（ｌ ｌ １）十α
（１ １ ２）＋α（２ １ ３）十α（５ １ ４）
１２．α（］ ｌ １）十α（１ １ ２）十α（３
１ ３）十α（１２ １ ４）３２６ α（１１１）
十α（４ １ ２）＋α（８ １ ３）十α（３２ １
４）３５α（１１１）＋α（４１２）十α（８ｌ３）
＋α（３５１４）６４ α（］．． ｌ １）＋α
（４ １ ２）＋α（１６ １ ３）＋α（６４ １
４）なる６４個の変位ヘクトルが（Ｎ ／８） ’Ｉ
（Ｎ ／８）ブロックごとに得られる。この変位ベクト
ルを用いて最終的に（Ｎ／８） ＊ （Ｎ／８）ブロッ
クごとに輝度コン１・ラスト変動の推定を行う。below. The same processing as in the second and third layers is performed in the phase correlation circuit 12 of the fourth layer, and in the fourth layer, 64 displacement vectors α(114) to α(64 1 4) 1
3 is output. When manoching is finished at the fourth layer, the sum of the displacement hectares at each layer corresponding to each block gives the overall displacement hectare. That is, 1. α(1 1 1)+α(1 1 2)+α(1
1 3) Ten α (1 1 4) 2. α(1 1 1)+
α(1 1 2) → −α(1 1 3) ten α(2 1
4)4. α(1 1 1) 10 α(1 1 2) + α(
1. 1 3) + α (415, α (l l 1) ten α
(1 1 2) + α (2 1 3) 10 α (5 1 4)
12. α(] l 1) ten α(1 1 2) ten α(3
1 3) 10 α (12 1 4) 326 α (111)
Ten α (4 1 2) + α (8 1 3) Ten α (32 1
4) 35α (111) + α (412) ten α (8l3)
+α(3514)64 α(]..l 1)+α
(4 1 2) + α (16 1 3) + α (64 1
4) The 64 hectares of displacement become (N /8) 'I
(N/8) obtained for each block. Using this displacement vector, the luminance contrast fluctuation is finally estimated for each (N/8) * (N/8) block.
第２図は位相相関回路の実現例を示す。当該位相相関回
路については先に提案しているものであるが，以下に述
べる離散化された２ブロックの画像データ２１． ２２
をそれぞれフーリエ変換回路２３２４においてフーリエ
変換し，位相差分回路２７においてフーリエ係数の位相
項２５． ２６の差分を求め逆フーリエ変換回路２８に
おいて再び逆変換する。FIG. 2 shows an example of implementing a phase correlation circuit. The phase correlation circuit has been proposed previously, but it uses two blocks of discretized image data 21 as described below. 22
are subjected to Fourier transform in the Fourier transform circuit 2324, and the phase term 25. of the Fourier coefficients is processed in the phase difference circuit 27. 26 is determined and inversely transformed again in an inverse Fourier transform circuit 28.
このよき，フーリエ変換係数の振幅項は計算には用いな
い。位相相関関数は変位量α（２９）に一致する点でイ
ンパルスを与える。次にンフト回路３０において人力デ
ータを変位量だけソフトさせる。シフ１・されたデータ
３１ともう片方のオリシナルデタ２１とが輝度・コン１
・ラスト推定回路３２に入力される。輝度・コントラス
ｌ〜推定回路３２では，輝度とコン１・ラストの推定値
３３． ３４が計算され出力される。In this case, the amplitude term of the Fourier transform coefficient is not used in the calculation. The phase correlation function gives an impulse at a point that coincides with the displacement α (29). Next, in the lift circuit 30, the human power data is softened by the amount of displacement. The shifted data 31 and the other original data 21 are luminance/con 1
- Input to the last estimation circuit 32. The luminance/contrast l~estimation circuit 32 calculates estimated values 33 of luminance and contrast l. 34 is calculated and output.
次に動作原理について説明する。まず，位相相関による
変位へク１−ル推定の原理を示す。Next, the operating principle will be explained. First, we will explain the principle of displacement hexle estimation using phase correlation.
信号ｘ （ｎ）（ｎ＝ｏ，１，．．．．Ｎ−１）をαり
゛ンブルだけシフ）へ（変位）した信号をｙ （ｎ）
（ｎ−０＋１−＋．．−＋Ｎ−１）とし，それぞれのフ
ーリエ変換をＸ （ｋ） ， Ｙ （ｋ） （ｋ・０１
，．．．，Ｎ−１）とする。The signal x (n) (n = o, 1, ... N-1) shifted by α ramble) is the signal y (n)
(n-0+1-+..-+N-1), and the respective Fourier transforms are X (k), Y (k) (k・01
、． ．． ．． , N-1).
Ｘ （ｋ） ＝ ｌ Ｘ （ｋ） ｌ ｅｘｐ（ｊθＸ
（ｋ）） （］）Ｙ （ｋ） 一ｌ Ｙ
（ｋ） ｌ ｅｘｐ（ｊθｙ （ｋ） ）
（２）位相相関による変位の推定は２位相差のフーリ
工逆変換
ｄ（ｎ） ＝ Ｆ −１ ［ｅｘｐ（ｊ ｆｌ ｙ（ｋ
））ｅｘｐ（ 一ｊθｙ（ｋ））］ （３）により求め
られる。信号の周期性を仮定したときとなり，位置αで
インパルスが得られる。信号ｙ （ｎ）の振幅が
ｚ （ｎ） ＝ ａｙ （ｎ） ＋ ｂ
（５）と変化しても， ｘ（ｎ）とｚ （
ｎ）の位相相関は弐（３）で与えられる。従っ−Ｃ，木
丁法を動画像の動き補償に用いた場合，入力信号レベル
が線形に変化する場合にも動ベクトル推定が可能である
。また，異なった特性のカメラにより撮像されたステレ
オ画像間の視差ベクトルの推定も可能である。X (k) = l X (k) l exp(jθX
(k)) (])Y (k) 1l Y
(k) l exp(jθy (k) )
(2) Displacement estimation based on phase correlation is performed using the inverse Foury transform of two phase differences d(n) = F −1 [exp(j fl y(k
)) exp(-jθy(k))] (3). When the periodicity of the signal is assumed, an impulse is obtained at position α. The amplitude of the signal y (n) is z (n) = ay (n) + b
(5), x(n) and z (
The phase correlation of n) is given by 2(3). Therefore, when the wood-chopping method is used for motion compensation of a moving image, motion vector estimation is possible even when the input signal level changes linearly. It is also possible to estimate the parallax vector between stereo images captured by cameras with different characteristics.
次に，輝度，コントラストの変化の推定の動作原理を示
す。Next, we will explain the operating principle for estimating changes in brightness and contrast.
信号ｚ （ｎ）と変位量が既に推定された信号ｘ（ｎ＋
α）の輝度およびコントラストの最良近恨を行う。The signal z(n) and the signal x(n+
α) Perform the best comparison of brightness and contrast.
評価関数Ｊを次式で定義する。The evaluation function J is defined by the following equation.
Ｊ一（Ｚ−（ａＸ＋ｂＵ））’（Ｚ−（ａＸ＋ｂＵ））
（６）ここに， Ｚ． Ｘは比較すべき信号の
ベクトル表示Ｚ − ［ｚ（０） ｚ（１）．．．
ｚ（Ｎ−１）コ ”． Ｘ ＝ ［ｘ（０＋ α
）ｘ（１＋α）．．．ｘ（Ｎ−１＋α）］ ”であり，
Ｕ＝ ［１ １．．．１］Ｔである。式（６）をａ
，ｂで偏微分してＯと置けば．
となり，最小値ｍｉｎ Ｊを与えるａ，ｂが得られる。J1(Z-(aX+bU))'(Z-(aX+bU))
(6) Here, Z. X is the vector representation of the signals to be compared Z − [z(0) z(1). ．． ．．
z(N-1) ”.X = [x(0+ α
)x(1+α). ．． ．． x(N-1+α)]”,
U= [1 1. ．． ．． 1] T. Expression (6) as a
, if we partially differentiate with respect to b and set it as O. Then, a and b that give the minimum value min J are obtained.
第２図の輝度・コントラスト推定回路では．式（７）が
実行される。In the brightness/contrast estimation circuit shown in Figure 2. Equation (7) is executed.
処理対象とする画像信号に異なった変位の被写体が複数
個含まれるときには， ｄ（ｎ）は単一のインパルスで
はなく複数のピークを与える。そこで，いくつかのピー
クを与える座標を変位の候補としブロックあるいは画素
単位に検定を行い，これら候補の中から実際の変位を表
現するシフト量を抽出する。この検定は，候補となった
複数のαに対応するＸ毎に．
を求め．最小値を与えるＸに対応するαを変位とすれば
よい。このとき．局所的な輝度およびコントラストの推
定はＸを式（７）に代入して得られる。When the image signal to be processed includes multiple objects with different displacements, d(n) gives multiple peaks instead of a single impulse. Therefore, coordinates that give several peaks are used as displacement candidates, and tests are performed on a block or pixel basis, and from among these candidates, the amount of shift that represents the actual displacement is extracted. This test is performed for each X corresponding to multiple α candidates. Find. The displacement may be α corresponding to X that gives the minimum value. At this time. Local brightness and contrast estimates are obtained by substituting X into equation (7).
（５）発明の効果
本発明によれば，輝度５コントラストが変化した画像間
の大きな被写体変位ベクトルについての検出を行うこと
ができる。また．局部的に異なった被写体変位をも局部
的な輝度，コントラスト推定値とともに検出することが
できる。従って，時間的輝度変化の推定を含んだ動きベ
クトルの推定や空間的輝度変化の推定を含んだステレオ
画像間の視差ベク１・ルの推定を正確に行うことができ
る。(5) Effects of the Invention According to the present invention, it is possible to detect a large subject displacement vector between images in which the brightness and contrast have changed. Also. Locally different object displacements can also be detected along with local brightness and contrast estimates. Therefore, it is possible to accurately estimate a motion vector including estimation of temporal brightness change and estimate parallax vector between stereo images including estimation of spatial brightness change.
第１図は本発明の実施例．第２図は位相相関回路の実現
例を示す。
Ｏ】．、入力画像Ａ．０２．．入力画像Ｂ， ０３．．
ＮＸＮブロックに対する位相相関回路， ０４．．（
Ｎ／２）＊（Ｎ ／２）ブロック画像， ０５．．第
１階層の変位ベクトルα（１ ｌ １）， ０６．．（
Ｎ／２） ＊ （Ｎ／２）ブロックに対する位相相関回
路， ０７．． （Ｎ ／２） ＊ （Ｎ ／２）ブロ
ック画像， ０８．．第２階層の変位ベクトルα（１１
２），．．，α（４ １ ２）． ０９．．（Ｎ／４）
＊ （Ｎ／４）ブロックに対する位相相関回路， １
０．．（Ｎ／４）＊（Ｎ／４）ブロック画像， １１．
．第３階層の変位ベクトルα（１１３Ｌ，．．α（１６
１３）， １２．．（Ｎ／８）＊（Ｎ／８）ブロック
に対する位相相関回路． １３．．第４階層の変位ヘク
トルα（１ １ ４）〜α（６４ １ ４）． ２１．
．画像ブロックＺ，２２．．画像ブロックＸ，２３．．
フーリエ変換回路２４．．フーリエ変換回路．２５．．
位相項．２６．．位相項２７．，位相差分回路，２８．
．逆フーリエ変換回路２９．．変位ベクトル（変位ｉｔ
） ． ３０．．シフト回路３１．．シフトデータ．
３２．．輝度・コントラスト推定回路，３３．．輝度推
定値， ３４．．コントラスト推定値。
特許出願人 日本電信電話株式会社Figure 1 shows an embodiment of the present invention. FIG. 2 shows an example of implementing a phase correlation circuit. O]. , input image A. 02. ．． Input image B, 03. ．．
Phase correlation circuit for NXN block, 04. ．． (
N/2)*(N/2) block image, 05. ．． First layer displacement vector α(1 l 1), 06. ．． (
N/2) * Phase correlation circuit for (N/2) blocks, 07. ．． (N /2) * (N /2) block image, 08. ．． Displacement vector α(11
2),. ．． ,α(4 1 2). 09. ．． (N/4)
* Phase correlation circuit for (N/4) blocks, 1
0. ．． (N/4)*(N/4) block image, 11.
．． Displacement vector α(113L,...α(16
13), 12. ．． Phase correlation circuit for (N/8)*(N/8) blocks. 13. ．． Displacement hector α(1 1 4) to α(64 1 4) in the fourth layer. 21.
．． Image block Z, 22. ．． Image block X, 23. ．．
Fourier transform circuit 24. ．． Fourier transform circuit. 25. ．．
Phase term. 26. ．． Phase term 27. , phase difference circuit, 28.
．． Inverse Fourier transform circuit 29. ．． Displacement vector (displacement it
)． 30. ．． Shift circuit 31. ．． Shift data.
32. ．． Brightness/contrast estimation circuit, 33. ．． Luminance estimated value, 34. ．． Contrast estimate. Patent applicant Nippon Telegraph and Telephone Corporation
Claims (1)
輝度およびコントラストの変化を検出する画像マッチン
グ処理方式において、画像を階層的にブロック分割し、
各階層でブロック単位に当該画像マッチング処理法を適
用し、上位階層のブロックで検出された被写体変位をよ
り小さなサイズの下位階層のブロックの位置決定に用い
るようにして変位追従型を構成したことを特徴とする階
層的画像マッチング処理方式。In an image matching processing method that detects changes in brightness and contrast after detecting object displacement between images using phase correlation, the image is divided into blocks hierarchically,
The image matching processing method is applied to each block in each layer, and the displacement tracking type is constructed by using the object displacement detected in the block in the upper layer to determine the position of the smaller block in the lower layer. Features a hierarchical image matching processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1060073A JP2741888B2 (en) | 1989-03-13 | 1989-03-13 | Hierarchical image matching processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1060073A JP2741888B2 (en) | 1989-03-13 | 1989-03-13 | Hierarchical image matching processing method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02238580A true JPH02238580A (en) | 1990-09-20 |
| JP2741888B2 JP2741888B2 (en) | 1998-04-22 |
Family
ID=13131543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1060073A Expired - Fee Related JP2741888B2 (en) | 1989-03-13 | 1989-03-13 | Hierarchical image matching processing method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2741888B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000339475A (en) * | 1999-05-03 | 2000-12-08 | Thomson Multimedia Sa | Method for estimating superior motion between two sheets of frames |
| WO2006022077A1 (en) * | 2004-08-23 | 2006-03-02 | Sony Corporation | Image pickup device, image pickup result processing method and integrated circuit |
| JP2008216126A (en) * | 2007-03-06 | 2008-09-18 | Konica Minolta Holdings Inc | Distance image generating device, distance image generation method, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5847530A (en) * | 1981-09-14 | 1983-03-19 | Kishimoto Akira | Double rolling method |
| JPS61217346A (en) * | 1985-03-18 | 1986-09-26 | 大和製罐株式会社 | Mouth structure of plastic vessel double-rolling metallic cover |
-
1989
- 1989-03-13 JP JP1060073A patent/JP2741888B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5847530A (en) * | 1981-09-14 | 1983-03-19 | Kishimoto Akira | Double rolling method |
| JPS61217346A (en) * | 1985-03-18 | 1986-09-26 | 大和製罐株式会社 | Mouth structure of plastic vessel double-rolling metallic cover |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000339475A (en) * | 1999-05-03 | 2000-12-08 | Thomson Multimedia Sa | Method for estimating superior motion between two sheets of frames |
| JP4547066B2 (en) * | 1999-05-03 | 2010-09-22 | トムソン マルチメディア | Method for estimating affine global motion between two frames |
| WO2006022077A1 (en) * | 2004-08-23 | 2006-03-02 | Sony Corporation | Image pickup device, image pickup result processing method and integrated circuit |
| JPWO2006022077A1 (en) * | 2004-08-23 | 2008-05-08 | ソニー株式会社 | Imaging apparatus, imaging result processing method, and integrated circuit |
| JP4640338B2 (en) * | 2004-08-23 | 2011-03-02 | ソニー株式会社 | Imaging apparatus, imaging result processing method, and integrated circuit |
| JP2008216126A (en) * | 2007-03-06 | 2008-09-18 | Konica Minolta Holdings Inc | Distance image generating device, distance image generation method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2741888B2 (en) | 1998-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Computation of optical flow using a neural network | |
| KR100653288B1 (en) | Face recognition from video images | |
| KR100950617B1 (en) | Method for estimating the dominant motion in a sequence of images | |
| JPH02238580A (en) | Hierarchic image matching processing system | |
| JPH02206294A (en) | Picture matching system | |
| JP2506500B2 (en) | Image motion detector | |
| US4926259A (en) | Image processing system | |
| Pla et al. | Estimating translation/deformation motion through phase correlation | |
| JPH0562876B2 (en) | ||
| Ismaili Alaoui et al. | A robust hierarchical motion estimation algorithm in noisy image sequences in the bispectrum domain | |
| Liu | Object trajectory estimation using optical flow | |
| Kesrarat et al. | Experimental analysis of non-Gaussian noise resistance on global method optical flow using bilateral in reverse confidential | |
| JP2551319B2 (en) | Video processing method | |
| Nguyen et al. | Super-resolution image construction from high-speed camera sequences | |
| Šilar | Railway crossing monitoring by camera using optical flow estimation | |
| JP3727731B2 (en) | Motion estimation apparatus for moving images | |
| JP4235855B2 (en) | Image processing apparatus and method, and recording medium | |
| JPH03266580A (en) | Detection of dynamic vector | |
| KR980007737A (en) | Optimal motion vector detection method and apparatus | |
| Chiba et al. | Detection of optical flow from a noisy image | |
| JP3277417B2 (en) | Apparatus and method for detecting motion vector | |
| JPH01177785A (en) | Dynamic vector detecting method for image signal | |
| JP2937213B2 (en) | Motion vector detection device | |
| JPH03191688A (en) | Method for estimating extension and reduction and parallel movement parameters of image | |
| Saito et al. | Extending block-matching algorithms for estimating multiple image motions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |