JPH02255990A - 画像マッチング方式 - Google Patents

画像マッチング方式

Info

Publication number
JPH02255990A
JPH02255990A JP1333529A JP33352989A JPH02255990A JP H02255990 A JPH02255990 A JP H02255990A JP 1333529 A JP1333529 A JP 1333529A JP 33352989 A JP33352989 A JP 33352989A JP H02255990 A JPH02255990 A JP H02255990A
Authority
JP
Japan
Prior art keywords
characteristic function
directional characteristic
correspondence
image
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1333529A
Other languages
English (en)
Inventor
Makoto Maruie
誠 丸家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP1333529A priority Critical patent/JPH02255990A/ja
Publication of JPH02255990A publication Critical patent/JPH02255990A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は、2つの画像間の対応領域を検出する画像マッ
ヂング方式に関するものである。
(従来の技術) 2つの画像間の対応探索の71式としζは1ntere
st。
演算子を用いた方式(高木細編:“画像処理アルゴリズ
ムの最新動向″、新技術]ミュニケーションズ、pp、
112−1.13 (1986)、Alan L、 Y
u、1lle and Norberto M。
Grzywaez: ”THE MO’l’ION C
0HERENCE THERY”。
Int、 Conf、 on Comput、er V
ision、 pp、344−353 (1988))
、ブト1ツクマツチングを用いた方式(特公昭62−1
07386号公報[画像マツチング方式1、米国特許4
677476”METHODFORDETECTING
AMOVEMENTOFA 置EVISION 5IG
NAL”)が知られている。
前者の方式では、1nterest演算子を用いて画像
の特徴点を抽出し、その後特徴点同士の対応を求める。
後者の方式では、記憶装置に格納されている2個の画像
データのマツチング処理を行なう際に、上記画像の一方
を複数のブロックに分割し、各ブロックを平行にずらし
ながら他方の画像と相関をとり、相関が最大になったと
ころが他方の画像と対応するブロックと推定する。
(発明が解決しようとする問題点) しかしながら1nterest演算子あるいはブロック
マツチングを用いた従来の方式には以下に述べるような
欠点があった。
まず、1nterest演算子を用いる方式では、抽出
できる特徴は限られており、密な対応が得られない。1
nterest演算子で抽出できる特徴はマツチングの
手がかりとしての信頼性が全方向に対して同一なものに
限られている。たとえば輝度勾配が存在しても、そこで
勾配が一方向だけならばその部分の特徴(つまり輝度勾
配)i、を抽出できず、マツチングにも利用できない。
この場合密な対応を求めるために平滑化などの制約条件
を導入して、特徴が求められない地点での対応を推定す
ることが行なわれているが、それでも特徴点が限られた
ものであるため対応関係を精度良く密に推定することは
できない。
ブロックマツチングを用いた方式では密な対応が求めら
れるが対応検出の誤りが多いという欠点がある。ブロッ
クマツチングについて具体的に述べれば、次の■〜■の
ような場合には検出誤りが発生しやすい。
■ブロック内の輝度変化が乏しい場合 ブロックマツチングでは、画像の一致度を相互相関係数
により決めているが、輝度変化の乏しいブロックでは一
致の判定が難しく、検出誤りが生じやすい。
■ブロック内の輝度勾配が特定の方向にしがない場合 窓(aperture)問題のため、マツチングがユニ
ークに定まらない。窓問題とはマツチングの信頼性が、
そのマツチングに利用された手がかりの方向的な特徴に
依存することである。例えば第3図に示したように縦方
向には輝度変化がなく、横方向にのみ輝度変化が存在す
る画像、より一般的には輝度勾配が一方向にしがない画
像の場合はブロックイはブロック口、ハどちらにもマツ
チしてしまい、対応関係を一意に定めることができない
■回転関係にある画像同士の場合 従来のブロックマツチング法では、ブロックを平行移動
させて一致度を判定するために、回転関係にある画像で
は、真の対応点でも完全に一致しない。
以上の■〜■場合には、対応検出の誤りがおこり易い。
本発明の目的は1nterest演算子を用いた方式で
採用されていた平滑化条件をブロックマツチングに導入
すること壜こより従来のブロックマツチングの欠点を解
消した、画像マツチング方式を提供することにある。
(問題点を解決するための手段) 二つの画像A、Bの対応探索を行なう画像マツチング方
式において、第1の発明は (a)前記画像A及びBを記憶する画像記憶手段、(b
)前記画像A及びB内のブロック同志の対応をブロック
マツチングにより推定する対応推定手段、(c) 画像
の方向特性関数を計算する方向特性関数計算手段、 (d)前記対応推定手段により求められた対応関数と前
記方向特性関数計算手段によって求められた方向特性関
数を用いて画像A、B間の対応を修正する対応修正手段 を有することを特徴とする。
また、第2の発明は、第1の発明において、前記方向特
性関数同士の相関を計算する方向特性関数相関計算手段
を設けたことを特徴とする。
(作用) 本発明の特徴は画像マツチングを行なう際に方向特性関
数を用いる事である。方向特性関数とは、輝度勾配が方
向別にどの程度マツチングの手かかりとして信頼できる
かを表現する関数である。ここで、方向特性関数をds
f(c、 L)とおく。ただし、Oは第4図に示すよう
にX軸となす角度であり、Lは画像データである。この
様に方向特性関数の値は画像との相対的な角度θだけに
よって決まる。またθに関し周期■の関数である。よっ
てブロックがθ回転すると、方向特性関数は位相が0ず
れるという性質を持っている。すなわち、画像りをθ回
転させるオペレータをΦ。(I、)とすると、dsf(
θ+0°、 L) = dsf(c、Φ。、(L))な
る関係がある。この性質を用いることにより、画像間の
回転関係を表現できる。
一方、第3図に例示したようなブロックの中の輝度勾配
に方向的偏りがある場合、あるいはどの方向にも少ない
などの理由によりマツチングがユニークに決まらない場
合には方向特性関数を考慮した平滑化条件を導入するこ
とにより、精度良く対応関係を推定できる。−船釣に以
下のコスト関数Eを最小化する対応関係Rが平滑化条件
を満足する対応関係である。
E(R) = D(B、 R) + 5(R)ここで用
いた記号の説明をする。ブロックiの移動(displ
acement)ベクトルをriとおくと、対応関係R
はR=(rH1i=1.2.・・・・)で表せられる。
Bはブロックマツチングにより得られた対応関係B =
(bil i =1.2.・・・・・)である。biは
ブロックマツチングにより得られたブロックi移動ベク
トルである。D(B、 R)はBとRの差を表し、差が
大きいはどDの値も大きい。5(R)はRの平滑度を表
す関数であり、平滑であるほど値が小さい。本発明では
D(B、R)の計算に方向特性関数を用い、方向特性関
数の値が大きいほど通常のriとbiの距離に重みを加
える。つまり信頼できるbiはなるべくその位置を保つ
ようにする。それにより信頼性の高いマツチングはあま
り変化させずに、信頼度の低いマツチングに対しては重
点的に千溺化条件を導入することができる。
(実施例) 第1図を参照して第1の発明の実施例を詳細に説明する
。また、第4図は本発明の説明に使用する画像データの
座標系である。
入力された画像データ画像A、Bは、画像記憶手段1に
より記憶される。画像Aを構成するブロックを、Ai(
i= 1.2.−−−−m)どする。
それぞれのブロックについて対応推定手段3によりブロ
ックマツチングを行い、対応関係を推定する。この関係
を前述したようにB=(bHli=1.2.・・、・・
)とおく。
また、それぞれのブロックについて方向特性関数計算手
段2により方向特性関数dsf(θ、 Ai)が計算さ
れる。0は画面上に設定された座標系における角度を示
す。多値画像の場合方向特性関数の一例は、である。但
し、 A ニブロック f :輝度 δ θR である。
:角度0の方向微分 また、線図形よりなる二値画像に対する方向特性関数は
、曲線に対し垂直方向で最大値、水平方向で最小値(零
)をとり周期■、最大値、最小値以外に極値を持たない
関数をブロック内曲線に沿って線積分することにより得
られる。
一例をあげると、 dsf(c、 A)= fo、届5inn(0−0本(
s)) l dsである。(これは、θに関し周期■の
関数である。)但し、 C(A) ニブロックAに含まれる曲線s   :C(
A)上のパラメータ 0本(S):パラメータSにおける曲線C(A)のXφ
由に対する角度 である。
次に対応修正手段4により、ブロックマツチングによる
対応関係を平滑化条件に基づいて修正する。前記のコス
ト関数 E(R) = D(B、 R) +5(R)を最小にす
るRを勾配法を用いて探索する。そのRが本方式により
得られた対応関係である。
ここで、 D(B、R)=Σdsf(θi、Ai)、1bi−ri
I25(R)=Σ[Co1riI2+C11VriI2
+ C21v”ri12]五 ただし、CQ、 CI、 C2は定数、OlはbiがX
軸となす角度である。
次に、第2図を参照し、第2の本発明の詳細な説明する
。第2図では、第1図に対して方向特性関数相関計算手
段5が付加されている。方向特性関数相関計算手段5に
より、画像A上のブロックと画像B上のブロックの方向
特性関数同士の相関をとり、両者の回転関係を推定する
。推定された回転角だけブロックを傾けて対応推定手段
3により相関をとる。これにより回転関係にある画イ象
同士のブロックマツチングがより正確に行えるようにな
る。
(発明の効果) 上述したように本発明の画像マツチング方式によれば、
2つの画像データのマツチングを精度よく行なうことが
できるので、画像マツチングを用いた立体視における対
応点検出、動ベクトル検出などを正確に行なうことがで
きる。
【図面の簡単な説明】
第1図は本発明の請求項1の実施例を示す基本的な流れ
図、第2図は本発明の請求項2の実施例を示す基本的な
流れ図、第3図は輝度勾配が一方向にしかないブロック
のマツチングの例、第4図は本発明の説明に使用した座
標系を示した図である。 図において、 1・・・画像記憶手段、2・・・方向特性関数計算手段
、3・・・対応推定手段、4・・・対応修正手段。

Claims (2)

    【特許請求の範囲】
  1. (1)二つの画像A、Bの対応探索を行なう画像マッチ
    ング方式において、 (a)前記画像A及びBを記憶する画像記憶手段、(b
    )前記画像A及びB内のブロック同士の対応をブロック
    マッチングにより推定する対応推定手段、(c)画像の
    方向特性関数を計算する方向特性関数計算手段、 (d)前記対応推定手段により求められた対応関係と前
    記方向特性関数計算手段によって求められた方向特性関
    数を用いて画像A、B間の対応を修正する対応修正手段
    、 を有し、ブロックマッチングにより得られた対応関係を
    、相関法によるマッチングが方向別にどの程度信頼でき
    るかを輝度分布の方向第2次導関数の二乗を用いて表現
    する方向特性関数及び平滑化条件の導入により、修正す
    ることを特徴とする画像マッチング方式。
  2. (2)前記方向特性関数同士の相関を計算する方向特性
    関数相関計算手段を設け、この相関にもとづいて、前記
    A、Bの一方のブロックを回転させ、回転させない他方
    の画像のブロックとのマッチングを前記対応推定手段に
    行なわせることを特徴とする請求項1記載の画像マッチ
    ング方式。
JP1333529A 1988-12-23 1989-12-22 画像マッチング方式 Pending JPH02255990A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1333529A JPH02255990A (ja) 1988-12-23 1989-12-22 画像マッチング方式

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP63-326806 1988-12-23
JP32680688 1988-12-23
JP1333529A JPH02255990A (ja) 1988-12-23 1989-12-22 画像マッチング方式

Publications (1)

Publication Number Publication Date
JPH02255990A true JPH02255990A (ja) 1990-10-16

Family

ID=26572299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1333529A Pending JPH02255990A (ja) 1988-12-23 1989-12-22 画像マッチング方式

Country Status (1)

Country Link
JP (1) JPH02255990A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995004329A1 (fr) * 1993-07-31 1995-02-09 Sony Corporation Dispositif et procede de detection de l'appariement d'images
EP0701369A1 (en) * 1994-09-09 1996-03-13 Canon Kabushiki Kaisha Image processing method and apparatus
JP2011145845A (ja) * 2010-01-14 2011-07-28 Nanao Corp ブロック別動きベクトル演算装置またはその方法
EP4328858A1 (en) * 2022-08-04 2024-02-28 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method, and storage medium

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995004329A1 (fr) * 1993-07-31 1995-02-09 Sony Corporation Dispositif et procede de detection de l'appariement d'images
US5754692A (en) * 1993-07-31 1998-05-19 Sony Corporation Picture coincidence detecting apparatus and method
EP0701369A1 (en) * 1994-09-09 1996-03-13 Canon Kabushiki Kaisha Image processing method and apparatus
EP1494476A1 (en) * 1994-09-09 2005-01-05 Canon Kabushiki Kaisha Image processing method and apparatus
JP2011145845A (ja) * 2010-01-14 2011-07-28 Nanao Corp ブロック別動きベクトル演算装置またはその方法
EP4328858A1 (en) * 2022-08-04 2024-02-28 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method, and storage medium

Similar Documents

Publication Publication Date Title
Yang et al. Direct monocular odometry using points and lines
CN101563709A (zh) 校准照相机系统
US6865289B1 (en) Detection and removal of image occlusion errors
Beardsley et al. Navigation using affine structure from motion
Sola et al. Fusing monocular information in multicamera SLAM
US8102390B2 (en) Frame by frame, pixel by pixel matching of model-generated graphics images to camera frames for computer vision
WO2001001347A1 (en) Method and apparatus for performing geo-spatial registration using a euclidean representation
WO2001004837A2 (en) Method and apparatus for detecting independent motion in three-dimensional scenes
US20080267453A1 (en) Method for estimating the pose of a ptz camera
US10296798B2 (en) System and method of selecting a keyframe for iterative closest point
CN110390639A (zh) 正射影像的处理拼接方法、装置、设备及存储介质
WO2003036384A2 (en) Extendable tracking by line auto-calibration
EP1997072B1 (en) Method for determining a depth map from images, device for determining a depth map
CN116128966A (zh) 一种基于环境物体的语义定位方法
CN112270748B (zh) 基于图像的三维重建方法及装置
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
Se et al. Vision-based mapping with backward correction
JPH02255990A (ja) 画像マッチング方式
CN112233149A (zh) 场景流的确定方法及装置、存储介质、电子装置
JP2004028811A (ja) 監視システムの距離補正装置および距離補正方法
JPH11194027A (ja) 三次元座標計測装置
CN114399526A (zh) 位姿确定方法、装置以及存储介质
JP3452188B2 (ja) 2次元動画像中の特徴点の追跡方法
KR20060007816A (ko) 영상 합성 방법
CN111489439B (zh) 一种三维线图重建方法、装置和电子设备