JPH1021391A - 画像照合方法及び装置 - Google Patents
画像照合方法及び装置Info
- Publication number
- JPH1021391A JPH1021391A JP16960496A JP16960496A JPH1021391A JP H1021391 A JPH1021391 A JP H1021391A JP 16960496 A JP16960496 A JP 16960496A JP 16960496 A JP16960496 A JP 16960496A JP H1021391 A JPH1021391 A JP H1021391A
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- plane
- plane data
- enlargement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
を照合する際に、必要となるメモリ容量を低減しつつ、
複雑な画像の照合を迅速に行うことができる画像照合方
法及び装置を提供する。 【解決手段】θ−q平面作成部12がエッジ検出部1
3、ハフ変換処理部14、フーリエ変換処理部15およ
び対数座標変換処理部19を用いて入力画像に対応する
h1(θ,ρ)及びH1(θ,p)を作成し、さらにこれ
を対数座標変換してH1(θ,q)を作成し、移動量算
出部16がこのH1(θ,q)と参照データ記憶部17
に記憶したH0(θ,q)を比較してθ−q平面レベル
で回転角および拡大・縮小率を求め、該回転角および拡
大・縮小率に基づいてθ−ρ平面レベルで平行移動量を
算出する。
Description
のパターンが撮像された参照画像と検査対象の図形等が
撮像された入力画像の画像照合を行う画像照合方法及び
装置に関し、特に入力画像が参照画像に対して回転し、
平行移動し、拡大・縮小している場合に、該入力画像の
参照画像に対する回転角、平行移動量および拡大・縮小
率を高速に算出して、この算出結果に基づいて両画像を
照合する画像照合方法及び装置に関する。
置等から入力された入力画像を照合するためには、画像
相互間での相対的な回転角、平行移動量および拡大・縮
小率を算出する必要がある。これらを算出するために、
一般化ハフ(Hough)変換という手法が広く用いられ
る。
7689号公報に開示されたものがあり、この公報は、
一般化ハフ変換を高速に実行し得る回路をハードウエア
で実現した一般化ハフ変換回路を開示している。
像中から検出するための画像処理技術であり、回転角、
平行移動量、拡大・縮小率の4次元のパラメータ空間に
投票する方式である。
行移動し、拡大・縮小した画像の照合を行う際に、回
転、平行移動、拡大・縮小に対応するパラメータ空間に
4次元のメモリを用意する。そして、参照画像と入力画
像のエッジ点間のすべての組合せについて、回転、平行
移動、拡大・縮小のパラメータを求め、パラメータ空間
に投票する処理を行う。
フ変換によれば、回転、平行移動、拡大・縮小に対応す
る4次元のパラメータ空間に対応すべく、4次元のメモ
リを用意する必要があるため、メモリ容量が膨大にな
り、コストが膨大なものになるという問題が招来する。
転角を1度の分解能で求めるためには、画像サイズを2
56画素×256画素としたとき、パラメータ空間用に
数100メガバイトのメモリ容量が要求される。
像と参照画像の各エッジ点間の全ての組合せから回転
量、平行移動量、拡大・縮小率を求めるようにしている
ため、入力画像と参照画像のエッジ数の増加に伴ってエ
ッジ点間の組合せが増大しこれによって処理時間も増大
するという問題が招来する。つまりエッジ数が多い複雑
な図形等の照合には時間がかかるという問題が発生す
る。
ものであり、回転し、平行移動し、拡大・縮小した画像
を照合する際に、メモリ容量を小さくでき、かつ複雑な
図形等が撮像された画像を照合する場合であっても処理
を迅速に行うことができるようにすることを解決課題と
するものである。
発明では、参照画像に対する入力画像の回転角ψ、平行
移動量(xΔ,yΔ)および拡大・縮小率sをそれぞれ
算出し、該算出結果に基づいて参照画像と入力画像の画
像照合を行うようにした画像照合方法において、前記参
照画像および前記入力画像のそれぞれについてエッジ方
向画像を生成するステップと、前記参照画像についての
エッジ方向画像に対してθ−ρハフ変換を行って参照θ
−ρ平面データを生成するとともに、前記入力画像につ
いてのエッジ方向画像に対してθ−ρハフ変換を行って
入力θ−ρ平面データを生成するステップと、前記参照
画像についての参照θ−ρ平面データをフーリエ変換し
て参照θ−p平面データを生成するとともに、前記入力
画像についての入力θ−ρ平面データをフーリエ変換し
て入力θ−p平面データを生成するステップと、前記入
力θ−p平面のp軸と前記参照θ−p平面のp軸のそれ
ぞれを、q軸に対数座標変換することにより、参照θ−
q平面に対して入力θ−q平面が、q軸方向に前記拡大
・縮小率sに応じた量だけシフトするように、当該参照
θ−q平面データおよび入力θ−q平面データを生成す
るステップと、前記参照θ−q平面データと入力θ−q
平面データとを突き合わせて2次元画像マッチング処理
することにより、参照θ−q平面に対する入力θ−q平
面のθ軸方向のシフト量を前記回転角ψとして算出する
とともに、参照θ−q平面に対する入力θ−q平面のq
軸方向のシフト量を前記拡大・縮小率sとして算出する
ステップと、前記算出された回転角ψおよび拡大・縮小
率sを用いて前記参照θ−ρ平面に対する前記入力θ−
ρ平面のθ軸方向のシフト量およびρ軸方向の拡大・縮
小率を補正し、この補正された参照θ−ρ平面データと
前記入力θ−ρ平面データの各θにおいて相互相関係数
を求め、逆ハフ変換を行って前記平行移動量(xΔ,y
Δ)を算出するステップと具えるようにしている。
像照合方法と同様な画像照合装置において、前記参照画
像に関するデータを予め記憶しておく記憶手段と、前記
入力画像を外部より入力する入力手段とを更に具えるよ
うにしている。
施の形態について説明する。
置10の構成を示す図である。
は、予め準備した参照画像と入力画像から、ハフ変換に
より得られるθ−ρ平面データをさらにフーリエ変換し
てθ−p平面データ、更にθ−q平面データを算出し、
このθ−q平面レベルで回転角および拡大・縮小率を求
めるとともに、求めた回転角、拡大・縮小率を用いてθ
−ρ平面レベルで平行移動量を求めるよう構成したもの
である。
力手段としての画像入力部11と、θ−q平面作成部1
2と、エッジ画像生成手段としてのエッジ検出部13
と、ハフ変換手段としてのハフ変換処理部14と、フー
リエ変換手段としてのフーリエ変換処理部15と、回転
角および拡大・縮小率算出手段ないしは平行移動量算出
手段としての移動量算出部16と、記憶手段としての参
照データ記憶部17と、逆ハフ変換処理部18と、対数
座標変換手段としての対数座標変換処理部19とからな
る。
手段と、フーリエ変換手段と、対数座標変換手段は、各
々、θ−q平面作成部12を含む。
ッジ方向画像を作成する際にエッジ検出部13を使用
し、θ−ρ平面データを作成する際にはハフ変換処理部
14を使用し、θ−p平面データを作成する際にはフー
リエ変換処理部15を使用し、更に対数座標変換処理部
19を使用して対数座標変換処理を行い、θ−p平面デ
ータをθ−q平面データに変換する。
画像R(x,y)と入力濃度画像I(x,y)を入力す
る処理部であり、入力された各画像をθ−q平面作成部
12に出力する。
3、ハフ変換処理部14、フーリエ変換処理部15およ
び対数座標変換処理部19を用いて、入力された画像か
らエッジ方向画像、θ−ρ平面データ、θ−p平面デー
タおよびθ−q平面データを順次作成し、θ−ρ平面デ
ータ及びθ−q平面データを移動量算出部16に出力す
る。
力された画像からエッジ方向画像を作成し、その後ハフ
変換処理部14を用いてエッジ方向画像をハフ変換す
る。さらに、このハフ変換により得られるθ−ρ平面デ
ータをフーリエ変換処理部15を用いてフーリエ変換
し、θ−p平面データを作成し、さらに対数座標変換処
理部19を用いてp軸をq軸に対数座標変換して、θ−
q平面データを作成する。
は、入力された画像が参照濃度画像R(x,y)である
場合には、該R(x,y)に対応する参照θ−q平面デ
ータを作成し、また入力された画像が入力濃度画像I
(x,y)である場合には、該I(x,y)に対応する
入力θ−q平面データを作成する。
ある場合には、まず最初にエッジ検出部13を用いて参
照エッジ方向画像Re(x,y)を作成し、次に、この
Re(x,y)をハフ変換処理部14によりハフ変換
し、参照θ−ρ平面データh0(θ,ρ)を作成する。
さらに、このh0(θ,ρ)をフーリエ変換処理部15
を用いてフーリエ変換し、参照θ−p平面データH0
(θ,p)を作成し、さらに、このH0(θ,p)を対
数座標変換処理部19により対数座標変換して、参照θ
−q平面データH0(θ,q)を作成する。
った移動量算出部16は、このh0(θ,ρ)及びH0
(θ,q)を参照データとして、参照データ記憶部17
に格納する。
ウスラプラシアンフィルターを適用して、ガウスラプラ
シアンフィルターの正負の符号がx軸方向又はy軸方向
に変化する点(以下「ゼロクロス点」と言う。)を求め
てエッジ点を検出するとともに、かかるゼロクロス点の
位置に対してソーベルオペレータを適用することにより
ノイズの除去を図りつつエッジ強度Em及びエッジ方向
Eθを算定し、該エッジ強度Emが所定のしきい値以上
であることを条件としてそのエッジ方向Eθをエッジ方
向画像に格納する処理部である。
1352号公報に開示されるゼロクロス点に基づくエッ
ジ検出方法を用いて、R(x,y)に対応するRe
(x,y)およびI(x,y)に対応するIe(x,
y)を作成する。
が作成したエッジ方向画像をハフ変換してθ−ρ平面デ
ータを作成する処理部であり、具体的には、Re(x,
y)に対応するh0(θ,ρ)およびIe(x,y)に
対応するh1(θ,ρ)を作成する。
部14が作成したθ−ρ平面データをフーリエ変換して
θ−p平面データを作成する処理部であり、具体的に
は、h0(θ,ρ)に対応するH0(θ,p)およびh1
(θ,ρ)に対応するH1(θ,p)を作成する。
処理部15が作成したθ−p平面のp軸を、対数座標軸
q軸に対数座標変換処理する処理部であり、具体的に
は、H0(θ,p)に対応するH0(θ,q)およびH1
(θ,p)に対応するH1(θ,q)を作成する。
2から入力される入力データh1(θ,ρ)及びH1
(θ,q)と参照データ記憶部17に格納された参照デ
ータh0(θ,ρ)及びH0(θ,q)を用いて、入力濃
度画像I(x,y)に含まれる図形(検査対象物)の、
参照濃度画像R(x,y)に含まれる図形(基準となる
形状パターン)に対する回転角、平行移動量および拡大
・縮小率を算出しこれを出力する処理部である。
フ変換を行ったθ−ρ平面をさらにフーリエ変換したθ
−q平面レベルで回転角および拡大・縮小率を算出する
とともに、これら回転角および拡大・縮小率により補正
されたθ−ρ平面レベルで平行移動量を算出する。この
ようにθ−ρ平面をさらにフーリエ変換し、補正したθ
−ρ平面で平行移動量を算出した理由は、まず、平行移
動の影響を除去した上で回転角および拡大・縮小率を迅
速に求め、その後これら回転角、拡大・縮小率の影響を
除去した上で平行移動量を迅速に求めるためである。
タすなわちh0(θ,ρ)及びH0(θ,q)をθ−q平
面作成部12から受け取った場合には、かかる参照デー
タを参照データ記憶部17に記憶する処理を行う。この
ため、その細部の説明は省略するが、θ−q平面作成部
12が移動量算出部16に対して参照データを出力する
際には、出力するデータが参照データであることを示す
識別フラグ等を当該参照データに付与するようにしてい
る。
(x,y)に対応するθ−ρ平面データh0(θ,ρ)
及びθ−q平面データH0(θ,q)を参照データとし
て記憶する記憶部であり、かかる参照データは移動量算
出部16によりアクセスされる。
6が平行移動量を算出する際に使用する処理部であり、
具体的には、この移動量算出部16が参照θ−ρ平面と
入力θ−ρ平面との間で算出した相関係数を記憶したρ
相互相関画像Cρ(θ,ρ)について逆ハフ変換を実行
する。
照濃度画像R(x,y)と入力濃度画像I(x,y)を
照合する際に、それぞれハフ変換を行った後にフーリエ
変換してθ−q平面レベルで回転角および拡大・縮小率
を求めるとともに、該回転角および拡大・縮小率に基づ
いてθ−ρ平面レベルで平行移動量を算出するものであ
る。
ついて説明する。ただし、ここでは、参照データは既に
参照データ記憶部10に設定済みであるものとする。
理手順を示すフローチャートである。
0は、入力濃度画像I(x,y)が入力されると、θ−
q平面作成部12がエッジ検出部13を用いてI(x,
y)からエッジ方向画像Ie(x,y)を作成する(ス
テップ201)。
換処理部14を用いてIe(x,y)をハフ変換してθ
−ρ平面データh1(θ,ρ)を作成した後(ステップ
202)、フーリエ変換部15を用いてh1(θ,ρ)
をさらにフーリエ変換しθ−p平面データH1(θ,
p)を作成する(ステップ203)。
標変換処理部19を用いてθ−p平面(θ,p)のp軸
を、q軸という対数座標軸に対数座標変換して、θ−q
平面データH1(θ,q)を作成する(ステップ20
4)。
参照データ記憶部17に予め記憶しておいた同様な対数
座標変換後の参照データH0(θ,q)を当該参照デー
タ記憶部17から読み出す(ステップ205)。
リエ対数座標変換画像H1(θ,q)と、ステップ20
5で参照データ記憶部17から読み出されたフーリエ対
数座標変換画像H0(θ,q)とを用いて、これらの2
次元相関係数Cr(θ,q)を計算する(ステップ20
6)。
q)が最大となるθ、qの位置より回転角ψ、拡大・縮
小率sを求める(ステップ207)。
転角ψおよび拡大・縮小率sに基づいて参照θ−ρ平面
に対する入力θ−ρ平面のθ軸方向のシフト量およびρ
軸方向の拡大・縮小率を補正し、この補正した参照θ−
ρ平面データh0(θ,ρ)と入力θ−ρ平面データh1
(θ,ρ)の各θについてρ軸方向にシフトしながら正
規化相関係数を計算し、その相関係数の最大値の位置を
検出して、相関係数を記憶したρ相互相関画像Cρ
(θ,ρ)を作成する(ステップ208)。
処理部18を用いてρ相互相関画像Cρ(θ,ρ)を逆
ハフ変換して逆ハフ変換画像Inv(x,y)を作成
し、その最大値の位置を求めて平行移動量(xΔ,y
Δ)を算出する(ステップ209)。
平面レベルで回転角ψおよび拡大・縮小率sを求めると
ともに、該回転角ψおよび拡大・縮小率sに基づいてθ
−ρ平面レベルで平行移動量(xΔ,yΔ)を求めるこ
とが可能となる。なお、上記処理手順においては、Re
(x,y)、h0(θ,ρ)、H0(θ,p)、H0
(θ,q)の作成手順についての説明を省略したが、こ
れらについても、入力濃度画像I(x,y)の場合と同
様にステップ201〜204を実行することにより作成
することができる。
方向画像の作成手順について具体的に説明する。
向画像の作成手順を示すフローチャートである。
は、まず最初にゼロクロス点を求めるために、入力濃度
画像I(x,y)に対して次式に示すガウスラプラシア
ンフィルターを適用し、ラプラシアン画像Ig(x,
y)を作成する(ステップ301)。
4近傍の画素のうち少なくとも1つの画素の画素値が正
であるか否かを確認し(ステップ302)、かかる条件
が成立する場合には、I(x,y)に対してソーベル
(Sobel )の微分オペレータを適用してエッジ強度Em
を算出する(ステップ303)。
い値以上であれば、エッジ方向Eθを計算してエッジ方
向画像Ie(x,y)に格納し、しきい値未満の場合に
は、次画素の処理に移行する(ステップ305)。
を小さくして画像の詳細なエッジを検出しようとすると
ノイズのエッジ点に対応するものが多くなるという性質
を有するため、かかるノイズのゼロクロス点の位置に対
してソーベルオペレータを適用することにより、ノイズ
のゼロクロス点の除去を図っている。
ステップ302〜305の処理を繰り返し(ステップ3
06)、全ての画素に対する処理を終了したならば、こ
のエッジ方向画像処理を終了する。
開平5−151352号公報に開示されたエッジ検出方
法と同様の手法を用いてエッジ方向画像Ie(x,y)
を作成している。
図4に示すように、x方向のマスクオペレータ40とy
方向のマスクオペレータ41から構成され、x方向のマ
スクオペレータ40からの出力をMx、y方向のマスク
オペレータ41からの出力をMyとすると、エッジ強度
Em及びエッジ方向Eθは次式により算出される。
合について説明したが、ロバーツ(Robert)やロビンソ
ン(Robinson)等の各種微分オペレータを適用すること
も可能である。
平面データの作成手順について具体的に説明する。
面データの作成手順を示すフローチャートである。
は、エッジ方向画像Ie(x,y)が入力されると(ス
テップ501)、このIe(x,y)がエッジ点である
か否かを確認し(ステップ502)、エッジ点である場
合には、角度変数θを θ=Eθ−Δθ に設定する(ステップ503)。なお、このΔθは、実
験を踏まえて妥当な値が設定される。
ρ)に+1加算(投票)する(ステップ504)。
(ステップ505)、該角度変数θがEθ−ΔθからE
θ+Δθの範囲内である限り、上記ステップ504及び
505の処理を繰り返す(ステップ506)。
(x,y)の全画素について繰り返し(ステップ50
7)、全画素の処理を終えた時点で、このθ−ρハフ変
換処理を終了する。
る場合には、角度変数θをEθ−ΔθからEθ+Δθま
で変位させつつρを算出し、そのθ及びρの組み合わせ
に対応するh1(θ,ρ)に+1加算していくことによ
り、h1(θ,ρ)を作成している。
に対応するh1(θ,ρ)を作成する場合について説明
したが、参照濃度画像R(x,y)に対応するh0
(θ,ρ)についても同様に作成することができる。
エ変換処理、つまりθ−p平面データの作成手順につい
て具体的に説明する。
照濃度画像R(x,y)に対して、拡大・縮小率sで拡
大、縮小され、さらに回転角ψをもって回転され、さら
に平行移動量(xΔ,yΔ)だけ平行移動されている。
小、回転、平行移動は、(θ,ρ)空間上では下式に示
される変換で表される。
行移動の影響を除去するために、入力濃度画像I(x,
y)に対応するh1(θ,ρ)および参照濃度画像R
(x,y)に対応するh0(θ,ρ)それぞれについ
て、ρ軸方向の1次元のフーリエ変換を行い、その後周
波数pがp≧0の領域のパワースペクトル密度を計算し
てフーリエ変換画像H1(θ,p)、H0(θ,p)を求
めるようにしている。
ータの作成手順を示すフローチャートであり、同図6に
示すように、フーリエ変換処理部15は、まず、ハフ変
換処理部14が作成した入力θ−ρ平面データh1
(θ,ρ)を入力する(ステップ601)。ついで、角
度変数θをゼロに初期設定した後(ステップ602)、
FFTすなわち高速フーリエ変換によりh1(θ,ρ)
においてρ軸方向の1次元フーリエ変換を行い、そのパ
ワーをH1(θ,p)に格納する。つまり周波数pがp
≧0の領域のパワースペクトル密度を計算してフーリエ
変換画像H1(θ,p)を下記(8)式のごとく求める。
後に(ステップ604)、該θがθmax未満であるか否
かを確認し(ステップ605)、θmax未満である場合
にはステップ603及び604の処理を繰り返し、やが
てθmax 以上となった時点で処理を終了する。
に対応するH1(θ,p)を作成する場合について説明
したが、参照濃度画像R(x,y)に対応するH0
(θ,p)についても上記(7)式のごとく同様に作成
することができる。
(θ,p)とH1(θ,p)との関係は下記(9)式の
ように表され、(4)式との比較から平行移動の影響が
除去されているのがわかる。
手順について具体的に説明する。
以下のとおりである。
度画像I(x,y)が参照濃度画像R(x,y)に対し
て拡大、縮小している場合には、入力フーリエ変換画像
H1(θ,p)は参照フーリエ変換画像H0(θ,p)に
対してp軸方向に縮小、拡大したものになっている(例
えば、入力濃度画像I(x,y)が参照濃度画像R
(x,y)に対して拡大しているときは、p軸方向に縮
む関係となる)。
は、演算処理が煩雑なものとなり、処理に時間を要する
こととなる。
軸q軸に対数座標変換することにより、p軸方向に画像
が伸縮している関係を、q軸方向に画像が平行移動して
いる関係に変換する。つまり、参照θ−q平面に対して
入力θ−q平面を、q軸方向に拡大・縮小率sに応じた
量だけシフト(平行移動)させるようにする。
係にすることによって拡大・縮小率sを求める演算処理
が簡易なものとなり、処理時間が短縮されることとな
る。
を示すフローチャートであり、同図7に示すように、対
数座標変換処理部19は、まずθをゼロに初期設定する
とともに(ステップ701)、qをゼロに初期設定する
(ステップ702)。
式、 p=c・exp(q) (25) (ただし、cは定数)から求める。つまり、対数座標軸
q上の座標位置に対応するp軸上の座標位置を求める
(ステップ703)。
ば、下記(26)式に示すように、フーリエ変換画像H
1(θ,p)を、対応するフーリエ対数座標変換画像H1
(θ,q)に変換する。
するために、q軸方向にハニング窓を掛ける処理を行
う。
テップ704で取得されたH1(θ,q)にハニング窓関
数W(q)を乗算したものを、新たなH1(θ,q)とす
る。
5)。
706)、qが最大値qmax未満であれば(ステップ7
07の判断YES)、更新したqに対して同様な処理
(ステップ703〜ステップ706)を繰り返すが、や
がてqが最大値qmaxに達すると(ステップ707の判
断NO)、つぎのステップ708に移行される。
大値θmax未満であれば(ステップ708の判断YE
S)、更新したθに対してqを再度ゼロにした上で同様
な処理(ステップ702〜ステップ707)を繰り返す
が、やがてθが最大値θmaxに達すると(ステップ70
8の判断NO)、この対数座標変換処理を終了させる。
に対応するH1(θ,q)を作成する場合について説明
したが、参照濃度画像R(x,y)に対応するH0
(θ,q)についても同様に作成することができる。
(θ,q)の関係は、下記(10)式のように表され
る。
応するH1(θ,q)は、参照濃度画像R(x,y)に
対応するH0(θ,q)を、q軸方向に−λ、θ軸方向
にψだけシフトしたものとして表すことができる。
出することができれば、拡大・縮小率sを上記(12)
式の関係より求めることができ、θ軸方向のシフト量ψ
を算出することができれば、回転角ψを求めることがで
きる。
λ、θ軸方向のシフト量ψを求めるべく、移動量算出部
16は、まず、参照データ記憶部17に予め記憶してお
いた対数座標変換後の参照データH0(θ,q)を当該
参照データ記憶部17から読み出し(ステップ20
5)、この読み出されたフーリエ対数座標変換画像H0
(θ,q)とステップ204で作成されたフーリエ対数
座標変換画像H1(θ,q)とを用いて、これらの2次
元相関係数Cr(θ,q)を計算する(ステップ20
6)。その後、この2次元相関係数Cr(θ,q)が最
大となるθ、qの位置より回転角ψ、拡大・縮小率sを
求める(ステップ207)。
(θ,q)の演算処理および回転角ψ、拡大・縮小率s
の算出処理の手順を示すフローチャートであり、同図8
に示すように、まずH1(θ,q)を2次元フーリエ変
換してF1(u,v)を求める(ステップ801)。つい
で、このF1(u,v)の各成分のパワーを1.0に正規
化してF1φ(u,v)を求める(ステップ802)。参
照濃度画像R(x,y)に対応するH0(θ,q)につ
いても同様の処理が実行され、この結果作成されたF0
φ(u,v)が記憶部に予め記憶されている。そこで、
このF0φ(u,v)が読み出される(ステップ80
3)。
すると、まず、H0(θ,q)、H1(θ,q)それぞれ
が2次元フーリエ変換されて下記(13)、(14)式
に示すようにF0(u,v)、F1(u,v)が求められ
る。
とを用いて、F0(u,v)とF1(u,v)との関係式
(15)を得る。
(16)式のように表され、F1(u,v)については上
記(15)式より下記(17)式のように表される。
れぞれ下記(18)、(19)式のように表される。
(u,v)を用いてF1φ(u,v)と、F0φ(u,v)
*の積を下記(20)、(21)、(22)式に示すよ
うに逆フーリエ変換してH0(θ,q)とH1(θ,q)
の相関値(2次元相関係数)Cr(θ,q)を求める。
役である(ステップ804)。
(θ,q)はデルタ関数になっているのがわかる(上記
(22)式参照)。そして、このデルタ関数Cr(θ,
q)は、θ=ψ、q=−λの座標位置で最大値をとる。
そこで、Cr(θ,q)平面から最大値をとる座標位置
θ=ψ、q=−λを検出し(ステップ805)、この検
出位置(ψ、−λ)に基づき、回転角ψを求めるととも
に、拡大・縮小率sを、上記(12)式に基づく変換
式、 s=k・exp(−λ) (28) (kは定数)により求めるようにする(ステップ80
6)。
るH1(θ,q)の、θ軸方向のシフト量、q軸方向のシ
フト量を求めるために、2次元フーリエ変換の位相を利
用したフーリエ位相変換法を用いるようにしたが、通常
のマッチトフィルタや2次元相関によって求める実施も
可能である。
相関画像Cρ(θ,ρ)の作成手順について具体的に説
明する。
関画像Cρ(θ,ρ)の作成手順を示すフローチャート
である。
は、図8に示す処理により回転角ψ、拡大・縮小率sを
求めたならば、入力θ−ρ平面データh1(θ,ρ)及
び参照θ−ρ平面データh0(θ,ρ)を入力して、求
めた回転角ψおよび拡大・縮小率sを用いて参照θ−ρ
平面に対する入力θ−ρ平面のθ軸方向のシフト量およ
びρ軸方向の拡大・縮小率を補正する(ステップ90
1)。
(ステップ902)、ずらし量Δρに−ρmax ×2を代
入する(ステップ903)。
て補正したh0(θ,ρ)とh1(θ,ρ)の正規化相互
相関係数を計算してρ相互相関画像C(θ,Δρ)に記
憶し(ステップ904)、Δρをインクリメントする
(ステップ905)。
か否かを確認し(ステップ906)、ρmax ×2未満で
ある場合には、ステップ904に移行して上記ステップ
904及び905の処理を繰り返す。
った場合には、角度変数θをインクリメントした後に
(ステップ907)、該角度変数θがθmax 未満である
場合にはステップ903に移行する(ステップ90
8)。
0(θ,ρ)とh1(θ,ρ)の各θについて、ρ軸方向
にずらしながら1次元の正規化相互相関係数を計算し、
ρ相互相関画像Cρ(θ,ρ)を作成している。
化相互相関係数は、次式により算出される。
v(x,y)の作成手順について説明する。
変換画像Inv(x,y)の作成手順を示すフローチャ
ートである。
は、ρ相互相関画像Cρ(θ,ρ)を作成したならば
(ステップ1001)、角度変数θをゼロに初期設定し
た後に(ステップ1002)、ρに−ρmax を設定する
(ステップ1003)。
(θ,ρ)の最大値であるCmax よりも大きいか否かを
判断し(ステップ1004)、Cmax よりも大きな場合
には、このCρ(θ,ρ)をCmax に代入してCmax を
更新するとともに、この時のρをρkに代入する(ステ
ップ1005)。したがって、このρkには、Cmax が
最大である場合におけるρの値が格納される。
プ1006)、ρがρmax 未満であるか否かを確認し
(ステップ1007)、ρmax 未満である場合には、ス
テップ1004〜1006の処理を繰り返す。
合には、Cρ(θ,ρk)を逆ハフ変換する。つまり、
逆ハフ変換処理部18では、Cρ(θ,ρ)上の点
(θ,ρk)を、 の式で示す直線に変換する処理が実行される。
y)平面上の直線 y=−(1/tanθ)x+ρk/sinθ 上にCρ(θ,ρk)の値を加算する(ステップ100
8)。
後に(ステップ1009)、該θがθmax 未満であるか
否かを確認し(ステップ1010)、θmax 未満である
場合にはステップ1003に移行する。
ρ(θ,ρ)から各θで最大値をとる位置(θ,ρk)
を検出し、その位置で逆ハフ変換を行って逆ハフ変換画
像Inv(x,y)を作成している。
y)の最大値の位置(Xmax ,Ymax )が平行移動量
(xΔ,yΔ)となる。
文字の照合に適用した場合の処理結果について説明す
る。
文字の照合に適用した場合にディスプレイ上に表示され
る中間調画像を示す写真である。
の参照濃度画像R(x,y)であり、この参照濃度画像
R(x,y)からエッジ方向を抽出した参照エッジ方向
画像Re(x,y)は、図11(b)に示すようにな
る。
変換を施すと、図11(e)に示すような帯状の模様を
持つ参照θ−ρ平面データh0(θ,ρ)となり、さら
にこのh0(θ,ρ)をフーリエ変換すると、図11
(g)に示すような参照θ−p平面データH0(θ,
p)が得られる。さらにこのH0(θ,p)のp軸をq
軸に対数座標変換すると、図11(i)に示すような参
照θ−q平面データH0(θ,q)が得られる。
入力濃度画像I(x,y)である。
って有るラベルの文字を光学的に読みとる場合を想定す
ると、この図11(c)に示すように、読みとられた文
字は、参照濃度画像R(x,y)上の文字に対して、回
転し、平行移動し、拡大(縮小)していることがある。
方向を抽出した入力エッジ方向画像Ie(x,y)は、
図11(d)に示すようになる。
変換を施すと、図11(f)に示すような入力θ−ρ平
面データh1(θ,ρ)となり、さらにこのh1(θ,
ρ)をフーリエ変換すると、図11(h)に示すような
入力θ−p平面データH1(θ,p)が得られる。さら
にこのH1(θ,p)のp軸をq軸に対数座標変換する
と、図11(j)に示すような入力θ−q平面データH
1(θ,q)が得られる。
ρ)に比して帯のうねりが見られる理由は、文字の姿勢
角と位置が異なるためである。
度画像R(x,y)に対して拡大しているために、入力
フーリエ変換画像H1(θ,p)は参照フーリエ変換画
像H0(θ,p)に対してp軸方向に縮んでいるのがわ
かる。
る関係は、対数座標変換されたH1(θ,q)、H0
(θ,q)をみると、q軸方向に画像が平行移動してい
る関係に変換されているのがわかる。つまり、画像H0
(θ,q)を下方にシフトさせたものが画像H1(θ,
q)であることがわかる。
q)平面であり、この相関値Cr(θ,q)平面は、他
の点とは明らかに区別できる最大輝度の座標位置を有し
ていることがわかる(最大輝度をとる座標位置が、θ=
ψ、q=−λである)。
h0(θ,ρ)の各θについて、ρ軸方向にずらしなが
ら計算したρ相互相関画像Cρ(θ,ρ)を示す図であ
り、図11(m)は、Cρ(θ,ρ)から各θで最大値
を持つ位置(θ,ρk)を検出し、その位置で逆ハフ変
換を行った逆ハフ変換画像Inv(x,y)である。
θ−q平面作成部12がエッジ検出部13、ハフ変換処
理部14、フーリエ変換処理部15および対数座標変換
処理部19を用いて入力画像に対応するh1(θ,ρ)
及びH1(θ,p)を作成し、さらにこれを対数座標変
換したH1(θ,q)を作成し、移動量算出部16がこ
のH1(θ,q)と参照データ記憶部17に記憶したH0
(θ,q)を比較してθ−q平面レベルで回転角ψおよ
び拡大・縮小率sを求めるとともに、該回転角ψおよび
拡大・縮小率sに基づいてθ−ρ平面レベルで平行移動
量(xΔ,yΔ)を算出するよう構成したので、照合に
必要なメモリサイズを抑制しつつ、画像のエッジ数が増
加した場合であっても処理所要時間を低減することがで
きる。
換を行ったθ−ρ平面をさらにフーリエ変換したθ−q
平面レベルで回転角および拡大・縮小率を算出するとと
もに、これら回転角および拡大・縮小率により補正され
たθ−ρ平面レベルで平行移動量を算出するようにした
ので、平行移動の影響を除去した上で回転角および拡大
・縮小率を迅速に求めることができるとともに、これら
回転角、拡大・縮小率の影響を除去した上で平行移動量
を迅速に求めることができる。そして同時にメモり容量
も小さくすることができる。
平行移動量、拡大・縮小率を求める場合に比較して、メ
モリ容量が飛躍的に低減され、画像のエッジ数が増加し
た場合であっても処理時間が大幅に短縮される。
める際に、周波数p軸を、周波数の対数座標軸q軸に対
数座標変換することにより、参照θ−q平面に対して入
力θ−q平面が、q軸方向に拡大・縮小率sに応じた量
だけシフトするようにしているので、拡大・縮小率を求
める演算処理が簡易なものとなり、処理時間を飛躍的に
短縮できる。
関するデータを予め記憶しておく記憶手段と、入力画像
を外部より入力する入力手段とを具え、参照画像に関す
るデータを、入力画像が外部から入力する前に予め記憶
させておくようにしたので、入力画像が入力されたなら
ば参照画像と入力画像とを即座に照合することが可能と
なり、処理時間を更に短縮することができるようにな
る。
を示す図である。
を示す図であり、図1に示す画像照合装置で行われる処
理手順を示すフローチャートである。
向画像の作成手順を示すフローチャートである。
る。
平面データの作成手順を示すフローチャートである。
−p平面データの作成手順を示すフローチャートであ
る。
数座標変換処理の手順を示すフローチャートである。
よび拡大・縮小率の算出手順を示すフローチャートであ
る。
関画像Cρ(θ,ρ)の作成手順を示すフローチャート
である。
逆ハフ変換画像Inv(x,y)の作成手順を示すフロ
ーチャートである。
像照合装置を文字の照合に適用した場合にディスプレイ
上に表示される中間調画像を示す各写真である。
−f平面作成部、13…エッジ検出部、 14…ハフ変
換処理部、15…フーリエ変換処理部、 16…移動量
算出部、17…参照データ記憶部、 18…逆ハフ変換
処理部、19…対数座標変換処理部、40,41…ソー
ベルオペレータ
Claims (3)
- 【請求項1】 参照画像に対する入力画像の回転角
ψ、平行移動量(xΔ,yΔ)および拡大・縮小率sを
それぞれ算出し、該算出結果に基づいて参照画像と入力
画像の画像照合を行うようにした画像照合方法におい
て、 前記参照画像および前記入力画像のそれぞれについてエ
ッジ方向画像を生成するステップと、 前記参照画像についてのエッジ方向画像に対してθ−ρ
ハフ変換を行って参照θ−ρ平面データを生成するとと
もに、前記入力画像についてのエッジ方向画像に対して
θ−ρハフ変換を行って入力θ−ρ平面データを生成す
るステップと、 前記参照画像についての参照θ−ρ平面データをフーリ
エ変換して参照θ−p平面データを生成するとともに、
前記入力画像についての入力θ−ρ平面データをフーリ
エ変換して入力θ−p平面データを生成するステップ
と、 前記入力θ−p平面のp軸と前記参照θ−p平面のp軸
のそれぞれを、q軸に対数座標変換することにより、参
照θ−q平面に対して入力θ−q平面が、q軸方向に前
記拡大・縮小率sに応じた量だけシフトするように、当
該参照θ−q平面データおよび入力θ−q平面データを
生成するステップと、 前記参照θ−q平面データと入力θ−q平面データとを
突き合わせて2次元画像マッチング処理することによ
り、参照θ−q平面に対する入力θ−q平面のθ軸方向
のシフト量を前記回転角ψとして算出するとともに、参
照θ−q平面に対する入力θ−q平面のq軸方向のシフ
ト量を前記拡大・縮小率sとして算出するステップと、 前記算出された回転角ψおよび拡大・縮小率sを用いて
前記参照θ−ρ平面に対する前記入力θ−ρ平面のθ軸
方向のシフト量およびρ軸方向の拡大・縮小率を補正
し、この補正された参照θ−ρ平面データと前記入力θ
−ρ平面データの各θにおいて相互相関係数を求め、逆
ハフ変換を行って前記平行移動量(xΔ,yΔ)を算出
するステップと具えた画像照合方法。 - 【請求項2】 参照画像に対する入力画像の回転角
ψ、平行移動量(xΔ,yΔ)および拡大・縮小率sを
それぞれ算出し、該算出結果に基づいて参照画像と入力
画像の画像照合を行うようにした画像照合装置におい
て、 前記参照画像および前記入力画像のそれぞれについてエ
ッジ方向画像を生成するエッジ画像生成手段と、 前記参照画像についてのエッジ方向画像に対してθ−ρ
ハフ変換を行って参照θ−ρ平面データを生成するとと
もに、前記入力画像についてのエッジ方向画像に対して
θ−ρハフ変換を行って入力θ−ρ平面データを生成す
るハフ変換手段と、 前記参照画像についての参照θ−ρ平面データをフーリ
エ変換して参照θ−p平面データを生成するとともに、
前記入力画像についての入力θ−ρ平面データをフーリ
エ変換して入力θ−p平面データを生成するフーリエ変
換手段と、 前記入力θ−p平面のp軸と前記参照θ−p平面のp軸
のそれぞれを、q軸に対数座標変換することにより、参
照θ−q平面に対して入力θ−q平面が、q軸方向に前
記拡大・縮小率sに応じた量だけシフトするように、当
該参照θ−q平面データおよび入力θ−q平面データを
生成する対数座標変換手段と、 前記参照θ−q平面データと入力θ−q平面データとを
突き合わせて2次元画像マッチング処理することによ
り、参照θ−q平面に対する入力θ−q平面のθ軸方向
のシフト量を前記回転角ψとして算出するとともに、参
照θ−q平面に対する入力θ−q平面のq軸方向のシフ
ト量を前記拡大・縮小率sとして算出する回転角および
拡大・縮小率算出手段と、 前記算出された回転角ψおよび拡大・縮小率sを用いて
前記参照θ−ρ平面に対する前記入力θ−ρ平面のθ軸
方向のシフト量およびρ軸方向の拡大・縮小率を補正
し、この補正された参照θ−ρ平面データと前記入力θ
−ρ平面データの各θにおいて相互相関係数を求め、逆
ハフ変換を行って前記平行移動量(xΔ,yΔ)を算出
する平行移動量算出手段と具えた画像照合装置。 - 【請求項3】 前記参照画像に関するデータを予め
記憶しておく記憶手段と、前記入力画像を外部より入力
する入力手段とを更に具えた請求項2記載の画像照合装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08169604A JP3098711B2 (ja) | 1996-06-28 | 1996-06-28 | 画像照合方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08169604A JP3098711B2 (ja) | 1996-06-28 | 1996-06-28 | 画像照合方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1021391A true JPH1021391A (ja) | 1998-01-23 |
JP3098711B2 JP3098711B2 (ja) | 2000-10-16 |
Family
ID=15889583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08169604A Expired - Fee Related JP3098711B2 (ja) | 1996-06-28 | 1996-06-28 | 画像照合方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3098711B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000030062A (ja) * | 1998-07-10 | 2000-01-28 | Glory Ltd | 画像照合方法、装置及び記録媒体 |
WO2005124688A1 (ja) * | 2004-06-18 | 2005-12-29 | Sony Corporation | 画像照合方法、画像照合装置、プログラム |
JP2006058210A (ja) * | 2004-08-23 | 2006-03-02 | Hitachi High-Technologies Corp | 荷電粒子線顕微方法、荷電粒子線顕微装置、測長方法及び測長装置 |
US7720307B2 (en) | 2003-10-07 | 2010-05-18 | Sony Corporation | Image matching method, program, and image matching system |
-
1996
- 1996-06-28 JP JP08169604A patent/JP3098711B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000030062A (ja) * | 1998-07-10 | 2000-01-28 | Glory Ltd | 画像照合方法、装置及び記録媒体 |
US7720307B2 (en) | 2003-10-07 | 2010-05-18 | Sony Corporation | Image matching method, program, and image matching system |
US7860279B2 (en) | 2003-10-07 | 2010-12-28 | Sony Corporation | Image matching method, program, and image matching system |
WO2005124688A1 (ja) * | 2004-06-18 | 2005-12-29 | Sony Corporation | 画像照合方法、画像照合装置、プログラム |
CN100371953C (zh) * | 2004-06-18 | 2008-02-27 | 索尼株式会社 | 图像匹配方法及图像匹配设备 |
US7848576B2 (en) | 2004-06-18 | 2010-12-07 | Sony Corporation | Image matching method, image matching apparatus, and program |
KR101122944B1 (ko) * | 2004-06-18 | 2012-03-22 | 소니 주식회사 | 화상 대조 방법, 화상 대조 장치, 프로그램 |
JP2006058210A (ja) * | 2004-08-23 | 2006-03-02 | Hitachi High-Technologies Corp | 荷電粒子線顕微方法、荷電粒子線顕微装置、測長方法及び測長装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3098711B2 (ja) | 2000-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445616B2 (en) | Enhanced phase correlation for image registration | |
US7450765B2 (en) | Increasing accuracy of discrete curve transform estimates for curve matching in higher dimensions | |
JP2013525905A (ja) | 事前計算されたスケール空間からのデイジー記述子生成 | |
US20090074299A1 (en) | Increasing accuracy of discrete curve transform estimates for curve matching in four or more dimensions | |
CN113223066B (zh) | 基于特征点微调的多源遥感图像匹配方法及装置 | |
Ho et al. | A fast Hough transform for the parametrisation of straight lines using Fourier methods | |
Sorokin et al. | Gauss-laguerre keypoints extraction using fast hermite projection method | |
JP3098711B2 (ja) | 画像照合方法及び装置 | |
Bhamre et al. | Mahalanobis distance for class averaging of cryo-EM images | |
JP3693147B2 (ja) | 画像照合方法、装置及び記録媒体 | |
US20090129699A1 (en) | Image processing system | |
US20030198388A1 (en) | Pattern matching system utilizing discrete curve matching with a mapping operator | |
KR101279484B1 (ko) | 영상 처리 장치 및 방법 | |
JP3098704B2 (ja) | 画像照合方法及び装置 | |
US20210390328A1 (en) | Optical character recognition of documents having non-coplanar regions | |
Anoshina et al. | Correlation-based 2D registration method for single particle cryo-EM images | |
Sorgi et al. | Normalized cross-correlation for spherical images | |
US8953875B2 (en) | Multiscale modulus filter bank and applications to pattern detection, clustering, classification and registration | |
JP2001175864A (ja) | 画像マッチング装置および画像マッチング方法 | |
Tu et al. | Develop an algorithm for image forensics using feature comparison and sharpness estimation | |
JPH0628476A (ja) | 画像信号の処理装置 | |
Naouai et al. | Line recognition algorithm using constrained delaunay triangulation | |
Mondal et al. | An accelerated approach of template matching for rotation, scale and illumination invariance | |
Hashimoto et al. | High-speed template matching algorithm using contour information | |
Nie et al. | Sea-land segmentation based on template matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080811 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080811 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090811 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090811 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130811 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130811 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |