JP3693147B2 - 画像照合方法、装置及び記録媒体 - Google Patents
画像照合方法、装置及び記録媒体 Download PDFInfo
- Publication number
- JP3693147B2 JP3693147B2 JP19579898A JP19579898A JP3693147B2 JP 3693147 B2 JP3693147 B2 JP 3693147B2 JP 19579898 A JP19579898 A JP 19579898A JP 19579898 A JP19579898 A JP 19579898A JP 3693147 B2 JP3693147 B2 JP 3693147B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- plane
- rotation angle
- reference image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Description
【発明の属する技術分野】
本発明は、参照画像と、該参照画像に対応する画像を回転及び又は拡大縮小した画像をその一部に含む入力画像とを照合して、入力画像の参照画像に対応する部分の拡大率、回転角及び平行移動量を出力する画像照合方法、装置及び記録媒体に関し、特に、参照画像に対応する部分の拡大率、回転角及び平行移動量を、メモリ容量を低減しつつ、迅速かつ精度良く求めることができる画像照合装置、方法及び記録媒体に関する。
【0002】
【従来の技術】
予め登録された参照画像と、イメージスキャナ等から入力された入力画像を照合するためには、画像相互間での相対的な回転角、平行移動量および拡大・縮小率を算出する必要がある。
【0003】
これらを算出するために、一般化ハフ(Hough)変換という手法が広く用いられているが、この一般化ハフ変換には、膨大な処理時間を要するという問題があるため、例えば特開昭62−77689号公報では、一般化ハフ変換回路をハードウエアで実現することにより、ハフ変換処理の高速化を図っている。
【0004】
しかしながら、かかる一般化ハフ変換では、入力画像と参照画像の各エッジ点間の全ての組合せから回転量、平行移動量、拡大縮小率を求めるため、たとえこの従来技術を用いて一般化ハフ変換をハードウエア化したとしても、エッジ数が多い複雑な図形等を照合する場合には、エッジ点間の組合せが増大し、その処理に膨大な時間がかかる。
【0005】
また、この一般化ハフ変換を行うためには、回転、平行移動、拡大縮小率からなる4次元のパラメータ空間のためのメモリが必要となるため、メモリ容量上の問題もある。例えば、平行移動を1画素、回転角を1度、拡大率を0.5から2.0まで0.1の分解能で求めるためには、画像サイズを256画素×256画素としたとき、パラメータ空間用に約300メガバイト(256x256x360x15)のメモリ容量が要求される。
【0006】
このように、一般化ハフ変換を用いて画像の照合を行う場合には、メモリ容量の増大及び処理遅延という問題が生ずるため、このメモリ容量及び処理遅延に係わる問題を低減する従来技術が提案されている。
【0007】
例えば、特開平9−245167号公報には、参照画像及び入力画像に対してエッジ方向検出、ハフ変換及びフーリエ変換を順次行い、フーリエ平面レベルでの位置ずらし量に基づいて回転角を算出するとともに、この回転角により補正したハフ平面レベルで平行移動量を算出するよう構成した画像照合方法及び装置が開示されている。
【0008】
【発明が解決しようとする課題】
しかしながら、この従来技術は、入力画像が、参照画像を平行移動、回転及び又は拡大縮小したものである場合には適用できるが、入力画像自体が、参照画像と異なる画像である場合には精度が低下する。
【0009】
例えば、参照画像が一万円札のすかし部分であり、入力画像が一万円札全体である場合には、入力画像と参照画像とが大きく異なる画像であるために単純に従来技術を適用できない。かかる場合には、すかし部分以外の画情報がすべてノイズ成分となり、これによるS/N比の劣化に伴って、拡大率、回転角及び平行移動量の検出精度が低下するためである。
【0010】
また、画像からの画素の間引き又は画像圧縮を行って画像を低分解能にし、この低分解能の画像から概略の拡大率、回転角及び平行移動量を検出することによって処理の高速化を図る技術もあるが、かかる画素の間引き等を行うと、例えば一画素の連結で形成される線分等の画情報を消失するため、入力画像のうちの参照画像に対応する部分を精度良く検出できなくなる。
【0011】
このように、参照画像と、該参照画像に対応する画像を回転及び又は拡大縮小した画像をその一部に含む入力画像とを照合する場合に、参照画像に対応する部分の拡大率、回転角及び平行移動量を、メモリ容量を低減しつつ、いかに迅速かつ精度良く求めるかが、極めて重要な課題となっている。
【0012】
そこで、本発明では、上記課題を解決し、参照画像と、該参照画像に対応する画像を回転及び又は拡大縮小した画像をその一部に含む入力画像とを照合する場合に、参照画像に対応する部分の拡大率、回転角及び平行移動量を、メモリ容量を低減しつつ、迅速かつ精度良く求めることができる画像照合方法、装置及び記録媒体を提供することを目的とする。
【0013】
【課題を解決するための手段】
上記目的を達成するため、請求項1に記載された発明は、参照画像と、該参照画像に対応する画像を回転及び又は拡大縮小した画像をその一部に含む入力画像とを照合して、前記入力画像の参照画像に対応する部分の拡大率、回転角及び平行移動量を出力する画像照合方法において、前記参照画像の各エッジ点から所定の基準点へのベクトルをエッジ方向ごとに収納したRテーブルを作成し、前記入力画像のエッジ点を前記参照画像のエッジ点とした場合の基準点の位置を前記Rテーブルに基づいて低分解能化したパラメータ空間上に投票して一又は複数の候補領域を求め、該求めた候補領域が複数存在する場合には、各候補領域及び参照画像をハフ変換してθ−ρ平面をそれぞれ生成し、該生成したθ−ρ平面をフーリエ変換してθ−q平面をそれぞれ生成し、該生成したθ−q平面レベルで回転角及び拡大率をそれぞれ算出し、該算出した回転角及び拡大率で補正したθ−ρ平面レベルで平行移動量をそれぞれ算出し、前記候補領域の中で参照画像との照合度の最も大きな候補領域に対応して算出した拡大率、回転角及び平行移動量を出力することを特徴とする。
【0014】
また、請求項2に記載された発明は、参照画像と、該参照画像に対応する画像を回転及び又は拡大縮小した画像をその一部に含む入力画像とを照合して、前記入力画像の参照画像に対応する部分の拡大率、回転角及び平行移動量を出力する画像照合装置において、前記参照画像の各エッジ点から所定の基準点へのベクトルを記憶するRテーブル記憶手段と、前記入力画像のエッジ点を前記参照画像のエッジ点とした場合の基準点の位置を前記Rテーブル記憶手段の記憶内容に基づいて低分解能化したパラメータ空間上に投票する一般化ハフ変換手段と、この低分解能化したパラメータ空間上に投票された投票値が所定レベル以上の候補領域を算定する算定手段と、前記候補領域及び参照画像をハフ変換してθ−ρ平面を生成するθ−ρ平面生成手段と、前記θ−ρ平面生成手段が生成したθ−ρ平面をフーリエ変換してθ−q平面を生成するθ−q平面生成手段と、前記θ−q平面生成手段が生成したθ−q平面レベルで回転角及び拡大率を算出し、算出した回転角及び拡大率で補正したθ−ρ平面レベルで平行移動量を算出する算出手段と、前記候補領域の中で参照画像との照合度の最も大きな候補領域に対応して算出した拡大率、回転角及び平行移動量を出力する出力手段とを具備したことを特徴とする。
【0016】
また、請求項3に記載された発明は、参照画像と、該参照画像に対応する画像を回転及び又は拡大縮小した画像をその一部に含む入力画像とを照合して、前記入力画像の参照画像に対応する部分の拡大率、回転角及び平行移動量を出力する画像照合装置で用いる記録媒体であって、前記参照画像の各エッジ点から所定の基準点へのベクトルをエッジ方向ごとに収納したRテーブルを作成し、前記入力画像のエッジ点を前記参照画像のエッジ点とした場合の基準点の位置を前記Rテーブルに基づいて低分解能化したパラメータ空間上に投票して一又は複数の候補領域を求め、求めた候補領域が複数ある場合には、各候補領域と前記参照画像とをそれぞれ照合して、照合度の最も大きな候補領域の拡大率、回転角及び平行移動量を出力するプログラムを記録することを特徴とする。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【0018】
図1は、本実施の形態で用いる画像照合装置10の構成を示す図である。
【0019】
図1に示すように、この画像照合装置10は、例えば図6(b)に示すような参照濃度画像(以下「テンプレート画像」と言う。)R(x,y)と、該テンプレート画像に対応する画像を回転及び又は拡大縮小した画像をその一部に有する図6(a)に示すような入力濃度画像(以下「入力画像」と言う。)I(x,y)とを照合し、回転角、平行移動量及び拡大縮小率を出力する。
【0020】
具体的には、この画像照合装置が行う処理は、入力画像I(x,y)の中からテンプレート画像R(x,y)に対応する複数の候補領域F(x,y)を抽出する前処理と、この前処理により取得した各候補領域F(x,y)とテンプレート画像R(x,y)とを照合して回転角、平行移動量及び拡大縮小率を取得する照合処理とに区分される。
【0021】
この前処理では、テンプレート画像R(x,y)からエッジ検出したエッジ画像r(x,y)の各エッジ点から所定の基準点へのベクトルを求めてRテーブルを作成する。
【0022】
その後、入力画像I(x,y)からエッジ点を求め、求めたエッジ点と同じエッジ方向を持つRテーブル内のエッジ点の基準点の位置をパラメータ空間P上に順次投票し、投票値が所定のレベル以上になる複数の候補領域を検出する。なお、図6(c)は、(x、y)の分解能が0.25倍のパラメータ空間Pへの投票結果の一例を示している。
【0023】
ただし、パラメータ空間Pを形成する拡大率、回転角及び平行移動量の分解能を大きくすると、その精度は上がるものの、パラメータ空間Pに要するメモリ容量が大きくなり、かつ、膨大な計算時間を要するため、この画像照合装置10では、パラメータ空間を低分解能にして複数の候補領域を抽出するにとどめることとしている。なお、本実施の形態では、あくまでもパラメータ空間を低分解能としているのであり、入力画像自体を低分解能にしているわけではないので、画像の細部の情報を欠落した状態で照合しているわけではない。
【0024】
これに対して、上記照合処理では、前処理によって抽出した各候補領域F(x,y)とテンプレート画像R(x,y)とをそれぞれθ−ρハフ変換及びフーリエ変換し、両画像の照合度をそれぞれ求めて、そのうち最も照合度が大きい場合の拡大率、回転角及び平行移動量を求める。
【0025】
次に、この画像照合装置10の具体的な構成について説明する。
【0026】
図1に示すように、この画像照合装置10は、画像入力部11と、候補領域算定部12と、エッジ検出部13と、一般化ハフ変換処理部14と、Rテーブル記憶部15と、画像照合部16と、移動量特定部17とからなる。
【0027】
なお、この一般化ハフ変換処理部14が本発明に係わる一般化ハフ変換手段に対応し、Rテーブル記憶部15が本発明に係わるRテーブル記憶手段に対応し、候補領域算定部12が本発明に係わる算定手段に対応し、画像照合部16及び移動量特定部17が本発明に係わる照合手段に対応する。
【0028】
画像入力部11は、あらかじめ準備したテンプレート画像R(x,y)と入力画像I(x,y)を光学的に読み取るイメージスキャナ等の入力デバイスであり、入力された各画像を候補領域算定部12に出力する。
【0029】
候補領域算定部12は、エッジ検出部13及び一般化ハフ変換処理部14を用いて入力画像I(x,y)の中からテンプレート画像R(x,y)に対応する複数の候補領域F(x,y)を算定する処理部である。
【0030】
具体的には、この候補領域算定部12では、画像入力部11からテンプレート画像R(x,y)を受け取ったならば、後述するエッジ検出部13を用いてテンプレート画像R(x,y)からエッジ画像Re(x,y)を作成する。そして、このエッジ画像Re(x,y)の各エッジ点から所定の基準点(例えば重心)へのベクトルを求めてRテーブルを作成し、Rテーブル記憶部15に格納する。
【0031】
次に、画像入力部11から入力画像を受け取ったならば、テンプレート画像の場合と同様に、この入力画像I(x,y)からエッジ画像Ie(x,y)を作成する。
【0032】
そして、このエッジ画像の各エッジ点において、Rテーブル内でそのエッジ点と同じ方向のベクトルをパラメータ空間上に順次投票し、投票値が所定レベル以上となる複数の候補領域を検出する。
【0033】
なお、この候補領域算定部12が、パラメータ空間P上での投票値の最大位置から拡大率、回転角及び平行移動量を直接求めるのではなく、複数の候補領域F(x,y)の抽出にその処理を止めた理由は、メモリ容量の低減及び処理の高速化を考慮してパラメータ空間Pを低分解能にしたためである。
【0034】
すなわち、パラメータ空間Pを高分解能をすると、投票値が最大となる位置(u,v,s,θ)を求めることができる反面、パラメータ空間P用の膨大なメモリと膨大な計算時間を要するため、ここではパラメータ空間P上での処理を簡素化し、後述する画像照合部16が行うハフ−フーリエ処理を通じて、拡大率s、回転角θ、平行移動量(u,v)を特定することとした。
【0035】
エッジ検出部13は、濃度画像に対してガウスラプラシアンフィルターを適用して、ガウスラプラシアンフィルターの正負の符号がx軸方向又はy軸方向に変化する点(以下「ゼロクロス点」と言う。)を求めてエッジ点を検出するとともに、かかるゼロクロス点の位置に対してソーベルオペレータを適用することによりノイズの除去を図りつつエッジ強度Em及びエッジ方向Eθを算定し、該エッジ強度Emが所定のしきい値以上であることを条件としてそのエッジ方向Eθをエッジ方向画像に格納する処理部である。
【0036】
具体的には、本発明では、特開平5−151352号公報に開示されるゼロクロス点に基づくエッジ検出方法を用いて、R(x,y)に対応するRe(x,y)I(x,y)に対応するIe(x,y)及びF(x,y)に対応するFe(x,y)を作成する。ただし、Fe(x,y)はIe(x,y)からセグメントすることも可能である。
【0037】
一般化ハフ変換処理部14は、エッジ検出部13が作成したエッジ画像Re(x,y)の各エッジ点から所定の基準点へのベクトルを求めてRテーブルを作成することと入力画像から作成したエッジ画像Ie(x,y)の各エッジ点において、そのエッジ方向と同じエッジ方向のRテーブル内のベクトルをパラメータ空間P上に順次投票する処理部である。なお、作成されたRテーブルは、Rテーブル記憶部15に格納される。
【0038】
具体的には、図2(a)に示すように、エッジ画像Re(x,y)の各エッジ点(x,y)から基準点(xc,yc)へのベクトルr=(r,α)をそれぞれ求め、求めたベクトルrをエッジ方向Φごとにまとめて図2(b)に示すようなRテーブルを作成する。
【0039】
画像照合部16は、候補領域算定部12が算定した入力画像I(x,y)上の各候補領域F(x,y)とテンプレート画像R(x,y)とをハフ−フーリエ変換方式で照合して、候補領域ごとの拡大率、回転角、平行移動量及び照合度を出力する処理部であり、θ−q平面作成部16a、ハフ変換処理部16b、フーリエ変換処理部16c、対数座標変換処理部16d、移動量算出部16e、参照データ記憶部16f及び逆ハフ変換処理部16gを有する。
【0040】
θ−q平面作成部16aは、エッジ検出部13、ハフ変換処理部16b、フーリエ変換処理部16cおよび対数座標変換処理部16dを用いて、入力された画像からエッジ方向画像、θ−ρ平面データ、θ−p平面データおよびθ−q平面データを順次作成し、θ−ρ平面データ及びθ−q平面データを移動量算出部16eに出力する。
【0041】
具体的には、エッジ検出部13がエッジを抽出したエッジ方向画像をハフ変換処理部16bを用いてハフ変換し、このハフ変換により得られるθ−ρ平面データをフーリエ変換処理部16cを用いてフーリエ変換し、θ−p平面データを作成し、さらに対数座標変換処理部16dを用いてp軸をq軸に対数座標変換して、θ−q平面データを作成する。
【0042】
すなわち、このθ−q平面作成部16aでは、入力された画像がテンプレート画像R(x,y)である場合には、該R(x,y)に対応する参照θ−q平面データを作成し、また入力された画像が候補領域F(x,y)である場合には、該F(x,y)に対応する入力θ−q平面データを作成する。
【0043】
例えば、入力された画像がR(x,y)である場合には、まず最初にエッジ検出部13を用いて参照エッジ方向画像Re(x,y)を作成し、次に、このRe(x,y)をハフ変換処理部16bによりハフ変換し、参照θ−ρ平面データh0(θ,ρ)を作成する。さらに、このh0(θ,ρ)をフーリエ変換処理部16cを用いてフーリエ変換し、参照θ−p平面データH0(θ,p)を作成し、さらに、このH0(θ,p)を対数座標変換処理部16dにより対数座標変換して、参照θ−q平面データH0(θ,q)を作成する。
【0044】
h0(θ,ρ)及びH0(θ,q)を受け取った移動量算出部16eは、このh0(θ,ρ)及びH0(θ,q)を参照データとして、参照データ記憶部16fに格納する。
【0045】
ハフ変換処理部16bは、エッジ検出部13が作成したエッジ方向画像をハフ変換してθ−ρ平面データを作成する処理部であり、具体的には、Re(x,y)に対応するh0(θ,ρ)およびIe(x,y)に対応するh1(θ,ρ)を作成する。すなわち、このハフ変換処理部16bは、一般化ハフ変換処理部14と同様にハフ変換を行うこととなるが、そのハフ変換の内容自体については一般化ハフ変換とは異なる。
【0046】
フーリエ変換処理部16cは、ハフ変換処理部16bが作成したθ−ρ平面データをフーリエ変換してθ−p平面データを作成する処理部であり、具体的には、h0(θ,ρ)に対応するH0(θ,p)およびh1(θ,ρ)に対応するH1(θ,p)を作成する。
【0047】
対数座標変換処理部16dは、フーリエ変換処理部16cが作成したθ−p平面のp軸を、対数座標軸q軸に対数座標変換処理する処理部であり、具体的には、H0(θ,p)に対応するH0(θ,q)およびH1(θ,p)に対応するH1(θ,q)を作成する。
【0048】
移動量算出部16eは、θ−q平面作成部16aから入力される入力データh1(θ,ρ)及びH1(θ,q)と参照データ記憶部16fに格納された参照データh0(θ,ρ)及びH0(θ,q)を用いて、候補領域F(x,y)に含まれる図形(検査対象物)の、テンプレート画像R(x,y)に含まれる図形(基準となる形状パターン)に対する回転角、平行移動量および拡大・縮小率を算出しこれを出力する処理部である。
【0049】
具体的には、この移動量算出部16eは、ハフ変換を行ったθ−ρ平面をさらにフーリエ変換したθ−q平面レベルで回転角および拡大・縮小率を算出するとともに、これら回転角および拡大・縮小率により補正されたθ−ρ平面レベルで平行移動量を算出する。
【0050】
このようにθ−ρ平面をさらにフーリエ変換し、補正したθ−ρ平面で平行移動量を算出した理由は、まず、平行移動の影響を除去した上で回転角および拡大・縮小率を迅速に求め、その後これら回転角、拡大・縮小率の影響を除去した上で平行移動量を迅速に求めるためである。
【0051】
また、この移動量算出部16eが、参照データすなわちh0(θ,ρ)及びH0(θ,q)をθ−q平面作成部16aから受け取った場合には、かかる参照データを参照データ記憶部16fに記憶する処理を行う。このため、その細部の説明は省略するが、θ−q平面作成部16aが移動量算出部16eに対して参照データを出力する際には、出力するデータが参照データであることを示す識別フラグ等を当該参照データに付与するようにしている。
【0052】
参照データ記憶部16fは、テンプレート画像R(x,y)に対応するθ−ρ平面データh0(θ,ρ)及びθ−q平面データH0(θ,q)を参照データとして記憶する記憶部であり、かかる参照データは移動量算出部16eによりアクセスされる。
【0053】
逆ハフ変換処理部16gは、移動量算出部16eが平行移動量を算出する際に使用する処理部であり、具体的には、この移動量算出部16eが参照θ−ρ平面と入力θ−ρ平面との間で算出した相関係数を記憶したρ相互相関画像Cρ(θ,ρ)について逆ハフ変換を実行する。
【0054】
移動量特定部17は、画像照合部16から受け取った照合結果に基づいて、複数の候補領域のうちテンプレート画像と最も照合度の高い候補領域を特定し、該特定した候補領域についての回転角、平行移動量及び拡大縮小率を出力する処理部である。
【0055】
このように、この画像照合装置10では、候補領域算定部12がエッジ検出部13及び一般化ハフ変換処理部14を用いてテンプレート画像R(x,y)からRテーブルを作成し、その後入力画像I(x,y)及びRテーブルに基づくパラメータ空間P上への投票を行い投票値が所定レベル以上の位置を求めることによって、入力画像上でのテンプレート画像のサイズと拡大率を考慮した複数の候補領域を求め、求めた複数の候補領域についてハフ−フーリエ方式による画像照合を行うこととしている。
【0056】
以上、図1に示す画像照合装置10の構成について説明した。
【0057】
次に、図1に示す画像照合装置10の処理手順について説明する。
【0058】
図3は、図1に示す画像照合装置10の処理手順を示すフローチャートである。
【0059】
同図に示すように、この画像照合装置10は、入力画像及びテンプレート画像からそれぞれエッジを検出してエッジ画像を作成した後に(ステップ301)、テンプレート画像のエッジ画像からRテーブルを作成し、このRテーブルと入力画像のエッジ画像からパラメータ空間P上に投票を行って複数(N個)の候補領域を検出する(ステップ302)。
【0060】
その後、候補領域の変数iを0に初期化し(ステップ303)、第i番目の候補領域のセグメントを取得し(ステップ304)、この候補領域についてのハフ−フーリエ方式を用いた拡大率・回転角・平行移動量及び照合度を計算する(ステップ305)。
【0061】
そして、この計算が終了したならば、変数iをインクリメントして該変数iをNと比較し(ステップ306〜307)、変数iがNよりも小さい場合すなわち他の候補領域が存在する場合には、ステップ304に移行して同様の処理を行う。
【0062】
これに対して、変数iがN以上となった場合すなわち全ての候補領域についての照合処理を終了したならば、N個の候補領域の中で最大の照合度を持つ候補領域の拡大率、回転角及び平行移動量を出力する(ステップ308)。
【0063】
上記一連の処理を行うことにより、テンプレート画像をその一部に含む入力画像とテンプレート画像とを照合する場合に、パラメータ空間のメモリ容量を低減しつつ、迅速かつ効率的に拡大率、回転角及び平行移動量を算出することができる。
【0064】
次に、図3のステップ302に示す候補領域の算定処理についてさらに具体的に説明する。
【0065】
図4は、図3に示す候補領域の算定処理手順を示すフローチャートである。
【0066】
同図に示すように、この候補領域算定部12は、一般化ハフ変換処理部14がエッジ画像Re(x,y)からRテーブルを作成したならば、入力画像のエッジ画像Ie(x,y)上のエッジ点を順次取得し(ステップ401)、このエッジ点がRテーブル内の点(r,α)と対応すると仮定した場合に、可能性のある拡大率s、回転角θ及び平行移動量(u,v)の全ての組合せを求め、求めた組合せをパラメータ空間P(u,v,s,θ)上に順次投票する。
【0067】
具体的には、まず拡大率sをsmin とし(ステップ402)、回転角θをФn−θeとし(ステップ403)、エッジ方向ΦをФn-1 とし(ステップ404)、エッジ方向の変数mを’0’とする(ステップ405)。
【0068】
そして、この場合の平行移動量(u,v)を、
u=X+r×s×cos(α+θ)
v=Y+r×s×sin(α+θ)
の算定式から求め、求めたパラメータ空間P上の位置P(s,θ,u,v)の投票値をインクリメントする(ステップ406)。
【0069】
そして、変数mが定数M未満である間は、該変数mをインクリメントしてステップ406に移行し、パラメータ空間P上の投票を繰り返し(ステップ407)、変数mが定数M以上になると、エッジ方向ФがФn+1以上となるまでエッジ方向Фを順次インクリメントしてステップ405に移行する(ステップ408)。
【0070】
そして、エッジ方向ФがФn+1以上になると、回転角θがФn+θe以上となるまで順次回転角θをΔθだけインクリメントしてステップ404に移行し(ステップ409)、回転角θがФn+θe以上になると、拡大率sがsmax 以上となるまで順次拡大率sをΔsだけインクリメントしてステップ403に移行する(ステップ410)。
【0071】
そして、拡大率sがsmax 以上になると、エッジ点の変数nが定数N以上であるか否かを調べ、該変数nが定数N以上でなければステップ402に移行する(ステップ411)。
【0072】
かかる処理を行うことにより、パラメータ空間P上の各位置の投票値の集計結果が得られるため、このパラメータ空間P上の投票結果に基づいて複数の候補領域を抽出する(ステップ412)。
【0073】
このように、この候補領域算定部12では、拡大率sをsminからsmaxまでΔs刻みで変位させるとともに、回転角θをФn−θeからФn+θeまでΔθ刻みで変位させ、この場合の各平行移動量(u,v)を算出してパラメータ空間P上に投票する処理を繰り返すことにより、複数の候補領域を求めている。なお、θeは実験から求めたエッジ方向の検出誤差である。
【0074】
ところで、このΔs及びΔθの分解能が高ければ、パラメータ空間P内の最大値の位置の検出によって直接拡大率、回転角及び平行移動量が求まるわけであるが、高分解能にするためには膨大なメモリ容量と計算時間が必要となる。
【0075】
例えば、入力画像のサイズを512×512画素とし、sの分解能を0.5から2.0まで0.1刻み、θの分解能を1度、(u,v)の分解能を(2,2)画素とすると、パラメータ空間Pに必要なメモリ容量は、約300メガバイト(256×256×360×15)以上となる。
【0076】
このため、本実施の形態では、sの分解能を0.5から2.0まで0.1刻み、θの分解能を4度、(u,v)の分解能を(4,4)画素とすることにより、パラメータ空間Pに必要なメモリ容量を数十メガバイトに抑制するとともに、パラメータ空間P上への投票に要する時間を短縮している。
【0077】
また、かかるパラメータ空間Pの低分解能化を行うと、パラメータ空間P上での回転角θから見た投票結果に良好な結果をもたらすことになる。
【0078】
例えば、図5(a)に示す画像をテンプレートとして一般化ハフ変換する場合には、例えば図中に示すエッジ点P及びQから基準点へのベクトルを求めてRテーブルを作成するため、当然ながらエッジ点P及びQから張るベクトルの終点はともに基準点となる。
【0079】
これに対して、このテンプレート画像を10度回転した図5(b)に示す入力画像を用いてパラメータ空間P上に投票を行う場合に、たとえ入力画像のエッジ点P’及びQ’がテンプレート画像のエッジ点P及びQにそれぞれ対応し、各エッジ方向が同じ場合であっても、パラメータ空間Pが高分解能(分解能1)であれば、エッジ点P’からのベクトルの終点とエッジ点Q’からのベクトルの終点が一点に集約しない。エッジ検出部13が検出するエッジ方向は、3×3画素の微分オペレータで処理したものであり、誤差を含むからである。
【0080】
このため、パラメータ空間P上の投票位置を正確に求めるためには、例えばエッジ点P’及びQ’からのエッジ方向の誤差を考慮した複数のベクトルを考え、両エッジ点からのベクトルが一致する一致点を求めざるを得ないが、かかる一致点をその都度求めていたのでは、膨大な処理時間を要する。
【0081】
ところが、図5(c)に示すように、パラメータ空間Pを低分解能(分解能2)にすると、エッジ点P’からのベクトルの終点とエッジ点Q’からのベクトルの終点が一点に集約する。
【0082】
このように、パラメータ空間P上を低分解能にすると、Δθを大きくすることができるので、パラメータ空間を小さくし、かつ、処理速度を高速化できるのである。
【0083】
以上、図1に示す画像照合装置10の全体処理及び候補領域を算定するまでの処理について説明した。
【0084】
次に、図1に示す画像照合部16の処理手順について説明する。ただし、ここでは、参照データは既に参照データ記憶部16fに設定済みであるものとする。
【0085】
図7は、図1に示す画像照合部16の処理手順を示すフローチャートである。
【0086】
同図に示すように、この画像照合部16は、候補領域F(x,y)が入力されると、θ−q平面作成部16aがエッジ検出部13を用いてF(x,y)からエッジ方向画像Fe(x,y)を作成する(ステップ701)。
【0087】
そして、θ−q平面作成部16aは、ハフ変換処理部16bを用いてFe(x,y)をハフ変換してθ−ρ平面データh1(θ,ρ)を作成した後(ステップ702)、フーリエ変換部16cを用いてh1(θ,ρ)をさらにフーリエ変換しθ−p平面データH1(θ,p)を作成する(ステップ703)。
【0088】
さらに、θ−q平面作成部16aは、対数座標変換処理部16dを用いてθ−p平面(θ,p)のp軸を、q軸という対数座標軸に対数座標変換して、θ−q平面データH1(θ,q)を作成する(ステップ704)。
【0089】
そして、移動量算出部16eは、予め作成し参照データ記憶部16fに予め記憶しておいた同様な対数座標変換後の参照データH0(θ,q)を当該参照データ記憶部16fから読み出す(ステップ705)。
【0090】
ついで、ステップ704で作成されたフーリエ対数座標変換画像H1(θ,q)と、ステップ705で参照データ記憶部16fから読み出されたフーリエ対数座標変換画像H0(θ,q)とを用いて、これらの2次元相関係数Cr(θ,q)を計算する(ステップ706)。
【0091】
そして、この2次元相関係数Cr(θ,q)が最大となるθ、qの位置より回転角ψ、拡大・縮小率sを求める(ステップ707)。
【0092】
次に、この移動量算出部16eは、これら回転角ψおよび拡大・縮小率sに基づいて参照θ−ρ平面に対する入力θ−ρ平面のθ軸方向のシフト量およびρ軸方向の拡大・縮小率を補正し、この補正した参照θ−ρ平面データh0(θ,ρ)と入力θ−ρ平面データh1(θ,ρ)の各θについてρ軸方向にシフトしながら正規化相関係数を計算し、その相関係数の最大値の位置を検出して、相関係数を記憶したρ相互相関画像Cρ(θ,ρ)を作成する(ステップ708)。
【0093】
そして、移動量算出部16eは、逆ハフ変換処理部16gを用いてρ相互相関画像Cρ(θ,ρ)を逆ハフ変換して逆ハフ変換画像Inv(x,y)を作成し、その最大値の位置を求めて平行移動量(xΔ,yΔ)を算出する(ステップ709)。Inv(x,y)の最大値を、この候補領域の照合度とする。
【0094】
上記一連の処理を行うことにより、θ−q平面レベルで回転角ψおよび拡大・縮小率sを求めるとともに、該回転角ψおよび拡大・縮小率sに基づいてθ−ρ平面レベルで平行移動量(xΔ,yΔ)を求めることが可能となる。なお、上記処理手順においては、Re(x,y)、h0(θ,ρ)、H0(θ,p)、H0(θ,q)の作成手順についての説明を省略したが、これらについても、F(x,y)の場合と同様にステップ701〜704を実行することにより作成することができる。
【0095】
次に、図7のステップ701に示すエッジ方向画像の作成手順について具体的に説明する。
【0096】
図8は、図2のステップ701のエッジ方向画像の作成手順を示すフローチャートである。
【0097】
図8に示すように、エッジ検出部13では、まず最初にゼロクロス点を求めるために、候補領域F(x,y)に対して次式に示すガウスラプラシアンフィルターを適用し、ラプラシアン画像Fg(x,y)を作成する(ステップ801)。
【0098】
そして、Fg(x,y)の注目画素が負で、かつ、その4近傍の画素のうち少なくとも1つの画素の画素値が正であるか否かを確認し(ステップ802)、かかる条件が成立する場合には、F(x,y)に対してソーベル(Sobel )の微分オペレータを適用してエッジ強度Emを算出する(ステップ803)。
【0099】
そして、このエッジ強度Emが所定のしきい値以上であれば、エッジ方向Eθを計算してエッジ方向画像Fe(x,y)に格納し、しきい値未満の場合には、次画素の処理に移行する(ステップ305)。
【0100】
このように、上記ゼロクロス点は、σの値を小さくして画像の詳細なエッジを検出しようとするとノイズのエッジ点に対応するものが多くなるという性質を有するため、かかるノイズのゼロクロス点の位置に対してソーベルオペレータを適用することにより、ノイズのゼロクロス点の除去を図っている。
【0101】
そして、注目画素を移行させながらかかるステップ802〜805の処理を繰り返し(ステップ806)、全ての画素に対する処理を終了したならば、このエッジ方向画像処理を終了する。
【0102】
このように、このエッジ検出部13は、特開平5−151352号公報に開示されたエッジ検出方法と同様の手法を用いてエッジ方向画像Fe(x,y)を作成している。
【0103】
なお、上記ソーベルの微分オペレータは、図9に示すように、x方向のマスクオペレータ90とy方向のマスクオペレータ91から構成され、x方向のマスクオペレータ90からの出力をMx、y方向のマスクオペレータ91からの出力をMyとすると、エッジ強度Em及びエッジ方向Eθは次式により算出される。
【0104】
また、ここでは、ソーベルの微分オペレータを用いた場合について説明したが、ロバーツ(Robert)やロビンソン(Robinson)等の各種微分オペレータを適用することも可能である。
【0105】
次に、図7のステップ702に示すθ−ρ平面データの作成手順について具体的に説明する。
【0106】
図10は、図7のステップ702のθ−ρ平面データの作成手順を示すフローチャートである。
【0107】
図10に示すように、ハフ変換処理部16bは、エッジ方向画像Fe(x,y)が入力されると(ステップ1001)、このFe(x,y)がエッジ点であるか否かを確認し(ステップ1002)、エッジ点である場合には、角度変数θを
θ=Eθ−Δθ
に設定する(ステップ1003)。なお、このΔθは、実験を踏まえて妥当な値が設定される。
【0108】
次に、
を算出するとともに、その算出値に対応するh1(θ,ρ)に+1加算(投票)する(ステップ1004)。
【0109】
そして、角度変数θをインクリメントし(ステップ1005)、該角度変数θがEθ−ΔθからEθ+Δθの範囲内である限り、上記ステップ1004及び1005の処理を繰り返す(ステップ1006)。
【0110】
そして、かかる処理をエッジ方向画像Fe(x,y)の全画素について繰り返し(ステップ1007)、全画素の処理を終えた時点で、このθ−ρハフ変換処理を終了する。
【0111】
すなわち、Fe(x,y)がエッジ点である場合には、角度変数θをEθ−ΔθからEθ+Δθまで変位させつつρを算出し、そのθ及びρの組み合わせに対応するh1(θ,ρ)に+1加算していくことにより、h1(θ,ρ)を作成している。
【0112】
なお、ここでは候補領域F(x,y)に対応するh1(θ,ρ)を作成する場合について説明したが、テンプレート画像R(x,y)に対応するh0(θ,ρ)についても同様に作成することができる。
【0113】
次に、図7のステップ703に示すフーリエ変換処理、つまりθ−p平面データの作成手順について具体的に説明する。
【0114】
ここで、候補領域F(x,y)は、テンプレート画像R(x,y)に対して、拡大・縮小率sで拡大、縮小され、さらに回転角ψをもって回転され、さらに平行移動量(xΔ,yΔ)だけ平行移動されている。
【0115】
こうした(x,y)空間上での拡大・縮小、回転、平行移動は、(θ,ρ)空間上では下式に示される変換で表される。
【0116】
ただし、
である。
【0117】
そこで、(θ,ρ)空間から、こうした平行移動の影響を除去するために、候補領域F(x,y)に対応するh1(θ,ρ)およびテンプレート画像R(x,y)に対応するh0(θ,ρ)それぞれについて、ρ軸方向の1次元のフーリエ変換を行い、その後周波数pがp≧0の領域のパワースペクトル密度を計算してフーリエ変換画像H1(θ,p)、H0(θ,p)を求めるようにしている。
【0118】
すなわち、図11は、かかるθ−p平面データの作成手順を示すフローチャートであり、同図に示すように、フーリエ変換処理部16cは、まず、ハフ変換処理部16bが作成した入力θ−ρ平面データh1(θ,ρ)を入力する(ステップ1101)。ついで、角度変数θをゼロに初期設定した後(ステップ1102)、FFTすなわち高速フーリエ変換によりh1(θ,ρ)においてρ軸方向の1次元フーリエ変換を行い、そのパワーをH1(θ,p)に格納する。つまり周波数pがp≧0の領域のパワースペクトル密度を計算してフーリエ変換画像H1(θ,p)を下記(8)式のごとく求める。
【0119】
(ステップ1103)。
【0120】
そして、角度変数θをインクリメントした後に(ステップ1104)、該θがθmax未満であるか否かを確認し(ステップ1105)、θmax未満である場合にはステップ1103及び1104の処理を繰り返し、やがてθmax 以上となった時点で処理を終了する。
【0121】
なお、ここでは候補領域F(x,y)に対応するH1(θ,p)を作成する場合について説明したが、テンプレート画像R(x,y)に対応するH0(θ,p)についても上記(7)式のごとく同様に作成することができる。
【0122】
上記(4)、(7)、(8)式よりH0(θ,p)とH1(θ,p)との関係は下記(9)式のように表され、(4)式との比較から平行移動の影響が除去されているのがわかる。
【0123】
次に、図7のステップ704に示す対数座標変換処理の手順について具体的に説明する。
【0124】
ここで、対数座標変換処理をする理由は、以下のとおりである。
【0125】
すなわち、拡大・縮小率sをもって候補領域F(x,y)がテンプレート画像R(x,y)に対して拡大、縮小している場合には、入力フーリエ変換画像H1(θ,p)は参照フーリエ変換画像H0(θ,p)に対してp軸方向に縮小、拡大したものになっている(例えば、候補領域F(x,y)がテンプレート画像R(x,y)に対して拡大しているときは、p軸方向に縮む関係となる)。
【0126】
このまま、拡大・縮小率sを求めたのでは、演算処理が煩雑なものとなり、処理に時間を要することとなる。
【0127】
そこで、周波数p軸を、周波数の対数座標軸q軸に対数座標変換することにより、p軸方向に画像が伸縮している関係を、q軸方向に画像が平行移動している関係に変換する。つまり、参照θ−q平面に対して入力θ−q平面を、q軸方向に拡大・縮小率sに応じた量だけシフト(平行移動)させるようにする。
【0128】
このようにq軸方向に平行移動している関係にすることによって拡大・縮小率sを求める演算処理が簡易なものとなり、処理時間が短縮されることとなる。
【0129】
図12は、こうした対数座標変換処理の手順を示すフローチャートであり、同図に示すように、対数座標変換処理部16dは、まずθをゼロに初期設定するとともに(ステップ1201)、qをゼロに初期設定する(ステップ1202)。
【0130】
ついで、qに対応するpを下記(25)式、
p=c・exp(q) (25)
(ただし、cは定数)
から求める。つまり、対数座標軸q上の座標位置に対応するp軸上の座標位置を求める(ステップ1203)。
【0131】
こうしてpとqの対応関係が判明したならば、下記(26)式に示すように、フーリエ変換画像H1(θ,p)を、対応するフーリエ対数座標変換画像H1(θ,q)に変換する(ステップ1204)。
【0132】
H1(θ,q)=H1(θ,p) (26)
つぎに、対数座標変換のサンプリング誤差の影響を軽減するために、q軸方向にハニング窓を掛ける処理を行う。
【0133】
つまり、下記(27)式に示すように、ステップ1204で取得されたH1(θ,q)にハニング窓関数W(q)を乗算したものを、新たなH1(θ,q)とする。
【0134】
W(q)=0.5(1+cos(πq/qmax))
H1(θ,q)=W(q)・H1(θ,q) (27)
ただし、qmaxはqの最大値である(ステップ1205)。
【0135】
ついで、qをインクリメントし(ステップ1206)、qが最大値qmax未満であれば(ステップ1207の判断YES)、更新したqに対して同様な処理(ステップ1203〜ステップ1206)を繰り返すが、やがてqが最大値qmaxに達すると(ステップ1207の判断NO)、つぎのステップ1208に移行される。
【0136】
今度は、θがインクリメントされ、θが最大値θmax未満であれば(ステップ1208の判断YES)、更新したθに対してqを再度ゼロにした上で同様な処理(ステップ1202〜ステップ1207)を繰り返すが、やがてθが最大値θmaxに達すると(ステップ1208の判断NO)、この対数座標変換処理を終了させる。
【0137】
なお、ここでは候補領域F(x,y)に対応するH1(θ,q)を作成する場合について説明したが、テンプレート画像R(x,y)に対応するH0(θ,q)についても同様に作成することができる。
【0138】
こうした取得されたH1(θ,q)とH0(θ,q)の関係は、下記(10)式のように表される。
【0139】
ただし、
である。
【0140】
このように候補領域F(x,y)に対応するH1(θ,q)は、テンプレート画像R(x,y)に対応するH0(θ,q)を、q軸方向に−λ、θ軸方向にψだけシフトしたものとして表すことができる。
【0141】
よって、このq軸方向のシフト量−λを算出することができれば、拡大・縮小率sを上記(12)式の関係より求めることができ、θ軸方向のシフト量ψを算出することができれば、回転角ψを求めることができる。
【0142】
そこで、こうしたq軸方向のシフト量−λ、θ軸方向のシフト量ψを求めるべく、移動量算出部16eは、まず、参照データ記憶部16fに予め記憶しておいた対数座標変換後の参照データH0(θ,q)を当該参照データ記憶部16fから読み出し(ステップ705)、この読み出されたフーリエ対数座標変換画像H0(θ,q)とステップ704で作成されたフーリエ対数座標変換画像H1(θ,q)とを用いて、これらの2次元相関係数Cr(θ,q)を計算する(ステップ706)。その後、この2次元相関係数Cr(θ,q)が最大となるθ、qの位置より回転角ψ、拡大・縮小率sを求める(ステップ707)。
【0143】
図13は、こうした2次元相関係数Cr(θ,q)の演算処理および回転角ψ、拡大・縮小率sの算出処理の手順を示すフローチャートであり、同図に示すように、まずH1(θ,q)を2次元フーリエ変換してF1(u,v)を求める(ステップ1301)。ついで、このF1(u,v)の各成分のパワーを1.0に正規化してF1φ(u,v)を求める(ステップ1302)。テンプレート画像R(x,y)に対応するH0(θ,q)についても同様の処理が実行され、この結果作成されたF0φ(u,v)が記憶部に予め記憶されている。そこで、このF0φ(u,v)が読み出される(ステップ1303)。
【0144】
かかる一連の処理について更に詳しく説明すると、まず、H0(θ,q)、H1(θ,q)それぞれが2次元フーリエ変換されて下記(13)、(14)式に示すようにF0(u,v)、F1(u,v)が求められる。
【0145】
ここで、上記(10)式とこれら(13)、(14)式とを用いて、F0(u,v)とF1(u,v)との関係式(15)を得る。
【0146】
そこで、F0(u,v)をパワーと位相に分けると、下記(16)式のように表され、F1(u,v)については上記(15)式より下記(17)式のように表される。
【0147】
この結果、F0(u,v)、F1(u,v)の位相成分はそれぞれ下記(18)、(19)式のように表される。
【0148】
そこで、こうした取得されたF0φ(u,v)、F1φ(u,v)を用いてF1φ(u,v)と、F0φ(u,v)*の積を下記(20)、(21)、(22)式に示すように逆フーリエ変換してH0(θ,q)とH1(θ,q)の相関値(2次元相関係数)Cr(θ,q)を求める。
【0149】
ただし、F0φ(u,v)*は、F0φ(u,v)の複素共役である(ステップ804)。
【0150】
このようにして求められた相関値Cr(θ,q)はデルタ関数になっているのがわかる(上記(22)式参照)。そして、このデルタ関数Cr(θ,q)は、θ=ψ、q=−λの座標位置で最大値をとる。そこで、Cr(θ,q)平面から最大値をとる座標位置θ=ψ、q=−λを検出し(ステップ1305)、この検出位置(ψ、−λ)に基づき、回転角ψを求めるとともに、拡大・縮小率sを、上記(12)式に基づく変換式、
s=k・exp(−λ) (28)
(kは定数)
により求めるようにする(ステップ1306)。
【0151】
以上、この図13では、H0(θ,q)に対するH1(θ,q)の、θ軸方向のシフト量、q軸方向のシフト量を求めるために、2次元フーリエ変換の位相を利用したフーリエ位相変換法を用いるようにしたが、通常のマッチトフィルタや2次元相関によって求める実施も可能である。
【0152】
次に、図7のステップ708に示すρ相互相関画像Cρ(θ,ρ)の作成手順について具体的に説明する。
【0153】
図14は、図7のステップ708のρ相互相関画像Cρ(θ,ρ)の作成手順を示すフローチャートである。
【0154】
同図に示すように、移動量算出部16eは、図13に示す処理により回転角ψ、拡大・縮小率sを求めたならば、入力θ−ρ平面データh1(θ,ρ)及び参照θ−ρ平面データh0(θ,ρ)を入力して、求めた回転角ψおよび拡大・縮小率sを用いて参照θ−ρ平面に対する入力θ−ρ平面のθ軸方向のシフト量およびρ軸方向の拡大・縮小率を補正する(ステップ1401)。
【0155】
ついで、角度変数θをゼロに初期設定し(ステップ1402)、ずらし量Δρに−ρmax ×2を代入する(ステップ1403)。
【0156】
そして、回転角ψ、拡大・縮小率sによって補正したh0(θ,ρ)とh1(θ,ρ)の正規化相互相関係数を計算してρ相互相関画像C(θ,Δρ)に記憶し(ステップ1404)、Δρをインクリメントする(ステップ1405)。
【0157】
その後、このΔρがρmax ×2未満であるか否かを確認し(ステップ1406)、ρmax ×2未満である場合には、ステップ1404に移行して上記ステップ1404及び1405の処理を繰り返す。
【0158】
これに対して、Δρがρmax ×2以上となった場合には、角度変数θをインクリメントした後に(ステップ1407)、該角度変数θがθmax 未満である場合にはステップ1403に移行する(ステップ1408)。
【0159】
すなわち、この移動量算出部16eでは、h0(θ,ρ)とh1(θ,ρ)の各θについて、ρ軸方向にずらしながら1次元の正規化相互相関係数を計算し、ρ相互相関画像Cρ(θ,ρ)を作成している。
【0160】
ずらし量がΔρである場合の1次元の正規化相互相関係数は、次式により算出される。
【0161】
次に、図7のステップ709に示す逆ハフ変換画像Inv(x,y)の作成手順について説明する。
【0162】
図15は、図7のステップ709の逆ハフ変換画像Inv(x,y)の作成手順を示すフローチャートである。
【0163】
同図に示すように、移動量算出部16eは、ρ相互相関画像Cρ(θ,ρ)を作成したならば(ステップ1501)、角度変数θをゼロに初期設定した後に(ステップ1502)、ρに−ρmax を設定する(ステップ1503)。
【0164】
そして、このCρ(θ,ρ)が該Cρ(θ,ρ)の最大値であるCmax よりも大きいか否かを判断し(ステップ1504)、Cmax よりも大きな場合には、このCρ(θ,ρ)をCmax に代入してCmax を更新するとともに、この時のρをρkに代入する(ステップ1505)。したがって、このρkには、Cmax が最大である場合におけるρの値が格納される。
【0165】
次に、このρをインクリメントし(ステップ1506)、ρがρmax 未満であるか否かを確認し(ステップ1507)、ρmax 未満である場合には、ステップ1504〜1506の処理を繰り返す。
【0166】
これに対して、ρがρmax 以上となった場合には、Cρ(θ,ρk)を逆ハフ変換する。つまり、逆ハフ変換処理部16gでは、Cρ(θ,ρ)上の点(θ,ρk)を、
の式で示す直線に変換する処理が実行される。
【0167】
そして、この逆ハフ変換後のInv(x,y)平面上の直線
y=−(1/tanθ)x+ρk/sinθ
上にCρ(θ,ρk)の値を加算する(ステップ1508)。
【0168】
そして、角度変数θをインクリメントした後に(ステップ1509)、該θがθmax 未満であるか否かを確認し(ステップ1510)、θmax 未満である場合にはステップ1503に移行する。
【0169】
すなわち、この移動量算出部16eでは、Cρ(θ,ρ)から各θで最大値をとる位置(θ,ρk)を検出し、その位置で逆ハフ変換を行って逆ハフ変換画像Inv(x,y)を作成している。
【0170】
そして、この逆ハフ変換画像Inv(x,y)の最大値の位置(Xmax ,Ymax )が平行移動量(xΔ,yΔ)となる。また、Inv(x,y)の最大値をこの候補領域の照合度とする。
【0171】
次に、図1に示す画像照合部16を適用した場合の処理結果について説明する。
【0172】
図16は、図1に示す画像照合部16を文字の照合に適用した場合にディスプレイ上に表示される中間調画像を示す写真である。
【0173】
ここで、図16(a)は、文字(「万」)のテンプレート画像R(x,y)であり、このテンプレート画像R(x,y)からエッジ方向を抽出した参照エッジ方向画像Re(x,y)は、図16(b)に示すようになる。
【0174】
そして、このRe(x,y)に対してハフ変換を施すと、図16(e)に示すような帯状の模様を持つ参照θ−ρ平面データh0(θ,ρ)となり、さらにこのh0(θ,ρ)をフーリエ変換すると、図16(g)に示すような参照θ−p平面データH0(θ,p)が得られる。さらにこのH0(θ,p)のp軸をq軸に対数座標変換すると、図16(i)に示すような参照θ−q平面データH0(θ,q)が得られる。
【0175】
一方、図16(c)は、文字(「万」)の候補領域F(x,y)である。
【0176】
この候補領域F(x,y)からエッジ方向を抽出した入力エッジ方向画像Fe(x,y)は、図16(d)に示すようになる。
【0177】
そして、このFe(x,y)に対してハフ変換を施すと、図16(f)に示すような入力θ−ρ平面データh1(θ,ρ)となり、さらにこのh1(θ,ρ)をフーリエ変換すると、図16(h)に示すような入力θ−p平面データH1(θ,p)が得られる。さらにこのH1(θ,p)のp軸をq軸に対数座標変換すると、図16(j)に示すような入力θ−q平面データH1(θ,q)が得られる。
【0178】
ここで、このh1(θ,ρ)がh0(θ,ρ)に比して帯のうねりが見られる理由は、文字の姿勢角と位置が異なるためである。
【0179】
また、候補領域F(x,y)がテンプレート画像R(x,y)に対して拡大しているために、入力フーリエ変換画像H1(θ,p)は参照フーリエ変換画像H0(θ,p)に対してp軸方向に縮んでいるのがわかる。
【0180】
また、こうしたp軸方向に画像が縮んでいる関係は、対数座標変換されたH1(θ,q)、H0(θ,q)をみると、q軸方向に画像が平行移動している関係に変換されているのがわかる。つまり、画像H0(θ,q)を下方にシフトさせたものが画像H1(θ,q)であることがわかる。
【0181】
さて、図16(k)は、相関値Cr(θ,q)平面であり、この相関値Cr(θ,q)平面は、他の点とは明らかに区別できる最大輝度の座標位置を有していることがわかる(最大輝度をとる座標位置が、θ=ψ、q=−λである)。
【0182】
また、図16(l)は、h1(θ,ρ)とh0(θ,ρ)の各θについて、ρ軸方向にずらしながら計算したρ相互相関画像Cρ(θ,ρ)を示す図であり、図16(m)は、Cρ(θ,ρ)から各θで最大値を持つ位置(θ,ρk)を検出し、その位置で逆ハフ変換を行った逆ハフ変換画像Inv(x,y)である。また、、Inv(x,y)の最大値を照合度とする。
【0183】
以上、図1に示す画像照合部16が行う処理について説明した。これらの処理を複数の候補領域について行ない、その中で最も高い照合度をもつ時の拡大率、回転角、平行移動量を求める。もし、候補領域が1つしか得られなかった場合には1回の処理で拡大率、回転角、平行移動量が求まる。
【0184】
上述してきたように、本実施の形態では、テンプレート画像から求めたエッジ画像の各エッジ点から所定の基準点へのベクトルを求めてRテーブルを作成し、その後入力画像のエッジ画像のエッジ点において、そのエッジ点を同じエッジ方向を持つRテーブル内のベクトルをパラメータ空間P上に順次投票し、投票値が所定のレベル以上の位置で、テンプレートのサイズと拡大率とを考慮して候補領域を検出する。
【0185】
ここで、本実施の形態では、パラメータ空間を低分解能にして複数の候補領域を抽出するにとどめ、その後に行うハフ−フーリエ変換によって最も照合度の大きな候補領域の拡大率、回転角及び平行移動量を求めるよう構成したので、参照画像と、該参照画像に対応する候補領域その一部に含む入力画像とを照合する場合に、候補領域の拡大率、回転角及び平行移動量を、メモリ容量を低減しつつ、迅速かつ精度良く求めることができる
なお、本実施の形態では、図5に示すような一万円札の一部の文字を照合する場合だけでなく、図17(a)に示す約束手形全体を入力画像とし、図17(b)に示す捺印画像をテンプレート画像とする場合にも適用することができる。なお、かかる場合には、図17(c)に示すようなパラメータ空間上での投票が行われる。この時の(x、y)のパラメータ空間の分解能は0.25である。
【0186】
【発明の効果】
以上詳細に説明したように、本発明によれば、参照画像のエッジ点から所定の基準点へのベクトルをエッジ方向ごとに収納したRテーブルを作成し、入力画像のエッジ点を参照画像のエッジ点とした場合の基準点の位置をRテーブルに基づいて低分解能化したパラメータ空間上に投票して一又は複数の候補領域を求め、求めた候補領域が複数存在する場合には、各候補領域と参照画像とをそれぞれ高精度に照合して、照合度の最も大きな候補領域の拡大率、回転角及び平行移動量を出力するよう構成したので、下記に示す効果が得られる。
【0187】
1)参照画像に対応する部分の拡大率、回転角及び平行移動量を、メモリ容量を低減しつつ、迅速に求めることができる。
【0188】
2)入力画像を参照画像と事前に対応させる必要がなくなるので、照合効率を高めることができる。
【0189】
3)パラメータ空間を低分解能化するものの、画情報自体の欠落を招くわけではないので、拡大率、回転角及び平行移動量を精度良く求めることができる。
【図面の簡単な説明】
【図1】本実施の形態で用いる画像照合装置の構成を示す図である。
【図2】図1に示す一般化ハフ変換処理部が行う一般化ハフ変換の概念及びRテーブルの一例を示す図である。
【図3】図1に示す画像照合装置の処理手順を示すフローチャートである。
【図4】図3に示す候補領域の算定処理手順を示すフローチャートである。
【図5】パラメータ空間の低分解能化の概念を示す図である。
【図6】入力画像、テンプレート画像及びパラメータ空間への投票結果の一例を示すディスプレイ上に表示される中間調画像を示す写真である。
【図7】図1に示す画像照合部で行われる処理手順を示すフローチャートである。
【図8】図1に示すエッジ検出部が行うエッジ方向画像の作成手順を示すフローチャートである。
【図9】ソーベルの微分オペレータを示す図である。
【図10】図1に示すハフ変換処理部が行うθ−ρ平面データの作成手順を示すフローチャートである。
【図11】図1に示すフーリエ変換処理部が行うθ−p平面データの作成手順を示すフローチャートである。
【図12】図1に示す対数座標変換処理部が行う対数座標変換処理の手順を示すフローチャートである。
【図13】図1に示す移動量算出部が行う回転角および拡大・縮小率の算出手順を示すフローチャートである。
【図14】図1に示す移動量算出部が行うρ相互相関画像Cρ(θ,ρ)の作成手順を示すフローチャートである。
【図15】図1に示す逆ハフ変換処理部が行う逆ハフ変換画像Inv(x,y)の作成手順を示すフローチャートである。
【図16】図1に示す画像照合部を文字の照合に適用した場合にディスプレイ上に表示される中間調画像を示す各写真である。
【図17】入力画像、テンプレート画像及びパラメータ空間への投票結果の別の例を示すディスプレイ上に表示される中間調画像を示す写真である。
【符号の説明】
10…画像照合装置、 11…画像入力部、 12…候補領域算定部、
13…エッジ検出部、 14…一般化ハフ変換処理部、
15…Rテーブル記憶部、 16…画像照合部、
16a…θ−f平面作成部、 16b…ハフ変換処理部、
16c…フーリエ変換処理部、 16d…対数座標変換処理部、
16e…移動量算出部、 16f…参照データ記憶部、
16g…逆ハフ変換処理部、 17…移動量特定部、
90,91…ソーベルオペレータ
Claims (3)
- 参照画像と、該参照画像に対応する画像を回転及び又は拡大縮小した画像をその一部に含む入力画像とを照合して、前記入力画像の参照画像に対応する部分の拡大率、回転角及び平行移動量を出力する画像照合方法において、
前記参照画像の各エッジ点から所定の基準点へのベクトルをエッジ方向ごとに収納したRテーブルを作成し、
前記入力画像のエッジ点を前記参照画像のエッジ点とした場合の基準点の位置を前記Rテーブルに基づいて低分解能化したパラメータ空間上に投票して一又は複数の候補領域を求め、
該求めた候補領域が複数存在する場合には、各候補領域及び参照画像をハフ変換してθ−ρ平面をそれぞれ生成し、
該生成したθ−ρ平面をフーリエ変換してθ−q平面をそれぞれ生成し、
該生成したθ−q平面レベルで回転角及び拡大率をそれぞれ算出し、
該算出した回転角及び拡大率で補正したθ−ρ平面レベルで平行移動量をそれぞれ算出し、
前記候補領域の中で参照画像との照合度の最も大きな候補領域に対応して算出した拡大率、回転角及び平行移動量を出力する
ことを特徴とする画像照合方法。 - 参照画像と、該参照画像に対応する画像を回転及び又は拡大縮小した画像をその一部に含む入力画像とを照合して、前記入力画像の参照画像に対応する部分の拡大率、回転角及び平行移動量を出力する画像照合装置において、
前記参照画像の各エッジ点から所定の基準点へのベクトルを記憶するRテーブル記憶手段と、
前記入力画像のエッジ点を前記参照画像のエッジ点とした場合の基準点の位置を前記Rテーブル記憶手段の記憶内容に基づいて低分解能化したパラメータ空間上に投票する一般化ハフ変換手段と、
この低分解能化したパラメータ空間上に投票された投票値が所定レベル以上の候補領域を算定する算定手段と、
前記候補領域及び参照画像をハフ変換してθ−ρ平面を生成するθ−ρ平面生成手段と、
前記θ−ρ平面生成手段が生成したθ−ρ平面をフーリエ変換してθ−q平面を生成するθ−q平面生成手段と、
前記θ−q平面生成手段が生成したθ−q平面レベルで回転角及び拡大率を算出し、算出した回転角及び拡大率で補正したθ−ρ平面レベルで平行移動量を算出する算出手段と、
前記候補領域の中で参照画像との照合度の最も大きな候補領域に対応して算出した拡大率、回転角及び平行移動量を出力する出力手段と
を具備したことを特徴とする画像照合装置。 - 参照画像と、該参照画像に対応する画像を回転及び又は拡大縮小した画像をその一部に含む入力画像とを照合して、前記入力画像の参照画像に対応する部分の拡大率、回転角及び平行移動量を出力する画像照合装置で用いる記録媒体であって、
前記参照画像の各エッジ点から所定の基準点へのベクトルをエッジ方向ごとに収納したRテーブルを作成し、
前記入力画像のエッジ点を前記参照画像のエッジ点とした場合の基準点の位置を前記Rテーブルに基づいて低分解能化したパラメータ空間上に投票して一又は複数の候補領域を求め、
求めた候補領域が複数ある場合には、各候補領域と前記参照画像とをそれぞれ照合して、照合度の最も大きな候補領域の拡大率、回転角及び平行移動量を出力するプログラム を記録することを特徴とする画像照合装置で用いる記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19579898A JP3693147B2 (ja) | 1998-07-10 | 1998-07-10 | 画像照合方法、装置及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19579898A JP3693147B2 (ja) | 1998-07-10 | 1998-07-10 | 画像照合方法、装置及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000030062A JP2000030062A (ja) | 2000-01-28 |
JP3693147B2 true JP3693147B2 (ja) | 2005-09-07 |
Family
ID=16347162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19579898A Expired - Fee Related JP3693147B2 (ja) | 1998-07-10 | 1998-07-10 | 画像照合方法、装置及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3693147B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6807286B1 (en) * | 2000-04-13 | 2004-10-19 | Microsoft Corporation | Object recognition using binary image quantization and hough kernels |
JP3846851B2 (ja) | 2001-02-01 | 2006-11-15 | 松下電器産業株式会社 | 画像のマッチング処理方法及びその装置 |
JP4375212B2 (ja) * | 2004-11-18 | 2009-12-02 | ソニー株式会社 | 照合装置、照合方法、照合システム、およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04156693A (ja) * | 1990-10-19 | 1992-05-29 | Yaskawa Electric Corp | 階層化構造的テンプレート・マッチング方法 |
JPH04295973A (ja) * | 1991-03-25 | 1992-10-20 | Matsushita Electric Ind Co Ltd | ハフ変換によるパターン曲線当てはめ方法 |
JP3355015B2 (ja) * | 1994-03-14 | 2002-12-09 | 三菱電機株式会社 | 画像処理方法 |
JP3098711B2 (ja) * | 1996-06-28 | 2000-10-16 | グローリー工業株式会社 | 画像照合方法及び装置 |
-
1998
- 1998-07-10 JP JP19579898A patent/JP3693147B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000030062A (ja) | 2000-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5602940B2 (ja) | 事前計算されたスケール空間からのデイジー記述子生成 | |
US7450765B2 (en) | Increasing accuracy of discrete curve transform estimates for curve matching in higher dimensions | |
JP4891712B2 (ja) | 類似度分布を利用したテンプレートマッチング方法を用いた検査装置 | |
US7136505B2 (en) | Generating a curve matching mapping operator by analyzing objects of interest and background information | |
Pérez-Pellitero et al. | Psyco: Manifold span reduction for super resolution | |
JP5082637B2 (ja) | 画像処理プログラム、画像処理方法及び画像処理装置 | |
Bigün | Pattern recognition in images by symmetries and coordinate transformations | |
US7139432B2 (en) | Image pattern matching utilizing discrete curve matching with a mapping operator | |
JP4527885B2 (ja) | フーリエ変換の相関による回転の修正および重複イメージの識別 | |
US8208756B2 (en) | Alpha-masked RST image registration | |
Al-Hammadi et al. | Improving SURF based copy-move forgery detection using super resolution | |
CN114898412A (zh) | 一种针对低质量指纹、残缺指纹的识别方法 | |
JP3693147B2 (ja) | 画像照合方法、装置及び記録媒体 | |
JP5705611B2 (ja) | 画像の正置からの回転角度検知装置および方法 | |
US7171048B2 (en) | Pattern matching system utilizing discrete curve matching with a mapping operator | |
JP3098711B2 (ja) | 画像照合方法及び装置 | |
Bhamre et al. | Mahalanobis distance for class averaging of cryo-EM images | |
KR101279484B1 (ko) | 영상 처리 장치 및 방법 | |
US7120301B2 (en) | Efficient re-sampling of discrete curves | |
Liu et al. | Frieze and wallpaper symmetry groups classification under affine and perspective distortion | |
JP3098704B2 (ja) | 画像照合方法及び装置 | |
Hutchison et al. | Fourier–Mellin registration of line-delineated tabular document images | |
US8953875B2 (en) | Multiscale modulus filter bank and applications to pattern detection, clustering, classification and registration | |
Yue et al. | Sift-based image super-resolution | |
JPH0628476A (ja) | 画像信号の処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050615 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080701 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090701 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090701 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100701 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110701 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110701 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120701 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120701 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130701 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130701 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |