JP4181811B2

JP4181811B2 - Corresponding point search method of image, corresponding point search device, and corresponding point search program

Info

Publication number: JP4181811B2
Application number: JP2002212389A
Authority: JP
Inventors: 弘之大西
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2002-07-22
Filing date: 2002-07-22
Publication date: 2008-11-19
Anticipated expiration: 2022-07-22
Also published as: JP2004054682A

Description

【０００１】
【発明の属する技術分野】
この発明は、入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索方法、対応点探索装置および対応点探索プログラムに関し、特に、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる画像の対応点探索方法、対応点探索装置および対応点探索プログラムに関する。
【０００２】
【従来の技術】
従来、スキャナなどの画像入力装置から入力された入力画像をあらかじめ登録した参照画像とを照合する際に、両画像の対応点を探索して画像間の対応付けをおこなう技術が知られている。
【０００３】
たとえば、「T.Poggio，V.Torre and C.Koch，”Computational vision and regularization theory”，NATURE Vol.317，pp. 314-319，1985」（従来技術１）には、設定したエネルギー関数を変分法の枠組みにより最小化する標準正則化理論を適用した技術が開示されている。この従来技術１が採用する標準正則化理論は、局所的な情報のみを使った繰り返し計算によりエネルギーを最小化することによって対応点を計算するものであるので、並列分散処理をおこなうことができ、人間の脳情報処理に近い処理を実現できる可能性がある。
【０００４】
また、「内田誠一，迫江博昭，”動的計画法に基づく単調連続２次元ワープ法の検討”，信学論（D-II） Vol. J81-D-II no. 6，pp.1251-1258，June 1998」（従来技術２）には、ＤＰ（Dynamic Programming）を用いて効率的に最適解を探索する２次元ＤＰワープ法を採用した技術が開示されている。この従来技術２によれば、最適化問題を効率的に計算することができる。
【０００５】
ところが、上記従来技術１のものは、局所的な情報のみを使った繰り返し計算によってエネルギーを最小化して対応点を計算するため、初期値の影響が大きくなるという問題や、局所解（ローカルミニマム）に陥り易いことから最適な対応付け結果を得られ難いという問題がある。また、従来技術２のものは、ＤＰによって効率よく最適解を探索できるものの、その計算量が膨大なものになるという問題がある。具体的には、最適解を得るためには画像サイズの指数オーダーの計算時間が必要となる。
【０００６】
これらのことから、本願特許出願人は、特願２００２−０５６６６１号（従来技術３）において、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速に得ることができる画像の対応点探索装置、対応点探索方法およびその方法をコンピュータに実行させるプログラムを提案した。
【０００７】
【発明が解決しようとする課題】
しかしながら、この従来技術３では、複数の類似度画像を作成した後に、ｊ方向に累積加算をおこなった後に、−ｊ方向に累積加算をおこない、その後ｉ方向に累積加算をおこない、さらに−ｉ方向に累積加算する一連の処理を繰り返すこととしていたので、これらの処理を並列化することができず、処理を迅速化する上での制約がある。
【０００８】
また、この従来技術３では、どの方向から累積加算するかによって結果が異なり、具体的には、最初に累積加算をおこなうｊ方向の影響が大きくなりがちとなるという問題もある。
【０００９】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる画像の対応点探索方法、対応点探索装置および対応点探索プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る画像の対応点探索方法は、入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索方法であって、前記参照画像をｍ×ｎ個の参照部分画像にブロック分割するとともに、該参照部分画像のブロックサイズよりも大きく、かつ、互いにその一部が重なり合うように前記入力画像をｍ×ｎ個の入力部分画像にブロック分割し、各入力部分画像の対応する位置に所在する参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値とするｍ×ｎ個の類似度画像を生成する類似度画像生成工程と、前記類似度画像生成工程により生成された類似度画像のうちの注目した注目類似度画像の近傍に所在する複数の類似度画像の所定範囲内の最大画素値を定数倍した値を前記注目類似度画像の画素値に加算して新たな類似度画像とする累積加算処理を、加算前後の最大値の位置変化が所定の範囲内となるまで繰り返す加算工程と、前記加算工程により累積加算処理された各類似度画像の画素値が最大となる位置を前記参照画像に対応する入力画像の対応点として特定する対応点特定工程とを含んだことを特徴とする。
【００１１】
また、請求項２の発明に係る画像の対応点探索方法は、請求項１の発明において、前記加算工程は、前記類似度画像生成工程により生成された複数の類似度画像のうちの注目した注目類似度画像に隣接する複数の隣接類似度画像の画素値を前記注目類似度画像の画素値に加算することを特徴とする。
【００１２】
また、請求項３の発明に係る画像の対応点探索方法は、請求項１の発明において、前記加算工程は、前記類似度画像生成工程により生成された複数の類似度画像のうちの注目した注目類似度画像に隣接する複数の隣接類似度画像および各隣接類似度画像にさらに隣接する複数の近傍類似度画像の画素値を前記注目類似度画像の画素値に加算することを特徴とする。
【００１３】
また、請求項４の発明に係る画像の対応点探索方法は、請求項１、２または３の発明において、前記加算工程は、前記類似度画像生成工程により生成された複数の類似度画像のうちの注目した注目類似度画像の横方向（ｊ方向）、該横方向の逆方向（−ｊ方向）、縦方向（ｉ方向）、該縦方向の逆方向（−ｉ方向）にそれぞれ隣接する４つの類似度画像を加算対象としたことを特徴とする。
【００１４】
また、請求項５の発明に係る画像の対応点探索方法は、請求項１、２または３の発明において、前記加算工程は、前記類似度画像生成工程により生成された複数の類似度画像のうちの注目した注目類似度画像の横方向（ｊ方向）、該横方向の逆方向（−ｊ方向）、縦方向（ｉ方向）、該縦方向の逆方向（−ｉ方向）並びに各斜め方向にそれぞれ隣接する８つの類似度画像を加算対象としたことを特徴とする。
【００１５】
また、請求項６の発明に係る画像の対応点探索方法は、請求項１〜５のいずれか一つの発明において、前記加算工程は、前記隣接類似度画像または近傍類似度画像を形成する各画素の画素値を前記注目類似度画像の画素値に加算する際に、前記隣接類似度画像または近傍類似度画像の注目画素の周辺画素のうちの最大値を持つ画素の画素値を該注目画素に対応する前記注目類似度画像の画素の画素値に加算することを特徴とする。
【００１６】
また、請求項７の発明に係る画像の対応点探索装置は、入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索装置であって、前記参照画像をｍ×ｎ個の参照部分画像にブロック分割するとともに、該参照部分画像のブロックサイズよりも大きく、かつ、互いにその一部が重なり合うように前記入力画像をｍ×ｎ個の入力部分画像にブロック分割し、各入力部分画像の対応する位置に所在する参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値とするｍ×ｎ個の類似度画像を生成する類似度画像生成手段と、前記類似度画像生成手段により生成された類似度画像のうちの注目した注目類似度画像の近傍に所在する複数の類似度画像の所定範囲内の最大画素値を定数倍した値を前記注目類似度画像の画素値に加算して新たな類似度画像とする累積加算処理を、加算前後の最大値の位置変化が所定の範囲内となるまで繰り返す加算手段と、前記加算手段により累積加算処理された各類似度画像の画素値が最大となる位置を前記参照画像に対応する入力画像の対応点として特定する対応点特定手段とを備えたことを特徴とする。
【００１７】
また、請求項８の発明に係る画像の対応点探索プログラムは、入力画像と該入力画像の比較対象となる参照画像とを対応づける対応点を探索する画像の対応点探索プログラムであって、前記参照画像をｍ×ｎ個の参照部分画像にブロック分割するとともに、該参照部分画像のブロックサイズよりも大きく、かつ、互いにその一部が重なり合うように前記入力画像をｍ×ｎ個の入力部分画像にブロック分割し、各入力部分画像の対応する位置に所在する参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値とするｍ×ｎ個の類似度画像を生成する類似度画像生成手順と、前記類似度画像生成手順により生成された類似度画像のうちの注目した注目類似度画像の近傍に所在する複数の類似度画像の所定範囲内の最大画素値を定数倍した値を前記注目類似度画像の画素値に加算して新たな類似度画像とする累積加算処理を、加算前後の最大値の位置変化が所定の範囲内となるまで繰り返す加算手順と、前記加算手順により累積加算処理された各類似度画像の画素値が最大となる位置を前記参照画像に対応する入力画像の対応点として特定する対応点特定手順とをコンピュータに実行させることを特徴とする。
【００１８】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像の対応点探索方法、対応点探索装置および対応点探索プログラムの実施の形態を詳細に説明する。
【００１９】
図１は、本実施の形態で用いる対応点探索装置の構成を示す機能ブロック図である。同図に示す対応点探索装置１は、（１）入力画像を分割した入力部分画像と参照画像を分割した参照部分画像との間の類似度を示す類似度画像を作成する類似度画像作成段階と、（２）複数の類似度画像を加算した結果に基づいて最適な対応点を決定する対応点決定段階とからなる処理により画像間の対応点を探索する。
【００２０】
具体的には、（１）類似度画像作成段階では、たとえば７×７画素のサイズからなる参照部分画像を２１×２１画素のサイズからなる入力部分画像内を移動させつつ順次相関値を求め、この相関値を画素値として持つ類似度画像を作成する。このため、この類似度画像は、参照部分画像上の中心点が入力部分画像上の点にどの程度類似しているかを示すことになる。
【００２１】
次に、（２）対応点決定段階では、複数の類似度画像のうちの一つに注目した場合に、この注目した類似度画像（以下「注目類似度画像」と言う）の画素の画素値に対して周辺の類似度画像の画素の画素値を加算し、その加算結果を用いて各類似度画像を更新し、各類似度画像を形成する画素のうち最大の画素値を持つ画素の位置を求め、この位置を入力部分画像上での対応点として決定する。
【００２２】
具体的には、注目類似度画像に隣接する複数の類似度画像（以下「隣接類似度画像」と言う）を形成する注目画素の近傍画素のうちの最大の画素値をそれぞれ隣接類似度画像ごとに求め、求めた各画素値を注目類似度画像の注目画素の画素値に加算する処理をおこなう。たとえば、注目類似度画像のｊ方向に隣接する類似度画像の画素値（注目画素の近傍画素の最大値）と、−ｊ方向に隣接する類似度画像の画素値と、ｉ方向に隣接する類似度画像の画素値と、−ｉ方向に隣接する類似度画像の画素値とを注目類似度画像の注目画素の画素値に加算する。
【００２３】
このように、この対応点探索装置１によれば、累積加算を繰り返す最適化の微調整により従来よりも対応付けの精度が高くなり、さらに並列分散処理が可能になるのでハードウエア化が容易となる。
【００２４】
特に、この対応点探索装置１では、ｊ方向、−ｊ方向、ｉ方向および−ｉ方向に隣接する隣接類似度画像の画素値を注目類似度画像の注目画素の画素値に加算する処理を注目類似度画像を変えつつ独立しておこなうこととしているので、並列処理化をさらに進めることができる。
【００２５】
次に、図１に示した対応点探索装置１の構成について説明する。なお、ここでは参照画像、入力画像の順に画像を入力する場合を示すこととする。図１に示すように、この対応点探索装置１は、画像入力部１０と、分割処理部１１と、参照部分画像一時記憶部１２と、類似度画像作成部１３と、加算処理部１４と、対応点決定部１５とからなる。
【００２６】
画像入力部１０は、縦横のサイズＩ，Ｊからなる参照画像Ｉ₀（ｉ，ｊ）および入力画像Ｉ₁（ｉ，ｊ）（０≦ｉ≦Ｉ−１，０≦ｊ≦Ｊ−１）を入力する入力部である。具体的には、光学的に原稿を読み取って画像を取得するスキャナや、ネットワークから画像を取得するインターフェース部や、二次記憶装置から画像を読み出す読み出し部が該当する。ここで、この入力画像とは、対応点の探索対象となる画像であって、歪みや変形を伴うものであっても良い。これに対して、参照画像とは、入力画像の比較の対象となる画像であり、歪みなどを伴わないものであることが望ましい。
【００２７】
図２（ａ）には参照画像２１を示しており、同図（ｂ）には入力画像２２を示している。これらの参照画像２１および入力画像２２は、いずれもアルファベット「ａ」の文字画像であり、３２×３２画素からなる。
【００２８】
分割処理部１１は、画像入力部１０により入力された入力画像および参照画像を入力部分画像および参照部分画像にそれぞれ分割する処理部である。ただし、入力画像の分割手順と参照画像の分割手順はそれぞれ異なる。
【００２９】
参照画像を分割する場合には、参照画像上で縦方向にＭ個、横方向にＮ個サンプリングした点（ｐ_m，ｑ_n）（０≦ｍ≦Ｍ−１，０≦ｎ≦Ｎ−１）を中心とした参照部分画像を作成する。図３は、図２（ａ）に示した参照画像２１の分割結果の一例を示す図であり、同図に示すように、ここでは３２×３２画素の参照画像２１を７×７画素からなる２５個の参照部分画像に分割している。具体的には、ｐ_m＝round（Ｉ／Ｍ）、ｑ_n＝round（Ｊ／Ｎ）としている。ただし、round（）は四捨五入を示している。
【００３０】
入力画像を分割する場合には、参照画像を分割する場合と異なり、各入力部分画像の一部が重なり合う重複したデータを持つように分割する。図４は、図２（ｂ）に示した入力画像２２の分割結果の一例を示す図であり、同図に示すように、ここでは３２×３２画素の入力画像２２を２１×２１画素からなる２５個の入力部分画像に分割している。
【００３１】
参照部分画像一時記憶部１２は、分割処理部１１で分割した各参照部分画像を一時記憶する記憶部であり、類似度画像作成部１３が類似度画像を作成する際に該当する参照部分画像が取り出される。
【００３２】
類似度画像作成部１３は、入力部分画像と参照部分画像の間の変形を考慮した類似度を算定して、該類似度を画素値として持つ類似度画像Ｃ_m,n（ｕ，ｖ）（０≦ｍ≦Ｍ−１，０≦ｎ≦Ｎ−１，０≦ｕ≦Ｕ−１，０≦ｖ≦Ｖ−１）を作成する処理部である。ただし、Ｕ，Ｖはそれぞれ類似度画像の縦横のサイズであるものとする。この類似度として正規化相関係数を用いることができる。
【００３３】
図５は、参照部分画像と入力部分画像から類似度画像を作成する概念を説明するための説明図である。なお、ここでは図３および図４の２行２列に位置する入力部分画像と参照部分画像を用いることとする。
【００３４】
同図に示す入力部分画像５１と参照部分画像５２の類似度を求める場合には、参照部分画像５２の中心画素を入力部分画像５１の左上部の画素に対応づけて正規化相関係数を計算し、その計算結果を類似度画像５３の左上部の画素の画素値とする。その後、参照部分画像５２を右にずらし、同様の処理をおこなう。上記処理を参照部分画像５２をずらしながら入力部分画像５１の全画素についておこなうことにより、類似度画像５３が求められる。
【００３５】
かかる類似度画像の作成処理を各入力部分画像ごとにおこなうと、図６に示すような複数の類似度画像が得られる。なお、参照部分画像の全ての画素の画素値が一定値である場合には、正規化相関係数の分母がゼロとなるため、この場合の類似度画像の画素値もゼロとなる。
【００３６】
加算処理部１４は、図７に示すように、注目類似度画像Ｃ_m,n（ｕ，ｖ）のｊ方向に隣接する隣接類似度画像Ｃ_m,n+1（ｕ，ｖ）、−ｊ方向に隣接する隣接類似度画像Ｃ_m,n-1（ｕ，ｖ）、ｉ方向に隣接する隣接類似度画像Ｃ_m+1,n（ｕ，ｖ）、−ｉ方向に隣接する隣接類似度画像Ｃ_m-1,n（ｕ，ｖ）の画素値を注目類似度画像Ｃ_m,n（ｕ，ｖ）の注目画素の画素値に加える。
【００３７】
具体的には、

を算定する。ただし、Ｍａｘ（）は最大値を示し、αは定数であり、ｔは繰り返し回数であり、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、０≦ｍ≦Ｍ−１、０≦ｎ≦Ｎ−１、ｕ−１≦ｐ≦ｕ＋１、ｖ−１≦ｑ≦ｖ＋１とする。
【００３８】
すなわち、図７に示した繰り返し回数ｔ＋１での注目類似度画像Ｃ_m,n（ｕ，ｖ）の注目画素Pの画素値を求める場合には、繰り返し回数ｔでの注目類似度画像Ｃ_m,n（ｕ，ｖ）の注目画素の画素値に、上下左右に隣接する隣接類似度画像の画素P１、P２、P３、P４の周辺画素のうちの最大値をそれぞれα倍して加算する。このように、ある方向への累積加算を繰り返すのではなく、繰り返し回数ｔ＋１での画素値をそれぞれ独立して算定することにより、処理の並列化を図ることができる。
【００３９】
対応点決定部１５は、加算処理部１４と連携しながら加算後の類似度画像に基づいて対応点を決定する処理部である。具体的には、まず各画素の加算処理をおこなったならば、各類似度画像の最大値の位置を検出し、それらの位置と前回の累積加算処理時における最大値の位置との変化が所定の範囲内でなければ累積加算処理をフィードバックして繰り返し、所定の範囲内となった時点で繰り返しを終了し、そのときの各類似度画像の最大値の位置を対応点として決定する。
【００４０】
たとえば、累積加算処理の繰り返しによって図８に示す各類似度画像が得られた場合には、各類似度画像の最大値の位置の変化分を調べ、その変化分が所定の範囲内となった場合には、図９に示すように各類似度画像の最大値の位置を求めてこれを対応点とする。そして、この対応点に基づいて入力画像の歪みを図示すると図１０のようになる。
【００４１】
次に、図１に示した対応点検索装置１の処理手順について説明する。なお、上記説明と一部重複するが、図２〜図１０を用いて処理の流れを例示しつつ処理手順について説明することとする。
【００４２】
図１１は、図１に示した対応点検索装置１の処理手順を示すフローチャートである。同図に示すように、この対応点検出装置１が参照画像と入力画像を取得したならば、この参照画像を参照部分画像に分割する（ステップＳ１０１）。たとえば、図２（ａ）に示した３２×３２画素の参照画像２１を図３に示した７×７画素からなる２５個の参照部分画像に分割して記憶する。この参照部分画像は、参照したい画像毎に予め記憶しておいてもよいし、また、参照部分画像ではなく、参照画像のみを予め別途記憶しておき、後述する入力画像と参照画像との類似度の計算の際に、記憶された参照画像から参照部分画像に分割してもよい。
【００４３】
その後、入力画像を入力部分画像に分割する（ステップＳ１０２）。たとえば、図２（ｂ）に示した３２×３２画素の入力画像２２を図４に示した２１×２１画素からなる２５個の入力部分画像に分割する。
【００４４】
そして、この参照部分画像と入力部分画像の間の類似度画像を作成する（ステップＳ１０３）。たとえば、図５に示すようにして入力部分画像５１と参照部分画像５２の類似度を画素値とする類似度画像５３の作成を各入力部分画像ごとにおこなって、図６に示したような複数の類似度画像を作成する。
【００４５】
その後、図７に示したように、繰り返し回数ｔ＋１における各類似度画像を求めるために、繰り返し回数ｔにおける注目類似度画像とｊ方向、−ｊ方向、ｉ方向、−ｉ方向の４方向に隣接する各隣接類似度画像の所定範囲内の最大画素値を加算する処理を各画素ごとにおこない（ステップＳ１０４）、この加算結果を用いて図９に示した類似度画像の最大値の位置を検出する（ステップＳ１０５）。
【００４６】
そして、最大値の位置の変動が一定値以内であるか否かを調べ（ステップＳ１０６）、一定値以内でなければ（ステップＳ１０６否定）、ステップＳ１０４に移行して繰り返し回数をインクリメントした後に同様の処理を繰り返し、一定値以内であれば（ステップＳ１０６肯定）、この位置を対応点として処理を終了する。
【００４７】
次に、図１に示した加算処理部１４による加算処理手順について説明する。図１２は、図１に示した加算処理部１４による加算処理手順を示すフローチャートである。
【００４８】
同図に示すように、まず変数ｍ、ｕおよびｖを０にするとともに、変数ｎを１とする初期化をおこなう（ステップＳ２０１〜Ｓ２０４）。ここで、この変数ｍはｉ方向のインデックスとして用いる変数であり、変数ｎはｊ方向のインデックスとして用いる変数である。また、変数ｕ，ｖは探索範囲を示すｉ方向およびｊ方向の変数である。
【００４９】
そして、この初期化を終えたならば、

の算定式による計算をおこなう（ステップＳ２０５）。
【００５０】
その後、変数ｖをインクリメントし（ステップＳ２０６）、この変数ｖがＶよりも小さければ（ステップＳ２０７肯定）、ステップＳ２０５に移行して加算処理を繰り返す。つまり、探索範囲をｊ方向にずらすのである。
【００５１】
これに対して、変数ｖがＶ以上であれば（ステップＳ２０７否定）、変数ｕをインクリメントし（ステップＳ２０８）、この変数ｕがＵよりも小さければ（ステップＳ２０９肯定）、ステップＳ２０４に移行して加算処理を繰り返す。つまり、探索範囲をｉ方向にずらすことになる。
【００５２】
そして、変数ｕがＵ以上であれば（ステップＳ２０９否定）、ある画素についての計算を終了し、次の画素に移行する。具体的には、変数ｎをインクリメントして注目画素をｊ方向に移行させた後に（ステップＳ２１０）、この変数ｎをＮと比較し（ステップＳ２１１）、この変数ｎがＮよりも小さければ（ステップＳ２１１肯定）、ステップＳ２０３に移行して加算処理を繰り返す。
【００５３】
これに対して、変数ｎがＮ以上であれば（ステップＳ２１１否定）、変数ｍをインクリメントして注目画素をｉ方向に移行させた後に（ステップＳ２１２）、この変数ｍがＭよりも小さければ（ステップＳ２１３肯定）、ステップＳ２０２に移行して加算処理を繰り返し、変数ｍがＭ以上であれば（ステップＳ２１３否定）、処理を終了する。上記一連の処理をおこなうことにより、各類似度画像の全画素についてｊ方向の累積加算結果が得られることになる。
【００５４】
ところで、上記図１２のフローチャートでは、変数ｕ，ｖのインクリメントをおこないながら最大値を算出していた。別の計算方法として、あらかじめすべてのＣ^t _m,n（ｕ，ｖ）に最大値フィルターをかけた最大値フィルター画像Ｃ^t' _m,n（ｕ，ｖ）を作成しておくこともできる。
【００５５】
そこで、かかる最大値フィルターを用いる場合の処理手順を図１３および図１４を用いて説明する。図１３は、図１に示した加算処理部１４による最大値フィルターを用いた加算処理手順を示すフローチャートであり、図１４は、最大値フィルターの処理手順を示すフローチャートである。
【００５６】
図１３に示すように、すべてのＣ^t _m,n（ｕ，ｖ）に最大値フィルターをかけた最大値フィルター画像Ｃ^t' _m,n（ｕ，ｖ）を求める（ステップＳ３０１）。具体的には、図１４に示すように、変数ｕ，ｖを０に初期化した後に（ステップＳ４０１〜Ｓ４０２）、Ｃ’_m,n（ｕ，ｖ）＝Ｍａｘ［Ｃ_m,n（ｐ，ｑ）］を計算する（ステップＳ４０３）。ただし、ｕ−１≦ｐ≦ｕ＋１、ｖ−１≦ｑ≦ｖ＋１とする。そして、ｖをインクリメントして（ステップＳ４０４）、この変数ｖがＶよりも小さい場合には（ステップＳ４０５肯定）、ステップＳ４０３に移行して同様に計算をおこなう。また、変数ｖがＶ以上である場合には（ステップＳ４０５否定）、変数ｕをインクリメントして（ステップＳ４０６）、この変数ｕがＵよりも小さい場合には（ステップＳ４０６肯定）、ステップＳ４０２に移行して同様の処理を繰り返し、結果的に最大値を求める。
【００５７】
このようにして最大値を求めたならば、変数ｍ＝０、ｎ＝０、ｕ＝０、ｖ＝０と初期化し（ステップＳ３０２〜Ｓ３０５）、

の算定式による計算をおこなう（ステップＳ３０６）。
【００５８】
その後、変数ｖをインクリメントし（ステップＳ３０７）、この変数ｖがＶよりも小さければ（ステップＳ３０８肯定）、ステップＳ３０６に移行して加算処理を繰り返す。つまり、探索範囲をｊ方向にずらすのである。
【００５９】
これに対して、変数ｖがＶ以上であれば（ステップＳ３０８否定）、変数ｕをインクリメントし（ステップＳ３０９）、この変数ｕがＵよりも小さければ（ステップＳ３１０肯定）、ステップＳ３０５に移行して加算処理を繰り返す。つまり、探索範囲をｉ方向にずらすことになる。
【００６０】
そして、変数ｕがＵ以上であれば（ステップＳ３１０否定）、ある画素についての計算を終了し、次の画素に移行する。具体的には、変数ｎをインクリメントして注目画素をｊ方向に移行させた後に（ステップＳ３１１）、この変数ｎをＮと比較し（ステップＳ３１２）、この変数ｎがＮよりも小さければ（ステップＳ３１２肯定）、ステップＳ３０４に移行して加算処理を繰り返す。
【００６１】
これに対して、変数ｎがＮ以上であれば（ステップＳ３１２否定）、変数ｍをインクリメントして注目画素をｉ方向に移行させた後に（ステップＳ３１３）、この変数ｍがＭよりも小さければ（ステップＳ３１４肯定）、ステップＳ３０３に移行して加算処理を繰り返し、変数ｍがＭ以上であれば（ステップＳ３１４否定）、処理を終了する。
【００６２】
上述してきたように、本実施の形態によれば、画像入力部１０から参照画像と入力画像をそれぞれ入力し、分割処理部１１で参照部分画像および入力部分画像をそれぞれ作成、類似度画像作成部１３で参照部分画像と入力部分画像の類似度を求めた類似度画像をそれぞれ作成し、加算処理部１４で隣接類似度画像の最大画素値を注目類似度画像の注目画素の画素値に加算する処理を注目画素を変えながら順次おこない、その結果に基づいて対応点決定部１５が対応点を決定するよう構成したので、（１）ローカルミニマムに陥るケースを低減することができ、（２）処理の独立化を進めることで効率良く並列分散処理化し高速に処理することができる。
【００６３】
なお、本実施の形態では、説明の便宜上、参照画像と入力画像のサイズが同じ場合を示したが、本発明はこれに限定されるものではなく、参照画像と入力画像のサイズを異なる場合に適用することもできる。かかる場合にも同様の処理をおこなうことができる。
【００６４】
また、本実施の形態では、加算処理をおこなう際に、注目類似度画像のｊ方向、−ｊ方向、ｉ方向、−ｉ方向に隣接する隣接類似度画像を対象とした場合を示したが、本発明はこれに限定されるものではなく、図１５（ａ）に示すように斜め方向に隣接する類似度画像を考慮して注目類似度画像Ｃ_m,nに８連接する８つの隣接類似度画像Ｃ_m-1,n-1，Ｃ_m-1,n，Ｃ_m-1,n+1，Ｃ_m,n-1，Ｃ_m,n+1，Ｃ_m+1,n-1，Ｃ_m+1,n，Ｃ_m+1,n+1を用いた場合に適用することもできる。さらに、図１５（ｂ）に示すように、注目類似度画像Ｃ_m,nに隣接する隣接類似度画像Ｃ_m-1,n，Ｃ_m,n-1，Ｃ_m+1,n，Ｃ_m,n+1だけではなく、これらの隣接類似度画像にさらに隣接する類似度画像（近傍類似度画像）Ｃ_m-2,n，Ｃ_m,n-2，Ｃ_m+2,n，Ｃ_m,n+2を用いた場合に適用することもできる。
【００６５】
また、本実施の形態では、類似度として正規化相関係数を用いた場合を示したが、本発明はこれに限定されるものではなく、ユークリッド距離などの他の指標を類似度として用いることもできる。
【００６６】
【発明の効果】
以上説明したように、請求項１の発明によれば、参照画像をｍ×ｎ個の参照部分画像にブロック分割するとともに、該参照部分画像のブロックサイズよりも大きく、かつ、互いにその一部が重なり合うように入力画像をｍ×ｎ個の入力部分画像にブロック分割し、各入力部分画像の対応する位置に所在する参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値とするｍ×ｎ個の類似度画像を生成し、生成した類似度画像のうちの注目した注目類似度画像の近傍に所在する複数の類似度画像の所定範囲内の最大画素値を定数倍した値を注目類似度画像の画素値に加算して新たな類似度画像とする累積加算処理を、加算前後の最大値の位置変化が所定の範囲内となるまで繰り返し、累積加算処理された各類似度画像の画素値が最大となる位置を参照画像に対応する入力画像の対応点として特定するよう構成したので、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができ、また並列処理化によるさらなる高速化を図りつつ、累積加算順序に起因する悪影響を回避することが可能な画像の対応点探索方法が得られるという効果を奏する。
【００６７】
また、請求項２の発明によれば、複数の類似度画像のうちの注目した注目類似度画像に隣接する複数の隣接類似度画像の画素値を注目類似度画像の画素値に加算するよう構成したので、隣接類似度画像を対象とした迅速な加算処理を並列的におこなうことが可能な画像の対応点探索方法が得られるという効果を奏する。
【００６８】
また、請求項３の発明によれば、複数の類似度画像のうちの注目した注目類似度画像に隣接する複数の隣接類似度画像および各隣接類似度画像にさらに隣接する複数の近傍類似度画像の画素値を注目類似度画像の画素値に加算するよう構成したので、位置ずれが大きい場合であっても対応することが可能な画像の対応点探索方法が得られるという効果を奏する。
【００６９】
また、請求項４の発明によれば、類似度画像生成工程により生成された複数の類似度画像のうちの注目した注目類似度画像の横方向（ｊ方向）、該横方向の逆方向（−ｊ方向）、縦方向（ｉ方向）、該縦方向の逆方向（−ｉ方向）にそれぞれ隣接する４つの類似度画像を加算対象とするよう構成したので、ハードウエア化が容易な画像の対応点探索方法が得られるという効果を奏する。
【００７０】
また、請求項５の発明によれば、複数の類似度画像のうちの注目した注目類似度画像の横方向（ｊ方向）、該横方向の逆方向（−ｊ方向）、縦方向（ｉ方向）、該縦方向の逆方向（−ｉ方向）並びに各斜め方向にそれぞれ隣接する８つの類似度画像を加算対象とするよう構成したので、より大局的な整合性を満たした画像の対応点探索方法が得られるという効果を奏する。
【００７１】
また、請求項６の発明によれば、隣接類似度画像または近傍類似度画像を形成する各画素の画素値を注目類似度画像の画素値に加算する際に、隣接類似度画像または近傍類似度画像の注目画素の周辺画素のうちの最大値を持つ画素の画素値を該注目画素に対応する注目類似度画像の画素の画素値に加算するよう構成したので、最大値を効率良く利用して対応点を求めることが可能な画像の対応点探索方法が得られるという効果を奏する。
【００７２】
また、請求項７の発明によれば、参照画像をｍ×ｎ個の参照部分画像にブロック分割するとともに、該参照部分画像のブロックサイズよりも大きく、かつ、互いにその一部が重なり合うように入力画像をｍ×ｎ個の入力部分画像にブロック分割し、各入力部分画像の対応する位置に所在する参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値とするｍ×ｎ個の類似度画像を生成し、生成した類似度画像のうちの注目した注目類似度画像の近傍に所在する複数の類似度画像の所定範囲内の最大画素値を定数倍した値を注目類似度画像の画素値に加算して新たな類似度画像とする累積加算処理を、加算前後の最大値の位置変化が所定の範囲内となるまで繰り返し、累積加算処理された各類似度画像の画素値が最大となる位置を参照画像に対応する入力画像の対応点として特定するよう構成したので、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができ、また並列処理化によるさらなる高速化を図りつつ、累積加算順序に起因する悪影響を回避することが可能な画像の対応点探索装置が得られるという効果を奏する。
【００７３】
また、請求項８の発明によれば、参照画像をｍ×ｎ個の参照部分画像にブロック分割するとともに、該参照部分画像のブロックサイズよりも大きく、かつ、互いにその一部が重なり合うように入力画像をｍ×ｎ個の入力部分画像にブロック分割し、各入力部分画像の対応する位置に所在する参照部分画像を該入力部分画像上でずらしつつ類似度を求め、求めた類似度を画素値とするｍ×ｎ個の類似度画像を生成し、生成した類似度画像のうちの注目した注目類似度画像の近傍に所在する複数の類似度画像の所定範囲内の最大画素値を定数倍した値を注目類似度画像の画素値に加算して新たな類似度画像とする累積加算処理を、加算前後の最大値の位置変化が所定の範囲内となるまで繰り返し、累積加算処理された各類似度画像の画素値が最大となる位置を参照画像に対応する入力画像の対応点として特定するよう構成したので、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができ、また並列処理化によるさらなる高速化を図りつつ、累積加算順序に起因する悪影響を回避することが可能な画像の対応点探索プログラムが得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る対応点探索装置の構成を示す機能ブロック図である。
【図２】本実施の形態で用いる参照画像および入力画像の一例を示す図である。
【図３】参照部分画像の一例を示す図である。
【図４】入力部分画像の一例を示す図である。
【図５】類似度画像の作成概念を説明するための説明図である。
【図６】図４に示した各入力部分画像に対応する類似度画像を示す図である。
【図７】加算手順を説明するための説明図である。
【図８】加算後の類似度画像を示す図である。
【図９】図９に示した類似度画像の最大値の位置を示す図である。
【図１０】対応点に基づいて再構成した入力画像の歪み（変形）の一例を示す図である。
【図１１】図１に示した対応点探索装置の処理手順を示すフローチャートである。
【図１２】累積加算処理手順の一例を示すフローチャートである。
【図１３】最大値フィルターを用いて累積加算処理をおこなう場合の処理手順の一例を示すフローチャートである。
【図１４】最大値フィルターの処理手順の一例を示すフローチャートである。
【図１５】加算処理の変形例を説明するための説明図である。
【符号の説明】
１対応点探索装置
１０画像入力部
１１分割処理部
１２参照部分画像一時記憶部
１３類似度画像作成部
１４加算処理部
１５対応点決定部
２１参照画像
２２入力画像
５１入力部分画像
５２参照部分画像
５３類似度画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image corresponding point search method, a corresponding point search device, and a corresponding point search program for searching for corresponding points that associate an input image with a reference image to be compared with the input image, and in particular, correspondence between images. The present invention relates to a corresponding point search method, a corresponding point search device, and a corresponding point search program for an image that can acquire a stable matching result that is difficult to fall into a local solution at high speed and efficiency.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technique is known in which when an input image input from an image input device such as a scanner is collated with a reference image registered in advance, a corresponding point between both images is searched and the images are associated with each other.
[0003]
For example, “T. Poggio, V. Torre and C. Koch,“ Computational vision and regularization theory ”, NATURE Vol. 317, pp. 314-319, 1985” (prior art 1) changes the set energy function. A technique is disclosed that applies standard regularization theory that is minimized by the framework of the division method. The standard regularization theory adopted by this prior art 1 is to calculate corresponding points by minimizing energy by iterative calculation using only local information, so that parallel distributed processing can be performed. There is a possibility that processing close to human brain information processing can be realized.
[0004]
Also, “Seiichi Uchida, Hiroaki Sakoe,“ Study of monotonic continuous two-dimensional warp method based on dynamic programming ”, Shingaku theory (D-II) Vol. J81-D-II no. 6, pp.1251- 1258, June 1998 "(Prior Art 2) discloses a technique that employs a two-dimensional DP warp method for efficiently searching for an optimal solution using DP (Dynamic Programming). According to this prior art 2, the optimization problem can be calculated efficiently.
[0005]
However, in the above prior art 1, since the corresponding points are calculated by minimizing energy by iterative calculation using only local information, there is a problem that the influence of the initial value becomes large, and a local solution (local minimum). There is a problem that it is difficult to obtain an optimum matching result because it is easy to fall into the process. Moreover, although the thing of the prior art 2 can search an optimal solution efficiently by DP, there exists a problem that the computational complexity becomes huge. Specifically, in order to obtain an optimal solution, calculation time in the exponent order of the image size is required.
[0006]
From these facts, the applicant of the present patent application can obtain a stable matching result that is difficult to fall into a local solution at a high speed when performing matching between images in Japanese Patent Application No. 2002-056661 (prior art 3). A corresponding point searching apparatus for an image, a corresponding point searching method, and a program for causing a computer to execute the method have been proposed.
[0007]
[Problems to be solved by the invention]
However, in this prior art 3, after a plurality of similarity images are created, cumulative addition is performed in the j direction, then cumulative addition is performed in the -j direction, then cumulative addition is performed in the i direction, and further in the -i direction. Since a series of processes for accumulative addition is repeated, these processes cannot be parallelized, and there are restrictions in speeding up the processes.
[0008]
Further, in this prior art 3, there is a problem that the result differs depending on from which direction the cumulative addition is performed. Specifically, there is a problem that the influence of the j direction in which the cumulative addition is performed first tends to be large.
[0009]
The present invention has been made to solve the above-described problems caused by the prior art, and when performing association between images, it is possible to quickly and efficiently acquire a stable association result that does not easily fall into a local solution. An object of the present invention is to provide a corresponding point search method, a corresponding point search device, and a corresponding point search program.
[0010]
[Means for Solving the Problems]
In order to solve the above-described problems and achieve the object, a corresponding point search method for an image according to the invention of claim 1 searches for a corresponding point that associates an input image with a reference image to be compared with the input image. A method for searching corresponding points of an image, wherein the reference image is divided into m × n reference partial images, the block size is larger than the block size of the reference partial images, and the portions overlap each other. The input image is divided into m × n input partial images, the similarity is obtained while shifting the reference partial image located at the corresponding position of each input partial image on the input partial image, and the obtained similarity is represented by a pixel. A similarity image generation step for generating m × n similarity images as values, and a plurality of similarity images generated by the similarity image generation step in the vicinity of the noted attention similarity image Degree of similarity The accumulation processing to a constant multiplied by the value of the maximum pixel value is added to the pixel value of the target similarity image new similarity image within a predetermined range of the image, the position change of the maximum value before and after the addition of the predetermined An adding step that repeats until it falls within the range, and a corresponding point specifying step that specifies, as a corresponding point of the input image corresponding to the reference image, a position where the pixel value of each similarity image cumulatively processed by the adding step is maximum It is characterized by including.
[0011]
According to a second aspect of the present invention, there is provided the corresponding point search method according to the first aspect of the invention, wherein the adding step is focused attention among a plurality of similarity images generated by the similarity image generation step. The pixel values of a plurality of adjacent similarity images adjacent to the similarity image are added to the pixel values of the attention similarity image.
[0012]
According to a third aspect of the present invention, in the image corresponding point search method according to the first aspect of the present invention, the adding step is focused attention among a plurality of similarity images generated by the similarity image generation step. The pixel values of a plurality of adjacent similarity images adjacent to the similarity image and a plurality of neighboring similarity images further adjacent to each adjacent similarity image are added to the pixel values of the attention similarity image.
[0013]
According to a fourth aspect of the present invention, in the image corresponding point search method according to the first, second, or third aspect of the invention, the adding step includes a plurality of similarity images generated by the similarity image generating step. 4 which are adjacent to each other in the horizontal direction (j direction), the reverse direction of the horizontal direction (−j direction), the vertical direction (i direction), and the reverse direction of the vertical direction (−i direction). One similarity image is an addition target.
[0014]
According to a fifth aspect of the present invention, in the image corresponding point search method according to the first, second, or third aspect of the invention, the adding step includes a plurality of similarity images generated by the similarity image generating step. In the horizontal direction (j direction), the reverse direction of the horizontal direction (−j direction), the vertical direction (i direction), the reverse direction of the vertical direction (−i direction), and each diagonal direction. Eight adjacent similarity images are targeted for addition.
[0015]
According to a sixth aspect of the present invention, in the image corresponding point search method according to any one of the first to fifth aspects, the adding step includes each pixel forming the adjacent similarity image or the neighborhood similarity image. Is added to the pixel value of the target similarity image, the pixel value of the pixel having the maximum value among the peripheral pixels of the target pixel of the adjacent similarity image or the neighborhood similarity image is used as the target pixel. It adds to the pixel value of the pixel of the said attention similarity image corresponding.
[0016]
An image corresponding point searching device according to the invention of claim 7 is an image corresponding point searching device for searching for corresponding points for associating an input image with a reference image to be compared with the input image. The reference image is divided into mxn reference partial images, and the input image is larger than the block size of the reference partial image and the input image is mxn input partial images so as to partially overlap each other. Are divided into blocks, the similarity is obtained while shifting the reference partial image located at the corresponding position of each input partial image on the input partial image, and m × n similarity images having the obtained similarity as a pixel value And a maximum pixel value within a predetermined range of a plurality of similarity images located in the vicinity of the noted attention similarity image among the similarity images generated by the similarity image generation unit Is a constant multiple And the cumulative addition process for a new similarity image by adding the pixel value of the target similarity image values, adding means change in position of the maximum value before and after the addition is repeated until within a predetermined range, the sum And corresponding point specifying means for specifying the position where the pixel value of each similarity image cumulatively processed by the means becomes the maximum as the corresponding point of the input image corresponding to the reference image.
[0017]
An image corresponding point search program according to the invention of claim 8 is an image corresponding point search program for searching for a corresponding point that associates an input image with a reference image to be compared with the input image, The reference image is divided into mxn reference partial images, and the input image is larger than the block size of the reference partial image and the input image is mxn input partial images so as to partially overlap each other. Are divided into blocks, the similarity is obtained while shifting the reference partial image located at the corresponding position of each input partial image on the input partial image, and m × n similarity images having the obtained similarity as a pixel value a similarity image generation step of generating, maximum field within a predetermined range of the plurality of similarity degree images, located in the vicinity of the target was noted similarity image of the similarity images generated by the similarity image generation step Adding procedure repeated cumulative addition process by adding a constant a value obtained by multiplying the value to the pixel value of the target similarity image as a new similarity image, to the position change of the maximum value before and after the addition is within a predetermined range And causing the computer to execute a corresponding point specifying procedure for specifying, as a corresponding point of the input image corresponding to the reference image, a position where the pixel value of each similarity image that has been cumulatively added by the adding procedure is maximum. Features.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of a corresponding point search method, a corresponding point search apparatus, and a corresponding point search program according to the present invention will be described below in detail with reference to the accompanying drawings.
[0019]
FIG. 1 is a functional block diagram showing the configuration of the corresponding point search apparatus used in the present embodiment. The corresponding point search apparatus 1 shown in FIG. 1 (1) creates a similarity image that creates a similarity image indicating the similarity between the input partial image obtained by dividing the input image and the reference partial image obtained by dividing the reference image. And (2) searching for corresponding points between the images by a process consisting of a corresponding point determining step for determining an optimal corresponding point based on the result of adding a plurality of similarity images.
[0020]
Specifically, (1) in the similarity image creation stage, for example, a correlation value is sequentially obtained while moving a reference partial image having a size of 7 × 7 pixels within an input partial image having a size of 21 × 21 pixels, A similarity image having the correlation value as a pixel value is created. Therefore, this similarity image indicates how similar the center point on the reference partial image is to the point on the input partial image.
[0021]
Next, (2) in the corresponding point determination stage, when attention is paid to one of the plurality of similarity images, the pixel value of the pixel of the noticed similarity image (hereinafter referred to as “attention similarity image”) The pixel values of the pixels of the peripheral similarity image are added to each other, the respective similarity images are updated using the addition result, and the position of the pixel having the maximum pixel value among the pixels forming each similarity image This position is determined as a corresponding point on the input partial image.
[0022]
Specifically, the maximum pixel value among the neighboring pixels of the target pixel forming a plurality of similarity images adjacent to the target similarity image (hereinafter referred to as “adjacent similarity image”) is set for each adjacent similarity image. The obtained pixel values are added to the pixel value of the target pixel of the target similarity image. For example, the pixel value of the similarity image adjacent in the j direction of the attention similarity image (the maximum value of the neighboring pixels of the target pixel), the pixel value of the similarity image adjacent in the −j direction, and the similarity adjacent in the i direction The pixel value of the attention image and the pixel value of the similarity image adjacent in the −i direction are added to the pixel value of the attention pixel of the attention similarity image.
[0023]
As described above, according to the corresponding point search apparatus 1, the fine adjustment of the optimization that repeats the cumulative addition increases the accuracy of the association as compared with the prior art, and further enables parallel and distributed processing, which facilitates hardware implementation. Become.
[0024]
In particular, in the corresponding point search apparatus 1, attention is paid to the process of adding the pixel value of the adjacent similarity image adjacent in the j direction, −j direction, i direction, and −i direction to the pixel value of the target pixel of the target similarity image. Since the processing is performed independently while changing the similarity image, parallel processing can be further advanced.
[0025]
Next, the configuration of the corresponding point search apparatus 1 shown in FIG. 1 will be described. Here, the case where the images are input in the order of the reference image and the input image is shown. As shown in FIG. 1, the corresponding point search apparatus 1 includes an image input unit 10, a division processing unit 11, a reference partial image temporary storage unit 12, a similarity image creation unit 13, an addition processing unit 14, And a corresponding point determination unit 15.
[0026]
The image input unit 10 includes a reference image I ₀ (i, j) having vertical and horizontal sizes I and J and an input image I ₁ (i, j) (0 ≦ i ≦ I−1, 0 ≦ j ≦ J−1). Is an input unit for inputting. Specifically, a scanner that optically reads a document to acquire an image, an interface unit that acquires an image from a network, and a reading unit that reads an image from a secondary storage device are applicable. Here, the input image is an image to be searched for corresponding points, and may be one that is distorted or deformed. On the other hand, the reference image is an image to be compared with the input image, and it is desirable that the image is not accompanied by distortion.
[0027]
FIG. 2A shows a reference image 21 and FIG. 2B shows an input image 22. The reference image 21 and the input image 22 are both character images of the alphabet “a” and are composed of 32 × 32 pixels.
[0028]
The division processing unit 11 is a processing unit that divides the input image and the reference image input by the image input unit 10 into an input partial image and a reference partial image, respectively. However, the procedure for dividing the input image is different from the procedure for dividing the reference image.
[0029]
When the reference image is divided, M (vertical _m , q _n ) points (p _m , q _n ) (0 ≦ m ≦ M−1, 0 ≦ n ≦ N−1) are sampled on the reference image in the vertical direction and N in the horizontal direction. ) To create a reference partial image. FIG. 3 is a diagram showing an example of the division result of the reference image 21 shown in FIG. 2A. As shown in FIG. 3, the reference image 21 of 32 × 32 pixels is composed of 7 × 7 pixels. The image is divided into 25 reference partial images. Specifically, p _m = round (I / M) and q _n = round (J / N). However, round () indicates rounding off.
[0030]
When the input image is divided, unlike the case of dividing the reference image, the input image is divided so that a part of each input partial image has overlapping data. FIG. 4 is a diagram showing an example of the division result of the input image 22 shown in FIG. 2B. As shown in FIG. 4, the 32 × 32 pixel input image 22 is composed of 21 × 21 pixels. It is divided into 25 input partial images.
[0031]
The reference partial image temporary storage unit 12 is a storage unit that temporarily stores each reference partial image divided by the division processing unit 11, and the reference partial image corresponding when the similarity image creating unit 13 creates the similarity image is displayed. It is taken out.
[0032]
The similarity image creation unit 13 calculates a similarity considering the deformation between the input partial image and the reference partial image, and a similarity image C _{m, n} (u, v) (with the similarity as a pixel value) 0 ≦ m ≦ M−1, 0 ≦ n ≦ N−1, 0 ≦ u ≦ U−1, 0 ≦ v ≦ V−1). However, U and V are the vertical and horizontal sizes of the similarity image. A normalized correlation coefficient can be used as this similarity.
[0033]
FIG. 5 is an explanatory diagram for explaining the concept of creating a similarity image from a reference partial image and an input partial image. Here, the input partial image and the reference partial image located in 2 rows and 2 columns of FIGS. 3 and 4 are used.
[0034]
When obtaining the similarity between the input partial image 51 and the reference partial image 52 shown in the figure, the normalized correlation coefficient is calculated by associating the center pixel of the reference partial image 52 with the upper left pixel of the input partial image 51. The calculation result is used as the pixel value of the upper left pixel of the similarity image 53. Thereafter, the reference partial image 52 is shifted to the right, and the same processing is performed. The similarity image 53 is obtained by performing the above processing for all the pixels of the input partial image 51 while shifting the reference partial image 52.
[0035]
When such similarity image creation processing is performed for each input partial image, a plurality of similarity images as shown in FIG. 6 are obtained. Note that when the pixel values of all the pixels of the reference partial image are constant, the denominator of the normalized correlation coefficient is zero, and the pixel value of the similarity image in this case is also zero.
[0036]
Addition processing unit 14, as shown in FIG. 7, attention similarity image C _{m, n} (u, v) adjacent similarity image C _m adjacent direction _{j, n + 1 (u, v} ), - j Adjacent similarity image C _{m, n-1} (u, v) adjacent in the direction, adjacent similarity image C _{m + 1, n} (u, v) adjacent in the i direction, adjacent similarity adjacent in the -i direction The pixel value of the image C _{m-1, n} (u, v) is added to the pixel value of the target pixel of the attention similarity image C _{m, n} (u, v).
[0037]
In particular,

Is calculated. However, Max () indicates a maximum value, α is a constant, t is the number of repetitions, 0 ≦ u ≦ U−1, 0 ≦ v ≦ V−1, 0 ≦ m ≦ M−1, 0 ≦ It is assumed that n ≦ N−1, u−1 ≦ p ≦ u + 1, and v−1 ≦ q ≦ v + 1.
[0038]
That is, when the pixel value of the attention pixel P of the attention similarity image C _{m, n} (u, v) at the repetition number t + 1 shown in FIG. 7 is obtained, the attention similarity image C _m, The maximum value among the peripheral pixels of the pixels P1, P2, P3, and P4 of the adjacent similarity image adjacent vertically and horizontally is added to the pixel value of the target pixel of _n (u, v) by multiplying by α. Thus, instead of repeating the cumulative addition in a certain direction, it is possible to parallelize the processing by independently calculating the pixel values at the number of repetitions t + 1.
[0039]
The corresponding point determination unit 15 is a processing unit that determines a corresponding point based on the similarity image after the addition in cooperation with the addition processing unit 14. Specifically, if the addition processing of each pixel is first performed, the position of the maximum value of each similarity image is detected, and the change between the position and the position of the maximum value during the previous cumulative addition processing is predetermined. If it is not within the range, the cumulative addition process is fed back and repeated, and when it is within the predetermined range, the repetition is terminated, and the position of the maximum value of each similarity image at that time is determined as a corresponding point.
[0040]
For example, when each similarity image shown in FIG. 8 is obtained by repeating the cumulative addition process, the change in the position of the maximum value of each similarity image is checked, and the change is within a predetermined range. In this case, as shown in FIG. 9, the position of the maximum value of each similarity image is obtained and used as a corresponding point. FIG. 10 shows the distortion of the input image based on the corresponding points.
[0041]
Next, the processing procedure of the corresponding point search apparatus 1 shown in FIG. 1 will be described. Although partially overlapping with the above description, the processing procedure will be described with reference to FIGS.
[0042]
FIG. 11 is a flowchart showing a processing procedure of the corresponding point search apparatus 1 shown in FIG. As shown in the figure, when the corresponding point detection device 1 acquires a reference image and an input image, the reference image is divided into reference partial images (step S101). For example, the reference image 21 of 32 × 32 pixels shown in FIG. 2A is divided into 25 reference partial images composed of 7 × 7 pixels shown in FIG. 3 and stored. This reference partial image may be stored in advance for each image to be referred to, or only a reference image is stored separately in advance, not a reference partial image, and the similarity between an input image and a reference image, which will be described later, is stored. When calculating the degree, the stored reference image may be divided into reference partial images.
[0043]
Thereafter, the input image is divided into input partial images (step S102). For example, the 32 × 32 pixel input image 22 shown in FIG. 2B is divided into 25 input partial images consisting of 21 × 21 pixels shown in FIG.
[0044]
Then, a similarity image between the reference partial image and the input partial image is created (step S103). For example, as shown in FIG. 5, the similarity image 53 having the similarity between the input partial image 51 and the reference partial image 52 as a pixel value is created for each input partial image, and a plurality of such as shown in FIG. Create a similarity image of.
[0045]
Thereafter, as shown in FIG. 7, in order to obtain each similarity image at the number of repetitions t + 1, the attention similarity image at the number of repetitions t is adjacent to the four directions of j direction, −j direction, i direction, and −i direction. The maximum pixel value within the predetermined range of each adjacent similarity image is added for each pixel (step S104), and the position of the maximum value of the similarity image shown in FIG. 9 is detected using the addition result. (Step S105).
[0046]
Then, it is checked whether or not the variation in the position of the maximum value is within a certain value (step S106). If it is not within the certain value (No at step S106), the process proceeds to step S104 and the number of repetitions is incremented. The process is repeated, and if it is within a certain value (Yes at Step S106), the process is terminated with this position as a corresponding point.
[0047]
Next, an addition processing procedure by the addition processing unit 14 shown in FIG. 1 will be described. FIG. 12 is a flowchart showing an addition processing procedure by the addition processing unit 14 shown in FIG.
[0048]
As shown in the figure, first, the variables m, u, and v are set to 0, and the variable n is set to 1 (steps S201 to S204). Here, the variable m is a variable used as an index in the i direction, and the variable n is a variable used as an index in the j direction. Variables u and v are i-direction and j-direction variables indicating the search range.
[0049]
And when this initialization is finished,

The calculation is performed according to the formula (step S205).
[0050]
Thereafter, the variable v is incremented (step S206). If the variable v is smaller than V (Yes in step S207), the process proceeds to step S205 and the addition process is repeated. That is, the search range is shifted in the j direction.
[0051]
On the other hand, if the variable v is greater than or equal to V (No at Step S207), the variable u is incremented (Step S208). If the variable u is smaller than U (Yes at Step S209), the process proceeds to Step S204. Repeat the addition process. That is, the search range is shifted in the i direction.
[0052]
If the variable u is greater than or equal to U (No at step S209), the calculation for a certain pixel is terminated and the process proceeds to the next pixel. Specifically, after the variable n is incremented to shift the pixel of interest in the j direction (step S210), the variable n is compared with N (step S211). If the variable n is smaller than N (step S211) (Yes in S211), the process proceeds to step S203 and the addition process is repeated.
[0053]
On the other hand, if the variable n is greater than or equal to N (No in step S211), the variable m is incremented to shift the pixel of interest in the i direction (step S212), and if the variable m is smaller than M (step S212). If affirmative (step S213), the process proceeds to step S202 to repeat the addition process. If the variable m is equal to or greater than M (No in step S213), the process ends. By performing the above-described series of processing, a cumulative addition result in the j direction is obtained for all the pixels of each similarity image.
[0054]
In the flowchart of FIG. 12, the maximum value is calculated while incrementing the variables u and v. Another calculation method, may be created in advance all the ^{_{C t m, n (u,}} v) the maximum value multiplied by the maximum value filter in the filter image C ^{t _'m,} _n and (u, v).
[0055]
Therefore, a processing procedure when such a maximum value filter is used will be described with reference to FIGS. FIG. 13 is a flowchart showing an addition processing procedure using the maximum value filter by the addition processing unit 14 shown in FIG. 1, and FIG. 14 is a flowchart showing a processing procedure of the maximum value filter.
[0056]
As shown in FIG. 13, all ^{_{C t m, n (u,}} v) the maximum value filter image C ^{t 'times} the maximum value filter _m, n (u, v) obtaining the (step S301). Specifically, as shown in FIG. 14, after variables u and v are initialized to 0 (steps S401 to S402), C ′ _{m, n} (u, v) = Max [C _{m, n} (p, q)] is calculated (step S403). However, u−1 ≦ p ≦ u + 1 and v−1 ≦ q ≦ v + 1. Then, v is incremented (step S404), and when the variable v is smaller than V (Yes at step S405), the process proceeds to step S403 and the same calculation is performed. If the variable v is greater than or equal to V (No at Step S405), the variable u is incremented (Step S406). If the variable u is smaller than U (Yes at Step S406), the process proceeds to Step S402. The same processing is repeated, and the maximum value is obtained as a result.
[0057]
When the maximum value is obtained in this way, the variables m = 0, n = 0, u = 0, v = 0 are initialized (steps S302 to S305),

The calculation is performed according to the calculation formula (step S306).
[0058]
Thereafter, the variable v is incremented (step S307). If the variable v is smaller than V (Yes at step S308), the process proceeds to step S306 and the addition process is repeated. That is, the search range is shifted in the j direction.
[0059]
On the other hand, if the variable v is equal to or greater than V (No at Step S308), the variable u is incremented (Step S309). If the variable u is smaller than U (Yes at Step S310), the process proceeds to Step S305. Repeat the addition process. That is, the search range is shifted in the i direction.
[0060]
If the variable u is greater than or equal to U (No at step S310), the calculation for a certain pixel is terminated and the process proceeds to the next pixel. Specifically, after the variable n is incremented to shift the pixel of interest in the j direction (step S311), the variable n is compared with N (step S312), and if the variable n is smaller than N (step S311). (Yes in S312), the process proceeds to step S304 and the addition process is repeated.
[0061]
On the other hand, if the variable n is greater than or equal to N (No in step S312), the variable m is incremented to shift the pixel of interest in the i direction (step S313), and if the variable m is smaller than M (step S313). If step S314 is affirmative, the process proceeds to step S303 and the addition process is repeated. If the variable m is equal to or greater than M (No in step S314), the process ends.
[0062]
As described above, according to the present embodiment, the reference image and the input image are respectively input from the image input unit 10, and the reference partial image and the input partial image are respectively generated by the division processing unit 11. 13 respectively generate similarity images obtained by calculating the similarity between the reference partial image and the input partial image, and the addition processing unit 14 adds the maximum pixel value of the adjacent similarity image to the pixel value of the target pixel of the target similarity image. Since the processing is sequentially performed while changing the target pixel, and the corresponding point determination unit 15 determines the corresponding point based on the result, (1) the case of falling into the local minimum can be reduced, and (2) the processing Can be processed in parallel and distributed efficiently and processed at high speed.
[0063]
In this embodiment, for convenience of explanation, the case where the size of the reference image and the input image is the same is shown. However, the present invention is not limited to this, and the size of the reference image and the input image is different. It can also be applied. In such a case, similar processing can be performed.
[0064]
Further, in the present embodiment, when performing the addition process, the case where the adjacent similarity image adjacent in the j direction, the −j direction, the i direction, and the −i direction of the attention similarity image is shown as a target. The present invention is not limited to this, and as shown in FIG. 15A, eight adjacent similarities connected to the attention similarity image C _{m, n} in consideration of similarity images adjacent in the oblique direction are connected. Images _{Cm-1, n-1} , _{Cm-1, n} , _{Cm-1, n + 1} , _{Cm, n-1} , _{Cm, n + 1} , _{Cm + 1, n-1} and C _{m + 1, n,} can also be applied to a case of using a _{C m + 1, n + 1} . Further, as shown in FIG. 15B, adjacent similarity images C _{m−1, n} , C _{m, n−1} , C _{m + 1, n} , and C _m adjacent to the attention similarity image C _{m, n.} _{, n + 1, as} well as adjacent image (neighbor similarity image) C _{m-2, n} , C _{m, n-2} , C _{m + 2, n} , C _{m , n + 2} can also be applied.
[0065]
In this embodiment, the case where the normalized correlation coefficient is used as the similarity is shown. However, the present invention is not limited to this, and another index such as the Euclidean distance is used as the similarity. You can also.
[0066]
【The invention's effect】
As described above, according to the first aspect of the present invention, the reference image is divided into m × n reference partial images, which are larger than the block size of the reference partial images, and some of them are mutually connected. The input image is divided into m × n input partial images so as to overlap, and the similarity is obtained by shifting the reference partial image located at the corresponding position of each input partial image on the input partial image. The maximum pixel value within a predetermined range of a plurality of similarity images generated in the vicinity of the noticed similarity image among the generated similarity images generated by generating m × n similarity images having degrees as pixel values The cumulative addition process is repeated until the position change of the maximum value before and after the addition falls within a predetermined range by adding the value obtained by multiplying the value by a constant to the pixel value of the attention similarity image to obtain a new similarity image. Of each similarity image Since the position where the prime value is the maximum is specified as the corresponding point of the input image corresponding to the reference image, when matching between images, stable matching results that are difficult to fall into a local solution are fast and efficient. It is possible to obtain a method for searching for corresponding points of an image that can be obtained well and can avoid the adverse effects caused by the cumulative addition order while further speeding up by parallel processing.
[0067]
According to the invention of claim 2, the pixel values of the plurality of adjacent similarity images adjacent to the noticed attention similarity image among the plurality of similarity images are added to the pixel value of the attention similarity image. Therefore, there is an effect that it is possible to obtain an image corresponding point search method capable of performing a rapid addition process on adjacent similarity images in parallel.
[0068]
According to the invention of claim 3, a plurality of adjacent similarity images adjacent to the noted attention similarity image among a plurality of similarity images and a plurality of neighboring similarity images further adjacent to each adjacent similarity image Is added to the pixel value of the attention similarity image, so that it is possible to obtain a corresponding point search method for an image that can be handled even when the positional deviation is large.
[0069]
According to the invention of claim 4, the horizontal direction (j direction) of the noticed similarity image of the plurality of similarity images generated by the similarity image generation step, the reverse direction of the horizontal direction (− (j direction), vertical direction (i direction), and four similarity images that are adjacent to each other in the vertical direction (-i direction) are added as objects to be added. There is an effect that a point search method is obtained.
[0070]
According to the invention of claim 5, the horizontal direction (j direction), the reverse direction of the horizontal direction (−j direction), and the vertical direction (i direction) of the noted attention similarity image among the plurality of similarity images. ), Because it is configured to add eight similarity images adjacent to each other in the vertical direction (−i direction) and diagonal directions, search for corresponding points of an image satisfying more global consistency There is an effect that a method is obtained.
[0071]
According to the invention of claim 6, when adding the pixel value of each pixel forming the adjacent similarity image or the neighborhood similarity image to the pixel value of the attention similarity image, the adjacent similarity image or the neighborhood similarity image Since the pixel value of the pixel having the maximum value among the peripheral pixels of the target pixel of the image is added to the pixel value of the target similarity image pixel corresponding to the target pixel, the maximum value can be used efficiently. There is an effect that a corresponding point search method for an image capable of obtaining corresponding points is obtained.
[0072]
According to the invention of claim 7, the reference image is divided into m × n reference partial images, and the reference image is larger than the block size of the reference partial images and is input so as to partially overlap each other. The image is divided into m × n input partial images, the similarity is obtained while shifting the reference partial image located at the corresponding position of each input partial image on the input partial image, and the obtained similarity is represented by a pixel value. M × n similarity images are generated, and the maximum pixel value within a predetermined range of a plurality of similarity images located in the vicinity of the noticed similarity image among the generated similarity images is multiplied by a constant The cumulative addition process of adding a value to the pixel value of the attention similarity image to obtain a new similarity image is repeated until the position change of the maximum value before and after the addition falls within a predetermined range, and each of the similarities subjected to the cumulative addition process When the pixel value of the image Since the position of the input image is specified as the corresponding point of the input image corresponding to the reference image, it is possible to quickly and efficiently acquire a stable association result that does not easily fall into a local solution when performing association between images. In addition, it is possible to obtain an image corresponding point search apparatus capable of avoiding the adverse effects caused by the cumulative addition order while further speeding up by parallel processing.
[0073]
According to the invention of claim 8, the reference image is divided into m × n reference partial images, and input so that the block size is larger than the reference partial image and part of them overlap each other. The image is divided into m × n input partial images, the similarity is obtained while shifting the reference partial image located at the corresponding position of each input partial image on the input partial image, and the obtained similarity is represented by a pixel value. M × n similarity images are generated, and the maximum pixel value within a predetermined range of a plurality of similarity images located in the vicinity of the noticed similarity image among the generated similarity images is multiplied by a constant The cumulative addition process of adding a value to the pixel value of the attention similarity image to obtain a new similarity image is repeated until the position change of the maximum value before and after the addition falls within a predetermined range, and each of the similarities subjected to the cumulative addition process When the pixel value of the image Since the position of the input image is specified as the corresponding point of the input image corresponding to the reference image, it is possible to quickly and efficiently acquire a stable association result that does not easily fall into a local solution when performing association between images. In addition, it is possible to obtain an image corresponding point search program capable of avoiding adverse effects caused by the cumulative addition order while further speeding up by parallel processing.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a configuration of a corresponding point search apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a reference image and an input image used in the present embodiment.
FIG. 3 is a diagram illustrating an example of a reference partial image.
FIG. 4 is a diagram illustrating an example of an input partial image.
FIG. 5 is an explanatory diagram for explaining a concept of creating a similarity image.
6 is a view showing a similarity image corresponding to each input partial image shown in FIG. 4. FIG.
FIG. 7 is an explanatory diagram for explaining an addition procedure;
FIG. 8 is a diagram showing a similarity image after addition.
9 is a diagram showing the position of the maximum value of the similarity image shown in FIG. 9. FIG.
FIG. 10 is a diagram illustrating an example of distortion (deformation) of an input image reconstructed based on corresponding points.
FIG. 11 is a flowchart showing a processing procedure of the corresponding point search apparatus shown in FIG. 1;
FIG. 12 is a flowchart illustrating an example of a cumulative addition processing procedure.
FIG. 13 is a flowchart illustrating an example of a processing procedure when cumulative addition processing is performed using a maximum value filter.
FIG. 14 is a flowchart illustrating an example of a maximum value filter processing procedure;
FIG. 15 is an explanatory diagram for describing a modification of addition processing;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Corresponding point search apparatus 10 Image input part 11 Division processing part 12 Reference partial image temporary storage part 13 Similarity image creation part 14 Addition processing part 15 Corresponding point determination part 21 Reference image 22 Input image 51 Input partial image 52 Reference partial image 53 Similarity image

Claims

A corresponding point search method for an image for searching for a corresponding point that associates an input image with a reference image to be compared with the input image,
The reference image is divided into m × n reference partial images, and the input image is larger than the block size of the reference partial images, and the input image is m × n input portions so as to partially overlap each other. The block is divided into images, the similarity is obtained while shifting the reference partial image located at the corresponding position of each input partial image on the input partial image, and m × n similarities having the obtained similarity as a pixel value A similarity image generation step for generating an image;
Of the similarity images generated by the similarity image generation step, a value obtained by multiplying a maximum pixel value within a predetermined range of a plurality of similarity images located in the vicinity of the noted attention similarity image among the similarity images by a constant number is used. An addition step of repeating the cumulative addition process to be added to the pixel value of the image to obtain a new similarity image until the position change of the maximum value before and after the addition falls within a predetermined range;
And a corresponding point specifying step of specifying a position where the pixel value of each similarity image subjected to cumulative addition processing by the adding step is maximum as a corresponding point of the input image corresponding to the reference image. Corresponding point search method.

In the adding step, pixel values of a plurality of adjacent similarity images adjacent to a noticed attention similarity image among a plurality of similarity images generated by the similarity image generating step are used as pixel values of the attention similarity image. The method for searching for corresponding points of an image according to claim 1, wherein:

The adding step includes a plurality of adjacent similarity images adjacent to the noted attention similarity image among a plurality of similarity images generated by the similarity image generation step, and a plurality of adjacent similarity images further adjacent to the adjacent similarity images. 2. The method for searching for corresponding points of an image according to claim 1, wherein a pixel value of a neighborhood similarity image is added to a pixel value of the attention similarity image.

The adding step includes a horizontal direction (j direction) of a noted attention similarity image among a plurality of similarity images generated by the similarity image generation step, a reverse direction of the horizontal direction (−j direction), a vertical direction The corresponding points of the image according to claim 1, 2 or 3, wherein four similarity images adjacent to each other in a direction (i direction) and a reverse direction (-i direction) of the vertical direction are added. Search method.

The adding step includes a horizontal direction (j direction) of a noted attention similarity image among a plurality of similarity images generated by the similarity image generation step, a reverse direction of the horizontal direction (−j direction), a vertical direction The eight similarity images adjacent to each other in the direction (i direction), the reverse direction of the vertical direction (-i direction), and each oblique direction are set as addition targets. Corresponding point search method for images.

In the adding step, when the pixel value of each pixel forming the adjacent similarity image or the neighborhood similarity image is added to the pixel value of the attention similarity image, the attention of the adjacent similarity image or the neighborhood similarity image 6. The pixel value of a pixel having the maximum value among peripheral pixels of the pixel is added to a pixel value of a pixel of the attention similarity image corresponding to the attention pixel. 2. A method for searching corresponding points of an image described in 1.

An image corresponding point search device that searches for corresponding points that associate an input image with a reference image to be compared with the input image,
The reference image is divided into m × n reference partial images, and the input image is larger than the block size of the reference partial images, and the input image is m × n input portions so as to partially overlap each other. The block is divided into images, the similarity is obtained while shifting the reference partial image located at the corresponding position of each input partial image on the input partial image, and m × n similarities having the obtained similarity as a pixel value Similarity image generation means for generating an image;
Of the similarity images generated by the similarity image generation means, a value obtained by multiplying a maximum pixel value within a predetermined range of a plurality of similarity images located in the vicinity of the noted attention similarity image by a fixed number is the attention similarity. An addition means for repeating the cumulative addition processing to be added to the pixel value of the image to obtain a new similarity image until the position change of the maximum value before and after the addition falls within a predetermined range;
And a corresponding point specifying unit that specifies a position where the pixel value of each similarity image cumulatively added by the adding unit is maximum as a corresponding point of the input image corresponding to the reference image. Corresponding point search device.

An image corresponding point search program for searching for corresponding points that associate an input image with a reference image to be compared with the input image,
The reference image is divided into m × n reference partial images, and the input image is larger than the block size of the reference partial images, and the input image is m × n input portions so as to partially overlap each other. The block is divided into images, the similarity is obtained while shifting the reference partial image located at the corresponding position of each input partial image on the input partial image, and m × n similarities having the obtained similarity as a pixel value A similarity image generation procedure for generating an image;
Attention was focused similarities plurality of similarity constant a value obtained by multiplying the maximum pixel value the interest similarity within a predetermined range of the image to be located in the vicinity of the image of the similarity similarity image generated by the image generation procedure An addition procedure for repeating the cumulative addition process to be added to the pixel value of the image to obtain a new similarity image until the position change of the maximum value before and after the addition falls within a predetermined range;
Corresponding points of an image for causing a computer to execute a corresponding point specifying procedure for specifying a position where the pixel value of each similarity image subjected to cumulative addition processing by the adding procedure is maximum as a corresponding point of an input image corresponding to the reference image Search program.