JP4460274B2

JP4460274B2 - Corresponding point search method of image, corresponding point search device, and corresponding point search program

Info

Publication number: JP4460274B2
Application number: JP2003407126A
Authority: JP
Inventors: 和隆安達; 弘之大西
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2003-12-05
Filing date: 2003-12-05
Publication date: 2010-05-12
Anticipated expiration: 2023-12-05
Also published as: JP2005165928A

Description

本発明は、入力画像と参照画像の類似度を画素値として持つ類似度画像を作成し、該類似度画像に対して対応点探索処理をおこなって対応点を決定する画像の対応点探索方法、対応点探索装置および対応点探索プログラムに関し、特に、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる画像の対応点探索方法、対応点探索装置および対応点探索プログラムに関する。 The present invention creates a similarity image having the similarity between an input image and a reference image as a pixel value, performs a corresponding point search process on the similarity image, and determines a corresponding point. With respect to the corresponding point search device and the corresponding point search program, in particular, when performing correlation between images, a corresponding point search method for an image that can quickly and efficiently acquire a stable correlation result that does not easily fall into a local solution, The present invention relates to a corresponding point search device and a corresponding point search program.

従来より、スキャナなどの画像入力装置から入力された入力画像をあらかじめ登録した参照画像とを照合する際に、両画像の対応点を探索して画像間の対応付けをおこなう技術が知られている。 2. Description of the Related Art Conventionally, when matching an input image input from an image input device such as a scanner with a reference image registered in advance, a technique for searching for corresponding points of both images and associating the images is known. .

たとえば、非特許文献１（従来技術１）には、設定したエネルギー関数を変分法の枠組みにより最小化する標準正則化理論を適用した技術が開示されている。この従来技術１が採用する標準正則化理論は、局所的な情報のみを使った繰り返し計算によりエネルギーを最小化することによって対応点を計算するものであるので、並列分散処理をおこなうことができ、人間の脳情報処理に近い処理を実現できる可能性がある。 For example, Non-Patent Document 1 (Prior Art 1) discloses a technique that applies a standard regularization theory that minimizes a set energy function by a framework of a variational method. The standard regularization theory adopted by this prior art 1 is to calculate corresponding points by minimizing energy by iterative calculation using only local information, so that parallel distributed processing can be performed. There is a possibility that processing close to human brain information processing can be realized.

また、非特許文献２（従来技術２）には、ＤＰ（Dynamic Programming）を用いて効率的に最適解を探索する２次元ＤＰワープ法を採用した技術が開示されている。この従来技術２によれば、最適化問題を効率的に計算することができる。 Non-Patent Document 2 (Prior Art 2) discloses a technique that employs a two-dimensional DP warp method that efficiently searches for an optimal solution using DP (Dynamic Programming). According to this prior art 2, the optimization problem can be calculated efficiently.

ところが、上記従来技術１のものは、局所的な情報のみを使った繰り返し計算によってエネルギーを最小化して対応点を計算するため、初期値の影響が大きくなるという問題や、局所解（ローカルミニマム）に陥り易いことから最適な対応付け結果を得られ難いという問題がある。また、従来技術２のものは、ＤＰによって効率よく最適解を探索できるものの、その計算量が膨大なものになるという問題がある。具体的には、最適解を得るためには画像サイズの指数オーダーの計算時間が必要となる。 However, in the above prior art 1, since the corresponding points are calculated by minimizing energy by iterative calculation using only local information, there is a problem that the influence of the initial value becomes large, and a local solution (local minimum). There is a problem that it is difficult to obtain an optimum matching result because it is easy to fall into the process. Moreover, although the thing of the prior art 2 can search an optimal solution efficiently by DP, there exists a problem that the computational complexity becomes huge. Specifically, in order to obtain an optimal solution, calculation time in the exponent order of the image size is required.

これらのことから、本願特許出願人は、特許文献１（従来技術３）において、画像間の対応付けをおこなう際に、局所解に陥ることなく安定した対応付け結果を得ることができる画像の対応点探索装置、対応点探索方法およびその方法をコンピュータに実行させるプログラムを提案した。 From these facts, the applicant of the present patent application, in Patent Document 1 (Prior Art 3), when matching between images, it is possible to obtain image matching that can obtain a stable matching result without falling into a local solution. A point search device, a corresponding point search method, and a program for causing a computer to execute the method were proposed.

具体的には、各類似度画像の画素値を垂直方向および水平方向別に累積加算を繰り返した後に、これらの累積加算結果から得られる各画素の周辺画素の最大値を類似度画像の各画素の画素値に累積加算して類似度画像を更新し、更新後の各類似度画像の最大値の位置と更新前の各類似度画像の最大値の位置との変動が所定値未満となるまでこれらの処理を繰り返して、入力部分画像上での対応点を求めるものである。 Specifically, after repeating cumulative addition of the pixel values of each similarity image for each of the vertical direction and the horizontal direction, the maximum value of the peripheral pixels of each pixel obtained from these cumulative addition results is calculated for each pixel of the similarity image. The similarity image is updated by accumulatively adding to the pixel value, and the variation between the position of the maximum value of each updated similarity image and the position of the maximum value of each similarity image before the update is less than a predetermined value. This process is repeated to obtain corresponding points on the input partial image.

T.Poggio，V.TorreandC.Koch，”Computational vision and regularization theory”，NATURE Vol.317，pp. 314-319，1985T.Poggio, V.TorreandC.Koch, “Computational vision and regularization theory”, NATURE Vol.317, pp. 314-319, 1985 内田誠一，迫江博昭，”動的計画法に基づく単調連続２次元ワープ法の検討”，信学論（D-II） Vol. J81-D-II no. 6，pp.1251-1258，June 1998Seiichi Uchida and Hiroaki Sakoe, “Study of monotonic continuous two-dimensional warp method based on dynamic programming”, IEICE theory (D-II) Vol. J81-D-II no. 6, pp.1251-1258, June 1998 特願２００２−０５６６６１号Japanese Patent Application No. 2002-056761

しかしながら、この従来技術３では、各類似度画像の全画素を探索範囲として累積加算処理および更新処理を繰り返して対応点を求めるものであるため、処理を迅速化する上での制約があった。 However, in this prior art 3, since all the pixels of each similarity image are used as a search range and the cumulative addition process and the update process are repeated to obtain corresponding points, there is a limitation in speeding up the process.

また、同じパターンが周期的に現れる画像間の対応付けをおこなう場合、精度の良い対応付け結果を取得することが困難であるという問題点があった。具体的には、参照画像および入力画像に同じパターンが周期的に存在することに起因して同一の類似度画像内に画素値の近い画素が複数存在するようになる。このため、類似度画像の最大値の位置が曖昧になり、精度の良い対応付け結果を取得することができない。 In addition, when matching between images in which the same pattern appears periodically, there is a problem that it is difficult to obtain a highly accurate matching result. Specifically, due to the same pattern periodically present in the reference image and the input image, there are a plurality of pixels having similar pixel values in the same similarity image. For this reason, the position of the maximum value of the similarity image becomes ambiguous, and an accurate association result cannot be acquired.

そこで、この発明は、上述した従来技術による問題点を解消するためになされたものであり、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる画像の対応点探索方法、対応点探索装置および対応点探索プログラムを提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems caused by the prior art, and when performing association between images, a stable association result that is unlikely to fall into a local solution is acquired quickly and efficiently. An object of the present invention is to provide a corresponding point search method, a corresponding point search device, and a corresponding point search program.

上述した課題を解決し、目的を達成するため、本発明は、入力画像と参照画像の類似度を画素値として持つ類似度画像を作成し、該類似度画像に対して対応点探索処理をおこなって対応点を決定する画像の対応点探索方法であって、前記類似度画像に対して最大値圧縮をおこなった後に、該最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、各類似度画像内で対応点が存在する領域を特定する領域特定工程と、前記領域特定工程によって特定された各類似度画像内の領域に限定して対応点探索処理をおこなって、各類似度画像内の対応点を決定する対応点決定工程とを含んだことを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention creates a similarity image having the similarity between the input image and the reference image as a pixel value, and performs corresponding point search processing on the similarity image. The corresponding point search method of the image for determining the corresponding points, wherein after the maximum value compression is performed on the similarity image, the corresponding point search process is performed on the similarity image on which the maximum value compression has been performed. The region specifying step for specifying the region where the corresponding point exists in each similarity image, and the corresponding point search processing limited to the region in each similarity image specified by the region specifying step, And a corresponding point determining step for determining corresponding points in each similarity image.

また、本発明は、入力画像と参照画像の類似度を画素値として持つ類似度画像を作成し、該類似度画像に対して対応点探索処理をおこなって対応点を決定する画像の対応点探索方法であって、前記類似度画像に対して最大値圧縮を段階的に繰り返しおこなう類似度画像圧縮処理工程と、前記類似度画像圧縮処理工程によって最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、各類似度画像内で対応点が存在する領域を特定する領域特定工程と、前記領域特定工程によって各類似度画像内で対応点が存在するとして特定された領域が画像中心になるようにシフトするシフト工程と、前記領域特定工程によって特定された各類似度画像内の領域に限定して対応点探索処理をおこなった後に、前記シフト工程による前記シフトの累積量に応じて各類似度画像内の対応点を決定する対応点決定工程とを含んだことを特徴とする。 Also, the present invention creates a similarity image having the similarity between the input image and the reference image as a pixel value, and performs corresponding point search processing on the similarity image to determine corresponding points. A similarity image compression processing step that repeatedly performs maximum value compression on the similarity image in stages, and a similarity image that has been subjected to maximum value compression by the similarity image compression processing step. An area specifying step for performing a corresponding point search process to specify an area where a corresponding point exists in each similarity image, and an area specified as having a corresponding point in each similarity image by the area specifying step After performing the shift process for shifting to the center of the image and performing the corresponding point search process limited to the area in each similarity image specified by the area specifying process, the shift process by the shift process. It contains a corresponding point determination step of determining a corresponding point in each similarity image according to the accumulated amount of bets characterized.

また、本発明は、入力画像と参照画像の類似度を画素値として持つ類似度画像を作成し、該類似度画像に対して対応点探索処理をおこなって対応点を決定する画像の対応点探索装置であって、前記類似度画像に対して最大値圧縮をおこなった後に、該最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、各類似度画像内で対応点が存在する領域を特定する領域特定手段と、前記領域特定手段によって特定された各類似度画像内の領域に限定して対応点探索処理をおこなって、各類似度画像内の対応点を決定する対応点決定手段とを備えたことを特徴とする。 Also, the present invention creates a similarity image having the similarity between the input image and the reference image as a pixel value, and performs corresponding point search processing on the similarity image to determine corresponding points. The apparatus, after performing maximum value compression on the similarity image, performing corresponding point search processing on the similarity image on which the maximum value compression has been performed, and corresponding points in each similarity image The region specifying means for specifying the region where the image is present, and the corresponding point search processing is limited to the regions in each similarity image specified by the region specifying means, and the corresponding points in each similarity image are determined. And corresponding point determination means.

また、本発明は、入力画像と参照画像の類似度を画素値として持つ類似度画像を作成し、該類似度画像に対して対応点探索処理をおこなって対応点を決定する画像の対応点探索装置であって、前記類似度画像に対して最大値圧縮を段階的に繰り返しおこなう類似度画像圧縮処理手段と、前記類似度画像圧縮処理手段によって最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、各類似度画像内で対応点が存在する領域を特定する領域特定手段と、前記領域特定手段によって各類似度画像内で対応点が存在するとして特定された領域が画像中心になるようにシフトするシフト手段と、前記領域特定手段によって特定された各類似度画像内の領域に限定して対応点探索処理をおこなった後に、前記シフト手段による前記シフトの累積量に応じて各類似度画像内の対応点を決定する対応点決定手段とを備えたことを特徴とする。 Also, the present invention creates a similarity image having the similarity between the input image and the reference image as a pixel value, and performs corresponding point search processing on the similarity image to determine corresponding points. A similarity image compression processing unit that repeatedly performs maximum value compression on the similarity image stepwise, and a similarity image that has been subjected to maximum value compression by the similarity image compression processing unit. A region specifying unit that performs a corresponding point search process to specify a region where a corresponding point exists in each similarity image, and a region specified by the region specifying unit as having a corresponding point in each similarity image After performing a corresponding point search process limited to a region in each similarity image specified by the region specifying unit and a shift unit that shifts to be the center of the image, Characterized by comprising in the corresponding point determination means for determining a corresponding point in each similarity image according to the accumulated amount of bets.

また、本発明は、入力画像と参照画像の類似度を画素値として持つ類似度画像を作成し、該類似度画像に対して対応点探索処理をおこなって対応点を決定する画像の対応点探索プログラムであって、前記類似度画像に対して最大値圧縮をおこなった後に、該最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、各類似度画像内で対応点が存在する領域を特定する領域特定手順と、前記領域特定手順によって特定された各類似度画像内の領域に限定して対応点探索処理をおこなって、各類似度画像内の対応点を決定する対応点決定手順とをコンピュータに実行させることを特徴とする。 Also, the present invention creates a similarity image having the similarity between the input image and the reference image as a pixel value, and performs corresponding point search processing on the similarity image to determine corresponding points. After performing maximum value compression on the similarity image, the program performs corresponding point search processing on the similarity image on which the maximum value compression has been performed, and corresponding points in each similarity image The corresponding point search process is performed only for the region specifying procedure for specifying the region in which the image exists, and the region in each similarity image specified by the region specifying procedure, and the corresponding point in each similarity image is determined. And causing the computer to execute a corresponding point determination procedure.

本発明に係る対応点探索方法によれば、類似度画像に対して最大値圧縮をおこなった後に、該最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、各類似度画像内で対応点が存在する領域を特定し、各類似度画像内の領域に限定して対応点探索処理をおこなって、各類似度画像内の対応点を決定するように構成したので、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる。さらに、これに関連して、最大値圧縮した類似度画像に対して「対応点探索処理」をおこなうことにより、隣接するブロック（類似度画像）間の変形許容度が大きくなり、画像の大きな変形に追従できるようになる。このため、元の類似度画像に対して「対応点探索処理」をおこなう際に変形許容度を限定する（累積加算処理部１７におけるαの値を１に近づける）ことが可能になり、同じパターンが周期的に現れる画像間の対応付けをおこなう場合でも、精度の良い対応付け結果を取得することができる。 According to the corresponding point search method of the present invention, after performing maximum value compression on a similarity image, corresponding point search processing is performed on the similarity image on which the maximum value compression has been performed, and Since the region where the corresponding point exists in the degree image is specified, the corresponding point search process is performed only in the region in each similarity image, and the corresponding point in each similarity image is determined. When associating images, a stable associating result that is unlikely to fall into a local solution can be acquired quickly and efficiently. Further, in relation to this, by performing “corresponding point search processing” on the similarity image having the maximum value compressed, the deformation tolerance between the adjacent blocks (similarity images) is increased, and the image is greatly deformed. Can follow. For this reason, it becomes possible to limit the deformation tolerance when the “corresponding point search process” is performed on the original similarity image (the value of α in the cumulative addition processing unit 17 approaches 1), and the same pattern Even when performing association between images that periodically appear, an accurate association result can be acquired.

また、本発明によれば、類似度画像に対して最大値圧縮を段階的に繰り返しおこない、最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、各類似度画像内で対応点が存在する領域を特定し、各類似度画像内で対応点が存在するとして特定された領域が画像中心になるようにシフトし、各類似度画像内の領域に限定して対応点探索処理をおこなった後に、シフトの累積量に応じて各類似度画像内の対応点を決定するよう構成したので、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる。 Further, according to the present invention, maximum value compression is repeatedly performed in steps on similarity images, and corresponding point search processing is performed on similarity images on which maximum value compression has been performed. To identify the area where the corresponding point exists, shift the area identified as having the corresponding point in each similarity image to be the center of the image, and limit the corresponding point to the area in each similarity image After performing the search process, the corresponding points in each similarity image are determined according to the cumulative amount of shift, so when matching between images, stable matching results that are difficult to fall into a local solution Can be obtained quickly and efficiently.

以下に添付図面を参照して、この発明に係る画像の対応点探索方法、対応点探索装置および対応点探索プログラムの好適な実施例を詳細に説明する。 Exemplary embodiments of a corresponding point search method, a corresponding point search apparatus, and a corresponding point search program according to the present invention will be described below in detail with reference to the accompanying drawings.

図１は、本実施例で用いる対応点探索装置の構成を示す機能ブロック図である。同図に示す対応点探索装置１は、概略的には、（１）入力画像を分割した入力部分画像と参照画像を分割した参照部分画像との間の類似度を示す類似度画像を作成する類似度画像作成段階と、（２）類似度画像に対して最大値圧縮をおこなった後に、該最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、各類似度画像内で対応点が存在する領域（対応点候補位置）を特定する「対応点候補位置特定段階」（特許請求の範囲に記載の「領域特定手段」に相当する。）と、（３）対応点候補位置特定段階で特定された各類似度画像内の領域に限定して対応点探索処理をおこなって、各類似度画像内の対応点を決定する「対応点決定段階」の３つの段階の処理をおこなう。 FIG. 1 is a functional block diagram showing the configuration of the corresponding point search apparatus used in this embodiment. The corresponding point search apparatus 1 shown in the figure schematically creates (1) a similarity image indicating a similarity between an input partial image obtained by dividing an input image and a reference partial image obtained by dividing a reference image. (2) After performing maximum value compression on the similarity image, corresponding point search processing is performed on the similarity image on which the maximum value compression has been performed. A “corresponding point candidate position specifying stage” (corresponding to “area specifying means” described in the claims) for specifying a region (corresponding point candidate position) in which corresponding points exist, and (3) corresponding points Three-step processing of “corresponding point determination step” for determining corresponding points in each similarity image by performing corresponding point search processing limited to the region in each similarity image specified in the candidate position specifying step To do.

具体的には、（１）類似度画像作成段階では、たとえば１６×１６画素のサイズからなる参照部分画像を４８×４８画素のサイズからなる入力部分画像内を移動させつつ順次相関値を求め、この相関値を画素値として持つ類似度画像を作成する（図５参照）。このため、この類似度画像は、参照部分画像上の中心点が入力部分画像上の点にどの程度類似しているかを示すことになる。 Specifically, (1) at the similarity image creation stage, for example, a correlation value is sequentially obtained while moving a reference partial image having a size of 16 × 16 pixels within an input partial image having a size of 48 × 48 pixels, A similarity image having the correlation value as a pixel value is created (see FIG. 5). For this reason, this similarity image indicates how similar the center point on the reference partial image is to the point on the input partial image.

次に、（２）対応点候補位置特定段階では、類似度画像に対して１／４最大値圧縮をおこない、該最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、類似度画像の解像度が１／４の場合（粗探索時）での対応点を求める（図８参照）。この粗探索時での「対応点」（すなわち、「対応点候補位置」）は、元の類似度画像の対応点が存在し得る領域を示唆するものである。さらに、類似度画像に対して１／２最大値圧縮をおこなった場合についても同様に「対応点候補位置」を求め（図９参照）、各類似度画像内で対応点が存在する領域を段階的に絞り込んでいく（図６参照）。 Next, (2) in the corresponding point candidate position specifying stage, the maximum similarity value compression is performed on the similarity image, and the corresponding point search process is performed on the similarity image on which the maximum value compression has been performed. Corresponding points when the resolution of the similarity image is 1/4 (during rough search) are obtained (see FIG. 8). The “corresponding point” (that is, “corresponding point candidate position”) at the time of this rough search suggests an area where the corresponding point of the original similarity image can exist. Further, in the case where 1/2 maximum value compression is performed on similarity images, “corresponding point candidate positions” are similarly obtained (see FIG. 9), and regions where corresponding points exist in each similarity image are staged. (Refer to FIG. 6).

そして、（３）対応点決定段階では、対応点探索処理の探索範囲を各類似度画像内で対応点が存在する領域に限定し、該限定された探索範囲（各類似度画像内で対応点が存在する領域）の画素値を累積加算した結果に基づいて最適な対応点を決定する（図６および図１０参照）。 Then, (3) at the corresponding point determination stage, the search range of the corresponding point search process is limited to a region where the corresponding point exists in each similarity image, and the limited search range (corresponding point in each similarity image) The optimum corresponding point is determined based on the result of cumulative addition of the pixel values in the region where the pixel exists) (see FIGS. 6 and 10).

次に、図１に示した対応点探索装置１の構成について説明する。なお、ここでは参照画像、入力画像の順に画像を入力する場合を示すこととする。図１に示すように、この対応点探索装置１は、画像入力部１０と、分割処理部１１と、参照部分画像一時記憶部１２と、類似度画像作成部１３と、類似度画像圧縮処理部１４と、シフト量算出部１５と、シフト補正部１６と、累積加算処理部１７と、類似度画像更新部１８と、対応点決定部１９と、からなる。 Next, the configuration of the corresponding point search apparatus 1 shown in FIG. 1 will be described. Here, the case where the images are input in the order of the reference image and the input image is shown. As shown in FIG. 1, the corresponding point search apparatus 1 includes an image input unit 10, a division processing unit 11, a reference partial image temporary storage unit 12, a similarity image creation unit 13, and a similarity image compression processing unit. 14, a shift amount calculation unit 15, a shift correction unit 16, a cumulative addition processing unit 17, a similarity image update unit 18, and a corresponding point determination unit 19.

画像入力部１０は、縦横のサイズＩ、Ｊからなる参照画像Ｉ₀（ｉ，ｊ）および入力画像Ｉ₁（ｉ，ｊ）（０≦ｉ≦Ｉ−１，０≦ｊ≦Ｊ−１）を入力する入力部である。具体的には、光学的に原稿を読み取って画像を取得するスキャナや、ネットワークから画像を取得するインターフェース部や、二次記憶装置から画像を読み出す読み出し部が該当する。ここで、この入力画像とは、対応点の探索対象となる画像であって、歪みや変形を伴うものであっても良い。これに対して、参照画像とは、入力画像の比較の対象となる画像であり、歪みなどを伴わないものであることが望ましい。 The image input unit 10 includes a reference image I ₀ (i, j) and an input image I ₁ (i, j) (0 ≦ i ≦ I−1, 0 ≦ j ≦ J−1) having vertical and horizontal sizes I and J. Is an input unit for inputting. Specifically, a scanner that optically reads a document to acquire an image, an interface unit that acquires an image from a network, and a reading unit that reads an image from a secondary storage device are applicable. Here, the input image is an image to be searched for corresponding points, and may be one that is distorted or deformed. On the other hand, the reference image is an image to be compared with the input image, and it is desirable that the image is not accompanied by distortion.

図２−１には参照画像２１を示しており、図２−２には入力画像２２を示している。これらの参照画像２１および入力画像２２は、いずれも同じパターン（斜線）が繰り返し周期的に現れる画像であり、４８×６４画素からなる。 FIG. 2A shows a reference image 21, and FIG. 2B shows an input image 22. Each of the reference image 21 and the input image 22 is an image in which the same pattern (oblique line) repeatedly appears periodically, and is composed of 48 × 64 pixels.

分割処理部１１は、画像入力部１０により入力された入力画像および参照画像を入力部分画像および参照部分画像にそれぞれ分割する処理部である。ただし、入力画像の分割手順と参照画像の分割手順はそれぞれ異なる。 The division processing unit 11 is a processing unit that divides the input image and the reference image input by the image input unit 10 into an input partial image and a reference partial image, respectively. However, the procedure for dividing the input image is different from the procedure for dividing the reference image.

参照画像を分割する場合には、参照画像上で縦方向にＭ個、横方向にＮ個サンプリングした点（ｐ_m，ｑ_n）（０≦ｍ≦Ｍ−１，０≦ｎ≦Ｎ−１）を中心とした参照部分画像を作成する。図３は、図２−１に示した参照画像２１の分割結果の一例を示す図であり、同図に示すように、ここでは４８×６４画素の参照画像２１を１６×１６画素からなる１２個の参照部分画像に分割している。具体的には、ｐ_m＝round（Ｉ／Ｍ）、ｑ_n＝round（Ｊ／Ｎ）としている。ただし、round（）は四捨五入を示している。 When the reference image is divided, M (vertical _m , q _n ) points (p _m , q _n ) (0 ≦ m ≦ M−1, 0 ≦ n ≦ N−1) are sampled vertically and N on the reference image ) To create a reference partial image. FIG. 3 is a diagram illustrating an example of the division result of the reference image 21 illustrated in FIG. 2A. As illustrated in FIG. 3, the reference image 21 of 48 × 64 pixels is represented by 12 × 16 × 16 pixels. It is divided into reference partial images. Specifically, p _m = round (I / M) and q _n = round (J / N). However, round () indicates rounding off.

入力画像を分割する場合には、参照画像を分割する場合と異なり、各入力部分画像の一部が重なり合う重複したデータを持つように分割する。図４は、図２−２に示した入力画像２２の分割結果の一例を示す図であり、同図に示すように、ここでは４８×６４画素の入力画像２２を４８×４８画素からなる１２個の入力部分画像に分割している。 When the input image is divided, unlike the case where the reference image is divided, the input image is divided so that a part of each input partial image has overlapping data. FIG. 4 is a diagram showing an example of the division result of the input image 22 shown in FIG. 2-2. As shown in the figure, here, the input image 22 of 48 × 64 pixels is formed of 12 × 48 × 48 pixels. It is divided into input partial images.

参照部分画像一時記憶部１２は、分割処理部１１で分割した各参照部分画像を一時記憶する記憶部であり、類似度画像作成部１３が類似度画像を作成する際に該当する参照部分画像が取り出される。 The reference partial image temporary storage unit 12 is a storage unit that temporarily stores each reference partial image divided by the division processing unit 11, and the reference partial image corresponding when the similarity image creating unit 13 creates the similarity image is displayed. It is taken out.

類似度画像作成部１３は、入力部分画像と参照部分画像の間の変形を考慮した類似度を算定して、該類似度を画素値として持つ類似度画像Ｃ（m , n , u , v）（０≦ｍ≦Ｍ−１，０≦ｎ≦Ｎ−１，０≦ｕ≦Ｕ−１，０≦ｖ≦Ｖ−１）を作成する処理部である。ただし、Ｕ，Ｖはそれぞれ類似度画像の縦横のサイズであるものとする。この類似度として正規化相関係数を用いることができる。 The similarity image creation unit 13 calculates a similarity considering the deformation between the input partial image and the reference partial image, and a similarity image C (m 1, n 2, u 3 v) having the similarity as a pixel value. (0 ≦ m ≦ M−1, 0 ≦ n ≦ N−1, 0 ≦ u ≦ U−1, 0 ≦ v ≦ V−1). However, U and V are the vertical and horizontal sizes of the similarity image. A normalized correlation coefficient can be used as this similarity.

図５は、参照部分画像と入力部分画像から類似度画像を作成する概念を説明するための説明図である。なお、ここでは図３および図４の２行２列に位置する入力部分画像と参照部分画像を用いることとする。 FIG. 5 is an explanatory diagram for explaining the concept of creating a similarity image from a reference partial image and an input partial image. Here, the input partial image and the reference partial image located in 2 rows and 2 columns of FIGS. 3 and 4 are used.

同図に示すように、入力部分画像５１と参照部分画像５２の類似度を求める場合には、参照部分画像５２の中心画素を入力部分画像５１の左上部の画素に対応づけて正規化相関係数を計算し、その計算結果を類似度画像５３の左上部の画素の画素値とする。その後、参照部分画像５２を右にずらし、同様の処理をおこなう。上記処理を参照部分画像５２をずらしながら入力部分画像５１の全画素についておこなうことにより、類似度画像５３が求められる。 As shown in the figure, when obtaining the similarity between the input partial image 51 and the reference partial image 52, the normalization phase relationship is obtained by associating the center pixel of the reference partial image 52 with the upper left pixel of the input partial image 51. The number is calculated, and the calculation result is set as the pixel value of the upper left pixel of the similarity image 53. Thereafter, the reference partial image 52 is shifted to the right, and the same processing is performed. The similarity image 53 is obtained by performing the above processing for all the pixels of the input partial image 51 while shifting the reference partial image 52.

かかる類似度画像の作成処理を各入力部分画像ごとにおこなうと、図６に示す（１）のような複数の類似度画像が得られる。なお、参照部分画像の全ての画素の画素値が一定値である場合には、正規化相関係数の分母がゼロとなるため、この場合の類似度画像の画素値もゼロとなる。 When the similarity image creation process is performed for each input partial image, a plurality of similarity images such as (1) shown in FIG. 6 are obtained. Note that when the pixel values of all the pixels of the reference partial image are constant, the denominator of the normalized correlation coefficient is zero, and the pixel value of the similarity image in this case is also zero.

類似度画像圧縮処理部１４は、類似度画像作成部１３によって作成された類似度画像に対して最大値圧縮をおこなう処理部である。具体的には、類似度画像作成部１３によって作成された類似度画像（図６に示す（１））に対して１／４最大値圧縮または１／２最大値圧縮をおこなう（図６に示す（２）および図６に示す（３）参照）。このように、類似度画像に対して最大値圧縮をおこなうこととしたのは、最大値圧縮がおこなわれた類似度画像に対して、後述する「対応点探索処理」をおこなって「対応点候補位置」を求めることにより、各類似度画像内で対応点（解）が存在する領域を特定するためである。 The similarity image compression processing unit 14 is a processing unit that performs maximum value compression on the similarity image created by the similarity image creation unit 13. Specifically, 1/4 maximum value compression or 1/2 maximum value compression is performed on the similarity image created by the similarity image creation unit 13 ((1) shown in FIG. 6) (shown in FIG. 6). (See (2) and (3) shown in FIG. 6). As described above, the maximum value compression is performed on the similarity image because the “corresponding point search process” described later is performed on the similarity image on which the maximum value compression is performed, and “corresponding point candidate” is selected. This is because the region where the corresponding point (solution) exists in each similarity image is specified by obtaining the “position”.

また、「最大値圧縮」とは、画像を所定の圧縮率で圧縮する場合に、圧縮画像として画素値が最大のものを抽出して画像を圧縮することを言う。例えば、図７に示すように、８×８画素の画像を１／４最大値圧縮する場合、４×４マスク内の最大値を１画素として抽出する。 “Maximum value compression” means that when an image is compressed at a predetermined compression rate, a compressed image having a maximum pixel value is extracted and the image is compressed. For example, as shown in FIG. 7, when an 8 × 8 pixel image is compressed by ¼ maximum value, the maximum value in the 4 × 4 mask is extracted as one pixel.

シフト量算出部１５は、「対応点候補位置特定段階」で「対応点探索処理」によって特定された「対応点候補位置」に基づいて元の類似度画像の対応点が存在する領域が画像中心となるシフト量を算出する処理部である。具体的には、１／４最大値圧縮または１／２最大値圧縮がおこなわれた類似度画像の中心点に対する「対応点候補位置」のずれから算出される。また、１／４最大値圧縮された類似度画像における対応点候補位置から求められた「シフト量」および１／２最大値圧縮された類似度画像における対応点候補位置から求められた「シフト量」を順次累積して「累積シフト量」を算出する。 The shift amount calculation unit 15 determines that the region where the corresponding point of the original similarity image exists based on the “corresponding point candidate position” specified by the “corresponding point search process” in the “corresponding point candidate position specifying stage” is the image center Is a processing unit that calculates the shift amount. Specifically, it is calculated from the shift of the “corresponding point candidate position” with respect to the center point of the similarity image that has been subjected to the 1/4 maximum value compression or the 1/2 maximum value compression. Also, the “shift amount” obtained from the corresponding point candidate position in the similarity image compressed by ¼ maximum value and the “shift amount” obtained from the corresponding point candidate position in the similarity image compressed by ½ maximum value. Are sequentially accumulated to calculate an “accumulated shift amount”.

シフト補正部１６は、シフト量算出部１５によって算出されたシフト量に応じて元の類似度画像の対応点が存在する領域が中心となるように元の類似度画像をシフト補正する処理部である。具体的には、１／４最大値圧縮された類似度画像の「対応点候補位置」が特定された後、１／２最大値圧縮における類似度画像に対して対応点探索処理をおこなう前処理としてシフト量算出部１８によって算出されたシフト量に応じて元の類似度画像をシフト補正する（図９参照）。同様にして、１／２最大値圧縮された類似度画像の対応点候補位置が特定された後（「対応点候補位置特定段階」が終了した後）、「対応点決定段階」において、元の類似度画像の対応点を決定する前処理としてシフト量算出部１５によって算出されたシフト量に応じて元の類似度画像をシフト補正する（図１０参照）。 The shift correction unit 16 is a processing unit that shift-corrects the original similarity image so that the region where the corresponding point of the original similarity image exists is centered according to the shift amount calculated by the shift amount calculation unit 15. is there. Specifically, after the “corresponding point candidate position” of the similarity image compressed by ¼ maximum value is specified, preprocessing for performing corresponding point search processing on the similarity image in ½ maximum value compression Then, the original similarity image is shift-corrected according to the shift amount calculated by the shift amount calculation unit 18 (see FIG. 9). Similarly, after the corresponding point candidate position of the similarity image compressed by 1/2 maximum value is specified (after the “corresponding point candidate position specifying stage” is completed), in the “corresponding point determination stage”, the original As a pre-process for determining the corresponding points of the similarity image, the original similarity image is shift-corrected according to the shift amount calculated by the shift amount calculation unit 15 (see FIG. 10).

ここで、本発明に密接に関連する「対応点探索処理」について説明する。この「対応点探索処理」は、概略的に、各類似度画像の画素値を垂直方向および水平方向別に独立に累積加算を繰り返した後に、これらの累積加算結果から得られる各画素の周辺画素の最大値を類似度画像の各画素の画素値に累積加算して類似度画像を更新し、更新後の各類似度画像の最大値の位置と更新前の各類似度画像の最大値の位置との変動が所定値未満となるまでこれらの処理を繰り返して、入力部分画像上での対応点を求める処理であり、機能概念的に、累積加算処理部１７、類似度画像更新部１８および対応点決定部１９によって上記の処理がおこなわれる。 Here, the “corresponding point search process” closely related to the present invention will be described. This “corresponding point search process” generally involves repeating the cumulative addition of the pixel values of each similarity image independently in the vertical direction and the horizontal direction, and then determining the peripheral pixels of each pixel obtained from these cumulative addition results. The maximum value is cumulatively added to the pixel value of each pixel of the similarity image to update the similarity image, and the position of the maximum value of each similarity image after the update and the position of the maximum value of each similarity image before the update These processes are repeated until the fluctuation of the value becomes less than a predetermined value to obtain corresponding points on the input partial image. Functionally, the cumulative addition processing unit 17, the similarity image updating unit 18, and the corresponding points The determination unit 19 performs the above processing.

このうち、累積加算処理部１７は、図１１に示すように、各類似度画像を横方向（ｊ方向）、該横方向の逆方向（−ｊ方向）、縦方向（ｉ方向）、該縦方向の逆方向（−ｉ方向）にそれぞれ独立して累積加算する処理部である。具体的には、類似度画像全体Ｃ(m , n , u , v)を４枚複写して、これをそれぞれＤ１(m , n, u , v)、Ｄ２(m , n , u , v)、Ｄ３(m , n , u , v)、Ｄ４(m , n , u , v)とし、それぞれｊ方向、−ｊ方向、ｉ方向、−ｉ方向の累積加算に使用する。たとえば、Ｄ１(m , n , u , v)を用いてｊ方向に累積加算する場合には、ｎ＝１〜Ｎ−１の類似度画像について、
Ｄ１（m , n , u , v）＝Ｃ（m , n , u , v）＋α・Ｍａｘ（Ｄ１（m , n-1 ,p , q））
を順次再帰的に計算する。ただし、Ｍａｘ（）は最大値を示し、αは定数であり、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、０≦ｍ≦Ｍ−１、０≦ｎ≦Ｎ−１、ｕ−１≦ｐ≦ｕ＋１、ｖ−１≦ｑ≦ｖ＋１とする。 Among these, the cumulative addition processing unit 17, as shown in FIG. 11, displays each similarity image in the horizontal direction (j direction), the reverse direction of the horizontal direction (−j direction), the vertical direction (i direction), and the vertical direction. It is a processing unit that performs cumulative addition independently in the opposite direction (−i direction). Specifically, four similar images C (m, n, u, v) are copied, and these are copied as D1 (m, n, u, v) and D2 (m, n, u, v), respectively. , D3 (m, n, u, v) and D4 (m, n, u, v), which are used for cumulative addition in the j direction, -j direction, i direction, and -i direction, respectively. For example, in the case of cumulative addition in the j direction using D1 (m, n, u, v), for similarity images of n = 1 to N−1,
D1 (m, n, u, v) = C (m, n, u, v) + α · Max (D1 (m, n-1, p, q))
Are sequentially recursively calculated. However, Max () indicates the maximum value, α is a constant, 0 ≦ u ≦ U−1, 0 ≦ v ≦ V−1, 0 ≦ m ≦ M−1, 0 ≦ n ≦ N−1, u −1 ≦ p ≦ u + 1 and v−1 ≦ q ≦ v + 1.

すなわち、ｊ方向に累積加算する場合には、図１２に示すように、Ｄ１(m , n-1 , u , v)を中心とする８近傍内の９画素のうちの最大の画素値を求め、この最大の画素値をα倍してＣ(m , n , u , v)の画素値に加算する処理を再帰的に繰り返すことになる。 That is, when accumulatively adding in the j direction, as shown in FIG. 12, the maximum pixel value of 9 pixels in 8 neighborhoods centered on D1 (m, n-1, u, v) is obtained. The process of multiplying the maximum pixel value by α and adding it to the pixel value of C (m, n, u, v) is recursively repeated.

また、−ｊ方向に累積加算する場合には、ｎ＝Ｎ−２〜０の類似度画像について、
Ｄ３（m , n , u , v ）＝Ｃ（m , n , u , v）＋α・Ｍａｘ（Ｄ３（m , n+1 , p , q））
を順次再帰的に計算する。ただし、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、０≦ｍ≦Ｍ−１、０≦ｎ≦Ｎ−２とする。すなわち、−ｊ方向に累積加算する場合には、図１３に示すように、Ｄ３（m , n+1 ,u , v）を中心とする８近傍内の９画素のうちの最大の画素値を求め、この最大の画素値をα倍してＣ(m , n , u , v)の画素値に加算する処理を再帰的に繰り返すことになる。 When accumulatively adding in the −j direction, n = N−2 to 0 similarity images,
D3 (m, n, u, v) = C (m, n, u, v) + α · Max (D3 (m, n + 1, p, q))
Are sequentially recursively calculated. However, 0≤u≤U-1, 0≤v≤V-1, 0≤m≤M-1, and 0≤n≤N-2. That is, when cumulative addition is performed in the −j direction, as shown in FIG. 13, the maximum pixel value among 9 pixels in 8 neighborhoods centered on D3 (m, n + 1, u, v) is set. The process of obtaining and multiplying the maximum pixel value by α and adding it to the pixel value of C (m, n, u, v) is recursively repeated.

また、ｉ方向に累積加算する場合には、ｍ＝１〜Ｍ−１の類似度画像について、
Ｄ２（m , n , u , v）＝Ｃ（m , n , u , v）＋α・Ｍａｘ（Ｄ２（m-1 , n, p , q））
を順次再帰的に計算する。ただし、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、１≦ｍ≦Ｍ−１、０≦ｎ≦Ｎ−１とする。すなわち、ｉ方向に累積加算する場合には、図１４に示すように、Ｄ２（m-1 , n , u , v）を中心とする８近傍内の９画素のうちの最大の画素値を求め、この最大の画素値をα倍してＣ(m , n , u , v)の画素値に加算する処理を再帰的に繰り返すことになる。 In addition, in the case of cumulative addition in the i direction, for m = 1 to M−1 similarity images,
D2 (m, n, u, v) = C (m, n, u, v) + α · Max (D2 (m−1, n, p, q))
Are sequentially recursively calculated. However, 0≤u≤U-1, 0≤v≤V-1, 1≤m≤M-1, and 0≤n≤N-1. That is, when accumulatively adding in the i direction, as shown in FIG. 14, the maximum pixel value of 9 pixels in 8 neighborhoods centered on D2 (m−1, n, u, v) is obtained. The process of multiplying the maximum pixel value by α and adding it to the pixel value of C (m, n, u, v) is recursively repeated.

また、−ｉ方向に累積加算する場合には、ｍ＝Ｍ−２〜０の類似度画像について、
Ｄ４（m , n , u , v）＝Ｃ（m , n , u , v）＋α・Ｍａｘ（Ｄ４（m+1 , n ,p , q））
を順次再帰的に計算する。ただし、０≦ｕ≦Ｕ−１、０≦ｖ≦Ｖ−１、０≦ｍ≦Ｍ−２、０≦ｎ≦Ｎ−１とする。すなわち、−ｉ方向に累積加算する場合には、図１５に示すように、Ｄ４（m+1 , n , u , v）を中心とする８近傍内の９画素のうちの最大の画素値を求め、この最大の画素値をα倍してＣ(m , n , u , v)の画素値に加算する処理を再帰的に繰り返すことになる。 In addition, in the case of cumulative addition in the -i direction, for similarity images of m = M-2 to 0,
D4 (m, n, u, v) = C (m, n, u, v) + α · Max (D4 (m + 1, n, p, q))
Are sequentially recursively calculated. However, 0≤u≤U-1, 0≤v≤V-1, 0≤m≤M-2, and 0≤n≤N-1. That is, when accumulatively adding in the -i direction, as shown in FIG. 15, the maximum pixel value of 9 pixels in 8 neighborhoods centered on D4 (m + 1, n, u, v) is set. The process of obtaining and multiplying the maximum pixel value by α and adding it to the pixel value of C (m, n, u, v) is recursively repeated.

類似度画像更新部１８は、累積加算処理部１７の累積加算後の類似度画像に基づいて類似度画像を更新する処理部である。具体的には、まず各方向についての累積加算処理をおこなったならば、図１６の概念図に示すように、
Ｃ（m , n , u , v）＝Ｃ（m , n , u , v）＋α・Ｍａｘ（Ｄ１（m , n-1 ,p , q））
＋α・Ｍａｘ（Ｄ２（m-1 , n , p , q））
＋α・Ｍａｘ（Ｄ３（m , n+1 , p , q））
＋α・Ｍａｘ（Ｄ４（m+1, n , p , q））
の算定式によりＣ( m , n , u , v)を更新する。 The similarity image update unit 18 is a processing unit that updates the similarity image based on the similarity image after the cumulative addition of the cumulative addition processing unit 17. Specifically, if cumulative addition processing is performed for each direction, as shown in the conceptual diagram of FIG.
C (m, n, u, v) = C (m, n, u, v) + α · Max (D1 (m, n-1, p, q))
+ Α · Max (D2 (m−1, n, p, q))
+ Α · Max (D3 (m, n + 1, p, q))
+ Α · Max (D4 (m + 1, n, p, q))
C (m, n, u, v) is updated by the following formula.

その後、対応点決定部１９は、各類似度画像の最大値の位置を検出し、それらの位置と前回の各類似度画像の最大値の位置との変化が所定の範囲内でなければ累積加算処理をフィードバックして繰り返し、所定の範囲内となった時点で繰り返しを終了し、そのときの各類似度画像の最大値の位置を対応点として決定する（図６に示す（４）参照）。 Thereafter, the corresponding point determination unit 19 detects the position of the maximum value of each similarity image, and cumulative addition is performed unless the change between these positions and the position of the maximum value of each previous similarity image is within a predetermined range. The process is repeated by feeding back, and the repetition is terminated when it falls within a predetermined range, and the position of the maximum value of each similarity image at that time is determined as a corresponding point (see (4) shown in FIG. 6).

ここで、この対応点探索装置１は、類似度画像圧縮処理部１４によって最大値圧縮された類似度画像に対して「対応点探索処理」をおこなうことによって各類似度画像内で対応点が存在する領域を示唆する「対応点候補位置」を特定する「対応点候補位置特定段階」と、「対応点候補位置特定段階」で得られた「対応点候補位置」が示唆する各類似度画像内の領域に限定して対応点探索処理をおこなって、各類似度画像内の対応点を決定する「対応点決定段階」に主たる特徴がある。 Here, the corresponding point search device 1 performs a “corresponding point search process” on the similarity image that has been subjected to maximum value compression by the similarity image compression processing unit 14, so that a corresponding point exists in each similarity image. Within each similarity image suggested by the “corresponding point candidate position identifying stage” that identifies the “corresponding point candidate position” that suggests the region to be used, and the “corresponding point candidate position” obtained in the “corresponding point candidate position identifying stage” There is a main feature in the “corresponding point determination stage” in which the corresponding point search process is performed only in the region and the corresponding points in each similarity image are determined.

この主たる特徴を具体的に説明すると、類似度画像圧縮処理部１４によって１／４最大値圧縮がおこなわれた類似度画像を累積加算した結果に基づいて「対応点候補位置」を特定する（図６に示す（２）参照）。さらに、類似度画像圧縮処理部１４によって１／２最大値圧縮された類似度画像に対して「対応点探索処理」をおこなう際に、１／４最大値圧縮された類似度画像の「対応点候補位置」に基づいて対応点探索処理の探索範囲を限定し（図９参照）、該限定された探索範囲（各類似度画像内で対応点が存在する領域）の画素値を累積加算した結果に基づいて対応点候補位置を特定する（図６に示す（３）参照）。このようにして、「対応点候補位置特定段階」では、各類似度画像内で対応点が存在する領域を段階的に絞り込んでいく（図６参照）。 This main feature will be specifically described. The “corresponding point candidate position” is specified based on the result of cumulative addition of the similarity images that have been subjected to ¼ maximum value compression by the similarity image compression processing unit 14 (FIG. 6 (see (2)). Furthermore, when the “corresponding point search process” is performed on the similarity image compressed by the maximum value of 1/2 by the similarity image compression processing unit 14, the “corresponding point” of the similarity image compressed by the maximum 1/4 value is used. The search range of the corresponding point search process is limited based on the “candidate position” (see FIG. 9), and the pixel values of the limited search range (the region where the corresponding point exists in each similarity image) are cumulatively added. The corresponding point candidate position is specified based on (see (3) shown in FIG. 6). In this way, in the “corresponding point candidate position specifying stage”, the areas where the corresponding points exist in each similarity image are narrowed down in stages (see FIG. 6).

そして、「対応点決定段階」では、「対応点候補位置特定段階」で得られた「対応点候補位置」に基づいて対応点探索処理の探索範囲（各類似度画像の全画素）を各類似度画像内で対応点が存在し得る領域に限定し（図１０参照）、該限定された探索範囲（各類似度画像内で対応点が存在する領域）の画素値を累積加算した結果に基づいて最適な対応付け結果を求め、該対応付け結果にシフト量算出部１８によって算出された「累積シフト量」を反映して対応点を決定する（図６に示す（４）参照）。 Then, in the “corresponding point determination stage”, the search range (all pixels of each similarity image) of the corresponding point search process is set based on the “corresponding point candidate position” obtained in the “corresponding point candidate position specifying stage”. Based on the result of accumulating the pixel values of the limited search range (the region where the corresponding points exist in each similarity image). Then, the optimum association result is obtained, and the corresponding point is determined by reflecting the “cumulative shift amount” calculated by the shift amount calculation unit 18 in the association result (see (4) shown in FIG. 6).

したがって、上記した従来技術の例で言えば、各類似度画像の全画素を探索範囲として「対応点探索処理」をおこなうのではなく、類似度画像に対して最大値圧縮をおこなった後に、該最大値圧縮がおこなわれた類似度画像に対して対応点探索処理をおこなって、各類似度画像内で対応点が存在する領域を特定し、各類似度画像内の領域に限定して「対応点探索処理」をおこなって、各類似度画像内の対応点を決定するよう構成したので、画像間の対応付け結果の精度を維持しつつ、高速かつ効率良く対応付け結果を取得することができる。 Therefore, in the above prior art example, instead of performing “corresponding point search processing” with all pixels of each similarity image as a search range, after performing maximum value compression on the similarity image, Corresponding point search processing is performed on the similarity image that has been subjected to maximum value compression, the region where the corresponding point exists in each similarity image is identified, and the corresponding image is limited to the region in each similarity image. Since “corresponding points in each similarity degree image” are determined by performing “point search processing”, it is possible to obtain the association result quickly and efficiently while maintaining the accuracy of the association result between the images. .

さらに、これに関連して、最大値圧縮した類似度画像に対して「対応点探索処理」をおこなうことにより、隣接するブロック（類似度画像）間の変形許容度が大きくなり、画像の大きな変形に追従できるようになる。このため、元の類似度画像に対して「対応点探索処理」をおこなう際に変形許容度を限定する（累積加算処理部１７におけるαの値を１に近づける）ことが可能になり、同じパターンが周期的に現れる画像間の対応付けをおこなう場合でも、精度の良い対応付け結果を取得することができる。 Further, in relation to this, by performing “corresponding point search processing” on the similarity image having the maximum value compressed, the deformation tolerance between the adjacent blocks (similarity images) is increased, and the image is greatly deformed. Can follow. For this reason, it becomes possible to limit the deformation tolerance when the “corresponding point search process” is performed on the original similarity image (the value of α in the cumulative addition processing unit 17 approaches 1), and the same pattern Even when performing association between images that periodically appear, an accurate association result can be acquired.

次に、図１に示した対応点探索装置１の処理手順について説明する。なお、上記説明と一部重複するが、図２〜図１６を用いて処理の流れを例示しつつ処理手順について説明することとする。 Next, the processing procedure of the corresponding point search apparatus 1 shown in FIG. 1 will be described. Although partially overlapping with the above description, the processing procedure will be described while exemplifying the processing flow with reference to FIGS.

図１７は、図１に示した対応点探索装置１の処理手順を示すフローチャートである。同図に示すように、この対応点探索装置１が参照画像と入力画像を取得したならば、この参照画像を参照部分画像に分割する（ステップＳ１０１）。たとえば、図２−１に示した４８×６４画素の参照画像２１を図３に示した１６×１６画素からなる１２個の参照部分画像に分割して記憶する。この参照部分画像は、参照したい画像ごとに予め記憶しておいてもよいし、また、参照部分画像ではなく、参照画像のみを予め別途記憶しておき、後述する入力画像と参照画像との類似度画像の計算の際に、記憶された参照画像から参照部分画像に分割してもよい。 FIG. 17 is a flowchart showing a processing procedure of the corresponding point searching apparatus 1 shown in FIG. As shown in the figure, when the corresponding point search device 1 acquires a reference image and an input image, the reference image is divided into reference partial images (step S101). For example, the 48 × 64 pixel reference image 21 shown in FIG. 2A is divided into 12 reference partial images of 16 × 16 pixels shown in FIG. 3 and stored. The reference partial image may be stored in advance for each image to be referred to, or only the reference image is stored separately in advance, not the reference partial image, and the similarity between the input image and the reference image, which will be described later, is stored. When calculating the degree image, the stored reference image may be divided into reference partial images.

その後、入力画像を入力部分画像に分割する（ステップＳ１０２）。たとえば、図２−２に示した４８×６４画素の入力画像２２を図４に示した４８×４８画素からなる１２個の入力部分画像に分割する。 Thereafter, the input image is divided into input partial images (step S102). For example, the 48 × 64 pixel input image 22 shown in FIG. 2-2 is divided into 12 input partial images of 48 × 48 pixels shown in FIG.

そして、この参照部分画像と入力部分画像の間の類似度画像を作成する（ステップＳ１０３）。たとえば、図５に示すようにして入力部分画像５１と参照部分画像５２の類似度を画素値とする類似度画像５３の作成を各入力部分画像ごとにおこなって、図６に示した（１）のような複数の類似度画像を作成する。 Then, a similarity image between the reference partial image and the input partial image is created (step S103). For example, as shown in FIG. 5, a similarity image 53 having the similarity between the input partial image 51 and the reference partial image 52 as a pixel value is created for each input partial image, which is shown in FIG. 6 (1). A plurality of similarity images are created.

続いて、類似度画像（図６に示す（１））に対して１／４最大値圧縮をおこなった後に（ステップＳ１０４）、１／４最大値圧縮された類似度画像に対して「対応点探索処理」をおこなう（ステップＳ１０５）。具体的には、類似度画像圧縮処理部１４によって１／４最大値圧縮がおこなわれた類似度画像を累積加算した結果に基づいて対応点候補位置を特定する（図６に示す（２）参照）。 Subsequently, after the 1/4 maximum value compression is performed on the similarity image ((1) shown in FIG. 6) (step S104), the “corresponding point” is applied to the similarity image compressed by the 1/4 maximum value compression. "Search process" is performed (step S105). Specifically, corresponding point candidate positions are identified based on the result of cumulative addition of similarity images that have been subjected to 1/4 maximum compression by the similarity image compression processing unit 14 (see (2) shown in FIG. 6). ).

その後、１／４最大値圧縮がおこなわれた類似度画像の中心点に対する「対応点候補位置」のずれに基づいて元の類似度画像の対応点が存在する領域が画像中心となるシフト量を算出し（ステップＳ１０６）、元の類似度画像をシフト補正する（ステップＳ１０７）。 After that, based on the shift of the “corresponding point candidate position” with respect to the center point of the similarity image that has been subjected to the 1/4 maximum value compression, the shift amount in which the region where the corresponding point of the original similarity image exists becomes the image center is set. Calculation is performed (step S106), and the original similarity image is shift-corrected (step S107).

そして、類似度画像（図６に示す（１））に対して１／２最大値圧縮をおこなった後に（ステップＳ１０８）、１／４最大値圧縮された類似度画像の「対応点候補位置」が示唆する各類似度画像内の領域に限定して、１／２最大値圧縮がおこなわれた類似度画像に対して「対応点探索処理」を実行する（ステップＳ１０９）。 Then, after 1/2 maximum value compression is performed on the similarity image ((1) shown in FIG. 6) (step S108), the “corresponding point candidate position” of the similarity image compressed by 1/4 maximum value compression is performed. The “corresponding point search process” is executed on the similarity image that has been subjected to the 1/2 maximum value compression only in the region in each similarity image suggested by (step S109).

続いて、１／２最大値圧縮がおこなわれた類似度画像の中心点に対する「対応点候補位置」のずれに基づいて元の類似度画像の対応点が存在する領域が画像中心となるシフト量を算出し（ステップＳ１１０）、元の類似度画像をシフト補正する（ステップＳ１１１）。 Subsequently, based on the shift of the “corresponding point candidate position” with respect to the center point of the similarity image that has been subjected to 1/2 maximum value compression, the shift amount in which the region where the corresponding point of the original similarity image exists is the image center Is calculated (step S110), and the original similarity image is shift-corrected (step S111).

そして、１／２最大値圧縮された類似度画像の「対応点候補位置」が示唆する各類似度画像内の領域に限定して「対応点探索処理」を実行し（ステップＳ１１２）、該「対応点探索処理」の対応付け結果に「累積シフト量」を反映して対応点を決定する（ステップＳ１１３）。 Then, the “corresponding point search process” is executed only for the region in each similarity image suggested by the “corresponding point candidate position” of the similarity image compressed by the maximum value of 1/2 (step S112). Corresponding points are determined by reflecting “cumulative shift amount” in the association result of “corresponding point search process” (step S113).

次に、本発明に密接に関連する「対応点探索処理」における累積加算処理手順について詳細に説明する。図１８は、図１に示した累積加算処理部１７によるｊ方向の累積加算処理手順を示すフローチャートである。なお、−ｊ方向、ｉ方向、−ｉ方向の累積加算処理も同様におこなうことができる。 Next, the cumulative addition process procedure in the “corresponding point search process” closely related to the present invention will be described in detail. FIG. 18 is a flowchart showing the cumulative addition processing procedure in the j direction by the cumulative addition processing unit 17 shown in FIG. The cumulative addition processing in the −j direction, i direction, and −i direction can be performed in the same manner.

同図に示すように、まず変数ｍ、ｕおよびｖを０にするとともに、変数ｎを１とする初期化をおこなう（ステップＳ２０１〜Ｓ２０４）。ここで、この変数ｍはｉ方向のインデックスとして用いる変数であり、変数ｎはｊ方向のインデックスとして用いる変数である。また、変数ｕ，ｖは探索範囲を示すｉ方向およびｊ方向の変数である。 As shown in the figure, first, the variables m, u, and v are set to 0, and the variable n is set to 1 (steps S201 to S204). Here, the variable m is a variable used as an index in the i direction, and the variable n is a variable used as an index in the j direction. Variables u and v are i-direction and j-direction variables indicating the search range.

そして、この初期化を終えたならば、
Ｄ１（m , n , u , v）＝Ｃ（m , n , u , v）＋α・Ｍａｘ（Ｄ１（m , n-1, p , q））
の算定式による計算をおこなう（ステップＳ２０５）。 And when this initialization is finished,
D1 (m, n, u, v) = C (m, n, u, v) + α · Max (D1 (m, n-1, p, q))
The calculation is performed according to the formula (step S205).

その後、変数ｖをインクリメントし（ステップＳ２０６）、この変数ｖがＶよりも小さければ（ステップＳ２０７肯定）、ステップＳ２０５に移行して加算処理を繰り返す。つまり、探索範囲をｊ方向にずらすのである。 Thereafter, the variable v is incremented (step S206). If the variable v is smaller than V (Yes in step S207), the process proceeds to step S205 and the addition process is repeated. That is, the search range is shifted in the j direction.

これに対して、変数ｖがＶ以上であれば（ステップＳ２０７否定）、変数ｕをインクリメントし（ステップＳ２０８）、この変数ｕがＵよりも小さければ（ステップＳ２０９肯定）、ステップＳ２０４に移行して加算処理を繰り返す。つまり、探索範囲をｉ方向にずらすことになる。 On the other hand, if the variable v is greater than or equal to V (No at Step S207), the variable u is incremented (Step S208). If the variable u is smaller than U (Yes at Step S209), the process proceeds to Step S204. Repeat the addition process. That is, the search range is shifted in the i direction.

そして、変数ｕがＵ以上であれば（ステップＳ２０９否定）、ある画素についての計算を終了し、次の画素に移行する。具体的には、変数ｎをインクリメントして注目画素をｊ方向に移行させた後に（ステップＳ２１０）、この変数ｎをＮと比較し（ステップＳ２１１）、この変数ｎがＮよりも小さければ（ステップＳ２１１肯定）、ステップＳ２０３に移行して加算処理を繰り返す。 If the variable u is greater than or equal to U (No at step S209), the calculation for a certain pixel is terminated and the process proceeds to the next pixel. Specifically, after the variable n is incremented to shift the pixel of interest in the j direction (step S210), the variable n is compared with N (step S211). If the variable n is smaller than N (step S211) (Yes in S211), the process proceeds to step S203 and the addition process is repeated.

これに対して、変数ｎがＮ以上であれば（ステップＳ２１１否定）、変数ｍをインクリメントして注目画素をｉ方向に移行させた後に（ステップＳ２１２）、この変数ｍがＭよりも小さければ（ステップＳ２１３肯定）、ステップＳ２０２に移行して加算処理を繰り返し、変数ｍがＭ以上であれば（ステップＳ２１３否定）、処理を終了する。上記一連の処理をおこなうことにより、各類似度画像の全画素についてｊ方向の累積加算結果が得られることになる。 On the other hand, if the variable n is greater than or equal to N (No in step S211), the variable m is incremented to shift the pixel of interest in the i direction (step S212), and if the variable m is smaller than M (step S212). If affirmative (step S213), the process proceeds to step S202 to repeat the addition process. If the variable m is equal to or greater than M (No in step S213), the process ends. By performing the above-described series of processing, a cumulative addition result in the j direction is obtained for all the pixels of each similarity image.

ところで、上記図１８のフローチャートでは、変数ｕ，ｖのインクリメントをおこないながら最大値を算出していた。別の計算方法として、あらかじめＣ（m, n-1 , u , v）に最大値フィルターをかけた最大値フィルター画像Ｄ１'（m , n-1, u , v）を作成しておき、α倍してからＣ（m , n , u , v）と加算することもできる。 Incidentally, in the flowchart of FIG. 18, the maximum value is calculated while incrementing the variables u and v. As another calculation method, a maximum value filter image D1 ′ (m, n−1, u, v) obtained by applying a maximum value filter to C (m, n−1, u, v) in advance is created, and α It is also possible to add C (m, n, u, v) after multiplying.

そこで、かかる最大値フィルターを用いる場合の処理手順を図１９および図２０を用いて説明する。図１９は、図１に示した累積加算処理部１７による最大値フィルターを用いたｊ方向の累積加算処理手順を示すフローチャートであり、図２０は、最大値フィルターの処理手順を示すフローチャートである。 Therefore, a processing procedure in the case of using such a maximum value filter will be described with reference to FIGS. FIG. 19 is a flowchart showing the j-direction cumulative addition processing procedure using the maximum value filter by the cumulative addition processing unit 17 shown in FIG. 1, and FIG. 20 is a flowchart showing the maximum value filter processing procedure.

図１９に示すように、変数ｍを０に初期化し（ステップＳ３０１）、変数ｎを１に初期化した後（ステップＳ３０２）、最大値フィルターＤ１'（m , n-1 , u , v）を算定する（ステップＳ３０３）。 As shown in FIG. 19, after the variable m is initialized to 0 (step S301) and the variable n is initialized to 1 (step S302), the maximum value filter D1 ′ (m 1, n−1, u, v) is Calculate (step S303).

具体的には、図２０に示すように、変数ｕ，ｖを０に初期化した後に（ステップＳ４０１〜Ｓ４０２）、Ｄ１'（m , n , u , v）＝Ｍａｘ［Ｄ１（m , n , p, q）］を計算する（ステップＳ４０３）。ただし、ｕ−１≦ｐ≦ｕ＋１、ｖ−１≦ｑ≦ｖ＋１とする。そして、ｖをインクリメントして（ステップＳ４０４）、この変数ｖがＶよりも小さい場合には（ステップＳ４０５肯定）、ステップＳ４０３に移行して同様に計算をおこなう。また、変数ｖがＶ以上である場合には（ステップＳ４０５否定）、変数ｕをインクリメントして（ステップＳ４０６）、この変数ｕがＵよりも小さい場合には（ステップＳ４０６肯定）、ステップＳ４０２に移行して同様の処理を繰り返し、結果的に最大値を求める。 Specifically, as shown in FIG. 20, after the variables u and v are initialized to 0 (steps S401 to S402), D1 ′ (m, n, u, v) = Max [D1 (m, n, p, q)] is calculated (step S403). However, u−1 ≦ p ≦ u + 1 and v−1 ≦ q ≦ v + 1. Then, v is incremented (step S404), and when the variable v is smaller than V (Yes at step S405), the process proceeds to step S403 and the same calculation is performed. When the variable v is V or more (No at Step S405), the variable u is incremented (Step S406). When the variable u is smaller than U (Yes at Step S406), the process proceeds to Step S402. The same processing is repeated, and the maximum value is obtained as a result.

このようにして最大値フィルターを算定したならば、変数ｕおよびｖを０に初期化した後（ステップＳ３０４〜Ｓ３０５）、
Ｄ１（m , n , u , v）＝Ｃ（m , n , u , v）＋α・Ｍａｘ（Ｄ１'（m , n-1 , p , q））
の算定式による計算をおこなう（ステップＳ３０６）。 If the maximum value filter is calculated in this way, after the variables u and v are initialized to 0 (steps S304 to S305),
D1 (m, n, u, v) = C (m, n, u, v) + α · Max (D1 ′ (m, n−1, p, q))
The calculation is performed according to the calculation formula (step S306).

その後、変数ｖをインクリメントし（ステップＳ３０７）、この変数ｖがＶよりも小さければ（ステップＳ３０８肯定）、ステップＳ３０６に移行して加算処理を繰り返す。つまり、探索範囲をｊ方向にずらすのである。 Thereafter, the variable v is incremented (step S307). If the variable v is smaller than V (Yes at step S308), the process proceeds to step S306 and the addition process is repeated. That is, the search range is shifted in the j direction.

これに対して、変数ｖがＶ以上であれば（ステップＳ３０８否定）、変数ｕをインクリメントし（ステップＳ３０９）、この変数ｕがＵよりも小さければ（ステップＳ３１０肯定）、ステップＳ３０５に移行して加算処理を繰り返す。つまり、探索範囲をｉ方向にずらすことになる。 On the other hand, if the variable v is equal to or greater than V (No at Step S308), the variable u is incremented (Step S309). If the variable u is smaller than U (Yes at Step S310), the process proceeds to Step S305. Repeat the addition process. That is, the search range is shifted in the i direction.

そして、変数ｕがＵ以上であれば（ステップＳ３１０否定）、ある画素についての計算を終了し、次の画素に移行する。具体的には、変数ｎをインクリメントして注目画素をｊ方向に移行させた後に（ステップＳ３１１）、この変数ｎをＮと比較し（ステップＳ３１２）、この変数ｎがＮよりも小さければ（ステップＳ３１２肯定）、ステップＳ３０３に移行して加算処理を繰り返す。 If the variable u is greater than or equal to U (No at step S310), the calculation for a certain pixel is terminated and the process proceeds to the next pixel. Specifically, after the variable n is incremented to shift the pixel of interest in the j direction (step S311), the variable n is compared with N (step S312), and if the variable n is smaller than N (step S311). (S312 Yes), it moves to step S303 and repeats an addition process.

これに対して、変数ｎがＮ以上であれば（ステップＳ３１２否定）、変数ｍをインクリメントして注目画素をｉ方向に移行させた後に（ステップＳ３１３）、この変数ｍがＭよりも小さければ（ステップＳ３１４肯定）、ステップＳ３０２に移行して加算処理を繰り返し、変数ｍがＭ以上であれば（ステップＳ３１４否定）、処理を終了する。 On the other hand, if the variable n is greater than or equal to N (No in step S312), the variable m is incremented to shift the pixel of interest in the i direction (step S313), and if the variable m is smaller than M (step S313). If step S314 is affirmative, the process proceeds to step S302 and the addition process is repeated. If the variable m is greater than or equal to M (No in step S314), the process ends.

上述してきたように、本実施例に係る対応点探索装置によれば、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる。さらに、これに関連して、同じパターンが周期的に現れる画像間の対応付けをおこなう場合でも、精度の良い対応付け結果を取得することができる。 As described above, according to the corresponding point search device according to the present embodiment, it is possible to quickly and efficiently acquire a stable association result that does not easily fall into a local solution when performing association between images. Further, in association with this, even when matching is performed between images in which the same pattern appears periodically, a highly accurate matching result can be acquired.

なお、本実施例では、類似度画像に対して１／４最大値圧縮および１／２最大値圧縮をおこなって本発明を実施する場合について説明したが、本発明はこれに限定されるものではなく、さらに最大値圧縮を段階的に繰り返しておこなう場合についても同様に適用することができる。また、最大値圧縮の圧縮率は、任意の倍率において適用することが可能な旨を追記しておく。 In the present embodiment, the case where the present invention is implemented by performing 1/4 maximum value compression and 1/2 maximum value compression on similarity images has been described, but the present invention is not limited to this. However, the present invention can be similarly applied to the case where the maximum value compression is repeated stepwise. In addition, it is added that the compression rate of the maximum value compression can be applied at an arbitrary magnification.

また、本実施例では、「対応点探索処理」における累積加算処理手順として、各類似度画像をｊ方向、−ｊ方向、ｉ方向、−ｉ方向の順序で再帰的に累積加算する場合を示したが、本発明は必ずしもこれに限定されるものではなく、斜め方向或いは一方向のみについて累積加算する場合に適用することもできる。一方向のみであっても、類似度が加算されることにより一定の大局情報が得られる。 Further, in this embodiment, as a cumulative addition processing procedure in the “corresponding point search process”, a case where each similarity image is recursively cumulatively added in the order of j direction, −j direction, i direction, and −i direction is shown. However, the present invention is not necessarily limited to this, and can be applied to the case where cumulative addition is performed in an oblique direction or only in one direction. Even in only one direction, constant global information can be obtained by adding similarities.

また、本実施例では、類似度として正規化相関係数を用いた場合を示したが、本発明はこれに限定されるものではなく、ユークリッド距離などの他の指標を類似度として用いることもできる。 In the present embodiment, the normalized correlation coefficient is used as the similarity. However, the present invention is not limited to this, and other indices such as the Euclidean distance may be used as the similarity. it can.

また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 In addition, among the processes described in this embodiment, all or part of the processes described as being performed automatically can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Each component of each illustrated device is functionally conceptual and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.

以上のように、本発明に係る画像の対応点探索方法、対応点探索装置および対応点探索プログラムは、入力画像と参照画像の類似度を画素値として持つ類似度画像を作成し、該類似度画像に対して対応点探索処理をおこなって対応点を決定する画像の対応点探索方法、対応点探索装置および対応点探索プログラムに有用であり、特に、画像間の対応付けをおこなう際に、局所解に陥りにくい安定した対応付け結果を高速かつ効率良く取得することができる画像の対応点探索方法、対応点探索装置および対応点探索プログラムに適している。 As described above, the corresponding point search method, the corresponding point search apparatus, and the corresponding point search program according to the present invention create a similarity image having the similarity between the input image and the reference image as a pixel value, and the similarity This is useful for a corresponding point search method, a corresponding point search apparatus, and a corresponding point search program for determining a corresponding point by performing a corresponding point search process on an image. The present invention is suitable for a corresponding point search method, a corresponding point search apparatus, and a corresponding point search program that can acquire a stable matching result that is difficult to fall into a solution at high speed and efficiency.

本実施例に係る対応点検索装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the corresponding point search apparatus which concerns on a present Example. 本実施例で用いる参照画像の一例を示す図である。It is a figure which shows an example of the reference image used by a present Example. 本実施例で用いる入力画像の一例を示す図である。It is a figure which shows an example of the input image used by a present Example. 参照部分画像の一例を示す図である。It is a figure which shows an example of a reference partial image. 入力部分画像の一例を示す図である。It is a figure which shows an example of an input partial image. 類似度画像の作成概念を説明するための説明図である。It is explanatory drawing for demonstrating the creation concept of a similarity image. 各処理段階における類似度画像の一例を示す図である。It is a figure which shows an example of the similarity image in each process step. 最大値圧縮を説明するための概念図である。It is a conceptual diagram for demonstrating maximum value compression. 対応点候補位置特定段階を説明するための概念図である。It is a conceptual diagram for demonstrating a corresponding point candidate position identification step. 対応点候補位置特定段階を説明するための概念図である。It is a conceptual diagram for demonstrating a corresponding point candidate position identification step. 対応点決定段階を説明するための概念図である。It is a conceptual diagram for demonstrating a corresponding point determination step. 累積加算手順を説明するための説明図である。It is explanatory drawing for demonstrating a cumulative addition procedure. ｊ方向の累積加算処理を説明するための説明図である。It is explanatory drawing for demonstrating the cumulative addition process of a j direction. −ｊ方向の累積加算処理を説明するための説明図である。It is explanatory drawing for demonstrating the cumulative addition process of a -j direction. ｉ方向の累積加算処理を説明するための説明図である。It is explanatory drawing for demonstrating the cumulative addition process of i direction. −ｉ方向の累積加算処理を説明するための説明図である。It is explanatory drawing for demonstrating the cumulative addition process of a -i direction. 各累積加算結果を加算する概念図である。It is a conceptual diagram which adds each accumulation addition result. 図１に示した対応点探索装置の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the corresponding point search apparatus shown in FIG. 累積加算処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of a cumulative addition process procedure. 最大値フィルターを用いて累積加算処理をおこなう場合の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence in the case of performing an accumulation addition process using a maximum value filter. 最大値フィルターの処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of a maximum value filter.

Explanation of symbols

１対応点探索装置
１０画像入力部
１１分割処理部
１２参照部分画像一時記憶部
１３類似度画像作成部
１４類似度画像圧縮処理部
１５シフト量算出部
１６シフト補正部
１７累積加算処理部
１８類似度画像更新部
１９対応点決定部
２１参照画像
２２入力画像
５１入力部分画像
５２参照部分画像
５３類似度画像 DESCRIPTION OF SYMBOLS 1 Corresponding point search apparatus 10 Image input part 11 Division | segmentation process part 12 Reference partial image temporary storage part 13 Similarity image creation part 14 Similarity image compression process part 15 Shift amount calculation part 16 Shift correction part 17 Cumulative addition process part 18 Similarity degree Image update unit 19 Corresponding point determination unit 21 Reference image 22 Input image 51 Input partial image 52 Reference partial image 53 Similarity image

Claims

A corresponding point search method for an image for searching for a corresponding point that associates an input image with a reference image to be compared with the input image,
A reference partial image generation step of generating a reference partial image by dividing the reference image into a plurality of blocks;
An input partial image generating step of generating a plurality of input partial images by dividing the input image into a plurality of blocks that partially overlap each other;
A similarity calculation step of calculating a similarity between the input partial image and the reference partial image;
A similarity image generation step for generating a plurality of similarity images having the similarity calculated by the similarity calculation step as a pixel value;
A compressed image is generated from the similarity image by performing maximum value compression using a maximum value among pixel values of a plurality of adjacent pixels of the similarity image as a pixel value of one pixel including the plurality of pixels. , Update the compressed image by sequentially accumulating the maximum pixel value of the pixel values of the peripheral pixels of each pixel of the plurality of compressed images arranged in a predetermined direction to the pixel value of the other compressed image, and accumulating A candidate area specifying step of specifying the area of the similarity image corresponding to the pixel position of the pixel having the maximum pixel value of each of the added compressed images as a candidate area where a corresponding point exists;
Change the compression ratio of the maximum value compression to increase up to 1 and repeat the identification of the candidate area by the candidate area specifying step, with the candidate area when the compression ratio becomes 1 as the corresponding point And a corresponding point determining step for determining the corresponding point .

The candidate area specifying step includes:
The corresponding point search method according to claim 1, wherein, when the candidate area specified last time exists, a range for searching for a corresponding point is limited based on the candidate area.

The candidate area specifying step includes:
3. The maximum value compression is performed after the similarity image is shifted so that the candidate region becomes the center of the image when the candidate region specified last time exists. Corresponding point search method.

A reference image to be compared in the input image and the input image to a corresponding point search device of the image for searching the corresponding points to associate,
Reference partial image generation means for generating a reference partial image by dividing the reference image into a plurality of blocks;
An input partial image generating means for generating a plurality of input partial images by dividing the input image into a plurality of blocks partially overlapping each other;
Similarity calculation means for calculating the similarity between the input partial image and the reference partial image;
Similarity image generation means for generating a plurality of similarity images having the similarity calculated by the similarity calculation means as pixel values;
A compressed image is generated from the similarity image by performing maximum value compression using a maximum value among pixel values of a plurality of adjacent pixels of the similarity image as a pixel value of one pixel including the plurality of pixels. , Update the compressed image by sequentially accumulating the maximum pixel value of the pixel values of the peripheral pixels of each pixel of the plurality of compressed images arranged in a predetermined direction to the pixel value of the other compressed image, and accumulating Candidate area specifying means for specifying the area of the similarity image corresponding to the pixel position of the pixel having the maximum pixel value of each of the added compressed images as a candidate area where a corresponding point exists;
The maximum compression ratio is changed so as to increase up to 1 and the candidate area specifying unit repeatedly specifies the candidate area, and the candidate area at the time when the compression ratio becomes 1 is used as a corresponding point. A corresponding point search device for an image, comprising: a corresponding point determining means for determining .

A corresponding point search program for an image for searching for a corresponding point that associates an input image with a reference image to be compared with the input image,
A reference partial image generation procedure for generating a reference partial image by dividing the reference image into a plurality of blocks;
An input partial image generation procedure for generating a plurality of input partial images by dividing the input image into a plurality of blocks partially overlapping each other;
A similarity calculation procedure for calculating a similarity between the input partial image and the reference partial image;
A similarity image generation procedure for generating a plurality of similarity images having the similarity calculated by the similarity calculation procedure as a pixel value;
A compressed image is generated from the similarity image by performing maximum value compression using a maximum value among pixel values of a plurality of adjacent pixels of the similarity image as a pixel value of one pixel including the plurality of pixels. , Update the compressed image by sequentially accumulating the maximum pixel value of the pixel values of the peripheral pixels of each pixel of the plurality of compressed images arranged in a predetermined direction to the pixel value of the other compressed image, and accumulating A candidate region specifying procedure for specifying the region of the similarity image corresponding to the pixel position of the pixel having the maximum pixel value of each of the added compressed images as a candidate region where a corresponding point exists;
Change the compression rate of the maximum value compression to increase up to 1 and repeat the specification of the candidate region by the candidate region specifying procedure, with the candidate region when the compression rate becomes 1 as the corresponding point An image corresponding point search program for causing a computer to execute a corresponding point determining procedure to be determined .