WO2009110410A1 - 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム - Google Patents

画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム Download PDF

Info

Publication number
WO2009110410A1
WO2009110410A1 PCT/JP2009/053824 JP2009053824W WO2009110410A1 WO 2009110410 A1 WO2009110410 A1 WO 2009110410A1 JP 2009053824 W JP2009053824 W JP 2009053824W WO 2009110410 A1 WO2009110410 A1 WO 2009110410A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel value
calculated
feature point
feature
Prior art date
Application number
PCT/JP2009/053824
Other languages
English (en)
French (fr)
Inventor
達勇 秋山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP09718102A priority Critical patent/EP2251830A1/en
Priority to JP2010501886A priority patent/JP5304781B2/ja
Publication of WO2009110410A1 publication Critical patent/WO2009110410A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18086—Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
    • G06V30/18095—Summing image-intensity values; Projection and histogram analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention relates to an image collation apparatus, and relates to an image collation technique for collating images related to the same object.
  • Non-Patent Document 1 describes an example in which an image matching device is provided for image retrieval of English documents.
  • (Registration procedure C) continues until all feature points are selected as p, and (registration procedure D) continues until all the combinations of M points obtained from N points are processed.
  • the number of feature point columns obtained by the procedures from (registration procedure C) to (registration procedure F) is generally large.
  • search Procedure A The centroid of the word area of the English document is extracted as a feature point.
  • Non-Patent Document 1 proposes a process for preventing miscorrespondence of other invariant columns, the description thereof is omitted because it is irrelevant to the present invention. These procedures continue until all registered images are processed.
  • the value of f when performing these registration processing and collation processing changes depending on the invariant calculation method relating to the conversion allowed between the registered image and the search image.
  • the affine invariant has a property of taking the same value from a combination of corresponding points even when arbitrary affine transformation occurs between two images. Therefore, even if any affine transformation occurs between the registered image and the search image, it is calculated from the feature point layout obtained from the registered image and the corresponding feature point layout obtained from the search image.
  • the invariant sequences are identical in principle.
  • an image matching apparatus that uses an affine invariant as an invariant is configured to perform high-precision matching when it can be assumed that the deformation between the registered image and the search image can be expressed by affine transformation.
  • Patent Document 1 there is a technique disclosed in Patent Document 1 as another technique that enables collation even when deformation due to affine transformation between a registered image and a search image occurs.
  • the first problem is that the feature amount list calculated for an image A and another image B that does not match the image A originally but can obtain a feature point position almost identical to the feature point obtained from the image A. May be inadvertently matched (in the sense that the feature quantity list matches as a collation of the feature quantity list but does not originally match as an image). This means that accurate image collation may not be possible.
  • the feature point triangle area ratio is used as the feature quantity. This problem is particularly the case when (1) feature points (centroids) are obtained at almost the same position even in different connected regions (characters), or (2) the three feature points constituting the triangle are arranged on a straight line. (When the feature point triangle area ratio is calculated to be 0 or ⁇ ).
  • the area ratio of the feature point triangle is used as an element of the feature quantity list.
  • the numerator (or denominator) for calculating the feature point triangle area ratio is zero.
  • the value of the numerator (denominator) is 0, the value of the numerator (denominator) is 0 ( ⁇ ) regardless of the value of the denominator (numerator). This causes an incorrect matching of the feature quantity list.
  • the present invention has been made to solve the above-described problems, and provides an image matching device, an image matching feature storage medium, an image matching method, and an image matching program that enable highly accurate matching.
  • the purpose is to do.
  • the present invention has the following features.
  • An image collation apparatus calculates a cumulative pixel value that is a sum of pixel values from a specified region of an image, and calculates a ratio between the two specified cumulative pixel values.
  • Means for calculating a feature quantity list (hereinafter referred to as a feature vector) having a cumulative pixel value ratio as a feature quantity.
  • the object is also achieved by an image collating method having the above-described configurations, a computer program for realizing the corresponding device by a computer, and a computer-readable storage medium storing the computer program.
  • the matching can be performed with high accuracy even when the matching cannot be performed with high accuracy.
  • the ratio of accumulated pixel values is used as a feature value, so that feature points at substantially the same position can be obtained even if they are different regions, or the area of the feature point triangle is zero. It is because it is not influenced.
  • the connected area calculation module R11 in the registration module extracts a connected area from the input registered image using an existing method.
  • the input image can be extracted by performing binarization using an existing method and labeling connected regions using an existing labeling method.
  • Existing image quality improvement processing may be performed before and after binarization. This is a process corresponding to (registration procedure A) of the registration process described in the background art, considering that the connected component centroid is calculated from the connected component.
  • the cumulative pixel value ratio calculation module R13 in the registration module calculates a feature vector (feature amount list) from the combination (column) of regions calculated by the region combination calculation module R12 in the registration module.
  • the calculation of the area ratio of the two regions included in each region combination is performed for all combinations of regions included in the region combination row. As a result, when the input image is a grayscale image, one feature vector is calculated for each combination row of regions.
  • the cumulative pixel value ratio storage module R14 in the registration module is information that can uniquely specify at least the registered image from which the feature vector is calculated as the feature vector calculated by the cumulative pixel value ratio calculation module R13 in the registration module. Store together.
  • the linked area calculation module Q11 in the search module performs the same processing as the linked area calculation module R11 in the registration module.
  • the area combination calculation module Q12 in the search module performs the same processing as the area combination calculation module R12 in the registration module. In the processing corresponding to (registration procedure E) being processed, the processing may be continued until all m points are selected as p0, as in (search procedure E) described in the background art.
  • the cumulative pixel value ratio calculation module Q13 in the search module performs the same processing as the cumulative pixel value ratio calculation module R13 in the registration module.
  • the cumulative pixel value ratio calculation module R13 in the registration module calculates a feature vector from the calculated column of Lf (step SR16). This is, for example, for a column of Lf
  • the cumulative pixel value ratio of the feature vector can be calculated so that each element of the feature vector expressed above is an inverse number.
  • the cumulative pixel value ratio storage module R14 in the registration module stores the feature vector calculated by the cumulative pixel value ratio calculation module R13 in the registration module together with information that can uniquely specify the registered image.
  • the connected area calculation module Q11 in the search module calculates a connected area from the input image (step SQ11 in FIG. 4).
  • the area combination calculation module Q12 in the search module calculates a row of linked areas in the same manner as the registration process.
  • Each step SQ12, SQ13, SQ14, SQ15 in FIG. 4 performs the same operation as each step, SR12, SR13, SR14, SR15 in the registration process.
  • LfB represent the column of connected regions calculated here, LfB is
  • the connected area is represented by a number that can uniquely specify the connected area.
  • the cumulative pixel value ratio calculation module Q13 in the search module calculates a feature vector from the calculated LfB in the same manner as the cumulative pixel value ratio calculation module R13 in the registration module (step SQ16). For example, for a column of LfB,
  • the cumulative pixel value ratio calculation module Q14 in the search module collates the calculated feature vector with each of all the feature vectors stored in the cumulative pixel value ratio storage module R14 in the registration module, and the registration module A determination result is output as to whether or not each feature vector stored in the cumulative pixel value ratio storage module R14 matches the feature vector calculated by Q13 (step SQ17).
  • Non-Patent Document 2 describes the following facts.
  • Non-Patent Document 2 T. Ikeyama, Toyokazu Hirayama, “Differential integration for science and engineering”, Hanafusa, 25 March 2006, p. 137 (Non-Patent Document 2 is cited from here.)
  • the left side is the area ratio of the two closed regions D1 and D2 in the search image
  • the right side is the area ratio of the two closed regions A1 and A2 in the registered image. Therefore, the area ratio of the two connected components is an invariant (approximation) regarding the affine transformation.
  • FIG. 5 is a diagram showing how the cumulative pixel value ratio is calculated when regions A and B are obtained for a general grayscale image (a) and a binary image (b).
  • a feature vector is constructed from both the registered image and the search image using an accumulated pixel value ratio that is an approximation of an affine invariant as an element, and it is determined whether or not these feature vectors match.
  • the feature point arrangement calculation module R15 in the registration module in addition to the configuration in the first embodiment of the present invention, the feature point arrangement calculation module R15 in the registration module, the feature point arrangement storage module in the registration module R16, a feature point arrangement calculation module Q15 in the search module, an affine parameter estimation unit A1, and an affine parameter verification unit A2.
  • the feature point arrangement calculation module Q15 in the search module calculates the feature point arrangement for the connected region column LmB calculated by the region combination calculation module Q12 in the search module. .
  • FIG. 7 is a diagram showing a state of a region and a feature point calculated from the region.
  • the center of gravity is calculated as a feature point from one (connected) region, but the center of gravity is not necessarily calculated. Further, it is not necessary to extract one feature point from one area, and any method can be used as long as the number of feature points calculated from the registered image is the same as the number of feature points calculated from the search image. It is possible to apply it.
  • the affine parameter estimation unit A1 acquires one of the feature point arrangements stored in the feature point arrangement storage module R16 in the registration module, and 1 of the feature point arrangements calculated by the feature point arrangement calculation module Q15 in the search module.
  • the affine parameters are obtained from the one. In order to obtain the affine parameters, for example, the following method is used.
  • it may be a value obtained by the sum of the city distances calculated for each k.
  • it can be determined that the values match when a function value having an argument of some degree of difference (similarity) calculated for each k is smaller (larger) than a certain threshold value.
  • the degree of difference (or similarity) calculated by the cumulative pixel value ratio coincidence determination module Q4 in the search module may be collated by using these values together.
  • the registration process in the second embodiment of the present invention is almost the same as the registration process in the first embodiment of the present invention. Therefore, only processing different from the first embodiment of the present invention, that is, steps SRB14 and SRB17 in FIG. 8 will be described.
  • step SRB17 after the processing in step SR17 in the first embodiment of the present invention is performed, information that can uniquely specify Lm from which the feature vector is calculated is also stored.
  • the search process in the second embodiment of the present invention is almost the same as the search process in the first embodiment of the present invention. Therefore, only the processing different from the first embodiment of the present invention, that is, only step SQB17 in FIG. 9 will be described.
  • step SQB17 will be described with reference to FIG.
  • step SQB171 the cumulative pixel value ratio matching determination module Q14 in the search module calculates the similarity between the feature vector calculated from the registered image and the feature vector calculated from the search image.
  • step SQB172 it is determined whether or not the dissimilarity (or similarity) calculated in step SQB171 is within a predetermined range.
  • one method is to determine a range so that it can be determined that the degree of difference (similarity) is smaller (greater) than a certain value. If it is within the predetermined range, the process proceeds to step SQB173, and if not, the process proceeds to step SQB177.
  • step SQB173 the feature point arrangement calculation module Q15 in the search module calculates the feature point arrangement FmB.
  • step SQB174 the affine parameter estimation unit A1 acquires the feature point arrangement Fm calculated from the region combination Lm from which the feature vector calculated from the registered image currently collated is generated.
  • step SQB175 the affine parameter verification unit A2 estimates an affine parameter from Fm and FmB.
  • step SQB177 the cumulative pixel value ratio match determination module Q14 in the search module outputs a mismatch as the final result.
  • the feature point arrangement in addition to matching the feature vector having the cumulative pixel value ratio as an element, is configured from the original region combination constituting the feature vector, and the feature point arrangement is also used.
  • the collation can be performed with higher accuracy.
  • an image I as shown in FIG. 11 is given as a registered image
  • an image IB is given as a search image
  • the feature vector having the cumulative pixel value ratio as an element takes the same value in the registered image I and the search image IB, and thus is determined to be coincident.
  • the cause of such an error is that only a value calculated from the area information of each region is used as a feature vector.
  • the triangular area ratio calculation module R17 in the registration module in addition to the configuration in the first embodiment of the present invention, the triangular area ratio calculation module R17 in the registration module, the triangular area ratio storage module in the registration module R18, feature point triangular area ratio calculation module Q16 in the search module, and invariant verification unit Q17.
  • the triangular area ratio calculation module R17 in the registration module calculates an invariant column from the feature point column Lf calculated from the registered image in the same procedure as the (registration procedure G) in the background art.
  • the triangle area ratio storage module R18 in the registration module uses the invariant columns calculated by the triangle area ratio calculation module R15 in the registration module as the connection region column Lm from which the image number and the invariant column are calculated. Is stored together with an index that can be uniquely specified.
  • the feature point triangle area ratio calculation module Q16 in the search module calculates an invariant sequence from the sequence Lf of feature points calculated from the search image in the same procedure as the (registration procedure G) in the background art.
  • the entire process includes a registration process and a search process. These processes may be performed by the CPU of the image collation apparatus.
  • the registration process in the third embodiment of the present invention is almost the same as the registration process in the first embodiment of the present invention. Therefore, only the processing different from that of the first embodiment of the present invention, that is, the steps SRC14 and SRC17 in FIG. 14 will be described.
  • step SRC14 after the processing in step SR14 in the first embodiment of the present invention is performed, the feature point arrangement calculation module R15 in the registration module calculates an invariant sequence from Lm.
  • the calculated invariant column is stored in the triangular area ratio storage module R18 in the registration module.
  • step SRC17 after the processing in step SR17 in the first embodiment of the present invention is performed, information that can uniquely specify an invariant column calculated from Lm from which the feature vector is calculated is provided. Stored together.
  • the search process in the third embodiment of the present invention is almost the same as the search process in the first embodiment of the present invention. Therefore, only processing different from the first embodiment of the present invention, that is, only step SQC17 in FIG. 15 will be described.
  • Step SQC17 will be described with reference to FIG. First, step SQC171 is the same as the process of step SQB171.
  • step SQC 174 the invariant verification unit Q17 obtains a sequence of invariants calculated from the region combination Lm from which the feature vector calculated from the registered image currently being collated is generated.
  • step SQC175 the invariant verification unit Q17 outputs a determination result as to whether or not they match.
  • step SQC177 the invariant verification unit Q17 outputs whether the final result is a match or a mismatch.
  • affine parameter estimation and verification in the second embodiment and the invariant verification in the third embodiment are processes that can be added independently. Therefore, it should be noted that a new embodiment can be configured by adding both affine parameter estimation and verification and invariant verification to the first embodiment.
  • the present invention can be realized by configuring a method for creating one gray image from a color image by a procedure for calculating a gray value from a point on the color space for each pixel in the image. Applicable.
  • the cumulative pixel value ratio calculation module R13 in the registration module the cumulative pixel value ratio calculation module Q13 in the search module, the feature point arrangement calculation module R15 in the registration module, the feature point arrangement calculation module Q15 in the search module, and the triangular area ratio in the registration module
  • calculation module R17 and the feature point triangle area ratio calculation module Q15 in the search module calculation is performed from each grayscale image.
  • the cumulative pixel value ratio storage module R14 in the registration module, the feature point arrangement storage module R16 in the registration module, and the triangle area ratio storage module R18 in the registration module store values calculated from a plurality of images.
  • a grayscale image R represented by the R value, a grayscale image G represented by the G value, and a grayscale image B represented by the B value in the RGB space matching between the feature vectors calculated from the grayscale image R is performed.
  • the matching between the feature vectors calculated from the gray image G and the matching between the feature vectors calculated from the gray image B can be performed.
  • the feature vectors calculated in all the gray images match, it is determined that they finally match.
  • the feature vectors in the grayscale images of a predetermined number or more match it can be determined that they finally match.
  • the predetermined number is 2, for example, when the feature vectors in the grayscale image R coincide with each other and the feature vectors in the grayscale image B coincide with each other, it is assumed that they finally match.
  • the gray images represented by the RGB components are taken as an example, but the present invention is not limited to this.
  • the plurality of gray images may be calculated at the time when the image is input, or may be calculated immediately before the feature vector or the invariant list column is calculated.
  • the image collating apparatus according to the first embodiment of the present invention, the image collating apparatus according to the second embodiment of the present invention, or the present invention
  • the final matching determination unit Q3 is included.
  • the result output unit Q2 in FIG. 17 is the cumulative pixel value ratio matching determination module Q14 in the search module, and the image according to the second embodiment of the present invention.
  • the registered image RIr having the largest value of Cr can be used, or the score of each image can be obtained using the calculation formula described in the background art, and collation can be performed using the value. .
  • the result may be rejected.
  • the number of Cr is smaller than a predetermined value, it may be considered to reject the result when the score is not in a predetermined range.
  • the final match determination unit Q3 operates after the match determination for all region combinations for all registered images and all region combinations for the search image is completed.
  • the computer program, the data including features, and the image data supplied to the apparatus may be stored in a readable / writable RAM 2 or hard disk 3 or the like.
  • the present invention is constituted by the code of the computer program or a storage medium.
  • the image matching function of the present invention is implemented as hardware.
  • some functions may be realized by hardware, and similar functions may be realized by cooperative operation of these hardware and software programs.
  • the registered image and the search image may be stored in advance in the memory in the computer or the hard disk 3 or may be acquired through a communication line with another computer (not shown). It is also possible to add one or more imaging devices as an input device and a communication line connecting the imaging device and the computer.
  • the functions of the present invention can be distributed over a plurality of computers as shown in FIG.
  • the computer ComA has a connected region calculation module R11 in the registration module, a region combination calculation module R12 in the registration module, and a cumulative pixel in the registration module.
  • the value ratio calculation module R13, the computer ComC the cumulative pixel value ratio storage module R14 in the registration module, and the computer ComB the connected region calculation module Q11 in the search module, the region combination calculation module Q12 in the search module, and the cumulative pixel value in the search module
  • a ratio calculation module Q13, a cumulative pixel value ratio match determination module Q14 in the search module, and a final match determination unit Q3 may be included.
  • the computer ComA has a connected area calculation module R11 in the registration module, an area combination calculation module R12 in the registration module, and an accumulation in the registration module.
  • the computer ComA has a connected area calculation module R11 in the registration module, an area combination calculation module R12 in the registration module, and an accumulation in the registration module.
  • the pixel value ratio calculation module R13, the triangular area ratio calculation module R17 in the registration module, the computer ComC is the cumulative pixel value ratio storage module R14 in the registration module, the triangle area ratio storage module R18 in the registration module, and the computer ComB is connected in the search module Area calculation module Q11, area combination calculation module Q12 in the search module, cumulative pixel value ratio calculation module Q13 in the search module, cumulative pixel value ratio match determination in the search module Joule Q14, the feature point triangle area ratio calculation module Q16 in the retrieval module, invariant verification unit Q17, may be configured to include a final matching determination unit Q3.
  • the registered image is captured using the imaging device ScA.
  • the captured registered image is calculated by the computer ComA, and the calculated data is stored in the computer ComC.
  • the search image is captured using the imaging device ScB, and the captured search image is calculated by the computer ComB.
  • the computer ComB performs image collation by comparing and collating with the data stored in the computer ComC.
  • the computer for performing the registration process, the computer for performing the search process, and the computer for performing the storage are each configured as one, but the number is not necessarily limited to one, and a plurality of computers may be prepared.
  • the storage device is not necessarily a computer, and may have a function of storing data, such as a hard disk, a CD, a DVD, or a flash memory.
  • a computer that performs both registration processing and search processing may be used.
  • the computer that performs the registration process and the computer that performs the search process are not necessarily connected. For example, in order to use data calculated by one computer for another computer, data may be copied using a storage medium storing information including feature data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　精度のよい照合を可能にする画像照合装置等を提供しなければならない。 　アフィン変換に関する別の不変量である、連結領域もしくはその和領域の累積画素値比を特徴量として用いるように画像照合装置を構成することによって、より高精度な照合が行えるようにする。加えて、領域の相対的な位置情報を利用することにより、さらに高精度な照合を実現する。

Description

画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム
　本発明は、画像照合装置に関し、同一オブジェクトに関する画像を照合する画像照合技術に関するものである。
　関連する画像照合方法が非特許文献１に記載されている。非特許文献１には、英文文書の画像検索に画像照合装置を提供した例が掲載されている。
　関連する画像照合処理は、登録処理と照合処理の２つの処理に分けることができる。
　登録処理においては、予め登録される複数の画像の各々に対して、次の処理が行われる。
　まず、登録画像の一つが入力されると、
　（登録手続きＡ）英文文書の単語領域の重心が特徴点として抽出される。
　次に、抽出された特徴点から、順序付きの特徴点組み合わせが計算され、特徴点配置が計算される。具体的には、次のような処理が行われる。
　（登録手続きＣ）次に、特徴点のうちの一つｐを取り出す。次に、その特徴点の近傍にあるｎ個の点を取り出す。
　（登録手続きＤ）次に、特徴点の近傍にあるｎ個の点からｍ点を取り出す。
　（登録手続きＥ）次に、取り出されたｍ点から適当な一つの点をｐ０として選び、ｐを中心としてｐ０を先頭として時計回りに並べて特徴点の列Ｌｍを生成する。
　（登録手続きＦ）次に、Ｌｍから順序を保存してｆ点を選択するすべての特徴点の列Ｌｆを求め、辞書式順序に並べる。
　（登録手続きＣ）はすべての特徴点をｐとして選択するまで処理が継続し、（登録手続きＤ）はＮ個の点から得られるすべてのＭ点の組み合わせについて処理を行うまで処理が継続する。（登録手続きＣ）から（登録手続きＦ）までの手続きにより得られる特徴点の列の数は、一般には多数である。
　さらに、
　（登録手続きＧ）特徴点の列Ｌｆから、不変量の列が計算される。当該の登録画像を一意に指定する番号（以下、登録画像番号と呼ぶ）と、特徴点を一意に指定する特徴点番号（以下、特徴点番号と呼ぶ）と共に、特徴量リストとして、格納される。
　格納された特徴量リストは、後段の照合処理に用いられる。なお、非特許文献１中では、検索を高速化するために、不変量を離散化した後、ハッシュを用いて特徴量リストを格納する方法について提案しているが、本発明には無関係であるため当該部分の説明は省略する。
　以上、登録画像の一つについての登録処理を説明した。この処理は、すべての登録画像に対して行われる。
　照合処理においては、まず、検索画像が入力されると、
　（検索手続きＡ）英文文書の単語領域の重心が特徴点として抽出される。
　次に、抽出された特徴点から、順序付きの特徴点組み合わせが計算され、その組み合わせを巡回させたものが特徴点配置となる。具体的には、次のような処理が行われる。
　（検索手続きＣ）次に、特徴点のうちの一つｐを取り出す。次に、その特徴点の近傍にあるｎ個の点を取り出す。
　（検索手続きＤ）次に、特徴点の近傍にあるｎ個の点からｍ点を取り出す。
　（検索手続きＥ）次に、取り出されたＭ点から適当な一つの点をｐ０として選び、ｐを中心としてｐ０を先頭として時計回りに並べて特徴点の列Ｌｍを生成する。
　（検索手続きＦ）次に、Ｌｍから順序を保存してｆ点を選択するすべての特徴点の列Ｌｆを求め、辞書式順序に並べる。（検索手続きＣ）はすべての特徴点をｐとして選択するまで処理が継続し、（検索手続きＤ）はＮ個の点から得られるすべてのＭ点の組み合わせについて処理を行うまで処理が継続し、（検索手続きＥ）はｍ個の点をすべてｐ０として選ぶまで処理が継続する。
　（検索手続きＣ）から（検索手続きＦ）までの手続きにより得られる特徴点の列の数は、一般には多数である。
　さらに、
　（検索手続きＧ）特徴点の列Ｌｆから、不変量の列が計算される。
　（検索手続きＨ）計算された不変量の列は、登録処理において格納された特徴量リスト中の不変量の列と照合される。照合の結果一致していた場合には、当該特徴量リストの登録画像番号に対する一致数（得票数）を１だけ増加させる（投票する）。
　なお、非特許文献１中では、その他の不変量の列の誤対応を防止する処理について提案しているが、本発明には無関係であるため当該部分の説明は省略する。これらの手続きは、すべての登録画像について処理を行うまで処理が継続する。
　最後に、各登録画像に対する一致数（各登録画像に投票された結果得られる得票数）から、
Figure JPOXMLDOC01-appb-M000001
 　なる計算式を用いて各登録画像のスコアを計算し、最大のスコアを持つ登録画像が照合結果として出力される。ここでｄｉは登録画像番号、Ｖ（ｄｉ）は登録画像番号ｄｉの登録画像についての得票数、Ｎ（ｄｉ）は登録画像番号ｄｉの登録画像に含まれる特徴点数、ｃは予備実験で定められる特徴点数と誤投票の比例定数である。
　これらの登録処理と照合処理を行う際のｆの値は、登録画像と検索画像との間に許容する変換に関する不変量の計算方法に依存して変わる。
　非特許文献１中では、ｆ＝４点から構成される２つの三角形の面積比（以下、特徴点三角形面積比と呼ぶ。）として計算される値をアフィン不変量として用いる例が示されている。アフィン不変量は、２つの画像間で任意のアフィン変換が起きた場合でも、対応する点の組み合わせから同一の値をとる性質がある。従って、登録画像と検索画像との間で任意のアフィン変換による変形が起きたとしても、登録画像から得られた特徴点配置とそれに対応する検索画像から得られた特徴点配置のおのおのから計算された不変量の列は、原理上同一となる。
　つまり、アフィン不変量を不変量として利用する画像照合装置は、登録画像と検索画像との間の変形がアフィン変換で表せるとみなせる場合に、高精度な照合を行うことができるよう構成されている。
　また、登録画像と検索画像との間のアフィン変換による変形が起きたとしても照合を可能にする別の技術として、特許文献１に開示されている技術がある。
　特許文献１では、段落番号００７６～００８０に開示されているように、入力濃淡画像と参照濃淡画像との相関値が大きくなるように、アフィン変換パラメータの決定と、そのパラメータを用いて入力濃淡画像からアフィン変換重畳入力濃淡画像を生成し、アフィン変換重畳入力濃淡画像で入力画像を置き換えることを、反復して行う技術が開示されている。
特開２０００－２５９８３６号公報 中居友弘、他２名、"デジタルカメラを用いた高速文書画像検索におけるアフィン不変量および相似不変量の利用"、電子情報通信学会技術研究報告（パターン認識・メディア理解、ＰＲＭＵ‐１８４～２０１）、２００６年２月１６日、２５－３０頁
　第１の問題点は、ある画像Ａに対して計算された特徴量リストと、本来画像Ａとは一致しないが画像Ａから得られる特徴点とほぼ同一な特徴点位置が得られる別の画像Ｂに対して計算された特徴量リストと、が、（特徴量リストの照合としては一致する場合であるが、本来画像として一致しないという意味で）誤って一致してしまうことがある。これにより、精度の良い画像照合ができない場合があるということである。
　これは、特徴点三角形面積比を特徴量として用いていることが理由である。この問題は、特に、（１）異なる連結領域（文字）でもほぼ同じ位置に特徴点（重心）が得られてしまう場合や、（２）三角形を構成する３つの特徴点が直線上に配置している場合（特徴点三角形面積比を計算すると０または∞となる場合）に見られる。
　（１）の場合の理由として、特徴量として重心からのみ計算できる値を用いて特徴量リストを生成していることが挙げられる。特に、ほぼ等間隔で文字が配置されている文字列画像の場合にこのような問題がおきやすい。
　（２）の場合の理由として、特徴点三角形の面積比を特徴量リストの要素として用いていることが挙げられる。三角形を構成する３つの特徴点が直線上に配置している場合には、特徴点三角形面積比を計算する際の分子（または分母）が０となる。分子（分母）の値が０となる場合、分母（分子）の値にかかわらず、分子（分母）の値が０（∞）となる。これは特徴量リストの誤った一致を引き起こす原因となる。
　本発明は、以上のような課題を解決するためになされたもので、精度のよい照合を可能にする画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラムを提供することを目的とする。
　かかる目的を達成するために、本発明は、以下の特徴を有することとする。
　本発明の画像照合装置は、画像の指定された領域から画素値の和である累積画素値を計算し、かつ、指定された２つの累積画素値からそれらの比を計算する累積画素値比計算手段を備え、累積画素値比を特徴量とする特徴量リスト（以下、特徴ベクトルと呼ぶ。）を計算するように動作する。このような構成を採用し、累積画素値比から計算される特徴量リストを計算し、登録画像から計算される特徴ベクトルと検索画像から計算される特徴ベクトルについて照合を行い、その照合された特徴ベクトル対の数を利用して画像照合を行うことにより、本発明の目的を達成することができる。
　なお、同目的は、上記構成の画像照合装置に対応する画像照合方法によっても達成される。
　また、同目的は、上記の各構成を有する画像照合方法、ならびに対応する装置をコンピュータによって実現するコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても達成される。
　本発明によれば、関連する画像照合装置において、特徴点三角形面積比を特徴量として用いる場合に高精度に照合が行えない場合においても、高精度な照合ができる。
　その理由は、累積画素値の比を特徴量として用いているので、異なる領域であるにもかかわらずほぼ同じ位置の特徴点が得られたり、特徴点三角形の面積が０となったりする場合の影響を受けないためである。
　図１を参照すると、本発明の第１の実施の形態は、登録モジュールにおける連結領域計算モジュールＲ１１と、登録モジュールにおける領域組み合わせ計算モジュールＲ１２と、登録モジュールにおける累積画素値比計算モジュールＲ１３と、登録モジュールにおける累積画素値比格納モジュールＲ１４、検索モジュールにおける連結領域計算モジュールＱ１１と、検索モジュールにおける領域組み合わせ計算モジュールＱ１２と、検索モジュールにおける累積画素値比計算モジュールＱ１３と、検索モジュールにおける累積画素値比一致判定モジュールＱ１４とから構成されている。
　これらはそれぞれ概略つぎのように動作する。
　登録モジュールにおける連結領域計算モジュールＲ１１は、入力される画像から既存の手法を用いて、入力された登録画像から連結領域を抽出する。例えば、入力画像に対して、既存の手法で二値化を行い、既存のラベリング手法を用いて、連結領域のラベリングを行うことで抽出できる。既存の画質改善処理を二値化の前後に行っても良い。これは、連結成分重心が連結成分から計算されることを考慮すれば、背景技術で記載した登録処理の（登録手続きＡ）に相当する処理となる。
　登録モジュールにおける領域組み合わせ計算モジュールＲ１２は、登録モジュールにおける連結領域計算モジュールＲ１１で計算された連結領域から、連結領域の組み合わせを計算する。連結成分重心が１つの連結成分につき１つ定められることを考慮すると、背景技術で説明した（登録手続きＣ）、（登録手続きＤ）、（登録手続きＥ）、（登録手続きＦ）と同様の手続きで、領域の組み合わせ列が計算できる。ただし（登録手続きＦ）においては、ｆ＝２であるものとする。（登録手続きＤ）に相当する処理において、ｎ個の領域からｍ個の領域を取り出す際に、必ずしもｎ個の領域からｍ個の領域を選択しなくてもよい。例えば、あらかじめ得られている連結領域のうち、いくつか連結領域の和領域を新たな領域として生成し、その領域をｍ個の領域の中に含めることも可能である。
　登録モジュールにおける累積画素値比計算モジュールＲ１３は、登録モジュールにおける領域組み合わせ計算モジュールＲ１２にて計算された領域の組み合わせ（列）から、特徴ベクトル（特徴量リスト）を計算する。各領域の組み合わせに含まれる２つの領域の面積比を計算することを、領域組み合わせ列に含まれるすべての領域の組み合わせに対して行う。結果として、入力画像が濃淡画像の場合は、領域の組み合わせ列１つにつき、１つの特徴ベクトルが計算される。
　登録モジュールにおける累積画素値比格納モジュールＲ１４は、登録モジュールにおける累積画素値比計算モジュールＲ１３にて計算された特徴ベクトルを、少なくともその特徴ベクトルが計算された元となる登録画像を一意に指定できる情報とともに、格納する。
　検索モジュールにおける連結領域計算モジュールＱ１１は、登録モジュールにおける連結領域計算モジュールＲ１１と同様の処理を行う。
　検索モジュールにおける領域組み合わせ計算モジュールＱ１２は、登録モジュールにおける領域組み合わせ計算モジュールＲ１２と同様の処理を行う。処理中の（登録手続きＥ）に相当する処理では、背景技術で説明した（検索手続きＥ）のように、ｍ個の点をすべてｐ０として選ぶまで処理が継続させてもよい。
　検索モジュールにおける累積画素値比計算モジュールＱ１３は、登録モジュールにおける累積画素値比計算モジュールＲ１３と同様の処理を行う。
検索モジュールにおける累積画素値比計算モジュールＱ１４は、検索モジュールにおける累積画素値比計算モジュールＱ１３により計算された特徴ベクトルと、登録モジュールにおける累積画素値比格納モジュールＲ１４に格納された特徴ベクトルとを比較し、一致するかどうかを判定する。一致するかどうかを判定する手法としては、既存の判定手法、例えば、ベクトル間の相違度（あるいは類似度）を、市街地距離、誤差二乗和、ユークリッド距離、２つのベクトルのなす角度、内積などにより計算し、それらをある閾値よりも相違度が小さい（あるいは類似度が大きい）場合に一致すると判定するようにすればよい。
　次に、図２及び図４のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
　処理全体は、登録処理と、検索処理とから構成される。画像照合装置のＣＰＵによりこれらの処理がなされてもよい。
　最初に、登録処理について説明する。
　まず、登録モジュールにおける連結領域計算モジュールＲ１１が、入力される画像から連結領域を計算する（図２のステップＳＲ１１：背景技術の（登録手続きＡ）に相当。）。次に、登録モジュールにおける領域組み合わせ計算モジュールＲ１２は、計算された連結領域の中から注目連結領域ｐを１つ選択し（ステップＳＲ１２：背景技術の（登録手続きＣ）に相当。）、特徴点の近傍にあるｎ個の連結領域からｍ個の連結領域を取り出し（ステップＳＲ１３：背景技術の（登録手続きＤ）に相当）、取り出されたｍ個の連結領域から、その重心が最も注目連結領域ｐの重心に近くなるような連結領域を注目連結領域ｐ０として選んだ上で、ｐの重心を中心とし、ｐ０を先頭として、各連結領域の重心が時計回りに並ぶように連結領域の列Ｌｍを生成し、（ステップＳＲ１４：ほぼ背景技術の（登録手続きＥ）に相当）、Ｌｍから順序を保存してｆ点を選択するすべての連結領域の列Ｌｆを求め、辞書式順序に並べる。（ステップＳＲ１５：背景技術の（登録手続きＦ）に相当）。
　ここで計算されるＬｆの列は、
Figure JPOXMLDOC01-appb-M000002
 　であり、各
Figure JPOXMLDOC01-appb-M000003
 は、
Figure JPOXMLDOC01-appb-M000004
 で表される。ここで
Figure JPOXMLDOC01-appb-M000005
 は、連結領域である。連結領域は、連結領域を一意に指定できる番号で表現することとする。図３は領域とその領域の累積画素値の様子を表す図である。なお、簡単のために、上記の説明においては連結領域を利用した方法について述べたが、これは必ずしも連結領域でなくても良い。例えば、２つ以上の連結領域の和領域を
Figure JPOXMLDOC01-appb-M000006
 としても良い。
　さらに、登録モジュールにおける累積画素値比計算モジュールＲ１３は、計算されたＬｆの列から特徴ベクトルを計算する（ステップＳＲ１６）。これは、例えば、Ｌｆの列に対して、
Figure JPOXMLDOC01-appb-M000007
 を計算することにより実現される。Ｓ（ｉ）は、連結領域ｉに関する累積画素値である。累積画素値とは、連結領域ｉに属すすべての画素の画素値の和である。画素値が二値で表現されている場合、累積画素値は面積となる。
　また、当然であるが、特徴ベクトルの累積画素値比は、上記で表現される特徴ベクトルの各要素を逆数とするように計算することも可能である。
　さらに、登録モジュールにおける累積画素値比格納モジュールＲ１４は、登録モジュールにおける累積画素値比計算モジュールＲ１３で計算された特徴ベクトルを、その登録画像を一意に指定できる情報とともに格納する。
　次に、検索処理について説明する。
　まず、検索モジュールにおける連結領域計算モジュールＱ１１が、入力される画像から連結領域を計算する（図４のステップＳＱ１１）。次に、検索モジュールにおける領域組み合わせ計算モジュールＱ１２が、登録処理と同様に連結領域の列を計算する。図４における各ステップ、ＳＱ１２、ＳＱ１３、ＳＱ１４、ＳＱ１５は、それぞれ登録処理における各ステップ、ＳＲ１２、ＳＲ１３、ＳＲ１４、ＳＲ１５と同じ動作を行う。ここで計算された連結領域の列をＬｆＢで表すこととすると、ＬｆＢは、
Figure JPOXMLDOC01-appb-M000008
 であり、各
Figure JPOXMLDOC01-appb-M000009
 は、
Figure JPOXMLDOC01-appb-M000010
 で表される。ここで
Figure JPOXMLDOC01-appb-M000011
 は、連結領域である。連結領域は、連結領域を一意に指定できる番号で表現することとする。
　さらに、検索モジュールにおける累積画素値比計算モジュールＱ１３は、登録モジュールにおける累積画素値比計算モジュールＲ１３と同様に、計算されたＬｆＢから特徴ベクトルを計算する（ステップＳＱ１６）。これは、例えば、ＬｆＢの列に対して、
Figure JPOXMLDOC01-appb-M000012
 を計算することにより実現される。
　次に、検索モジュールにおける累積画素値比計算モジュールＱ１４が、計算された特徴ベクトルと、登録モジュールにおける累積画素値比格納モジュールＲ１４に格納されたすべての特徴ベクトルのそれぞれとの照合を行い、登録モジュールにおける累積画素値比格納モジュールＲ１４に格納されたそれぞれの特徴ベクトルがＱ１３により計算された特徴ベクトルと一致しているかどうかの判定結果を出力する（ステップＳＱ１７）。
　以下に、本実施の形態の効果について説明する。
　まず、累積画素値比が持つ性質について説明する。例えば、非特許文献２には次のような事実が記載されている。
　（非特許文献２）
　池山保、平山豊一著「理工系のための微分積分」、裳華房、２００６年３月２５日、ｐ．１３７
　（ここから非特許文献２を引用。）
Figure JPOXMLDOC01-appb-M000013
 　（引用はここまで。）
Figure JPOXMLDOC01-appb-M000014
 となる。したがって、
Figure JPOXMLDOC01-appb-M000015
 の値は、アフィン変換に拠らない量、すなわちアフィン不変量となる。
　コンピュータ上で扱う画像は、座標として離散的な値をとる。したがって、二重積分で表される項は、対応する領域における累積画素値の比で近似することが自然である。つまり、累積画素値比は、アフィン不変量（の近似）である。このような量を用いると、登録画像と検索画像との間にアフィン変換が起きたとしても、登録画像のある領域の組み合わせ（列）Ｌｆから計算されたある特徴ベクトルに対して、検索画像中からＬｆに対応する領域の組み合わせ（列）から計算された特徴ベクトルは、理想的には同じ値をとるはずである。
　ここで、
Figure JPOXMLDOC01-appb-M000016
 なる定数関数を考えると、左辺が検索画像における２つの閉領域Ｄ１、Ｄ２の面積比、右辺が登録画像における２つの閉領域Ａ１、Ａ２の面積比となる。したがって、２つの連結成分の面積比は、アフィン変換に関する不変量（の近似）となる。
　図５は、一般の濃淡画像の場合（ａ）、二値画像の場合について（ｂ）、領域Ａ、領域Ｂが得られた場合の累積画素値比の計算の様子を示した図である。
　ここで、
Figure JPOXMLDOC01-appb-M000017
 とすると、画素値が多値の場合（ａ）、
　累積画素値比＝（領域Ａの画素値の和）／（領域Ｂの画素値の和）
　　　　　　　＝２８／１２
　となり、
　画素値が二値の場合（ｂ）、
　（画素値の和は面積となるので、）
　累積画素値比＝（領域Ａの面積の和）／（領域Ｂの面積の和）
　　　　　　　＝７／４
　となる。
　本実施の形態では、登録画像と検索画像との双方からアフィン不変量の近似である累積画素値比を要素として特徴ベクトルが構成され、それらの特徴ベクトルが一致するかどうかを判定するというように構成されているため、登録画像と検索画像との間にアフィン変換で記述できる変形が起こっていたとしても、精度良く画像の照合が行える。特に、上述したような、特徴点三角形面積比を用いる関連技術では精度良い認識が行えない場合であっても、累積画素値比を用いることにより精度良く認識することが可能である。
　次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
　図６を参照すると、本発明の第２の実施の形態は、本発明の第１の実施の形態における構成に加えて、登録モジュールにおける特徴点配置計算モジュールＲ１５、登録モジュールにおける特徴点配置格納モジュールＲ１６、検索モジュールにおける特徴点配置計算モジュールＱ１５、アフィンパラメータ推定部Ａ１、アフィンパラメータ検証部Ａ２から構成される。
　登録モジュールにおける特徴点配置計算モジュールＲ１５は、登録モジュールにおける領域組み合わせ計算モジュールＲ１２が計算する登録画像連結領域の列Ｌｍに対して、特徴点配置を計算する。例えば、Ｌｍ＝（ｉ１、ｉ２、…、ｉｍ）であるとする。ここで、ｉ１は対応する連結領域を一意に指定する番号である。このとき、登録モジュールにおける特徴点配置計算モジュールＲ１５は、次のような特徴点配置Ｆｍを計算する。
Figure JPOXMLDOC01-appb-M000018
　登録モジュールにおける特徴点配置格納モジュールＲ１６は、登録モジュールにおける特徴点配置計算モジュールＲ１５で計算された特徴点配置Ｆｍを、特徴点配置Ｆｍを計算する元となった領域組み合わせＬｍを一意に指定できる指標とともに格納する。
　検索モジュールにおける特徴点配置計算モジュールＱ１５は、登録モジュールにおける特徴点配置計算モジュールＲ１５と同様に、検索モジュールにおける領域組み合わせ計算モジュールＱ１２が計算する連結領域の列ＬｍＢに対して、特徴点配置を計算する。計算される特徴点配置ＦｍＢを
Figure JPOXMLDOC01-appb-M000019
 とする。
　図７は、領域とその領域から計算される特徴点の様子を表す図である。なお、本実施の形態においては、１つの（連結）領域から、特徴点として重心を計算するように説明しているが、必ずしも重心でなくてもよい。また、１つの領域から１つの特徴点を抽出するように限る必要はなく、登録画像から計算される特徴点の数と、検索画像から計算される特徴点の数が同じになる方法であればそれを適用することが可能である。
　アフィンパラメータ推定部Ａ１は、登録モジュールにおける特徴点配置格納モジュールＲ１６に格納されている特徴点配置の１つを取得し、それと検索モジュールにおける特徴点配置計算モジュールＱ１５により計算された特徴点配置の１つとから、アフィンパラメータを求める。アフィンパラメータを求めるには、例えば、次のような方法を用いる。
Figure JPOXMLDOC01-appb-M000020
 を用いると、α＝Ｘβとあらわすことができる。アフィンパラメータを推定する問題は、βを推定する問題となる。
　βの推定値
Figure JPOXMLDOC01-appb-M000021
 は、最小二乗法を用いれば、
Figure JPOXMLDOC01-appb-M000022
 で求めることができる。
Figure JPOXMLDOC01-appb-M000023
　また、
Figure JPOXMLDOC01-appb-M000024
 のように、各ｋに対して計算された市街地距離の和で求められる値であってもよい。また、より一般に各ｋに対して計算される何らかの相違度（類似度）を引数とする関数値がある閾値よりも小さい（大きい）場合に一致すると判定することもできる。
　また、検索モジュールにおける累積画素値比一致判定モジュールＱ４にて計算された相違度（あるいは類似度）とこれらの値を合わせて利用する照合を行っても良い。
　次に、図８及び図９、図１０のフローチャートを参照して本発明の第２の実施の形態の全体の動作について詳細に説明する。
　処理全体は、登録処理と、検索処理とから構成される。画像照合装置のＣＰＵによりこれらの処理がなされてもよい。
　最初に、登録処理について説明する。本発明の第２の実施の形態における登録処理は、本発明の第１の実施の形態における登録処理とほぼ同じである。従って、本発明の第１の実施の形態と相違する処理のみ、すなわち図８におけるステップＳＲＢ１４およびＳＲＢ１７を説明する。
　ステップＳＲＢ１４では、本発明の第１の実施の形態におけるステップＳＲ１４における処理が行われた後、登録モジュールにおける特徴点配置計算モジュールＲ１５が、Ｌｍから特徴点配置Ｆｍを計算する。計算されたＦｍは、登録モジュールにおける特徴点配置計算モジュールＲ１６に格納される。
　ステップＳＲＢ１７では、本発明の第１の実施の形態におけるステップＳＲ１７における処理が行われた後、特徴ベクトルが計算される元となったＬｍを一意に指定できる情報があわせて格納される。
　次に、検索処理について説明する。本発明第２の実施の形態における検索処理は、本発明の第１の実施の形態における検索処理とほぼ同じである。従って、本発明の第１の実施の形態と相違する処理のみ、すなわち図９におけるステップＳＱＢ１７のみ説明する。
　ステップＳＱＢ１７の処理について、図１０を用いて説明する。
　まず、ステップＳＱＢ１７１では、検索モジュールにおける累積画素値比一致判定モジュールＱ１４が登録画像から計算された特徴ベクトルと検索画像から計算された特徴ベクトルとの間の類似度を計算する。
　ステップＳＱＢ１７２では、ステップＳＱＢ１７１にて計算された相違度（あるいは類似度）があらかじめ定められる範囲内にあるかを判定する。この場合、相違度（類似度）がある値より小さい（大きい）場合に一致すると判定できるように範囲を決めておくことが一つの方法である。あらかじめ定められる範囲内にある場合はステップＳＱＢ１７３へ、そうでない場合にはステップＳＱＢ１７７へ進む。
　ステップＳＱＢ１７３では、検索モジュールにおける特徴点配置計算モジュールＱ１５が特徴点配置ＦｍＢを計算する。
　ステップＳＱＢ１７４では、アフィンパラメータ推定部Ａ１が、現在照合を行っている登録画像から計算された特徴ベクトルを生成する元となった領域組み合わせＬｍから計算した特徴点配置Ｆｍを取得する。
　ステップＳＱＢ１７５では、アフィンパラメータ検証部Ａ２が、ＦｍとＦｍＢとからアフィンパラメータを推定する。
　ステップＳＱＢ１７６では、アフィンパラメータ検証部Ａ２が、最終的に一致するかどうかの判定を判定し、その結果を出力する。
　ステップＳＱＢ１７７では、検索モジュールにおける累積画素値比一致判定モジュールＱ１４が、最終結果として不一致を出力する。
　次に、本発明の第２の実施の形態の効果について説明する。
　本発明の第２の実施の形態では、累積画素値比を要素とする特徴ベクトルを照合に加えて、特徴ベクトルを構成する元の領域組み合わせから特徴点配置を構成し、特徴点配置をも利用して照合が行えるように構成されているため、より高精度な照合が可能である。
　特に、図１１のような画像Ｉが登録画像として、画像ＩＢが検索画像として与えられており、ある特徴ベクトルを計算する元となった領域の組み合わせが、図中に図示されたように、ある領域が個々に移動して得られている場合を考える。（ｍ＝６の例に相当する。）この場合、累積画素値比を要素とする特徴ベクトルは、登録画像Ｉと検索画像ＩＢとで同じ値をとるため、一致と判定される。しかしながら、これらの画像は一致しないと考えるのが自然である。このような誤りが起こる要因は、特徴ベクトルとして各領域の面積の情報から計算される値のみを利用しているためである。
　本発明の第２の実施の形態においては、面積だけでなく、図１２に図示されているような画像Ｉと画像ＩＢの双方から抽出された特徴点を利用することにより、領域の位置に関する情報をも照合に利用できるため、図１１のような場合においても、高精度な照合が可能となる。
　次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
　図１３を参照すると、本発明の第３の実施の形態は、本発明の第１の実施の形態における構成に加えて、登録モジュールにおける三角形面積比計算モジュールＲ１７、登録モジュールにおける三角形面積比格納モジュールＲ１８、検索モジュールにおける特徴点三角形面積比計算モジュールＱ１６、不変量検証部Ｑ１７から構成される。
　登録モジュールにおける三角形面積比計算モジュールＲ１７は、背景技術における（登録手続きＧ）と同様の手続きで、登録画像から計算された特徴点の列Ｌｆから不変量の列を計算する。
　登録モジュールにおける三角形面積比格納モジュールＲ１８は、登録モジュールにおける三角形面積比計算モジュールＲ１５にて計算された不変量の列を、画像番号および不変量の列を計算する元となった連結領域の列Ｌｍを一意に指定できる指標とともに、格納する。
　検索モジュールにおける特徴点三角形面積比計算モジュールＱ１６は、背景技術における（登録手続きＧ）と同様の手続きで、検索画像から計算された特徴点の列Ｌｆから不変量の列を計算する。
　不変量検証部Ｑ１７は、登録モジュールにおける三角形面積比計算モジュールＲ１５にて計算された不変量の列と、検索モジュールにおける特徴点三角形面積比計算モジュールＱ１６にて計算された不変量の列を特徴ベクトルとみなし、検索モジュールにおける累積画素値比計算モジュールＱ１４が持つ機能において説明した相違度（または類似度）を計算し、その値を利用して一致しているかどうかを判定する。例えば、Ｑ１７にて計算される相違度（類似度）があらかじめ定められた範囲内の値をとる場合に一致したとみなし、それ以外の場合は不一致であると判定すればよい。また、Ｑ１４にて計算された相違度（類似度）を合わせて照合に利用することもできる。
　次に、図１４及び図１５、図１６のフローチャートを参照して本発明の第３の実施の形態の全体の動作について詳細に説明する。
　処理全体は、登録処理と、検索処理とから構成される。画像照合装置のＣＰＵによりこれらの処理がなされてもよい。
　最初に、登録処理について説明する。本発明の第３の実施の形態における登録処理は、本発明の第１の実施の形態における登録処理とほぼ同じである。従って、本発明の第１の実施の形態と相違する処理のみ、すなわち図１４におけるステップＳＲＣ１４およびＳＲＣ１７を説明するについて説明する。
　ステップＳＲＣ１４では、本発明の第１の実施の形態におけるステップＳＲ１４における処理が行われた後、登録モジュールにおける特徴点配置計算モジュールＲ１５が、Ｌｍから不変量の列を計算する。計算された不変量の列は、登録モジュールにおける三角形面積比格納モジュールＲ１８に格納される。
　ステップＳＲＣ１７では、本発明の第１の実施の形態におけるステップＳＲ１７における処理が行われた後、特徴ベクトルが計算される元となったＬｍから計算される不変量の列を一意に指定できる情報があわせて格納される。
　次に、検索処理について説明する。本発明の第３の実施の形態における検索処理は、本発明の第１の実施の形態における検索処理とほぼ同じである。従って、本発明の第１の実施の形態と相違する処理のみ、すなわち、図１５におけるステップＳＱＣ１７のみ説明する。
　図１６を参照して、ステップＳＱＣ１７について説明する。
　まず、ステップＳＱＣ１７１は、ステップＳＱＢ１７１の処理と同一である。
　ステップＳＱＣ１７２は、ステップＳＱＣ１７１にて計算された相違度（あるいは類似度）があらかじめ定められる範囲内にあるかを判定する。この場合、相違度（類似度）がある値より小さい（大きい）場合に一致すると判定できるように範囲を決めておくことが一つの方法である。あらかじめ定められる範囲内にある場合はステップＳＱＣ１７３へ、そうでない場合にはステップＳＱＣ１７７へ進む。
　ステップＳＱＣ１７３では、検索モジュールにおける特徴点三角形面積比計算モジュールＱ１６が不変量の列を計算する。この処理にはこれまでの手法を用いることができる。なお、これまでの手法の説明においては、１つの（連結）領域から、特徴点として重心を計算するように説明しているが、必ずしも重心でなくてもよい。また、１つの領域から１つの特徴点を抽出するように限る必要はなく、登録画像から計算される特徴点の数と、検索画像から計算される特徴点の数が同じになる方法であればそれを適用することが可能である。
　ステップＳＱＣ１７４では、不変量検証部Ｑ１７が、現在照合を行っている登録画像から計算された特徴ベクトルを生成する元となった領域組み合わせＬｍから計算した不変量の列を取得する。
　ステップＳＱＣ１７５では、不変量検証部Ｑ１７が、一致しているかどうかの判定結果を出力する。
　ステップＳＱＣ１７７では、不変量検証部Ｑ１７が、最終結果として一致であるか不一致であるかを出力する。
　次に、本発明の第３の実施の形態の効果について説明する。
　本発明の第３の実施の形態では、累積画素値比を要素とする特徴ベクトルを照合に加えて、特徴ベクトルを構成する元の領域組み合わせから特徴点配置を構成し、特徴点配置から特徴点三角形面積比を不変量として計算される不変量の列を用いて照合が行えるように構成されている。
　本発明の第２の実施の形態と同様に、面積だけでなく、領域の位置に関する情報をも照合に利用できるため、より高精度な照合が可能となる。
　なお、第２の実施の形態におけるアフィンパラメータの推定および検証と、第３の実施の形態における不変量による検証は独立して付加することができる処理である。したがって、第１の実施の形態にアフィンパラメータの推定及び検証と、不変量による検証の双方を付加することにより、新たな実施の形態が構成可能であることを付記しておく。
　以上の説明は、入力画像が（二値を含む）濃淡画像の場合についての説明である。
　入力画像がカラー画像の場合は、画像中の各画素について、色空間上の点から濃淡値を計算する手続きにより、カラー画像から１枚の濃淡画像を作成する方法を構成すれば、本発明が適用できるようになる。
　また、既存の手法でカラー画像から複数の濃淡画像を作成し、それらを利用した照合を行うこともできる。
　例えば、次のような手法が可能である。
　まず、登録モジュールにおける累積画素値比計算モジュールＲ１３、検索モジュールにおける累積画素値比計算モジュールＱ１３、登録モジュールにおける特徴点配置計算モジュールＲ１５、検索モジュールにおける特徴点配置計算モジュールＱ１５、登録モジュールにおける三角形面積比計算モジュールＲ１７、検索モジュールにおける特徴点三角形面積比計算モジュールＱ１５では、それぞれの濃淡画像から計算が行われる。
　登録モジュールにおける累積画素値比格納モジュールＲ１４、登録モジュールにおける特徴点配置格納モジュールＲ１６、登録モジュールにおける三角形面積比格納モジュールＲ１８では、複数の画像から計算された値が格納される。
　そうしておけば、検索モジュールにおける累積画素値比計算モジュールＱ１４、アフィンパラメータ推定部Ａ１、アフィンパラメータ検証部Ａ２、不変量検証部Ｑ１７が持つ機能を複数回動作させることで、同じ領域組み合わせについて、複数の画像における照合が可能となる。
　例えば、ＲＧＢ空間における、Ｒ値が表す濃淡画像Ｒ、Ｇ値が表す濃淡画像Ｇ、Ｂ値が表す濃淡画像Ｂの３画像を用いる場合は、濃淡画像Ｒから計算された特徴ベクトル同士による照合と、濃淡画像Ｇから計算された特徴ベクトル同士による照合と、濃淡画像Ｂから計算された特徴ベクトル同士による照合を行うことができる。照合結果としては、すべての濃淡画像において計算された特徴ベクトル同士が一致であった場合に、最終的に一致したと判定する。また、あらかじめ定められた数以上の濃淡画像における特徴ベクトル同士が一致した場合に、最終的に一致したとすることもできる。あらかじめ定められた数が２の場合は、例えば、濃淡画像Ｒにおける特徴ベクトル同士が一致し、かつ、濃淡画像Ｂにおける特徴ベクトル同士が一致した場合に、最終的に一致したとすることになる。ここでは、色空間から複数の濃淡画像を生成する方法として、ＲＧＢ各成分が表す濃淡画像を例に取ったが、これに限る必要はない。
　複数の濃淡画像を作る方法としては、入力される画像がカラー画像の場合は、ＲＧＢ空間、ＸＹＺ空間、ＬＡＢ空間、ＬＵＶ空間、ＹＩＱ空間など既存の色空間における各成分についての濃淡画像を利用することができる。もちろん、これに限らず、色空間における画素値の組を１次元の濃淡値に変換する関数を複数用意しておけば、複数の濃淡画像が得られる。
　複数の濃淡画像は、画像が入力された時点で計算しておいてもよいし、特徴ベクトルあるいは不変量リストの列が計算される直前に計算するのでもよい。
　次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。
　図１７に示すように、第１の実施例においては、本発明の第１の実施の形態の画像照合装置、もしくは、本発明の第２の実施の形態の画像照合装置、もしくは、本発明の第３の実施の形態の画像照合装置に加えて、最終一致判定部Ｑ３から構成される。なお、図１７中の結果出力部Ｑ２は、本発明の第１の実施の形態の画像照合装置においては検索モジュールにおける累積画素値比一致判定モジュールＱ１４、本発明の第２の実施の形態の画像照合装置においてはアフィンパラメータ検証部Ａ２、本発明の第３の実施の形態の画像照合装置においては不変量検証部Ｑ１７のことを指す。いずれも、登録画像から計算された領域の組み合わせと検索画像から計算された領域の組み合わせ１対に対し、一致または不一致１回を１回出力する点で共通である。
　最終一致判定部Ｑ３は、まず、結果出力部Ｑ２から一致が出力された数を、登録画像に応じて別々に計数する。例えば、登録画像ＲＩｒのある領域の組み合わせと検索画像のある領域の組み合わせが一致であった場合に、一致数Ｃｒを１だけ増加させる。照合開始前に各Ｃｒをすべて０で初期化しておけば、結果として、登録画像ＲＩｒに対して、一致数がＣｒ個であるというように計数される。次に、この値を用いて、最終的に検索画像に対応する登録画像がどの画像であるかを判定し、登録画像を一意に指定できる情報を出力する。例えば、Ｃｒの値が最も大きい登録画像ＲＩｒを用いることもできるし、背景技術で説明したような計算式を使って、各画像のスコアを求め、その値を利用して照合を行ってもよい。もちろん、Ｃｒあるいはスコアが同点のものがあれば結果を棄却としてもよい。また、Ｃｒの数があらかじめ定めた値よりも小さい場合、スコアがあらかじめ定めた範囲に入っていない場合について結果を棄却とすることも考えられる。
　最終一致判定部Ｑ３は、すべての登録画像に対するすべての領域組み合わせと、検索画像に対するすべての領域組み合わせについての一致判定が終了した後に動作する。
　このような画像照合装置は、図１８のような一つの計算機で構成することができることを説明した。すなわち、計算機上のメモリ（ＲＡＭ２）に本発明の画像照合機能を搭載したプログラムを搭載し、動作させるような構成として説明した。
　つまり、上述した各実施形態を例に説明した本発明は、上述した画像照合装置に対して、その説明において参照したフローチャートの機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、当該装置のＣＰＵ１に読み出して実行することにより達成される。
　また、当該装置内に供給されたコンピュータ・プログラム、特徴を含むデータ、画像データは、読み書き可能なＲＡＭ２またはハードディスク３等の記憶媒体に格納すれば良い。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
　もちろん、本発明の画像照合機能をハードウェア化した計算機を構成することも可能である。また、一部の機能をハードウェアで実現し、それらのハードウェアとソフトウェア・プログラムの協調動作により同様の機能を実現してもよい。登録画像および検索画像は、あらかじめ撮像手段で撮像した画像を計算機内のメモリあるいはハードディスク３に蓄えておいても良いし、（図示しない）別の計算機との通信回線により取得してもよい。また、入力装置として１つ以上の撮像装置と、撮像装置と計算機とをつなぐ通信線を付け加えることも可能である。
　また、本発明の機能は、図１９のように、複数の計算機上に分散させて構成することも可能である。例えば、第１の実施の形態の画像照合装置を用いた第１の実施例においては、計算機ＣｏｍＡが、登録モジュールにおける連結領域計算モジュールＲ１１、登録モジュールにおける領域組み合わせ計算モジュールＲ１２、登録モジュールにおける累積画素値比計算モジュールＲ１３を、計算機ＣｏｍＣが登録モジュールにおける累積画素値比格納モジュールＲ１４を、計算機ＣｏｍＢが、検索モジュールにおける連結領域計算モジュールＱ１１、検索モジュールにおける領域組み合わせ計算モジュールＱ１２、検索モジュールにおける累積画素値比計算モジュールＱ１３、検索モジュールにおける累積画素値比一致判定モジュールＱ１４、最終一致判定部Ｑ３を含むよう構成すればよい。第２の実施の形態の画像照合装置を用いた本発明の第１の実施例においては、計算機ＣｏｍＡが、登録モジュールにおける連結領域計算モジュールＲ１１、登録モジュールにおける領域組み合わせ計算モジュールＲ１２、登録モジュールにおける累積画素値比計算モジュールＲ１３、登録モジュールにおける特徴点配置計算モジュールＲ１５を、計算機ＣｏｍＣが登録モジュールにおける累積画素値比格納モジュールＲ１４、登録モジュールにおける特徴点配置格納モジュールＲ１６を、計算機ＣｏｍＢが検索モジュールにおける連結領域計算モジュールＱ１１、検索モジュールにおける領域組み合わせ計算モジュールＱ１２、検索モジュールにおける累積画素値比計算モジュールＱ１３、検索モジュールにおける累積画素値比一致判定モジュールＱ１４、検索モジュールにおける特徴点配置計算モジュール１５、アフィンパラメータ推定部Ａ１、アフィンパラメータ検証部Ａ２、最終一致判定部Ｑ３を含むように構成すればよい。第３の実施の形態の画像照合装置を用いた本発明の第１の実施例においては、計算機ＣｏｍＡが、登録モジュールにおける連結領域計算モジュールＲ１１、登録モジュールにおける領域組み合わせ計算モジュールＲ１２、登録モジュールにおける累積画素値比計算モジュールＲ１３、登録モジュールにおける三角形面積比計算モジュールＲ１７を、計算機ＣｏｍＣが登録モジュールにおける累積画素値比格納モジュールＲ１４、登録モジュールにおける三角形面積比格納モジュールＲ１８を、計算機ＣｏｍＢが検索モジュールにおける連結領域計算モジュールＱ１１、検索モジュールにおける領域組み合わせ計算モジュールＱ１２、検索モジュールにおける累積画素値比計算モジュールＱ１３、検索モジュールにおける累積画素値比一致判定モジュールＱ１４、検索モジュールにおける特徴点三角形面積比計算モジュールＱ１６、不変量検証部Ｑ１７、最終一致判定部Ｑ３を含むように構成すればよい。
　このようにすれば、例えば、次のような動作が可能である。
　まず、登録画像は撮像装置ＳｃＡを用いて撮像される。
　撮像された登録画像は計算機ＣｏｍＡにより計算され、計算されたデータが計算機ＣｏｍＣに格納される
　次に、検索画像は撮像装置ＳｃＢを用いて撮像され、撮像された検索画像は計算機ＣｏｍＢにより計算される。
　最後に計算機ＣｏｍＢは、計算機ＣｏｍＣに格納されたデータと比較照合することにより画像照合を行う。
　この例においては、登録処理を行う計算機、検索処理を行う計算機、格納を行う計算機はそれぞれ１台ずつで構成されているが、必ずしも１台に限らず、複数用意してもよい。また、格納を行う装置は、必ずしも計算機である必要は無く、ハードディスク、ＣＤ、ＤＶＤ、フラッシュメモリなど、データを格納する機能を有していればよい。また、登録処理と検索処理の双方を行うような計算機を用いても良い。また、登録処理を行う計算機と、検索処理を行う計算機とは必ずしも接続される必要なない。例えば、一方の計算機で計算されたデータを別の計算機にデータを利用するために、特徴量データを含む情報が格納された記憶媒体などを利用して、データのコピーを行っても良い。
　以上、発明について詳細に説明した。ここで説明したのは、あくまで一例である。したがって、構成や動作などに一部に異なるところがあっても、本質的に同様に照合を行う場合は本発明と同一であるとみなすべきである。
　なお、この出願は、２００８年３月４日に出願した、日本特許出願番号２００８－０５３９２５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば、一般の画像、特に文書画像に関する画像照合装置、あるいは画像照合用プログラムといった用途に適用できる。また、文書に検索するために特徴的な領域を入力画像とするように構成することによる画像照合装置の応用、例えば、郵便物画像における住所等の文字列画像を入力とする画像検索、あらかじめ画像検索のために設計された識別子をあらかじめ付与した画像に対する検索といった用途にも適用可能である。
本発明の第１の実施の形態におけるモジュール構成を示す図である。 本発明の第１の実施の形態における登録処理を説明するためのフローチャートである。 領域とその領域の累積画素値の様子の一例を表す図である。 本発明の第１の実施の形態における検索処理を説明するためのフローチャートである。 累積画素値比の計算の様子の一例を示した図である。 本発明の第２の実施の形態におけるモジュール構成を示す図である。 領域とその領域から計算される特徴点の様子の一例を表す図である。 本発明の第２の実施の形態における登録処理を説明するためのフローチャートである。 本発明の第２の実施の形態における検索処理を説明するためのフローチャートである。 本発明の第２の実施の形態における検索処理中のステップＳＱＢ１７の処理を説明するためのフローチャートである。 本発明の第２の実施の形態における特有の効果を説明するための登録画像および検索画像の例である。 ２つの画像について、領域とその領域から計算される特徴点の様子の一例を表す図である。 本発明の第３の実施の形態におけるモジュール構成を示す図である。 本発明の第３の実施の形態における登録処理を説明するためのフローチャートである。 本発明の第３の実施の形態における検索処理を説明するためのフローチャートである。 本発明の第３の実施の形態における検索処理中のステップＳＱＣ１７の処理を説明するためのフローチャートである。 本発明の第１の実施例の構成を示すための図である。 本発明の第１の実施の形態を実行するためのハードウェア資源の例を表した図である。 本発明の機能を複数の計算機上に分散させて構成した例である。

Claims (22)

  1. 　照合対象となる第１の画像と第２の画像について、前記第１および第２の画像中の部分領域から複数の部分領域を領域の組として求め、前記組から計算される特徴量を用いて前記第１の画像と前記第２の画像を照合する画像照合装置であって、
    　前記特徴量として、前記組に属する２つの部分領域における画素値の和である累積画素値を計算し、計算された前記累積画素値の比を計算する、累積画素値比計算手段を含むことを特徴とする画像照合装置。
  2. 　前記累積画素値比計算手段は、累積画素値を計算する際に、画素値として二値を利用することを特徴とする請求項１に記載された画像照合装置。
  3. 　前記累積画素値比計算手段は、累積画素値を計算する際に、画素値として濃淡画像における画素値を利用することを特徴とする請求項１に記載された画像照合装置。
  4. 　前記累積画素値比計算手段は、累積画素値を計算する際に、画素値としてカラー画像中の各画素における画素情報を基に計算された値を画素値として利用することを特徴とする請求項１に記載された画像照合装置。
  5. 　前記カラー情報を表す画素情報を元に画素値を計算する手段を１つ以上備え、カラー画像から計算される１つ以上の種類の濃淡画像のそれぞれに対して前記累積画素値比計算手段を利用した照合を行い、あらかじめ定められた数の濃淡画像について画像照合結果が一致と判定された場合に、画像として一致したと判定することを特徴とする請求項１に記載された画像照合装置。
  6. 　前記累積画素値比計算手段により計算された特徴量を計算するために用いた前記領域の組から特徴点配置を計算する特徴点配置計算手段と、
    　前記特徴点配置計算手段により計算された特徴点配置を用いてアフィンパラメータを推定するアフィンパラメータ推定手段と、
    　前記アフィンパラメータにより計算された値を用いて特徴点配置の当てはまりのよさを検証するアフィンパラメータ検証手段と
    　を含むことを特徴とする請求項１に記載された画像照合装置。
  7. 　前記累積画素値比計算手段により計算される前記特徴量を用いた照合により特徴量が一致したと判定された場合に、アフィンパラメータ推定手段と、アフィンパラメータ検証手段とが動作することを特徴とする請求項６に記載された画像照合装置。
  8. 　前記累積画素値比計算手段により計算された特徴量を計算するために用いた前記領域の組から特徴点配置を計算し、特徴点配置から特徴点三角形面積比である不変量の組を計算する特徴点三角形面積比計算手段と、
    　少なくとも前記特徴点三角形面積比計算手段により計算された特徴点三角形面積比である不変量を用いて検証を行う不変量検証手段と
    　を含むことを特徴とする請求項１に記載された画像照合装置。
  9. 　前記累積画素値比計算手段により計算される前記特徴量を用いた照合により特徴量が一致したと判定された場合に、不変量検証手段が動作することを特徴とする請求項８に記載された画像照合装置。
  10. 　検索される画像に対応する登録画像を検索または同定するための結果を出力する最終一致判定手段を備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像照合装置。
  11. 　請求項１乃至１０のいずれか１項に記載の画像照合装置により計算される特徴量を含むデータを格納した画像照合用特徴量格納記憶媒体。
  12. 　照合対象となる第１の画像と第２の画像について、前記第１および第２の画像中の部分領域から複数の部分領域を領域の組として求め、前記組から計算される特徴量を用いて前記第１の画像と前記第２の画像を照合する画像照合方法であって、
    　前記特徴量として、前記組に属する２つの部分領域における画素値の和である累積画素値を計算し、計算された前記累積画素値の比を計算することを特徴とする画像照合方法。
  13. 　コンピュータに、
    　照合対象となる第１の画像と第２の画像について、前記第１および第２の画像中の部分領域から複数の部分領域を領域の組として求め、前記組から計算される特徴量を用いて前記第１の画像と前記第２の画像を照合する処理を実行させるプログラムであって、
    　前記特徴量として、前記組に属する２つの部分領域における画素値の和である累積画素値を計算し、計算された前記累積画素値の比を計算する、累積画素値比計算処理を実行させることを特徴とするプログラム。
  14. 　前記累積画素値比計算処理で、累積画素値を計算する際に、画素値として二値を利用することを特徴とする請求項１３に記載されたプログラム。
  15. 　前記累積画素値比計算処理で、累積画素値を計算する際に、画素値として濃淡画像における画素値を利用することを特徴とする請求項１３に記載されたプログラム。
  16. 　前記累積画素値比計算処理で、累積画素値を計算する際に、画素値としてカラー画像中の各画素における画素情報を基に計算された値を画素値として利用することを特徴とする請求項１３に記載されたプログラム。
  17. 　前記カラー情報を表す画素情報を元に画素値を計算する処理を実行させ、カラー画像から計算される１つ以上の種類の濃淡画像のそれぞれに対して前記累積画素値比計算処理を利用した照合を行い、あらかじめ定められた数の濃淡画像について画像照合結果が一致と判定された場合に、画像として一致したと判定する処理を実行させることを特徴とする請求項１３に記載されたプログラム。
  18. 　前記累積画素値比計算処理により計算された特徴量を計算するために用いた前記領域の組から特徴点配置を計算する特徴点配置計算処理と、
    　前記特徴点配置計算処理により計算された特徴点配置を用いてアフィンパラメータを推定するアフィンパラメータ推定処理と、
    　前記アフィンパラメータにより計算された値を用いて特徴点配置の当てはまりのよさを検証するアフィンパラメータ検証処理と
    　を実行させることを特徴とする請求項１３に記載されたプログラム。
  19. 　前記累積画素値比計算処理により計算される前記特徴量を用いた照合により特徴量が一致したと判定された場合に、アフィンパラメータ推定処理と、アフィンパラメータ検証処理とが実行されることを特徴とする請求項１８に記載されたプログラム。
  20. 　前記累積画素値比計算処理により計算された特徴量を計算するために用いた前記領域の組から特徴点配置を計算し、特徴点配置から特徴点三角形面積比である不変量の組を計算する特徴点三角形面積比計算処理と、
    　少なくとも前記特徴点三角形面積比計算処理により計算された特徴点三角形面積比である不変量を用いて検証を行う不変量検証処理と
    　を実行させることを特徴とする請求項１３に記載されたプログラム。
  21. 　前記累積画素値比計算処理により計算される前記特徴量を用いた照合により特徴量が一致したと判定された場合に、不変量検証処理を実行させることを特徴とする請求項２０に記載されたプログラム。
  22. 　検索される画像に対応する登録画像を検索または同定するための結果を出力する最終一致判定処理を実行させることを特徴とする請求項１３乃至２１のいずれか１項に記載のプログラム。
PCT/JP2009/053824 2008-03-04 2009-03-02 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム WO2009110410A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP09718102A EP2251830A1 (en) 2008-03-04 2009-03-02 Image matching device, image matching feature amount storage medium, image matching method, and image matching program
JP2010501886A JP5304781B2 (ja) 2008-03-04 2009-03-02 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-053925 2008-03-04
JP2008053925 2008-03-04

Publications (1)

Publication Number Publication Date
WO2009110410A1 true WO2009110410A1 (ja) 2009-09-11

Family

ID=41055966

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/053824 WO2009110410A1 (ja) 2008-03-04 2009-03-02 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム

Country Status (3)

Country Link
EP (1) EP2251830A1 (ja)
JP (1) JP5304781B2 (ja)
WO (1) WO2009110410A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208096A (zh) * 2013-04-26 2013-07-17 西安电子科技大学 基于缩小及局部的多时相图像快速自动排序拼合方法
US9830336B2 (en) 2012-10-18 2017-11-28 Nec Corporation Information processing device, information processing method and information processing program
JP6487100B1 (ja) * 2018-05-24 2019-03-20 株式会社東芝 帳票処理装置及び帳票処理方法
CN110992407A (zh) * 2019-11-07 2020-04-10 武汉多谱多勒科技有限公司 一种红外与可见光图像匹配方法
CN112184817A (zh) * 2020-09-30 2021-01-05 四川大学华西医院 一种臂丛神经图像识别暨麻醉穿刺引导方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266149A (ja) * 2000-03-23 2001-09-28 Alpine Electronics Inc 画像一致判定装置
JP2006048245A (ja) * 2004-08-02 2006-02-16 Sharp Corp 画像処理装置、画像形成装置、処理原稿検索方法、処理原稿検索プログラム、記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266149A (ja) * 2000-03-23 2001-09-28 Alpine Electronics Inc 画像一致判定装置
JP2006048245A (ja) * 2004-08-02 2006-02-16 Sharp Corp 画像処理装置、画像形成装置、処理原稿検索方法、処理原稿検索プログラム、記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAKAI T. ET AL.: "Digital Camera o Mochiita Kosoku Bunsho Gazo Kensaku ni Okeru Affine Fuhenryo Oyobi Soji Fuhenryo no Riyo", IEICE TECHNICAL REPORT, vol. 105, no. 614, 16 February 2006 (2006-02-16), pages 25 - 30, XP008140342 *
NAKAI T. ET AL.: "Tokuchoten no Kyokushoteki Haichi ni Motozuku Digital Camera o Mochiita Kosoku Bunsho Gazo Kensaku", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS IEICE, vol. J89-D, no. 9, 1 September 2006 (2006-09-01), pages 2045 - 2054, XP008140335 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830336B2 (en) 2012-10-18 2017-11-28 Nec Corporation Information processing device, information processing method and information processing program
CN103208096A (zh) * 2013-04-26 2013-07-17 西安电子科技大学 基于缩小及局部的多时相图像快速自动排序拼合方法
CN103208096B (zh) * 2013-04-26 2016-02-24 西安电子科技大学 基于缩小及局部的多时相图像快速自动排序拼合方法
JP6487100B1 (ja) * 2018-05-24 2019-03-20 株式会社東芝 帳票処理装置及び帳票処理方法
JP2019204363A (ja) * 2018-05-24 2019-11-28 株式会社東芝 帳票処理装置及び帳票処理方法
CN110992407A (zh) * 2019-11-07 2020-04-10 武汉多谱多勒科技有限公司 一种红外与可见光图像匹配方法
CN110992407B (zh) * 2019-11-07 2023-10-27 武汉多谱多勒科技有限公司 一种红外与可见光图像匹配方法
CN112184817A (zh) * 2020-09-30 2021-01-05 四川大学华西医院 一种臂丛神经图像识别暨麻醉穿刺引导方法及系统
CN112184817B (zh) * 2020-09-30 2022-12-02 四川大学华西医院 一种臂丛神经图像识别方法及系统

Also Published As

Publication number Publication date
JP5304781B2 (ja) 2013-10-02
JPWO2009110410A1 (ja) 2011-07-14
EP2251830A1 (en) 2010-11-17

Similar Documents

Publication Publication Date Title
US8412730B2 (en) Image search apparatus and method thereof
CN110163193B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
US8472757B2 (en) Image search with feature point transformation
US8422793B2 (en) Pattern recognition apparatus
US20220254095A1 (en) Apparatus and method for searching for global minimum of point cloud registration error
JP5487970B2 (ja) 特徴点配置照合装置及び画像照合装置、その方法及びプログラム
CN111079570A (zh) 一种人体关键点识别方法、装置及电子设备
CN101133429A (zh) 文档和/或图像检索方法及其程序、文档和/或图像存储设备和检索设备
EP2172856A2 (en) Image processing apparatus, image processing method and program
JP6211407B2 (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
JP5304781B2 (ja) 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム
CN111782808A (zh) 文档处理方法、装置、设备及计算机可读存储介质
JP6128910B2 (ja) 学習装置、学習方法及びプログラム
US20150098659A1 (en) Method and apparatus for image retrieval
JP2019101927A (ja) 学習システム及び画像検索システム
JP6793925B2 (ja) 検証装置、方法、及びプログラム
CN113034492A (zh) 一种印刷质量缺陷检测方法、存储介质
US8942515B1 (en) Method and apparatus for image retrieval
US11593616B2 (en) Method for determining a data item's membership of a database and associated computer program product and information medium
WO2015068417A1 (ja) 画像照合システム、画像照合方法およびプログラム
CN117112917B (zh) 对象信息查询方法、装置、计算机设备和存储介质
JP6946959B2 (ja) 同一性判定装置、局所特徴抽出装置、方法、及びプログラム
Holliday et al. Scale-invariant localization using quasi-semantic object landmarks
JP7016130B2 (ja) 検証装置、方法、及びプログラム
Bao et al. Fast 2D-to-3D matching with camera pose voting for 3D object identification

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09718102

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010501886

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2009718102

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE