WO2008066152A1 - Dispositif, procédé et programme de génération de valeur caractéristique d'image de document - Google Patents

Dispositif, procédé et programme de génération de valeur caractéristique d'image de document Download PDF

Info

Publication number
WO2008066152A1
WO2008066152A1 PCT/JP2007/073156 JP2007073156W WO2008066152A1 WO 2008066152 A1 WO2008066152 A1 WO 2008066152A1 JP 2007073156 W JP2007073156 W JP 2007073156W WO 2008066152 A1 WO2008066152 A1 WO 2008066152A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
integrated
feature point
points
document image
Prior art date
Application number
PCT/JP2007/073156
Other languages
English (en)
French (fr)
Inventor
Tatsuo Akiyama
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2008547051A priority Critical patent/JP4957924B2/ja
Priority to EP07832850.7A priority patent/EP2093709A4/en
Publication of WO2008066152A1 publication Critical patent/WO2008066152A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • Document image feature amount generation device document image feature amount generation method, and document image feature amount generation program
  • the present invention relates to a document image feature quantity generation apparatus, a document image feature quantity generation method, a document image feature quantity generation program, a document image feature quantity storage apparatus, a document image feature quantity storage method, a document image feature quantity storage program And a document image feature matching device, a document image feature matching method, and a document image feature matching program, in particular, an image brought about by a difference in appearance of a connected area due to a difference in imaging conditions of a registered document image and a search document image.
  • Document image feature quantity generation apparatus for document image search feature quantity for suppressing adverse effect of search or identification, document image feature quantity generation method, document image feature quantity generation program, search using the feature quantity or document image feature Amount storage device, document image feature amount storage method, document image feature amount storage program, document image feature amount matching device for storing the feature amount, document image feature amount
  • the present invention relates to a collation method and a program for document image feature quantity collation.
  • Non-Patent Document 1 describes an example of a system using the device.
  • This system is a system including a document image search feature quantity generation system R.
  • the document image search feature quantity generation system R includes a registered image feature quantity calculation device R1 and a search image Feature amount calculation device R2 and registered image feature amount storage device R3
  • the registered image feature quantity calculation device R1 includes a feature point extraction unit R11 and a registered image feature quantity calculation unit R12.
  • the feature point extraction unit R11 includes a binary image generation unit R111, a word region calculation unit R112, and a word gravity center calculation unit Rl 13!
  • the registered image feature amount calculation unit R12 is a target feature point setting unit R121, and a neighboring feature point meter An arithmetic unit R122, a nearby feature point selection unit Rl 23, and an invariant calculation unit R124 are provided.
  • the invariant calculation unit R 124 outputs the calculation result from the registered image feature amount calculation device R 1, and the calculation result is input to the registered image feature amount storage device R 3.
  • the feature point extraction unit R11 extracts feature points from the input registered image (this is called feature point extraction processing) (step SR11).
  • step SR11 when the feature point is determined by the feature point extraction process of step SR11, the step is performed.
  • the registered image feature amount calculation unit R12 (FIG. 32) performs processing for calculating the feature amount from the obtained feature points (this is called registered image feature amount extraction processing).
  • the registered image feature quantity computing device R1 performs feature point extraction processing and registered image feature quantity extraction processing to generate a feature quantity V, and so on.
  • step SR11 the operation of the feature point extraction unit R11 (FIG. 32) will be described using the flowchart shown in FIG.
  • the binary image generation unit R111 applies adaptive binarization to the input registered image to generate a binary image (step SRI). 11
  • Step SR112 This process in step SR112 is referred to as word area labeling process.
  • the word centroid calculation unit R113 finds the centroid of the word area of the registered image (this is called word centroid calculation processing), and uses this as the feature point (step SRI 13). ).
  • the registered image feature amount calculation unit R12 calculates the feature amounts from the obtained feature points (the above-mentioned feature amount extraction process for registered image). Point out to do that) / / (step SR12 in Figure 33).
  • the feature point setting unit R121 calculates the feature points calculated by the feature point extraction unit R11.
  • a certain feature point is set as a feature point of interest (step SR1201).
  • the near feature point calculation unit R122 selects N feature points (referred to as near feature points) in the vicinity of the noted feature point (step SR1202).
  • a feature vector is calculated for all combinations of M feature points that can be selected from N neighboring feature points, and the neighboring feature point selection unit R123 (see FIG. 3).
  • the neighboring feature point selection unit R123 see FIG. 3
  • step SR 1203 one near feature point of the combination is selected from M
  • step SR 1204 the invariant calculation unit R 124 (FIG. 32) calculates a feature (vector) (step SR 1204).
  • the neighboring feature point selection unit R123 (FIG. 32) is the closest to the feature point of interest and the feature point of interest for the selected M points, centering on a certain feature point of interest. Order M points so that they are counterclockwise relative to the point.
  • the invariant calculation unit R 124 calculates one feature vector from one of the ordered combinations of M points.
  • the invariant calculation unit R124 stores and extracts the order of all possible combinations of f points from the ordered combination of M points, and the order is stored. From the f combinations, a feature vector is calculated and stored by repeatedly calculating a predetermined type of invariant in a predetermined method.
  • the C-dimensional feature vector is 1 by defining C by M times f (1) and repeating C times of equation (1).
  • FIGS. 36 and 37 For example, an example of calculating a feature vector from the ordered combination of M points is illustrated using FIGS. 36 and 37.
  • FIG. FIG. 36 shows how an M point is selected from N points and an f point is selected from M points.
  • FIG. 37 shows the combined force of M points selected from N points or selected from M points.
  • the combination of f points indicates how to be used for calculation of feature vectors in registered image feature value calculation (step SR 1204).
  • the feature vector of dimension (corresponding to the number of all combinations that select the combination of f points from the combination of M f points) is C (all combinations that select the combination of M points from the combination of N points)
  • the invariant calculation unit R124 calculates a feature vector for one of the M point combinations ordered by the nearest neighbor feature points from a certain feature point of interest.
  • the invariant calculation unit R124 calculates the feature vector by C shown by equation (1).
  • invariant calculation unit R124 determines whether or not calculation of feature vectors has been completed for all C (for example, seven) combinations of all M points that can be selected from N points.
  • the force is determined (step SR1205 in FIG. 35).
  • step SR1203 when the calculation of the feature vector is not completed even for all M neighboring feature points, the process returns to step SR1203 and is performed again by the neighboring feature point selection unit R123.
  • feature vectors not calculated are subsequently calculated.
  • the invariant calculation unit R124 can calculate all C (for example, seven) feature vectors for a combination of all M points that can be selected from N points for a certain feature point of interest.
  • step SR1206 determines whether calculation of feature vector has been completed for all feature points.
  • registered image feature amount extraction processing (step SR12 in FIG. 32) is ended.
  • step SR1201 if the feature vector calculation has not been completed for all feature points, the process returns to step SR1201, and feature points not calculated yet are set as the feature points of interest. Since non-selected feature vectors are calculated, all feature vectors are calculated in the registration image feature amount extraction process.
  • the processing of the registered image feature amount calculation unit R12 (that is, the registered image feature amount extraction processing in FIG. 33) focuses on all the feature points extracted by the feature point extraction unit R11. As feature points, it is continued until all feature vectors are calculated.
  • Non-Patent Document 1 the feature quantity registration process is performed using the feature vector after the feature quantity vector is calculated, and the problem solved by the present invention has nothing to do with the problem. It is omitted because it exists.
  • the invariant calculation unit R124 (FIG. 32) is calculated from f feature points in a predetermined order for all f feature points selected from M pieces. Calculate the feature vector based on the value of each geometrical invariant by calculating the geometrical invariant
  • the value of f differs depending on the geometrical invariant to be used. Therefore, the type of geometrical invariant to be used is determined by the system by predetermining the desired conversion between the registered image and the search image.
  • the values of N and M need to be set in advance to any values that satisfy N ⁇ M ⁇ f.
  • Non-Patent Document 1 the results of (10, 10), (8, 7), etc. are reported as (N, M)! /, Ru.
  • FIG. 38 shows the configuration of the search image feature quantity computing device R2.
  • the search image feature quantity calculation device R2 (FIG. 38) includes a feature point extraction unit R21 and a search image feature quantity calculation unit R22.
  • a feature point extraction unit R21 (FIG. 38) includes a binary image generation unit R211 and a word region calculation unit R212.
  • This feature point extraction unit R21 is the same as the feature point extraction unit R11 (FIG. 32) in the registered image feature amount calculation device R1.
  • the feature quantity calculation unit R22 (FIG. 38) includes a target feature point setting unit R221, a neighboring feature point calculation unit R222, a neighboring feature point selection unit R223, a cyclic calculation unit R224, and invariant calculation. Part R22
  • the target feature point setting unit R221, the nearby feature point calculation unit R222, the nearby feature point selection unit R223, and the invariant calculation unit R225 are features of the registered image feature amount computing device R1 (FIG. 32). It is the same as the point extraction unit R121, the near feature point calculation unit R122, the near feature point selection unit R123, and the invariant calculation unit R124.
  • the search image feature quantity computing device R2 (FIG. 38) is characterized by further including a cyclic computing unit R224 for the registered image feature quantity computing device R1!
  • the feature point extraction unit R21 extracts feature points from the input registered image. Extract (Step SR21 in Figure 39). In this case, the feature point extraction unit R21 (FIG. 38) extracts feature points by the same operation as the feature amount extraction unit R11 (FIG. 32) in the registered image feature amount calculation device R1.
  • the feature point extraction unit R21 (FIG. 38) has the same operation as the feature point extraction unit Rl 1 (FIG. 32), and thus the description thereof is omitted.
  • the search image feature amount calculation device R2 calculates the document image search feature amount by the search image feature amount calculation unit R22 (FIG. 38). Calculation (this is called search image feature amount extraction processing) (step SR22).
  • search image feature amount extraction processing this is called search image feature amount extraction processing
  • the operation of the search image feature amount calculation unit R22 (FIG. 38) is substantially the same as the operation of the registered image feature amount calculation unit R12 (FIG. 32), as shown in the flowchart of FIG.
  • the difference between the search image feature quantity calculation device R2 and the registered image feature quantity calculation device R1 is that the neighboring feature point selection unit R22 3 (FIG. 38) in step SR2204 of FIG. It is to find cyclic permutations for the ordered combinations found.
  • cyclic substitution is described by! /
  • cyclic substitution is P1 ⁇ , given that an ordered set of elements (eg, ⁇ PI, P2, P3, P4 ⁇ ) is given.
  • the original order is changed so that the original order is circulated with P 2 ⁇ P 3 ⁇ P 4 ( ⁇ P 1) (conceptually, according to P 1 ⁇ P 2 ⁇ P 3 ⁇ P 4 ( ⁇ P 1), n Replace the element shifted to the right right)), which refers to the replacement for obtaining an ordered set.
  • ⁇ PI, P2, P3, P4 ⁇ , ⁇ P2, P3, P4, P1 ⁇ or ⁇ P3, P4, PI, P2 ⁇ or ⁇ P4, PI, Replacing by P2, P3 ⁇ is called cyclic replacement.
  • the neighboring feature points correspond to the elements ⁇ PI, P2, ⁇ ⁇ ⁇ .
  • step SR2204 While calculating cyclic permutation in step SR2204, feature vectors are obtained for all cyclic permutations of M ordered combinations selected in step SR2203 in subsequent step SR2205. It will be.
  • step SR2206 it is determined whether calculation of feature vectors of cyclic allocation of all M points is completed.
  • step SR 2204 calculates the feature vector of the cyclic arrangement not calculated yet.
  • step SR2207 it is determined whether calculation of feature vectors has been completed for all M point combinations that can be selected from N points. Do.
  • step SR2208 for all the feature points.
  • feature vectors are calculated for all combinations of M points that can be selected from N points.
  • step SR2208 it is determined whether calculation of feature vectors has been completed for all feature points, and if calculation of feature vectors has not been completed for all feature points, Returning to step SR2201, a feature point not calculated yet is set as a feature point of interest, and feature vectors are calculated.
  • Non-Patent Document 1 describes that the same values as the values of N, M, and f in registered image feature amount calculation unit R12 (FIG. 32) are used. ing.
  • the registered image feature amount storage device R3 corresponds to the registered image feature amount calculation device R1.
  • V a device that stores feature quantities (vectors) calculated in advance.
  • an invariant to a predetermined geometric transformation to be allowed in advance is an element of the feature quantity (vector).
  • Non-Patent Document 2 describes projective invariants, affine invariants, similarity invariants, and the like.
  • an affine invariant when used as an element of a feature vector, even if an affine transformation occurs between a search image and a registered image, the same feature vector is calculated in principle from both of them. it can.
  • an advantage is that a feature vector can be generated that can be used in advance to perform pre-processing such as tilt correction and size correction on a registered image or a search image.
  • Non-Patent Document 3 describes a method such as run analysis and boundary tracking as a labeling method in a connected region.
  • Non-Patent Document 4 outlines a conventional feature point extraction method for extracting feature points. The abbreviation is described.
  • Non-Patent Document 1 Tomohiro Nakai, 2 others, "Utilization of affine invariants and similarity invariants in high-speed document image retrieval using a digital camera", Technical Report of IEICE. Nin'in 'media reason early, PRMU 2005-184-201), February 16, 2006, volume 105, number 614, pages 25-30
  • Non-Patent Document 2 Satoshi Sato, "Computer Vision", Corona, 1999, pages 54 to 65
  • Non-patent Document 3 edited by Hideyuki Tamura, Computer Image Processing, Ohm, 2002, 149-53
  • Non Patent Literature 4 Tomohiro Nakai, 2 others, "A document image search with a digital camera: 10,000 pages force, etc. 0. One to search in 1 second", Information Technology Letters, August 2005, Volume 4, 133-; 13 6 pages (LI- 001)
  • Non-Patent Documents 1 to 4 use only the center of gravity of the connected component obtained from the image after binarization as the feature point. Therefore, in the case where the connection region originally to be determined determined from the registered image and the search image is in contact on one side and is separated on the other side, the arrangement of the feature points used for the calculation of the feature amount is essential. It will be in a very different position.
  • connection region to be originally determined determined from the registered image and the search image is in contact in one connection region and separated in the other due to individual differences among scanners, differences in imaging conditions, etc. There is a problem that the feature quantity to be matched can not be obtained.
  • the present invention has been made in view of the above-mentioned problems, and in the case where the linked area of interest of the registered image and the search image is in contact in one image and separated in the other image.
  • a document image feature quantity generating device for extracting feature points from an input image to be input and generating feature quantities from the feature points, the continuous region from the input image being input.
  • Integrated feature point extraction means for determining an integrated feature point from the integrated connection region centroid, determining at least a part of the connection regions and calculating the center of gravity of the connection region and calculating the feature points. And setting the feature point of interest from among the determined feature points, and generating the feature value of the combined region integrated from the neighboring feature point arranged in the vicinity of the feature point of interest concerned and the integrated feature point.
  • a document image feature quantity generation apparatus is provided, which comprises:
  • a document image feature quantity generation method in a document image feature quantity generation device for extracting feature points from an input image to be input and generating feature quantities from the feature points,
  • the connected area is determined from the input image, and the center of gravity of the connected area and the feature point are calculated, and at least a part of the connected area is integrated, and the integrated center of the connected area is integrated feature point
  • the integrated feature point is integrated from the nearby feature point and the integrated feature point arranged in the vicinity of the feature point of interest.
  • a feature amount generation step of generating a feature amount of the connected region.
  • a program for document image feature quantity generation in a document image feature quantity generation device for extracting feature points from an input image to be input and generating feature quantities from the feature points. Determining a connected area from the input image, calculating a center of the connected area and the feature point, integrating at least a part of the connected areas, and integrating from an integrated connected area center of gravity An integrated feature point extraction procedure for finding a feature point, an attention feature point is set from among the found feature points, and integration is performed from neighboring feature points arranged near the attention feature point and the integrated feature points. There is provided a program for document image feature quantity generation which causes a computer to execute a feature quantity generation procedure for generating feature quantities of the connected region.
  • the feature amount is generated using the center of gravity of the integrated connected region as the feature point
  • the registered image and the arrangement of the feature points for calculating the feature amount are used. It is possible to obtain an arrangement of feature points that substantially match the search image.
  • the document image feature quantity generation apparatus document image feature quantity generation method, document image feature quantity generation program, document image feature quantity storage apparatus, document image feature quantity storage method, document image feature quantity storage program, document image A feature amount matching device, a document image feature amount matching method, and a document image feature amount matching program can be realized.
  • FIG. 1 is a block diagram showing the configuration of a document image search feature value generation system according to the present invention.
  • FIG. 2 is a block diagram showing the configuration of a registered image feature quantity computing device according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing a configuration of a retrieval image feature quantity computation device according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the registered image feature quantity computing device according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart showing the operation of the feature point extraction unit according to the first embodiment of the present invention.
  • FIG. 6 is a flowchart showing the operation of the integrated feature point calculator according to the first embodiment of the present invention.
  • FIG. 7 is a flow chart showing an operation of a registered image feature quantity calculation unit according to the first embodiment of the present invention.
  • FIG. 8 is a flowchart for describing feature amount addition calculation processing of a registered image feature amount calculation unit according to the first embodiment of the present invention.
  • FIG. 9 is a flowchart showing the operation of the search image feature quantity computing device according to the first embodiment of the present invention.
  • FIG. 10 is a flowchart showing the operation of a search image feature quantity calculation unit according to the first embodiment of the present invention.
  • FIG. 11 is a flowchart for describing feature amount addition calculation processing of a search image feature amount calculation unit according to the first embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration of a retrieval image feature quantity computing device according to a second embodiment of the present invention.
  • FIG. 13 is a block diagram showing a configuration of a registered image feature quantity computing device according to a third embodiment of the present invention.
  • FIG. 14 is a block diagram showing the configuration of a document image search feature quantity generation system according to a first example of the first embodiment of the present invention.
  • Garden 16 is a diagram showing a registered image PR1A in the first embodiment of the present invention.
  • FIG. 23 An ordered combination calculated by the cyclic calculation unit in the neighboring image feature point selection unit and the search image feature amount calculation unit in the registered image feature amount calculation unit according to the first embodiment of the present invention
  • Features generated by the search unit and the search image feature calculation unit Values and feature values calculated by the invariant calculation unit and the cyclic calculation unit in calculating
  • FIG. 24 is a view for explaining the generation results of feature quantity (vector) by the registered image feature quantity computing device regarding the registered image PR1A in the first example of the present invention.
  • FIG. 26 is a view for explaining the generation results of feature quantity (vector) by the registered image feature quantity computing device regarding the registered image PR2A in the first example of the present invention.
  • FIG. 29 is a flowchart showing the operation of the feature quantity matching device in the first example of the present invention.
  • FIG. 30 is a view for explaining a feature amount (vector) generation result by the search image feature amount calculating device regarding the registered image PR1B in the first example of the present invention.
  • FIG. 31 is a block diagram showing the configuration of a document image search feature value generation system R according to the prior art.
  • FIG. 32 is a block diagram showing a configuration of a registered image feature quantity computing device, a feature point extraction unit, and a registered image feature quantity computation unit of the prior art.
  • FIG. 33 is a flowchart showing the operation of the registered image feature quantity computing device of the prior art.
  • FIG. 34 is a flowchart for explaining the operation of feature point extraction processing according to the prior art.
  • FIG. 35 is a flow chart for explaining a registration image feature amount extraction process of the registration image feature amount calculation unit in the prior art.
  • FIG. 37 is a diagram for describing seventeen 15-dimensional feature vectors in the prior art.
  • FIG. 38 is a block diagram showing a configuration of a search image feature quantity calculation device, a feature point extraction unit, and a search image feature quantity calculation unit of the prior art.
  • FIG. 39 is a flow chart showing the operation of a prior art search image feature value computation device.
  • Garden 40 With the flowchart for explaining the operation of the search image feature quantity calculator of the prior art is there.
  • a registered image feature quantity computing device 1 in the first embodiment of the present invention, a registered image feature quantity computing device 1 and
  • a search image feature amount calculation device 2 and a registered image feature amount storage device 3 are provided.
  • the registered image feature quantity computing device 1 includes a feature point extracting unit 11 and a registered image feature quantity computing unit 12.
  • the feature point extraction unit 11 includes a binary image generation unit 111, a connected area calculation unit 112, a connected area centroid calculation unit 113, and an integrated feature point calculation unit 114.
  • the binary image generation unit 111 generates a binary image from an input image.
  • pixels of pixel values in a predetermined range such as binarization with a predetermined threshold, adaptive binarization, etc.
  • An existing binarization method is used, such as binarizing with pixels of pixel values in the other range.
  • the input is a color image
  • the color space may be clustered, and one or more clustering areas and other areas may be binarized.
  • the binary image generated by the binary image generation unit 111 is input.
  • the connected region calculation unit 112 the binary image generated by the binary image generation unit 111 is input.
  • connect perform connected area labeling.
  • labeling is performed using an existing method such as run analysis and boundary tracking as described in Non-Patent Document 3.
  • pixels belonging to the same connected area are attached with the same label and pixels belonging to different connected areas with respect to binary images input without being limited to run analysis and boundary tracking. You just have to put a different label on
  • Non-Patent Document 1 it is good even if an existing image processing method or the like is performed before connected area labeling is performed to obtain an area corresponding to a word area.
  • the connected area centroid calculation unit 113 calculates the centroids of the pixel sets belonging to the same label calculated by the connected region calculation unit 112, and uses them as feature points.
  • the integrated feature point calculation unit 114 a plurality of regions labeled differently are selected, and feature points calculated from their connected regions (hereinafter referred to as integrated feature points), and the connected regions From the number of pixels, a new feature point (hereinafter referred to as an integrated feature point) and the number of pixels obtained by integrating a plurality of selection areas of differently labeled connected areas are obtained.
  • connection areas to be integrated it is preferable to select a connected region set in which the connected regions are close to each other. Then, in order to determine whether or not the connection areas are close to each other, the distance between the centers of gravity, the minimum value of the distances to connection areas belonging to different labels among connection areas belonging to the label, etc. In the case of closeness below a predetermined value, it is determined that the connected area should be integrated.
  • the feature point extraction unit 11 includes the binary image generation unit 111, the connection region calculation unit 112, the connection region gravity center calculation unit 113, and the integrated feature point calculation unit 114, thereby providing an input. It has a function to extract feature points from the input image.
  • the registered image feature quantity calculation unit 12 includes a target feature point setting unit 121, a neighboring feature point calculation unit 122, a neighboring feature point selection unit 123, and an invariant calculation unit 124.
  • the notable feature point setting unit 121 sets one feature point to be focused (this feature is referred to as a notable feature point) in calculating the feature amount.
  • a predetermined number of points in the vicinity of the feature point of interest N (N And Calculate the feature points of) and output.
  • the neighboring feature point selecting unit 123 selects a predetermined number (M) of feature points from the neighboring feature points calculated by the neighboring feature point calculating unit 122. At this time, the integrated feature point and the feature point from which the integrated feature point is generated are selected so as not to be selected simultaneously.
  • the selected feature point is clockwise based on a half line connecting the feature point of interest and the feature point closest to the feature point of interest among the selected feature points with the focus feature point as the center, Or order counterclockwise, in any predetermined direction.
  • the invariant calculation unit 124 also stores the feature invariants that are elements in the predetermined order by the feature point set force selected by the neighboring feature point selection unit 123, thereby storing the feature quantity (vector) Generate
  • each element of the feature quantity is a predetermined geometrical invariant.
  • the geometrical invariants include similarity invariants, affine invariants, and projection invariants as described in Non-Patent Document 2.
  • the storage destination of this feature vector is the registered image feature amount storage unit 3.
  • the registered image feature quantity calculation unit 12 includes the target feature point setting unit 121, the neighboring feature point calculation unit 122, the neighboring feature point selection unit 123, and the invariant calculation unit 124.
  • the feature amount (vector) is calculated using the feature points and the number of connected area pixels output from the feature point extraction unit 11 and stored in the registered image feature amount storage device 3.
  • the search image feature quantity calculation device 2 includes a feature point extraction unit 21 and a search image feature quantity calculation unit 22.
  • the feature quantity extraction unit 21 includes a binary image generation unit 211, a connected region generation unit 212, a connected region centroid calculation unit 213, and an integrated feature point calculation unit 214.
  • the feature point extraction unit 21 in the search image feature quantity calculation device 2 has the same configuration as the feature point extraction unit 11 in the registered image feature quantity calculation device 1, and thus the details thereof will be omitted.
  • the search image feature quantity calculation unit 22 includes a target feature point setting unit 221, a neighboring feature point calculation unit 222, a neighboring feature point selection unit 223, a cyclic calculation unit 224, and an invariant calculation unit 225. ing
  • the target feature point setting unit 221 and the neighboring feature point calculation unit in the search image feature amount calculation unit 22 are configured to calculate the target feature point setting unit 221 and the neighboring feature point calculation unit in the search image feature amount calculation unit 22
  • the neighboring feature point selecting unit 223 has the same configuration as the target feature point setting unit 121, the neighboring feature point calculating unit 122, and the neighboring feature point selecting unit 123 in the registered image feature amount calculating unit 12 (FIG. 2), respectively. Therefore, the details are omitted.
  • the cyclic calculation unit 224 performs the change by circulating the order of the feature point sets, using the ordered feature point sets output by the neighboring feature point selection unit 223 as an input.
  • the invariant calculation unit 225 in the search image feature quantity calculation device 2 is the same as the invariant calculation unit 124 in the registered image feature quantity calculation unit 12 (FIG. 2), and thus the details will be omitted.
  • the search image feature quantity calculation unit 22 calculates a feature quantity (vector) using the feature points output from the feature point extraction unit 21 and the number of connected area pixels.
  • the registered image feature quantity computing device 3 (FIG. 1) is a device that stores the feature quantities (vectors) generated by the registered image feature quantity computing apparatus 1 as described above and the number of connected area pixels. is there.
  • step S11 when a multi-valued image is input to registered image feature quantity calculation apparatus 1, feature quantity extraction unit 11 of registered image feature quantity calculation apparatus 1 (FIG. 2) performs feature point extraction processing (step S11). .
  • the registered image feature amount calculation unit 12 next performs registered image feature amount calculation processing (step S12).
  • step S 11 the processing contents of the feature point extraction processing (step S 11) and the feature amount calculation processing for registered image (step S 12) will be further described in detail using flowcharts.
  • the flow chart of FIG. 5 shows the feature point extraction process in step S11.
  • the binary image generation unit 111 of the registered image feature quantity computing device 1 (FIG. 2) generates a binary image (step S 111).
  • connected region generation section 112 (FIG. 2) performs connected region labeling (step S 112).
  • the connected area centroid calculation unit 113 calculates the position of the center of gravity and the number of pixels for each connected area (step S 113).
  • the integrated feature point calculation unit 114 obtains integrated feature points from feature points in the vicinity of each other, and obtains the number of pixels of the integrated connection area (step S 114).
  • the distance measure used as a reference to determine this neighborhood can use existing distance measures such as Euclidean distance between feature points and urban distance.
  • This TH1 may use a predetermined value, or after line segmentation is performed to obtain a baseline, the connected component is projected onto the baseline to obtain the width of the connected component to be obtained. Normalization such as dividing TH1 by a value may be used.
  • a process of obtaining the size of the connected region (referred to as integrated feature point calculation process) by the integrated feature point calculation unit 114 will be described with reference to the flowchart of FIG. Referring to FIG. 6, the operation of the integrated feature point calculator 114 is roughly as follows.
  • the integrated feature point calculation unit 114 obtains, for the connected region labeling image, the distance between each connected region (this is called inter-connected region distance calculation processing) (step S1141).
  • the distance between the connection areas is determined by the distance between the centers of gravity.
  • the minimum value of the distance measure d in an arbitrary image of connected region CC1 and any pixel of another connected region CC2 is
  • the integrated feature point is determined, the center of gravity of the integrated feature point is calculated, and the sum of the number of pixels of the connected connected area is calculated to be the number of pixels corresponding to the integrated feature point (step S1142). ).
  • the distance of 2 is less than D and the distance between connected component 2 and connected component 3 is less than D, it is possible to integrate three connected regions.
  • a of connected regions can be integrated. Also, here, the value of A shall be determined in advance.
  • the feature point extracting unit 11 of the registered image feature quantity computing device 1 corresponds to the feature points, the integrated feature points, and each connected region by the feature point extracting process (FIG. 4) in step S11.
  • the registered image feature amount calculation unit 12 calculates the registered image feature amount calculation unit 12
  • step S12 The registered image feature value extraction process in step S12 is performed (step S12 in FIG. 4).
  • the notable feature point setting unit 121 included in the registered image feature quantity calculation unit 12
  • the neighboring feature point calculation unit 122 determines whether the target feature point is an integrated feature point (step S 1202).
  • step S1210 the processing in step S1210 and subsequent steps is performed, while if the set noted feature point is not an integrated feature point, the process proceeds to step S1210.
  • SI Perform the processing of SI 203 and below.
  • step S 1203 the neighboring feature point calculation unit 122 calculates the distance among the feature points excluding the noted feature point and the integrated feature point. N feature points are selected from the closest separation (step S 1203).
  • the neighboring feature point selecting unit 123 obtains a combination for selecting M feature points from the N feature points, and selects one (step S1204). At this time, M feature points shall be properly ordered as described above.
  • the invariant calculation unit 124 calculates an invariant that can be calculated from f feature point coordinates from the M ordered feature points, and the elements are stored in a predetermined order (Ste S1205).
  • step S 1204 The processing up to step S 1204 shown in FIG. 7 until step S 1205 is performed for all combinations of M points that can be selected from the N points selected in step S 1203.
  • step S 1206 it is determined whether or not the calculation of the feature vector has been completed for the combination of all the M points that can be selected, such as the N point force.
  • step S 1204 if calculation of feature vectors has not been completed for at least one M feature (M) neighboring feature points, the process returns to step S 1204 and feature vectors that have not been calculated yet. While the nearby feature points of the Ktonoré are selected, the calculation of feature vectors is subsequently performed.
  • the feature vector is calculated for all combinations of M points that can be selected from N points! /.
  • step S 1207 it is determined whether all of the feature point sets for which a certain integrated feature point has been generated among the N feature points selected in step S 1203 are included.
  • step S1208 if all of the feature point sets for which a certain integrated feature point has been generated exist, feature amount addition calculation processing is performed (step S1208).
  • step S1209 the process proceeds to step S1209.
  • step S1208 The feature amount addition calculation processing in step S1208 will be described later using the flowchart of FIG.
  • step S1209 calculation of feature quantities is performed at all feature points. It is determined whether or not the process has ended, and if the calculation of the feature amount is completed for all the feature points, the registered image feature amount extraction process (step S12 in FIG. 4) ends.
  • step S 1201 is returned, and feature vectors not calculated yet are calculated using the feature points as the target feature points. It is supposed to
  • step S 1202 when the set noted feature point is an integrated feature point, the process proceeds to step S 1210, and the following operation is performed.
  • the feature point of interest In the neighboring feature point calculation unit 122 (FIG. 2), the feature point of interest, the integrated feature point for which the feature point of interest is generated, and the feature points excluding the integrated feature point N feature points are selected (step S 1210).
  • the neighboring feature point selecting unit 123 obtains a combination for selecting M feature points from the N feature points, and selects one (step S1211). At this time, M feature points shall be properly ordered as described above.
  • the invariant calculation unit 124 calculates an invariant that can be calculated from the f feature point coordinates from the M ordered feature points, and the elements are stored in a predetermined order (Step S1212).
  • step S 1211 to step S 1212 is performed for all combinations of M points that can be selected from the N points selected in step S 1210.
  • step S1213 it is determined whether or not the calculation of the feature vector is completed for the combinations of all the M points that can be selected, such as the N point force.
  • step S1211 If at least one feature vector has not been calculated for all the M feature (M) neighboring feature points, the process returns to step S1211, and the feature vectors not calculated yet are calculated. As neighboring feature points are selected, feature vectors are subsequently calculated.
  • feature vectors are calculated for all combinations of M points that can be selected from N points.
  • step S 1214 one integrated feature point is selected from the N feature points selected. It is determined whether all of the generated feature point sets are included (step S 1214).
  • step S1209 the process proceeds to step S1209.
  • step S 1215 The processing content of this feature point addition calculation processing (step S 1215) is the same as that of step S 1208 and will be described later. Then, after the feature point addition calculation process (step S1215) is finished, the process proceeds to step S1209.
  • step S1209 it is determined whether or not processing has been performed with all feature points as target feature points.
  • the process returns to step S1201, while processing for calculating feature vectors with all the feature points as the target feature points is performed. If it is V, the registered image feature amount extraction process (step S12 in FIG. 4) is ended.
  • the neighboring feature point selecting unit 123 (FIG. 2) of the registered image feature amount calculating unit 12 generates an integrated feature point from the N neighboring feature points calculated by the neighboring feature point calculating unit 122. Remove the integrated feature points, and instead add integrated feature points calculated from those integrated feature points (step S12081). Also, let N 'be the total number of neighboring feature points at this time.
  • step S12083 If N′ ⁇ M, the process goes to step S12083, whereas if N ′ ⁇ M, the process returns to step S12081.
  • step S12083 the neighboring feature point selecting unit 123 obtains one of the combinations for selecting M feature points from N 'feature points. At this time, as in step S 1204 (FIG. 7), appropriate ordering should be performed.
  • the invariant calculation unit 124 calculates an invariant that can be calculated from f feature point coordinates from the M ordered feature points, and stores the elements in a predetermined order. (Step S 12084). The processing of step SI 2083 to step SI 2084 is repeated until processing is performed for all combinations of M feature points selected from N feature points.
  • step S12085 it is determined whether the calculation of feature vectors has been completed for all the combinations of M points that can also select the N 'point force.
  • step S 12083 if calculation of feature vectors has not been completed for at least one M feature (M) neighboring feature points, the process returns to step S 12083 and feature vectors that have not been calculated yet. As the neighboring feature points of the target are selected, the calculation of feature vector that has not been calculated continues.
  • step S 12086 it is determined whether calculation of feature vectors has been completed for all feature point sets included in the neighboring feature points and for which a certain integrated feature point has been generated. It is like this.
  • step S12081 if calculation of feature vectors has not been completed for all of the feature point sets included in the neighboring feature points and for which a certain integrated feature point has been generated, the process returns to step S12081. Continue to calculate feature vectors for feature point sets that have not been calculated yet
  • step S 1208 or S 1215 the feature amount addition calculation process in step S 1208 or S 1215 is performed on the integrated feature points included in the N ′ feature points calculated by the neighboring feature point calculation unit 122. It is repeated until calculation processing is performed, and all feature vectors are calculated.
  • step S1209 it is configured to calculate the iteration invariant repeatedly for all the feature point sets included in the neighboring feature points and having generated a certain integrated feature point. After completion, proceed to step S1209.
  • the feature quantity extraction unit 21 D When a multi-valued image is input to the search image feature quantity computing device 2, the feature quantity extraction unit 21 D (see FIG.
  • the search image feature amount calculation process is performed (step S22).
  • step S22 the processing content of the search image feature quantity calculation process (step S22) of the search image feature quantity calculation unit 22 will be described with reference to the flowchart of FIG.
  • the notable feature point setting unit 221 included in the search image feature quantity calculation unit 22
  • the neighboring feature point calculation unit 222 determines whether the target feature point is an integrated feature point (step S2202).
  • step S 2212 the processing in step S 2212 and subsequent steps is performed, and if the set noted feature point is not an integrated feature point, step S 2212
  • step S 2203 the neighboring feature point calculation unit 222 calculates the features excluding the noted feature point and the integrated feature point.
  • N distance points, and N feature points from the side are selected (step S2203).
  • the neighboring feature point selection unit 223 (FIG. 3) obtains a combination for selecting M feature points from the N feature points, and selects one (step S2204). At this time, M feature points shall be properly ordered as described above.
  • the neighboring feature point selecting unit 223 determines whether cyclic permutation is performed from M ordered combinations.
  • the invariant calculation unit 225 calculates an invariant that can be calculated from the f feature point coordinates from the M ordered feature points, and stores the elements in a predetermined order ((0) Step
  • step S2205 to step S2206 is the same as for all rounds calculated from point M. Perform the permutation combination of times.
  • step S2207 it is determined whether calculation of feature vectors of cyclic allocation of all M points is completed.
  • step S2205 if calculation of the feature vector characteristic of the cyclic arrangement is not complete even for one or more neighboring feature points of all M points (M), the process returns to step S2205 and has not been calculated yet. Perform V on the feature vector of cyclic arrangement, and calculate the feature vector.
  • step S2208 it is determined whether calculation of feature vectors is complete for all combinations of M points that can be selected from N points. It is supposed to
  • step S2209 if feature vectors have been calculated for all combinations of M points that can be selected from N points, the process moves to step S2209.
  • step S 2209 it is determined whether all the feature point sets for which a certain integrated feature point has been generated are included.
  • step S 2210 if all the feature point sets for which a certain integrated feature point has been generated exist, a feature amount additional calculation process is performed (step S 2210).
  • step S 2211 if all of the feature point sets for which a certain integrated feature point has been generated are not included, the process proceeds to step S 2211.
  • step S2210 The feature amount addition calculation processing in step S2210 will be described later using the flowchart of FIG.
  • step S2211 it is determined whether or not calculation of feature amounts has been completed for all feature points, and calculation of feature amounts is completed for all feature points.
  • step S22 the search image feature value extraction process (step S22) ends.
  • step S 2211 if calculation of feature quantities of all feature points has not been completed in step S 2211, the process returns to step S 2201, and feature vectors that have not been calculated as feature points of interest are used as feature vectors.
  • step S2202 if the set noted feature point is an integrated feature point, the process proceeds to step S2212 and the following operation is performed.
  • the neighboring feature point calculating unit 222 (FIG. 3) provided in the search image feature quantity calculating unit 22 excludes the attention feature point, the integrated feature point for which the attention feature point is generated, and the integration feature point. Of the feature points, select N feature points from the closest one (step S2212).
  • the neighboring feature point selection unit 223 (FIG. 3) obtains a combination for selecting M feature points from the N feature points, and selects one (step S2213). At this time, M feature points shall be properly ordered as described above.
  • step S2214 one of the cyclic permutations is calculated from the 1 M ordered combinations (step S2214).
  • the invariant calculation unit 224 calculates an invariant that can be calculated from f feature point coordinates from the M ordered feature points, and the elements are stored in a predetermined order.
  • Step S2214 Forces The processing up to step S2215 is performed for all combinations of cyclic permutations calculated from M points V.
  • step S2216 it is determined whether calculation of feature vectors of cyclic allocation for all M points has been completed.
  • step S 2214 the process returns to step S 2214 to calculate the feature vector of the cyclic arrangement not calculated yet.
  • step S2217 it is determined whether calculation of feature vectors is completed for all combinations of M points that can be selected from N points. Do.
  • step S2218 if the feature vector calculation has been completed for all combinations of M points that can be selected from N points, the process moves to step S2218.
  • step S 2212 a certain integrated feature point is selected. It is determined whether all of the generated feature point sets are included (step S 2218).
  • step S 2211 if all of the feature point sets for which a certain integrated feature point has been generated are not included, the process proceeds to step S 2211.
  • step S2219 The processing content of the feature point addition calculation processing (step S2219) is the same as that of step S2210, and thus will be described later as feature point addition calculation processing. Then, after the feature point addition calculation processing ends, the process proceeds to step S2211.
  • step S 2211 it is determined whether processing has been performed with all feature points as target feature points.
  • step S2201 if processing has not been performed on all feature points as the feature points of interest, the process returns to step S2201 and, on the other hand, all feature points are of interest.
  • a process of calculating a feature vector as a point is performed V, and the search image feature quantity extraction process (step S22 in FIG. 9) is ended.
  • the neighboring feature point selecting unit 223 (FIG. 3) of the retrieval image feature amount calculating unit 22 generates an integrated feature point from the N neighboring feature points calculated by the neighboring feature point calculating unit 222. Remove the integrated feature points and instead add integrated feature points calculated from those integrated feature points (step S22081). Also, let N 'be the number of neighboring feature points at this time.
  • step S22083 If N′ ⁇ M, the process proceeds to step S22083, whereas if N ′ ⁇ M, the process returns to step S22081.
  • step S22083 the neighboring feature point selection unit 223 obtains one of the combinations for selecting M feature points from N ′ feature points. At this time, as in step S2204 (Fig. 10)
  • the neighboring feature point selecting unit 223 determines whether cyclic permutation is performed from the M ordered combinations.
  • step S22084 calculates invariants that can be calculated from the f feature point coordinates from the M ordered feature points, and the elements are calculated in a predetermined order.
  • step S 22085 calculates invariants that can be calculated from the f feature point coordinates from the M ordered feature points, and the elements are calculated in a predetermined order.
  • Step S22084 Force, etc.
  • the processing up to step S22085 is to be performed for all cyclic permutations from the combination of M ordered feature points.
  • step S22086 it is determined whether feature vectors have been calculated for all cyclic permutations.
  • step S220 87 is performed.
  • step S22088 if calculation of feature vectors is completed for all combinations of M points that can be selected from N ′ points, the process moves to step S22088.
  • step S22083, and so on up to step S22087 is performed for all combinations that select N, feature points, and M feature points. It is repeated until.
  • step S22088 it is determined whether or not calculation of feature values has been completed for all feature point sets included in the neighboring feature points and for which a certain integrated feature point has been generated. .
  • the process is repeated until the process of feature amount addition calculation is performed on integrated feature points included in the N feature points calculated by the neighboring feature point calculation unit 222.
  • step S2211 it is possible to repeatedly calculate invariants for all feature point sets included in the neighboring feature points and for generating an integrated feature point, and it is possible to perform iterative processing. After completion, the process proceeds to step S2211.
  • the integrated feature point calculation unit 114 and the integrated feature point calculation unit 214 generate feature points generated by simulating contact of connected components, and calculate nearby feature points.
  • the feature point set is calculated so that the integrated feature points and the integrated feature points from which the integrated feature points are generated are not simultaneously selected by the unit 122 and the neighboring feature point calculation unit 222, and the feature points thereof are calculated. Since the feature amount is generated using a set, even if it is in contact in one of the registered image and the search image and is separated in the other image, the corresponding feature amount must be obtained. Force S.
  • the search image feature quantity generation unit 22 includes the cyclic calculation unit 224, but in the second embodiment, only the rotation of the image input in advance is considered. If this is the case, as shown in FIG. 12, the cyclic calculation unit 224 can be omitted.
  • the cyclic calculation unit 224 provided in the search image feature amount calculation device 2 can be obtained from the search image feature amount generation unit 22.
  • the registered image feature data generation apparatus 1 and the search image feature data generation apparatus 2 are interchanged. Form.
  • steps S2205, S2214, and S22084 are omitted, and instead the operations of steps S2205, S2214, and S22084 are incorporated after steps S1204, S1211, and S12083, respectively, and all of the ordered combinations are incorporated. You can do cyclic processing!
  • the document image search feature amount generation system D is incorporated as a part of the document image search system Z.
  • the document image search system Z shown in FIG. 14 includes a scanner A, a scanner B, a computer C1, a computer C2, a storage device M1, and a storage device M2.
  • the registered image feature value generation device 1 is provided in the computer C1
  • the search image feature amount generation device 2 is provided in the computer C2.
  • a registered image feature amount storage device 3 for storing the feature amount generated by the registered image feature amount generation device 1 is provided in the storage device Ml and is stored.
  • a matching device 4 for matching the feature amount stored in the registered image feature amount storage device 3 with the feature amount generated by the search image feature amount generation device 2 is provided in the computer C 2. There is.
  • the feature vector coincidence number storage device 5 for storing the number of times of matching the feature vector generated from the search image among the feature quantities (vectors) generated by each registered document is stored in the storage device M2. It is equipped.
  • an identification device that determines a registered image to be searched from the feature amount coincidence number of each registered image
  • the storage device Ml and the storage device M2 may be the same, or the computers C1 and C2 may be the same, and the scanners A and B may be the same.
  • the maximum number of feature points to be integrated is two. Also, as a standard for integrating feature points, the distance between connected regions is the minimum value of the urban distance d between an arbitrary image of connected region ⁇ and an arbitrary image of another connected region / 3 (2 ) Shall be defined by the expression.
  • the distance value between two connected region pairs ⁇ and ⁇ is
  • CC1 defined by Formula (2) is synonymous with (alpha) of a connection area
  • CC2 is synonymous with / 3 of a connection area
  • the distance value of the connection area pair ⁇ and / 3 is 2 according to equation (2), and the distance value of equation (2) is 1 Means that contact area ⁇ and beta are in contact! //.
  • the distance between feature points is defined by Euclidean distance.
  • the coordinate system in the image is such that the lower left is the origin, the positive direction of the X coordinate is to the right of the image, and the positive direction of the y coordinate is on the upper side of the image.
  • scanner A captures documents DObj l and DObj 2, and images PR1A, P
  • the registered image feature amount is calculated as R2A.
  • Scanner B then captures document DObj l
  • a registered image feature quantity generation device 1 generates a feature quantity upon being input from a certain registered image PR1A power S scanner A, and registers the registered image feature quantity storage. The operation until the feature amount is stored in the device 3 (FIG. 4) will be described.
  • the registered image PR1A is a gray-scale image with 256 gradations, and is an image as shown in FIG.
  • the feature point extraction unit 11 performs feature point extraction processing (S11 in FIG. 4). First, a binary image is generated by the binary image generation process of step S111 shown in FIG.
  • Step SI 12 in FIG. 5 label analysis by 4-connected run analysis described in Non-Patent Document 3 is performed on a binary image generated as an example. Do the processing.
  • FIG. 17 A state of the connected area labeling image LI1 after the labeling process is performed is shown in FIG. In FIG. 17, the circumscribed rectangles of the label area are superimposed as a result of the labeling process.
  • connection area gravity center 'pixel number calculation process step S 113 in FIG. 5
  • the feature points are stored as shown in FIG. 18 together with the number of pixels of the connection area.
  • the inter-connected-area distance calculation process (step S1141 in FIG. 6) of the integrated feature point planning process (step S114 in FIG. 5) determines the distance Distl between the connected areas.
  • between the connected areas is determined by scanning the entire surface of the label image using a filter as shown in FIG. 19 which can measure up to the distance value 3.
  • the linked area that satisfies the condition is further stored as shown in FIG. 20 in association with the feature point information (FIG. 18) already stored.
  • the two feature point coordinates are (X, y), (X, y) when obtaining the center of gravity of the integrated feature point in the integration process (step S1142 in FIG. 6).
  • the feature point i is (X, y), (X, y) when obtaining the center of gravity of the integrated feature point in the integration process (step S1142 in FIG. 6).
  • An integrated area may be obtained from L11 (not shown, which is an image calculated by the connected area labeling process of FIG. 5), and the center of gravity of the area may be used.
  • step S 11 in FIG. 4 integrated feature points of the obtained connected region are as shown in FIG.
  • the ninth and the thirteenth are connected to calculate the integrated feature point No. 15, and the tenth and the eleventh are connected to calculate the integrated feature point No. 16.
  • connection area number 9 and 15 indicate that they are in close proximity to each other.
  • the registered image feature quantity generation unit 12 performs the registered image feature quantity feature quantity extraction process (see FIG. 4).
  • the target feature point setting unit 121 of the registered image feature quantity generation unit 12 sets one of the feature points as a target feature point (step S 1201).
  • step S 1202 it is determined whether the feature point of interest is an integrated feature point force. In this case
  • the feature point numbers are sorted clockwise with respect to the half line passing through the eighth point with the seventh point being the nearest point feature point No. 4 of the noted feature point No. 7 as the head. .
  • step S 1205 feature vectors are calculated using affine invariants.
  • the affine invariant is a two-dimensional position vector ⁇ , ⁇ ,
  • Affine invariant
  • I ⁇ ⁇ I is a 2 X 2 matrix
  • ⁇ formed by arranging two column vectors ⁇ and ⁇ horizontally.
  • Step S 1204 Force, etc.
  • the process of step S 1205 is performed for all combinations that can select f points from the ordered combination of M points!
  • step S 1206 it is determined whether or not the calculation of the feature vector has been completed for the combination of all the M points that can be selected, such as the N point force.
  • step S 1204 If at least one feature vector has not been calculated for all M (M) neighboring feature points, the process returns to step S 1204 and features that have not been calculated yet. As the nearby feature points of the vector are selected, the calculation of feature vectors continues to be performed. There is.
  • feature vectors are calculated for all combinations of M points that can be selected from N points.
  • the combination shall be selected.
  • the first element shown in FIG. 23 is the feature point coordinates in the ordered combination of M points, y is the first feature point coordinate of the ordered combination, and ⁇ is the second feature point locus
  • ⁇ is the third feature point coordinate
  • ⁇ is the fourth feature point coordinate
  • the feature quantity vector generated in this embodiment is a 15-dimensional vector.
  • Step S 1204 Force, etc. By repeating the process of step S 1205, as a result, as shown in FIG. 24, a 15-dimensional feature quantity vector related to the noted feature point No. 7 is generated, and the registered image feature quantity storage device 3 Stored in
  • step S 1204 to the step S 12 of generating the 15-dimensional feature quantity vector are performed.
  • step S 1204 since one feature quantity vector is generated for each combination of one M point, in the process up to step S 1204, step S 1206, for example, C relating to the noted feature point No. 8
  • step S1207 it is determined whether or not all of the feature point sets for which integrated feature points have been generated exist in the neighboring feature points.
  • connection areas No. 4 and No. 5 and the distance between No. 10 and No. 11 are between the connection areas. Distance of 2
  • step S1208 Since it is TH1, the feature amount additional calculation process (FIG. 8) of step S1208 is performed.
  • step S12082 of FIG. 8 the determination in step S12082 of FIG. 8 is performed. In this case, since it is Yes, the process of step S12083 is performed. In the present embodiment, the processing of step S 12082 can be skipped because it always becomes Yes.
  • step S12084 a feature vector is determined.
  • an eighth feature vector related to the noted feature point No. 7 is generated and stored in the registered image feature amount storage device 3.
  • the document DObjl is imaged by the scanner B, and the search image PR1B is input to the search image feature amount calculation device 2.
  • the image in which the document DObjl is captured is PR1 A, so it is desirable that PR1A be output as a search (identification) result! /.
  • PR1A be output as a search (identification) result! /.
  • each registration is first stored in the feature vector match number storage device 5 (FIG. 14). Initialize the feature vector match number corresponding to the document to zero.
  • the feature point extraction process (step S21) is performed by the feature point extraction unit 21 of the search image feature quantity calculation device 2. This process is the same process as the feature point extraction process (step S11) by the feature point extraction unit 11 in the registered image feature quantity computing device 1.
  • search image feature amount calculation process (step S22) performed by the search image feature amount calculation unit 22 will be described.
  • the search image feature quantity calculation process (step S22 in FIG. 9) operates in cooperation with the feature quantity matching process performed by the feature quantity matching device 4 described later.
  • the target feature point setting unit 221 of the search image feature quantity computing device 2 sets one of the feature points as a target feature point (step S2201 in FIG. 10).
  • the feature point No. 6 is used as the feature point of interest after the feature amount (vector) is generated with the feature point numbers 1 to 5 as the feature point of interest.
  • step S2202 of FIG. 10 it is determined whether the feature point of interest is an integrated feature point. Since the feature point number 6 is not an integrated feature point (FIG. 20), the process proceeds to step S 2203.
  • the seven feature point numbers 7, 4, 3, 2, 9, 10, and 8 are selected (Fig. 28).
  • feature point numbers 7, 4, 3, 2, 9, 10 are the first combination. It is assumed that it is chosen.
  • This combination is ordered in the same way as the ordering method according to the process of step S 1204.
  • step S2206 (FIG. 10) for this ordered combination.
  • This feature quantity generation method is the same as the feature quantity generation method in step S1205.
  • step S2205 to step S2206 Since the processing from step S2205 to step S2206 is performed for all cyclic combinations, other order combinations, such as feature quantities (vectors) for 4, 3, 2, 9, 10, 7 etc. Calculations are also performed for
  • step S41 of FIG. 29 the distance between a certain feature vector stored in the registered image feature quantity storage device 3 and the feature vector generated from the search image is calculated (step S41), If it does not exceed a certain threshold TH1, it is determined that they match (step S42)
  • a distance measure an existing measure capable of calculating the distance between two vectors can be used.
  • the error square sum of two vectors is used as the distance, and 0.15 is used as the value of TH1.
  • the notable features of the search image PR1B calculated in step S2206 (FIG. 10)
  • the ordered combination for point No. 6 and the feature vector without a cycle for the 0th point are as shown in FIG.
  • the error sum of squares with the eighth feature vector related to the noted feature point No. 7 calculated from the registered image PR1A is 0.14 ⁇ .
  • step S42 it is determined whether this value exceeds the threshold TH1.
  • step S43 if the threshold value TH1 is not exceeded, the process moves to step S43, and it is regarded that the two feature vectors have been matched, and a registered image for which a matched feature vector is calculated (in this example, PR1A Is increased by one (step S43).
  • the feature vector coincidence number regarding the search image PR1A is increased by one.
  • step S2207 the process of the search image feature quantity calculating unit 2 is continued.
  • the force S is determined to perform the matching process each time a feature amount (vector) is generated in the registered image, and the present embodiment is not limited to this. All the feature vectors to be calculated, store them in a suitable storage device, and then perform matching processing on all combinations of feature vectors generated from the search image and feature vectors generated from the registered image. By doing so, the same identification (search) result may be obtained as a result.
  • step S2209 (Fig. 10)
  • step S2211 it is determined whether or not processing has been performed for all integration points.
  • processing is continued with a feature point that has not been set as a feature point of interest yet as a feature point of interest.
  • the number of matches stored in the feature vector match number storage device 5 is, for example, the number of matches for the registered image PR1A. Is 6, while the number of matches for the registered image PR2A is 1.
  • the identifying device 6 With reference to the number of matches stored in the feature vector match number storage device 5 (FIG. 14), the registered image with the largest number of feature vector matches is determined as the image to be identified.
  • the registered image as the determination result is the largest number of matching V and the registered image, and therefore, the registered image PR1A is output.
  • an ID uniquely associated with the image, a name, etc., or a combination thereof may be output.
  • the eighth feature vector related to the noted feature point No. 7 calculated from the search image PR 1 A described in the present embodiment can be generated by integrating feature points ( Vector).
  • This feature quantity (vector) is a force that can not be generated by the conventional method, and is a feature vector. Therefore, integrating feature points described in this embodiment to generate a feature quantity (vector) It is effective in searching or identifying documents.
  • connection areas which are close to each other are integrated. Since separation or contact is considered to be a phenomenon that occurs between connected regions at close distances, the method of integrating only connections that are close to each other is more integrated than the method of integrating all connected region pairs. This is particularly effective because the amount of such calculations can be effectively reduced.
  • the distance Distl between connected regions is used for integrated determination of feature points!
  • the registered image and the search which are not affected only by the inclination of the document between the registered image and the search image are eliminated. This is particularly effective because it is not necessary to correct the tilt of the image.
  • the present invention can be applied as a document search device for searching a document image captured by an imaging device using an image obtained by storing and saving a document.
  • a device for searching or identifying an object using a characteristic character string on the surface of the object for example, an address area image of a mail, an identifier designed to uniquely identify the object, etc. It can be used as.
  • This search or identification device can be used in a system for tracking image force objects captured at various locations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

明 細 書
文書画像特徴量生成装置、文書画像特徴量生成方法及び文書画像特 徴量生成用プログラム
技術分野
[0001] 本発明は、文書画像特徴量生成装置、文書画像特徴量生成方法、文書画像特徴 量生成用プログラム、文書画像特徴量格納装置、文書画像特徴量格納方法、文書 画像特徴量格納用プログラム、文書画像特徴量照合装置、文書画像特徴量照合方 法及び文書画像特徴量照合用プログラムに関し、特に、登録文書画像と検索文書画 像の撮像条件の違いによる連結領域の出現の違いがもたらす画像検索又は同定 の悪影響を抑制するための文書画像検索特徴量の文書画像特徴量生成装置、文 書画像特徴量生成方法、文書画像特徴量生成用プログラム及び前記特徴量を用い た検索もしくは文書画像特徴量格納装置、文書画像特徴量格納方法、及び文書画 像特徴量格納用プログラム、前記特徴量を格納する文書画像特徴量照合装置、文 書画像特徴量照合方法及び文書画像特徴量照合用プログラムに関する。
背景技術
[0002] 従来、文書や画像を取込み、その文書や画像の特徴量を計算する装置が知られて いる。また、その装置を用いたシステムの一例が、非特許文献 1に記載されている。
[0003] このシステムは、文書画像検索特徴量生成システム Rを含んだシステムであり、図 3 1を参照すると、文書画像検索特徴量生成システム Rは、登録画像特徴量計算装置 R1と、検索画像特徴量計算装置 R2と、登録画像特徴量格納装置 R3とを備えている
[0004] はじめに、図 32を参照しながら、登録画像特徴量計算装置 R1の構成を説明する。
[0005] 登録画像特徴量計算装置 R1は、特徴点抽出部 R11と、登録画像特徴量計算部 R 12とを備えている。
[0006] また、特徴点抽出部 R11は、二値画像生成部 R111と、単語領域計算部 R112と、 単語重心計算部 Rl 13とを備えて!/、る。
[0007] 一方、登録画像特徴量計算部 R12は、注目特徴点設定部 R121と、近傍特徴点計 算部 R122と、近傍特徴点選択部 Rl 23と、不変量計算部 R124とを備えている。
[0008] なお、不変量計算部 R124は、計算結果を、登録画像特徴量計算装置 R1から出 力し、その計算結果が登録画像特徴量格納装置 R3に入力されるようになっている。
[0009] 次に、登録画像が登録画像特徴量計算装置 R1に入力された場合の文書画像特 徴量生成システムの動作について、フローチャートを用いて順に説明する。
[0010] 図 33を参照すると、登録画像が登録画像特徴量生成装置 R1に入力されると、まず
、特徴点抽出部 R11は、入力された登録画像から特徴点を抽出（これを特徴点抽出 処理と言う。）する (ステップ SR11)。
[0011] そして、ステップ SR11の特徴点抽出処理によって特徴点が求められると、ステップ
SR12へ移動し、登録画像特徴量計算部 R12 (図 32)が、求められた特徴点から特 徴量を計算する処理 (これを登録画像用特徴量抽出処理と言う。）を行う。
[0012] このように、登録画像特徴量計算装置 R1は、特徴点抽出処理と登録画像用特徴 量抽出処理とを行い、特徴量を生成するようになって V、る。
[0013] 次に、ステップ SR11の特徴点抽出処理について、図 34に示すフローチャートを用 いて、特徴点抽出部 R11 (図 32)の動作を説明する。
[0014] まず、図 34に示すフローチャートでは、二値画像生成部 R111 (図 32)が、入力さ れた登録画像に対して、適応二値化を施して二値画像を生成する（ステップ SRI 11
)。
[0015] 次に、単語領域計算部 R112 (図 32)では、生成された二値画像に対してガウシァ ンフィルタを適用した後に、再度、二値化を行うことで登録画像の単語領域を得る (ス テツプ SR112)。なお、ステップ SR112におけるこの処理を、単語領域ラベリング処 理という。
[0016] そして次に、単語重心計算部 R113 (図 32)が、登録画像の単語領域の重心を求 め（これを単語重心計算処理と言う。）、これを特徴点とする (ステップ SRI 13)。
[0017] ステップ SR113において特徴点が求められた後は、登録画像特徴量計算部 R12 ( 図 32)が、求められた特徴点から特徴量を計算（上述の登録画像用特徴量抽出処 理のこと指す。 )を行うようになって!/、る（図 33のステップ SR12)。
[0018] 次に、登録画像特徴量計算部 R12が、登録画像用特徴量抽出処理を行う処理内 容について、図 35に示すフローチャートを用いて説明する。
[0019] 図 35に示すフローチャートを参照すると、登録画像特徴量計算部 R12 (図 32)は、 注目特徴点設定部 R121 (図 32)が、特徴点抽出部 R11によって計算された特徴点 から、ある特徴点を注目特徴点と設定する（ステップ SR1201)。
[0020] そして、近傍特徴点計算部 R122 (図 32)は、その注目特徴点の近傍にある N個の 特徴点 (これを近傍特徴点と言う。 )を選択する (ステップ SR1202)。
[0021] 次に、 N個の近傍特徴点から選ぶことのできる M個の特徴点の組み合わせのすべ てに対して特徴ベクトルを計算するようになっており、近傍特徴点選択部 R123 (図 3 2)によって、まず M個の中から組み合わせの 1つの近傍特徴点が選択（ステップ SR 1203)され、不変量計算部 R124 (図 32)により、特徴量 (ベクトル）の計算が行われ る（ステップ SR1204)。
[0022] ここで、近傍特徴点選択部 R123 (図 32)は、選択された M個の点に対し、ある注目 特徴点を中心として、注目特徴点とその注目特徴点から最も近 V、特徴点を基準とし て反時計回りとなるように、 M個の点の順序付けを行う。
[0023] これにより、不変量計算部 R124は、順序付けされた M個の点の組み合わせの 1つ から、 1つの特徴ベクトルを計算する。
[0024] 更に詳述すると、不変量計算部 R124は、順序付けされた M個の点の組み合わせ から、選択しうる全ての f点の組み合わせの順序を保存して抜き出し、その順序が保 存された f個の組み合わせから、予め定められた種類の不変量を、予め決められた方 法で、繰り返し計算することによって特徴ベクトルを計算し、格納する。
[0025] ここで、繰り返し計算する回数は、次式
國
Mし f ( 1 ) によって定義され、（1)式の C回繰り返すことにより、 C次元の特徴ベクトルが 1
M f M f
つ生成される。
[0026] 例えば、この順序付けされた M個の点の組合せから、特徴ベクトルを計算する具体 例を、図 36及び図 37を用いて例示する。 [0027] 図 36は、 N点から M点が選択されると共に、 M点から f点が選択される様子を表し たものである。
[0028] 図 36では、具体例として、 N= 7 M = 6 f = 4の場合を示しており、図 37では、 N 点から選択された M点の組み合わせ力 或いは、 M点から選択された f点の組み合 わせが、登録画像特徴量計算 (ステップ SR1204)における特徴ベクトルの計算に、 どのように利用される力、を示している。
[0029] 図 36及び図 37に示すように、 1つの注目特徴点に対して、（1)式で示した、 C (M
M f 点の組み合わせから f点の組み合わせを選ぶ全ての組み合わせの数に相当 )次元の 特徴ベクトルが、 C (N点の組み合わせから M点の組み合わせを選ぶ全ての組み
N M
合わせの数に相当 )個から、計算されることを示して!/、る。
[0030] つまり、これは、順序付けされた 6個の点の組み合わせから、選択しうる全ての 4点 の組み合わせの順序を保存して抜き出し、その順序が保存された 4個の組み合わせ から予め定められた種類の不変量を計算し、 15回繰り返すことによって、 15次元の 特徴ベクトルが、 1つ生成される（図 35のステップ SR1204)。
[0031] このように、不変量計算部 R124は、ある注目特徴点から、最も近い近傍特徴点に より順序付けされた M個の点の組み合わせの 1つについて、特徴ベクトルを計算する
[0032] そして、不変量計算部 R124は、この特徴ベクトルの計算を、（1)式で示した C の
N M
回数である 7回繰り返し行うことによって、 7個の 15次元の特徴ベクトルを生成する。
[0033] 具体的には、不変量計算部 R124は、 N点から選択しうる全ての M点の組み合わせ について、 C 個（例えば、 7個）全てについて、特徴ベクトルの計算が終了したか否
N M
力、、判定する（図 35のステップ SR1205)。
[0034] ここで、 M個全ての近傍特徴点に対して、 1つでも特徴ベクトルの計算が終了して いない場合には、ステップ SR1203 戻り、再び、近傍特徴点選択部 R123によって
、まだ選択されていない近傍特徴点が選択されると共に、引き続き、計算されていな い特徴ベクトルが計算される。
[0035] 一方、不変量計算部 R124は、ある注目特徴点に対して、 N点から選択しうる全て の M点の組み合わせについて、 C 個（例えば、 7個）全ての特徴ベクトルの計算が
N M 終了した場合には、ステップ SR1206へ進み、全ての特徴点について特徴べクトノレ の計算が終了したか判定する。
[0036] ここで、全ての特徴点に対して、特徴ベクトルの計算が終了した場合には、登録画 像用特徴量抽出処理（図 32のステップ SR12)を終了する。
[0037] これに対し、まだ全ての特徴点に対して特徴ベクトルの計算が終了していない場合 には、ステップ SR1201に戻り、まだ計算されていない特徴点を注目特徴点として設 定されると共に、選択されていない特徴ベクトルが計算されるので、登録画像用特徴 量抽出処理において、全ての特徴ベクトルが計算される。
[0038] これにより、登録画像特徴量計算部 R12の処理 (すなわち図 33の登録画像用特徴 量抽出処理のことである。）は、特徴点抽出部 R11によって抽出された全ての特徴点 を注目特徴点として、全ての特徴ベクトルを計算するまで継続される。
[0039] なお、非特許文献 1によれば、特徴量ベクトルの計算がされた後に、ノ、ッシュを用い た特徴量の登録処理が行われる力 本発明が解決したレ、課題とは無関係であるため 省略する。
[0040] ところで、この不変量計算部 R124 (図 32)は、 M個から選ばれる f個の特徴点のす ベてに対して、予め定められた順番で f個の特徴点から計算される幾何学的不変量 を計算することにより、各幾何学的不変量の値を要素とした特徴量ベクトルを計算す
[0041] なお、この fの値は、利用する幾何学的不変量により異なっている。従って、利用す る幾何学的不変量の種類は、システム上、登録画像と検索画像の間で許容したい変 換を、予め定めることにより決定されている。
[0042] 例えば、非特許文献 1中では、ァフィン変換を許容することをあらかじめ想定し、任 意の 4点の座標から計算されるァフィン不変量を幾何学的不変量として用いているの で、 f = 4である。また、 Nと Mの値については、 N^M^fを満たす任意の値に予め 定めておく必要がある。
[0043] 具体的には例えば、非特許文献 1中では、（N, M)として（10, 10)、 (8, 7)などの 場合にっレ、ての結果が報告されて!/、る。
[0044] 次に、文書画像検索特徴量生成システム Rの備える検索画像特徴量計算装置 R2 について、図 38を参照しながら説明する。図 38は、検索画像特徴量計算装置 R2の 構成を示したものである。
[0045] 検索画像特徴量計算装置 R2 (図 38)は、特徴点抽出部 R21と、検索画像特徴量 計算部 R22とを備えている。
[0046] 特徴点抽出部 R21 (図 38)は、二値画像生成部 R211と、単語領域計算部 R212と
、単語重心計算部 R213とを備えている。この特徴点抽出部 R21は、登録画像特徴 量計算装置 R1における特徴点抽出部 R11 (図 32)と同一である。
[0047] 一方、特徴量計算部 R22 (図 38)は、注目特徴点設定部 R221と、近傍特徴点計 算部 R222と、近傍特徴点選択部 R223と、巡回計算部 R224と、不変量計算部 R22
5とを備えている。
[0048] ここで、注目特徴点設定部 R221、近傍特徴点計算部 R222、近傍特徴点選択部 R223、不変量計算部 R225は、それぞれ、登録画像特徴量計算装置 R1 (図 32)に おける特徴点抽出部 R121、近傍特徴点計算部 R122、近傍特徴点選択部 R123、 不変量計算部 R124と同一である。
[0049] 従って、検索画像特徴量計算装置 R2 (図 38)は、登録画像特徴量計算装置 R1に 対し、巡回計算部 R224を更に備えて!/、ることを特徴として!/、る。
[0050] 次に、図 39及び図 40に示すフローチャートを参照して、検索画像特徴量計算装置 R2の動作につ!/、て説明する。
[0051] 文書画像特徴量生成システム Rは、検索画像特徴量計算装置 R2 (図 38)に登録 画像が入力されると、まず、特徴点抽出部 R21が、入力された登録画像から特徴点 を抽出する（図 39のステップ SR21)。この場合、特徴点抽出部 R21 (図 38)は、登録 画像特徴量計算装置 R1における特徴量抽出部 R11 (図 32)と同じ動作によって特 徴点を抽出する。
[0052] 従って、特徴点抽出部 R21 (図 38)は、特徴点抽出部 Rl 1 (図 32)と同じ動作であ るので、説明は省略する。
[0053] 特徴点抽出部 R21 (図 38)によって特徴点が求められた後、検索画像特徴量計算 装置 R2は、検索画像特徴量計算部 R22 (図 38)が、文書画像検索用特徴量を計算 (これを検索画像用特徴量抽出処理と言う。）する（ステップ SR22)。 [0054] このように、検索画像特徴量計算部 R22 (図 38)の動作は、図 39のフローチャート に示す通り、登録画像特徴量計算部 R12 (図 32)の動作とほぼ同一である。
[0055] しかしながら、検索画像特徴量計算装置 R2が、登録画像特徴量計算装置 R1に対 して異なっている点は、図 40のステップ SR2204において、近傍特徴点選択部 R22 3 (図 38)によって求められた順序つき組み合わせに対して、巡回置換を求めること である。
[0056] ここで、巡回置換につ!/、て説明すると、巡回置換とは、元が順序付けられた集合（ 例えば、 {PI , P2, P3, P4} )が与えられたときに、 P1→P2→P3→P4(→P1)と、元 の順番を巡回させるように、元の順番を変更させる（概念的には、それぞれの元を P1 →P2→P3→P4(→P1)に従って、 n回右へシフトした元に置き換える。）、順序つき集 合を得るための置換のことを言う。
[0057] 具体白勺には列えば、、 {PI , P2, P3, P4}を、 {P2, P3, P4, P1 }もしくは、 {P3, P4 , PI , P2}、或いは {P4, PI , P2, P3}に置換することを巡回置換と言う。
[0058] これに対し、上記以外の、例えば {PI , P2, P3, P4}を、 {PI , P3, P2, P4}や {P 1 , P4, P2, P3}への置換するものは、本願発明では巡回置換に該当しない。
[0059] なお、ここでは、近傍特徴点が、元 {PI , P2, · · · }に該当する。
[0060] このように、ステップ SR2204で巡回置換を計算すると共に、後段のステップ SR22 05において、ステップ SR2203で選択された M個の順序つき組み合わせに関する 全ての巡回置換の場合について、特徴ベクトルが求められることとなる。
[0061] そして、ステップ SR2206において、 M点全ての巡回配置の特徴ベクトルの計算が 終了したか判定する。
[0062] ここで、 M点全ての巡回配置の特徴ベクトルの計算が終了していない場合には、ス テツプ SR2204に戻り、まだ計算されていない巡回配置の特徴ベクトルを計算する。
[0063] 一方、 M点全ての巡回配置の特徴ベクトルの計算が終了すると、ステップ SR2207 へ移動し、 N点から選択しうる、全ての M点の組み合わせについて、特徴ベクトルの 計算が終了したか判定する。
[0064] そして、 N点から選択しうる、全ての M点の組み合わせにつ!/、て、特徴ベクトルの計 算が終了していない場合には、ステップ SR2203へ戻り、まだ選択されていない M点 の組み合わせについて、特徴ベクトルを計算する。
[0065] これに対し、 N点から選択しうる、全ての M点の組み合わせについて、特徴ベクトル の計算が終了した場合には、ステップ SR2208へ移動して、全ての特徴点について
、特徴ベクトルの計算が終了したか判定する。
[0066] 従って、 N点から選択しうる、全ての M点の組み合わせにつ!/、て、特徴ベクトルが 計算される。
[0067] 次に、ステップ SR2208では、全ての特徴点について、特徴ベクトルの計算が終了 したか判定するようになっており、全ての特徴点について特徴ベクトルの計算が終了 していない場合には、ステップ SR2201へ戻り、引き続き、まだ計算されていない特 徴点を注目特徴点と設定し、特徴ベクトルの計算を行う。
[0068] これにより、全ての特徴点について、特徴ベクトルの計算を行うことができるようにな つている。
[0069] なお、 N、 M、 fの値については、非特許文献 1では、登録画像特徴量計算部 R12 ( 図 32)における N、 M、 fの値と同一の値を用いることが記載されている。
[0070] また、登録画像特徴量格納装置 R3 (図 31)は、登録画像特徴量計算装置 R1にお
V、て計算された特徴量 (ベクトル)を格納する装置である。
[0071] このような従来技術では、予め許容すべき定められた幾何学的変換に対する不変 量を、特徴量 (ベクトル）の要素としている。
[0072] また、幾何学的変換に対する不変量に関しては、非特許文献 2に、射影不変量、ァ フィン不変量、相似不変量などが説明されている。
[0073] これにより、例えば、ァフィン不変量を特徴ベクトルの要素とした場合には、検索画 像と登録画像の間でァフィン変換が生じたとしても、両者から原理上同じ特徴べタト ルが計算できる。
[0074] すなわち、予め登録画像もしくは検索画像に対して、傾き補正、サイズ補正などの 前処理を行うことなぐ照合に利用できる特徴ベクトルが生成できる点が利点である。
[0075] また更に、連結領域におけるラベリングの方法として、ラン解析や境界追跡などの 手法について、非特許文献 3に記載されている。
[0076] そして、従来の特徴点を抽出する特徴点抽出方法については、非特許文献 4に概 略が記載されている。
[0077] 非特許文献 1：中居友弘、外 2名、 "デジタルカメラを用いた高速文書画像検索にお けるァフィン不変量および相似不変量の利用"、電子情報通信学会技術研究報告（ ノ ターン言忍識'メディア理角早、 PRMU2005— 184〜201)、 2006年 2月 16日、第 10 5巻、第 614号、 25〜30頁
非特許文献 2 :佐藤淳著、 "コンピュータビジョン"、コロナ社、 1999年、 54〜65頁 非特許文献 3 :田村秀行編著、コンピュータ画像処理、オーム社、 2002年、 149-1 53頁
非特許文献 4 :中居友弘、外 2名、 "デジタルカメラによる文書画像検索一 1万ページ 力、ら 0. 1秒で検索する一"、情報科学技術レターズ、 2005年 8月、第 4巻、 133〜； 13 6頁（LI- 001)
発明の開示
発明が解決しょうとする課題
[0078] しかしながら、非特許文献 1乃至 4に記載されたものでは、特徴点として二値化後の 画像から得られる連結成分の重心のみを用いている。従って、登録画像及び検索画 像から決定された本来対応すべき連結領域が、一方で接触し、かつ、他方で分離し た場合には、特徴量の計算に用いられる特徴点の配置が、本質的に異なった位置と なってしまう。
[0079] すなわち、スキャナの個体差、撮像条件の違いなどにより、登録画像及び検索画像 から決定された本来対応すべき連結領域が、一方の連結領域で接触し、かつ、他方 で分離した場合には、一致すべき特徴量が得られないという問題があった。
[0080] 本発明は、上記問題に鑑みてなされたものであり、登録画像及び検索画像の注目 連結領域に関して、一方の画像中では接触し、かつ、他方の画像中では分離してい る場合であっても、対応する特徴量が得られる文書画像特徴量生成装置、文書画像 特徴量生成方法、文書画像特徴量生成用プログラム、文書画像特徴量格納装置、 文書画像特徴量格納方法、文書画像特徴量格納用プログラム、文書画像特徴量照 合装置、文書画像特徴量照合方法及び文書画像特徴量照合用プログラムを提供す ることを目白勺とする。 課題を解決するための手段
[0081] 本発明によれば、入力される入力画像から特徴点を抽出し、当該特徴点から特徴 量を生成する文書画像特徴量生成装置であって、入力された前記入力画像から連 結領域を決定し、前記連結領域の重心と前記特徴点とを計算すると共に、少なくとも 一部の前記連結領域を統合し、統合された連結領域の重心から統合特徴点を求め る統合特徴点抽出手段と、求められた前記特徴点の中から注目特徴点を設定すると 共に、当該注目特徴点の近傍に配置される近傍特徴点と前記統合特徴点とから、統 合された連結領域の特徴量を生成する特徴量生成手段と、を備えることを特徴とする 文書画像特徴量生成装置が提供される。
[0082] また、本発明によれば、入力される入力画像から特徴点を抽出し、当該特徴点から 特徴量を生成する文書画像特徴量生成装置における文書画像特徴量生成方法で あって、入力された前記入力画像から連結領域を決定し、前記連結領域の重心と前 記特徴点とを計算すると共に、少なくとも一部の前記連結領域を統合し、統合された 連結領域の重心から統合特徴点を求める統合特徴点抽出ステップと、求められた前 記特徴点の中から注目特徴点を設定すると共に、当該注目特徴点の近傍に配置さ れる近傍特徴点と前記統合特徴点とから、統合された連結領域の特徴量を生成する 特徴量生成ステップと、を備えることを特徴とする文書画像特徴量生成方法が提供さ れる。
[0083] 更に、本発明によれば、入力される入力画像から特徴点を抽出し、当該特徴点から 特徴量を生成する文書画像特徴量生成装置における文書画像特徴量生成用プログ ラムであって、入力された前記入力画像から連結領域を決定し、前記連結領域の重 心と前記特徴点とを計算すると共に、少なくとも一部の前記連結領域を統合し、統合 された連結領域の重心から統合特徴点を求める統合特徴点抽出手順と、求められた 前記特徴点の中から注目特徴点を設定すると共に、当該注目特徴点の近傍に配置 される近傍特徴点と前記統合特徴点とから、統合された連結領域の特徴量を生成す る特徴量生成手順と、をコンピュータに実行させることを特徴とする文書画像特徴量 生成用プログラムが提供される。
発明の効果 [0084] 本発明によれば、統合された連結領域に関する重心を特徴点として利用し、特徴 量の生成を行っているため、特徴量を計算するための特徴点の配置として、登録画 像と検索画像にぉレ、て、ほぼ一致するような特徴点の配置を得ることができる。
[0085] これにより、登録画像及び検索画像から計算される連結領域に関して、一方の画像 で接触し、かつ、他方の画像で分離している場合にも、ほぼ一致する特徴量が生成 することができるので、文書画像特徴量生成装置、文書画像特徴量生成方法、文書 画像特徴量生成用プログラム、文書画像特徴量格納装置、文書画像特徴量格納方 法、文書画像特徴量格納用プログラム、文書画像特徴量照合装置、文書画像特徴 量照合方法、及び文書画像特徴量照合用プログラムを実現することができる。
図面の簡単な説明
[0086] [図 1]本発明に係る文書画像検索特徴量生成システムの構成を示すブロック図であ
[図 2]本発明の第 1の実施の形態に係る登録画像特徴量計算装置の構成を示すプロ ック図である。
[図 3]本発明の第 1の実施の形態に係る検索画像特徴量計算装置の構成を示すプロ ック図である。
[図 4]本発明の第 1の実施の形態に係る登録画像特徴量計算装置の動作を示すフロ 一チャートである。
[図 5]本発明の第 1の実施の形態に係る特徴点抽出部の動作を示すフローチャート である。
[図 6]本発明の第 1の実施の形態に係る統合特徴点計算部の動作を示すフローチヤ ートである。
[図 7]本発明の第 1の実施の形態に係る登録画像特徴量計算部の動作を示すフロー チャートである。
[図 8]本発明の第 1の実施の形態に係る登録画像特徴量計算部の特徴量追加計算 処理を説明するフローチャートである。
[図 9]本発明の第 1の実施の形態に係る検索画像特徴量計算装置の動作を示すフロ 一チャートである。 [図 10]本発明の第 1の実施の形態に係る検索画像特徴量計算部の動作を示すフロ 一チャートである。
[図 11]本発明の第 1の実施の形態に係る検索画像特徴量計算部の特徴量追加計算 処理を説明するフローチャートである。
[図 12]本発明の第 2の実施の形態に係る検索画像特徴量計算装置の構成を示すブ ロック図である。
[図 13]本発明の第 3の実施の形態に係る登録画像特徴量計算装置の構成を示すブ ロック図である。
[図 14]本発明の第 1の実施の形態に係る第 1の実施例である文書画像検索特徴量 生成システムの構成を示すブロック図である。
園 15]本発明の第 1の実施例における連結領域間の距離について説明するための 図である。
園 16]本発明の第 1の実施例における登録画像 PR1Aを表した図である。
園 17]本発明の第 1の実施例における登録画像 PR1Aに関する連結領域計算部の 計算結果を表した図である。
園 18]本発明の第 1の実施例における登録画像 PR1Aに関して、特徴点抽出処理の 過程を説明するための図である。
園 19]本発明の第 1の実施例における登録画像 PR1Aに関して、連結領域間の距離 を計算するためのフィルタを表した図である。
園 20]本発明の第 1の実施例における登録画像 PR1Aに関して、連結領域間距離計 算処理が終了した時点の特徴点抽出処理の過程を説明するための図である。
園 21]本発明の第 1の実施例における登録画像 PR1Aに関して、統合特徴点計算処 理が終了した時点の特徴点抽出処理の過程を説明するための図である。
園 22]本発明の第 1の実施例における登録画像 PR1Aに関して、特徴点抽出処理の 結果を説明するための図である。
[図 23]本発明の第 1の実施例における登録画像特徴量計算部における近傍特徴点 選択部及び検索画像特徴量計算部における巡回計算部が計算した順序付き組み 合わせと、登録画像特徴量計算部及び検索画像特徴量計算部が生成する特徴量（ ベクトル)を計算するにあたり、不変量計算部及び巡回計算部が計算する値と特徴量
(ベクトル）の要素番号との関係について説明するための図である。
[図 24]本発明の第 1の実施例における登録画像 PR1Aに関して、登録画像特徴量計 算装置による特徴量 (ベクトル)生成結果を説明するための図である。
園 25]本発明の第 1の実施例における登録画像 PR2Aを表した図である。
[図 26]本発明の第 1の実施例における登録画像 PR2Aに関して、登録画像特徴量計 算装置による特徴量 (ベクトル)生成結果を説明するための図である。
園 27]本発明の第 1の実施例における登録画像 PR1Bを表した図である。
園 28]本発明の第 1の実施例における登録画像 PR1Bに関して、特徴点抽出処理の 結果を説明するための図である。
[図 29]本発明の第 1の実施例における特徴量照合装置の動作を示すフローチャート である。
[図 30]本発明の第 1の実施例における登録画像 PR1Bに関して、検索画像特徴量計 算装置による特徴量 (ベクトル)生成結果を説明するための図である。
[図 31]従来技術における文書画像検索特徴量生成システム Rの構成を示すブロック 図である。
[図 32]従来技術の登録画像特徴量計算装置、特徴点抽出部、及び登録画像特徴量 計算部の構成を示すブロック図である。
[図 33]従来技術の登録画像特徴量計算装置の動作を示すフローチャートである。
[図 34]従来技術の特徴点抽出処理の動作を説明するためのフローチャートである。
[図 35]従来技術の登録画像特徴量計算部の登録画像用特徴量抽出処理を説明す るためのフローチャートである。
園 36]従来技術における組み合わせを選択し、説明するための図である。
[図 37]従来技術における 7通りの 15次元特徴ベクトルを説明するための図である。
[図 38]従来技術の検索画像特徴量計算装置、特徴点抽出部、及び検索画像特徴量 計算部の構成を示すブロック図である。
[図 39]従来技術の検索画像特徴量計算装置の動作を示すフローチャートである。 園 40]従来技術の検索画像特徴量計算部の動作を説明するためのフローチャートで ある。
符号の説明
A, B スキャナ
CI , C2 計算機
Ml , M2 記憶装置
D, R 文書画像検索特徴量生成システム
1 , R1 登録画像特徴量計算装置
2, R2 検索画像特徴量計算装置
3, R3 登録画像特徴量格納装置
4 特徴量照合装置
5 特徴べク卜ルー致数格納装置
6 同定装置
11 , R11 登録画像特徴量計算装置における特徴点抽出部
21 , R21 検索画像特徴量計算装置における特徴点抽出部
22, R22 検索画像特徴量計算部
111 , R111 登録画像特徴量計算装置における二値画像生成部
112, R112 登録画像特徴量計算装置における連結領域計算部
113, R113 登録画像特徴量計算装置における連結領域重心計算部 114 登録画像特徴量計算装置における統合特徴点計算部
12, R12 登録画像特徴量計算部
121 , R121 登録画像特徴量計算部における注目特徴点設定部
122, R122 登録画像特徴量計算部における近傍特徴点計算部
123, R123 登録画像特徴量計算部における注目特徴点選択部
124, R124 登録画像特徴量計算部における不変量計算部
125 登録画像特徴量計算部における巡回計算部
211 , R211 検索画像特徴量計算装置における二値画像生成部
212, R212 検索画像特徴量計算装置における連結領域計算部
213, R213 検索画像特徴量計算装置における連結領域重心計算部 214 検索画像特徴量計算装置における統合特徴点計算部
221 , R221 検索画像特徴量計算部における注目特徴点設定部
222, R222 検索画像特徴量計算部における近傍特徴点計算部
223, R223 検索画像特徴量計算部における注目特徴点選択部
224, R224 検索画像特徴量計算部における巡回計算部
225, R225 検索画像特徴量計算部における不変量計算部
発明を実施するための最良の形態
[0088] 次に、発明を実施するための最良の形態について、図面を参照して詳細に説明す
[0089] (第 1の実施の形態）
(1)文書画像検索特徴量生成システム Dの全体構成
図 1を参照すると、本発明の第 1の実施の形態では、登録画像特徴量計算装置 1と
、検索画像特徴量計算装置 2と、登録画像特徴量格納装置 3とを備えている。
[0090] (1 1)登録画像特徴量計算装置 1の回路構成
[0091] 図 2を参照すると、登録画像特徴量計算装置 1は、特徴点抽出部 11と、登録画像 特徴量計算部 12とを備えている。
[0092] 特徴点抽出部 11は、二値画像生成部 111と、連結領域計算部 112と、連結領域 重心計算部 113と、統合特徴点計算部 114とを備えている。
[0093] 二値画像生成部 111では、入力された、ある画像から二値画像を生成する。
[0094] 具体的には例えば、入力画像がグレースケール画像である場合には、予め定めら れた閾値による二値化、適応二値化など、予め定めた範囲の画素値の画素と、それ 以外の範囲の画素値の画素とで二値化を行うなど、既存の二値化手法を用いる。
[0095] 一方、入力がカラー画像である場合には、グレースケールに既存の手法で変換し た後に、グレースケール画像に対する二値化を行うことができる、また、入力画像が力 ラー画像の場合であれば、画素値の色空間の分布を求めた後に、色空間をクラスタ リングし、 1つ以上のクラスタリング領域とそれ以外の領域とで二値化する方法であつ ても良い。
[0096] 連結領域計算部 112では、二値画像生成部 111により生成された二値画像が入力 されると、連結領域ラベリングを行う。この第 1の実施の形態では、連結領域ラベリン グを行うにあたっては、非特許文献 3で記載されているような、ラン解析や境界追跡な どの既存の手法を用いてラベリングを行うこととする。
[0097] 但し、連結領域ラベリングは、ラン解析や境界追跡に限定されるものではなぐ入力 された二値画像に対し、同じ連結領域に属する画素には同じラベルを付け、異なる 連結領域に属する画素には、異なるラベルを付けるようにさえすれば良い。
[0098] また、非特許文献 1に記載されているように、連結領域ラベリングを行う前に既存の 画像処理手法などを行い、単語領域に相当する領域を得るようにしても良!/、。
[0099] 連結領域重心計算部 113では、連結領域計算部 112により計算された同一ラベル に属する画素集合の重心を計算し、特徴点とする。
[0100] 統合特徴点計算部 114では、異なるラベル付けをされた複数領域を選択し、それら の連結領域から計算された特徴点（以下、被統合特徴点と呼ぶ）、及び当該連結領 域の画素数から、異なるラベル付けがされた連結領域の複数選択領域を統合して得 られる新しい特徴点（以下、統合特徴点と呼ぶ。）と画素数を求める。
[0101] ここで、統合する連結領域を決定するには、互いの連結領域が近い位置にある連 結領域集合を選ぶと良い。そして、互いの連結領域が近い位置にあるか判定するた めには、重心間の距離、当該ラベルに属する連結領域の中で異なるラベルに属する 連結領域までの距離の最小値、などを近さの尺度として、予め定められた値以下の 近さの場合に、統合すべき連結領域であると決定する。
[0102] このように、特徴点抽出部 11では、二値画像生成部 111と、連結領域計算部 112 と、連結領域重心計算部 113と、統合特徴点計算部 114とを備えることにより、入力さ れる入力画像から、特徴点を抽出する機能を持つ。
[0103] 次に、登録画像特徴量計算部 12について説明する。
[0104] 登録画像特徴量計算部 12は、注目特徴点設定部 121と、近傍特徴点計算部 122 と、近傍特徴点選択部 123と、不変量計算部 124とを備えている。
[0105] 注目特徴点設定部 121では、特徴量算出を行うにあたり、注目すべき特徴点（これ を注目特徴点と言う。）を 1つ設定する。
[0106] 近傍特徴点計算部 122では、注目特徴点の近傍にある、予め定められた個数 (N 個とする。）の特徴点を計算し、出力する。
[0107] 近傍特徴点選択部 123は、近傍特徴点計算部 122で計算された近傍特徴点から 、予め定められた個数の特徴点（M個とする。）を選択する。このとき、統合特徴点と、 その統合特徴点を生成する元となった特徴点とを、同時に選ばないように選択するも のとする。
[0108] また、選択された特徴点は、注目特徴点を中心として、注目特徴点と選択された特 徴点のうち注目特徴点にもっとも近い特徴点を結ぶ半直線を基準として、時計回り、 または反時計回り、いずれかの予め定められた方向に順序付けする。
[0109] 不変量計算部 124は、近傍特徴点選択部 123によって選択された特徴点集合力も 、予め定められた順序で要素となる幾何学的不変量を格納することにより、特徴量（ ベクトル）を生成する。
[0110] このとき、特徴量 (ベクトル）の各要素は、予め定められた幾何学的不変量とする。こ の幾何学的不変量には、非特許文献 2に記載されているように、相似不変量、ァフィ ン不変量、射影不変量などがある。なお、この特徴ベクトルの格納先は、登録画像特 徴量格納装置 3である。
[0111] このように、登録画像特徴量計算部 12では、注目特徴点設定部 121と、近傍特徴 点計算部 122と、近傍特徴点選択部 123と、不変量計算部 124とを備えることにより 、特徴点抽出部 11から出力された特徴点と連結領域画素数とを利用して、特徴量（ ベクトル)を計算し、登録画像特徴量格納装置 3に格納する。
[0112] 次に、検索画像特徴量計算装置 2について、図 3を参照して説明する。
[0113] (1 2)検索画像特徴量計算装置 2の回路構成
[0114] 図 3を参照すると、検索画像特徴量計算装置 2は、特徴点抽出部 21と、検索画像 特徴量計算部 22とを備えている。
[0115] 特徴量抽出部 21は、二値画像生成部 211と、連結領域生成部 212と、連結領域 重心計算部 213と、統合特徴点計算部 214とを備えている。
[0116] 検索画像特徴量計算装置 2における特徴点抽出部 21は、登録画像特徴量計算装 置 1における特徴点抽出部 11と同じ構成であるので、詳細は省略する。
[0117] 次に、検索画像特徴量計算部 22について説明する。 [0118] 検索画像特徴量計算部 22は、注目特徴点設定部 221と、近傍特徴点計算部 222 と、近傍特徴点選択部 223と、巡回計算部 224と、不変量計算部 225とを備えている
[0119] 検索画像特徴量計算部 22における、注目特徴点設定部 221、近傍特徴点計算部
222、近傍特徴点選択部 223は、それぞれ、登録画像特徴量計算部 12 (図 2)にお ける注目特徴点設定部 121、近傍特徴点計算部 122、近傍特徴点選択部 123と同 じ構成であるので、詳細は省略する。
[0120] 巡回計算部 224は、近傍特徴点選択部 223が出力した順序付き特徴点集合を入 力として、特徴点集合の順序を巡回することによって変更を行う。
[0121] 検索画像特徴量計算装置 2における不変量計算部 225は、登録画像特徴量計算 部 12 (図 2)における不変量計算部 124と同じであるので、詳細は省略する。
[0122] 従って、検索画像特徴量計算部 22は、特徴点抽出部 21から出力された特徴点と、 連結領域画素数とを利用して、特徴量 (ベクトル)を計算する。
[0123] また、登録画像特徴量計算装置 3 (図 1)は、上述のように登録画像特徴量計算装 置 1が生成した特徴量 (ベクトル）と、連結領域画素数とを格納する装置である。
[0124] (2)文書画像検索特徴量生成システム Dの処理手順
(2- 1)登録画像特徴量計算装置 1の処理手順
[0125] 次に、第 1の実施の形態における全体の動作について、図 4乃至図 11のフローチ ヤートを用いて、順番に詳細に説明する。
[0126] まず、図 4に示すフローチャートを参照すると、文書画像検索特徴量生成システム
Dは、登録画像特徴量計算装置 1に多値画像が入力されると、登録画像特徴量計算 装置 1 (図 2)の特徴量抽出部 11が、特徴点抽出処理を行う（ステップ S 11)。
[0127] そして、特徴量抽出部 11の特徴点抽出処理が終了すると、次に登録画像特徴量 計算部 12 (図 2)が、登録画像特徴量計算処理を行う（ステップ S12)。
[0128] ここで、特徴点抽出処理 (ステップ S 11)及び登録画像用特徴量計算処理 (ステツ プ S12)の処理内容について、更にフローチャートを用いて詳細に説明する。
[0129] 図 5のフローチャートは、ステップ S 11における特徴点抽出処理について示したも のである。 [0130] まず、登録画像特徴量計算装置 1 (図 2)の二値画像生成部 111が、二値画像を生 成する（ステップ S 111)。
[0131] 次に、連結領域生成部 112 (図 2)が、連結領域ラベリングを行う（ステップ S 112)。
この第 1の実施の形態では、生成された二値画像に対して、例えば、非特許文献 3に 記載されている、 4連結のラン解析によるラベリング処理を行うこととする。
[0132] そして、連結領域重心計算部 113が、各連結領域に対して、重心位置と画素数とを 計算する (ステップ S 113)。
[0133] 続いて、統合特徴点計算部 114が、互いに近傍にある特徴点から統合特徴点を求 め、かつ、統合した連結領域の画素数を求める（ステップ S 114)。この近傍を定める 基準として用いる距離尺度は、特徴点間のユークリッド距離、市街地距離など、既存 の距離尺度を用いることができる。
[0134] ここで、例えば、互いに近傍にあるかどうかを判定するためには、連結領域間の距 離が閾値 TH1を超えないようにする方法がある。この TH1は、予め定められた値を 使っても良いし、行切り出しを行ってベースラインを求めた後に、連結成分をそのべ ースライン上に投影して求められる連結成分の幅を求めて、その値で TH1を割るな ど正規化を fiつても良い。
[0135] 統合特徴点計算部 114が、この連結領域の大きさを求める処理 (これを統合特徴 点計算処理と言う。）について、図 6のフローチャートを用いて説明する。図 6を参照 すると、統合特徴点計算部 114の動作は、概略次の通りである。
[0136] まず、統合特徴点計算部 114は、連結領域ラベリング画像に対して、各連結領域 間の距離を求める（これを連結領域間距離計算処理と言う。 ) (ステップ S1141)。
[0137] ここで、この距離の尺度には、ユークリッド距離、市街地距離など既存の距離尺度を 用いる。また、連結領域間の距離は、重心間の距離によって求められる。
[0138] 更に、連結領域間の距離を定義する別の方法としては、連結領域 CC1の任意の画 像と、別の連結領域 CC2の任意の画素とにおける距離尺度 dの最小値は、次式
[数 2]
Dist 1 =
(χ,. eCC ml，(in d (( .， )，（ ,， , ))
) SCC2 '， ノ，、 〃 ( 2 ) のように定義することあでさる。
[0139] 次に、被統合特徴点を決定し、統合特徴点の重心を計算し、統合される連結領域 の画素数の和を計算し、統合特徴点に対応する画素数とする（ステップ S1142)。
[0140] この場合、例えば、任意の連結領域対を統合する方式や距離 D以下の連結領域対 を統合する方式などによって、 2つの連結領域を統合する方式がある。
[0141] または、任意の 3つ以上の連結領域を統合すること方式も適用可能である。更に、 単に距離 D以下の連結領域同士を統合する場合は、例えば、連結成分 1と連結成分
2の距離が D以下、連結成分 2と連結成分 3の距離が D以下の場合に、 3つの連結領 域を統合するようにすることあできる。
[0142] 同様にすれば、予め定められた個数 A個までの連結領域を統合することが可能で ある。また、ここでは、 Aの値は予め定めておくものとする。
[0143] このように、登録画像特徴量計算装置 1の特徴点抽出部 11は、ステップ S11の特 徴点抽出処理（図 4)により、特徴点と、統合特徴点と、各連結領域に対応する画素 数を計算すること力 Sできる。
[0144] また、図 4のフローチャートのステップ S11における特徴点抽出処理力 特徴量抽 出部 11によって特徴点抽出処理が終了すると、登録画像特徴量計算部 12によって
、ステップ S 12の登録画像用特徴量抽出処理が行われる（図 4のステップ S 12)。
[0145] 次に、この登録画像用特徴量抽出処理（図 4のステップ S12)の処理内容について
、更に図 7のフローチャートを参照しながら、登録画像特徴量計算部 12の動作を説 明する。
[0146] なお、背景技術と重複する処理内容については、処理内容を理解する際に必要な 概略動作を説明する。
[0147] 最初に、登録画像特徴量計算部 12に備えられた注目特徴点設定部 121 (図 2)が
、ある特徴点を注目特徴点と設定する（ステップ S 1201)。
[0148] 次に、近傍特徴点計算部 122は、注目特徴点が統合特徴点であるかどうかを判定 する（ステップ S 1202)。
[0149] ここで、設定された注目特徴点が統合特徴点である場合には、ステップ S1210以 下の処理を行い、一方、設定された注目特徴点が統合特徴点でない場合には、ステ ップ S I 203以下の処理を行う。
[0150] まず、設定された注目特徴点が統合特徴点でない場合には、ステップ S 1203へ進 み、近傍特徴点計算部 122は、注目特徴点と統合特徴点を除いた特徴点のうち距 離の近い方から N個の特徴点を選択する（ステップ S 1203)。
[0151] 次に、近傍特徴点選択部 123は、 N個の特徴点から M個の特徴点を選択する組み 合わせを求め、 1つを選択する（ステップ S1204)。このとき M個の特徴点は、前述の 通り、適切に順序付けするものとする。
[0152] そして、不変量計算部 124が、 M個の順序付けされた特徴点から、 f個の特徴点座 標から計算できる不変量を計算し、予め定められた順番に要素が格納される (ステツ プ S1205)。
[0153] 図 7に示すステップ S 1204力、らステップ S 1205までの処理は、ステップ S1203で選 択された N点から選択しうる、全ての M点の組み合わせにつ!/、て行う。
[0154] そして、ステップ S 1206において、 N点力、ら選択しうる全ての M点の組み合わせに ついて、特徴ベクトルの計算が終了したか判定するようになっている。
[0155] ここで、 M点（M個）全ての近傍特徴点に対して、 1個でも特徴ベクトルの計算が終 了していない場合には、ステップ S1204へ戻り、まだ計算されていない特徴べクトノレ の近傍特徴点が選択されると共に、引き続き、特徴べ外ルの計算を行う。
[0156] これにより、 N点から選択しうる全ての M点の組み合わせについて、特徴ベクトルが 計算されるようになって!/、る。
[0157] 次に、ステップ S 1203にて選択した N個の特徴点のうち、ある統合特徴点を生成し た特徴点集合の全てが含まれているかどうかを判定する（ステップ S 1207)。
[0158] ここで、もし、ある統合特徴点を生成した特徴点集合の全てが存在して!/、れば、特 徴量追加計算処理が行われる（ステップ S 1208)。
[0159] これに対し、ある統合特徴点を生成した特徴点集合の全てが含まれていなければ、 ステップ S 1209へ進む。
[0160] このステップ S1208における特徴量追加計算処理については、図 8のフローチヤ ートを用いて後述する。
[0161] また、ステップ S 1209へ進んだ後は、すべての特徴点において、特徴量の計算が 終了したか否か判定するようになっており、すべての特徴点において特徴量の計算 が終了した場合には、登録画像用特徴量抽出処理（図 4のステップ S12)は終了する
[0162] 一方、ステップ S1209において、まだ全ての特徴点の特徴量の計算が終了してい ない場合には、ステップ S 1201 戻り、まだ計算されていない特徴点を注目特徴点 として、特徴ベクトルを計算するようになっている。
[0163] また、ステップ S 1202において、設定した注目特徴点が統合特徴点であった場合 には、ステップ S1210 進み、次のような動作となる。
[0164] 近傍特徴点計算部 122 (図 2)は、注目特徴点と、注目特徴点を生成した被統合特 徴点と、統合特徴点とを除いた特徴点のうち、距離の近い方から N個の特徴点を選 択する（ステップ S 1210)。
[0165] 次に、近傍特徴点選択部 123は、 N個の特徴点から M個の特徴点を選択する組み 合わせを求め、 1つを選択する（ステップ S1211)。このとき M個の特徴点は、前述の 通り、適切に順序付けするものとする。
[0166] 次に、不変量計算部 124が、 M個の順序付けされた特徴点から、 f個の特徴点座 標から計算できる不変量を計算し、予め定められた順番に要素が格納される (ステツ プ S1212)。
[0167] ステップ S1211からステップ S1212までの処理は、ステップ S1210で選択された N 点から選択しうる、全ての M点の組み合わせにつ!/、て行う。
[0168] そして、ステップ S1213において、 N点力、ら選択しうる全ての M点の組み合わせに ついて、特徴ベクトルの計算が終了したか判定するようになっている。
[0169] ここで、 M点（M個）全ての近傍特徴点に対して、 1個でも特徴ベクトルの計算が終 了していない場合には、ステップ S1211 戻り、まだ計算されていない特徴ベクトル の近傍特徴点が選択されると共に、引き続き、特徴ベクトルの計算を行うようになって いる。
[0170] このように、 N点から選択しうる全ての M点の組み合わせについて、特徴ベクトルが 計算される。
[0171] 次に、ステップ S 1214において、選択した N個の特徴点のうち、ある統合特徴点を 生成した特徴点集合の全てが含まれているかどうかを判定する (ステップ S 1214)。
[0172] ここで、もし、ある統合特徴点を生成した特徴点集合の全てが存在すれば、特徴量
Figure imgf000025_0001
[0173] これに対し、ある統合特徴点を生成した特徴点集合の全てが含まれていなければ、 ステップ S 1209へ進む。
[0174] この特徴点追加計算処理 (ステップ S1215)の処理内容は、ステップ S 1208と同じ であり、後述する。そして、特徴点追加計算処理 (ステップ S1215)の終了後、ステツ プ S 1209へ進む。
[0175] 最後に、ステップ S 1209において、すべての特徴点を注目特徴点として処理を行 つたかどうかの判定を行う。ここでは、上述と同様に、すべての特徴点を注目特徴点 として処理が行われていなければステップ S1201へ戻り、一方、すべての特徴点を 注目特徴点として特徴ベクトルを計算する処理が行われて V、れば、登録画像用特徴 量抽出処理（図 4のステップ S12)を終了する。
[0176] (2— 2)登録画像特徴量計算装置 1における特徴量追加計算処理手順
[0177] ここで、上述のステップ S1208又は S1215における特徴量追加計算処理手順に ついて、図 8のフローチャートを用いて説明する。
[0178] まず、登録画像特徴量計算部 12の近傍特徴点選択部 123 (図 2)は、近傍特徴点 計算部 122により計算された N個の近傍特徴点から、ある統合特徴点を生成した被 統合特徴点を削除し、代わりにそれらの被統合特徴点から計算された統合特徴点を 加える（ステップ S12081)。また、このときの近傍特徴点の合計数を N'個とする。
[0179] もし、 N'≥Mであれば、ステップ S12083へ進み、これに対し、 N' < Mであれば、 ステップ S 12081へ戻る。
[0180] ステップ S12083では、近傍特徴点選択部 123が、 N'個の特徴点から M個の特徴 点を選択する組み合わせの 1つを求める。このとき、ステップ S 1204 (図 7)と同様に、 適切な順序付けを行うものとする。
[0181] 続いて、不変量計算部 124が、 M個の順序付けされた特徴点から、 f個の特徴点座 標から計算できる不変量を計算し、予め定められた順番により、要素を格納する (ス テツプ S 12084)。 [0182] ステップ SI 2083力、らステップ SI 2084までの処理は、 N，個の特徴点から M個の 特徴点を選択する組み合わせのすべてについて処理が行われるまで繰り返される。
[0183] そして、ステップ S12085において、 N'点力も選択しうる、全ての M点の組み合わ せについて、特徴ベクトルの計算が終了したか判定するようになっている。
[0184] ここで、 M点（M個）全ての近傍特徴点に対して、 1個でも特徴ベクトルの計算が終 了していない場合には、ステップ S12083へ戻り、まだ計算されていない特徴べタト ルの近傍特徴点が選択されると共に、引き続き、まだ計算されていない特徴べクトノレ の計算を行う。
[0185] これにより、 N'点から選択しうる、全ての M点の組み合わせについて、特徴ベクトル が計算される。
[0186] また、ステップ S 12086では、近傍特徴点の中に含まれ、ある統合特徴点を生成し た全ての被特徴点集合に対して、特徴ベクトルの計算が終了したか否か判定するよ うになつている。
[0187] ここで、近傍特徴点の中に含まれ、ある統合特徴点を生成した全ての被特徴点集 合に対して、特徴ベクトルの計算が終了していない場合には、ステップ S12081 戻 り、まだ計算されていない特徴点集合に対して、引き続き、特徴ベクトルの計算を行う
[0188] これにより、ステップ S 1208又は S 1215における特徴量追加計算処理は、近傍特 徴点計算部 122によって計算された N'個の特徴点中に含まれる統合特徴点につい て、特徴量追加計算の処理が行われるまで繰り返され、全ての特徴ベクトルを計算 するようになつている。
[0189] このように、近傍特徴点の中に含まれ、ある統合特徴点を生成した、全ての被特徴 点集合に対して、繰り返し不変量を計算するようになっていると共に、繰り返し処理が 終了した後にステップ S 1209 進む。
[0190] (2- 3)検索画像特徴量計算装置 2の処理手順
[0191] 次に、検索画像特徴量計算装置 2の動作について説明する。なおこの動作は、登 録画像特徴量計算装置 1の動作と同一の動作が多いので、登録画像特徴量計算装 置 1の動作と異なる点について、特に詳細に説明する。 [0192] 図 9に示すフローチャートを参照すると、まず、文書画像検索特徴量生成システム
Dは、検索画像特徴量計算装置 2に多値画像が入力されると、特徴量抽出部 21 (図
3) 、特徴点抽出処理を行う（ステップ S21)。
[0193] これは、登録画像特徴量計算装置 1の動作における特徴点抽出処理（図 4のステツ プ S11)と全く同一の処理である。
[0194] 特徴点抽出処理（図 4のステップ S21)が終了すると、検索画像特徴量計算部 22が
、検索画像特徴量計算処理を行う（ステップ S22)。
[0195] ここで、図 10のフローチャートを参照しながら、検索画像特徴量計算部 22の検索 画像特徴量計算処理 (ステップ S22)の処理内容について説明する。
[0196] 最初に、検索画像特徴量計算部 22に備えられた注目特徴点設定部 221 (図 3)が
、ある特徴点を注目特徴点と設定する（ステップ S2201)。
[0197] 次に、近傍特徴点計算部 222は、注目特徴点が統合特徴点であるかどうかを判定 する（ステップ S2202)。
[0198] ここで、設定された注目特徴点が統合特徴点である場合には、ステップ S2212以 下の処理を行い、設定された注目特徴点が統合特徴点でない場合には、ステップ S
2203以下の処理を行う。
[0199] まず、設定された注目特徴点が統合特徴点でな V、場合には、ステップ S2203へ進 み、近傍特徴点計算部 222は、注目特徴点と、統合特徴点とを除いた特徴点のうち
、距離の近レ、方から N個の特徴点を選択する（ステップ S2203)。
[0200] 次に、近傍特徴点選択部 223 (図 3)は、 N個の特徴点から M個の特徴点を選択す る組み合わせを求め、 1つを選択する（ステップ S2204)。このとき M個の特徴点は、 前述の通り、適切に順序付けするものとする。
[0201] そして、近傍特徴点選択部 223は、 M個の順序付き組み合わせから、巡回置換の
1つを計算する（ステップ S2205)。
[0202] 次に、不変量計算部 225は、 M個の順序付けされた特徴点から、 f個の特徴点座 標から計算できる不変量を計算し、予め定められた順番に要素を格納する（ステップ
S2206)。
[0203] ステップ S2205からステップ S2206までの処理は、 M点から計算されるすべての巡 回置換組み合わせにつ 、て行う。
[0204] また、ステップ S2207において、 M点全ての巡回配置の特徴ベクトルの計算が終 了したか判定するようになっている。
[0205] ここで、 M点（M個）全ての近傍特徴点に対して、 1個でも巡回配置の特徴べクトノレ の計算が終了していない場合には、ステップ S2205 戻り、まだ計算されていない 巡回配置の特徴ベクトルにつ V、て、特徴ベクトルの計算を行う。
[0206] 一方、 M点全ての巡回配置の特徴ベクトルの計算が終了すると、ステップ S2208 へ移動し、 N点から選択しうる、全ての M点の組み合わせについて、特徴ベクトルの 計算が終了したか判定するようになっている。
[0207] ここで、 N点力も選択しうる、全ての M点の組み合わせについて、特徴ベクトルの計 算が終了していない場合には、ステップ S2204 戻り、まだ選択されていない M点 の組み合わせについて、特徴ベクトルを計算する。
[0208] これに対し、 N点から選択しうる、全ての M点の組み合わせについて、特徴ベクトル の計算が終了した場合には、ステップ S2209へ移動する。
[0209] 次に、ステップ S2203にて選択した N個の特徴点のうち、ある統合特徴点を生成し た特徴点集合の全てが含まれているかどうかを判定する（ステップ S 2209)。
[0210] ここで、もし、ある統合特徴点を生成した特徴点集合の全てが存在すれば、特徴量 追加計算処理が行われる (ステップ S2210)。
[0211] これに対し、ある統合特徴点を生成した特徴点集合の全てが含まれていなければ、 ステップ S 2211へ進む。
[0212] このステップ S2210における特徴量追加計算処理については、図 11のフローチヤ ートを用いて後述する。
[0213] また、ステップ S2211へ進んだ後は、すべての特徴点において、特徴量の計算が 終了したか否か判定するようになっており、すべての特徴点において特徴量の計算 が終了した場合には、検索画像用特徴量抽出処理 (ステップ S22)は終了する。
[0214] 一方、ステップ S2211において、まだすベての特徴点の特徴量の計算が終了して いない場合には、ステップ S2201へ戻り、まだ計算されていない特徴点を注目特徴 点として、特徴ベクトルを計算する。 [0215] また、ステップ S2202にお!/、て、設定した注目特徴点が統合特徴点であった場合 には、ステップ S2212へ進み、次のような動作となる。
[0216] 検索画像特徴量計算部 22に備えられた近傍特徴点計算部 222 (図 3)は、注目特 徴点と、注目特徴点を生成した被統合特徴点と、統合特徴点とを除いた特徴点のう ち、距離の近い方から N個の特徴点を選択する（ステップ S2212
[0217] 次に、近傍特徴点選択部 223 (図 3)は、 N個の特徴点から M個の特徴点を選択す る組み合わせを求め、 1つを選択する（ステップ S2213)。このとき M個の特徴点は、 前述の通り、適切に順序付けするものとする。
[0218] 次に、近傍特徴点選択部 223 (図 3) 1 M個の順序付き組み合わせから、巡回置 換の 1つを計算する（ステップ S2214
[0219] そして、次に、不変量計算部 224が、 M個の順序付けされた特徴点から、 f個の特 徴点座標から計算できる不変量を計算し、予め定められた順番に要素が格納される
(ステップ S 2215
[0220] ステップ S2214力もステップ S2215までの処理は、 M点から計算される全ての巡回 置換の組み合わせにつ V、て行う。
[0221] そして、ステップ S2216において、 M点全ての巡回配置の特徴ベクトルの計算が 終了したかを判定する。
[0222] ここで、 M点全ての巡回配置の特徴ベクトルの計算が終了していない場合には、ス テツプ S2214に戻り、まだ計算されていない巡回配置の特徴ベクトルを計算する。
[0223] 一方、 M点全ての巡回配置の特徴ベクトルの計算が終了すると、ステップ S2217 へ移動し、 N点から選択しうる、全ての M点の組み合わせについて、特徴ベクトルの 計算が終了したか判定する。
[0224] そして、 N点から選択しうる、全ての M点の組み合わせにつ!/、て、特徴ベクトルの計 算が終了していない場合には、ステップ S2213 戻り、まだ選択されていない M点 の組み合わせについて、特徴ベクトルを計算する。
[0225] これに対し、 N点から選択しうる、全ての M点の組み合わせについて、特徴ベクトル の計算が終了した場合には、ステップ S2218へ移動する。
[0226] また、ステップ S2212において選択された N個の特徴点のうち、ある統合特徴点を 生成した特徴点集合の全てが含まれているかどうかを判定する (ステップ S 2218)。
[0227] ここで、もし、ある統合特徴点を生成した特徴点集合の全てが存在すれば、特徴量
[0228] これに対し、ある統合特徴点を生成した特徴点集合の全てが含まれていなければ、 ステップ S 2211へ進む。
[0229] 特徴点追加計算処理 (ステップ S2219)の処理内容は、ステップ S2210と同じであ るため、特徴点追加計算処理として後述する。そして、特徴点追加計算処理の終了 後、ステップ S2211へ進む。
[0230] 最後に、ステップ S 2211において、すべての特徴点を注目特徴点として処理を行 つたかどうかの判定を行う。
[0231] ここでは、登録画像特徴量計算装置 1と同様に、すべての特徴点を注目特徴点とし て処理が行われていなければステップ S2201へ戻り、これに対し、全ての特徴点を 注目特徴点として特徴ベクトルを計算する処理が行われて V、れば、検索画像用特徴 量抽出処理（図 9のステップ S22)を終了する。
[0232] (2— 4)検索画像特徴量計算装置 2における特徴量追加計算処理手順
[0233] ここで、上述のステップ S2210又は S2219における特徴量追加計算処理手順に ついて、図 11のフローチャートを用いて説明する。
[0234] まず、検索画像特徴量計算部 22の近傍特徴点選択部 223 (図 3)は、近傍特徴点 計算部 222により計算された N個の近傍特徴点から、ある統合特徴点を生成した被 統合特徴点を削除し、代わりにそれらの被統合特徴点から計算された統合特徴点を 加える（ステップ S22081)。また、このときの近傍特徴点の数を N'個とする。
[0235] もし、 N'≥Mであれば、ステップ S22083へ進み、これに対し、 N ' < Mであれば、 ステップ S22081へ戻る。
[0236] ステップ S22083では、近傍特徴点選択部 223が、 N'個の特徴点から M個の特徴 点を選択する組み合わせの 1つを求める。このとき、ステップ S2204 (図 10)と同様に
、適切な順序付けを行うものとする。
[0237] 続いて、近傍特徴点選択部 223が、 M個の順序付き組み合わせから、巡回置換の
1つを計算する（ステップ S22084)。 [0238] 次に、不変量計算部 225 (図 3)が、 M個の順序付けされた特徴点から、 f個の特徴 点座標から計算できる不変量を計算し、予め定められた順番に要素を格納する (ステ ップ S 22085)。
[0239] ステップ S22084力、らステップ S22085までの処理は、 M個の順序付けされた特徴 点の組み合わせからの全ての巡回置換について行うものとする。
[0240] そして、ステップ S22086において、全ての巡回置換について、特徴ベクトルを計 算したか判定する。
[0241] ここで、 M点（M個）全ての巡回置換に対して、 1個でも特徴ベクトルが計算が終了 していない場合には、ステップ S22084 戻り、まだ計算されていない巡回置換につ いて、引き続き、特徴ベクトルの計算を行うようになっている。
[0242] 一方、全ての巡回置換につ!/、て特徴ベクトルが計算されて!/、れば、ステップ S220 87 移動する。
[0243] これにより、全ての巡回置換について、特徴ベクトルが計算される。そして、ステップ
S22087において、 N'点から選択しうる、全ての M点の組み合わせについて、特徴 ベクトルの計算が終了したか判定する。
[0244] ここで、 N'個の特徴点から M個の特徴点を選択しうる、全ての M点の組み合わせ について、特徴ベクトルが計算されていなければ、ステップ S22083 戻り、まだ計 算されて V、な!/、選択しうる M点の組み合わせにつ V、て、特徴ベクトルを計算する。
[0245] これに対し、 N'点から選択しうる、全ての M点の組み合わせについて、特徴べタト ルの計算が終了した場合には、ステップ S22088へ移動する。
[0246] このように、ステップ S22083力、らステップ S22087までの処理は、 N，個の特徴点 力、ら M個の特徴点を選択する組み合わせの全てにつ!/、て、処理が行われるまで繰り 返される。
[0247] これにより、 N'点から選択しうる、全ての M点の組み合わせについて、特徴ベクトル が計算されるようになっている。
[0248] また、ステップ S22088では、近傍特徴点の中に含まれ、ある統合特徴点を生成し た全ての被特徴点集合に対して、特徴べ外ルの計算が終了したか否か判定する。
[0249] これにより、ある統合特徴点を生成した全ての被特徴点集合に対して、特徴べタト ルの計算が終了するまで繰り返される。
[0250] 従って、ステップ S2210及びステップ S2219における特徴量追加計算処理（図 10
)は、近傍特徴点計算部 222によって計算された N個の特徴点中に含まれる統合特 徴点について、特徴量追加計算の処理が行われるまで繰り返される。
[0251] このように、近傍特徴点の中に含まれ、ある統合特徴点を生成した、全ての被特徴 点集合に対して、繰り返し不変量を計算するようになっていると共に、繰り返し処理が 終了した後にステップ S2211へ進む。
[0252] (3)効果
[0253] 第 1の実施の形態では、統合特徴点計算部 114、及び統合特徴点計算部 214によ り連結成分の接触を模擬して生成した特徴点が生成され、かつ、近傍特徴点計算部 122および近傍特徴点計算部 222により、統合特徴点と、その統合特徴点を生成す る元となった被統合特徴点とを同時に選ばないように特徴点集合を計算し、その特 徴点集合を用いて特徴量を生成するので、登録画像と検索画像の一方の画像中で は接触し、かつ、他方の画像中では分離している場合であっても、対応する特徴量を 得ること力 Sでさる。
[0254] (4)他の実施の形態
[0255] (4 1)第 2の実施の形態
[0256] 上述の第 1の実施の形態では、検索画像特徴量生成部 22に、巡回計算部 224を 含んでいたが、第 2の実施の形態としては、予め入力される画像が回転のみ考慮す ればよい場合には、図 12に示すように、巡回計算部 224を省略した構成とすることも できる。
[0257] この場合、ステップ S2205、 S2211、 S22084の巡回計算処理は、省略される。
[0258] (4 2)第 3の実施の形態
[0259] また、本発明に係る第 3の実施の形態として、図 12に示したように、検索画像特徴 量計算装置 2に設けられていた巡回計算部 224を検索画像特徴量生成部 22から省 略すると共に、図 13に示すように巡回計算部 224と同一の巡回計算部 125を、登録 画像特徴量生成部 12に含むようにしても良!/、。
[0260] この場合、登録画像特徴量生成装置 1と検索画像特徴量生成装置 2とを入れ替え た形態に相当する。
[0261] また、ステップ S2205、 S2214、 S22084の処理を省略し、代わりにステップ S120 4、 S1211 , S 12083の後に、それぞれ、ステップ S2205、 S2214、 S22084の動作 を組み入れて、順序付き組み合わせに関するすべての巡回組み合わせにつ!/、て処 理を行えばよい。
実施例 1
[0262] 次に、具体的な実施例を用いて、本発明を実施するための最良の形態の動作を説 明する。
[0263] 図 14に示すように、第 1の実施の形態による第 1の実施例では、文書画像検索特 徴量生成システム D力 S、文書画像検索システム Zの一部として組み込まれている。
[0264] この図 14に示す文書画像検索システム Zは、スキャナ Aと、スキャナ Bと、計算機 C1 と、計算機 C2と、記憶装置 Mlと、記憶装置 M2とを備えている。
[0265] この第 1の実施例では、登録画像特徴量生成装置 1を計算機 C1内に備え、検索画 像特徴量生成装置 2を計算機 C2内に備えている。
[0266] また、登録画像特徴量生成装置 1によって生成された特徴量を格納する登録画像 特徴量格納装置 3を、記憶装置 Ml内に備えて V、る。
[0267] また、登録画像特徴量格納装置 3に格納された特徴量と、検索画像特徴量生成装 置 2によって生成された特徴量とを照合する照合装置 4が、計算機 C2内に備えられ ている。
[0268] また、各登録文書が生成した特徴量 (ベクトル）のうち、検索画像から生成された特 徴ベクトルと一致した回数を格納する特徴ベクトル一致数格納装置 5が、記憶装置 M 2内に備えられている。
[0269] 更に、各登録画像の特徴量一致数から検索すべき登録画像を決定する同定装置
6が、計算機 C2内に備えられている。
[0270] なお、記憶装置 Mlと記憶装置 M2とは同一のものであってもよぐまた計算機 C1と 計算機 C2も同一のものでもよぐスキャナ Aとスキャナ Bも同一のものであっても良い
〇
[0271] ここで、本実施例におけるパラメータ値としては、 N= 7、 M = 6、 f = 4を用いることと する。また、不変量としてァフィン不変量を計算することとする。
[0272] そして、統合する特徴点の最大数は 2とする。また、特徴点を統合する基準として、 連結領域間の距離は、連結領域 αの任意の画像と、別の連結領域 /3の任意の画像 との市街地距離 dの最小値であって、（2)式によって定義されるものとする。
[0273] また、（2)式の Distlの値力 STH1 = 2以下となる連結領域対 1つを統合するものと する。
[0274] 具体的には例えば、図 15に示すように、 2つの連結領域対 α、 βの間の距離値は
、 2となる。なお、（2)式で定義されている CC1は、連結領域の αと同義であり、 CC2 は、連結領域の /3と同義である。
[0275] すなわち、図 15において〇印で示す箇所は、（2)式によって連結領域対 αと /3の 距離値が 2となっており、また（2)式の距離値が 1の場合には、連結領域 αとベータ が接触して!/、ることを意味して!/、る。
[0276] また、特徴点間の距離は、ユークリッド距離で定義するものとする。また、画像中の 座標系は、左下を原点とし、 X座標の正方向を画像の右方向に、 y座標の正方向を画 像の上方向にとるものとする。
[0277] 第 1の実施例では、スキャナ Aは、文書 DObj lと DObj 2とを撮像し、画像 PR1A、 P
R2Aとして登録画像特徴量を計算する。その後、スキャナ Bは、文書 DObj lを撮像し
、画像 PR1Bとして、その画像 PR1Bの特徴量が登録されている画像 PR1A、 PR2A の!/、ずれであるかを検索（同定)する例につ!/、て説明する。
[0278] 図 14に記載された文書画像検索システム Zにおいて、まず、ある登録画像 PR1A 力 Sスキャナ Aから入力されて、登録画像特徴量生成装置 1が特徴量を生成し、登録 画像特徴量格納装置 3に特徴量を格納するまでの動作（図 4)について説明する。
[0279] なお、この登録画像 PR1Aは 256階調の濃淡画像であり、図 16に示すような画像 である。
[0280] 登録画像 PR1Aが登録画像特徴量生成装置 1に入力されると、特徴点抽出部 11 が特徴点抽出処理（図 4の S 11)を行う。まず、図 5に示したステップ S111の二値画 像生成処理により、二値画像が生成される。
[0281] ここでは、予め定められた閾値 TH0によって二値化するものとする。 [0282] 次に、連結領域ラベリング処理（図 5のステップ SI 12)では、一例として生成された 二値画像に対して、非特許文献 3に記載されている、 4連結のラン解析によるラベリン グ処理を行う。
[0283] ラベリング処理が行われた後の連結領域ラベリング画像 LI1の様子を、図 17に示す 。図 17中では、ラベリング処理の結果として、ラベル領域の外接矩形を重畳させてい
[0284] 図 16の画像にはかすれがあるため、本来 1つの連結領域となるべき領域が 2つに 分離している。
[0285] より具体的に説明すると、図 17では、アルファベット毎に連結領域力 個であること を期待している。しかしな力 、図 16に示す登録画像 PR1Aの「G」という文字は、力、 すれているため（この場合、薄く撮像されていることを表す。）、図 17に示す「G」の連 結領域が 2つに分離されて!/、ることを意味して!/、る。
[0286] 次に、連結領域重心'画素数計算処理（図 5のステップ S 113)により、連結領域の 重心を求めて特徴点とする。
[0287] ここで、特徴点は、当該連結領域の画素数とともに、図 18のように格納される。
[0288] 次に、統合特徴点計画処理（図 5のステップ S114)の連結領域間距離計算処理（ 図 6のステップ S1141)により、連結領域間の距離 Distlを求める。なお、本実施例 では TH1 = 2であるので、少なくとも距離値 2までを検出できる方法で距離を求めれ ばよい。
[0289] ここでは、距離値 3まで計測できる図 19のようなフィルタを用いて、ラベル画像全面 をスキャンすることによって、連結領域間を求めることとする。
[0290] なお、ここで距離値 0の場合は、統合の対象外であることを表すものとする。
[0291] そして条件を満たした連結領域は、すでに格納されている特徴点情報（図 18)に関 連付けて、更に図 20のように格納される。
[0292] 次に、統合処理（図 6のステップ S1142)では、格納されている特徴点情報（図 20) を用いて、連結領域間距離が TH1 = 2以下の連結領域対を統合し、統合特徴点を 求める。
[0293] この場合、連結領域重心'画素数計算処理（図 5のステップ S 113)において、予め 連結領域画素数を格納しておくと、統合処理（図 6のステップ S 1142)において統合 特徴点の重心を求める際には、二つの特徴点座標を (X , y ) , (X , y )とし、特徴点 i
, jに対応付けられている連結成分画素数を Ρ , Ρとすると、重心の性質から、統合特 徴点の座標 (X ，y )は、次式
Φ Φ
[数 3]
, 、_ A (^， '） + (^， ）
，ァん — ( 3 )
Figure imgf000036_0001
により、簡便に求められる。
[0294] もちろん、すでに求められている特徴点座標を用いずに、連結領域ラベリング画像
L11 (図示しないが、図 5の連結領域ラベリング処理によって算出される画像である。 )から統合した領域を求め、その領域に関する重心を用いてもよい。
[0295] 本実施例では、以上のような特徴点抽出処理（図 4のステップ S 11)が行われる結 果、得られる連結領域の統合特徴点は、図 21のようになる。
[0296] 図 21において、かすれのため 2つに分離していた領域対（例えば、 4番と 5番）に対 して連結され、統合特徴点 (例えば 14番）が計算されて V、る。
[0297] また、 9番と 13番とが連結され、統合特徴点 15番が計算されると共に、 10番と 11番 とが連結されて、統合特徴点 16番が計算されている。
[0298] なお、この場合において、登録画像 PR1Aに連結領域番号を付した画像を、図 22 に示す。図 21及び図 22から明らかなように、連結領域番号 9番と 15番は、極めて近 接していることを示している。
[0299] 次に、登録画像特徴量生成部 12が、登録画像特徴量用特徴量抽出処理（図 4の
[0300] まず、登録画像特徴量生成部 12の注目特徴点設定部 121が、特徴点の 1つを注 目特徴点として設定する (ステップ S 1201)。
[0301] 本説明では、図 22に示した連結領域番号 7番を注目特徴点として説明する。
[0302] 次に、注目特徴点が統合特徴点力、どうかの判定を行う（ステップ S 1202)。この場合
、図 21の統合フラグに示されているように、統合特徴点の場合には「1」が記入されて いるので、これにより判定を行うことができる。なお、この場合では、判定結果は Noで あるので、ステップ S 1203へ進む。
[0303] ステップ S 1203では、注目特徴点と統合特徴点とを除 V、た特徴点のうち、注目特 徴点からのユークリッド距離の小さレ、方から N ( = 7)個の特徴点を選択する。
[0304] 本実施例では、特徴点番号 8、 4、 5、 2、 10、 11、 3の 7特徴点が選択される。次に ステップ S 1204で、 N ( = 7)点から M ( = 6)点を選択する組み合わせの 1つが選択さ れる。ここでは、特徴点番号 8、 4、 5、 2、 10、 11の M ( = 6)点が選択される。
[0305] ここで、特徴点番号は、注目特徴点 7番の最近傍特徴点 4番を先頭とし、 7番を軸と して 8番を通る半直線を基準として時計回りにソートされている。
[0306] 次にステップ S 1204で、 f ( = 4)点の座標から計算されるァフィン計算量を求める。
[0307] そして次に、ステップ S 1205において、特徴ベクトルをァフィン不変量によって計算 する。
[0308] ここで、ァフィン不変量とは、非特許文献 2によれば、二次元位置ベクトル γ , γ ,
1 2
Ύ , γ に対して、次式
3 4
[数 4コ
| V3 4 - i I
ァフィン不変量 = | V2 — V3 _V] I ( 4 ) で定まる量のことである。
[0309] ここで、 I γ γ I は、二つの列ベクトル γ , γを横に並べて作った 2 X 2行列 | γ
i j i j i
7 Iの行列式である。
j
[0310] ステップ S 1204力、らステップ S 1205の処理は、 M点の順序付け組み合わせから f 点を選択しうる、全ての組み合わせにつ!/、て行われる。
[0311] そして、ステップ S 1206において、 N点力、ら選択しうる全ての M点の組み合わせに ついて、特徴ベクトルの計算が終了したか判定するようになっている。
[0312] ここで、 M点（M個）全ての近傍特徴点に対して、 1個でも特徴ベクトルの計算が終 了していない場合には、ステップ S 1204へ戻り、まだ計算されていない特徴べクトノレ の近傍特徴点が選択されると共に、引き続き、特徴ベクトルの計算を行うようになって いる。
[0313] これにより、 N点から選択しうる、全ての M点の組み合わせについて、特徴ベクトル が計算されるようになっている。
[0314] なお、 M点の順序付き組み合わせから γ , y , y , y を選択する方法は、図 23
1 2 3 4
に示されて!/、るような組み合わせを選択するものとする。
[0315] 例えば、図 23に示す 1番目の要素は、 M点の順序付き組み合わせ内の特徴点に 関して、 y は順序付け組み合わせの 1番目の特徴点座標、 Ί は 2番目の特徴点座
1 2 標、 Ί は 3番目の特徴点座標、 γ は 4番目の特徴点座標を用いる。
3 4
[0316] また、 Μ ( = 6)点から f ( = 4)点を選ぶ組み合わせの数は、 C = 15通り存在する
M f
ので、本実施例で生成される特徴量ベクトルは 15次元ベクトルとなる。
[0317] ステップ S1204力、らステップ S1205の処理を繰り返すことにより、結果として、図 24 に示すように注目特徴点 7番に関する 15次元の特徴量ベクトルが生成され、登録画 像特徴量格納装置 3に格納される。
[0318] 従って、この 15次元の特徴量ベクトルを生成するステップ S 1204からステップ S 12
06までの処理は、 N ( = 7)点から M ( = 6)点を選択するすべての組み合わせにつ!/ヽ て、行われる。
[0319] また、 1つの M点の組み合わせにっき 1つの特徴量ベクトルが生成されるので、ステ ップ S 1204力、らステップ S 1206までの処理で、例えば注目特徴点 8番に関する C
N M
= 7個の特徴ベクトルが生成され、登録画像特徴量格納装置 3に格納される（図 24 参照)。
[0320] 次に、ステップ S 1207において、近傍特徴点の中に統合特徴点を生成した特徴点 集合の全てが存在するか判定を行う。
[0321] この場合、ステップ S1203で選択した N点に対応付けられている連結領域のうち、 連結領域 4番と 5番との距離と、 10番と 11番との距離とが、連結領域間の距離が 2≤
TH1となっているので、ステップ S 1208の特徴量追加計算処理（図 8)を行う。
[0322] まず、連結領域 4番と 5番とを N点の組みあわせから削除し、 4番と 5番を統合して生 成された統合特徴点 14番（図 22)を付け加える（図 8のステップ S 12081)。
[0323] この結果、特徴点番号 8、 14、 3、 2、 10、 11の N' ( = 6)個からなる特徴点の組み 合わせが求められる。
[0324] 次に、図 8のステップ S12082による判定を行う。この場合は Yesであるから、ステツ プ S12083の処理を行う。なお、本実施例においては、必ず Yesとなることから、ステ ップ S 12082の処理をスキップすることもできる。
[0325] 次に、ステップ S 12083にて、 N' ( = 6)点から選ぶことのできる M ( = 6)点の順序 付き組み合わせを求める。
[0326] ここでは、結果として、特徴点番号 8、 14、 3、 2、 10、 11の順序付き組み合わせが 求められる。次にステップ S12084にて、特徴ベクトルを求める。
[0327] これは、ステップ S1205の動作と同一である。
[0328] このように計算すると、注目特徴点 7番に関する 8番目の特徴ベクトルが生成され、 登録画像特徴量格納装置 3に格納される。また、 N' ( = 6)点から選ぶことのできる M ( = 6)点の順序付き組み合わせは、この一通りのみであり（ステップ S12085)、かつ 、連結領域 10番と 11番に関して統合特徴点を用いて特徴ベクトルを生成する手続き を行っていないので（ステップ S12086)、ステップ S12081へ戻り、特徴ベクトルを計 算する処理を継続する。
[0329] このように計算すると、本実施例では、注目特徴点番号 8番に関しては 9種類の 15 次元特徴ベクトルが生成される。
[0330] これらの S 1201力、ら S 1209までの処理（図 7)は、 1番から 16番までのすベての特 徴点を注目特徴点とした処理が行われるまで継続される。
[0331] 以上により、登録画像 PR1Aに対する登録画像特徴量抽出処理（図 4)が完了する 。この結果として、図 24に示すような特徴量が計算される。
[0332] 更に、登録画像 PR2A (図 25)に対する登録画像特徴量抽出処理（図 4)も同様に 行われる。結果として、図 26に示すような特徴量が計算される。
[0333] 次に、登録画像 PR1A、 PR2Aに対する登録画像特徴量計算処理（図 4)の終了後 、文書 DObj lがスキャナ Bによって撮像され、検索画像 PR1Bが検索画像特徴量計 算装置 2に入力された場合の例について説明する。
[0334] ここで、登録画像のうち文書 DObj lが撮像されている画像は PR1 Aであるから、検 索（同定)結果として PR1Aが出力されることが望まし!/、。 [0335] 図 27に示す検索画像 PR1Bが検索画像特徴量計算装置 2 (図 14)に入力されると 、まず、特徴ベクトル一致数格納装置 5 (図 14)内に格納されている、各登録文書に 対応する特徴ベクトル一致数を 0に初期化する。
[0336] 次に、検索画像特徴量計算装置 2の特徴点抽出部 21によって、特徴点抽出処理（ ステップ S21)が行われる。この処理は、登録画像特徴量計算装置 1における特徴点 抽出部 11による特徴点抽出処理 (ステップ S 11)と同じ処理である。
[0337] 結果として、図 28に示すような特徴点が得られる。もちろん、入力となるスキャナの 個体差を吸収できるよう、二値化閾値、統合に用いる閾値 Distlの値など、ノ ラメ一 タの値は、登録画像特徴量計算装置 1の特徴点抽出部 11と検索画像特徴量計算装 置 2の特徴点抽出部 21とにおいて、それぞれ変更することは可能である。
[0338] 次に、検索画像特徴量計算部 22が行う検索画像特徴量計算処理 (ステップ S22) について説明する。なお、検索画像特徴量計算処理（図 9のステップ S22)は、後述 する特徴量照合装置 4が行う特徴量照合処理と協調して動作を行う。
[0339] 具体的には、 1つの特徴量 (ベクトル）が生成される度に、登録画像特徴量格納装 置 3に格納されている特徴量 (ベクトル）との照合処理を行う。以下で、これらの動作 について詳細に説明する。
[0340] まず、検索画像特徴量計算装置 2の注目特徴点設定部 221が、特徴点の一つを 注目特徴点として設定する（図 10のステップ S2201)。
[0341] ここでは、特徴点番号 1番から 5番までを注目特徴点として特徴量 (ベクトル)を生成 した後に、特徴点番号 6番の特徴点を注目特徴点とした場合について説明する。
[0342] そして次に、図 10のステップ S2202において、注目特徴点が統合特徴点であるか どうかの判定を行う。特徴点番号 6番は統合特徴点ではないので（図 20)、ステップ S 2203へ進む。
[0343] ステップ S2203では、統合特徴点と注目特徴点自身 (この場合、特徴点番号 6番で ある。）とを除いた特徴点のうち、注目特徴点番号 6番近傍の特徴点を N ( = 7)点選 択する。ここでは、特徴点番号 7、 4、 3、 2、 9、 10、 8の 7点が選択される（図 28)。
[0344] 次に、ステップ S2204にて、 N ( = 7)点から M ( = 6)点を選ぶ組み合わせのひとつ を選択する。ここでは、 1番目の組み合わせとして、特徴点番号 7、 4、 3、 2、 9、 10が 選ばれたとする。この組み合わせは、ステップ S 1204の処理による順序付け方法と 同様に順序付けされている。
[0345] 次にステップ S2205 (図 10)にて、 M ( = 6)点からなる順序付け組み合わせの巡回 置換を計算する。
[0346] まずは、巡回させない順序付け組み合わせ 7、 4、 3、 2、 9、 10を出力する。次にこ の順序付け組み合わせに対して、ステップ S2206 (図 10)にて特徴量 (ベクトル）を計 算する。この特徴量生成方法は、ステップ S1205における特徴量生成方法と同一で ある。
[0347] ステップ S2205からステップ S2206の処理はすべての巡回組み合わせにつ!/、て 行われるので、他の順序付け組み合わせ、例えば、 4、 3、 2、 9、 10、 7に対する特徴 量 (ベクトル)などについても計算が行われる。
[0348] また、上述のように、 S2204力、ら S2207までの処理は、 N ( = 7)点から M ( = 6)点 を選ぶすべての組み合わせについて計算されるまで繰り返される。
[0349] 本実施例では、ステップ S2206 (図 10)において、特徴量（ベクトル）が 1つ計算さ れるたびに、特徴量照合装置 4 (図 14)によって、後述する照合処理が行われる。
[0350] そして、照合処理の結果、一致すると判定された特徴ベクトルがある場合には、特 徴ベクトル一致数格納装置 5内に格納されている、登録文書毎の一致数力 だけ増 やされる。
[0351] ここで、照合処理について、図 29に示すフローチャートを参照しながら、具体的に 動作について説明する。
[0352] まず、図 29のステップ S41において、登録画像特徴量格納装置 3に格納されてい る、ある特徴ベクトルと、検索画像から生成された特徴ベクトルとの距離を計算し (ス テツプ S41)、ある閾値 TH1を超えない場合に一致したものと判定する（ステップ S42
)。
[0353] 距離尺度としては、 2ベクトル間の距離を計算できる既存の尺度を用いることができ る。本実施例では、距離として 2つのベクトルの誤差二乗和を、 TH1の値として 0. 15 を用いることとする。
[0354] 例えば、ステップ S2206 (図 10)において計算された検索画像 PR1Bの注目特徴 点 6番に関する順序付け組み合わせ、 0番目に関する巡回なしの特徴ベクトルは、図 30のようになる。この場合、登録画像 PR1Aから計算された注目特徴点 7番に関する 8番目の特徴ベクトルとの誤差二乗和は、 0. 14· · ·となる。
[0355] そしてこの値は、ステップ S42において、閾値 TH1を越えているか否かの判定が行 われる。
[0356] ここで、閾値 TH1を超えない場合には、ステップ S43へ移動し、 2つの特徴ベクトル がー致したものとみなして、一致した特徴ベクトルが計算された登録画像 (この例で は PR1A)に対応する特徴ベクトル一致数を 1増加させる（ステップ S43)。
[0357] この例の場合は、誤差二乗和が予め定められた閾値 ΤΗ1 = 0· 15の値を超えない ので、検索画像 PR1Aに関する特徴ベクトル一致数を 1増加させる。
[0358] 特徴量照合装置 4の照合処理が終了すると、ステップ S2207 (図 10)に移動して、 引き続き、検索画像特徴量計算部 2の処理を継続する。
[0359] なお、本実施例では、登録画像において特徴量 (ベクトル）が生成される度に照合 処理を行うこととした力 S、本実施の形態ではこれに限らず、予め検索画像から計算さ れる全ての特徴ベクトルを計算し、適当な記憶装置に格納しておき、その後に、検索 画像から生成された特徴ベクトルと登録画像から生成された特徴ベクトルの全ての組 み合わせについて照合処理を行うことにより、結果として同じ同定 (検索）結果を得る ようにしても良い。
[0360] そして、検索画像特徴量計算部 2の処理に戻った後、ステップ S2209 (図 10)で、 統合すべき特徴点対があるかどうかの判定が行われる。この場合は Noとなるので、ス テツプ S 2211へ進む。
[0361] ステップ S2211では、すべての統合点についての処理が行われたか否かの判定を 行う。ここでは Noであるので、まだ注目特徴点として設定されていない特徴点を注目 特徴点として処理を継続する。
[0362] このように、全ての特徴点を注目特徴点として処理をすると、特徴ベクトル一致数格 納装置 5内（図 14)に格納されている一致数は、例えば、登録画像 PR1Aに関する 一致数は 6となり、一方、登録画像 PR2Aに関する一致数は 1となる。
[0363] また、検索画像特徴量計算装置 2が照合処理を終えると、同定装置 6 (図 14)が特 徴ベクトル一致数格納装置 5内（図 14)に格納されている一致数を参照して、最も特 徴ベクトル一致数の多力、つた登録画像を同定すべき画像として判定する。
[0364] なお、本実施例では、一致数の一番多 V、登録画像を判定結果とするので、登録画 像 PR1Aが出力される。もちろん、画像そのものを出力としなくとも、画像と一意に結 び付けられた ID、名称など、あるいはそれらの組み合わせを出力してもよい。また、 一意に同定するだけでなぐ特徴ベクトル一致数の上 iij候補に相当する結果を出 力しても良い。
[0365] なお、本実施例で説明した、検索画像 PR1Aから計算された注目特徴点 7番に関 する 8番目の特徴ベクトルは、特徴点を統合することによって生成することのできた特 徴量 (ベクトル）である。
[0366] この特徴量 (ベクトル）は、従来の方法では生成し得な力、つた特徴ベクトルであるの で、本実施例に記載の特徴点を統合して特徴量 (ベクトル)を生成することにより、文 書の検索または同定を行う上で有効である。
[0367] また、本実施例では、互いに近い距離にある連結領域同士を統合するようにしてい る。分離や接触は、近い距離にある連結領域の間でおこる現象と考えられるから、互 いに近い距離にある連結同士のみ統合する方式は、すべての連結領域対に関して 統合する方式と比べ、統合にかかる計算量を効果的に削減することができるので、特 に有効である。
[0368] また、本実施例では、連結領域間の距離 Distlを特徴点の統合判定に用いて!/、る
[0369] 従って、特徴点間の距離を基準とした場合などと比べて、連結成分の接触を精度 良くシミュレートできるので有効である。
[0370] また、この方法は、本発明の第 1の実施の形態や第 3の実施の形態において、登録 画像と検索画像の間の文書の傾きの影響を受けにくいだけでなぐ登録画像や検索 画像の傾き補正が不要なので、特に有効である。
[0371] 本願 (ま、 曰本の特願 2006— 324095号（2006年 11月 30曰 ίこ出願） ίこ基づレヽたも のであり、又、特願 2006— 324095号に基づくパリ条約の優先権を主張するもので ある。特願 2006— 324095号の開示内容は、特願 2006— 324095号を参照するこ とにより本明細書に援用される。
[0372] 本発明の代表的な実施形態が詳細に述べられたが、様々な変更 (changeS)、置き換 え (substitutions)及び選択 (alternatives)が請求項で定義された発明の精神と範囲力、 ら逸脱することなくなされること力理解されるべきである。また、仮にクレームが出願手 続きにおいて補正されたとしても、クレームされた発明の均等の範囲は維持されるも のと発明者は意図する。
産業上の利用可能性
[0373] 本発明によれば、撮像装置により取り込まれた文書画像を、保存しておレ、た文書を 撮像した画像を用いて検索する文書検索装置として適用できる。また、対象物表面 の特徴的な文字列、例えば郵便物の住所領域画像や、対象物を一意に識別するた めに設計された識別子などを用いて、対象物を検索または同定するための装置とし て利用できる。この検索または同定装置は、さまざまな箇所で撮像された画像力 対 象物を追跡するシステムに利用できる。

Claims

請求の範囲
[1] 入力される入力画像から特徴点を抽出し、当該特徴点から特徴量を生成する文書 画像特徴量生成装置であって、
入力された前記入力画像から連結領域を決定し、前記連結領域の重心と前記特 徴点とを計算すると共に、少なくとも一部の前記連結領域を統合し、統合された連結 領域の重心から統合特徴点を求める統合特徴点抽出手段と、
求められた前記特徴点の中から注目特徴点を設定すると共に、当該注目特徴点の 近傍に配置される近傍特徴点と前記統合特徴点とから、統合された連結領域の特徴 量を生成する特徴量生成手段と、
を備えることを特徴とする文書画像特徴量生成装置。
[2] 前記特徴量生成手段は、前記統合特徴点と、前記注目特徴点以外の前記特徴点 とから前記近傍特徴点を選択し、前記統合された連結領域の特徴量を生成する ことを特徴とする請求項 1記載の文書画像特徴量生成装置。
[3] 前記特徴量生成手段は、前記統合特徴点と、当該統合特徴点を生成する元となつ た前記特徴点とが、同時に選択されることを排除して、前記統合された連結領域の特 徴量を生成する
ことを特徴とする請求項 1又は 2に記載の文書画像特徴量生成装置。
[4] 前記特徴量生成手段は、前記注目特徴点を生成する元となった前記特徴点を、前 記近傍特徴点として選択されることを排除して、前記統合された連結領域の特徴量 を生成する
ことを特徴とする請求項 1乃至 3の何れか 1項に記載の文書画像特徴量生成装置。
[5] 前記統合特徴点計算手段は、前記連結領域の統合の際、予め設定された値を超 えな V、距離にある連結成分のみを統合する
ことを特徴とする請求項 1乃至 4の何れか 1項に記載の文書画像特徴量生成装置。
[6] 前記統合特徴点計算手段は、少なくとも 2つ以上の前記連結領域に対して、一方 の前記連結領域に属する画素と他方の前記連結領域に属する画素との距離の最小 値を、前記統合特徴点の計算に用いる
ことを特徴とする請求項 5に記載の文書画像特徴量生成装置。
[7] 前記統合特徴点計算手段は、前記連結領域の距離を計算する際に、少なくとも前 記予め設定された値までの距離を求める
ことを特徴とする請求項 5又は 6に記載の文書画像特徴量生成装置。
[8] 請求項 1乃至 7の何れか 1項に記載の文書画像特徴量生成装置を用いて生成され た前記特徴量を用いて文書画像検索もしくは同定を行う手段を備える
ことを特徴とする文書画像検索照合装置。
[9] 請求項 1乃至 7の何れか 1項に記載の文書画像特徴量生成装置を用いて生成され た前記特徴量を格納する手段を備えることを特徴とする文書画像検索特徴量格納装 置。
[10] 入力される入力画像から特徴点を抽出し、当該特徴点から特徴量を生成する文書 画像特徴量生成装置における文書画像特徴量生成方法であって、
入力された前記入力画像から連結領域を決定し、前記連結領域の重心と前記特 徴点とを計算すると共に、少なくとも一部の前記連結領域を統合し、統合された連結 領域の重心から統合特徴点を求める統合特徴点抽出ステップと、
求められた前記特徴点の中から注目特徴点を設定すると共に、当該注目特徴点の 近傍に配置される近傍特徴点と前記統合特徴点とから、統合された連結領域の特徴 量を生成する特徴量生成ステップと、
を備えることを特徴とする文書画像特徴量生成方法。
[11] 前記特徴量生成ステップでは、前記統合特徴点と、前記注目特徴点以外の前記特 徴点とから前記近傍特徴点を選択し、前記統合された連結領域の特徴量を生成する ことを特徴とする請求項 10記載の文書画像特徴量生成方法。
[12] 前記特徴量生成ステップでは、前記統合特徴点と、当該統合特徴点を生成する元 となった前記特徴点とが、同時に選択されることを排除して、前記統合された連結領 域の特徴量を生成する
ことを特徴とする請求項 10又は 11に記載の文書画像特徴量生成方法。
[13] 前記特徴量生成ステップでは、前記注目特徴点を生成する元となった前記特徴点 を、前記近傍特徴点として選択されることを排除して、前記統合された連結領域の特 徴量を生成する ことを特徴とする請求項 10乃至 12の何れか 1項に記載の文書画像特徴量生成方 法。
[14] 前記統合特徴点計算ステップでは、前記連結領域の統合の際、予め設定された値 を超えな V、距離にある連結成分のみを統合する
ことを特徴とする請求項 10乃至 13の何れか 1項に記載の文書画像特徴量生成方 法。
[15] 前記統合特徴点計算ステップでは、少なくとも 2つ以上の前記連結領域に対して、 一方の前記連結領域に属する画素と他方の前記連結領域に属する画素との距離の 最小値を、前記統合特徴点の計算に用いる
ことを特徴とする請求項 14に記載の文書画像特徴量生成方法。
[16] 前記統合特徴点計算ステップでは、前記連結領域の距離を計算する際に、少なく とも前記予め設定された値までの距離を求める
ことを特徴とする請求項 14又は 15に記載の文書画像特徴量生成方法。
[17] 請求項 10乃至 16の何れか 1項に記載の文書画像特徴量生成方法を用いて生成さ れた前記特徴量を用いて文書画像検索もしくは同定を行うステップを備える
ことを特徴とする文書画像検索照合方法。
[18] 請求項 10乃至 16の何れか 1項に記載の文書画像特徴量生成方法を用いて生成さ れた前記特徴量を格納するステップを備えることを特徴とする文書画像検索特徴量 格納方法。
[19] 入力される入力画像から特徴点を抽出し、当該特徴点から特徴量を生成する文書 画像特徴量生成装置における文書画像特徴量生成用プログラムであって、
入力された前記入力画像から連結領域を決定し、前記連結領域の重心と前記特 徴点とを計算すると共に、少なくとも一部の前記連結領域を統合し、統合された連結 領域の重心から統合特徴点を求める統合特徴点抽出手順と、
求められた前記特徴点の中から注目特徴点を設定すると共に、当該注目特徴点の 近傍に配置される近傍特徴点と前記統合特徴点とから、統合された連結領域の特徴 量を生成する特徴量生成手順と、
をコンピュータに実行させることを特徴とする文書画像特徴量生成用プログラム。
[20] 前記特徴量生成手順では、前記統合特徴点と、前記注目特徴点以外の前記特徴 点とから前記近傍特徴点を選択し、前記統合された連結領域の特徴量を生成する ことをコンピュータに実行させることを特徴とする請求項 19記載の文書画像特徴量 生成用プログラム。
[21] 前記特徴量生成手順では、前記統合特徴点と、当該統合特徴点を生成する元とな つた前記特徴点とが、同時に選択されることを排除して、前記統合された連結領域の 特徴量を生成する
ことをコンピュータに実行させることを特徴とする請求項 19又は 20に記載の文書画 像特徴量生成用プログラム。
[22] 前記特徴量生成手順では、前記注目特徴点を生成する元となった前記特徴点を、 前記近傍特徴点として選択されることを排除して、前記統合された連結領域の特徴 量を生成する
ことをコンピュータに実行させることを特徴とする請求項 19乃至 21の何れ力、 1項に 記載の文書画像特徴量生成用プログラム。
[23] 前記統合特徴点計算手順では、前記連結領域の統合の際、予め設定された値を 超えな V、距離にある連結成分のみを統合する
ことをコンピュータに実行させることを特徴とする請求項 19乃至 22の何れ力、 1項に 記載の文書画像特徴量生成用プログラム。
[24] 前記統合特徴点計算手順では、少なくとも 2つ以上の前記連結領域に対して、一 方の前記連結領域に属する画素と他方の前記連結領域に属する画素との距離の最 小値を、前記統合特徴点の計算に用いる
ことをコンピュータに実行させることを特徴とする請求項 23に記載の文書画像特徴 量生成用プログラム。
[25] 前記統合特徴点計算手順では、前記連結領域の距離を計算する際に、少なくとも 前記予め設定された値までの距離を求める
ことをコンピュータに実行させることを特徴とする請求項 23又は 24に記載の文書画 像特徴量生成用プログラム。
[26] 請求項 19乃至 25の何れか 1項に記載の文書画像特徴量生成用プログラムを用い て生成された前記特徴量を用いて文書画像検索もしくは同定を行う手順をコンビュ ータに実行させることを特徴とする文書画像検索照合用プログラム。
[27] 請求項 19乃至 25の何れか 1項に記載の文書画像特徴量生成用プログラムを用い て生成された前記特徴量を格納する手順をコンピュータに実行させることを特徴とす る文書画像検索特徴量格納用プログラム。
PCT/JP2007/073156 2006-11-30 2007-11-30 Dispositif, procédé et programme de génération de valeur caractéristique d'image de document WO2008066152A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008547051A JP4957924B2 (ja) 2006-11-30 2007-11-30 文書画像特徴量生成装置、文書画像特徴量生成方法及び文書画像特徴量生成用プログラム
EP07832850.7A EP2093709A4 (en) 2006-11-30 2007-11-30 CHARACTERISTIC VALUE GENERATION DEVICE, METHOD, AND PROGRAM FOR DOCUMENT IMAGE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006324095 2006-11-30
JP2006-324095 2006-11-30

Publications (1)

Publication Number Publication Date
WO2008066152A1 true WO2008066152A1 (fr) 2008-06-05

Family

ID=39467938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/073156 WO2008066152A1 (fr) 2006-11-30 2007-11-30 Dispositif, procédé et programme de génération de valeur caractéristique d'image de document

Country Status (3)

Country Link
EP (1) EP2093709A4 (ja)
JP (1) JP4957924B2 (ja)
WO (1) WO2008066152A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010053109A1 (ja) 2008-11-10 2010-05-14 日本電気株式会社 画像照合装置、画像照合方法および画像照合用プログラム
WO2012114401A1 (ja) 2011-02-23 2012-08-30 日本電気株式会社 特徴点照合装置、特徴点照合方法、および特徴点照合プログラムが格納された非一時的なコンピュータ可読媒体
WO2014061221A1 (ja) * 2012-10-18 2014-04-24 日本電気株式会社 画像部分領域抽出装置、画像部分領域抽出方法および画像部分領域抽出用プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590082B (zh) * 2014-10-22 2019-02-22 北京拓尔思信息技术股份有限公司 文档图像识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207985A (ja) * 1997-01-27 1998-08-07 Oki Electric Ind Co Ltd 文字切り出し方法および文字切り出し装置
WO2006092957A1 (ja) * 2005-03-01 2006-09-08 Osaka Prefecture University Public Corporation 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置
JP2006324095A (ja) 2005-05-18 2006-11-30 Nec Tokin Corp 二次電池及びその製造方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200270B2 (en) * 2001-12-13 2007-04-03 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method using distributed model representation of partial images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207985A (ja) * 1997-01-27 1998-08-07 Oki Electric Ind Co Ltd 文字切り出し方法および文字切り出し装置
WO2006092957A1 (ja) * 2005-03-01 2006-09-08 Osaka Prefecture University Public Corporation 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置
JP2006324095A (ja) 2005-05-18 2006-11-30 Nec Tokin Corp 二次電池及びその製造方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HIDEYUKI TAMURA: "Computer Image Processing", 2002, OHM PUBLISHING, pages: 149 - 153
JUN SATO: "Computer Vision", 1999, CORONA PUBLISHING, pages: 54 - 65
See also references of EP2093709A4
TOMOHIRO NAKAI: "Digital Camera-based Document Image Retrieval-Retrieving then thousand pages in 0.1 second", INFORMATION SCIENCE TECHNOLOGY LETTERS, vol. 4, August 2005 (2005-08-01), pages 133 - 136
TOMOHIRO NAKAI: "Use of Afine Invariants and Similarity Invariants in Fast Camera-based Document Image Retrieval", IEIC TECHNICAL REPORT (PATTERN RECOGNITION/MEDIA UNDERSTANDING, PRMU2005-184-201), 16 February 2006 (2006-02-16), pages 25 - 30, XP008140342

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010053109A1 (ja) 2008-11-10 2010-05-14 日本電気株式会社 画像照合装置、画像照合方法および画像照合用プログラム
WO2012114401A1 (ja) 2011-02-23 2012-08-30 日本電気株式会社 特徴点照合装置、特徴点照合方法、および特徴点照合プログラムが格納された非一時的なコンピュータ可読媒体
US9430711B2 (en) 2011-02-23 2016-08-30 Nec Corporation Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program
WO2014061221A1 (ja) * 2012-10-18 2014-04-24 日本電気株式会社 画像部分領域抽出装置、画像部分領域抽出方法および画像部分領域抽出用プログラム

Also Published As

Publication number Publication date
EP2093709A4 (en) 2013-04-24
EP2093709A1 (en) 2009-08-26
JPWO2008066152A1 (ja) 2010-03-11
JP4957924B2 (ja) 2012-06-20

Similar Documents

Publication Publication Date Title
Melekhov et al. Dgc-net: Dense geometric correspondence network
Wang et al. Gracker: A graph-based planar object tracker
Fan et al. A performance evaluation of local features for image-based 3D reconstruction
Bi et al. Fast copy-move forgery detection using local bidirectional coherency error refinement
Tron et al. A benchmark for the comparison of 3-d motion segmentation algorithms
EP3161728B1 (en) Hierarchical interlinked multi-scale convolutional network for image parsing
Revaud et al. Epicflow: Edge-preserving interpolation of correspondences for optical flow
Aldoma et al. Multimodal cue integration through hypotheses verification for rgb-d object recognition and 6dof pose estimation
Huang et al. Copy-move forgery detection for image forensics using the superpixel segmentation and the Helmert transformation
Amit et al. Graphical templates for model registration
EP2138953B1 (en) Method and system for finding a document image in a document collection using localized two-dimensional visual fingerprints
US20150043828A1 (en) Method for searching for a similar image in an image database based on a reference image
CN109101981B (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
US20130236108A1 (en) Object or shape information representation method
Uchiyama et al. Toward augmenting everything: Detecting and tracking geometrical features on planar objects
Csurka et al. From handcrafted to deep local invariant features
JP4235604B2 (ja) 画像処理装置、画像処理方法、ならびにプログラム
Bharati et al. U-phylogeny: Undirected provenance graph construction in the wild
WO2008066152A1 (fr) Dispositif, procédé et programme de génération de valeur caractéristique d&#39;image de document
Oliveira et al. A novel Genetic Algorithms and SURF-Based approach for image retargeting
Donoser et al. Robust planar target tracking and pose estimation from a single concavity
Bonny et al. SHORT: Segmented histogram technique for robust real-time object recognition
Wang et al. Tc-sfm: Robust track-community-based structure-from-motion
CN108491885A (zh) 一种基于朴素贝叶斯分类器的autoCAD图块识别方法及装置
Cao et al. Two-pass K nearest neighbor search for feature tracking

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07832850

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008547051

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007832850

Country of ref document: EP