WO2022211174A1 - 대응점 기반 이미지 정합 장치 및 그 방법 - Google Patents

대응점 기반 이미지 정합 장치 및 그 방법 Download PDF

Info

Publication number
WO2022211174A1
WO2022211174A1 PCT/KR2021/004778 KR2021004778W WO2022211174A1 WO 2022211174 A1 WO2022211174 A1 WO 2022211174A1 KR 2021004778 W KR2021004778 W KR 2021004778W WO 2022211174 A1 WO2022211174 A1 WO 2022211174A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
point
histogram
points
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/004778
Other languages
English (en)
French (fr)
Inventor
신영길
정승환
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SNU R&DB Foundation
Original Assignee
Seoul National University R&DB Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seoul National University R&DB Foundation filed Critical Seoul National University R&DB Foundation
Publication of WO2022211174A1 publication Critical patent/WO2022211174A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Definitions

  • the present invention relates to a corresponding point-based image matching apparatus and method, and more particularly, to a plurality of neighboring points by selecting a plurality of neighboring points for each reference point set for a plurality of images including a common area.
  • An apparatus for generating a histogram for each reference point by calculating a distribution for neighboring points, searching for corresponding points corresponding to each other in each image through the generated histogram for each reference point, and precisely matching the plurality of images; and It's about the way.
  • Image registration is a technique for displaying the different images as a single coordinate system by matching the same area when different images include the same area and integrating the different images. That is, image registration is performed when a plurality of images of a specific object including the same area are acquired through a camera, etc., and a single integrated image of the specific object is generated through a registration process for the same area. As a result, it is being used in various fields such as map production and creation of a panoramic image of a specific object.
  • a plurality of images is registered based on a corresponding point that is a plurality of specific reference points included in another image corresponding to a plurality of specific reference points set in a plurality of images including the same area.
  • the iterative closest point (ICP) method is representative.
  • the conventional ICP method has a problem that the coordinate system and scale of each image must be the same, and information on the corresponding point must be given in advance.
  • the conventional ICP method has a limitation in that it is necessary to acquire a plurality of images including the same area through the same image acquisition device (eg, a camera or a scanner), and the corresponding point must be directly given by the user. Matching can be performed stably.
  • the same image acquisition device eg, a camera or a scanner
  • a source image serving as a reference for image registration and the source image Creates a histogram indicating the distribution of each reference point and a plurality of neighboring points adjacent to each reference point according to the distribution of reference points set in at least one target image to be matched to, and sets the source image using the generated histogram
  • An object of the present invention is to propose a method for effectively matching each image regardless of a scale or a coordinate system by searching for a corresponding point that is a reference point set in the at least one target image corresponding to a plurality of reference points.
  • Korea Patent No. 0591608 (June 13, 2006) is a prior invention related to a method for searching for corresponding points during image matching, extracting key points from a reference image and a model image by a corner detector, and the key points for the reference image from which the key points are extracted After constructing a Voronoi plane having distance information between the feature points, a model region having the largest variance value of feature points in a certain region is selected as a matching region for the model image from which the feature points are extracted, and then the borough that matches the feature points in the region Candidate matching regions having a distance on the Neuer plane that are close to the minimum are extracted from the reference image, and the color matching degree of the extracted candidate matching regions is calculated. It relates to a method of searching for corresponding points when matching images to be determined.
  • the prior invention is to register the reference image and the model image by using the variance value of the feature points of the model image and the Voronoi plane including distance information between the feature points of the reference image, including the same region proposed in the present invention
  • a histogram for each reference point is not generated by calculating a distribution for each reference point and a neighboring point adjacent to each reference point, and based on the generated histogram, the A method of searching for corresponding points for each image and matching the plurality of images based on the searched corresponding points is also not described. Accordingly, there is a significant difference in technical characteristics between the prior invention and the present invention.
  • Korea Patent No. 2196479 (2020.12.23.) is a prior invention related to an image matching method using weighted feature points and a system therefor.
  • Features points for the first matching area of the first image and the second matching area of the second image to specify the entire feature point list, select reference feature points to be used for generating transformation information for matching the first image and the second image from the specific feature point list, and then match based on the selected reference feature points
  • An image matching method and system using weighted feature points for generating transformation information for and matching the first image and the second image based on the generated transformation information.
  • the prior invention merely describes that the first image and the second image are matched by using the weighted feature points set for the first image and the second image.
  • the distribution of the reference point and a plurality of neighboring points adjacent to the reference point is calculated to each reference point. generating a histogram for each reference point, searching for corresponding points corresponding to each other in the source image and the target image using the histograms for each of the generated reference points, and matching the source image and the target image based on the searched corresponding points,
  • the above prior inventions do not describe, suggest, or suggest any technical features of the present invention.
  • the present invention was created to solve the above problems, and includes a common area, and searches for a plurality of corresponding points corresponding to each other in a source image, which is a standard for matching, and a target image to be matched with the source image.
  • An object of the present invention is to provide a corresponding point-based image matching apparatus and method for precisely matching the plurality of images based on corresponding points.
  • the present invention generates a histogram for each of the reference points by calculating a distribution for a plurality of neighboring points adjacent to each of the plurality of reference points set in each image, and the histogram for each of the generated reference points is calculated.
  • Another object of the present invention is to provide an apparatus and method for effectively searching for a corresponding point for the matching by using the method.
  • the present invention generates a vector from each reference point to all the selected neighboring points, and the ratio and angle of the length calculated for all selectable vector pairs from the generated vector belong to the number of ranges.
  • Another object of the present invention is to provide an apparatus and method for generating a histogram for each reference point by generating a distribution for each reference point and calculating coefficients of bins of the histogram.
  • the present invention provides a reference point selected from the source image or Another object is to provide an apparatus and method for performing a matching process of matching the source image and the target image based on the searched corresponding point by searching for a reference point or a corresponding point that is a neighbor point selected from the target image corresponding to the neighbor point. The purpose.
  • Another object of the present invention is to provide an apparatus and method for performing the matching by repeatedly performing the matching process until the threshold value is exceeded when it is less than the threshold value.
  • a histogram generating unit that generates a histogram for each of a plurality of reference points set in a source image and a target image including a mutual common area, and the generated histogram.
  • an image matching unit for matching the source image and the target image by searching for corresponding points corresponding to each other for the source image and the target image.
  • the image matching apparatus may further include a neighbor selector for selecting a plurality of neighboring points adjacent to each reference point and a vector generator for generating vectors for the selected plurality of neighboring points, respectively.
  • the histogram generator from each of the generated vectors, calculates an interior angle for all selectable vector pairs, one length ratio for the corresponding vector pair, and an exterior angle and another length ratio for each corresponding bin. The distribution is calculated according to the range of , and a histogram for each reference point is generated.
  • the number of rows of the histogram is generated by the number of the selected reference points, and the columns of the histogram are generated by multiplying the number of sections for the range of the preset angle by the number of sections for the range of the length ratio.
  • the coefficient of each bin constituting each row and column of the generated histogram is set according to the calculated angle of the interior angle and the one length ratio, and the angle of the exterior angle and the other length ratio. It is characterized in that the number corresponding to the range of the angle and the range of the length ratio is accumulated and filled.
  • the image matching unit generates a result histogram by multiplying the square root of the histogram for each reference point set in the source image and the square root of the result of transposing the row and column of the histogram for each reference point set in the target image.
  • a bin having a coefficient exceeding a preset threshold is detected from the generator and the generated result histogram, and the reference point selected from the source image and the reference point selected from the target image matched through the detected bin are used as corresponding points.
  • a corresponding point search unit for detecting the corresponding point by detecting, as a corresponding point, at least two or more neighboring points having the same distribution of angles and length ratios calculated for a plurality of neighboring points each neighboring to each reference point detected as the corresponding point as a corresponding point, and searching for the corresponding point; Further comprising a region selection unit for respectively selecting an image region including the at least one searched corresponding point, and for each selected image region, the source image and the target image are matched with respect to the searched corresponding point do it with
  • the image matching unit in the matched area, when the matching ratio of the number of reference points matched with the reference points set in the target image with respect to all the reference points set in the source image exceeds a preset threshold value up to, the registration is repeatedly performed while changing the selected image area.
  • the image including the source image and the target image, characterized in that the pore image.
  • the corresponding point-based image matching method includes a histogram generating step of generating a histogram for each of a plurality of reference points set in a source image and a target image including a mutual common area, and the generated histogram and an image matching step of matching the source image and the target image by searching for corresponding points corresponding to each other with respect to the source image and the target image using the method.
  • the image matching method may further include a neighbor point selection step of selecting a plurality of neighbor points adjacent to each reference point, and a vector generation step of respectively generating vectors for the selected plurality of neighbor points.
  • the histogram generation step in each of the generated vectors, calculates an angle of an interior angle for all selectable vector pairs, one length ratio for the corresponding vector pair, and an angle and another length ratio of an exterior angle for each of the generated vectors. It is characterized in that by calculating the distribution according to the range of the bin, a histogram for each reference point is generated.
  • the image matching step is a result of generating a result histogram by multiplying the square root of the histogram for each reference point set in the source image and the square root of the result of transposing the row and column of the histogram for each reference point set in the target image
  • a bin having a coefficient exceeding a preset threshold is detected, and the reference point selected from the source image and the reference point selected from the target image are matched through the detected bin as a corresponding point
  • the matching ratio for the number of reference points matched with the reference points set in the target image with respect to all reference points set in the source image is a threshold set in advance
  • the registration is repeatedly performed while changing the selected image area until the value is exceeded.
  • a distribution of a plurality of reference points set respectively in a source image serving as a registration standard among a plurality of images including a common area and a target image to be matched with the source image according to each reference point calculate a distribution map for the plurality of neighboring points selected around each reference point to generate a histogram for each reference point, and use the generated histogram to the target corresponding to the reference point of the source image By searching the reference point of the image, there is an effect of precisely matching the source image and the target image.
  • vectors for the selected plurality of neighboring points are respectively generated with respect to each reference point, and the angle of the interior angle for all pairs of vectors selectable from the generated vector and calculating another length ratio of the pair of vectors in the direction for calculating the angle of the interior angle and the ratio of the length of the pair of vectors in the direction for calculating the angle of the exterior angle and the angle of the exterior angle to calculate the angle and the angular length
  • a histogram for the reference point is generated and the corresponding point can be easily searched for.
  • FIG. 1 is a conceptual diagram illustrating a corresponding point-based image matching apparatus and method according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a method of calculating a distribution for neighboring points with respect to a reference point according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a histogram of a reference point according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process of searching for a corresponding point according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a process of matching a source image and a target image according to an embodiment of the present invention.
  • FIG. 6 is a block diagram showing the configuration of a corresponding point-based image matching apparatus according to an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating the configuration of an image matching unit according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a procedure for matching images based on corresponding points according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a detailed procedure for an image registration step according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram illustrating a corresponding point-based image matching apparatus and method according to an embodiment of the present invention.
  • the image is preferably applied to the pore image, but it is naturally applicable to other images.
  • a source image and a source that serve as a matching criterion for the plurality of images Set the target image to be matched with the image.
  • the plurality of images may be obtained through the same image obtaining means and input into the same coordinate system, or may be obtained through different image obtaining means and input into different coordinate systems, and may have the same or different scales.
  • the corresponding point-based image matching apparatus 100 sets a plurality of reference points in the source image and the target image, respectively.
  • the reference point means a feature point of the source image and the target image.
  • the plurality of images are pore images obtained by photographing the scalp
  • the pore is set as the reference point.
  • the present invention is not limited thereto, and according to the type of the image or the type of the object included in the image, the intersection point, the end point, the maximum, the lowest point, and the corner point of the lines included in each image may also be set as the reference point.
  • the reference point may be automatically set through various feature point extraction algorithms for extracting feature points, such as scale invariant feature transform (SIFT), or may be set directly by a user.
  • SIFT scale invariant feature transform
  • the corresponding point-based image matching apparatus 100 selects each reference point set in the source image and the target image and a plurality of neighboring points adjacent to each reference point to generate a histogram for each selected reference point. In this case, an image area formed by each of the selected reference points and a plurality of neighboring points is selected.
  • the corresponding point-based image matching apparatus 100 calculates a distribution for a plurality of neighboring points adjacent to each reference point for each reference point, and uses the calculated distribution for a plurality of neighboring points for each reference point to each reference point. to create a histogram for Meanwhile, generating a histogram for each reference point will be described in detail with reference to FIGS. 2 and 3 .
  • the corresponding point-based image matching apparatus 100 searches for a corresponding point corresponding to each other between the reference points set in the source image and the target image by using a histogram for each reference point.
  • the corresponding point-based image matching apparatus 100 selects a plurality of neighboring points each neighboring to each reference point searched for as a corresponding point from the source image and the target image, respectively, and among the plurality of neighboring points, at least two or more neighboring points having the same calculated distribution By detecting the points as corresponding points, at least two or more corresponding points corresponding to each other among the plurality of neighboring points are searched for.
  • the corresponding point-based image matching apparatus 100 selects an image region including the searched corresponding point from the source image and the target image, respectively, and matches the source image and the target image with the searched corresponding point as the center.
  • ICP iterative closest point
  • the matching result is set as the source image, and the process of searching for and matching the corresponding points is repeatedly performed to match all the input images. will finally be completed.
  • FIG. 2 is a diagram illustrating a method of calculating a distribution for neighboring points with respect to a reference point according to an embodiment of the present invention.
  • a process of calculating a distribution for a plurality of neighboring points with respect to one reference point will be described. However, the calculation of the distribution for the plurality of neighboring points is performed for each reference point.
  • the corresponding point-based image matching apparatus 100 generates a histogram for a plurality of reference points set in a source image and a target image. Each of the reference points is selected, and a plurality of neighboring points adjacent to each of the selected reference points are selected.
  • an image area for each image formed of each reference point and a plurality of neighboring points adjacent to each reference point is selected as described above. same.
  • the corresponding point-based image matching apparatus 100 first calculates a distribution for each selected reference point and a plurality of neighboring points adjacent to the corresponding reference point for each reference point.
  • the corresponding point-based image matching apparatus 100 selects a plurality of neighboring points by a preset number based on each selected reference point.
  • the plurality of neighboring points are selected by a preset number in the order of the closest distance to the reference point. It is preferable to select 4 neighboring points, but 3 to 5 or more may be selected.
  • the corresponding point-based image matching apparatus 100 generates vectors for a plurality of neighboring points selected around each reference point, respectively.
  • the corresponding point-based image matching apparatus 100 in each of the generated vectors, according to the number of sections in the preset angle range and the number of sections in the range of the length ratio, the angle of the interior angle and the respective vector pairs for each pair.
  • a distribution for a plurality of neighboring points adjacent to each of the selected reference points is calculated.
  • the neighboring point may be another reference point, and the reference point may be a neighboring point of another reference point.
  • the angle of the interior angle means an angle formed inside each pair of vectors, and is calculated in a counterclockwise (or clockwise) direction. Also, the ratio of one length to the pair of vectors is calculated in the direction in which the interior angle is calculated.
  • the ratio of one length to the generated vector pair is the interior angle.
  • the ratio of the length of the vector to the neighboring point #4 to the length of the vector to the neighboring point #3 is calculated.
  • the angle of the outer angle means an angle formed outside each pair of vectors, and is calculated in a counterclockwise (or clockwise) direction.
  • another length ratio for a pair of vectors is calculated in the direction when calculating the exterior angle. That is, when vectors for the neighbor point #3 and the neighbor point #4 are respectively generated based on the reference point shown in FIG. 2, the length ratio of the generated vector pair is counterclockwise when calculating the outer angle. The ratio of the length of the vector with respect to 3 to the length of the vector for the neighboring point #4 is calculated.
  • FIG. 3 is a diagram illustrating a histogram of a reference point according to an embodiment of the present invention.
  • the histogram for each reference point set in the source image and the target image shows the reference point and a plurality of neighboring points adjacent to the reference point selected based on the reference point. It is generated using the calculated distribution.
  • a histogram for each reference point is generated in a matrix-like format, the rows of the corresponding histogram are generated as many as the number of reference points selected from the source image and the target image, and the column of the corresponding histogram is the number of intervals for a preset angle range and It is generated by a number multiplied by the number of sections for the range of the length ratio.
  • the range of the angle or the range of the length ratio may use a smaller value, it is natural that the number of bins increases.
  • the angle is set in units of 30 degrees
  • the number of columns is described as six, but the actual number of columns can be variously configured according to setting.
  • the range of the angle and the range of the length ratio of the vector are set in advance.
  • the corresponding point-based image matching apparatus 100 is a vector according to the direction in which the distribution of the reference point and the neighboring points (that is, the angle of the interior angle and the angle of the interior angle with respect to a pair of vectors generated centered on the reference point and the neighboring point)
  • a bin configured for each reference point according to the calculated distribution and corresponding to a preset range A histogram for each reference point is finally generated by accumulating and filling in the coefficients of .
  • the angle and length ratio of the first bin of the row configured for each reference point is set to 0 to 120 degrees and 0 to 0.5, and the angle (inner angle or outer angle) and length of 0 to 120 degrees among the calculated distributions. If there are two numbers with a ratio of 0 to 0.5 (one length ratio or another length ratio), it is filled by accumulating (ie, 2) coefficients of the corresponding bin by the number. That is, the corresponding point-based image matching apparatus 100 generates a histogram for each reference point by using a distribution of a plurality of neighboring points adjacent to the calculated reference point.
  • the coefficients of each bin formed in the column of the histogram constructed for the reference point #1 are 1, 1, 1, 3, 4, and 2 according to the distribution of neighboring points to the reference point #1 calculated in FIG. 2 .
  • FIG. 4 is a diagram illustrating a process of searching for a corresponding point according to an embodiment of the present invention.
  • the corresponding point-based image matching apparatus 100 in order to match the source image and the target image according to an embodiment of the present invention, the corresponding point-based image matching apparatus 100 generates each of the plurality of reference points set in the source image. Calculate the square root of the histogram (Hist source in FIG. 4 ) for the reference point. That is, the corresponding point-based image matching apparatus 100 calculates the square root of the histogram for the reference point by calculating the square root of the coefficient for each bin of the generated histogram for each reference point set in the source image.
  • the corresponding point-based image matching apparatus 100 transposes the rows and columns of the histogram (Hist target in FIG. 4) for each reference point generated for each reference point set in the target image, and then the square root of the transposed result Calculate. That is, the corresponding point-based image matching apparatus 100 converts a histogram for each reference point set in the target image into a transpose matrix, and calculates a square root of the histogram converted into the transpose matrix.
  • the corresponding point-based image matching apparatus 100 multiplies the square root of the histogram for each reference point set in the calculated source image and the square root of the result obtained by converting the histogram for each reference point set in the calculated target image into a transpose matrix. Create a histogram.
  • each reference point set in the source image and each reference point set in the target image are crossed and matched through the bin of the result histogram.
  • the corresponding point-based image matching apparatus 100 checks the coefficients for each bin of the result histogram to detect a bin having a coefficient exceeding a preset threshold, and a reference point selected from the source image matched through the bin A reference point selected from the target image is detected as a corresponding point.
  • the corresponding point-based image matching apparatus 100 uses a reference point set in the source image to be matched through a bin having a coefficient exceeding a preset threshold value in the result histogram and a reference point set in the target image as a corresponding point. By judging, the corresponding points corresponding to each other between the reference points are searched for.
  • the reference point set in the source image # Reference point 1, reference point #2, and reference point #3 and reference point #1, reference point #4, and reference point #5 set in the target image correspond to each other, and are respectively searched as corresponding points between reference points.
  • FIG. 4 shows that the number of reference points set in the source image and the target image is five, when each image is a pore image, the reference point is set for each of the pores.
  • the reference points are not only some of the hair pore points shown in FIG. 4 can be used as reference points. That is, in one image, all pore points may be reference points and may also be neighboring points. According to the user's setting, only some neighboring points may be set as reference points and neighboring points.
  • the threshold value is set by the following [Equation 1].
  • Threshold ( K C 2 ) x (1.0 - (2 x outlier_ratio)) x 2
  • K is the number (eg, 4) of the selected neighboring points for each reference point
  • the outlier_ratio is the reference point of the source image and the The reference point of the target image refers to a ratio of reference points having no corresponding points corresponding to each other.
  • the outlier_ratio indicates an approximate ratio of reference points having no corresponding points as a result of the matching and is set in advance. In the present invention, the outlier_ratio is set to 0.35.
  • the coefficients of bins with coefficients exceeding the preset threshold are set to 1 (True), and the coefficients for other bins are set to 0 (False).
  • the result histogram can be binarized, and when the corresponding points between the reference points are searched for, the corresponding points between the reference points can be searched for by detecting the bins set to 1 (True) by referring to the coefficients of the bins of the binarized result histogram. have.
  • the corresponding point-based image matching apparatus 100 selects each reference point found as a corresponding point and selects a plurality of neighboring points adjacent to each of the selected reference points, respectively.
  • the corresponding point-based image matching apparatus 100 compares the distributions calculated for the plurality of neighboring points selected from the source image and the plurality of neighboring points selected from the target image, and as a result of the comparison, at least two or more neighbors having the same distribution By detecting a point as a corresponding point, a corresponding point between the neighboring points is searched for.
  • the distribution of the plurality of neighboring points is calculated for each pair of neighboring points that can be selected for the plurality of neighboring points. point) or more neighboring points are searched for as corresponding points.
  • the corresponding point-based image matching apparatus 100 detects, as the corresponding points, at least two neighboring points having the same distribution of angles and length ratios calculated for a plurality of neighboring points respectively neighboring to each reference point selected from the source image and the target image. Thus, a corresponding point between the neighboring points is searched for.
  • the corresponding point-based image matching apparatus 100 selects an image area including at least one searched corresponding point for the source image and the target image, respectively.
  • the corresponding point-based image matching apparatus 100 matches the source image and the target image based on the searched corresponding point for each selected image area. A process of performing the matching will be described with reference to FIG. 5 .
  • FIG. 5 is a diagram illustrating a process of matching a source image and a target image according to an embodiment of the present invention.
  • the corresponding point-based image matching apparatus 100 searches for corresponding points for each reference point through the result histogram, and as a result, the corresponding point for each reference point and the corresponding point for each reference point are selected.
  • an image area including a specific reference point searched as the corresponding point and the neighboring points is selected.
  • the number of reference points searched for as a corresponding point is equal to or greater than a preset number (the critical number of corresponding points), and among the reference points searched for as the corresponding point, the specific reference point and the specific reference point searched as the corresponding point are formed of at least two or more neighboring points.
  • An image region is selected from the source image and the target image, respectively, and the source image and the target image are matched based on the searched corresponding point.
  • Number of critical correspondence points (K) x (1 - 2 x outlier_ratio)
  • K and outlier_ratio are the same as K and outlier_ratio in [Equation 1].
  • a specific reference point (reference point #1) selected from the source image by searching as a corresponding point, a neighbor point #2 and a neighbor point #3 adjacent to the specific reference point are a specific reference point selected from the target image ( The reference point #1, the neighbor point #2, the neighbor point #4, and the target image of the source image searched as the corresponding point by selecting an image area including the reference point #1) and the neighbor point #1 and the neighbor point #2, respectively.
  • the source image and the target image are matched based on the reference point #1, the neighbor point #1, and the neighbor point #4.
  • the corresponding point-based image matching apparatus 100 performs the registration by first selecting and matching any one of the corresponding points found in the selected image area, and sequentially matching the remaining corresponding points.
  • a specific correspondence point eg, the neighbor point #2 of the source image searched as the correspondence point in FIG. 4 and the neighbor point # of the target image
  • selecting 1 and using it as initial guess information first matching is performed, and then the matching is performed on the remaining corresponding points.
  • the corresponding point-based image matching apparatus 100 verifies the matching result.
  • the registration ratio for the number of reference points matched with the reference points set in the target image for all the reference points set in the source image exceeds the preset threshold (critical registration ratio). This is done by judging whether or not
  • the corresponding point-based image matching apparatus 100 terminates the matching and outputs the matching result.
  • the corresponding point-based image matching apparatus 100 if the matching ratio is less than or equal to the threshold value, the corresponding point-based image matching apparatus 100 until the threshold value is exceeded, a new reference point found as a corresponding point in the source image and the target image and at least two neighboring points The registration is repeatedly performed by selecting the above neighboring points and selecting a new image area.
  • the correspondence point-based image matching apparatus 100 repeatedly performs registration while changing the image area by newly selecting a reference point found as a correspondence point and a neighboring point adjacent to the reference point until the matching ratio exceeds a preset threshold value.
  • FIG. 6 is a block diagram showing the configuration of a corresponding point-based image matching apparatus according to an embodiment of the present invention.
  • the corresponding point-based image matching apparatus 100 includes an image input unit 110 that receives a plurality of images including a mutually common area, and receives the plurality of images.
  • An image setting unit 120 for classifying and setting a source image and a target image
  • a reference point setting unit 130 for setting a plurality of reference points for the set source image and a target image, for each reference point set in each image
  • Neighboring point selection unit 140 for selecting a plurality of neighboring points
  • a vector generating unit 150 generating a vector for each of the selected neighboring points with respect to each of the reference points
  • each of the reference points using the generated vectors a histogram generating unit 160 that generates a histogram for It is configured to include an image matching unit 170 and an output unit 180 for outputting the matching result.
  • the image input unit 110 performs a function of receiving a plurality of images including a common area through various image acquisition means such as a camera, a scanner, an ultrasound imaging device, and the like.
  • the image setting unit 120 performs a function of setting a source image serving as a matching criterion among the plurality of received images and a target image matching with the source image, respectively.
  • the reference point setting unit 130 sets a plurality of reference points for the source image and the target image, and the reference point means a characteristic point of the source image and the target image.
  • the neighboring point selector 140 selects a plurality of neighboring points adjacent to each of the plurality of reference points set for the source image and the target image as a basis for generating a histogram for each reference point.
  • each reference point and an image area formed of a plurality of neighboring points adjacent to the reference point are respectively selected.
  • the nearest neighbor from each reference point is selected, and a preset number is selected.
  • the vector generator 150 generates vectors for a plurality of neighboring points adjacent to each reference point with respect to each reference point.
  • the histogram generator 160 performs a function of generating a histogram for each reference point by calculating a distribution for each reference point and a plurality of neighboring points adjacent to each reference point.
  • the histogram generating unit 160 for each of the vectors generated by the vector generating unit 150, the range of the inner angle and one length ratio and the outer angle and the other length ratio according to a range set in advance.
  • the distribution of the number corresponding to each reference point the distribution of a plurality of neighboring points adjacent to each reference point is calculated for each reference point, thereby generating a histogram of all reference points.
  • the image matching unit 170 searches for a corresponding point between the source image and the target image using the generated histogram for each reference point, and performs a function of matching the source image and the target image based on the searched corresponding point. Therefore, the detailed configuration of the image matching unit 170 will be described with reference to FIG. 7 .
  • the output unit 180 performs a function of outputting a result finally matched by the image matching unit 170 to a display (not shown), a user terminal (not shown), or the like.
  • FIG. 7 is a block diagram illustrating the configuration of an image matching unit according to an embodiment of the present invention.
  • the image matching unit 170 includes a histogram for each reference point set in the source image generated through the histogram generating unit 160 and an angle set in the target image.
  • a result histogram generating unit 171 for generating a result histogram by using the histogram for a reference point, a corresponding point search unit 172 for searching for corresponding points corresponding to each other for the source image and the target image using the generated result histogram;
  • a region selector 173 that selects an image region including the searched at least one or more corresponding points from the source image and the target image, respectively, and matches the source image and the target image based on the corresponding point included in the selected image region It is configured to include a matching unit 174 and a matching result verification unit 175 for verifying the matching result.
  • the result histogram generator 171 is the square root of the histogram for each reference point set in the source image generated by the histogram generator 160 and the square root of the result of transposing the row and column of the histogram for each reference point set in the target image.
  • a result histogram is generated such that each reference point set in the source image and the target image is matched with each other through a bin by multiplying by . Meanwhile, since the generation of the result histogram has been described with reference to FIG. 4 , further detailed description thereof will be omitted.
  • the correspondence point search unit 172 detects bins having coefficients exceeding a preset threshold value in the result histogram generated by the result histogram generation unit 171, and sets them in the source image matched through the detected bins.
  • a reference point and a reference point set in the target image are detected as a corresponding point, and at least two or more neighboring points having the same distribution of angles and length ratios calculated for a plurality of neighboring points adjacent to each reference point detected as the corresponding point are corresponding points By detecting as , a corresponding point corresponding to the source image and the target image is searched for.
  • the region selector 173 selects, from the source image and the target image, an image region formed of a specific reference point searched for as a corresponding point and at least two or more neighboring points adjacent to the specific reference point.
  • the matching unit 174 mutually matches the source image and the target image based on the searched corresponding point included in each selected image area. On the other hand, when the number of corresponding points searched for the reference point is less than a preset number, the matching unit 174 determines that there is no need to match the source image and the target image (that is, it is determined that there is little or no common area) Therefore, the matching is not performed.
  • the matching result verification unit 175 determines that the matching ratio to be matched with the reference point set in the target image for all reference points set in the source image in the matched area exceeds a preset threshold value. In this case, the matching of the source image and the target image is finally finished, and the result of matching is output through the output unit 180 .
  • the image matching unit 170 selects another reference point searched for as a corresponding point, respectively, until the preset threshold is exceeded, and selects the source image The registration is repeatedly performed while changing each image area selected for the and target image.
  • FIG. 8 is a flowchart illustrating a procedure for matching images based on corresponding points according to an embodiment of the present invention.
  • the corresponding point-based image matching apparatus 100 receives a plurality of images including a common area. Step is performed (S110).
  • the plurality of images may be input from a user or may be input through an image acquisition means such as a camera or a scanner.
  • the corresponding point-based image matching apparatus 100 performs an image setting step of setting a source image as a reference to be matched from a plurality of input images and a target image to be matched with the source image (S120).
  • the corresponding point-based image matching apparatus 100 performs a reference point setting step of setting a plurality of reference points for the source image and the target image, respectively ( S130 ).
  • a plurality of reference points can be automatically set using various algorithms (eg, SIFT algorithm) for setting feature points from an image or can be set by a user. do not put
  • the corresponding point-based image matching apparatus 100 selects each reference point set in the source image and the target image, and a plurality of neighboring points adjacent to each reference point, respectively, to generate a histogram for each reference point. Perform a histogram generation step. do (S130).
  • the histogram for each reference point is generated using a distribution calculated for a plurality of neighboring points adjacent to each reference point.
  • the corresponding point-based image matching apparatus 100 selects a plurality of neighboring points by a preset number for each reference point in order to generate a histogram for each reference point, and the selected at least one or more neighboring points.
  • a vector generation step of respectively generating vectors for the plurality of selected neighboring points with respect to each reference point is further performed.
  • the corresponding point-based image matching apparatus 100 searches for corresponding points in the source image and the target image using a histogram for each reference point, and matches the source image and the target image according to the result of searching for the corresponding points. image registration step.
  • the image matching step will be described in detail with reference to FIG. 9 .
  • step S150 is repeatedly performed until all of the other target images are matched.
  • FIG. 9 is a flowchart illustrating a detailed procedure for an image registration step according to an embodiment of the present invention.
  • the detailed procedure for matching the source image and the target image according to an embodiment of the present invention is first, and the image registration step is set in the histogram and the target image for each reference point set in the source image.
  • a result histogram generating step of generating a result histogram by using the histogram for each reference point is performed (S210).
  • Each reference point set in the source image and each reference point set in the target image are matched with each other by each bin constituting the result histogram. .
  • the image matching step detects a bin having a coefficient exceeding a preset threshold in the result histogram, and detects the reference point set in the source image and the reference point set in the target image to be matched through the detected bin as corresponding points (S220) and a corresponding point detection step of detecting as a corresponding point at least two or more neighboring points having the same distribution of angles and length ratios calculated for a plurality of neighboring points respectively neighboring to each reference point detected as the corresponding point as corresponding points. (S230).
  • the source image and the target image are not matched if, as a result of detecting the reference point as the corresponding point, the number does not exceed a preset number, as described above.
  • a region selection step of selecting an image region including the searched at least one or more corresponding points is performed ( S240 ).
  • the image matching step is to select, from the source image and the target image, an image area formed of a specific reference point and at least two or more neighboring points adjacent to the specific reference point among the reference points searched for as the corresponding point, respectively.
  • the source image and the target image are matched based on at least one or more corresponding points included in each selected image area.
  • the registration ratio for all reference points set in the source image in the registered area is the result of the registration.
  • the preset threshold value is exceeded ( S260 )
  • an output step of terminating the matching of the source image and the target image and outputting the matching result is performed.
  • the image matching step if the matching ratio is less than or equal to a preset threshold value as a result of performing the matching result verification step (S260), the image matching step performs the step of changing each selected image area (S261) Including, steps S250 and S261 are repeatedly performed until the matching ratio exceeds the preset threshold.
  • the present invention provides a corresponding point-based image matching apparatus and method for generating a histogram for each reference point by calculating a distribution for a plurality of neighboring points, respectively, for each of a plurality of reference points set in a plurality of images including a mutually common area, , it is possible to precisely determine the plurality of images by searching for corresponding points corresponding to each other in the plurality of images by using the histogram for each of the generated reference points.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 대응점 기반 이미지 정합 장치 및 그 방법에 관한 것으로, 서로 공통된 영역을 포함하는 복수의 이미지에 대해서 각각 설정한 복수의 각 기준점별로 이웃하는 복수의 이웃점을 각각 선택하여 복수의 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 각 이미지에서 서로 대응하는 대응점을 탐색함으로써 상기 탐색한 대응점을 기반으로 상기 복수의 이미지를 정밀하게 정합하는 장치 및 그 방법에 관한 것이다.

Description

대응점 기반 이미지 정합 장치 및 그 방법
본 발명은 대응점 기반 이미지 정합 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 서로 공통된 영역을 포함하는 복수의 이미지에 대해서 각각 설정한 복수의 각 기준점별로 이웃하는 복수의 이웃점을 각각 선택하여 복수의 이웃점에 대한 분포를 산출함으로써 상기 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 통해 상기 각 이미지에서 서로 대응하는 대응점을 탐색하여 상기 복수의 이미지를 정밀하게 정합하는 장치 및 그 방법에 관한 것이다.
이미지 정합이란 서로 다른 이미지가 동일한 영역을 포함하고 있을 때 상기 동일한 영역을 매칭하여 상기 서로 다른 이미지를 통합하여 상기 서로 다른 이미지를 하나의 좌표계로 나타내는 기술이다. 즉, 이미지 정합은 카메라 등을 통해 동일한 영역을 상호 포함하는 특정 대상체에 대한 복수의 이미지를 획득하여 상기 동일한 영역에 대한 정합 과정을 통해 상기 특정 대상체에 대한 하나의 통합된 이미지를 생성하고자 할 때 수행되는 것으로, 지도 제작, 특정 대상체에 대한 파노라마 이미지 생성 등과 같이 다양한 분야에서 활용되고 있다.
이미지 정합을 위해 이용되는 주요 방법으로는 동일한 영역을 상호 포함하는 복수의 이미지에서 설정한 복수의 특정 기준점에 대응하는 또 다른 이미지에 포함된 복수의 특정 기준점인 대응점을 기준으로 상기 복수의 이미지를 정합하는 ICP(iterative closest point) 방법이 대표적이다.
그러나 종래의 ICP 방법은 상기 각 이미지의 좌표계 및 스케일(scale)이 동일해야 되며, 상기 대응점에 대한 정보가 미리 주어져야하는 문제점이 있다.
즉, 종래의 ICP 방법은 동일한 이미지 획득 장치(예: 카메라나 스캐너 등)를 통해 상기 동일한 영역을 포함하는 복수의 이미지를 획득해야 되는 한계가 있으며, 상기 대응점이 사용자에 의해 직접적으로 주어져야만 상기 이미지 정합을 안정적으로 수행할 수 있다.
이에 따라 본 발명에서는 종래의 ICP 방법이 가진 한계나 문제점을 해결하기 위해서 서로 공통된 영역을 포함하고 복수의 기준점을 각각 설정한 복수의 이미지에 대해, 이미지 정합의 기준이 되는 소스 이미지와, 상기 소스 이미지에 정합할 적어도 하나 이상의 타겟 이미지에 설정한 기준점의 분포에 따라 각 기준점과 각 기준점에 이웃하는 복수의 이웃점에 대한 분포를 나타내는 히스토그램을 생성하고, 상기 생성한 히스토그램을 이용하여 상기 소스 이미지에 설정한 복수의 기준점과 대응하는 상기 적어도 하나 이상의 타겟 이미지에 설정한 기준점인 대응점을 탐색함으로써 스케일이나 좌표계에 상관없이 상기 각 이미지를 효과적으로 정합할 수 있도록 하는 방안을 제안하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
한국등록특허 제0591608호(2006.06.13.)는 영상 정합시 대응점 검색방법에 관한 선행발명으로, 기준 영상과 모델 영상을 코너 검출기에 의해 특징점을 추출하고, 상기 특징점을 추출한 기준 영상에 대해서 상기 특징점 사이의 거리 정보를 가지는 보로노이 평면을 구성한 후, 상기 특징점을 추출한 모델 영상에 대해서 일정 영역 내의 특징점들의 분산값이 가장 큰 모델 영역을 정합 영역으로 선택 한 후, 해당 영역 내의 특징점과 매칭되는 상기 보로노이 평면상의 거리가 최소에 가까운 후보 정합 영역들을 상기 기준 영상에서 추출하고, 상기 추출한 후보 정합 영역들의 컬러 정합도를 계산하여 상기 모델 영역과 오차가 최소가 되는 후보 정합 영역을 최종 목표의 정합 영역으로 결정하는 영상 정합시 대응점 검색 방법에 관한 것이다.
상기 선행발명은 기준 영상의 특징점 사이의 거리 정보를 포함하는 보로노이 평면과 모델 영상의 특징점들의 분산값을 이용하여 기준 영상과 모델 영상을 정합하는 것으로, 본원발명에서 제안하고 있는 동일한 영역을 포함하는 복수의 이미지 각각에 대해 설정한 복수의 기준점에 대해서 상기 각 기준점과 상기 각 기준점에 이웃하는 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하는 것도 아니며, 상기 생성한 히스토그램을 토대로 상기 각 이미지에 대해 대응하는 대응점을 탐색하여 상기 탐색한 대응점을 기반으로 상기 복수의 이미지를 정합하는 방법 또한 전혀 기재되어 있지 않다. 따라서 상기 선행발명과 본 발명은 기술적인 특징에 대한 현저한 차이점이 있다.
또한 한국등록특허 제2196479호(2020.12.23.)는 가중치 특징점을 이용한 이미지 정합 방법 및 그 시스템에 관한 선행발명으로, 제1이미지의 제1정합영역 및 제2이미지의 제2정합영역에 대한 특징점을 각각 추출하여 전체 특징점 리스트를 특정하고, 상기 특정한 특징점 리스트에서 상기 제1이미지와 제2이미지를 정합하기 위한 변환정보의 생성에 이용될 기준 특징점들을 선택한 후, 상기 선택한 기준 특징점들에 기초하여 정합을 위한 변환정보를 생성하여 상기 생성한 변환정보에 기초하여 상기 제1이미지와 제2이미지를 정합하는 가중치 특징점을 이용한 이미지 정합 방법 및 그 시스템에 관한 것이다.
즉, 상기 선행발명은 단순히 제1이미지와 제2이미지에 설정한 가중치 특징점을 이용하여 상기 제1이미지와 제2이미지를 정합한다고만 기재하고 있을 뿐이다.
반면에 본 발명은 정합의 기준이 되는 소스 이미지와 상기 소스 이미지에 정합할 타겟 이미지에 대해 설정한 복수의 기준점 각각에 대해 해당 기준점과 이웃하는 복수의 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에서 상호 대응하는 대응점을 탐색하여 상기 탐색한 대응점을 기반으로 상기 소스 이미지와 타겟 이미지를 정합하는 것으로, 상기 선행발명들은 이러한 본 발명의 기술적 특징을 기재하거나 시사 혹은 그 어떠한 암시도 없다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 공통된 영역을 포함하고, 정합의 기준이 되는 소스 이미지와 상기 소스 이미지에 정합할 타겟 이미지에서 상호 대응하는 복수의 대응점을 탐색하여 상기 탐색한 대응점을 기반으로 상기 복수의 이미지를 정밀하게 정합할 수 있도록 하는 대응점 기반 이미지 정합 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 상기 각 이미지에 각각 설정한 복수의 각 기준점을 중심으로 이웃하는 복수의 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 각각 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 정합을 위한 대응점을 효과적으로 탐색하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 상기 각 기준점을 중심으로 상기 선택한 모든 이웃점으로의 벡터를 생성하고 상기 생성한 벡터에서 선택 가능한 모든 벡터의 쌍에 대해 계산한 길이의 비율과 각도가 어느 범위에 속하는지 그 개수에 대한 분포를 생성하여 히스토그램의 빈(bin)의 계수를 계산함으로써, 상기 각 기준점에 대한 히스토그램을 생성하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 소스 이미지에서 선택한 각 기준점에 대한 히스토그램의 행렬에 대한 제곱근과 타겟 이미지에서 선택한 각 기준점에 대해 생성한 히스토그램의 행렬의 전치행렬에 대한 제곱근을 곱한 결과에 따라 상기 소스 이미지에서 선택한 기준점 또는 이웃점과 대응하는 상기 타겟 이미지에서 선택한 기준점 또는 이웃점인 대응점을 탐색하여 상기 탐색한 대응점을 기반으로 상기 소스 이미지와 타겟 이미지를 정합하는 정합과정을 수행하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 상기 정합한 전체 영역에서, 상기 소스 이미지에서 설정한 복수의 기준점에 대해 상기 타겟 이미지의 기준점과 정합되는 정합비율이 사전에 설정한 임계값을 초과하는 경우, 상기 정합을 최종 종료하고 상기 임계값 미만인 경우 해당 임계값을 초과할 때까지 상기 정합과정을 반복적으로 수행하여 상기 정합을 수행하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치는, 상호 공통영역을 포함하는 소스 이미지와 타겟 이미지에 각각 설정한 복수의 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성부 및 상기 생성한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여, 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합부를 포함하는 것을 특징으로 한다.
또한 상기 이미지 정합 장치는, 상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 이웃점 선택부 및 상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성부를 더 포함하는 것을 특징으로 한다.
또한 상기 히스토그램 생성부는, 상기 생성한 벡터 각각에서, 선택 가능한 모든 각 벡터 쌍에 대한 내각의 각도와 해당 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 또 다른 길이비율을 계산하여 각 해당하는 빈의 범위에 따라 분포를 산출하여, 상기 각 기준점에 대한 히스토그램을 생성하는 것을 특징으로 한다.
또한 상기 히스토그램의 행은, 상기 선택한 기준점의 수만큼 생성되고, 상기 히스토그램의 열은, 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수를 곱한 수만큼 생성되며, 상기 생성된 히스토그램의 각 행과 열을 구성하는 각 빈(bin)의 계수는, 상기 계산한 내각의 각도와 상기 하나의 길이비율 및 상기 외각의 각도와 상기 또 다른 길이비율에 따라 상기 설정한 각도의 범위 및 길이비율의 범위에 해당하는 개수를 누적하여 채우는 것을 특징으로 한다.
또한 상기 이미지 정합부는, 상기 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 상기 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 결과 히스토그램을 생성하는 결과 히스토그램 생성부 및 상기 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 상기 소스 이미지에서 선택한 기준점과 상기 타겟 이미지에서 선택한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 대응점을 탐색하는 대응점 탐색부 및 상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 각각 선택하는 영역 선택부를 더 포함하며, 상기 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것을 특징으로 한다.
또한 상기 이미지 정합부는, 상기 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대해서 상기 타겟 이미지에서 설정한 기준점과 정합되는 기준점의 수에 대한 정합비율이 사전에 설정한 임계값을 초과할 때까지, 상기 선택한 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행하는 것을 특징으로 한다.
또한 상기 소스 이미지 및 타겟 이미지를 포함한 이미지는, 모공 이미지인 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 방법은, 상호 공통영역을 포함하는 소스 이미지와 타겟 이미지에 각각 설정한 복수의 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성 단계 및 상기 생성한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여, 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합 단계를 포함하는 것을 특징으로 한다.
또한 상기 이미지 정합 방법은, 상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 이웃점 선택 단계 및 상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 히스토그램 생성 단계는, 상기 생성한 벡터 각각에서, 선택 가능한 모든 각 벡터 쌍에 대한 내각의 각도와 해당 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 또 다른 길이비율을 계산하여 각 해당하는 빈의 범위에 따라 분포를 산출하여, 상기 각 기준점에 대한 히스토그램을 생성하는 것을 특징으로 한다.
또한 상기 이미지 정합 단계는, 상기 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 상기 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 결과 히스토그램을 생성하는 결과 히스토그램 생성 단계 및 상기 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 상기 소스 이미지에서 선택한 기준점과 상기 타겟 이미지에서 선택한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 대응점을 탐색하는 대응점 탐색 단계 및 상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 각각 선택하는 영역 선택 단계를 더 포함하며, 상기 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것을 특징으로 한다.
또한 상기 이미지 정합 단계는, 상기 정합한 결과, 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대해서 상기 타겟 이미지에서 설정한 기준점과 정합되는 기준점의 수에 대한 정합비율이 사전에 설정한 임계값을 초과할 때까지, 상기 선택한 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 대응점 기반 이미지 정합 장치 및 그 방법은 공통영역을 포함하는 복수의 이미지 중 정합 기준이 되는 소스 이미지와 상기 소스 이미지와 정합하기 위한 타겟 이미지에 각각 설정한 복수의 기준점의 분포에 따라 상기 각 기준점별로 각 기준점을 중심으로 선택한 상기 복수의 이웃점에 대한 분포도를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 히스토그램을 이용하여 상기 소스 이미지의 기준점과 대응하는 상기 타겟 이미지의 기준점을 탐색함으로써, 상기 소스 이미지와 상기 타겟 이미지를 정밀하게 정합할 수 있도록 하는 효과가 있다.
또한 본 발명은 상기 기준점에 대한 히스토그램을 생성할 때, 상기 각 기준점을 중심으로 상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하고, 상기 생성한 벡터에서 선택 가능한 모든 벡터 쌍에 대한, 내각의 각도 및 내각의 각도를 계산하기 위한 방향으로의 상기 벡터 쌍의 길이비율과, 외각의 각도 및 외각의 각도를 계산하기 위한 방향으로의 상기 벡터 쌍의 또 다른 길이비율을 계산하여 상기 각 각도와 각 길이비율에 해당하는 히스토그램의 빈에 대한 계수를 증가시킴으로써, 상기 기준점에 대한 히스토그램을 생성하여 상기 대응점을 간편하게 탐색할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 기준점을 중심으로 이웃점에 대한 분포를 산출하는 방법을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 기준점에 대한 히스토그램을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 대응점을 탐색하는 과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지를 정합하는 과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 정합부의 구성을 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 대응점을 기반으로 이미지를 정합하는 절차를 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 이미지 정합 단계에 대한 세부적인 절차를 나타낸 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 대응점 기반 이미지 정합 장치 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다. 본 발명에서는 데이터는 디지털 정보로 해석할 수 있다.
도 1은 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다. 본 발명의 대응점 기반 이미지 정합 장치 및 그 방법에서, 상기 이미지는 모공 이미지에 대하여 적용하는 것이 바람직하나, 다른 이미지에도 당연히 적용 가능하다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치(100)는 공통영역을 포함하는 복수의 이미지가 입력되면 복수의 이미지에 대해서 정합의 기준이 되는 소스 이미지와 소스 이미지와 정합할 타겟 이미지를 설정한다.
복수의 이미지는 동일한 이미지 획득수단을 통해 획득되어 동일한 좌표계로 입력되거나, 서로 다른 이미지 획득수단을 통해 획득되어 서로 다른 좌표계로 입력될 수 있으며, 동일하거나 서로 다른 스케일을 가질 수 있다.
또한 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지에 복수의 기준점을 각각 설정한다.
여기서 기준점은 소스 이미지와 타겟 이미지의 특징점을 의미한다. 예를 들어, 복수의 이미지가 두피를 촬영한 모공 이미지인 경우에는 모공이 상기 기준점으로 설정된다. 다만 이에 한정하지 않으며 이미지의 종류 혹은 이미지에 포함된 대상체의 종류에 따라 상기 각 이미지에 포함된 선의 교차점, 끝점, 곡선의 최대, 최하점, 코너점등도 상기 기준점으로 설정될 수 있다.
또한 기준점은 SIFT(scale invariant feature transform) 등과 같이 특징점을 추출하기 위한 다양한 특징점 추출 알고리즘을 통해 자동으로 설정되거나 사용자에 의해 직접적으로 설정될 수 있다.
또한 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지에서 설정한 각 기준점과 상기 각 기준점에 이웃하는 복수의 이웃점을 선택하여 상기 선택한 각 기준점에 대한 히스토그램을 생성한다. 이때, 상기 선택한 각 기준점과 복수의 이웃점으로 형성되는 이미지 영역이 선택된다.
즉, 상기 대응점 기반 이미지 정합 장치(100)는 각 기준점에 각각 이웃하는 복수의 이웃점에 대한 분포를 기준점별로 산출하고, 상기 산출한 기준점별 복수의 이웃점에 대한 분포를 이용하여 상기 각 기준점에 대한 히스토그램을 생성하는 것이다. 한편, 각 기준점에 대한 히스토그램을 생성하는 것은 도 2 및 도 3을 참조하여 상세히 설명하도록 한다.
또한 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지를 정합하기 위해 우선적으로, 각 기준점에 대한 히스토그램을 이용하여 상기 소스 이미지와 타겟 이미지에서 설정한 기준점간에 상호 대응하는 대응점을 탐색한다.
또한 대응점 기반 이미지 정합 장치(100)는 대응점으로 탐색한 각 기준점에 각각 이웃하는 복수의 이웃점을 소스 이미지와 타겟 이미지에서 각각 선택하여, 복수의 이웃점 중 상기 산출한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 복수의 이웃점 중 상호 대응하는 적어도 두개 이상의 대응점을 탐색한다.
또한 대응점 기반 이미지 정합 장치(100)는 탐색한 대응점을 포함한 이미지 영역을 소스 이미지와 타겟 이미지에서 각각 선택하여, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합한다. 이때 상기 정합은 두 이미지 사이에서 상호 대응하는 특징점을 기반으로 이미지 정합을 수행하는 ICP(iterative closest point) 방법을 이용하는 것이 바람직 하지만, 본 발명은 이에 한정하지 않으며 두 이미지 사이의 대응점을 이용하여 이미지 정합을 수행하는 다양한 방법을 이용할 수 있다.
이때, 대응점을 탐색하는 것과 상기 정합을 수행하는 과정은 정합한 결과가 사전에 설정한 임계값을 초과할 때 까지 반복적으로 수행된다. 한편 대응점을 탐색하는 것과 정합을 수행하는 과정은 도 4 및 도 5를 참조하여 상세히 설명하도록 한다.
또한 소스 이미지와 타겟 이미지를 정합한 후, 또 다른 타겟 이미지가 존재하면 상기 정합한 결과를 소스 이미지로 설정하여, 상기 대응점을 탐색하고 정합하는 과정을 반복적으로 수행함으로써 상기 입력된 모든 이미지에 대한 정합을 최종적으로 완료하게 된다.
이하에서는 기준점별로 이웃하는 복수의 이웃점에 대한 분포를 산출하는 과정과 상기 산출한 이웃점에 대한 분포를 이용하여 각 기준점에 대한 히스토그램을 생성하는 과정을 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 기준점을 중심으로 이웃점에 대한 분포를 산출하는 방법을 설명하기 위해 나타낸 도면이다. 이하에서는 하나의 기준점에 대해 복수의 이웃점에 대한 분포를 산출하는 과정을 설명하도록 한다. 다만 상기 복수의 이웃점에 대한 분포를 산출하는 것은 각 기준점에 대해서 수행된다.
도 2에 도시한 바와 같이 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치(100)는 소스 이미지 및 타겟 이미지에 설정한 복수의 기준점에 대한 히스토그램을 생성하기 위해 상기 각 이미지에 설정한 복수의 기준점 각각을 선택하고 상기 선택한 각 기준점에 이웃하는 복수의 이웃점을 선택한다.
이때, 상기 각 기준점과 상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 경우, 상기 각 기준점과 상기 각 기준점에 이웃하는 복수의 이웃점으로 형성되는 각 이미지에 대한 이미지 영역이 선택됨은 상술한 바와 같다.
또한 상기 대응점 기반 이미지 정합 장치(100)는 선택한 각 기준점과 상기 각 기준점별로 해당 기준점에 이웃하는 복수의 이웃점에 대한 분포를 우선 산출한다.
이때, 대응점 기반 이미지 정합 장치(100)는 선택한 각 기준점을 중심으로 사전에 설정한 개수만큼 복수의 이웃점을 선택한다. 또한 복수의 이웃점은 상기 기준점을 중심으로 거리가 가장 가까운 순서대로 사전에 설정한 개수만큼 선택된다. 이웃점은 4개를 선택하는 것이 바람직하지만, 3개 내지 5개 혹은 그 이상으로 선택될 수 있다.
또한 대응점 기반 이미지 정합 장치(100)는 각 기준점을 중심으로 선택한 복수의 이웃점에 대한 벡터를 각각 생성한다.
또한 대응점 기반 이미지 정합 장치(100)는 생성한 벡터 각각에서 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수에 따라, 내각의 각도와 상기 각 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 상기 각 벡터 쌍에 대한 또 다른 길이비율을 계산함으로써, 상기 선택한 각 기준점에 이웃하는 복수의 이웃점에 대한 분포를 산출한다.
이때, 선택 가능한 모든 벡터 쌍을 이용하여 산출되는 것으로, 실질적으로 선택한 기준점을 중심으로 선택한 복수의 이웃점에서 선택 가능한 모든 이웃점의 쌍에 대한 분포를 의미한다. 한편 이웃점은 또 다른 기준점이 될 수 있으며, 상기 기준점은 또 다른 기준점의 이웃점이 될 수 있다.
또한 내각의 각도는 각 벡터 쌍의 내측에 형성되는 각도를 의미하며 반시계방향(혹은 시계방향)으로 계산된다. 또한 벡터 쌍에 대한 하나의 길이비율은 상기 내각을 계산할 때의 방향으로 계산된다.
예를 들어, 도 2에 도시한 기준점(기준점 #1)을 중심으로 이웃점 #3과 이웃점 #4에 대한 벡터를 각각 생성한 경우, 상기 생성한 벡터 쌍에 대한 하나의 길이비율은 내각을 계산할 때의 반시계방향으로 이웃점 #4에 대한 벡터의 길이의 이웃점 #3에 대한 벡터 길이에 대한 길이비율을 계산한 것이다.
또한 외각의 각도는 각 벡터 쌍의 외측에 형성되는 각도를 의미하며 반시계방향(혹은 시계방향)으로 계산된다. 또한 벡터 쌍에 대한 또 다른 길이비율은 외각을 계산할 때의 방향으로 계산된다. 즉, 도 2에 도시한 기준점을 중심으로 이웃점 #3과 이웃점 #4에 대한 벡터를 각각 생성한 경우, 상기 생성한 벡터 쌍의 길이비율은 외각을 계산할 때의 반시계방향으로 이웃점 #3에 대한 벡터의 길이의 이웃점 #4에 대한 벡터 길이에 대한 길이비율을 계산한 것이다.
또한 도 2에 나타낸 것과 같이, 복수의 이웃점에 대한 분포는 상기 벡터의 쌍마다 내각의 각도 및 하나의 길이비율 및 외각의 각도 및 또 다른 길이비율을 포함하여 각각 두개씩 생성됨을 알 수 있다.
즉, 특정 기준점을 중심으로 총 4개의 이웃점을 선택한 경우 총 6개의 벡터 쌍이 생성되고, 상기 기준점에 이웃하는 이웃점에 대한 분포는 이웃점 쌍별로 2개씩 총 12개가 산출되는 것이다.
도 3은 본 발명의 일 실시예에 따른 기준점에 대한 히스토그램을 나타낸 도면이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지에 설정한 각 기준점에 대한 히스토그램은 상기 기준점과 상기 기준점을 중심으로 선택한 상기 기준점에 이웃하는 복수의 이웃점에 대해 산출한 분포를 이용하여 생성된다.
각 기준점에 대한 히스토그램은 행렬과 같은 형식으로 생성되며, 해당 히스토그램의 행은 소스 이미지 및 타겟 이미지에서 선택한 기준점의 수만큼 생성되고, 해당 히스토그램의 열은 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수를 곱한 수만큼 생성된다.
본 발명의 일 실시예에 따르면, 각 빈(bin)에 대해서 사전에 미리 설정한 범위가, 각도의 경우 120도 단위로 설정하면 각도의 범위는 3개의 구간으로 나누어지고, 길이비율을 0~0.5 및 0.5~무한대로 설정하면 2개의 구간으로 나누어지므로, 상기 빈의 열의 수가 총 3x2 = 6개로 구성된다. 그러나 상기 각도의 범위나 길이비율의 범위는 그 크기가 더 작은 값을 사용할 수 있어, 빈(bin)의 수가 더 많아 지는 것이 당연하다. 본 발명의 또 다른 일 실시예에 따라 만약 각도를 30도 단위로 설정하면 각도의 범위는 12개의 구간으로 나누어지고, 길이비율을 0~0.5, 0.5~1.0, 1.0~1.5, 1.5~무한대로 설정하면 4개의 구간으로 나누어지므로, 상기 열의 개수는 총 12x4 = 48개로 구성된다.
결국, 본 발명의 일 실시예에서 열의 개수가 6개인 경우로 설명하지만 실제 열의 개수는 설정하기에 따라 다양하게 구성할 수 있다.
또한 행과 열로 구성되는 히스토그램의 각 빈은 각도의 범위와 벡터의 길이비율에 대한 범위가 각각 사전에 설정된다.
또한 상기 대응점 기반 이미지 정합 장치(100)는 상기 기준점과 상기 이웃점의 분포(즉, 기준점과 이웃점을 중심으로 생성한 벡터의 쌍에 대한 내각의 각도와 내각의 각도를 계산한 방향에 따른 벡터의 길이비율 및 외각의 각도와 외각의 각도를 계산한 방향에 따른 벡터의 또 다른 길이비율)가 산출되면, 상기 산출한 분포에 따라 상기 각 기준점을 위해 구성되고 사전에 설정한 범위에 해당하는 빈의 계수를 누적하여 채움으로써 상기 각 기준점에 대한 히스토그램을 최종 생성한다.
예를 들어, 각 기준점을 위해 구성한 행의 첫 번째 빈의 각도 및 길이비율이 0 ~ 120도 및 0 ~ 0.5로 설정되어 있고, 상기 산출한 분포 중 0 ~ 120도인 각도(내각 혹은 외각) 및 길이비율이 0 ~ 0.5(하나의 길이비율 혹은 또 다른 길이비율)인 개수가 2개이면 상기 개수만큼 해당 빈의 계수를 누적(즉, 2)함으로써 채우는 것이다. 즉, 대응점 기반 이미지 정합 장치(100)는 산출한 기준점에 이웃하는 복수의 이웃점의 분포를 이용하여 상기 각 기준점에 대한 히스토그램을 각각 생성하는 것이다.
도 2에서 산출한 기준점 #1의 대한 이웃점의 분포에 따라 해당 기준점 #1을 위해 구성한 히스토그램의 열에 형성되는 각 빈의 계수는 1, 1, 1, 3, 4, 2가 됨을 알 수 있다.
이하에서는, 대응점을 탐색하여 소스 이미지와 타겟 이미지를 정합하는 방법을 상세히 설명하고자 한다.
도 4는 본 발명의 일 실시예에 따른 대응점을 탐색하는 과정을 설명하기 위해 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지를 정합하기 위해, 대응점 기반 이미지 정합 장치(100)는 상기 소스 이미지에서 설정한 복수의 각 기준점에 대해 생성한 각 기준점에 대한 히스토그램(도 4의 Histsource)의 제곱근을 계산한다. 즉, 상기 대응점 기반 이미지 정합 장치(100)는 상기 소스 이미지에 설정한 각 기준점에 대해 상기 생성한 히스토그램의 각 빈에 대한 계수에 대한 제곱근을 계산함으로써 상기 기준점에 대한 히스토그램의 제곱근을 계산하는 것이다.
또한 대응점 기반 이미지 정합 장치(100)는 타겟 이미지에서 설정한 각 기준점에 대해 생성한 각 기준점에 대한 히스토그램(도 4의 Histtarget)의 행과 열을 전치시킨 후, 상기 전치시킨 결과에 대한 제곱근을 계산한다. 즉, 대응점 기반 이미지 정합 장치(100)는 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램을 전치행렬로 변환하고, 상기 전치행렬로 변환한 해당 히스토그램에 대한 제곱근을 계산한다.
또한 대응점 기반 이미지 정합 장치(100)는 계산한 소스 이미지에 설정한 각 기준점에 대한 히스토그램의 제곱근과 계산한 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램을 전치행렬로 변환한 결과에 대한 제곱근을 곱하여 결과 히스토그램을 생성한다.
이때, 소스 이미지에 설정한 각 기준점과 타겟 이미지에서 설정한 각 기준점은 결과 히스토그램의 빈을 통해 교차되어 매칭된다.
또한 대응점 기반 이미지 정합 장치(100)는 결과 히스토그램의 각 빈에 대한 계수를 확인하여 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 해당 빈을 통해 매칭되는 소스 이미지에서 선택한 기준점과 상기 타겟 이미지에서 선택한 기준점을 대응점으로 검출한다.
즉, 상기 대응점 기반 이미지 정합 장치(100)는 상기 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 통해 매칭되는 소스 이미지에서 설정한 기준점과 상기 타겟 이미지에서 설정한 기준점을 대응점으로 판단함으로써 기준점간에 상호 대응하는 대응점을 탐색하는 것이다.
예를 들어, 도 4에 도시한 것과 같이, 결과 히스토그램의 1행 1열, 2행 4열 및 3행 5열의 빈의 계수가 사전에 설정한 임계값을 초과한다면, 소스 이미지에서 설정한 기준점 #1, 기준점 #2 및 기준점 #3과 타겟 이미지에서 설정한 기준점 #1, 기준점 #4 및 기준점 #5가 상호 대응하며, 기준점간의 대응점으로 각각 탐색되는 것이다.
한편 도 4에는 소스 이미지와 타겟 이미지에서 설정한 기준점의 개수가 5개로 도시되어 있으나, 상기 각 이미지가 모공 이미지인 경우 상기 각 모공에 대해서 상기 기준점이 설정된다. 도 4에 도시된 머리카락 모공점들 중 일부만 기준점으로 사용할 수 있는 것이 아니다. 즉, 하나의 이미지에서 모든 모공점은 기준점이 될 수 있으며 또한 이웃점이 될 수도 있다. 사용자가 설정하기에 따라 일부의 이웃점만 기준점이면서 이웃점으로 설정할 수도 있다. 또한 미리 설정한 이웃점 개수 k(예, k=4)에 따라 각 기준점 별로 가장 가까이 이웃한 k개의 기준점들을 선택하여이웃점으로 표현하고 그 분포를 계산하여 히스토그램을 업데이트할 수도 있다. 따라서 모든 기준점이 다른 기준점의 이웃점이 될 수 있으므로, 기준점이나 이웃점에 대한 제한이나 제약 사항이 없다.
여기서 상기 임계값은 다음의 [수학식 1]에 의해 설정된다.
[수학식 1]
임계값 = (KC2) x (1.0 - (2 x outlier_ratio)) x 2
여기서 K는 각 기준점별로 상기 선택한 이웃점의 개수(예: 4)이며, 상기 outlier_ratio는 소스 이미지와 타겟 이미지를 정합하였을 때, 정합한 전체 영역에 존재하는 복수의 기준점에서 상기 소스 이미지의 기준점과 상기 타겟 이미지의 기준점이 상호 대응하는 대응점이 없는 기준점의 비율을 의미한다.
이때, 정합한 결과 대응점이 없는 기준점의 비율이 높은 경우 제대로 된 정합이 수행된 것이 아닌 것을 의미한다. 따라서 상기 outlier_ratio는 상기 정합한 결과 대응점이 없는 기준점들의 대략적인 비율을 나타내며 사전에 설정된다. 본 발명에서는 상기 outlier_ratio를 0.35로 설정하였다.
한편 결과 히스토그램의 각 빈에 대한 계수를 확인하여 사전에 설정한 임계값을 초과하는 계수를 가지는 빈의 계수는 1(True)로 설정하고, 그 이외의 빈에 대한 계수는 0(False)로 설정하여 상기 결과 히스토그램을 이진화할 수 있으며, 상기 기준점간 대응점을 탐색할 때, 상기 이진화한 결과 히스토그램의 빈을 계수를 참조하여 1(True)로 설정된 빈을 검출함으로써 상기 기준점간의 대응점을 탐색할 수 도 있다.
또한 기준점간의 대응점을 탐색한 후, 대응점 기반 이미지 정합 장치(100)는 대응점으로 탐색된 각 기준점을 선택하고 상기 선택한 각 기준점에 이웃하는 복수의 이웃점을 각각 선택한다.
또한 상기 대응점 기반 이미지 정합 장치(100)는 소스 이미지에서 선택한 복수의 이웃점과 타겟 이미지에서 선택한 복수의 이웃점에 대해 산출한 분포를 상호 비교하여, 상기 비교한 결과 동일한 분포를 가지는 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 이웃점간의 대응점을 탐색한다.
이때, 복수의 이웃점에 대한 분포는 복수의 이웃점에 대해 선택 가능한 이웃점의 쌍에 대해 각각 계산한 것으로, 이웃점간에 상호 대응하는 대응점이 탐색되는 경우 최소 2개(즉, 한 쌍의 이웃점) 이상의 이웃점이 대응점으로 탐색된다.
즉, 대응점 기반 이미지 정합 장치(100)는 소스 이미지 및 타겟 이미지에서 선택한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 이웃점간의 대응점을 탐색하는 것이다.
또한 대응점 기반 이미지 정합 장치(100)는 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 소스 이미지와 타겟 이미지에 대해 각각 선택한다.
또한 대응점 기반 이미지 정합 장치(100)는 선택한 각 이미지 영역에 대해서, 탐색한 대응점을 중심으로 소스 이미지와 타겟 이미지를 정합하게 된다. 정합을 수행하는 과정은 도 5를 참조하여 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지를 정합하는 과정을 설명하기 위해 나타낸 도면이다.
*도 5에 도시한 바와 같이 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치(100)는 결과 히스토그램을 통해 각 기준점에 대한 대응점을 탐색한 결과, 각 기준점에 대한 대응점과 각 기준점에 대해 선택한 복수의 이웃점간에 대응하는 적어도 두개 이상의 대응점이 탐색되면, 상기 대응점으로 탐색한 특정 기준점과 이웃점을 포함하는 이미지 영역을 선택한다.
즉 대응점으로 탐색된 기준점의 개수가 사전에 설정한 개수 이상(임계 대응점 개수)이고, 상기 대응점으로 탐색된 기준점 중 특정 기준점과 대응점으로 탐색된 상기 특정 기준점과 이웃하는 적어도 두개 이상의 이웃점으로 형성되는 이미지 영역을 상기 소스 이미지와 타겟 이미지에서 각각 선택하여 상기 탐색된 대응점을 중심으로 상기 소스 이미지와 타겟 이미지를 정합하는 것이다.
상기 임계 대응점 개수는 다음의 [수학식 2]에 따라 설정된다.
[수학식 2]
임계 대응점 개수 = (K) x (1 - 2 x outlier_ratio)
여기서 상기 K와 상기 outlier_ratio는 상기 [수학식 1]의 K와 outlier_ratio와 동일하다.
예를 들어, 도 5에 도시한 것과 같이 대응점으로 탐색되어 소스 이미지에서 선택한 특정 기준점(기준점 #1), 해당 특정 기준점에 이웃하는 이웃점 #2 및 이웃점 #3이 타겟 이미지에서 선택한 특정 기준점(기준점 #1)과 이웃점 #1 및 이웃점 #2를 포함하는 이미지 영역을 각각 선택하여, 상기 대응점으로 탐색된 상기 소스 이미지의 기준점 #1, 이웃점 #2 및 이웃점 #4와 상기 타겟 이미지의 기준점 #1, 이웃점 #1 및 이웃점 #4를 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것이다.
이때, 대응점 기반 이미지 정합 장치(100)는 선택한 이미지 영역에서 탐색된 대응점 중 어느 하나를 우선 선택하여 정합하고, 나머지 대응점을 순차적으로 정합함으로써 상기 정합을 수행한다. 예를 들어, 대응점 기반 이미지 정합 장치(100)가 ICP 방법을 이용하여 상기 정합을 수행하는 경우 특정 대응점(예: 도 4에서 대응점으로 탐색한 소스 이미지의 이웃점 #2와 타겟 이미지의 이웃점 #1)을 선택하여 초기 예측(initial guess) 정보로 활용하여 우선 정합한 후, 나머지 대응점에 대해 상기 정합을 수행하게 된다.
또한 대응점 기반 이미지 정합 장치(100)는 정합한 결과를 검증한다. 검증은 정합한 결과, 정합된 영역에서, 소스 이미지에서 설정한 전체 기준점에 대해 타겟 이미지에서 설정한 기준점과 정합되는 기준점 수에 대한 정합비율이 사전에 설정한 임계값(임계 정합비율)에 대한 초과여부를 판단함으로써 수행된다.
검증 결과, 정합비율이 임계값을 초과하면 대응점 기반 이미지 정합 장치(100)는 상기 정합을 종료하고 정합결과를 출력한다.
한편, 검증 결과, 정합비율이 임계값 이하이면 대응점 기반 이미지 정합 장치(100)는 상기 임계값을 초과할 때까지, 소스 이미지 및 타겟 이미지에서 대응점으로 탐색된 새로운 기준점과 해당 기준점에 이웃하는 적어도 두개 이상의 이웃점을 선택하여 새로운 이미지 영역을 선택함으로써 정합을 반복적으로 수행한다.
즉, 대응점 기반 이미지 정합 장치(100)는 정합비율이 사전에 설정한 임계값을 초과할 때까지, 대응점으로 탐색된 기준점과 기준점에 이웃하는 이웃점을 새로이 선택함으로써 이미지 영역을 변경하면서 정합을 반복적으로 수행하는 것이다.
도 6은 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치의 구성을 나타낸 블록도이다.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 대응점 기반 이미지 정합 장치(100)는 상호 공통된 영역을 포함하는 복수의 이미지를 입력받는 이미지 입력부(110), 상기 입력받은 복수의 이미지를 소스 이미지와 타겟 이미지로 분류하여 설정하는 이미지 설정부(120), 상기 설정한 소스 이미지와 타겟 이미지에 대한 복수의 기준점을 설정하는 기준점 설정부(130), 상기 각 이미지에 설정한 각 기준점에 대한 복수의 이웃점을 각각 선택하는 이웃점 선택부(140), 상기 각 기준점을 중심으로 상기 선택한 각 이웃점에 대한 벡터를 생성하는 벡터 생성부(150), 상기 생성한 벡터를 이용하여 상기 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성부(160), 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여 상기 소스 이미지에 상기 타겟 이미지를 정합하는 이미지 정합부(170) 및 상기 정합한 결과를 출력하는 출력부(180)를 포함하여 구성된다.
상기 이미지 입력부(110)는 카메라, 스캐너, 초음파 촬영장치 등과 같이 다양한 이미지 획득수단을 통해 공통된 영역을 포함하는 복수의 이미지를 입력받는 기능을 수행한다.
또한 이미지 설정부(120)는 상기 입력받은 복수의 이미지 중 정합의 기준이 되는 소스 이미지와 상기 소스 이미지에 정합하기 위한 타겟 이미지를 각각 설정하는 기능을 수행한다.
또한 기준점 설정부(130)는 소스 이미지와 타겟 이미지에 대한 복수의 기준점을 설정하며, 상기 기준점은 상기 소스 이미지와 타겟 이미지의 특징점을 의미함은 상술한 바와 같다.
또한 이웃점 선택부(140)는 각 기준점에 대한 히스토그램을 생성하기 위한 기초가 되는 수단으로써 소스 이미지와 타겟 이미지에 대해 설정한 복수의 각 기준점에 이웃하는 복수의 이웃점을 선택한다.
이때, 각 기준점과 해당 기준점에 각각 이웃하는 복수의 이웃점으로 형성된 이미지 영역이 각각 선택됨은 상술한 바와 같다.
또한 각 기준점에 이웃하는 복수의 이웃점은 각 기준점으로부터 가장 가까운 이웃점이 선택되며 사전에 설정한 개수만큼 선택된다.
*또한 벡터 생성부(150)는 각 기준점을 중심으로 각 기준점에 이웃하는 복수의 이웃점에 대한 벡터를 각각 생성한다.
또한 히스토그램 생성부(160)는 각 기준점과 각 기준점에 이웃하는 복수의 이웃점에 대한 분포를 산출하여 상기 각 기준점에 대한 히스토그램을 생성하는 기능을 수행한다.
이때, 히스토그램 생성부(160)는 벡터 생성부(150)에서 생성한 벡터 각각에 대해서, 사전에 미리 설정한 범위에 따른 내각의 각도와 하나의 길이비율 및 외각의 각도와 또 다른 길이비율의 범위에 해당하는 개수의 분포를 계산함으로써 각 기준점에 이웃하는 복수의 이웃점에 대한 분포를 상기 기준점별로 산출하여 전체 기준점에 대한 히스토그램을 생성한다.
한편, 각 기준점에 대한 히스토그램을 생성하는 것은 도 2 및 도 3을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.
또한 이미지 정합부(170)는 생성한 각 기준점에 대한 히스토그램을 이용하여 소스 이미지와 타겟 이미지간의 대응점을 탐색하고, 상기 탐색한 대응점을 기반으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 기능을 수행하는 것으로, 상기 이미지 정합부(170)의 상세한 구성은 도 7을 참조하여 설명하도록 한다.
또한 출력부(180)는 이미지 정합부(170)에서 최종적으로 정합한 결과를 디스플레이(미도시), 사용자 단말(미도시) 등으로 출력하는 기능을 수행한다.
도 7은 본 발명의 일 실시예에 따른 이미지 정합부의 구성을 나타낸 블록도이다.
도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 이미지 정합부(170)는 히스토그램 생성부(160)를 통해 생성한 소스 이미지에서 설정한 각 기준점에 대한 히스토그램과 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램을 이용하여 결과 히스토그램을 생성하는 결과 히스토그램 생성부(171), 상기 생성한 결과 히스토그램을 이용하여 상기 소스 이미지와 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하는 대응점 탐색부(172), 상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 상기 소스 이미지와 타겟 이미지에서 각각 선택하는 영역 선택부(173) 및 상기 선택한 이미지 영역에 포함된 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 정합부(174) 및 상기 정합한 결과를 검증하는 정합결과 검증부(175)를 포함하여 구성된다.
결과 히스토그램 생성부(171)는 히스토그램 생성부(160)에서 생성한 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 상기 소스 이미지 및 타겟 이미지에 설정한 각 기준점이 빈을 통해 상호 매칭되도록 하는 결과 히스토그램을 생성한다. 한편 결과 히스토그램을 생성하는 것은, 도 4를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
또한 대응점 탐색부(172)는 결과 히스토그램 생성부(171)에서 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 소스 이미지에서 설정한 기준점과 타겟 이미지에서 설정한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색한다.
또한 영역 선택부(173)는 대응점으로 탐색한 특정 기준점과 상기 특정 기준점에 이웃하는 적어도 두개 이상의 이웃점으로 형성되는 이미지 영역을 소스 이미지와 타겟 이미지에서 각각 선택한다.
또한 정합부(174)는 선택한 각 이미지 영역에 포함되는 탐색한 대응점을 중심으로 소스 이미지와 타겟 이미지를 상호 정합한다. 한편 정합부(174)는 기준점에 대해 탐색한 대응점의 개수가 사전에 설정한 개수 미만인 경우에는 소스 이미지와 타겟 이미지를 정합할 필요성이 없는 것으로 판단(즉, 공통된 영역이 거의 없거나 아예 없는 것으로 판단)하여 정합을 수행하지 않는다.
또한 정합결과 검증부(175)는 정합한 결과에 따라, 정합된 영역에서 소스 이미지에서 설정한 전체 기준점에 대해서, 타겟 이미지에서 설정한 기준점과 정합되는 정합비율이 사전에 설정한 임계값을 초과하는 경우, 상기 소스 이미지와 타겟 이미지에 대한 정합을 최종 종료하도록 하여 정합한 결과를 출력부(180)를 통해 출력하도록 한다.
한편, 정합한 결과, 정합비율이 사전에 설정한 임계값 이하인 경우, 이미지 정합부(170)는 사전에 설정한 임계값을 초과할 때까지, 대응점으로 탐색된 또 다른 기준점을 각각 선택하여 소스 이미지와 타겟 이미지에 대해 선택한 각 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행한다.
도 8은 본 발명의 일 실시예에 따른 대응점을 기반으로 이미지를 정합하는 절차를 나타낸 흐름도이다.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 대응점을 기반으로 이미지를 정합하는 절차는 우선, 대응점 기반 이미지 정합 장치(100)는 공통된 영역을 포함하는 복수의 이미지를 입력받는 이미지 입력 단계를 수행한다(S110).
복수의 이미지는 사용자로부터 입력되거나, 카메라, 스캐너 등의 이미지 획득수단을 통해 입력될 수 있다.
다음으로 대응점 기반 이미지 정합 장치(100)는 입력받은 복수의 이미지에서 정합할 기준이 되는 소스 이미지와 상기 소스 이미지와 정합할 타겟 이미지를 설정하는 이미지 설정 단계를 수행한다(S120).
다음으로 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지에 대한 복수의 기준점을 각각 설정하는 기준점 설정 단계를 수행한다(S130).
복수의 기준점은 이미지로부터 특징점을 설정하기 위한 다양한 알고리즘(예: SIFT 알고리즘)을 이용하여 자동으로 설정되거나 사용자에 의해 설정될 수 있음은 상술한 바와 같으면, 본 발명에서는 기준점을 설정하는 것에는 그 제한을 두지 않는다.
다음으로 대응점 기반 이미지 정합 장치(100)는 소스 이미지와 타겟 이미지에서 설정한 각 기준점과 상기 각 기준점에 이웃하는 복수의 이웃점을 각각 선택하여 상기 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성 단계를 수행한다(S130).
각 기준점에 대한 히스토그램은 각 기준점에 이웃하는 복수의 이웃점에 대해 산출한 분포를 이용하여 생성됨은 상술한 바와 같다.
이때, 대응점 기반 이미지 정합 장치(100)는 상기 각 기준점에 대한 히스토그램을 생성하기 위해 각 기준점에 대해 사전에 설정한 개수만큼 이웃하는 복수의 이웃점을 선택하는 이웃점 선택 단계 및 상기 선택한 적어도 하나 이상의 각 기준점을 중심으로 상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성 단계를 더 수행한다.
또한 대응점 기반 이미지 정합 장치(100)는 각 기준점에 대한 히스토그램을 이용하여 소스 이미지와 상기 타겟 이미지에서 상호 대응하는 대응점을 탐색하고, 상기 대응점을 탐색한 결과에 따라 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합 단계를 수행한다. 이미지 정합 단계는 도 9를 참조하여 상세히 설명하도록 한다.
한편, 정합한 후, 또 다른 타겟 이미지가 남아 있는 경우, 상기 정합한 결과를 상기 소스 이미지로 설정하여, 상기 또 다른 타겟 이미지를 모두 정합할 때까지 상기 S150 단계를 반복적으로 수행한다.
도 9는 본 발명의 일 실시예에 따른 이미지 정합 단계에 대한 세부적인 절차를 나타낸 흐름도이다.
도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 소스 이미지와 타겟 이미지를 정합하기 위한 세부적인 절차는 우선, 이미지 정합 단계는 소스 이미지에 설정한 각 기준점에 대한 히스토그램과 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램을 이용하여 결과 히스토그램을 생성하는 결과 히스토그램 생성 단계를 수행한다(S210).
소스 이미지에서 설정한 각 기준점과 타겟 이미지에서 설정한 각 기준점은 결과 히스토그램을 구성하는 각 빈에 의해 상호 매칭되며, 상기 결과 히스토그램을 생성하는 것은 도 4를 참조하여 설명하였으므로 더 이상의 상세한 설명한 생략하도록 한다.
다음으로 이미지 정합 단계는 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하여 상기 검출한 빈을 통해 매칭되는 소스 이미지에서 설정한 기준점과 타겟 이미지에서 설정한 기준점을 대응점으로 검출하는 단계(S220)와 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출하는 대응점 검출 단계를 수행한다(S230).
이때, 이미지 정합 단계는 기준점을 대응점으로 검출한 결과 사전에 설정한 개수를 초과하지 않으면 소스 이미지와 타겟 이미지를 정합하지 않음은 상술한 바와 같다.
다음으로 이미지 정합 단계는 상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 선택하는 영역 선택 단계를 수행한다(S240).
즉, 이미지 정합 단계는 상기 대응점으로 탐색한 기준점 중 특정 기준점과 해당 특정 기준점에 이웃하는 적어도 두개 이상의 이웃점으로 형성되는 이미지 영역을 소스 이미지와 타겟 이미지에서 각각 선택하는 것이다.
다음으로 이미지 정합 단계는 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 소스 이미지와 타겟 이미지를 정합하는 정합 단계를 수행한다(S250).
즉, 정합 단계는 선택한 각 이미지 영역에 포함된 적어도 하나 이상의 대응점을 중심으로 소스 이미지와 타겟 이미지를 정합하는 것이다.
다음으로 이미지 정합 단계는 소스 이미지와 타겟 이미지를 정합한 결과를 검증하는 정합결과 검증단계를 수행한 결과, 상기 정합한 결과, 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대한 정합비율이 사전에 설정한 임계값을 초과하는 경우(S260), 소스 이미지와 타겟 이미지에 대한 정합을 종료하고 상기 정합한 결과를 출력하는 출력 단계를 수행한다. 한편 상기 정합비율에 대한 것은 도 4 및 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
또한 이미지 정합 단계는 정합결과 검증단계를 수행한 결과, 정합비율이 사전에 설정한 임계값 이하 이면(S260), 상기 이미지 정합 단계는 상기 선택한 각 이미지 영역을 변경하는 단계를 수행(S261)하는 것을 포함하여 상기 정합비율이 상기 사전에 설정한 임계값을 초과할 때 까지 S250 및 S261단계를 반복적으로 수행한다.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
본 발명은 대응점 기반 이미지 정합 장치 및 그 방법은 상호 공통된 영역을 포함하는 복수의 이미지에 설정한 복수의 각 기준점별로 각각 이웃하는 복수의 이웃점에 대한 분포를 산출하여 각 기준점에 대한 히스토그램을 생성하고, 상기 생성한 각 기준점에 대한 히스토그램을 이용하여 상기 복수의 이미지에서 상호 대응하는 대응점을 탐색함으로써 상기 복수의 이미지를 정밀하게 정할 수 있다.

Claims (14)

  1. 상호 공통영역을 포함하는 소스 이미지와 타겟 이미지에 각각 설정한 복수의 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성부; 및
    상기 생성한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여, 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합부;를 포함하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  2. 청구항 1에 있어서,
    상기 이미지 정합 장치는,
    상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 이웃점 선택부; 및
    상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성부;를 더 포함하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  3. 청구항 2에 있어서,
    상기 히스토그램 생성부는,
    상기 생성한 벡터 각각에서, 선택 가능한 모든 각 벡터 쌍에 대한 내각의 각도와 해당 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 또 다른 길이비율을 계산하여 각 해당하는 빈의 범위에 따라 분포를 산출하여, 상기 각 기준점에 대한 히스토그램을 생성하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  4. 청구항 3에 있어서,
    상기 히스토그램의 행은, 상기 선택한 기준점의 수만큼 생성되고,
    상기 히스토그램의 열은, 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수를 곱한 수만큼 생성되며,
    상기 생성된 히스토그램의 각 행과 열을 구성하는 각 빈(bin)의 계수는, 상기 계산한 내각의 각도와 상기 하나의 길이비율 및 상기 외각의 각도와 상기 또 다른 길이비율에 따라 상기 설정한 각도의 범위 및 길이비율의 범위에 해당하는 개수를 누적하여 채우는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  5. 청구항 3에 있어서,
    상기 이미지 정합부는,
    상기 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 상기 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 결과 히스토그램을 생성하는 결과 히스토그램 생성부;
    상기 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 상기 소스 이미지에서 설정한 기준점과 상기 타겟 이미지에서 설정한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 대응점을 탐색하는 대응점 탐색부; 및
    상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 각각 선택하는 영역 선택부;를 더 포함하며,
    상기 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  6. 청구항 5에 있어서,
    상기 이미지 정합부는,
    상기 정합한 결과, 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대해서 상기 타겟 이미지에서 설정한 기준점과 정합되는 기준점의 수에 대한 정합비율이 사전에 설정한 임계값을 초과할 때까지, 상기 선택한 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행하는 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  7. 청구항 1 내지 6 중 어느 하나의 항에 있어서,
    상기 소스 이미지 및 타겟 이미지를 포함한 이미지는, 모공 이미지인 것을 특징으로 하는 대응점 기반 이미지 정합 장치.
  8. 상호 공통영역을 포함하는 소스 이미지와 타겟 이미지에 각각 설정한 복수의 각 기준점에 대한 히스토그램을 생성하는 히스토그램 생성 단계; 및
    상기 생성한 히스토그램을 이용하여 상기 소스 이미지와 상기 타겟 이미지에 대해 상호 대응하는 대응점을 탐색하여, 상기 소스 이미지와 상기 타겟 이미지를 정합하는 이미지 정합 단계;를 포함하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  9. 청구항 8에 있어서,
    상기 이미지 정합 방법은,
    상기 각 기준점에 이웃하는 복수의 이웃점을 선택하는 이웃점 선택 단계; 및
    상기 선택한 복수의 이웃점에 대한 벡터를 각각 생성하는 벡터 생성 단계;를 더 포함하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  10. 청구항 9에 있어서,
    상기 히스토그램 생성 단계는,
    상기 생성한 벡터 각각에서, 선택 가능한 모든 각 벡터 쌍에 대한 내각의 각도와 해당 벡터 쌍에 대한 하나의 길이비율 및 외각의 각도와 또 다른 길이비율을 계산하여 각 해당하는 빈의 범위에 따라 분포를 산출하여, 상기 각 기준점에 대한 히스토그램을 생성하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  11. 청구항 10에 있어서,
    상기 히스토그램의 행은, 상기 선택한 기준점의 수만큼 생성되고,
    상기 히스토그램의 열은, 사전에 설정된 각도의 범위에 대한 구간의 수와 상기 길이비율의 범위에 대한 구간의 수를 곱한 수만큼 생성되며,
    상기 생성된 히스토그램의 각 행과 열을 구성하는 각 빈(bin)의 계수는, 상기 계산한 내각의 각도와 상기 하나의 길이비율 및 상기 외각의 각도와 상기 또 다른 길이비율에 따라 상기 설정한 각도의 범위 및 길이비율의 범위에 해당하는 개수를 누적하여 채우는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  12. 청구항 10에 있어서,
    상기 이미지 정합 단계는,
    상기 소스 이미지에서 설정한 각 기준점에 대한 히스토그램의 제곱근과 상기 타겟 이미지에서 설정한 각 기준점에 대한 히스토그램의 행과 열을 전치시킨 결과의 제곱근을 곱하여 결과 히스토그램을 생성하는 결과 히스토그램 생성 단계;
    상기 생성한 결과 히스토그램에서 사전에 설정한 임계값을 초과하는 계수를 가지는 빈을 검출하고, 상기 검출한 빈을 통해 매칭되는 상기 소스 이미지에서 설정한 기준점과 상기 타겟 이미지에서 설정한 기준점을 대응점으로 검출하고, 상기 대응점으로 검출한 각 기준점에 각각 이웃하는 복수의 이웃점에 대해 산출한 각도와 길이비율에 대한 분포가 동일한 적어도 두개 이상의 이웃점을 대응점으로 검출함으로써 상기 대응점을 탐색하는 대응점 탐색 단계; 및
    상기 탐색한 적어도 하나 이상의 대응점을 포함하는 이미지 영역을 각각 선택하는 영역 선택 단계;를 더 포함하며,
    상기 선택한 각 이미지 영역에 대해서, 상기 탐색한 대응점을 중심으로 상기 소스 이미지와 상기 타겟 이미지를 정합하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  13. 청구항 12에 있어서,
    상기 이미지 정합 단계는,
    상기 정합한 결과, 정합된 영역에서, 상기 소스 이미지에서 설정한 전체 기준점에 대해서 상기 타겟 이미지에서 설정한 기준점과 정합되는 기준점의 수에 대한 정합비율이 사전에 설정한 임계값을 초과할 때까지, 상기 선택한 이미지 영역을 변경하면서 상기 정합을 반복적으로 수행하는 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
  14. 청구항 8 내지 13 중 어느 하나의 항에 있어서,
    상기 소스 이미지 및 타겟 이미지를 포함한 이미지는, 모공 이미지인 것을 특징으로 하는 대응점 기반 이미지 정합 방법.
PCT/KR2021/004778 2021-03-31 2021-04-16 대응점 기반 이미지 정합 장치 및 그 방법 Ceased WO2022211174A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210041853A KR102624308B1 (ko) 2021-03-31 2021-03-31 대응점 기반 이미지 정합 장치 및 그 방법
KR10-2021-0041853 2021-03-31

Publications (1)

Publication Number Publication Date
WO2022211174A1 true WO2022211174A1 (ko) 2022-10-06

Family

ID=83456380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004778 Ceased WO2022211174A1 (ko) 2021-03-31 2021-04-16 대응점 기반 이미지 정합 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR102624308B1 (ko)
WO (1) WO2022211174A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150286855A1 (en) * 2012-11-02 2015-10-08 Zwipe AS a corporation Fingerprint matching algorithm
KR20160037305A (ko) * 2014-09-26 2016-04-06 창신정보통신(주) 지문 인식을 이용한 사용자 인증 방법
KR20160075509A (ko) * 2013-09-16 2016-06-29 아이베리파이 인크. 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
KR20170019359A (ko) * 2014-06-19 2017-02-21 퀄컴 인코포레이티드 국부적 적응형 히스토그램 등화
KR20170088721A (ko) * 2016-01-25 2017-08-02 조선대학교산학협력단 지문인식을 위한 그래프 기반 블록-특징 표현 방법 및 이를 이용한 지문인식 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106713A (ja) 2012-11-27 2014-06-09 Univ Of Tsukuba プログラム、方法、及び情報処理装置
KR101937859B1 (ko) 2017-09-06 2019-01-11 단국대학교 산학협력단 360도 이미지에서의 공통 객체 탐색 시스템 및 방법
KR102607517B1 (ko) * 2018-07-10 2023-11-30 레이던 컴퍼니 3d 포인트 클라우드에서 합성 이미지 생성

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150286855A1 (en) * 2012-11-02 2015-10-08 Zwipe AS a corporation Fingerprint matching algorithm
KR20160075509A (ko) * 2013-09-16 2016-06-29 아이베리파이 인크. 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
KR20170019359A (ko) * 2014-06-19 2017-02-21 퀄컴 인코포레이티드 국부적 적응형 히스토그램 등화
KR20160037305A (ko) * 2014-09-26 2016-04-06 창신정보통신(주) 지문 인식을 이용한 사용자 인증 방법
KR20170088721A (ko) * 2016-01-25 2017-08-02 조선대학교산학협력단 지문인식을 위한 그래프 기반 블록-특징 표현 방법 및 이를 이용한 지문인식 시스템

Also Published As

Publication number Publication date
KR20220135760A (ko) 2022-10-07
KR102624308B1 (ko) 2024-01-15

Similar Documents

Publication Publication Date Title
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2018143550A1 (ko) 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
WO2012115332A1 (ko) 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
WO2022103121A1 (en) Electronic device for estimating camera illuminant and method of the same
WO2022080844A1 (ko) 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
WO2018201638A1 (zh) 基于图像识别的信息采集方法、移动终端及存储介质
WO2017099427A1 (ko) 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2018117353A1 (ko) 홍채와 공막의 경계선 검출 방법
WO2021091022A1 (ko) 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
WO2023128113A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물의 실제 크기를 추정할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2022092451A1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
WO2023128112A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2022025690A1 (ko) 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
WO2013077522A1 (en) Apparatus and method for hierarchical stereo matching
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2018105830A1 (ko) 동공 중심 검출 방법
WO2022092511A1 (ko) 3차원 맵을 생성하는 방법 및 생성된 3차원 맵을 이용하여 사용자 단말의 포즈를 결정하는 방법
WO2022181945A1 (ko) 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2020045903A1 (ko) Cnn을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치
WO2019139303A1 (ko) 영상 합성 방법 및 장치
WO2021071118A1 (ko) 전경 분리 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21935288

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21935288

Country of ref document: EP

Kind code of ref document: A1