WO2022181945A1 - 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치 - Google Patents

이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치 Download PDF

Info

Publication number
WO2022181945A1
WO2022181945A1 PCT/KR2021/018862 KR2021018862W WO2022181945A1 WO 2022181945 A1 WO2022181945 A1 WO 2022181945A1 KR 2021018862 W KR2021018862 W KR 2021018862W WO 2022181945 A1 WO2022181945 A1 WO 2022181945A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference image
level
feature
data
Prior art date
Application number
PCT/KR2021/018862
Other languages
English (en)
French (fr)
Inventor
권기선
도안후노이
Original Assignee
(주)엠브이텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠브이텍 filed Critical (주)엠브이텍
Publication of WO2022181945A1 publication Critical patent/WO2022181945A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Definitions

  • the present invention relates to a pattern matching method using an image and a pattern matching apparatus using the same, and more particularly, to a pattern matching method using an image that can check whether a pattern is similar at a faster speed and with high accuracy, and pattern matching using the same It's about the device.
  • a pattern of an object is detected using the pattern matching method using the image
  • a plurality of feature points in the target image is obtained by photographing an object having periodic patterns through an optical device. , and matching the target image with the reference image through these feature points to detect whether the pattern is similar or not.
  • the existing pattern matching method using an image has a problem in that when detecting whether a pattern is similar to a target image having a complex pattern with a large number of feature points, the data processing amount increases and processing time increases, and the pattern shape
  • the accuracy is lowered.
  • a pattern matching method using an image and a pattern matching apparatus using the same specifically, a pattern matching method using an image capable of detecting the similarity of a pattern with high accuracy at a fast processing speed, and a pattern matching apparatus using the same are provided want to
  • the present invention provides a step of receiving a reference image, setting the input reference image as a first level, extracting feature points at a preset interval from the reference image, and extracting features of each of the extracted feature points Acquiring data, when the number of extracted feature points satisfies a preset criterion, reducing the input reference image according to a magnification of the preset criterion, and setting it to a second level, and the size of the reference image of the second level pattern matching using an image, comprising the step of extracting feature points at a preset interval from the second level reference image and acquiring feature data of each of the extracted feature points if the size of the preset criteria is satisfied by checking the provide a way
  • a candidate image is obtained by extracting feature points of an interval, feature data of each feature point of the obtained candidate image is obtained, and whether the obtained feature data and the feature data of a reference image corresponding to the Nth level are used to determine whether or not similarity is obtained step, if it is confirmed that the N-th level candidate image and the N-th level reference image are similar, the reduced target image is enlarged according to a preset magnification, and the enlarged target image is converted to the (N-1) level obtaining a candidate image by extracting feature points at a preset interval from the setting step and the target image set to the (N-1)th level,
  • an input unit for receiving a reference image and a target image.
  • a storage unit for storing the reference image and the target image input by the input unit, an output unit for outputting a result of determining whether the reference image and the target image are similar, and a reference image and a candidate image included in the target image according to a predetermined setting and a control unit for obtaining each characteristic data and determining whether similarity is achieved using characteristic data of the reference image and characteristic data of the candidate image, wherein the control unit reduces the size of the reference image in stages within a range that satisfies a preset criterion
  • a pattern matching device for setting the level of the reference image for each reduced size and acquiring characteristic data of the reference image for each level.
  • the area of the reference image is reduced in stages within a range that satisfies a preset criterion, and a level is set for each reduced area. And, it is possible to extract, obtain, and store the feature data of the reference image for each level.
  • the input target image is reduced by a magnification corresponding to the reference image of the level having the smallest size image among the reference images stored for each level,
  • the reduced target image is enlarged at a ratio corresponding to the reference image of the next level, and the reference image of the next level and the candidate image in the target image It is possible to determine whether it is the same or similar using the characteristic data of Defects in images can be detected quickly and accurately.
  • the pattern matching method using an image determines whether the characteristic data of the reference image and the characteristic data of the candidate image included in the target image are the same or similar, Whether the pattern matches or not can be easily detected.
  • FIG. 1 is a flowchart illustrating a process of acquiring feature data of a reference image in a pattern matching method using an image according to an embodiment of the present invention.
  • FIGS. 2 and 3 are diagrams illustrating a reference image setting and feature data acquisition process according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a process of detecting a defect in a target image by comparing characteristic data of a reference image with characteristic data of a candidate image included in the target image in a pattern matching method using an image according to an embodiment of the present invention; did it
  • 5 and 6 are diagrams illustrating a process of matching a reference image and a candidate image according to an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating the configuration of a pattern matching apparatus according to an embodiment of the present invention.
  • expressions such as “or” and “at least one” may indicate one of the words listed together, or a combination of two or more.
  • FIGS. 2 and 3 are reference diagrams according to an embodiment of the present invention. It shows the process of image setting and feature data acquisition.
  • the present embodiment is not necessarily limited thereto, and it is detected whether the pattern of the reference image and the candidate image matches by determining whether the reference image and the candidate image included in the target image are the same or similar according to the application object. It is obvious that it can be applied to
  • the pattern matching method using an image includes a process of acquiring feature data from a reference image indicating a defect, and comparing the acquired feature data of the reference image with feature data of a candidate image included in the target image to obtain a standard It may include the process of checking whether an image and a candidate image are identical or similar, and detecting a defect in the target image through this.
  • a reference image representing a defect may be first input ( S110 ).
  • the input reference image may be set to the first level, feature points of a preset interval may be extracted from the reference image, and feature data for each of the extracted feature points may be obtained ( S120 ).
  • the input reference image may be set as a first level, and feature points may be extracted at predetermined intervals along the boundary of the input reference image.
  • a feature vector in a direction perpendicular to the boundary of the reference image may be extracted from each feature point formed in the reference image.
  • a feature vector G in a direction perpendicular to the tangent to each feature point of the reference image may be extracted, and from the extracted feature vector G, a feature unit vector in the X-axis direction, that is, an X component feature unit vector ( ) and the feature unit vector in the Y-axis direction, that is, the Y component feature unit vector ( ) can be extracted.
  • the value of the X-component feature unit vector becomes 0, so the Y-component feature unit vector ( ) exists, and since the value of the Y component feature unit vector becomes 0 at each feature point formed on the boundary line in the Y-axis direction, the feature unit vector in the X-axis direction ( ) only exist.
  • a feature vector obtained from each feature point formed in the reference image may be acquired and stored as feature data.
  • the input reference image may be reduced according to a magnification of the preset criterion, and this may be set to a second level (S140).
  • the reference image of the first level is reduced according to a preset magnification and set as the reference image of the second level so as to generate a reference image having a smaller number of feature points compared to the reference image of the first level, which is the original size.
  • the reference image obtained by reducing the height and width of the reference image set to the first level by 1/2 size (the area is reduced to 1/4 size) is converted to the second level. It shows that it is set to .
  • the feature points can be extracted along the boundary of the reference image of the second level at the same interval as the feature point interval of the reference image of the first level have
  • the feature points may be extracted with the interval value of 5 even from the reference image of the second level.
  • a feature vector specifying a positional relationship for each feature point formed along the boundary of the reference image can be extracted, and the feature vector extracted for each feature point is obtained as feature data can be saved.
  • the process of setting the reference image of the next level by reducing the reference image and obtaining the characteristic data is repeated until the number of characteristic points of the preset reference and the width or height of the image are satisfied to the extent that each level is A reference image may be set, and feature data of the reference image for each level may be acquired and stored.
  • reference images for each level from the first level to the fourth level are set, and feature data for the reference image for each level may be acquired and stored.
  • the reference image of the second level is reduced according to the magnification of the preset reference (eg, the reference image of the second level
  • the height and width are each reduced by 1/2, that is, the area is reduced by 1/4) and set to the third level.
  • Feature data for each feature point may be obtained from the reference image of the level.
  • the reference image of the third level is reduced according to the magnification of the preset reference (eg, the height of the reference image of the third level) and the width are reduced by 1/2, that is, the area is reduced by 1/4) and set to the fourth level. It is possible to obtain feature data for each feature point from the reference image of .
  • the height and width of the reference image are reduced as the level increases, as an example, if the height or width of the reference image of the fourth level does not satisfy the preset criterion, from the first level to the third level, which is the previous level Only feature data of the reference image for each level may be acquired and stored (S170).
  • the third level in the first level Only feature data of the reference image for each level may be stored up to the level (S170).
  • the characteristic data is obtained from the reference image according to a predetermined setting and stored, but the area of the reference image is reduced in stages within a range that satisfies the preset criterion, and the level is set for each reduced area, and the level is set. It is possible to extract and store the feature data of the reference image for each.
  • FIG. 4 is a flowchart illustrating a process of detecting a defect in a target image by comparing characteristic data of a reference image with characteristic data of a candidate image included in the target image in a pattern matching method using an image according to an embodiment of the present invention
  • 5 and 6 are diagrams illustrating a process of matching a reference image and a candidate image according to an embodiment of the present invention.
  • a candidate image that is the same as the reference image or similar to a certain part or more may be detected as a defect.
  • a level for a reference image and feature data corresponding to a reference image for each level may be read ( S210 ).
  • the target image is received, the largest Nth level among the levels for the identified reference image is checked, the input target image is reduced according to the magnification corresponding to the checked Nth level, and the reduced target image is removed. It can be set to N level (S220).
  • the input target image is set to correspond to the reference image of the fourth level. , that is, it may be reduced to 1/16, and the reduced target image may be set as the fourth level.
  • a candidate image is obtained by extracting feature points at a preset interval from the reduced target image, and feature data is obtained from the feature points of the obtained candidate image (S230), and the obtained feature data and a reference image corresponding to the N-th level Whether the candidate image and the reference image are the same or similar may be determined using the feature data of ( S240 ).
  • the feature points for the candidate image in the target image of the fourth level may be extracted at the same interval as the feature point spacing of the reference image of the fourth level.
  • intervals between the reference images of the third level, the second level, and the first level, which will be described later, and the feature points respectively extracted from the target image may also be set to the same interval.
  • a point where one of a line and a line, a line and a surface, and a surface and a surface meet in a shape included in the target image is defined as a feature point, and the feature point is extracted from the target image, and the extracted feature points It is possible to obtain a candidate image consisting of
  • the extracted feature vector can be acquired and stored as feature data, and the process of acquiring such feature data is the same as the process of acquiring feature data from the reference image can proceed.
  • the process may include rotating the feature data extracted from the reference image by a predetermined angle or adjusting the size within a predetermined range, and matching the characteristic data of the reference image with the characteristic data of the corresponding candidate image. have.
  • the reference image may be rotated by a predetermined angle, and, as an example, the feature data extracted from the reference image may be rotated by a predetermined angle, and the reference image may be compared with the candidate image.
  • 4th level reference image It is rotated at intervals of 16 degrees corresponding to .
  • X component feature unit vector extracted from the feature points of the reference image is the Y component feature unit vector extracted from the feature points of the reference image
  • Y component feature unit vector extracted from the feature points of the reference image is the X component feature unit vector extracted from the feature points of the candidate image
  • the reduced target image is enlarged according to the preset magnification of the reference, and the enlarged target image is enlarged. It can be set to the (N-1)th level (S250).
  • the fourth level target image is matched with the third level reference image It is possible to enlarge the magnification to the desired magnification, and set the enlarged target image to the third level.
  • the target image of the fourth level may be enlarged at a magnification corresponding to the reference image of the third level and set to the third level.
  • a candidate image in the target image of the third level whose size is increased compared to the level may be matched with the reference image of the third level.
  • a candidate image is obtained by extracting feature points at a preset interval from the target image set to the (N-1)th level, and feature data is obtained from the feature points of the obtained candidate image (S260), and the obtained feature data and the second It may be determined whether they are the same or similar by using the feature data of the reference image corresponding to the (N-1) level (S270).
  • a candidate image is obtained by extracting a feature point from the target image of the third level at the same interval as the feature point interval of the reference image of the third level, and a feature vector is extracted from each feature point of the obtained candidate image and obtained as feature data and can be saved.
  • the reference image is rotated by a predetermined angle or the size is adjusted within a predetermined range
  • the characteristic data extracted from the reference image is rotated by a predetermined angle or the size is adjusted within a predetermined range. While adjusting, the characteristic data of the corresponding reference image may be matched with the characteristic data of the candidate image in the target image of the third level.
  • the reference image of the third level It is rotated at intervals of 8 degrees corresponding to .
  • the candidate image included in the target image of the third level is the same as or similar to the reference image of the third level
  • the enlarged target image can be set to the second level, and a candidate image is obtained by extracting feature points from the target image of the second level and extracting a feature vector from each feature point of the obtained candidate image and storing it as feature data.
  • the reference image of the second level By rotating at intervals of 4 degrees corresponding to , and adjusting the size of the reference image, the characteristic data of the reference image may be matched with the characteristic data of the candidate image included in the corresponding second-level target image.
  • the target image of the second level is enlarged by a magnification corresponding to the reference image of the first level,
  • the target image can be set as the first level, which is the final level, and a candidate image is obtained by extracting feature points from the target image of the first level, and a feature vector is extracted from each feature point of the obtained candidate image to obtain it as feature data, can be saved
  • the reference image of the first level By rotating at an interval of 2 degrees corresponding to , and adjusting the size of the reference image, the characteristic data of the reference image may be matched with the characteristic data of the candidate image included in the corresponding first-level target image.
  • the characteristic data obtained from the corresponding candidate image and the characteristic data obtained from the reference image of the first level are combined with the following [Equation 2] ] to determine whether they are the same or similar.
  • X component feature unit vector extracted from the feature points of the reference image is the Y component feature unit vector extracted from the feature points of the reference image
  • Y component feature unit vector extracted from the feature points of the reference image is the X component feature unit vector extracted from the feature points of the candidate image
  • a feature vector in the (0,0) to (-2,-2) direction is defined in the XY coordinate axis
  • a feature vector with a size of (0,0) to (4,4) squared can be derived.
  • the feature vector of (0,0) to (-4,-4) can be extracted.
  • Matching may be determined by mutually calculating the X component feature unit vector and the Y component feature unit vector of the extracted feature vector.
  • the input target image has the smallest size among the reference images stored for each level.
  • the minimum size is determined using the characteristic data of the reference image and the candidate image in the target image to determine whether similarity is achieved, resulting in quick determination with less data can be printed out.
  • the reduced N-th level target image is enlarged by a magnification corresponding to the (N-1)-th level reference image.
  • FIG. 7 is a block diagram showing the configuration of the pattern matching apparatus 100 according to an embodiment of the present invention.
  • the pattern matching apparatus 100 may include an input unit 110 , a storage unit 120 , an output unit 130 , and a control unit 140 .
  • the input unit 110 may receive a reference image and a target image.
  • the storage unit 120 may store the reference image and the target image input by the input unit 110 , and may be formed of a storage medium such as a server or a memory, for example.
  • the storage unit 120 may store a reference image and a target image set for each level by the control unit 140 .
  • the output unit 130 may output a result of determining whether the reference image processed by the controller 140 is similar to a candidate image in the target image.
  • the candidate image included in the target image is the same as or similar to the reference image, it is possible to detect that the target image has a defect.
  • the controller 140 may store the reference image received through the input unit 110 for each level.
  • control unit 140 acquires and stores feature data according to a predetermined setting from the reference image, and sets the level for each reduced area by gradually reducing the area of the reference image within a range that satisfies a preset criterion, It is possible to extract and store feature data of the reference image for each level.
  • controller 140 may detect a defect in the target image by comparing the characteristic data of the reference image with the characteristic data of the candidate image included in the target image.
  • the controller 140 reduces the target image received by the input unit 110 to a magnification corresponding to the reference image of the N-th level having the smallest size among the reference images stored for each level, and sets the N-th level. and whether the reference image reduced to the minimum size and the characteristic data of the candidate image in the target image are used to determine whether they are the same or similar.
  • the detection result can be quickly output through the output unit.
  • the reduced N-th level target image is enlarged by a magnification corresponding to the (N-1)-th level reference image.
  • it is possible to determine whether similarity is achieved by using the feature data of the enlarged reference image and the candidate image in the target image.
  • a pattern matching method using an image according to an embodiment of the present invention and a pattern matching apparatus using the same can detect whether a pattern is similar with high accuracy at a fast processing speed, so that image similarity inspection, textile fabric defect inspection, wafer Alternatively, it can be effectively used in various industrial fields that use images, such as electronic circuit inspection.

Abstract

본 발명은 기준 이미지를 입력 받는 단계, 입력된 기준 이미지를 제1 레벨로 설정하고, 기준 이미지로부터 기 설정된 간격의 특징점을 추출하며, 추출된 특징점 각각의 특징 데이터를 획득하는 단계, 추출된 특징점의 수가 기 설정된 기준을 만족하는 경우, 입력된 기준 이미지를 기 설정된 기준의 배율에 따라 축소하고, 제2 레벨로 설정하는 단계 및 제2 레벨의 기준 이미지의 크기를 확인하여, 기 설정된 기준의 크기를 만족하는 경우, 제2 레벨의 기준 이미지로부터 기 설정된 간격의 특징점을 추출하고, 추출된 특징점 각각의 특징 데이터를 획득하는 단계를 포함하는 이미지를 활용한 패턴 매칭방법을 제공한다.

Description

이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치
본 발명은 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치에 관한 것으로서, 더욱 상세하게는 보다 빠른 속도로 정확도 높게 패턴의 유사 여부를 확인할 수 있는 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치에 관한 것이다.
일반적으로, 검사 대상물에서 기준 이미지와 유사한 패턴을 검출하는 방법으로는, 검사 대상물을 촬영한 이미지를 기 설정된 기준 이미지와 매칭시켜 비교한 후 유사 패턴을 검출하는 이미지를 활용한 패턴 매칭방법이 널리 이용되고 있다.
특히, 기판의 얼라인마크와 같은 정밀한 패턴을 갖는 대상물의 경우, 대상물을 촬영한 이미지에서 패턴을 추출하여 기준 이미지의 패턴과의 유사 여부를 검출하는 방법이 쉽고 정확하다는 장점으로 인해 최근 각광을 받고 있다.
일 예로써, 상기의 이미지를 활용한 패턴 매칭방법을 이용하여 대상물의 패턴을 검출하는 경우, 주기적인 패턴들을 갖는 대상물을 광학 장치를 통해 촬영하여 대상 이미지를 획득한 후, 대상 이미지에서 복수의 특징점들을 추출하고, 이 특징점들을 통해서 대상 이미지를 기준 이미지와 매칭시켜서 패턴의 유사 여부를 검출할 수 있다.
그러나, 기존의 이미지를 활용한 패턴 매칭방법은, 특징점의 수가 많은 복잡한 패턴을 갖는 대상 이미지와의 패턴 유사 여부를 검출하는 경우, 데이터 처리량이 증가하여 처리 시간이 증가하는 문제가 있고, 패턴의 모양이나 종류에 따라 패턴의 특징을 정확하게 파악하는데 어려움이 있어 정확도가 떨어지는 단점이 있다.
본 발명에서는 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치, 구체적으로는 빠른 처리 속도로 정확도 높게 패턴의 유사 여부를 검출할 수 있는 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치를 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 과제를 해결하기 위하여 본 발명은, 기준 이미지를 입력 받는 단계, 입력된 기준 이미지를 제1 레벨로 설정하고, 기준 이미지로부터 기 설정된 간격의 특징점을 추출하며, 추출된 특징점 각각의 특징 데이터를 획득하는 단계, 추출된 특징점의 수가 기 설정된 기준을 만족하는 경우, 입력된 기준 이미지를 기 설정된 기준의 배율에 따라 축소하고, 제2 레벨로 설정하는 단계 및 제2 레벨의 기준 이미지의 크기를 확인하여, 기 설정된 기준의 크기를 만족하는 경우, 제2 레벨의 기준 이미지로부터 기 설정된 간격의 특징점을 추출하고, 추출된 특징점 각각의 특징 데이터를 획득하는 단계를 포함하는 이미지를 활용한 패턴 매칭방법을 제공한다.
한편, 상술한 바와 같은 과제를 해결하기 위한 본 발명의 다른 일 측면에서는, 기준 이미지에 대한 레벨 및 상기 레벨에 대응되는 특징 데이터를 독출하는 단계, 대상 이미지를 입력 받고, 확인된 기준 이미지에 대한 레벨 중 가장 큰 제N 레벨을 확인하고, 입력된 대상 이미지를 확인된 제N 레벨에 대응되는 배율에 따라 축소하며, 축소된 대상 이미지를 제N 레벨로 설정하는 단계, 축소된 대상 이미지로부터 기 설정된 간격의 특징점을 추출하여 후보 이미지를 획득하고, 획득한 후보 이미지의 특징점 각각의 특징 데이터를 획득하며, 획득된 특징 데이터와 제N 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여, 유사 여부를 판단하는 단계, 제N 레벨의 후보 이미지와 제N 레벨의 기준 이미지가 유사한 것으로 확인되면, 축소된 대상 이미지를 기 설정된 기준의 배율에 따라 확대하며, 확대된 대상 이미지를 제(N-1) 레벨로 설정하는 단계 및 제(N-1) 레벨로 설정된 대상 이미지로부터 기 설정된 간격의 특징점을 추출하여 후보 이미지를 획득하고, 획득한 후보 이미지의 특징점 각각의 특징 데이터를 획득하며, 획득된 특징 데이터와 제(N-1) 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여, 유사 여부를 판단하는 단계를 포함하는 이미지를 활용한 패턴 매칭방법을 제공한다.
한편, 상술한 바와 같은 과제를 해결하기 위한 본 발명의 또 다른 일 측면에서는, 기준 이미지와 대상 이미지를 입력받는 입력부. 입력부에 의해 입력된 기준 이미지와 대상 이미지를 저장하는 저장부, 기준 이미지와 대상 이미지의 유사 여부에 대한 판단 결과를 출력하는 출력부 및 소정의 설정에 따라 기준 이미지와 대상 이미지 내 포함된 후보 이미지로부터 각각 특징 데이터를 획득하고, 기준 이미지의 특징 데이터와 후보 이미지의 특징 데이터를 이용하여 유사 여부를 판단하는 제어부를 포함하고, 제어부는, 기 설정된 기준을 만족하는 범위에서 기준 이미지의 크기를 단계적으로 축소시켜, 축소된 크기별로 기준 이미지의 레벨을 설정하고, 레벨별로 기준 이미지의 특징 데이터를 획득하는 패턴 매칭장치를 제공한다.
본 발명의 실시예에 따른 이미지를 활용한 패턴 매칭방법은, 결함을 나타내는 기준 이미지를 설정함에 있어, 기 설정된 기준을 만족하는 범위에서 기준 이미지의 면적을 단계적으로 축소시켜 축소된 면적별로 레벨을 설정하고, 레벨별로 기준 이미지의 특징 데이터를 추출하여 획득하고 저장할 수 있다.
또한, 기준 이미지를 이용하여 대상 이미지의 결함여부를 검출하는 과정에 있어서는, 입력된 대상 이미지를, 레벨별로 저장된 기준 이미지 중 최소 크기의 이미지를 갖는 레벨의 기준 이미지와 대응되는 배율로 축소시켜, 축소된 대상 이미지로부터 기준 이미지와 대응하는 후보 이미지를 추출하고, 최소 크기로 축소된 기준 이미지와 대상 이미지 내 후보 이미지의 특징 데이터를 이용하여 동일 또는 유사 여부를 판단함으로써, 적은 양의 데이터로 신속하게 판단 결과를 출력할 수 있다.
또한, 상기 과정에서 대상 이미지 내 후보 이미지가 기준 이미지와 동일 또는 유사한 것으로 확인되면, 축소된 대상 이미지를 다음 레벨의 기준 이미지와 대응되는 비율로 확대시켜, 다음 레벨의 기준 이미지와 대상 이미지 내 후보 이미지의 특징 데이터를 이용하여 동일 또는 유사 여부를 판단할 수 있으며, 이러한 방식으로 기준 이미지와 이에 대응하는 대상 이미지를 레벨별로 확대시켜가며 특징 데이터를 비교하여 보다 정밀하게 동일 또는 유사 여부를 판단함으로써, 대상 이미지 내 결함을 빠르고 정확하게 검출할 수 있다.
또한, 본 발명의 실시예에 따른 이미지를 활용한 패턴 매칭방법은, 기준 이미지의 특징 데이터와, 대상 이미지에 포함된 후보 이미지의 특징 데이터 간의 동일 또는 유사 여부를 판단하여, 기준 이미지와 후보 이미지의 패턴이 일치되는지 여부를 용이하게 검출할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 이미지를 활용한 패턴 매칭방법에서 기준 이미지의 특징 데이터를 획득하는 과정을 순서도로 도시한 것이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 기준 이미지 설정 및 특징 데이터 획득 과정을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 이미지를 활용한 패턴 매칭방법에서 기준 이미지의 특징 데이터와 대상 이미지에 포함된 후보 이미지의 특징 데이터를 비교하여 대상 이미지 내 결함을 검출하는 과정을 순서도로 도시한 것이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 기준 이미지와 후보 이미지를 매칭시켜 가는 과정을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 패턴 매칭장치의 구성을 블럭도로 도시한 것이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다.
첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.
본 발명의 일 실시예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지를 활용한 패턴 매칭방법에서 기준 이미지의 특징 데이터를 획득하는 과정을 순서도로 도시한 것이고, 도 2 및 도 3은 본 발명의 일 실시예에 따른 기준 이미지 설정 및 특징 데이터 획득 과정을 도시한 것이다.
설명에 앞서, 하기의 본 실시예에서는 일 예로써, 결함을 나타내는 기준 이미지와, 대상 이미지에 포함된 후보 이미지 간을 매칭시키고 동일 또는 유사 여부를 판단하여, 대상 이미지 내 결함을 검출하는 예에 대해 설명한다.
하지만, 본 실시예가 반드시 이에 한정되는 것은 아니고, 적용 대상물에 따라, 기준 이미지와, 대상 이미지에 포함된 후보 이미지 간의 동일 또는 유사 여부를 판단하여, 기준 이미지와 후보 이미지의 패턴이 일치되는지 여부를 검출하는데 적용될 수 있음은 자명하다.
본 실시예에 따른 이미지를 활용한 패턴 매칭방법은, 결함을 나타내는 기준 이미지로부터 특징 데이터를 획득하는 과정과, 획득된 기준 이미지의 특징 데이터와 대상 이미지에 포함된 후보 이미지의 특징 데이터를 비교하여 기준 이미지와 후보 이미지 간의 동일 또는 유사 여부를 확인하고, 이를 통해 대상 이미지 내 결함을 검출하는 과정을 포함할 수 있다.
도 1 내지 도 3을 참조하면, 기준 이미지의 특징 데이터를 획득하는 과정에 있어서는, 먼저 결함을 나타내는 기준 이미지를 입력 받을 수 있다(S110).
이어서, 입력된 기준 이미지를 제1 레벨로 설정하고, 기준 이미지로부터 기 설정된 간격의 특징점을 추출하며, 추출된 특징점 각각에 대한 특징 데이터를 획득할 수 있다(S120).
구체적으로, 도 2를 참조하면, 입력된 기준 이미지를 제1 레벨로 설정하고, 입력된 기준 이미지의 경계를 따라 기 설정된 일정 간격으로 특징점을 추출할 수 있다.
더불어, 기준 이미지의 경계를 따라 형성된 각각의 특징점에 대해 위치 관계를 특정하는 특징 벡터를 추출할 수 있다.
이때, 특징 벡터를 추출함에 있어서는, 기준 이미지에 형성된 각 특징점으로부터 기준 이미지의 경계에 대해 수직한 방향의 특징 벡터를 추출할 수 있다.
일 예로써, 기준 이미지의 각 특징점에 대한 접선에 수직한 방향의 특징 벡터(G)를 추출할 수 있고, 추출된 특징 벡터(G)로부터 X축 방향의 특징 단위 벡터, 즉 X 성분 특징 단위 벡터(
Figure PCTKR2021018862-appb-img-000001
)와 Y축 방향의 특징 단위 벡터, 즉 Y 성분 특징 단위 벡터(
Figure PCTKR2021018862-appb-img-000002
)를 추출할 수 있다.
X축 방향의 경계선에 형성된 각 특징점에서는 X 성분 특징 단위 벡터의 값이 0이 되므로, Y 성분의 특징 단위 벡터(
Figure PCTKR2021018862-appb-img-000003
)만이 존재하며, Y축 방향의 경계선에 형성된 각 특징점에서는 Y 성분 특징 단위 벡터의 값이 0이 되므로, X축 방향의 특징 단위 벡터(
Figure PCTKR2021018862-appb-img-000004
)만이 존재하게 된다.
이와 같은 방식으로 기준 이미지에 형성된 각각의 특징점에서 획득되는 특징 벡터를 특징 데이터로 획득하고 저장할 수 있다.
다음, 추출된 특징점의 수가 기 설정된 기준을 만족(S130)하는 경우, 입력된 기준 이미지를 기 설정된 기준의 배율에 따라 축소하고, 이를 제2 레벨로 설정할 수 있다(S140).
이 과정에서는, 원본 크기인 제1 레벨의 기준 이미지에 비해 특징점 개수가 적은 기준 이미지를 생성할 수 있도록, 해당 제1 레벨의 기준 이미지를 기 설정된 배율에 따라 축소하여 제2 레벨의 기준 이미지로 설정할 수 있다.
일 예로써, 도 3을 참조하면, 본 실시예에서는 제1 레벨로 설정된 기준 이미지의 높이와 폭을 각각 1/2 크기로 축소한(면적은 1/4 크기로 축소) 기준 이미지를 제2 레벨로 설정한 것을 보여주고 있다.
다음, 제2 레벨의 기준 이미지의 높이 또는 폭을 확인하여, 기 설정된 기준의 높이 또는 폭을 만족(S150)하는 경우, 제2 레벨의 기준 이미지로부터 기 설정된 간격의 특징점을 추출하고, 추출된 특징점 각각에 대한 특징 데이터를 획득할 수 있다(S160).
구체적으로, 제2 레벨의 기준 이미지의 높이 또는 폭이 기 설정된 기준에 만족하는 경우, 제1 레벨의 기준 이미지의 특징점 간격과 동일한 간격으로 제2 레벨의 기준 이미지의 경계를 따라 특징점을 추출할 수 있다
예를 들어, 제1 레벨의 기준 이미지의 특징점 간격 값이 5인 경우, 제2 레벨의 기준 이미지에서도 간격 값 5의 간격으로 특징점을 추출할 수 있다.
이때, 제2 레벨의 기준 이미지는 제1 레벨의 기준 이미지에 비해 면적이 작기 때문에, 제1 레벨의 기준 이미지보다 적은 개수의 특징점이 추출될 수 있다.
또한, 제2 레벨의 기준 이미지에도 동일한 방식으로, 기준 이미지의 경계를 따라 형성된 각각의 특징점에 대해 위치 관계를 특정하는 특징 벡터를 추출할 수 있으며, 각 특징점마다 추출되는 특징 벡터를 특징 데이터로 획득하여 저장할 수 있다.
한편, 상술한 바와 같이, 기준 이미지를 축소하여 다음 레벨의 기준 이미지를 설정하고 특징 데이터를 획득하는 과정을, 기 설정된 기준의 특징점 개수와 이미지의 폭 또는 높이에 만족하는 범위까지 반복하여, 레벨별 기준 이미지를 설정하고, 각 레벨별 기준 이미지의 특징 데이터를 획득하여 저장할 수 있다.
일 예로써, 도 3을 참조하면, 본 실시예에서는 제1 레벨부터 제4 레벨까지의 레벨별 기준 이미지가 설정된 것을 보여주고 있고, 각 레벨별 기준 이미지에 대한 특징 데이터를 획득하여 저장할 수 있다.
구체적으로, 제2 레벨의 기준 이미지에서 추출된 특징점의 수가 기 설정된 기준을 만족하는 경우, 해당 제2 레벨의 기준 이미지를 기 설정된 기준의 배율에 따라 축소(예로써, 제2 레벨의 기준 이미지의 높이와 폭을 각각 1/2로 축소, 즉 면적은 1/4로 축소)하고 제3 레벨로 설정할 수 있으며, 제3 레벨의 기준 이미지의 크기가 기 설정된 기준의 크기를 만족하면, 해당 제3 레벨의 기준 이미지로부터 각 특징점에 대한 특징 데이터를 획득할 수 있다.
또한, 제3 레벨의 기준 이미지에서 추출된 특징점의 수가 기 설정된 기준을 만족하는 경우, 해당 제3 레벨의 기준 이미지를 기 설정된 기준의 배율에 따라 축소(예로써, 제3 레벨의 기준 이미지의 높이와 폭을 각각 1/2로 축소, 즉 면적은 1/4로 축소)하고 제4 레벨로 설정할 수 있으며, 제4 레벨의 기준 이미지의 크기가 기 설정된 기준의 크기를 만족하면, 해당 제4 레벨의 기준 이미지로부터 각 특징점에 대한 특징 데이터를 획득할 수 있다.
여기서, 레벨이 높을수록 기준 이미지의 높이와 폭이 축소되기 때문에, 일 예로써 제4 레벨의 기준 이미지의 높이 또는 폭이 기 설정된 기준을 만족하지 못하면, 이전 레벨인 제1 레벨에서 제3 레벨까지 레벨별 기준 이미지의 특징 데이터만 획득하여 저장될 수 있다(S170).
또한, 제4 레벨의 기준 이미지의 크기가 기 설정된 기준의 크기를 만족하더라도, 제4 레벨의 기준 이미지에서 추출된 특징점의 수가 적어서 기 설정된 기준을 만족하지 못하면, 이 경우에도 제1 레벨에서 제3 레벨까지 레벨별 기준 이미지의 특징 데이터만 저장될 수 있다(S170).
이와 같이, 본 실시예에서는 기준 이미지에서 소정의 설정에 따라 특징 데이터를 획득하여 저장하되, 기 설정된 기준을 만족하는 범위에서 기준 이미지의 면적을 단계적으로 축소시켜 축소된 면적별로 레벨을 설정하고, 레벨별로 기준 이미지의 특징 데이터를 추출하여 저장할 수 있다.
한편, 이하에서는 상술한 바와 같이 저장된 기준 이미지의 특징 데이터를 대상 이미지에 포함된 후보 이미지의 특징 데이터와 비교하여 대상 이미지 내 결함을 검출하는 과정에 대해 설명한다.
도 4는 본 발명의 일 실시예에 따른 이미지를 활용한 패턴 매칭방법에서 기준 이미지의 특징 데이터와 대상 이미지에 포함된 후보 이미지의 특징 데이터를 비교하여 대상 이미지 내 결함을 검출하는 과정을 순서도로 도시한 것이고, 도 5 및 도 6은 본 발명의 일 실시예에 따른 기준 이미지와 후보 이미지를 매칭시켜 가는 과정을 도시한 것이다.
일 예로써, 본 실시예에서는 기준 이미지와 동일하거나 일정부분 이상 유사한 후보 이미지를 결함으로 검출할 수 있다.
도 4 내지 도 6을 참조하면, 먼저 기준 이미지에 대한 레벨과, 각 레벨별 기준 이미지에 대응되는 특징 데이터를 독출할 수 있다(S210).
이어서, 대상 이미지를 입력 받고, 확인된 기준 이미지에 대한 레벨 중 가장 큰 제N 레벨을 확인하고, 입력된 대상 이미지를 확인된 제N 레벨에 대응되는 배율에 따라 축소하며, 축소된 대상 이미지를 제N 레벨로 설정할 수 있다(S220).
일 예로써, 도 5를 참조하면, 본 실시예에서는 앞서 설명한 바와 같이, 기준 이미지의 레벨 중 가장 큰 레벨이 제4 레벨인 경우, 입력된 대상 이미지를 제4 레벨의 기준 이미지에 대응되는
Figure PCTKR2021018862-appb-img-000005
, 즉 1/16로 축소하고, 축소된 대상 이미지를 제4 레벨로 설정할 수 있다.
다음, 축소된 대상 이미지로부터 기 설정된 간격의 특징점을 추출하여 후보 이미지를 획득하고, 획득한 후보 이미지의 특징점으로부터 특징 데이터를 획득하며(S230), 획득된 특징 데이터와 제N 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여, 후보 이미지와 기준 이미지 간의 동일 또는 유사 여부를 판단할 수 있다(S240).
구체적으로, 도 6을 참조하면, 제4 레벨의 기준 이미지의 특징점 간격과 동일한 간격으로 제4 레벨의 대상 이미지 내 후보 이미지에 대한 특징점을 추출할 수 있다.
여기서, 후술되는 제3 레벨, 제2 레벨 및 제1 레벨의 기준 이미지와 대상 이미지로부터 각각 추출되는 특징점의 간격 역시 동일한 간격으로 설정될 수 있다.
일 예로서, 대상 이미지 내 포함된 형상에서 선(線)과 선, 선과 면(面), 면과 면 중 하나가 만나는 지점을 특징점으로 정의하고, 대상 이미지로부터 특징점을 추출하며, 추출된 특징점들로 이루어진 후보 이미지를 획득할 수 있다.
더불어, 해당 후보 이미지의 각 특징점마다 특징 벡터를 추출하여, 추출된 특징 벡터를 특징 데이터로 획득 및 저장할 수 있으며, 이러한 특징 데이터의 획득 과정은 상술한 기준 이미지로부터 특징 데이터를 획득하는 과정과 동일하게 진행될 수 있다.
또한, 기준 이미지로부터 추출된 특징 데이터를 기 설정된 일정 각도씩 회전시키거나 기 설정된 일정 범위 내에서 크기를 조절하며, 기준 이미지의 특징 데이터를 이에 대응되는 후보 이미지의 특징 데이터와 매칭시키는 과정이 포함될 수 있다.
즉, 기준 이미지를 기 설정된 일정 각도씩 회전시켜며, 일 예로서 기준 이미지로부터 추출된 특징 데이터를 기 설정된 일정 각도씩 회전시키며, 기준 이미지를 후보 이미지와 비교할 수 있으며, 일 예로써 본 실시예에서는 제4 레벨의 기준 이미지를
Figure PCTKR2021018862-appb-img-000006
에 해당하는 16도 간격으로 회전시키며, 제4 레벨의 대상 이미지에 포함된 후보 이미지와의 매칭 여부를 비교할 수 있다.
더불어, 기준 이미지에 대해 크기를 조절해가며, 일 예로서 기준 이미지로부터 추출된 특징 데이터의 크기를 조절해가며, 대응되는 후보 이미지와 매칭되는지 비교할 수 있다.
이때, 상술한 실시예에서는 기준 이미지의 특징 데이터를 일정 각도씩 회전시키거나 크기를 조절하여 대응하는 후보 이미지의 특징 데이터와 매칭시키는 방법에 대해 설명하고 있으나, 그 반대로 후보 이미지의 특징 데이터를 일정 각도씩 회전시키거나 크기를 조절하여 기준 이미지의 특징 데이터와 매칭시킬 수도 있다.
한편, 상기와 같이, 제4 레벨의 대상 이미지 내 포함된 후보 이미지로부터 획득된 특징 데이터와, 제4 레벨의 기준 이미지로부터 획득된 특징 데이터를 하기의 [수식 1]을 이용하여 동일 또는 유사 여부를 판단할 수 있다.
[수식 1]
Figure PCTKR2021018862-appb-img-000007
여기서,
Figure PCTKR2021018862-appb-img-000008
는 기준 이미지의 특징점에서 추출된 X 성분 특징 단위 벡터이고,
Figure PCTKR2021018862-appb-img-000009
는 기준 이미지의 특징점에서 추출된 Y 성분 특징 단위 벡터이며,
Figure PCTKR2021018862-appb-img-000010
는 후보 이미지의 특징점에서 추출된 X 성분 특징 단위 벡터이고,
Figure PCTKR2021018862-appb-img-000011
는 후보 이미지의 특징점에서 추출된 Y 성분 특징 단위 벡터를 나타낸다.
이에 따라, 상기 [수식 1]에서와 같이, 기준 이미지에서 추출된 각 특징점의 특징 단위 벡터(
Figure PCTKR2021018862-appb-img-000012
,
Figure PCTKR2021018862-appb-img-000013
)와, 이와 대응되는 후보 이미지에서 추출된 각 특징점의 특징 단위 벡터(
Figure PCTKR2021018862-appb-img-000014
,
Figure PCTKR2021018862-appb-img-000015
)를 비교 연산하여, 각 특징점에 대한 스코어 값을 계산하고, 각 특징점의 스코어 값에 대한 평균값을 구하여 평균값이 기 설정된 기준을 만족하면 기준 이미지와 후보 이미지가 동일 또는 유사하다고 판단할 수 있다.
이때, 제4 레벨의 대상 이미지 내 포함된 후보 이미지가 제4 레벨의 기준 이미지와 유사하지 않은 것으로 확인되면, 결함이 없는 것으로 판단하여 이를 결과로 제공할 수 있다(S290).
한편, 제N 레벨의 대상 이미지 내 포함된 후보 이미지와 제N 레벨의 기준 이미지가 유사(S240)한 것으로 확인되면, 축소된 대상 이미지를 기 설정된 기준의 배율에 따라 확대하며, 확대된 대상 이미지를 제(N-1) 레벨로 설정할 수 있다(S250).
이 과정에서는, 도 5를 참조하면, 제4 레벨의 대상 이미지 내 포함된 후보 이미지와 제4 레벨의 기준 이미지가 유사한 것으로 확인되는 경우, 제4 레벨의 대상 이미지를 제3 레벨의 기준 이미지와 대응되는 배율로 확대하고, 확대된 대상 이미지를 제3 레벨로 설정할 수 있다.
즉, 후보 이미지와 기준 이미지의 유사 여부를 더욱 정밀하게 확인하기 위해, 제4 레벨의 대상 이미지를 제3 레벨의 기준 이미지와 대응되는 배율로 확대하여 제3 레벨로 설정할 수 있으며, 이를 통해 제4 레벨에 비해 크기가 커진 제3 레벨의 대상 이미지 내 후보 이미지와 제3 레벨의 기준 이미지를 매칭시킬 수 있다.
다음, 제(N-1) 레벨로 설정된 대상 이미지로부터 기 설정된 간격의 특징점을 추출하여 후보 이미지를 획득하고, 획득한 후보 이미지의 특징점으로부터 특징 데이터를 획득하며(S260), 획득된 특징 데이터와 제(N-1) 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여, 동일 또는 유사 여부를 판단할 수 있다(S270).
이때에는, 제3 레벨의 기준 이미지의 특징점 간격과 동일한 간격으로 제3 레벨의 대상 이미지로부터 특징점을 추출하여 후보 이미지를 획득하고, 획득한 후보 이미지의 각 특징점으로부터 특징 벡터를 추출하여 특징 데이터로 획득하고 저장할 수 있다.
또한, 기준 이미지를 기 설정된 일정 각도씩 회전시키거나 기 설정된 일정 범위 내에서 크기를 조절하며, 일 예로서 기준 이미지로부터 추출된 특징 데이터를 기 설정된 일정 각도로 회전시키거나 기 설정된 범위 내에서 크기를 조절하면서, 해당 기준 이미지의 특징 데이터를 대응하는 제3 레벨의 대상 이미지 내 후보 이미지의 특징 데이터와 매칭시킬 수 있다.
이때에는, 일 예로써, 제3 레벨의 기준 이미지를
Figure PCTKR2021018862-appb-img-000016
에 해당하는 8도 간격으로 회전시키며 대응하는 후보 이미지와의 매칭 여부를 비교할 수 있다.
또한, 해당 후보 이미지로부터 획득된 특징 데이터와, 제3 레벨의 기준 이미지로부터 획득된 특징 데이터를 상기의 [수식 1]을 이용하여 동일 또는 유사 여부를 판단할 수 있다.
이때, 제3 레벨의 대상 이미지 내 포함된 후보 이미지가 제3 레벨의 기준 이미지와 유사하지 않은 것으로 확인되면, 대상 이미지 내 결함이 없는 것으로 판단하여 이를 결과로 제공할 수 있다(S290).
한편, 도 5를 참조하면, 제3 레벨의 대상 이미지 내 포함된 후보 이미지가 제3 레벨의 기준 이미지와 동일 또는 유사한 것으로 확인되는 경우, 후보 이미지와 기준 이미지의 유사 여부를 더욱 정밀하게 확인하기 위해, 제3 레벨의 대상 이미지를 제2 레벨의 기준 이미지와 대응되는 배율로 확대하여, 확대된 대상 이미지를 제2 레벨로 설정할 수 있으며, 제2 레벨의 대상 이미지로부터 특징점을 추출하여 후보 이미지를 획득하고, 획득한 후보 이미지의 각 특징점에서 특징 벡터를 추출하여 특징 데이터로 저장할 수 있다.
또한, 일 예로써, 제2 레벨의 기준 이미지를
Figure PCTKR2021018862-appb-img-000017
에 해당하는 4도 간격으로 회전시키고, 기준 이미지의 크기를 조절하여, 기준 이미지의 특징 데이터를 대응하는 제2 레벨의 대상 이미지 내 포함된 후보 이미지의 특징 데이터와 매칭시킬 수 있다.
또한, 해당 후보 이미지로부터 획득된 특징 데이터와, 제2 레벨의 기준 이미지로부터 획득된 특징 데이터를 상기의 [수식 1]을 이용하여 유사 여부를 판단할 수 있다.
계속해서, 제2 레벨의 대상 이미지 내 포함된 후보 이미지가 제2 레벨의 기준 이미지와 유사한 것으로 확인되는 경우, 제2 레벨의 대상 이미지를 제1 레벨의 기준 이미지와 대응되는 배율로 확대하여, 확대된 대상 이미지를 최종 레벨인 제1 레벨로 설정할 수 있으며, 제1 레벨의 대상 이미지로부터 특징점을 추출하여 후보 이미지를 획득하고, 획득한 후보 이미지의 각 특징점에서 특징 벡터를 추출하여 특징 데이터로 획득하고 저장할 수 있다.
또한, 일 예로써, 제1 레벨의 기준 이미지를
Figure PCTKR2021018862-appb-img-000018
에 해당하는 2도 간격으로 회전시키고, 기준 이미지의 크기를 조절하여, 기준 이미지의 특징 데이터를 대응하는 제1 레벨의 대상 이미지 내 포함된 후보 이미지의 특징 데이터와 매칭시킬 수 있다.
최종 제1 레벨에서는 후보 이미지와 기준 이미지의 동일 또는 유사 여부 판단에 대해 정확도를 높이기 위하여, 해당 후보 이미지로부터 획득된 특징 데이터와, 제1 레벨의 기준 이미지로부터 획득된 특징 데이터를 하기의 [수식 2]을 이용하여 동일 또는 유사 여부를 판단할 수 있다.
[수식 2]
Figure PCTKR2021018862-appb-img-000019
여기서,
Figure PCTKR2021018862-appb-img-000020
는 기준 이미지의 특징점에서 추출된 X 성분 특징 단위 벡터이고,
Figure PCTKR2021018862-appb-img-000021
는 기준 이미지의 특징점에서 추출된 Y 성분 특징 단위 벡터이며,
Figure PCTKR2021018862-appb-img-000022
는 후보 이미지의 특징점에서 추출된 X 성분 특징 단위 벡터이고,
Figure PCTKR2021018862-appb-img-000023
는 후보 이미지의 특징점에서 추출된 Y 성분 특징 단위 벡터를 나타낸다.
[수식 2]에서는 특징점 각각의 특징 벡터를 제곱한 후, 제곱한 특징 벡터의 X 성분 특징 단위 벡터와 Y 성분 특징 단위 벡터를 상호 연산하여 계산할 수 있다.
일 예로서, XY 좌표축에서 (0,0)에서 (-2,-2) 방향의 특징 벡터가 정의되면, 이를 제곱한 (0,0)에서 (4,4) 크기의 특징 벡터를 도출할 수 있으며, 제곱에 따른 특징 벡터의 방향 왜곡을 보정하기 위한 sign 함수를 적용하여 (0,0)에서 (-4,-4)의 특징 벡터를 추출할 수 있다.
상기 추출된 특징 벡터의 X 성분 특징 단위 벡터와 Y 성분 특징 단위 벡터를 상호 연산하여, 매칭 여부를 판단할 수 있다.
최종 제1 레벨(S280)에서도, 대상 이미지 내 포함된 후보 이미지가 기준 이미지와 동일 또는 유사한 것으로 확인되면, 결함이 있는 것으로 판단하여 이를 결과로 제공할 수 있다(S290).
이와 같이, 본 실시예에서 기준 이미지의 특징 데이터와 후보 이미지의 특징 데이터를 비교하여 대상 이미지의 결함여부를 검출하는 과정에서는, 입력된 대상 이미지를, 레벨별로 저장된 기준 이미지 중 최소 크기의 이미지를 갖는 제N 레벨의 기준 이미지와 대응되는 배율로 축소시켜 제N 레벨로 설정하고, 최소 크기로 기준 이미지와 대상 이미지 내 후보 이미지의 특징 데이터를 이용하여 유사 여부를 판단함으로써, 적은 데이터로 신속하게 판단 결과를 출력할 수 있다.
특히, 제N 레벨의 대상 이미지 내 후보 이미지와 제N 레벨의 기준 이미지가 유사한 것으로 확인되면, 축소된 제N 레벨의 대상 이미지를 제(N-1) 레벨의 기준 이미지와 대응되는 배율로 확대시켜, 크기가 커진 기준 이미지와 대상 이미지 내 후보 이미지의 특징 데이터를 이용하여 유사 여부를 판단하는 방식으로, 보다 정밀한 판단 결과를 출력할 수 있으며, 이와 같은 방법을 통해, 결함이 없는 대상 이미지를 빠르게 판단할 수 있고, 결함이 있는 대상 이미지를 보다 정확하게 검출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 패턴 매칭장치(100)의 구성을 블럭도로 도시한 것이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 패턴 매칭장치(100)는, 입력부(110), 저장부(120), 출력부(130) 및 제어부(140)를 포함할 수 있다.
입력부(110)는 기준 이미지와 대상 이미지를 입력받을 수 있다.
저장부(120)는 입력부(110)에 의해 입력된 기준 이미지와 대상 이미지를 저장할 수 있고, 일 예로써 서버 또는 메모리 등의 저장 매체로 이루어질 수 있다.
또한, 저장부(120)에는 제어부(140)에 의해 레벨별로 설정된 기준 이미지와 대상 이미지가 저장될 수 있다.
출력부(130)는 제어부(140)에 의해 처리된 기준 이미지와 대상 이미지 내 후보 이미지의 유사 여부 판단 결과를 출력할 수 있다.
일 예로써, 본 실시예에서는 대상 이미지 내 포함된 후보 이미지가 기준 이미지와 동일 또는 유사하다고 판단되는 경우, 대상 이미지에 결함이 있다고 검출할 수 있다.
제어부(140)는 입력부(110)를 통해 입력받은 기준 이미지를 레벨별로 저장할 수 있다.
구체적으로, 제어부(140)는 기준 이미지에서 소정의 설정에 따라 특징 데이터를 획득하여 저장하되, 기 설정된 기준을 만족하는 범위에서 기준 이미지의 면적을 단계적으로 축소시켜 축소된 면적별로 레벨을 설정하고, 레벨별로 기준 이미지의 특징 데이터를 추출하여 저장할 수 있다.
또한, 제어부(140)는 기준 이미지의 특징 데이터와 대상 이미지에 포함된 후보 이미지의 특징 데이터를 비교하여 대상 이미지 내 결함을 검출할 수 있다.
구체적으로, 제어부(140)는 입력부(110)를 의해 입력받은 대상 이미지를, 레벨별로 저장된 기준 이미지 중 최소 크기의 이미지를 갖는 제N 레벨의 기준 이미지와 대응되는 배율로 축소시켜 제N 레벨로 설정하고, 최소 크기로 축소된 기준 이미지와 대상 이미지 내 후보 이미지의 특징 데이터를 이용하여 동일 또는 유사 여부를 판단할 수 있다.
이때, 대상 이미지 내 후보 이미지가 기준 이미지와 유사하지 않은 것으로 확인되면, 대상 이미지에 결함이 없는 것으로 검출하여, 출력부를 통해 빠르게 검출 결과를 출력할 수 있다.
또한, 제N 레벨의 대상 이미지 내 후보 이미지와 제N 레벨의 기준 이미지가 유사한 것으로 확인되면, 축소된 제N 레벨의 대상 이미지를 제(N-1) 레벨의 기준 이미지와 대응되는 배율로 확대시켜, 크기가 커진 기준 이미지와 대상 이미지 내 후보 이미지의 특징 데이터를 이용하여 유사 여부를 판단할 수 있으며, 이러한 방식으로 기준 이미지와 이에 대응하는 대상 이미지 내 후보 이미지를 레벨별로 확대시켜가며 특징 데이터를 비교하여 보다 정밀하게 유사 여부를 판단함으로써, 대상 이미지에 결함이 있는지 정확하게 검출할 수 있다.
한편, 상술한 본 발명의 실시예에서는 결함을 나타내는 기준 이미지와, 대상 이미지에 포함된 후보 이미지 간을 매칭시키고 동일 또는 유사 여부를 판단하여, 대상 이미지 내 결함이 있는지 검출하는 예에 대해 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니고, 적용 대상물에 따라, 기준 이미지와, 대상 이미지에 포함된 후보 이미지의 패턴이 일치되는지 여부를 검출하는데 적용될 수 있음은 자명하다.
본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다.
따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 실시예에 따른 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치는, 빠른 처리 속도로 정확도 높게 패턴의 유사 여부를 검출할 수 있어, 이미지 유사여부 검사, 텍스타일 직물 내 결함 검사, 웨이퍼 또는 전자회로 검사 등 이미지를 활용하는 다양한 산업분야 전반에 효과적으로 활용될 수 있다.

Claims (10)

  1. 기준 이미지를 입력 받는 단계;
    상기 입력된 기준 이미지를 제1 레벨로 설정하고, 상기 기준 이미지로부터 기 설정된 간격의 특징점을 추출하며, 상기 추출된 특징점 각각의 특징 데이터를 획득하는 단계;
    상기 추출된 특징점의 수가 기 설정된 기준을 만족하는 경우, 상기 입력된 기준 이미지를 기 설정된 기준의 배율에 따라 축소하고, 제2 레벨로 설정하는 단계; 및
    상기 제2 레벨의 기준 이미지의 크기를 확인하여, 기 설정된 기준의 크기를 만족하는 경우, 상기 제2 레벨의 기준 이미지로부터 상기 기 설정된 간격의 특징점을 추출하고, 상기 추출된 특징점 각각의 특징 데이터를 획득하는 단계를 포함하는 이미지를 활용한 패턴 매칭방법.
  2. 제 1항에 있어서,
    상기 기준 이미지를 축소하여 다음 레벨의 기준 이미지로 설정하고 해당 기준 이미지에 대해 특징 데이터를 획득하는 과정은, 상기 기 설정된 기준의 특징점 수와 상기 기 설정된 기준 이미지의 크기를 만족하는 범위까지 반복되는 이미지를 활용한 패턴 매칭방법.
  3. 제 1항에 있어서,
    상기 기준 이미지로부터 기 설정된 간격의 특징점을 추출하며, 상기 추출된 특징점 각각의 특징 데이터를 획득하는 과정에서는,
    상기 기준 이미지의 경계를 따라 기 설정된 일정 간격으로 특징점을 추출하고, 상기 각 특징점으로부터 상기 경계에 대해 수직한 방향의 특징 벡터를 추출하여, 상기 추출된 특징 벡터를 특징 데이터로 저장하는 이미지를 활용한 패턴 매칭방법.
  4. 기준 이미지에 대한 레벨 및 상기 레벨에 대응되는 특징 데이터를 독출하는 단계;
    대상 이미지를 입력 받고, 상기 확인된 기준 이미지에 대한 레벨 중 가장 큰 제N 레벨을 확인하고, 상기 입력된 대상 이미지를 상기 확인된 제N 레벨에 대응되는 배율에 따라 축소하며, 상기 축소된 대상 이미지를 제N 레벨로 설정하는 단계;
    상기 축소된 대상 이미지로부터 기 설정된 간격의 특징점을 추출하여 후보 이미지를 획득하고, 상기 획득한 후보 이미지의 특징점 각각의 특징 데이터를 획득하며, 상기 획득된 특징 데이터와 상기 제N 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여, 유사 여부를 판단하는 단계;
    상기 제N 레벨의 후보 이미지와 상기 제N 레벨의 기준 이미지가 유사한 것으로 확인되면, 상기 축소된 대상 이미지를 기 설정된 기준의 배율에 따라 확대하며, 상기 확대된 대상 이미지를 제(N-1) 레벨로 설정하는 단계; 및
    상기 제(N-1) 레벨로 설정된 대상 이미지로부터 상기 기 설정된 간격의 특징점을 추출하여 후보 이미지를 획득하고, 상기 획득한 후보 이미지의 특징점 각각의 특징 데이터를 획득하며, 상기 획득된 특징 데이터와 상기 제(N-1) 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여, 유사 여부를 판단하는 단계를 포함하는 이미지를 활용한 패턴 매칭방법.
  5. 제 4항에 있어서,
    상기 대상 이미지로부터 기 설정된 간격의 특징점을 추출하고, 상기 추출된 특징점 각각의 특징 데이터를 획득하는 과정에서는,
    상기 제N 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여 유사 여부를 판단하는 단계는,
    상기 후보 이미지의 경계를 따라 기 설정된 일정 간격의 특징점으로부터 상기 경계에 대해 수직한 방향의 특징 벡터를 추출하고, 상기 추출된 특징 벡터를 특징 데이터로 저장하는 단계를 포함하는 이미지를 활용한 패턴 매칭방법.
  6. 제 4항에 있어서,
    상기 제N 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여 유사 여부를 판단하는 단계는,
    상기 추출된 특징 데이터를 기 설정된 각도로 회전시키거나 기 설정된 범위 내에서 크기를 조절해가며 상기 기준 이미지의 특징 데이터와의 매칭 여부를 확인하는 단계를 포함하는 이미지를 활용한 패턴 매칭방법.
  7. 제 5항에 있어서,
    상기 제N 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여 유사 여부를 판단하는 단계는,
    하기의 수식 1을 이용하여, 상기 제N 레벨의 기준 이미지의 특징 데이터에 포함된 각 특징점의 특징 벡터와, 이와 대응되는 상기 후보 이미지 내 각 특징점의 특징 벡터를 비교 연산하여, 각 특징점에 대한 스코어값을 산출하고, 상기 각 특징점의 스코어값에 대한 평균값을 구하여 상기 평균값이 기 설정된 기준을 만족하면 기준 이미지와 후보 이미지가 유사하다고 판단하는 단계를 포함하는 이미지를 활용한 패턴 매칭방법.
    [수식 1]
    Figure PCTKR2021018862-appb-img-000024
    (N: 특징점의 개수,
    Figure PCTKR2021018862-appb-img-000025
    ,
    Figure PCTKR2021018862-appb-img-000026
    :기준 이미지의 X 방향, Y 방향 특징 단위 벡터,
    Figure PCTKR2021018862-appb-img-000027
    ,
    Figure PCTKR2021018862-appb-img-000028
    : 후보 이미지의 X 방향, Y 방향 특징 단위 벡터)
  8. 제 5항에 있어서,
    상기 제N 레벨에 대응되는 기준 이미지의 특징 데이터를 이용하여 유사 여부를 판단하는 단계는,
    하기의 수식 2을 이용하여, 상기 제N 레벨의 기준 이미지의 특징 데이터에 포함된 각 특징점의 특징 벡터와, 이와 대응되는 상기 후보 이미지 내 각 특징점의 특징 벡터를 비교 연산하여, 각 특징점에 대한 스코어값을 산출하고, 상기 각 특징점의 스코어값에 대한 평균값을 구하여 상기 평균값이 기 설정된 기준에 포함되면 기준 이미지와 후보 이미지가 유사하다고 판단하는 단계를 포함하는 이미지를 활용한 패턴 매칭방법.
    [수식 2]
    Figure PCTKR2021018862-appb-img-000029
    (N: 특징점의 개수,
    Figure PCTKR2021018862-appb-img-000030
    ,
    Figure PCTKR2021018862-appb-img-000031
    :기준 이미지의 특징 벡터를 제곱한 X 방향, Y 방향 특징 단위 벡터,
    Figure PCTKR2021018862-appb-img-000032
    ,
    Figure PCTKR2021018862-appb-img-000033
    : 후보 이미지의 특징 벡터를 제곱한 X 방향, Y 방향 특징 단위 벡터)
  9. 기준 이미지와 대상 이미지를 입력받는 입력부;
    상기 입력부에 의해 입력된 상기 기준 이미지와 상기 대상 이미지를 저장하는 저장부;
    상기 기준 이미지와 상기 대상 이미지의 유사 여부에 대한 판단 결과를 출력하는 출력부; 및
    소정의 설정에 따라 상기 기준 이미지와 상기 대상 이미지 내 포함된 후보 이미지로부터 각각 특징 데이터를 획득하고, 상기 기준 이미지의 특징 데이터와 상기 후보 이미지의 특징 데이터를 이용하여 유사 여부를 판단하는 제어부를 포함하고,
    상기 제어부는,
    기 설정된 기준을 만족하는 범위에서 상기 기준 이미지의 크기를 단계적으로 축소시켜, 축소된 크기별로 기준 이미지의 레벨을 설정하고, 레벨별로 기준 이미지의 특징 데이터를 획득하는 패턴 매칭장치.
  10. 제 9항에 있어서,
    상기 제어부는,
    상기 대상 이미지를, 레벨별로 설정된 기준 이미지 중 최소 크기의 이미지를 갖는 제N 레벨의 기준 이미지와 대응되게 축소시켜 제N 레벨로 설정하고, 축소된 대상 이미지로부터 특징점을 추출하여 후보 이미지를 획득하고, 상기 획득한 후보 이미지의 특징 데이터를 획득하며, 상기 획득된 특징 데이터와 상기 제N 레벨의 기준 이미지의 특징 데이터를 이용하여 유사 여부를 판단하고,
    상기 제N 레벨의 후보 이미지와 제N 레벨의 기준 이미지가 유사한 것으로 확인되면, 상기 제N 레벨의 대상 이미지를, 제(N-1) 레벨의 기준 이미지와 대응되게 확대시켜 제(N-1) 레벨로 설정하고, 상기 확대된 대상 이미지로부터 특징점을 추출하여 후보 이미지를 획득하고, 상기 획득한 후보 이미지의 특징 데이터를 획득하며, 상기 획득된 특징 데이터와 상기 제(N-1) 레벨의 기준 이미지의 특징 데이터를 이용하여 유사 여부를 판단하는 패턴 매칭장치.
PCT/KR2021/018862 2021-02-24 2021-12-13 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치 WO2022181945A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210025073A KR102431984B1 (ko) 2021-02-24 2021-02-24 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치
KR10-2021-0025073 2021-02-24

Publications (1)

Publication Number Publication Date
WO2022181945A1 true WO2022181945A1 (ko) 2022-09-01

Family

ID=82803658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018862 WO2022181945A1 (ko) 2021-02-24 2021-12-13 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치

Country Status (2)

Country Link
KR (1) KR102431984B1 (ko)
WO (1) WO2022181945A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120082126A (ko) * 2011-01-13 2012-07-23 삼성전자주식회사 깊이 영상의 특징 추출 방법 및 장치
JP2014187195A (ja) * 2013-03-22 2014-10-02 Toshiba Corp パターンの重ね合わせずれ計測方法
KR20150131511A (ko) * 2014-05-15 2015-11-25 세메스 주식회사 획득한 영상의 특징점을 추출하는 방법 및 이를 이용하여 웨이퍼의 결함을 검출하는 방법
JP2016009391A (ja) * 2014-06-25 2016-01-18 Kddi株式会社 情報処理装置ならびにその特徴点選択方法、装置およびプログラム
JP2019191691A (ja) * 2018-04-19 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、移動装置、および方法、並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190111644A (ko) 2018-03-23 2019-10-02 (주)브릭 반복 패턴 영상의 결함 유형 분류 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120082126A (ko) * 2011-01-13 2012-07-23 삼성전자주식회사 깊이 영상의 특징 추출 방법 및 장치
JP2014187195A (ja) * 2013-03-22 2014-10-02 Toshiba Corp パターンの重ね合わせずれ計測方法
KR20150131511A (ko) * 2014-05-15 2015-11-25 세메스 주식회사 획득한 영상의 특징점을 추출하는 방법 및 이를 이용하여 웨이퍼의 결함을 검출하는 방법
JP2016009391A (ja) * 2014-06-25 2016-01-18 Kddi株式会社 情報処理装置ならびにその特徴点選択方法、装置およびプログラム
JP2019191691A (ja) * 2018-04-19 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、移動装置、および方法、並びにプログラム

Also Published As

Publication number Publication date
KR102431984B1 (ko) 2022-08-12

Similar Documents

Publication Publication Date Title
WO2014101281A1 (zh) 检测设备中镜头的光轴偏移的装置和方法
US4938600A (en) Method and apparatus for measuring registration between layers of a semiconductor wafer
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2018117353A1 (ko) 홍채와 공막의 경계선 검출 방법
WO2012050378A2 (ko) 기판 검사방법
WO2018143506A1 (ko) 반도체 또는 디스플레이 시스템 분야에서 사용되는 이송 위치 측정용 테스트 더미 및 상기 반도체 또는 디스플레이 시스템 분야에서 사용되는 이송 위치 측정용 테스트 더미를 이용한 정밀 이송 측정 방법
JPH03232250A (ja) パターン検査方法および装置
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2017204519A2 (ko) 데이터 밸런싱을 통한 학습기반의 비전검사 방법 및 이를 이용한 데이터 밸런싱을 통한 학습기반의 비전검사 장치
WO2022181945A1 (ko) 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치
WO2023219448A1 (ko) 광을 이용한 롤러 갭 측정시스템 및 이를 이용한 롤러 갭 측정방법
WO2013009151A2 (ko) 검사방법
WO2018048200A1 (ko) 편석 분석 장치 및 방법
WO2020130209A1 (ko) 영상 처리를 이용한 차량 속도 측정 방법 및 장치
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2018066852A1 (ko) 기판 검사장치 및 이를 이용한 기판의 왜곡 보상 방법
WO2021020883A1 (ko) 3차원 스캐닝 장치 및 방법
WO2018105830A1 (ko) 동공 중심 검출 방법
WO2022114340A1 (ko) 스마트 비전 얼라인먼트 시스템 및 이를 이용한 스마트 비전 얼라인먼트 방법
JPS5837923A (ja) フオトマスクの検査装置
WO2019135524A1 (ko) 그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법
WO2020040468A1 (ko) 유기발광소자의 혼색 불량 검출장치 및 검출방법
US20010012391A1 (en) Pattern inspection method and apparatus
WO2019208869A1 (ko) 학습을 이용한 얼굴 특징점 검출 방법 및 장치
WO2022240207A1 (ko) 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21928237

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21928237

Country of ref document: EP

Kind code of ref document: A1