KR101565748B1

KR101565748B1 - A method and apparatus for detecting a repetitive pattern in image

Info

Publication number: KR101565748B1
Application number: KR1020130062249A
Authority: KR
Inventors: 수다카르 사; 이상학; 김종항; 하성종; 안유리; 권연희
Original assignee: 삼성에스디에스 주식회사
Priority date: 2013-05-31
Filing date: 2013-05-31
Publication date: 2015-11-05
Also published as: KR20140141027A; CN104217420B; CN104217420A; US9330450B2; US20160210527A1; US20140355873A1; US9430713B2

Abstract

입력 이미지에서 반복되는 패턴을 효과적으로 검출하는 방법이 제공된다. 본 발명의 일 태양은, 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 단계; 상기 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계; 각 유효 레이어 별로, 상기 유효 레이어에 포함된 픽셀 컴포넌트 중 상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단계; 각 유효 레이어 별로 상기 단위 패턴 사이의 간격을 연산하는 단계; 및 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 단계를 포함한다.A method for effectively detecting a repeated pattern in an input image is provided. According to an aspect of the present invention, there is provided an image processing method comprising the steps of: performing clustering based on a color of each pixel with respect to pixels constituting an input image, thereby obtaining one or more color layers constituted by pixels included in each cluster; Selecting one or more effective layers among a plurality of pixels among the one or more color layers and including a predetermined number or more of pixel components having a predetermined shape or an area of a predetermined size; Selecting a unit pattern repetitively arranged for each effective layer, the position of which is different from the effective layer among the pixel components included in the effective layer; Calculating an interval between the unit patterns for each effective layer; And calculating the repetition period of the unit pattern for the input image by summing the intervals for each effective layer.

Description

FIELD OF THE INVENTION [0001] The present invention relates to a method and an apparatus for detecting a repetitive pattern in an image,

본 발명은 이미지에서 반복 패턴을 검출하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting a repeating pattern in an image.

반도체의 웨이퍼 또는 OLED, LED, LCD 기판의 결함을 검출하기 위해서, 자동 결함 분류(Automatic Defect Classification)와 같은 외관 불량을 감지하여 결함을 검출하는 기술이 사용되고 있다. 이러한 외관 검출 방식은 결함을 비교적 신속하게 발견하고 불량율을 현저히 낮춤으로서 생산비용의 절감과 같은 이점을 제공하였다.In order to detect defects in semiconductor wafers or OLEDs, LEDs, and LCD substrates, techniques for detecting defects such as automatic defect classification have been used. Such an appearance detection method has advantages such as a reduction in production cost by finding defects relatively quickly and significantly reducing the defect rate.

그런데, 종래의 외관 검출 방식은 결함이 없는 웨이퍼 또는 기판의 외관을 나타내는 기준 이미지(reference image)과 결함 유무의 판단이 필요한 테스트 이미지를 비교함으로써 결함을 검출한다. 따라서, 종래의 외관 검출 방식은 결함이 없는 웨이퍼 또는 기판에 대한 이미지, 즉, 기준 이미지가 필수적으로 제공되어야 한다.However, the conventional appearance detection system detects a defect by comparing a reference image showing the appearance of a defectless wafer or a substrate with a test image requiring determination of the presence or absence of a defect. Therefore, the conventional appearance detection system must provide an image for a defect-free wafer or substrate, that is, a reference image.

그러나, 일부 경우에는 기준 이미지를 제공하는 것이 어려울 수 있다. 예컨대, 만족스러운 선명도 및 정밀도의 요구 조건을 기술적으로 충족시키기 어렵거나, 각 단위 공정에서 개별적으로 제작되어야 하는 기준 이미지를 구성하는 생산 비용 및 소요 시간 제약이 있을 수 있다.However, in some cases it may be difficult to provide a reference image. For example, there may be production costs and time constraints that are difficult to technically meet the requirements of satisfactory sharpness and precision, or constitute reference images that must be produced individually in each unit process.

이와 같은 경우에, 기준 이미지의 제공 없이 테스트 이미지의 결함을 외관 검출 방식으로 감지할 필요가 있다.In such a case, it is necessary to detect the defects of the test image by the appearance detection method without providing the reference image.

본 발명이 해결하려는 과제는, 기준 이미지의 제공 없이 외관 검출 방식으로 결함을 검출할 수 있도록 하기 위해, 입력 이미지에서 반복되는 패턴을 효과적으로 검출하는 방법 및 장치를 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for effectively detecting a repeated pattern in an input image in order to be able to detect a defect by an appearance detection method without providing a reference image.

본 발명이 해결하려는 다른 과제는, 기준 이미지의 제공 없이 외관 검출 방식으로 결함을 검출할 수 있도록 하기 위해, 입력 이미지에서 검출한 반복 패턴을 이용하여 테스트 이미지의 결함을 검출하는 방법을 제공하는 것이다.Another problem to be solved by the present invention is to provide a method for detecting a defect in a test image using a repetitive pattern detected in an input image in order to be able to detect a defect by an appearance detection method without providing a reference image.

본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problems, and other matters not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 반복 패턴 검출 방법의 일 태양은, 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 단계; 상기 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계; 각 유효 레이어 별로, 상기 유효 레이어에 포함된 픽셀 컴포넌트 중 상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단계; 각 유효 레이어 별로 상기 단위 패턴 사이의 간격을 연산하는 단계; 및 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for detecting a repetitive pattern, comprising the steps of: clustering a pixel constituting an input image based on a color of each pixel; Obtaining at least one color layer to be rendered; Selecting one or more effective layers among a plurality of pixels among the one or more color layers and including a predetermined number or more of pixel components having a predetermined shape or an area of a predetermined size; Selecting a unit pattern repetitively arranged for each effective layer, the position of which is different from the effective layer among the pixel components included in the effective layer; Calculating an interval between the unit patterns for each effective layer; And calculating the repetition period of the unit pattern for the input image by summing the intervals for each effective layer.

상기 유효 레이어는 제1 및 제2 유효 레이어를 포함하고, 상기 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 단계는, 상기 제1 레이어에서 검출된 단위 패턴의 간격에 메디안(median)을 취한 제1 중간값을 연산하는 단계; 상기 제2 레이어에서 검출된 단위 패턴의 간격에 메디안을 취한 제2 중간값을 연산하는 단계; 및 상기 제1 중간값 및 상기 제2 중간값에 메디안을 취한 제3 중간값을 반복 주기로 결정하는 단계를 포함할 수 있다.Wherein the effective layer includes first and second effective layers, and the step of calculating the repetition period of the unit pattern for the input image by combining the intervals for each effective layer comprises: Calculating a first intermediate value that takes a median in an interval of the pattern; Calculating a second intermediate value obtained by taking a median in an interval of unit patterns detected in the second layer; And determining a third intermediate value that takes median for the first intermediate value and the second intermediate value as a repetition period.

상기 유효 레이어를 하나 이상 선정하는 단계는, 상기 색상 레이어 각각에 대해 연결 컴포넌트 라벨링(connected component labeling, CCL)을 수행하여 픽셀 컴포넌트를 획득하는 단계; 및 상기 획득한 픽셀 컴포넌트의 면적, 윤곽선, 둘레 길이, 한 쌍의 고유값 및 한 쌍의 고유벡터 중 적어도 하나를 획득하는 단계를 포함할 수 있다.Wherein the step of selecting one or more effective layers comprises: performing connected component labeling (CCL) on each of the color layers to obtain a pixel component; And obtaining at least one of an area, an outline, a circumference of the obtained pixel component, a pair of eigenvalues, and a pair of eigenvectors.

상기 유효 레이어를 하나 이상 선정하는 단계는, 상기 하나 이상의 색상 레이어 중, 상기 한 쌍의 고유값의 비율이 0.7 이상 1 이하인 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계를 포함할 수 있다.Wherein the step of selecting one or more effective layers includes the step of selecting one or more effective layers including a predetermined number or more of pixel components having a ratio of the pair of eigenvalues of 0.7 to 1 among the one or more color layers can do.

상기 유효 레이어를 하나 이상 선정하는 단계는, 상기 하나 이상의 색상 레이어 중, 상기 면적이 소정의 값 이상이고 상기 둘레 길이의 소정의 비율 이상인 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계를 포함할 수 있다.The step of selecting one or more effective layers may include selecting one or more effective layers among the one or more color layers that include a predetermined number or more of pixel components whose area is equal to or greater than a predetermined value and equal to or greater than a predetermined ratio of the circumferential length Step < / RTI >

상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단계는, 상기 각 픽셀 컴포넌트 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계를 포함할 수 있다.The step of selecting a unit pattern repeatedly disposed at different positions on the effective layer may include a step of selecting a unit pattern based on a cost function value for evaluating feature similarity between the pixel components.

상기 각 픽셀 컴포넌트 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계는, 상기 픽셀 컴포넌트의 면적, 윤곽선, 둘레 길이, 한 쌍의 고유값 및 한 쌍의 고유벡터 중 적어도 하나를 비교하여 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계를 포함할 수 있다.Wherein the step of selecting a unit pattern based on a cost function value for evaluating a feature similarity between each pixel component comprises the steps of calculating an area, an outline, a circumference, a pair of eigenvalues of the pixel component, And selecting a unit pattern on the basis of the cost function value for evaluating the feature similarity by comparing one of the unit patterns.

상기 각 픽셀 컴포넌트 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계는, 상기 픽셀 컴포넌트의 겹쳐지는 영역을 비교하여 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계를 포함할 수 있다.Wherein the step of selecting a unit pattern based on a cost function value for evaluating a feature similarity between the pixel components comprises the steps of comparing the overlapping areas of the pixel components, As shown in FIG.

상기 하나 이상의 색상 레이어를 획득하는 단계는, 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 중간 이동 클러스터링(mean shift clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 단계를 포함할 수 있다.Wherein the acquiring of the one or more color layers comprises performing mean shift clustering on the pixels constituting the input image based on the color of each pixel to obtain one or more And acquiring a color layer.

상기 반복 패턴 검출 방법은 상기 단위 패턴 및 상기 반복 주기를 이용하여 패턴 이미지를 형성하는 단계; 및 결함 유무의 판단이 필요한 테스트 이미지와 상기 패턴 이미지를 비교하여 결함을 검출하는 단계를 더 포함할 수 있다.The method of detecting a repeated pattern includes: forming a pattern image using the unit pattern and the repetition period; And detecting a defect by comparing the pattern image with a test image that requires determination of the presence or absence of a defect.

상기 과제를 해결하기 위한 본 발명의 반복 패턴 검출 장치의 일 태양은, 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 색상 클러스터링부; 상기 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 유효 레이어 선정부; 각 유효 레이어 별로, 상기 유효 레이어에 포함된 픽셀 컴포넌트 중 상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단위 패턴 검출부; 각 유효 레이어 별로 상기 단위 패턴 사이의 간격을 연산하고, 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 반복 주기 연산부를 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for detecting a repeated pattern, comprising: a plurality of pixels included in each cluster; A color clustering unit for obtaining at least one color layer to be obtained; An effective layer selection unit configured to select at least one valid layer including at least a predetermined number of pixel components having a predetermined shape or an area of a predetermined size, the at least one effective color layer being composed of a plurality of pixels; A unit pattern detection unit for selecting, for each effective layer, a unit pattern repetitively arranged among the pixel components included in the effective layer, the position of which is different from that of the effective layer; And a repetition period operation unit for calculating an interval between the unit patterns for each effective layer and calculating the repetition period of the unit pattern for the input image by combining the intervals for each effective layer.

상기 과제를 해결하기 위한 본 발명의 반복 패턴 검출 방법의 다른 태양은, 입력 이미지를 구성하는 픽셀에 대하여 에지(edge) 검출을 수행하여, 복수의 픽셀이 라인(line) 형상을 이루는 선형 픽셀 컴포넌트를 제거하는 단계; 상기 선형 픽셀 컴포넌트가 제거된 입력 이미지에서, 복수의 픽셀이 원 형상을 이루는 원형 픽셀 컴포넌트를 검출하는 단계; 상기 이미지에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정하고, 상기 그리드의 셀 내에 상기 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스(distribution matrix)를 구성하는 단계; 및 상기 원형 픽셀 컴포넌트 사이의 간격을 측정하여, 상기 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for detecting a repeated pattern, comprising: performing edge detection on pixels constituting an input image to generate a linear pixel component in which a plurality of pixels form a line; Removing; Detecting, in an input image from which the linear pixel component is removed, a circular pixel component having a plurality of pixels in a circular shape; Setting a grid in which a plurality of rectangular cells form a plurality of horizontal and vertical columns in the image and arranging the circular pixel components in the cells of the grid to form a distribution matrix; And computing the repetition period of the circular pixel component for the input image by measuring the spacing between the circular pixel components.

상기 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산하는 단계는, 상기 복수의 수직열 중 하나의 수직열에 배치된 원형 픽셀 컴포넌트 사이의 간격을 원소로 가지는 빈도수 매트릭스(frequency matrix)를 구성하는 단계; 및 상기 빈도수 매트릭스의 원소들에 대한 히스토그램(histogram)을 분석하여, 최다 빈도수를 가지는 원소 값을 반복 주기로 결정하는 단계를 포함할 수 있다.Wherein the step of computing the repetition period of the circular pixel component for the input image comprises: constructing a frequency matrix having as elements the spacing between the circular pixel components disposed in one of the plurality of vertical columns; And analyzing a histogram of the elements of the frequency matrix to determine an element value having the highest frequency as a repetition period.

상기 원형 픽셀 컴포넌트를 검출하는 단계는, 상기 원형 픽셀 컴포넌트와 다른 원형 픽셀 컴포넌트의 상관도를 평가하기 위한 교차 상관도 매트릭스(cross correlation matrix)를 구성하여 원형 픽셀 컴포넌트를 검출하는 단계를 포함할 수 있다.The step of detecting the circular pixel component may comprise detecting a circular pixel component by constructing a cross correlation matrix for evaluating the correlation of the circular pixel component with another circular pixel component .

상기 원형 픽셀 컴포넌트를 검출하는 단계는, 상기 선형 픽셀 컴포넌트가 제거된 입력 이미지에 대해 호프 변환(Hough transform)을 수행하여 상기 원형 픽셀 컴포넌트를 검출하는 단계를 포함할 수 있다.Detecting the circular pixel component may include detecting a circular pixel component by performing a Hough transform on the input image from which the linear pixel component is removed.

상기 그리드의 셀 내에 상기 원형 픽셀 컴포넌트를 분포 매트릭스를 구성하는 단계는, 상기 복수의 수직열 중, 상기 원형 픽셀 컴포넌트가 배치되지 않은 수직열을 삭제하는 단계를 더 포함할 수 있다.The step of constructing the distribution matrix of the circular pixel components in the cells of the grid may further comprise deleting, among the plurality of vertical columns, the vertical columns in which the circular pixel components are not arranged.

상기 과제를 해결하기 위한 본 발명의 반복 패턴 검출 장치의 다른 태양은, 입력 이미지를 구성하는 픽셀에 대하여 에지(edge) 검출을 수행하여, 복수의 픽셀이 라인(line) 형상을 이루는 선형 픽셀 컴포넌트를 제거하는 선형 픽셀 컴포넌트 제거부; 상기 선형 픽셀 컴포넌트가 제거된 입력 이미지에서, 복수의 픽셀이 원 형상을 이루는 원형 픽셀 컴포넌트를 검출하는 원형 픽셀 컴포넌트 검출부; 상기 이미지에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정하고, 상기 그리드의 셀 내에 상기 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성하는 분포 매트릭스 구성부; 및 상기 원형 픽셀 컴포넌트 사이의 간격을 측정하여, 상기 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산하는 반복 주기 연산부를 포함할 수 있다.According to another aspect of the present invention, there is provided a repetitive pattern detecting apparatus for performing edge detection on pixels constituting an input image to detect a linear pixel component having a plurality of pixels in a line form, Removing linear pixel component; A circular pixel component detection unit for detecting, in an input image from which the linear pixel component is removed, a circular pixel component having a plurality of pixels in a circular shape; A distribution matrix forming unit that sets a grid in which a plurality of rectangular cells form a plurality of horizontal and vertical columns in the image and arranges the circular pixel components in the cells of the grid to construct a distribution matrix; And a repetition period operator for calculating a repetition period of the circular pixel component with respect to the input image by measuring an interval between the circular pixel components.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 발명으로 인해, 입력 이미지로부터 반복 패턴을 검출함으로써, 기준 이미지의 제공 없이도 테스트 이미지의 결함을 외관 검출 방식으로 감지할 수 있다. 따라서, 기준 이미지가 제공되기 어려운 경우에도, 결함을 비교적 신속하게 발견하고 불량율을 현저히 낮추어 생산비용을 절감시킬 수 있는 외관 검출 방식을 그대로 사용할 수 있다.According to the present invention, by detecting a repetitive pattern from an input image, defects in a test image can be detected by an appearance detection method without providing a reference image. Therefore, even when the reference image is difficult to provide, it is possible to use an appearance detection method that can detect the defect relatively quickly and significantly reduce the defect rate and reduce the production cost.

또한, 본 발명으로 인해, 각 단위 공정에 적합한 기준 이미지를 일일이 제작할 필요 없이 주어진 입력 이미지만으로 테스트 이미지의 결함을 검출할 수 있으므로, 여러가지 다양한 공정에 있어 발생되는 각종 결함에 대해 유연하게 대처할 수 있을 뿐 아니라, 일부 공정이 다른 방식으로 변경된 경우 또는 다른 형태의 기판을 사용하는 것으로 변경된 경우와 같은 상황에서도 유연하고 신속하게 결함 검출을 할 수 있다.Further, according to the present invention, it is possible to detect a defect of a test image with only a given input image without having to individually prepare a reference image suitable for each unit process, so that it is possible to flexibly cope with various defects occurring in various various processes However, defect detection can be performed flexibly and quickly even in a situation where some processes are changed in a different manner or when a substrate is changed to another type of substrate.

도 1은 본 발명의 일 실시예에 따른 반복 패턴 검출 장치를 설명하기 위한 개략도이다.
도 2는 본 발명의 다른 실시예에 따른 반복 패턴 검출 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 입력 이미지를 도시한 것이다.
도 4는 본 발명의 다른 실시예에 따른 색상 클러스터링을 설명하기 위한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 색상 클러스터링 결과를 도시한 것이다.
도 6은 본 발명의 다른 실시예에 따른 유효 레이어 선정 과정을 설명하기 위한 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 선정된 유효 레이어를 도시한 것이다.
도 8은 본 발명의 다른 실시예에 따른 단위 패턴을 선정하는 과정을 설명하기 위한 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 단위 패턴을 도시한 것이다.
도 10은 본 발명의 다른 실시예에 따른 단위 패턴의 반복 주기를 연산하는 과정의 일부를 설명하기 위한 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 패턴 이미지를 구성한 결과를 도시한 것이다.
도 12는 본 발명의 다른 실시예에 따른 패턴 이미지와 테스트 이미지를 비교하여 결함을 검출하는 과정을 도시한 것이다.
도 13은 본 발명의 또 다른 실시예에 따른 반복 패턴 검출 장치를 설명하기 위한 개략도이다.
도 14는 본 발명의 또 다른 실시예에 따른 반복 패턴 검출 방법을 설명하기 위한 흐름도이다.
도 15는 본 발명의 또 다른 실시예에 따른 입력 이미지를 도시한 것이다.
도 16은 본 발명의 또 다른 실시예에 따른 분포 매트릭스를 도시한 것이다.
도 17은 본 발명의 또 다른 실시예에 따른 빈도수 매트릭스를 도시한 것이다.1 is a schematic view for explaining a repetitive pattern detecting apparatus according to an embodiment of the present invention.
2 is a flowchart for explaining a repetitive pattern detecting method according to another embodiment of the present invention.
3 illustrates an input image according to another embodiment of the present invention.
4 is a flowchart illustrating color clustering according to another embodiment of the present invention.
FIG. 5 shows color clustering results according to another embodiment of the present invention.
6 is a flowchart illustrating an effective layer selection process according to another embodiment of the present invention.
FIG. 7 illustrates a selected effective layer according to another embodiment of the present invention.
8 is a flowchart illustrating a process of selecting a unit pattern according to another embodiment of the present invention.
FIG. 9 shows a unit pattern according to another embodiment of the present invention.
10 is a flowchart illustrating a process of calculating a repetition period of a unit pattern according to another embodiment of the present invention.
FIG. 11 shows a result of constructing a pattern image according to another embodiment of the present invention.
FIG. 12 illustrates a process of detecting a defect by comparing a pattern image and a test image according to another embodiment of the present invention.
13 is a schematic view for explaining a repetitive pattern detecting apparatus according to another embodiment of the present invention.
14 is a flowchart for explaining a repetitive pattern detecting method according to another embodiment of the present invention.
15 shows an input image according to another embodiment of the present invention.
Figure 16 shows a distribution matrix according to another embodiment of the present invention.
17 shows a frequency matrix according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다. One element is referred to as being "connected to " or" coupled to "another element, either directly connected or coupled to another element, One case. On the other hand, when one element is referred to as being "directly connected to" or "directly coupled to " another element, it does not intervene another element in the middle. Like reference numerals refer to like elements throughout the specification. "And / or" include each and every combination of one or more of the mentioned items.

비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.Although the first, second, etc. are used to describe various elements, components and / or sections, it is needless to say that these elements, components and / or sections are not limited by these terms. These terms are only used to distinguish one element, element or section from another element, element or section. Therefore, it goes without saying that the first element, the first element or the first section mentioned below may be the second element, the second element or the second section within the technical spirit of the present invention.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

도 1은 본 발명의 일 실시예에 따른 반복 패턴 검출 장치를 설명하기 위한 블록 구성도이다. 도 1을 참조하면, 반복 패턴 검출 장치는 클러스터링을 수행하여 하나 이상의 색상 레이어를 획득하는 색상 클러스터링부(12), 하나 이상의 색상 레이어 중 유효 레이어를 선정하는 유효 레이어 선정부(13), 각 유효 레이어 별로 단위 패턴을 선정하는 단위 패턴 검출부(14) 및 각 유효 레이어 별로 단위 패턴 간격을 연산하고, 각 유효 레이어별 간격을 취합하여 패턴 반복 주기를 연산하는 반복 주기 연산부(15)를 포함한다. 상기 반복 패턴 검출 장치는 입력 이미지(11)을 입력으로 하고, 상술한 구성에 의해 반복 주기(16)를 연산한다. 1 is a block diagram illustrating a repetitive pattern detecting apparatus according to an embodiment of the present invention. 1, the repeating pattern detecting apparatus includes a color clustering unit 12 for performing clustering to obtain one or more color layers, an effective layer selecting unit 13 for selecting an effective layer among at least one color layer, And a repetition period calculating unit 15 for calculating a unit pattern interval for each effective layer and calculating intervals of each effective layer to calculate a pattern repetition period. The repetitive pattern detecting apparatus inputs the input image 11 and calculates the repetition period 16 by the above-described configuration.

도 2는 본 발명의 다른 실시예에 따른 반복 패턴 검출 방법을 설명하기 위한 흐름도이다.2 is a flowchart for explaining a repetitive pattern detecting method according to another embodiment of the present invention.

도 2를 참조하면, 색상 클러스터링부(12)는 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득한다(단계 S21).Referring to FIG. 2, the color clustering unit 12 performs clustering based on the color of each pixel with respect to the pixels constituting the input image, so that one or more color layers (Step S21).

구체적으로, 도 3은 본 발명의 다른 실시예에 따른 입력 이미지(31)을 도시한 것이고, 도 4는 본 발명의 다른 실시예에 따른 색상 클러스터링을 설명하기 위한 흐름도이다. 도 3을 참조하면, 입력 이미지(31)은 복수의 픽셀로 이루어진 다양한 색상을 가진 형상들을 포함할 수 있다. 이러한 형상들 중 일부는 일정한 간격을 가지는 패턴을 이룰 수 있고, 다른 일부는 규칙성이 없이 분포된 형상들일 수 있다. 색상 클러스터링부(12)는, 도 4를 참조하면, 유사한 색상의 픽셀들로만 이루어진 이미지를 얻기 위해, 입력 이미지(41)을 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링을 수행한다. 이 때, 입력 이미지(41)의 색상 분포에 대한 정보가 미리 제공되지 않는 것이 일반적이므로, 상기 클러스터링은 바람직하게는 평균 이동 클러스터링(mean shift clustering)일 수 있다. 평균 이동 클러스터링에 의해, 각 픽셀에 대한 색상 정보 값(예컨대, RGB 값)에 대한 대표 값을 선정하고, 그 대표 값을 이용하여 클러스터를 형성한다. 이에 따라, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 클러스터링된 색상 레이어(43)를 획득한다.3 shows an input image 31 according to another embodiment of the present invention, and FIG. 4 is a flowchart for explaining color clustering according to another embodiment of the present invention. Referring to FIG. 3, the input image 31 may include shapes having a plurality of colors and having various colors. Some of these shapes may be patterns with regular spacing, and others may be shapes without regularity. Referring to FIG. 4, the color clustering unit 12 performs clustering based on the color of each pixel with respect to the pixels constituting the input image 41, in order to obtain an image composed only of similar color pixels. In this case, since it is common that information on the color distribution of the input image 41 is not provided in advance, the clustering may be preferably mean shift clustering. A representative value for a color information value (e.g., an RGB value) for each pixel is selected by average moving clustering, and a cluster is formed using the representative value. Thus, one or more clustered color layers 43 consisting of pixels contained within each cluster are obtained.

도 5는 본 발명의 다른 실시예에 따른 색상 클러스터링 결과를 도시한 것이다. 즉, 본 발명의 일 실시예에 따라 입력 이미지를 색상 클러스터링하여 제1 색상 레이어(51), 제2 색상 레이어(52), 제3 색상 레이어(53), 제4 색상 레이어(54) 및 제5 색상 레이어(55)를 획득한 결과를 나타낸다.FIG. 5 shows color clustering results according to another embodiment of the present invention. That is, according to an exemplary embodiment of the present invention, an input image is color-clusted to form a first color layer 51, a second color layer 52, a third color layer 53, a fourth color layer 54, And the result of acquiring the color layer 55 is shown.

도 2를 다시 참조하면, 유효 레이어 선정부(13)는 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정한다(단계 S22). 단계 S21에서 획득한 하나 이상의 색상 레이어 중 반복 패턴을 검출하기 위해 불필요한 색상 레이어는 제외하고 필요한 색상 레이어만을 선정한다.Referring again to FIG. 2, the effective layer selection unit 13 selects an effective layer including a predetermined number or more of pixel components having a predetermined shape or an area of a predetermined size, among the one or more color layers, (Step S22). In order to detect a repetition pattern of one or more color layers obtained in step S21, unnecessary color layers are excluded and only necessary color layers are selected.

도 6은 본 발명의 다른 실시예에 따른 유효 레이어 선정 과정을 설명하기 위한 흐름도이다. 본 발명의 일 실시예에 따른 유효 레이어를 하나 이상 선정하는 단계는 다음과 같은 단계들을 포함할 수 있다. 먼저, 단계 S21에서 획득한 하나 이상의 색상 레이어 각각에 대해 연결 컴포넌트 라벨링(connected component labeling, CCL)을 수행하여 픽셀 컴포넌트(S_ij)를 획득한다(단계 S61). 구체적으로, 본 발명의 일 실시예에 따라 단계 S21에서 n 개(여기서, n은 n ≥ 1인 정수)의 색상 레이어를 획득한 경우, 그 중 i 번째 색상 레이어(여기서, i는 1 ≤ i ≤ n인 정수)는 m 종류(여기서, m은 m ≥ 1인 정수)의 픽셀 컴포넌트를 포함할 수 있다. 예를 들어, 도 5에 도시된 제2 색상 레이어(52)는 2 종류의 픽셀 컴포넌트, 즉, 평행사변형의 픽셀 컴포넌트와 원형의 픽셀 컴포넌트를 포함한다. 결국, 픽셀 컴포넌트(S_ij)는 i 번째 색상 레이어에 포함된 j 번째(여기서, j는 1 ≤ j ≤ m인 정수) 픽셀 컴포넌트를 지시하는 것이다. 다음으로, 획득한 픽셀 컴포넌트의 특징을 추출한다(단계 S62). 구체적으로, 픽셀 컴포넌트(S_ij)의 면적(A(S_ij)), 윤곽선, 둘레 길이(P(S_ij)), 한 쌍의 고유값(λ₁ ^ij, λ₂ ^ij) 및 한 쌍의 고유벡터(e₁ ^ij, e₂ ^ij) 중 적어도 하나를 획득한다(단계 S62). 여기서, 한 쌍의 고유값(λ₁ ^ij, λ₂ ^ij) 및 한 쌍의 고유벡터(e₁ ^ij, e₂ ^ij)는 예컨대 주성분 분석을 통해 획득할 수 있다.6 is a flowchart illustrating an effective layer selection process according to another embodiment of the present invention. The step of selecting one or more effective layers according to an embodiment of the present invention may include the following steps. First, connected component labeling (CCL) is performed on each of the one or more color layers acquired in step S21 to obtain a pixel component S _ij (step S61). In particular, if n (n is an integer of n? 1) color layers are obtained in step S21 according to an embodiment of the present invention, among the i-th color layers (i is 1? I? n) may include a pixel component of m types (where m is an integer equal to or greater than m). For example, the second color layer 52 shown in Fig. 5 includes two kinds of pixel components, i.e., a parallelogram pixel component and a circular pixel component. As a result, the pixel component S _ij indicates the j-th pixel component included in the i-th color layer (where j is an integer of 1 ≤ j ≤ m). Next, the feature of the acquired pixel component is extracted (step S62). Specifically, the pixel component (S _ij) area (A (S _ij)), the contour, the circumferential length (P (S _ij)), a pair of eigenvalues _{^{_{^{(λ 1 ij, λ 2 ij}}}} ) , and a unique pair of And acquires at least one of the vectors e ₁ ^ij and e ₂ ^ij (step S62). Here, a pair of eigenvalues (? ₁ ^ij ,? ₂ ^ij ) and a pair of eigenvectors (e ₁ ^ij , e ₂ ^ij ) can be obtained, for example, by principal component analysis.

픽셀 컴포넌트(S_ij)의 특징을 추출한 후, 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트를 유효한 픽셀 컴포넌트(S_ij ^a)로 선정한다. 소정 형상은, 예를 들어, 원형, 사각형, 삼각형 등을 포함할 수 있으나, 이에 한정되지 않는다. 원형의 픽셀 컴포넌트를 선정하기 위한 본 발명의 일 실시예에서, 한 쌍의 고유값(λ₁ ^ij, λ₂ ^ij)의 비율이 다음 조건을 만족하는(즉, 1에 가까운 값을 가지는) 픽셀 컴포넌트는 유효한 픽셀 컴포넌트로 선정될 수 있다(단계 S63).After extracting the feature of the pixel component S _ij , a pixel component having a predetermined shape or having an area of a predetermined size is selected as ^a valid pixel component S _ij ^a . The predetermined shape may include, for example, a circle, a square, a triangle, and the like, but is not limited thereto. In one embodiment of the present invention for selecting circular pixel components, the ratio of a pair of eigenvalues (? ₁ ^ij ,? ₂ ^ij ) satisfies the following condition (i. E. May be selected as valid pixel components (step S63).

λ₁ ^ij / λ₂ ^ij ≒ 1? ₁ ^ij /? ₂ ^ij ? 1

본 발명의 다른 실시예에서, 한 쌍의 고유값(λ₁ ^ij, λ₂ ^ij)의 비율이 0.5 이상 1 이하인 픽셀 컴포넌트가 유효한 픽셀 컴포넌트로 선정될 수 있다. 또한, 본 발명의 또 다른 실시예에서, 한 쌍의 고유값(λ₁ ^ij, λ₂ ^ij)의 비율이 0.7 이상 1 이하이거나, 0.8 이상 1 이하이거나, 또는 0.9 이상 1 이하인 픽셀 컴포넌트가 유효한 픽셀 컴포넌트로 선정될 수 있다.In another embodiment of the present invention, a pixel component whose ratio of a pair of eigenvalues (? ₁ ^ij ,? ₂ ^ij ) is equal to or greater than 0.5 and equal to or less than 1 may be selected as a valid pixel component. Further, in another embodiment of the present invention, a pixel component in which the ratio of the pair of eigenvalues (? ₁ ^ij ,? ₂ ^ij ) is 0.7 or more and 1 or less, or 0.8 or more and 1 or less, or 0.9 or more and 1 or less, It can be selected as a component.

다음으로, 소정 크기의 면적을 갖는 픽셀 컴포넌트를 선정하기 위한 본 발명의 일 실시예에서, 픽셀 컴포넌트의 면적(A(S_ij))이 다음 조건을 만족하는 픽셀 컴포넌트는 유효한 픽셀 컴포넌트로 선정될 수 있다(단계 S64).Next, in an embodiment of the present invention for selecting a pixel component having an area of a predetermined size, a pixel component whose area A (S _ij ) satisfies the following condition can be selected as a valid pixel component (Step S64).

A(S_ij) > T_A 이고 A(S_ij) > αP(S_ij)A (S _ij )> T _A and A (S _ij )> α P (S _ij )

여기서, T_A는 구체적인 공정에서 정해질 수 있는 값이며, 예를 들어, 입력 이미지 크기의 1% 이하의 값을 가질 수 있다. 한편, αP(S_ij)는 픽셀 컴포넌트(S_ij)의 둘레 길이에 대한 소정 비율을 의미하는 것으로서, 예를 들어, α는 1 이상의 값을 가질 수 있다.Here, T _A is a value that can be determined in a specific process, for example, it may have a value of 1% or less of the input image size. On the other hand, as to αP (S _ij) refers to a predetermined percentage of the circumference of the pixel component (S _ij), for example, α may have a value of 1 or more.

이로부터, 상기 유효한 픽셀 컴포넌트를 소정의 개수 이상을 포함하는 색상 레이어가 유효 레이어로 선정된다. 예를 들면, 상기 유효한 픽셀 컴포넌트를 2 개 이상 포함하는 색상 레이어가 유효 레이어로 선정될 수 있다. 도 7은 다른 발명의 일 실시예에 따른 선정된 유효 레이어를 도시한 것이다. 즉, 본 발명의 일 실시예에 따라 유효 레이어를 선정하여 제1 유효 레이어(72), 제2 유효 레이어(73) 및 제3 유효 레이어(74)를 획득한 결과를 나타낸다.From this, a color layer including a predetermined number or more of the valid pixel components is selected as an effective layer. For example, a color layer including two or more valid pixel components may be selected as an effective layer. FIG. 7 illustrates a selected effective layer according to an embodiment of the invention. That is, it shows the result of obtaining the first effective layer 72, the second effective layer 73, and the third effective layer 74 by selecting an effective layer according to an embodiment of the present invention.

도 2를 다시 참조하면, 단위 패턴 검출부(14)는 각 유효 레이어 별로, 유효 레이어에 포함된 픽셀 컴포넌트(즉, 유효한 픽셀 컴포넌트(S_ij ^a)) 중 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정한다(단계 S23). 바람직하게는 각 픽셀 컴포넌트(S_ij ^a) 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정할 수 있다. 여기서 특징 유사도는, 픽셀 컴포넌트(S_ij ^a)의 특징, 예컨대, 단계 S62에서 추출된 픽셀 컴포넌트(S_ij ^a)의 면적(A(S_ij ^a)), 윤곽선, 둘레 길이(P(S_ij ^a)), 한 쌍의 고유값(λ₁ ^ij, λ₂ ^ij) 및 한 쌍의 고유벡터(e₁ ^ij, e₂ ^ij) 중 적어도 하나에 대한 유사도일 수 있고, 구체적으로 임의의 두 픽셀 컴포넌트(S_ij ^a)를 비교하여 비용 함수값을 산출하는 방식으로 유사도를 평가할 수 있다. 예컨대, 단위 패턴은 임의의 두 픽셀 컴포넌트(S_ij ^a)의 겹쳐지는 영역을 비교하여 매칭하고, 그 비용 함수 값을 기초로 하여 선정될 수 있다. 또한, 단위 패턴은 임의의 두 픽셀 컴포넌트(S_ij ^a)의 윤곽선을 비교하여 매칭하고, 그 비용 함수 값을 기초로 하여 선정될 수도 있다.Referring again to FIG. 2, the unit pattern detecting unit 14 detects the unit patterns repeatedly arranged in the effective layer among the pixel components (i.e., valid pixel components S _ij ^a ) included in the effective layer for each effective layer Pattern is selected (step S23). Preferably, ^a unit pattern may be selected based on a cost function value for evaluating feature similarity between each pixel component (S _ij ^a ). Here, the feature similarity is calculated based on the feature of the pixel component S _ij ^a , for example, the area A (S _ij ^a ) of the pixel component S _ij ^a extracted in step S62, the contour, the circumferential length P (S _ij ^a ), A similarity to at least one of a pair of eigenvalues (? ₁ ^ij ,? ₂ ^ij ) and a pair of eigenvectors (e ₁ ^ij , e ₂ ^ij ), and specifically, S _ij ^a ) are compared with each other to calculate the cost function value. For example, the unit pattern may be selected based on the comparison of the overlapping areas of two arbitrary pixel components S _ij ^a and matching and the cost function value. In addition, the unit pattern may be selected based on the comparison of the contours of two arbitrary pixel components S _ij ^a and matching and the cost function value.

도 8은 본 발명의 다른 실시예에 따른 단위 패턴을 선정하는 과정을 설명하기 위한 흐름도이다. 먼저, 상술한 바와 같이, 각 픽셀 컴포넌트(S_ij ^a) 사이의 특징 유사도를 평가한다(단계 S81). 여기서, 임의의 두 픽셀 컴포넌트의 특징을 비교 및 매칭하여 그 비용 함수의 값이 소정의 임계값(T) 이하이면, 상기 두 픽셀 컴포넌트는 입력 이미지의 반복 패턴을 이루는 단위 패턴으로서 취급될 수 있다. 이에 따라, 각 픽셀 컴포넌트(S_ij ^a)의 오른쪽에 가장 인접하면서 비용 함수의 값이 소정의 임계값(T) 이하인 픽셀 컴포넌트(S_ijR ^a)(이하, '오른쪽 이웃')를 선정하고, 각 픽셀 컴포넌트(S_ij ^a)의 아래쪽에 가장 인접하면서 비용 함수의 값이 소정의 임계값(T) 이하인 픽셀 컴포넌트(S_ijB ^a)(이하, '아래쪽 이웃')를 선정할 수 있다. 이렇게 선정된 픽셀 컴포넌트(S_ij ^a)는 입력 이미지로부터 검출한 패턴의 단위 패턴이 된다.8 is a flowchart illustrating a process of selecting a unit pattern according to another embodiment of the present invention. First, as described above, feature similarity between each pixel component S _ij ^a is evaluated (step S81). Here, if the characteristics of any two pixel components are compared and matched so that the value of the cost function is less than a predetermined threshold value T, the two pixel components can be treated as a unit pattern constituting a repetitive pattern of the input image. Accordingly, ^a pixel component S _ijR ^a (hereinafter referred to as "right neighbor") having the value of the cost function closest to the right of each pixel component S _ij ^a and being equal to or less than a predetermined threshold value T is selected, A pixel component S _ijB ^a (hereinafter referred to as a 'lower neighbor') having a value of the cost function closest to the lower side of the pixel component S _ij ^a and equal to or less than a predetermined threshold value T can be selected. The pixel component S _ij ^a thus selected becomes a unit pattern of the pattern detected from the input image.

도 2를 다시 참조하면, 반복 주기 연산부(15)는 각 유효 레이어 별로 단위 패턴 사이의 간격을 연산하고(단계 S24), 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산한다(단계 S25). 구체적으로, 단계 S24는 픽셀 컴포넌트(S_ij ^a)와 오른쪽 이웃(S_ijR ^a) 사이의 거리 및 픽셀 컴포넌트(S_ij ^a)와 아래쪽 이웃(S_ijB ^a) 사이의 거리를 연산하여 획득될 수 있다. 도 9는 다른 발명의 일 실시예에 따른 단위 패턴을 도시한 것이다. 예컨대, 레이어(93)는 사각형의 픽셀 컴포넌트(S_ij ^a)의 오른쪽 이웃(S_ijR ^a)과 아랫쪽 이웃(S_ijB ^a)을 직선으로 연결한 것을 나타내고 있다. 즉, 레이어(93)에서 사각형의 픽셀 컴포넌트(S_ij ^a)는 단위 패턴이 되고, 연결된 직선의 길이가 곧 단위 패턴 사이의 간격이 된다. 대부분의 경우에는 상기 간격이 단위 패턴의 반복 주기가 될 수 있다. 그러나, 픽셀 컴포넌트의 일부 누락이 있는 것과 같은 몇몇의 경우에는 단위 패턴 사이의 간격 값 중 일부는 단위 패턴의 반복 주기와 다를 수 있다.Referring to FIG. 2 again, the repetition period calculating unit 15 calculates the spacing between unit patterns for each effective layer (step S24), collects the intervals for each effective layer, and repeats the repetition of the unit pattern for the input image (Step S25). Specifically, the step S24 may be obtained by calculating the distance between the pixel component (S _ij ^a) the distance and pixel component between the right neighbors _{^{_{(S ijR a) (S ij}}} a) and the down neighbor (S _ijB ^a) . FIG. 9 illustrates a unit pattern according to another embodiment of the present invention. For example, layer 93 indicates that a right neighbor (S _ijR ^a ) and a lower neighbor (S _ijB ^a ) of ^a square pixel component (S _ij ^a ) are connected by a straight line. That is, the rectangular pixel component S _ij ^a in the layer 93 becomes a unit pattern, and the length of the connected straight line becomes the interval between the unit patterns. In most cases, the interval may be a repetition period of the unit pattern. However, in some cases, such as some missing pixel components, some of the spacing values between unit patterns may be different from the repeating period of the unit pattern.

따라서, 본 발명의 일 실시예에서는, 단위 패턴의 올바른 반복 주기를 연산하기 위해 단위 패턴의 간격 값들의 중간값을 취하는 방법을 사용한다. 도 10은 본 발명의 다른 실시예에 따른 단위 패턴의 반복 주기를 연산하는 과정의 일부를 설명하기 위한 흐름도이다. 도 10을 참조하면, 단계 S25는 제1 레이어에서 검출된 단위 패턴의 모든 간격에 메디안(median)을 취한 제1 중간값(d_iH ^a, d_iV ^a)을 연산한다(단계 S101 및 S102). 다음으로, 단계 S25는 제2 레이어에서 검출된 단위 패턴의 모든 간격에 메디안을 취한 제2 중간값을 연산한 후, 제1 중간값 및 제2 중간값에 메디안을 취한 제3 중간값을 반복 주기로 결정할 수 있다.Therefore, in an embodiment of the present invention, a method of taking an intermediate value of interval values of unit patterns is used to calculate a correct repetition period of unit patterns. 10 is a flowchart illustrating a process of calculating a repetition period of a unit pattern according to another embodiment of the present invention. Referring to FIG. 10, a step S25 calculates a first intermediate value (d _iH ^a , d _iV ^a ) obtained by taking a median in all intervals of the unit pattern detected in the first layer (steps S101 and S102). Next, in step S25, a second intermediate value obtained by taking a median in all the intervals of the unit pattern detected in the second layer is calculated, and then a third intermediate value obtained by medianizing the first intermediate value and the second intermediate value is set as a repetition period You can decide.

도 11은 본 발명의 다른 실시예에 따른 패턴 이미지(111)을 구성한 결과를 도시한 것이다. 도 11을 참조하면, 상술한 방법에 의해 획득한 패턴 및 단위 패턴의 반복 주기를 이용하여 패턴 이미지(111)이 형성되어 있다. 특히, 패턴 이미지(111)에는 영역(112)과 같은 패턴이 가로, 세로로 2번씩 반복됨을 알 수 있다.FIG. 11 shows a result of constructing a pattern image 111 according to another embodiment of the present invention. Referring to FIG. 11, a pattern image 111 is formed using a repetition period of a pattern and a unit pattern obtained by the above-described method. Particularly, in the pattern image 111, the same pattern as the area 112 is repeated twice horizontally and vertically.

도 12는 본 발명의 다른 실시예에 따른 패턴 이미지(121)과 테스트 이미지(122)을 비교하여 결함을 검출하는 과정을 도시한 것이다. 도 12에 도시된 바와 같이, 상술한 방법으로 구성한 패턴 이미지를 결함 유무의 판단이 필요한 테스트 이미지와 비교함으로써 테스트 이미지에 존재할 수 있는 결함을 검출할 수 있다.FIG. 12 illustrates a process of detecting a defect by comparing a pattern image 121 and a test image 122 according to another embodiment of the present invention. As shown in FIG. 12, it is possible to detect a defect that may exist in the test image by comparing the pattern image formed by the above-described method with a test image that requires determination of the presence or absence of a defect.

본 발명의 상술한 실시예로 인해, 입력 이미지로부터 반복 패턴을 검출함으로써, 기준 이미지의 제공 없이도 테스트 이미지의 결함을 외관 검출 방식으로 감지할 수 있다. 또한, 각 단위 공정에 적합한 기준 이미지를 일일이 제작할 필요 없이 주어진 입력 이미지만으로 테스트 이미지의 결함을 검출할 수 있으므로, 여러가지 다양한 공정에 있어 발생되는 각종 결함에 대해 유연하게 대처할 수 있을 뿐 아니라, 일부 공정이 다른 방식으로 변경된 경우 또는 다른 형태의 기판을 사용하는 것으로 변경된 경우와 같은 상황에서도 유연하고 신속하게 결함 검출을 할 수 있다.Due to the above-described embodiment of the present invention, it is possible to detect defects of a test image by an appearance detection method without providing a reference image by detecting a repeated pattern from the input image. In addition, since it is possible to detect defects of a test image with only a given input image without having to individually produce reference images suitable for each unit process, it is possible to flexibly cope with various defects occurring in various various processes, It is possible to detect defects flexibly and promptly even in the case of changing to another mode or using a different type of substrate.

이상 단위 패턴이 임의의 형상인 경우에 반복 패턴을 검출하는 방법 및 장치에 대한 일 실시예를 설명하였으며, 이후에는 단위 패턴이 특히 원형인 경우에 반복 패턴을 검출하는 방법 및 장치에 대한 일 실시예를 설명한다.An embodiment of a method and an apparatus for detecting a repetitive pattern when the unit pattern has an arbitrary shape has been described and thereafter an embodiment of a method and an apparatus for detecting a repetitive pattern when the unit pattern is particularly circular .

도 13은 본 발명의 또 다른 실시예에 따른 반복 패턴 검출 장치를 설명하기 위한 블록 구성도이다. 도 13을 참조하면, 반복 패턴 검출 장치는 에지(edge) 검출을 수행하여 선형 픽셀 컴포넌트를 제거하는 선형 픽셀 컴포넌트 제거부(132), 원형 픽셀 컴포넌트를 검출하는 원형 픽셀 컴포넌트 검출부(133), 그리드를 설정하고 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성하는 분포 매트릭스 구성부(134) 및 원형 픽셀 컴포넌트 간격 및 패턴 반복 주기를 연산하는 반복 주기 연산부(135)를 포함한다. 반복 패턴 검출 장치는 입력 이미지(131)을 입력으로 하고, 상술한 구성에 의해 반복 주기(136)를 연산한다.13 is a block diagram illustrating a repetitive pattern detecting apparatus according to another embodiment of the present invention. Referring to FIG. 13, the repetitive pattern detecting apparatus includes a linear pixel component removing unit 132 for performing edge detection to remove a linear pixel component, a circular pixel component detecting unit 133 for detecting a circular pixel component, A distribution matrix constructing section 134 for constructing a distribution matrix by arranging circular pixel components and a repetition period computing section 135 for computing circular pixel component intervals and a pattern repetition period. The repetitive pattern detecting apparatus inputs the input image 131 and calculates the repetition period 136 by the above-described configuration.

도 14는 본 발명의 또 다른 실시예에 따른 반복 패턴 검출 방법을 설명하기 위한 흐름도이다.14 is a flowchart for explaining a repetitive pattern detecting method according to another embodiment of the present invention.

도 14를 참조하면, 입력 이미지에서 원형의 단위 패턴을 검출하기 위해, 선형 픽셀 컴포넌트 제거부(13)는 입력 이미지를 구성하는 픽셀에 대하여 에지 검출을 수행하여, 복수의 픽셀이 라인(line) 형상을 이루는 선형 픽셀 컴포넌트를 제거한다(단계 S141). 입력 이미지에서 에지를 검출함으로써 입력 이미지에서 선형 또는 원형 픽셀 컴포넌트를 검출하는 것이 용이하게 된다. 에지를 검출하기 위해, 바람직하게는, 입력 이미지에 대해 가우시안 블러링 필터(Gaussian blurring filter)와 캐니 에지 검출기(canny edge detector)를 이용할 수 있다. 에지 검출을 수행한 후, 입력 이미지에서 선형 픽셀 컴포넌트를 제거한다.14, in order to detect a circular unit pattern in an input image, a linear pixel component removing unit 13 performs edge detection on pixels constituting an input image so that a plurality of pixels are arranged in a line shape (Step S141). Detecting edges in the input image facilitates detecting linear or circular pixel components in the input image. To detect the edge, preferably a Gaussian blurring filter and a canny edge detector may be used for the input image. After edge detection is performed, the linear pixel component is removed from the input image.

다음으로, 선형 픽셀 컴포넌트가 제거된 입력 이미지에서, 복수의 픽셀이 원 형상을 이루는 원형 픽셀 컴포넌트를 검출한다(단계 S142). 예를 들면, 단계 S142는 선형 픽셀 컴포넌트가 제거된 입력 이미지에 대해 호프 변환(Hough transform)을 수행하여 원형 픽셀 컴포넌트를 검출할 수 있다.Next, in the input image from which the linear pixel component is removed, a circular pixel component in which a plurality of pixels form a circle is detected (step S142). For example, step S142 may perform a Hough transform on the input image from which the linear pixel component has been removed to detect the circular pixel component.

그런데, 이와 같은 호프 변환에 의하면 노이즈(noise)가 발생되어 원형 픽셀 컴포넌트를 잘못 검출하는 문제가 생길 수 있다. 이러한 문제를 방지하기 위해, 원형 픽셀 컴포넌트와 다른 원형 픽셀 컴포넌트의 상관도를 평가하기 위한 교차 상관도 매트릭스(cross correlation matrix)를 구성하여 원형 픽셀 컴포넌트를 검출할 수 있다. 교차 상관도 매트릭스는 각 원형 픽셀 컴포넌트와 다른 원형 픽셀 컴포넌트의 유사도를 값으로 나타낸 원소들을 포함한다. 원형 픽셀 컴포넌트와 다른 원형 픽셀 컴포넌트가 유사할수록 교차 상관도 매트릭스를 구성하는 원소의 값은 크고, 유사하지 않을 수록 낮은 값이 되어, 소정의 값 이하의 원소에 대응되는 원형 픽셀 컴포넌트는 잘못 검출된 것으로 분류되어 반복 패턴 검출 대상에서 삭제될 수 있다.However, according to the Hope Transformation, noise may be generated and a circular pixel component may be erroneously detected. To prevent this problem, a circular pixel component can be detected by constructing a cross correlation matrix for evaluating the correlation between the circular pixel component and other circular pixel components. The cross-correlation matrix includes elements that value the similarity of each circular pixel component to other circular pixel components. As the circular pixel component is similar to other circular pixel components, the values of the elements constituting the cross correlation matrix are larger, and the lower the values are, the smaller the circular pixel component corresponding to an element below a predetermined value is It can be classified and deleted in the repeated pattern detection object.

도 15는 본 발명의 또 다른 실시예에 따른 입력 이미지를 도시한 것이다. 입력 이미지(151)은 원형 픽셀 컴포넌트(152)와 원형으로 잘못 검출된 픽셀 컴포넌트(154)를 포함한다. 미존재 영역(153)은 패턴의 규칙적인 형태로 보면 원형 픽셀 컴포넌트가 존재할 가능성이 있으나 실제로는 존재하지 않는 영역을 나타낸다.15 shows an input image according to another embodiment of the present invention. The input image 151 includes a circular pixel component 152 and a circularly incorrectly detected pixel component 154. The non-existent region 153 indicates a region where there is a possibility that a circular pixel component exists in a regular form of the pattern but does not actually exist.

도 14를 다시 참조하면, 이미지에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정하고, 그리드의 셀 내에 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스(distribution matrix)를 구성한다(단계 S143). 구체적으로, 입력 이미지(161)에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정한다. 다음으로, 그리드의 셀 내에 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성한다. 이와 관련하여, 도 16은 본 발명의 또 다른 실시예에 따른 분포 매트릭스를 도시한 것이다. 도 16에서는 400개의 사각형 셀이 20개의 수평열과 20개의 수직열을 형성하는 그리드를 설정하였고, 원형 픽셀 컴포넌트(162, 163, 164)는 그리드를 구성하는 하나의 수직열에 분포되어 있음을 알 수 있다.Referring again to FIG. 14, a grid is set up in which a plurality of rectangular cells form a plurality of horizontal and vertical columns in the image, and a circular pixel component is arranged in the cells of the grid to constitute a distribution matrix (step S143 ). Specifically, a grid in which a plurality of rectangular cells form a plurality of horizontal rows and vertical columns in the input image 161 is set. Next, the distribution matrix is constructed by placing circular pixel components in the cells of the grid. In this regard, Figure 16 illustrates a distribution matrix according to another embodiment of the present invention. In FIG. 16, it is seen that 400 rectangular cells form a grid forming 20 horizontal columns and 20 vertical columns, and circular pixel components 162, 163 and 164 are distributed in one vertical column constituting the grid .

입력 이미지에 그리드를 설정한 후 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성하는 일부 경우에 있어서, 그리드를 구성하는 일부 수직열에는 원형 픽셀 컴포넌트가 전혀 배치되지 않을 수 있다. 그러면, 원형 픽셀 컴포넌트가 전혀 배치되지 않은 일부 수직열은 그리드 셀만 설정이 되어 있을 뿐 그 셀의 내부는 비어 있는 것이므로, 반복 패턴 검출 과정에 불필요한 연산을 방지하기 위해, 이러한 수직열을 삭제할 수 있다. 이와 같이 분포 매트릭스에서 반복 패턴 검출 과정에 불필요한 수직열을 삭제하여 컴팩트 분포 매트릭스(compact distribution matrix)를 구성 할 수도 있다.In some cases where a distribution matrix is constructed by placing a circular pixel component after setting the grid in the input image, there may be no circular pixel component disposed in some vertical columns that constitute the grid. In this case, since some of the vertical columns in which the circular pixel component is not disposed are only the grid cells but the interior of the cells is empty, this vertical column can be deleted in order to prevent unnecessary operations in the repeated pattern detection process. In this manner, a compact distribution matrix can be constructed by deleting unnecessary vertical columns in the repeated pattern detection process in the distribution matrix.

도 14를 다시 참조하면, 원형 픽셀 컴포넌트 사이의 간격을 측정하여(단계 S144), 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산한다(단계 S145). 먼저, 그리드를 구성하는 복수의 수직열 중 하나의 수직열에 배치된 원형 픽셀 컴포넌트 사이의 간격을 측정하여 그 값을 원소로 가지는 빈도수 매트릭스(frequency matrix)를 구성한다. 예를 들면, 본 발명의 일 실시예에서 원형 픽셀 컴포넌트 사이의 간격은, 도 16에 도시된 바와 같은, 원형 픽셀 컴포넌트 사이의 사각형 셀의 개수로 측정할 수 있다.Referring again to FIG. 14, the spacing between the circular pixel components is measured (step S144), and the repetition period of the circular pixel component for the input image is calculated (step S145). First, an interval between circular pixel components arranged in one vertical column among a plurality of vertical columns constituting the grid is measured and a frequency matrix having the values as elements is constructed. For example, in an embodiment of the present invention, the spacing between circular pixel components can be measured by the number of square cells between circular pixel components, as shown in FIG.

다음으로, 빈도수 매트릭스의 원소들에 대한 히스토그램(histogram)을 분석하여, 최다 빈도수를 가지는 원소 값을 반복 주기로 결정한다. 이와 관련하여, 도 17은 본 발명의 또 다른 실시예에 따른 빈도수 매트릭스를 도시한 것이다. 빈도수 매트릭스의 2열을 참조하면 5의 값을 원소와 10의 값을 갖는 원소가 존재한다. 도 16을 같이 참조하면, 원형 픽셀 컴포넌트(163, 164) 사이의 거리가 5이고, 원형 픽셀 컴포넌트(162, 163) 사이의 거리는 예컨대 10이 될 수 있다.Next, the histogram of the elements of the frequency matrix is analyzed to determine the element value having the highest frequency as a repetition period. In this regard, FIG. 17 illustrates a frequency matrix according to another embodiment of the present invention. Referring to column 2 of the frequency matrix, an element having a value of 5 and an element having a value of 10 are present. 16, the distance between the circular pixel components 163, 164 is 5, and the distance between the circular pixel components 162, 163 may be 10, for example.

즉, 패턴의 규칙적인 형태로 보면 원형 픽셀 컴포넌트가 존재할 가능성이 있으나 실제로는 존재하지 않는 영역에 의해, 원형 픽셀 컴포넌트(162, 163) 사이의 거리가 10으로 측정되는 것이다. 그러나 이러한 값(즉, 10)은 원형 픽셀 컴포넌트의 올바른 반복 주기의 값이 될 수 없다. 올바른 반복 주기를 연산하기 위해 도 17에 도시된 빈도수 매트릭스의 히스토그램을 분석해 보면, 5의 값을 가지는 원소의 개수가 3, 7, 10의 값을 가지는 원소의 개수보다 현저히 많음을 알 수 있다. 이로부터, 패턴의 구체적인 형태는 5의 간격을 규칙적으로 가지는 원형 픽셀 컴포넌트들이 가로 및 세로로 분포한 것이라는 결론을 도출할 수 있다.That is, in the regular form of the pattern, the distance between the circular pixel components 162 and 163 is measured as 10 by a region where there is a possibility that a circular pixel component exists but actually does not exist. However, this value (i.e., 10) can not be the value of the correct repetition period of the circular pixel component. To analyze the histogram of the frequency matrix shown in FIG. 17 to calculate the correct repetition period, it can be seen that the number of elements having a value of 5 is significantly larger than the number of elements having values of 3, 7, and 10. From this, it can be concluded that the specific form of the pattern is that the circular pixel components having regular intervals of 5 are distributed horizontally and vertically.

도 12와 관련하여 설명한 것과 마찬가지로, 상술한 방법에 의해 획득한 반복 주기를 이용하여 구성한 패턴 이미지를 결함 유무의 판단이 필요한 테스트 이미지와 비교함으로써 테스트 이미지에 존재할 수 있는 결함을 검출할 수 있다.
본 발명의 다양한 실시예에 따른 반복 패턴 검출 방법 및 장치는 반도체 분야에 적용될 수 있다. 예를 들어, 본 발명의 다양한 실시예에 따를 반복 패턴 검출 방법 및 장치는 복수의 반도체 소자를 포함하는 웨이퍼 또는 OLED, LED, LCD(예컨대, TFT-LCD)에 관련된 디스플레이 장치의 결함을 검출하기 위해 사용되거나, BGA(Ball Grid Array)를 비롯한 반도체 패키징 관련 분야에 있어서 반도체 소자의 단락을 비롯한 결함을 검출하기 위해 사용될 수 있다. 구체적으로, 규칙적인 배열로 형성되어 디스플레이를 형성하는 OLED, LED 소자 또는 LCD의 화소들의 배치로부터 상술한 바와 같은 반복 패턴을 추출하여 기준 이미지 없이 OLED, LED, LCD(예컨대, TFT-LCD) 기판의 결함을 검출할 수 있고, BGA에서 그리드 배열을 이루는 볼(ball)의 배치로부터 상술한 바와 같은 반복 패턴을 추출하여 기준 이미지 없이 BGA의 결함을 검출할 수 있다. 뿐만 아니라, 복수의 반도체 칩을 포함하는 웨이퍼에 대해서도 본 발명의 다양한 실시예를 적용하여 기준 이미지 없이 반복 패턴을 검출하는 방식으로 반도체 칩의 결함을 검출할 수도 있다.12, it is possible to detect a defect that may exist in the test image by comparing the pattern image formed using the repetition period obtained by the above-described method with a test image that requires determination of the presence or absence of a defect.
The repeated pattern detection method and apparatus according to various embodiments of the present invention can be applied to the semiconductor field. For example, a repetitive pattern detection method and apparatus according to various embodiments of the present invention may be used to detect defects in a wafer or a display device associated with an OLED, LED, LCD (e.g., TFT-LCD) comprising a plurality of semiconductor elements Or may be used to detect defects, including short circuiting of semiconductor devices, in the semiconductor packaging related field including Ball Grid Array (BGA). Specifically, a repeating pattern as described above is extracted from the arrangement of pixels of an OLED, an LED element, or an LCD formed in a regular arrangement to form a display, thereby obtaining an OLED, an LED, an LCD (e.g., a TFT- It is possible to detect a defect and to detect a defect of a BGA without extracting a reference image by extracting a repetition pattern as described above from the arrangement of the balls forming the grid array in the BGA. In addition, it is also possible to detect defects of a semiconductor chip by a method of detecting repeated patterns without reference images by applying various embodiments of the present invention to wafers including a plurality of semiconductor chips.

특히 반도체 소자의 집적도가 높은 패턴을 이용하는 반도체 공정에서, 입력 이미지로부터 반복 패턴을 검출함으로써, 기준 이미지의 제공 없이도 테스트 이미지의 결함을 외관 검출 방식으로 감지할 수 있다. 또한, 반도체 분야의 각 단위 공정에 적합한 기준 이미지를 일일이 제작할 필요 없이 주어진 입력 이미지만으로 테스트 이미지의 결함을 검출할 수 있으므로, 반도체 분야의 여러가지 다양한 공정에 있어 발생되는 각종 결함에 대해 유연하게 대처할 수 있을 뿐 아니라, 일부 공정이 다른 방식으로 변경된 경우 또는 다른 형태의 기판을 사용하는 것으로 변경된 경우와 같은 상황에서도 유연하고 신속하게 결함 검출을 할 수 있다.In particular, in a semiconductor process using a pattern having a high degree of integration of semiconductor elements, it is possible to detect defects of a test image by an appearance detection method without providing a reference image by detecting a repeated pattern from an input image. In addition, it is possible to detect a defect of a test image with only a given input image without having to individually prepare a reference image suitable for each unit process in the semiconductor field, so that it is possible to flexibly cope with various defects occurring in various processes of the semiconductor field In addition, it is possible to detect defects flexibly and promptly even in the case where some processes are changed in other ways or in the case of changing to use another type of substrate.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

11: 입력 이미지 12: 색상 클러스터링부
13: 유효 레이어 선정부 14: 단위 패턴 검출부
15: 반복 주기 연산부 16: 반복 주기
31, 41: 입력 이미지 43: 클러스터링된 레이어
51: 제1 색상 레이어 52: 제2 색상 레이어
53: 제3 색상 레이어 54: 제4 색상 레이어
55: 제5 색상 레이어 72: 제1 유효 레이어
73: 제2 유효 레이어 74: 제3 유효 레이어
92, 93, 94: 레이어 111, 121: 패턴 이미지
112: 패턴 영역 122: 테스트 이미지
131, 151, 161: 입력 이미지 132: 선형 픽셀 컴포넌트 제거부
133: 원형 픽셀 컴포넌트 검출부 134: 분포 매트릭스 구성부
135: 반복 주기 연산부 136: 반복 주기
152, 162, 163, 164: 원형 픽셀 컴포넌트
153: 미존재 영역 154: 잘못 검출된 픽셀 컴포넌트11: input image 12: color clustering unit
13: effective layer selection unit 14: unit pattern detection unit
15: Repetition period calculating section 16: Repetition period
31, 41: input image 43: clustered layer
51: first color layer 52: second color layer
53: third color layer 54: fourth color layer
55: fifth color layer 72: first effective layer
73: second effective layer 74: third effective layer
92, 93, 94: Layer 111, 121: Pattern image
112: pattern area 122: test image
131, 151, 161: input image 132: linear pixel component removal
133: Circular pixel component detection unit 134: Distribution matrix component
135: Repetition period calculating section 136: Repetition period
152, 162, 163, 164: circular pixel component
153: Missing area 154: Incorrectly detected pixel component

Claims

Performing clustering based on a color of each pixel with respect to pixels constituting an input image to obtain one or more color layers constituted by pixels included in each cluster;
Selecting one or more effective layers among a plurality of pixels among the one or more color layers and including a predetermined number or more of pixel components having a predetermined shape or an area of a predetermined size;
Selecting a unit pattern repetitively arranged for each effective layer, the position of which is different from the effective layer among the pixel components included in the effective layer;
Calculating an interval between the unit patterns for each effective layer; And
And calculating the repetition period of the unit pattern for the input image by summing the intervals for each effective layer
Repeat pattern detection method.

The method according to claim 1,
Wherein the effective layer comprises first and second effective layers,
Wherein the step of calculating the repetition period of the unit pattern for the input image by summing the intervals for each effective layer comprises:
Calculating a first intermediate value obtained by taking a median in an interval of unit patterns detected in the first layer;
Calculating a second intermediate value obtained by taking a median in an interval of unit patterns detected in the second layer; And
Determining a third intermediate value that takes a median for the first intermediate value and the second intermediate value as a repetition period
Repeat pattern detection method.

The method according to claim 1,
Wherein the step of selecting one or more effective layers comprises:
Performing connected component labeling (CCL) on each of the color layers to obtain a pixel component; And
Obtaining at least one of an area, an outline, a circumference length, a pair of eigenvalues and a pair of eigenvectors of the obtained pixel component
Repeat pattern detection method.

The method of claim 3,
Wherein the step of selecting one or more effective layers comprises:
Selecting one or more effective layers including a predetermined number or more of pixel components having a ratio of the pair of eigenvalues of 0.7 to 1 among the one or more color layers,
Repeat pattern detection method.

The method of claim 3,
Wherein the step of selecting one or more effective layers comprises:
Selecting one or more effective layers among the one or more color layers, the effective layer including a predetermined number or more of pixel components whose area is equal to or greater than a predetermined value and equal to or greater than a predetermined ratio of the circumferential length
Repeat pattern detection method.

The method according to claim 1,
Wherein the step of selecting a unit pattern repeatedly arranged in a different position on the effective layer comprises:
And selecting a unit pattern based on a cost function value for evaluating feature similarity between each pixel component
Repeat pattern detection method.

The method according to claim 6,
Wherein the step of selecting a unit pattern based on a cost function value for evaluating feature similarity between each pixel component comprises:
Selecting a unit pattern based on a cost function value for evaluating feature similarity by comparing at least one of an area, an outline, a circumference, a pair of eigenvalues, and a pair of eigenvectors of each pixel component;
Repeat pattern detection method.

The method according to claim 6,
Wherein the step of selecting a unit pattern based on a cost function value for evaluating feature similarity between each pixel component comprises:
Selecting a unit pattern based on a cost function value for evaluating feature similarity by comparing overlapping areas of the respective pixel components;
Repeat pattern detection method.

The method according to claim 1,
Wherein acquiring the at least one color layer comprises:
Performing mean shift clustering based on the color of each pixel with respect to the pixels constituting the input image to obtain one or more color layers consisting of pixels included in each cluster, Detection method.

The method according to claim 1,
Forming a pattern image using the unit pattern and the repetition period; And
Further comprising the step of detecting a defect by comparing the pattern image with a test image that requires determination of the presence or absence of a defect
Repeat pattern detection method.

A color clustering unit for performing clustering based on a color of each pixel with respect to pixels constituting an input image to obtain one or more color layers constituted by pixels included in each of the clusters;
An effective layer selection unit configured to select at least one valid layer including at least a predetermined number of pixel components having a predetermined shape or an area of a predetermined size, the at least one effective color layer being composed of a plurality of pixels;
A unit pattern detection unit for selecting, for each effective layer, a unit pattern repetitively arranged among the pixel components included in the effective layer, the position of which is different from that of the effective layer;
And a repetition period calculating unit for calculating the spacing between the unit patterns for each effective layer and calculating the repetition period of the unit pattern for the input image by combining the intervals for each effective layer
Repeat pattern detection device.

Performing edge detection on pixels constituting an input image to remove a linear pixel component in which a plurality of pixels form a line;
Detecting, in an input image from which the linear pixel component is removed, a circular pixel component having a plurality of pixels in a circular shape;
Setting a grid in which a plurality of rectangular cells form a plurality of horizontal and vertical columns in the image and arranging the circular pixel components in the cells of the grid to form a distribution matrix; And
Measuring an interval between the circular pixel components to calculate a repetition period of the circular pixel component for the input image
Repeat pattern detection method.

13. The method of claim 12,
Wherein computing the repetition period of the circular pixel component for the input image comprises:
Constructing a frequency matrix having elements as spacing between circular pixel components disposed in one of the plurality of vertical columns; And
And analyzing a histogram of the elements of the frequency matrix to determine an element value having the highest frequency as a repetition period
Repeat pattern detection method.

13. The method of claim 12,
Wherein detecting the circular pixel component comprises:
And constructing a cross correlation matrix for evaluating the correlation of the circular pixel component with other circular pixel components to detect the circular pixel component
Repeat pattern detection method.

13. The method of claim 12,
Wherein detecting the circular pixel component comprises:
And performing a Hough transform on the input image from which the linear pixel component has been removed to detect the circular pixel component
Repeat pattern detection method.

13. The method of claim 12,
Wherein arranging the circular pixel components in a cell of the grid to construct a distribution matrix comprises:
Further comprising deleting, among the plurality of vertical columns, a vertical column in which the circular pixel component is not arranged
Repeat pattern detection method.

A linear pixel component removal unit that performs edge detection on pixels constituting an input image, thereby removing a linear pixel component in which a plurality of pixels form a line;
A circular pixel component detection unit for detecting, in an input image from which the linear pixel component is removed, a circular pixel component having a plurality of pixels in a circular shape;
A distribution matrix forming unit that sets a grid in which a plurality of rectangular cells form a plurality of horizontal and vertical columns in the image and arranges the circular pixel components in the cells of the grid to construct a distribution matrix; And
And a repetition period operator for calculating a repetition period of the circular pixel component for the input image by measuring an interval between the circular pixel components
Repeat pattern detection device.