KR20140141027A - 이미지에서 반복 패턴을 검출하는 방법 및 장치 - Google Patents

이미지에서 반복 패턴을 검출하는 방법 및 장치 Download PDF

Info

Publication number
KR20140141027A
KR20140141027A KR20130062249A KR20130062249A KR20140141027A KR 20140141027 A KR20140141027 A KR 20140141027A KR 20130062249 A KR20130062249 A KR 20130062249A KR 20130062249 A KR20130062249 A KR 20130062249A KR 20140141027 A KR20140141027 A KR 20140141027A
Authority
KR
South Korea
Prior art keywords
pixel component
unit
input image
pixel
circular
Prior art date
Application number
KR20130062249A
Other languages
English (en)
Other versions
KR101565748B1 (ko
Inventor
수다카르 사
이상학
김종항
하성종
안유리
권연희
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020130062249A priority Critical patent/KR101565748B1/ko
Priority to CN201410235685.8A priority patent/CN104217420B/zh
Priority to US14/289,894 priority patent/US9330450B2/en
Publication of KR20140141027A publication Critical patent/KR20140141027A/ko
Application granted granted Critical
Publication of KR101565748B1 publication Critical patent/KR101565748B1/ko
Priority to US15/078,443 priority patent/US9430713B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/49Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

입력 이미지에서 반복되는 패턴을 효과적으로 검출하는 방법이 제공된다. 본 발명의 일 태양은, 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 단계; 상기 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계; 각 유효 레이어 별로, 상기 유효 레이어에 포함된 픽셀 컴포넌트 중 상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단계; 각 유효 레이어 별로 상기 단위 패턴 사이의 간격을 연산하는 단계; 및 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 단계를 포함한다.

Description

이미지에서 반복 패턴을 검출하는 방법 및 장치{A METHOD AND APPARATUS FOR DETECTING A REPETITIVE PATTERN IN IMAGE}
본 발명은 이미지에서 반복 패턴을 검출하는 방법 및 장치에 관한 것이다.
반도체의 웨이퍼 또는 OLED, LED, LCD 기판의 결함을 검출하기 위해서, 자동 결함 분류(Automatic Defect Classification)와 같은 외관 불량을 감지하여 결함을 검출하는 기술이 사용되고 있다. 이러한 외관 검출 방식은 결함을 비교적 신속하게 발견하고 불량율을 현저히 낮춤으로서 생산비용의 절감과 같은 이점을 제공하였다.
그런데, 종래의 외관 검출 방식은 결함이 없는 웨이퍼 또는 기판의 외관을 나타내는 기준 이미지(reference image)과 결함 유무의 판단이 필요한 테스트 이미지를 비교함으로써 결함을 검출한다. 따라서, 종래의 외관 검출 방식은 결함이 없는 웨이퍼 또는 기판에 대한 이미지, 즉, 기준 이미지가 필수적으로 제공되어야 한다.
그러나, 일부 경우에는 기준 이미지를 제공하는 것이 어려울 수 있다. 예컨대, 만족스러운 선명도 및 정밀도의 요구 조건을 기술적으로 충족시키기 어렵거나, 각 단위 공정에서 개별적으로 제작되어야 하는 기준 이미지를 구성하는 생산 비용 및 소요 시간 제약이 있을 수 있다.
이와 같은 경우에, 기준 이미지의 제공 없이 테스트 이미지의 결함을 외관 검출 방식으로 감지할 필요가 있다.
본 발명이 해결하려는 과제는, 기준 이미지의 제공 없이 외관 검출 방식으로 결함을 검출할 수 있도록 하기 위해, 입력 이미지에서 반복되는 패턴을 효과적으로 검출하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하려는 다른 과제는, 기준 이미지의 제공 없이 외관 검출 방식으로 결함을 검출할 수 있도록 하기 위해, 입력 이미지에서 검출한 반복 패턴을 이용하여 테스트 이미지의 결함을 검출하는 방법을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 반복 패턴 검출 방법의 일 태양은, 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 단계; 상기 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계; 각 유효 레이어 별로, 상기 유효 레이어에 포함된 픽셀 컴포넌트 중 상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단계; 각 유효 레이어 별로 상기 단위 패턴 사이의 간격을 연산하는 단계; 및 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 단계를 포함한다.
상기 유효 레이어는 제1 및 제2 유효 레이어를 포함하고, 상기 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 단계는, 상기 제1 레이어에서 검출된 단위 패턴의 간격에 메디안(median)을 취한 제1 중간값을 연산하는 단계; 상기 제2 레이어에서 검출된 단위 패턴의 간격에 메디안을 취한 제2 중간값을 연산하는 단계; 및 상기 제1 중간값 및 상기 제2 중간값에 메디안을 취한 제3 중간값을 반복 주기로 결정하는 단계를 포함할 수 있다.
상기 유효 레이어를 하나 이상 선정하는 단계는, 상기 색상 레이어 각각에 대해 연결 컴포넌트 라벨링(connected component labeling, CCL)을 수행하여 픽셀 컴포넌트를 획득하는 단계; 및 상기 획득한 픽셀 컴포넌트의 면적, 윤곽선, 둘레 길이, 한 쌍의 고유값 및 한 쌍의 고유벡터 중 적어도 하나를 획득하는 단계를 포함할 수 있다.
상기 유효 레이어를 하나 이상 선정하는 단계는, 상기 하나 이상의 색상 레이어 중, 상기 한 쌍의 고유값의 비율이 0.7 이상 1 이하인 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계를 포함할 수 있다.
상기 유효 레이어를 하나 이상 선정하는 단계는, 상기 하나 이상의 색상 레이어 중, 상기 면적이 소정의 값 이상이고 상기 둘레 길이의 소정의 비율 이상인 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계를 포함할 수 있다.
상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단계는, 상기 각 픽셀 컴포넌트 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계를 포함할 수 있다.
상기 각 픽셀 컴포넌트 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계는, 상기 픽셀 컴포넌트의 면적, 윤곽선, 둘레 길이, 한 쌍의 고유값 및 한 쌍의 고유벡터 중 적어도 하나를 비교하여 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계를 포함할 수 있다.
상기 각 픽셀 컴포넌트 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계는, 상기 픽셀 컴포넌트의 겹쳐지는 영역을 비교하여 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계를 포함할 수 있다.
상기 하나 이상의 색상 레이어를 획득하는 단계는, 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 중간 이동 클러스터링(mean shift clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 단계를 포함할 수 있다.
상기 반복 패턴 검출 방법은 상기 단위 패턴 및 상기 반복 주기를 이용하여 패턴 이미지를 형성하는 단계; 및 결함 유무의 판단이 필요한 테스트 이미지와 상기 패턴 이미지를 비교하여 결함을 검출하는 단계를 더 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 반복 패턴 검출 장치의 일 태양은, 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 색상 클러스터링부; 상기 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 유효 레이어 선정부; 각 유효 레이어 별로, 상기 유효 레이어에 포함된 픽셀 컴포넌트 중 상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단위 패턴 검출부; 각 유효 레이어 별로 상기 단위 패턴 사이의 간격을 연산하고, 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 반복 주기 연산부를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 반복 패턴 검출 방법의 다른 태양은, 입력 이미지를 구성하는 픽셀에 대하여 에지(edge) 검출을 수행하여, 복수의 픽셀이 라인(line) 형상을 이루는 선형 픽셀 컴포넌트를 제거하는 단계; 상기 선형 픽셀 컴포넌트가 제거된 입력 이미지에서, 복수의 픽셀이 원 형상을 이루는 원형 픽셀 컴포넌트를 검출하는 단계; 상기 이미지에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정하고, 상기 그리드의 셀 내에 상기 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스(distribution matrix)를 구성하는 단계; 및 상기 원형 픽셀 컴포넌트 사이의 간격을 측정하여, 상기 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산하는 단계를 포함할 수 있다.
상기 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산하는 단계는, 상기 복수의 수직열 중 하나의 수직열에 배치된 원형 픽셀 컴포넌트 사이의 간격을 원소로 가지는 빈도수 매트릭스(frequency matrix)를 구성하는 단계; 및 상기 빈도수 매트릭스의 원소들에 대한 히스토그램(histogram)을 분석하여, 최다 빈도수를 가지는 원소 값을 반복 주기로 결정하는 단계를 포함할 수 있다.
상기 원형 픽셀 컴포넌트를 검출하는 단계는, 상기 원형 픽셀 컴포넌트와 다른 원형 픽셀 컴포넌트의 상관도를 평가하기 위한 교차 상관도 매트릭스(cross correlation matrix)를 구성하여 원형 픽셀 컴포넌트를 검출하는 단계를 포함할 수 있다.
상기 원형 픽셀 컴포넌트를 검출하는 단계는, 상기 선형 픽셀 컴포넌트가 제거된 입력 이미지에 대해 호프 변환(Hough transform)을 수행하여 상기 원형 픽셀 컴포넌트를 검출하는 단계를 포함할 수 있다.
상기 그리드의 셀 내에 상기 원형 픽셀 컴포넌트를 분포 매트릭스를 구성하는 단계는, 상기 복수의 수직열 중, 상기 원형 픽셀 컴포넌트가 배치되지 않은 수직열을 삭제하는 단계를 더 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 반복 패턴 검출 장치의 다른 태양은, 입력 이미지를 구성하는 픽셀에 대하여 에지(edge) 검출을 수행하여, 복수의 픽셀이 라인(line) 형상을 이루는 선형 픽셀 컴포넌트를 제거하는 선형 픽셀 컴포넌트 제거부; 상기 선형 픽셀 컴포넌트가 제거된 입력 이미지에서, 복수의 픽셀이 원 형상을 이루는 원형 픽셀 컴포넌트를 검출하는 원형 픽셀 컴포넌트 검출부; 상기 이미지에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정하고, 상기 그리드의 셀 내에 상기 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성하는 분포 매트릭스 구성부; 및 상기 원형 픽셀 컴포넌트 사이의 간격을 측정하여, 상기 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산하는 반복 주기 연산부를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명으로 인해, 입력 이미지로부터 반복 패턴을 검출함으로써, 기준 이미지의 제공 없이도 테스트 이미지의 결함을 외관 검출 방식으로 감지할 수 있다. 따라서, 기준 이미지가 제공되기 어려운 경우에도, 결함을 비교적 신속하게 발견하고 불량율을 현저히 낮추어 생산비용을 절감시킬 수 있는 외관 검출 방식을 그대로 사용할 수 있다.
또한, 본 발명으로 인해, 각 단위 공정에 적합한 기준 이미지를 일일이 제작할 필요 없이 주어진 입력 이미지만으로 테스트 이미지의 결함을 검출할 수 있으므로, 여러가지 다양한 공정에 있어 발생되는 각종 결함에 대해 유연하게 대처할 수 있을 뿐 아니라, 일부 공정이 다른 방식으로 변경된 경우 또는 다른 형태의 기판을 사용하는 것으로 변경된 경우와 같은 상황에서도 유연하고 신속하게 결함 검출을 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 반복 패턴 검출 장치를 설명하기 위한 개략도이다.
도 2는 본 발명의 다른 실시예에 따른 반복 패턴 검출 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 입력 이미지를 도시한 것이다.
도 4는 본 발명의 다른 실시예에 따른 색상 클러스터링을 설명하기 위한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 색상 클러스터링 결과를 도시한 것이다.
도 6은 본 발명의 다른 실시예에 따른 유효 레이어 선정 과정을 설명하기 위한 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 선정된 유효 레이어를 도시한 것이다.
도 8은 본 발명의 다른 실시예에 따른 단위 패턴을 선정하는 과정을 설명하기 위한 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 단위 패턴을 도시한 것이다.
도 10은 본 발명의 다른 실시예에 따른 단위 패턴의 반복 주기를 연산하는 과정의 일부를 설명하기 위한 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 패턴 이미지를 구성한 결과를 도시한 것이다.
도 12는 본 발명의 다른 실시예에 따른 패턴 이미지와 테스트 이미지를 비교하여 결함을 검출하는 과정을 도시한 것이다.
도 13은 본 발명의 또 다른 실시예에 따른 반복 패턴 검출 장치를 설명하기 위한 개략도이다.
도 14는 본 발명의 또 다른 실시예에 따른 반복 패턴 검출 방법을 설명하기 위한 흐름도이다.
도 15는 본 발명의 또 다른 실시예에 따른 입력 이미지를 도시한 것이다.
도 16은 본 발명의 또 다른 실시예에 따른 분포 매트릭스를 도시한 것이다.
도 17은 본 발명의 또 다른 실시예에 따른 빈도수 매트릭스를 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 반복 패턴 검출 장치를 설명하기 위한 블록 구성도이다. 도 1을 참조하면, 반복 패턴 검출 장치는 클러스터링을 수행하여 하나 이상의 색상 레이어를 획득하는 색상 클러스터링부(12), 하나 이상의 색상 레이어 중 유효 레이어를 선정하는 유효 레이어 선정부(13), 각 유효 레이어 별로 단위 패턴을 선정하는 단위 패턴 검출부(14) 및 각 유효 레이어 별로 단위 패턴 간격을 연산하고, 각 유효 레이어별 간격을 취합하여 패턴 반복 주기를 연산하는 반복 주기 연산부(15)를 포함한다. 상기 반복 패턴 검출 장치는 입력 이미지(11)을 입력으로 하고, 상술한 구성에 의해 반복 주기(16)를 연산한다.
도 2는 본 발명의 다른 실시예에 따른 반복 패턴 검출 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 색상 클러스터링부(12)는 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득한다(단계 S21).
구체적으로, 도 3은 본 발명의 다른 실시예에 따른 입력 이미지(31)을 도시한 것이고, 도 4는 본 발명의 다른 실시예에 따른 색상 클러스터링을 설명하기 위한 흐름도이다. 도 3을 참조하면, 입력 이미지(31)은 복수의 픽셀로 이루어진 다양한 색상을 가진 형상들을 포함할 수 있다. 이러한 형상들 중 일부는 일정한 간격을 가지는 패턴을 이룰 수 있고, 다른 일부는 규칙성이 없이 분포된 형상들일 수 있다. 색상 클러스터링부(12)는, 도 4를 참조하면, 유사한 색상의 픽셀들로만 이루어진 이미지를 얻기 위해, 입력 이미지(41)을 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링을 수행한다. 이 때, 입력 이미지(41)의 색상 분포에 대한 정보가 미리 제공되지 않는 것이 일반적이므로, 상기 클러스터링은 바람직하게는 평균 이동 클러스터링(mean shift clustering)일 수 있다. 평균 이동 클러스터링에 의해, 각 픽셀에 대한 색상 정보 값(예컨대, RGB 값)에 대한 대표 값을 선정하고, 그 대표 값을 이용하여 클러스터를 형성한다. 이에 따라, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 클러스터링된 색상 레이어(43)를 획득한다.
도 5는 본 발명의 다른 실시예에 따른 색상 클러스터링 결과를 도시한 것이다. 즉, 본 발명의 일 실시예에 따라 입력 이미지를 색상 클러스터링하여 제1 색상 레이어(51), 제2 색상 레이어(52), 제3 색상 레이어(53), 제4 색상 레이어(54) 및 제5 색상 레이어(55)를 획득한 결과를 나타낸다.
도 2를 다시 참조하면, 유효 레이어 선정부(13)는 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정한다(단계 S22). 단계 S21에서 획득한 하나 이상의 색상 레이어 중 반복 패턴을 검출하기 위해 불필요한 색상 레이어는 제외하고 필요한 색상 레이어만을 선정한다.
도 6은 본 발명의 다른 실시예에 따른 유효 레이어 선정 과정을 설명하기 위한 흐름도이다. 본 발명의 일 실시예에 따른 유효 레이어를 하나 이상 선정하는 단계는 다음과 같은 단계들을 포함할 수 있다. 먼저, 단계 S21에서 획득한 하나 이상의 색상 레이어 각각에 대해 연결 컴포넌트 라벨링(connected component labeling, CCL)을 수행하여 픽셀 컴포넌트(Sij)를 획득한다(단계 S61). 구체적으로, 본 발명의 일 실시예에 따라 단계 S21에서 n 개(여기서, n은 n ≥ 1인 정수)의 색상 레이어를 획득한 경우, 그 중 i 번째 색상 레이어(여기서, i는 1 ≤ i ≤ n인 정수)는 m 종류(여기서, m은 m ≥ 1인 정수)의 픽셀 컴포넌트를 포함할 수 있다. 예를 들어, 도 5에 도시된 제2 색상 레이어(52)는 2 종류의 픽셀 컴포넌트, 즉, 평행사변형의 픽셀 컴포넌트와 원형의 픽셀 컴포넌트를 포함한다. 결국, 픽셀 컴포넌트(Sij)는 i 번째 색상 레이어에 포함된 j 번째(여기서, j는 1 ≤ j ≤ m인 정수) 픽셀 컴포넌트를 지시하는 것이다. 다음으로, 획득한 픽셀 컴포넌트의 특징을 추출한다(단계 S62). 구체적으로, 픽셀 컴포넌트(Sij)의 면적(A(Sij)), 윤곽선, 둘레 길이(P(Sij)), 한 쌍의 고유값(λ1 ij, λ2 ij) 및 한 쌍의 고유벡터(e1 ij, e2 ij) 중 적어도 하나를 획득한다(단계 S62). 여기서, 한 쌍의 고유값(λ1 ij, λ2 ij) 및 한 쌍의 고유벡터(e1 ij, e2 ij)는 예컨대 주성분 분석을 통해 획득할 수 있다.
픽셀 컴포넌트(Sij)의 특징을 추출한 후, 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트를 유효한 픽셀 컴포넌트(Sij a)로 선정한다. 소정 형상은, 예를 들어, 원형, 사각형, 삼각형 등을 포함할 수 있으나, 이에 한정되지 않는다. 원형의 픽셀 컴포넌트를 선정하기 위한 본 발명의 일 실시예에서, 한 쌍의 고유값(λ1 ij, λ2 ij)의 비율이 다음 조건을 만족하는(즉, 1에 가까운 값을 가지는) 픽셀 컴포넌트는 유효한 픽셀 컴포넌트로 선정될 수 있다(단계 S63).
λ1 ij / λ2 ij ≒ 1
본 발명의 다른 실시예에서, 한 쌍의 고유값(λ1 ij, λ2 ij)의 비율이 0.5 이상 1 이하인 픽셀 컴포넌트가 유효한 픽셀 컴포넌트로 선정될 수 있다. 또한, 본 발명의 또 다른 실시예에서, 한 쌍의 고유값(λ1 ij, λ2 ij)의 비율이 0.7 이상 1 이하이거나, 0.8 이상 1 이하이거나, 또는 0.9 이상 1 이하인 픽셀 컴포넌트가 유효한 픽셀 컴포넌트로 선정될 수 있다.
다음으로, 소정 크기의 면적을 갖는 픽셀 컴포넌트를 선정하기 위한 본 발명의 일 실시예에서, 픽셀 컴포넌트의 면적(A(Sij))이 다음 조건을 만족하는 픽셀 컴포넌트는 유효한 픽셀 컴포넌트로 선정될 수 있다(단계 S64).
A(Sij) > TA 이고 A(Sij) > αP(Sij)
여기서, TA는 구체적인 공정에서 정해질 수 있는 값이며, 예를 들어, 입력 이미지 크기의 1% 이하의 값을 가질 수 있다. 한편, αP(Sij)는 픽셀 컴포넌트(Sij)의 둘레 길이에 대한 소정 비율을 의미하는 것으로서, 예를 들어, α는 1 이상의 값을 가질 수 있다.
이로부터, 상기 유효한 픽셀 컴포넌트를 소정의 개수 이상을 포함하는 색상 레이어가 유효 레이어로 선정된다. 예를 들면, 상기 유효한 픽셀 컴포넌트를 2 개 이상 포함하는 색상 레이어가 유효 레이어로 선정될 수 있다. 도 7은 다른 발명의 일 실시예에 따른 선정된 유효 레이어를 도시한 것이다. 즉, 본 발명의 일 실시예에 따라 유효 레이어를 선정하여 제1 유효 레이어(72), 제2 유효 레이어(73) 및 제3 유효 레이어(74)를 획득한 결과를 나타낸다.
도 2를 다시 참조하면, 단위 패턴 검출부(14)는 각 유효 레이어 별로, 유효 레이어에 포함된 픽셀 컴포넌트(즉, 유효한 픽셀 컴포넌트(Sij a)) 중 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정한다(단계 S23). 바람직하게는 각 픽셀 컴포넌트(Sij a) 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정할 수 있다. 여기서 특징 유사도는, 픽셀 컴포넌트(Sij a)의 특징, 예컨대, 단계 S62에서 추출된 픽셀 컴포넌트(Sij a)의 면적(A(Sij a)), 윤곽선, 둘레 길이(P(Sij a)), 한 쌍의 고유값(λ1 ij, λ2 ij) 및 한 쌍의 고유벡터(e1 ij, e2 ij) 중 적어도 하나에 대한 유사도일 수 있고, 구체적으로 임의의 두 픽셀 컴포넌트(Sij a)를 비교하여 비용 함수값을 산출하는 방식으로 유사도를 평가할 수 있다. 예컨대, 단위 패턴은 임의의 두 픽셀 컴포넌트(Sij a)의 겹쳐지는 영역을 비교하여 매칭하고, 그 비용 함수 값을 기초로 하여 선정될 수 있다. 또한, 단위 패턴은 임의의 두 픽셀 컴포넌트(Sij a)의 윤곽선을 비교하여 매칭하고, 그 비용 함수 값을 기초로 하여 선정될 수도 있다.
도 8은 본 발명의 다른 실시예에 따른 단위 패턴을 선정하는 과정을 설명하기 위한 흐름도이다. 먼저, 상술한 바와 같이, 각 픽셀 컴포넌트(Sij a) 사이의 특징 유사도를 평가한다(단계 S81). 여기서, 임의의 두 픽셀 컴포넌트의 특징을 비교 및 매칭하여 그 비용 함수의 값이 소정의 임계값(T) 이하이면, 상기 두 픽셀 컴포넌트는 입력 이미지의 반복 패턴을 이루는 단위 패턴으로서 취급될 수 있다. 이에 따라, 각 픽셀 컴포넌트(Sij a)의 오른쪽에 가장 인접하면서 비용 함수의 값이 소정의 임계값(T) 이하인 픽셀 컴포넌트(SijR a)(이하, '오른쪽 이웃')를 선정하고, 각 픽셀 컴포넌트(Sij a)의 아래쪽에 가장 인접하면서 비용 함수의 값이 소정의 임계값(T) 이하인 픽셀 컴포넌트(SijB a)(이하, '아래쪽 이웃')를 선정할 수 있다. 이렇게 선정된 픽셀 컴포넌트(Sij a)는 입력 이미지로부터 검출한 패턴의 단위 패턴이 된다.
도 2를 다시 참조하면, 반복 주기 연산부(15)는 각 유효 레이어 별로 단위 패턴 사이의 간격을 연산하고(단계 S24), 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산한다(단계 S25). 구체적으로, 단계 S24는 픽셀 컴포넌트(Sij a)와 오른쪽 이웃(SijR a) 사이의 거리 및 픽셀 컴포넌트(Sij a)와 아래쪽 이웃(SijB a) 사이의 거리를 연산하여 획득될 수 있다. 도 9는 다른 발명의 일 실시예에 따른 단위 패턴을 도시한 것이다. 예컨대, 레이어(93)는 사각형의 픽셀 컴포넌트(Sij a)의 오른쪽 이웃(SijR a)과 아랫쪽 이웃(SijB a)을 직선으로 연결한 것을 나타내고 있다. 즉, 레이어(93)에서 사각형의 픽셀 컴포넌트(Sij a)는 단위 패턴이 되고, 연결된 직선의 길이가 곧 단위 패턴 사이의 간격이 된다. 대부분의 경우에는 상기 간격이 단위 패턴의 반복 주기가 될 수 있다. 그러나, 픽셀 컴포넌트의 일부 누락이 있는 것과 같은 몇몇의 경우에는 단위 패턴 사이의 간격 값 중 일부는 단위 패턴의 반복 주기와 다를 수 있다.
따라서, 본 발명의 일 실시예에서는, 단위 패턴의 올바른 반복 주기를 연산하기 위해 단위 패턴의 간격 값들의 중간값을 취하는 방법을 사용한다. 도 10은 본 발명의 다른 실시예에 따른 단위 패턴의 반복 주기를 연산하는 과정의 일부를 설명하기 위한 흐름도이다. 도 10을 참조하면, 단계 S25는 제1 레이어에서 검출된 단위 패턴의 모든 간격에 메디안(median)을 취한 제1 중간값(diH a, diV a)을 연산한다(단계 S101 및 S102). 다음으로, 단계 S25는 제2 레이어에서 검출된 단위 패턴의 모든 간격에 메디안을 취한 제2 중간값을 연산한 후, 제1 중간값 및 제2 중간값에 메디안을 취한 제3 중간값을 반복 주기로 결정할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 패턴 이미지(111)을 구성한 결과를 도시한 것이다. 도 11을 참조하면, 상술한 방법에 의해 획득한 패턴 및 단위 패턴의 반복 주기를 이용하여 패턴 이미지(111)이 형성되어 있다. 특히, 패턴 이미지(111)에는 영역(112)과 같은 패턴이 가로, 세로로 2번씩 반복됨을 알 수 있다.
도 12는 본 발명의 다른 실시예에 따른 패턴 이미지(121)과 테스트 이미지(122)을 비교하여 결함을 검출하는 과정을 도시한 것이다. 도 12에 도시된 바와 같이, 상술한 방법으로 구성한 패턴 이미지를 결함 유무의 판단이 필요한 테스트 이미지와 비교함으로써 테스트 이미지에 존재할 수 있는 결함을 검출할 수 있다.
본 발명의 상술한 실시예로 인해, 입력 이미지로부터 반복 패턴을 검출함으로써, 기준 이미지의 제공 없이도 테스트 이미지의 결함을 외관 검출 방식으로 감지할 수 있다. 또한, 각 단위 공정에 적합한 기준 이미지를 일일이 제작할 필요 없이 주어진 입력 이미지만으로 테스트 이미지의 결함을 검출할 수 있으므로, 여러가지 다양한 공정에 있어 발생되는 각종 결함에 대해 유연하게 대처할 수 있을 뿐 아니라, 일부 공정이 다른 방식으로 변경된 경우 또는 다른 형태의 기판을 사용하는 것으로 변경된 경우와 같은 상황에서도 유연하고 신속하게 결함 검출을 할 수 있다.
이상 단위 패턴이 임의의 형상인 경우에 반복 패턴을 검출하는 방법 및 장치에 대한 일 실시예를 설명하였으며, 이후에는 단위 패턴이 특히 원형인 경우에 반복 패턴을 검출하는 방법 및 장치에 대한 일 실시예를 설명한다.
도 13은 본 발명의 또 다른 실시예에 따른 반복 패턴 검출 장치를 설명하기 위한 블록 구성도이다. 도 13을 참조하면, 반복 패턴 검출 장치는 에지(edge) 검출을 수행하여 선형 픽셀 컴포넌트를 제거하는 선형 픽셀 컴포넌트 제거부(132), 원형 픽셀 컴포넌트를 검출하는 원형 픽셀 컴포넌트 검출부(133), 그리드를 설정하고 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성하는 분포 매트릭스 구성부(134) 및 원형 픽셀 컴포넌트 간격 및 패턴 반복 주기를 연산하는 반복 주기 연산부(135)를 포함한다. 반복 패턴 검출 장치는 입력 이미지(131)을 입력으로 하고, 상술한 구성에 의해 반복 주기(136)를 연산한다.
도 14는 본 발명의 또 다른 실시예에 따른 반복 패턴 검출 방법을 설명하기 위한 흐름도이다.
도 14를 참조하면, 입력 이미지에서 원형의 단위 패턴을 검출하기 위해, 선형 픽셀 컴포넌트 제거부(13)는 입력 이미지를 구성하는 픽셀에 대하여 에지 검출을 수행하여, 복수의 픽셀이 라인(line) 형상을 이루는 선형 픽셀 컴포넌트를 제거한다(단계 S141). 입력 이미지에서 에지를 검출함으로써 입력 이미지에서 선형 또는 원형 픽셀 컴포넌트를 검출하는 것이 용이하게 된다. 에지를 검출하기 위해, 바람직하게는, 입력 이미지에 대해 가우시안 블러링 필터(Gaussian blurring filter)와 캐니 에지 검출기(canny edge detector)를 이용할 수 있다. 에지 검출을 수행한 후, 입력 이미지에서 선형 픽셀 컴포넌트를 제거한다.
다음으로, 선형 픽셀 컴포넌트가 제거된 입력 이미지에서, 복수의 픽셀이 원 형상을 이루는 원형 픽셀 컴포넌트를 검출한다(단계 S142). 예를 들면, 단계 S142는 선형 픽셀 컴포넌트가 제거된 입력 이미지에 대해 호프 변환(Hough transform)을 수행하여 원형 픽셀 컴포넌트를 검출할 수 있다.
그런데, 이와 같은 호프 변환에 의하면 노이즈(noise)가 발생되어 원형 픽셀 컴포넌트를 잘못 검출하는 문제가 생길 수 있다. 이러한 문제를 방지하기 위해, 원형 픽셀 컴포넌트와 다른 원형 픽셀 컴포넌트의 상관도를 평가하기 위한 교차 상관도 매트릭스(cross correlation matrix)를 구성하여 원형 픽셀 컴포넌트를 검출할 수 있다. 교차 상관도 매트릭스는 각 원형 픽셀 컴포넌트와 다른 원형 픽셀 컴포넌트의 유사도를 값으로 나타낸 원소들을 포함한다. 원형 픽셀 컴포넌트와 다른 원형 픽셀 컴포넌트가 유사할수록 교차 상관도 매트릭스를 구성하는 원소의 값은 크고, 유사하지 않을 수록 낮은 값이 되어, 소정의 값 이하의 원소에 대응되는 원형 픽셀 컴포넌트는 잘못 검출된 것으로 분류되어 반복 패턴 검출 대상에서 삭제될 수 있다.
도 15는 본 발명의 또 다른 실시예에 따른 입력 이미지를 도시한 것이다. 입력 이미지(151)은 원형 픽셀 컴포넌트(152)와 원형으로 잘못 검출된 픽셀 컴포넌트(154)를 포함한다. 미존재 영역(153)은 패턴의 규칙적인 형태로 보면 원형 픽셀 컴포넌트가 존재할 가능성이 있으나 실제로는 존재하지 않는 영역을 나타낸다.
도 14를 다시 참조하면, 이미지에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정하고, 그리드의 셀 내에 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스(distribution matrix)를 구성한다(단계 S143). 구체적으로, 입력 이미지(161)에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정한다. 다음으로, 그리드의 셀 내에 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성한다. 이와 관련하여, 도 16은 본 발명의 또 다른 실시예에 따른 분포 매트릭스를 도시한 것이다. 도 16에서는 400개의 사각형 셀이 20개의 수평열과 20개의 수직열을 형성하는 그리드를 설정하였고, 원형 픽셀 컴포넌트(162, 163, 164)는 그리드를 구성하는 하나의 수직열에 분포되어 있음을 알 수 있다.
입력 이미지에 그리드를 설정한 후 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성하는 일부 경우에 있어서, 그리드를 구성하는 일부 수직열에는 원형 픽셀 컴포넌트가 전혀 배치되지 않을 수 있다. 그러면, 원형 픽셀 컴포넌트가 전혀 배치되지 않은 일부 수직열은 그리드 셀만 설정이 되어 있을 뿐 그 셀의 내부는 비어 있는 것이므로, 반복 패턴 검출 과정에 불필요한 연산을 방지하기 위해, 이러한 수직열을 삭제할 수 있다. 이와 같이 분포 매트릭스에서 반복 패턴 검출 과정에 불필요한 수직열을 삭제하여 컴팩트 분포 매트릭스(compact distribution matrix)를 구성 할 수도 있다.
도 14를 다시 참조하면, 원형 픽셀 컴포넌트 사이의 간격을 측정하여(단계 S144), 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산한다(단계 S145). 먼저, 그리드를 구성하는 복수의 수직열 중 하나의 수직열에 배치된 원형 픽셀 컴포넌트 사이의 간격을 측정하여 그 값을 원소로 가지는 빈도수 매트릭스(frequency matrix)를 구성한다. 예를 들면, 본 발명의 일 실시예에서 원형 픽셀 컴포넌트 사이의 간격은, 도 16에 도시된 바와 같은, 원형 픽셀 컴포넌트 사이의 사각형 셀의 개수로 측정할 수 있다.
다음으로, 빈도수 매트릭스의 원소들에 대한 히스토그램(histogram)을 분석하여, 최다 빈도수를 가지는 원소 값을 반복 주기로 결정한다. 이와 관련하여, 도 17은 본 발명의 또 다른 실시예에 따른 빈도수 매트릭스를 도시한 것이다. 빈도수 매트릭스의 2열을 참조하면 5의 값을 원소와 10의 값을 갖는 원소가 존재한다. 도 16을 같이 참조하면, 원형 픽셀 컴포넌트(163, 164) 사이의 거리가 5이고, 원형 픽셀 컴포넌트(162, 163) 사이의 거리는 예컨대 10이 될 수 있다.
즉, 패턴의 규칙적인 형태로 보면 원형 픽셀 컴포넌트가 존재할 가능성이 있으나 실제로는 존재하지 않는 영역에 의해, 원형 픽셀 컴포넌트(162, 163) 사이의 거리가 10으로 측정되는 것이다. 그러나 이러한 값(즉, 10)은 원형 픽셀 컴포넌트의 올바른 반복 주기의 값이 될 수 없다. 올바른 반복 주기를 연산하기 위해 도 17에 도시된 빈도수 매트릭스의 히스토그램을 분석해 보면, 5의 값을 가지는 원소의 개수가 3, 7, 10의 값을 가지는 원소의 개수보다 현저히 많음을 알 수 있다. 이로부터, 패턴의 구체적인 형태는 5의 간격을 규칙적으로 가지는 원형 픽셀 컴포넌트들이 가로 및 세로로 분포한 것이라는 결론을 도출할 수 있다.
도 12와 관련하여 설명한 것과 마찬가지로, 상술한 방법에 의해 획득한 반복 주기를 이용하여 구성한 패턴 이미지를 결함 유무의 판단이 필요한 테스트 이미지와 비교함으로써 테스트 이미지에 존재할 수 있는 결함을 검출할 수 있다.
본 발명의 상술한 실시예로 인해, 입력 이미지로부터 반복 패턴을 검출함으로써, 기준 이미지의 제공 없이도 테스트 이미지의 결함을 외관 검출 방식으로 감지할 수 있다. 또한, 각 단위 공정에 적합한 기준 이미지를 일일이 제작할 필요 없이 주어진 입력 이미지만으로 테스트 이미지의 결함을 검출할 수 있으므로, 여러가지 다양한 공정에 있어 발생되는 각종 결함에 대해 유연하게 대처할 수 있을 뿐 아니라, 일부 공정이 다른 방식으로 변경된 경우 또는 다른 형태의 기판을 사용하는 것으로 변경된 경우와 같은 상황에서도 유연하고 신속하게 결함 검출을 할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
11: 입력 이미지 12: 색상 클러스터링부
13: 유효 레이어 선정부 14: 단위 패턴 검출부
15: 반복 주기 연산부 16: 반복 주기
31, 41: 입력 이미지 43: 클러스터링된 레이어
51: 제1 색상 레이어 52: 제2 색상 레이어
53: 제3 색상 레이어 54: 제4 색상 레이어
55: 제5 색상 레이어 72: 제1 유효 레이어
73: 제2 유효 레이어 74: 제3 유효 레이어
92, 93, 94: 레이어 111, 121: 패턴 이미지
112: 패턴 영역 122: 테스트 이미지
131, 151, 161: 입력 이미지 132: 선형 픽셀 컴포넌트 제거부
133: 원형 픽셀 컴포넌트 검출부 134: 분포 매트릭스 구성부
135: 반복 주기 연산부 136: 반복 주기
152, 162, 163, 164: 원형 픽셀 컴포넌트
153: 미존재 영역 154: 잘못 검출된 픽셀 컴포넌트

Claims (17)

  1. 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 단계;
    상기 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계;
    각 유효 레이어 별로, 상기 유효 레이어에 포함된 픽셀 컴포넌트 중 상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단계;
    각 유효 레이어 별로 상기 단위 패턴 사이의 간격을 연산하는 단계; 및
    각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 단계를 포함하는
    반복 패턴 검출 방법.
  2. 제1항에 있어서,
    상기 유효 레이어는 제1 및 제2 유효 레이어를 포함하고,
    상기 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 단계는,
    상기 제1 레이어에서 검출된 단위 패턴의 간격에 메디안(median)을 취한 제1 중간값을 연산하는 단계;
    상기 제2 레이어에서 검출된 단위 패턴의 간격에 메디안을 취한 제2 중간값을 연산하는 단계; 및
    상기 제1 중간값 및 상기 제2 중간값에 메디안을 취한 제3 중간값을 반복 주기로 결정하는 단계를 포함하는
    반복 패턴 검출 방법.
  3. 제1항에 있어서,
    상기 유효 레이어를 하나 이상 선정하는 단계는,
    상기 색상 레이어 각각에 대해 연결 컴포넌트 라벨링(connected component labeling, CCL)을 수행하여 픽셀 컴포넌트를 획득하는 단계; 및
    상기 획득한 픽셀 컴포넌트의 면적, 윤곽선, 둘레 길이, 한 쌍의 고유값 및 한 쌍의 고유벡터 중 적어도 하나를 획득하는 단계를 포함하는
    반복 패턴 검출 방법.
  4. 제3항에 있어서,
    상기 유효 레이어를 하나 이상 선정하는 단계는,
    상기 하나 이상의 색상 레이어 중, 상기 한 쌍의 고유값의 비율이 0.7 이상 1 이하인 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계를 포함하는
    반복 패턴 검출 방법.
  5. 제3항에 있어서,
    상기 유효 레이어를 하나 이상 선정하는 단계는,
    상기 하나 이상의 색상 레이어 중, 상기 면적이 소정의 값 이상이고 상기 둘레 길이의 소정의 비율 이상인 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 단계를 포함하는
    반복 패턴 검출 방법.
  6. 제1항에 있어서,
    상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단계는,
    상기 각 픽셀 컴포넌트 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계를 포함하는
    반복 패턴 검출 방법.
  7. 제6항에 있어서,
    상기 각 픽셀 컴포넌트 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계는,
    상기 픽셀 컴포넌트의 면적, 윤곽선, 둘레 길이, 한 쌍의 고유값 및 한 쌍의 고유벡터 중 적어도 하나를 비교하여 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계를 포함하는
    반복 패턴 검출 방법.
  8. 제6항에 있어서,
    상기 각 픽셀 컴포넌트 사이의 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계는,
    상기 픽셀 컴포넌트의 겹쳐지는 영역을 비교하여 특징 유사도를 평가하기 위한 비용 함수 값을 바탕으로 단위 패턴을 선정하는 단계를 포함하는
    반복 패턴 검출 방법.
  9. 제1항에 있어서,
    상기 하나 이상의 색상 레이어를 획득하는 단계는,
    입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 평균 이동 클러스터링(mean shift clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 단계를 포함하는 반복 패턴 검출 방법.
  10. 제1항에 있어서,
    상기 단위 패턴 및 상기 반복 주기를 이용하여 패턴 이미지를 형성하는 단계; 및
    결함 유무의 판단이 필요한 테스트 이미지와 상기 패턴 이미지를 비교하여 결함을 검출하는 단계를 더 포함하는
    반복 패턴 검출 방법.
  11. 입력 이미지를 구성하는 픽셀에 대하여 각 픽셀의 색상을 기준으로 클러스터링(clustering)을 수행하여, 각각의 클러스터 내에 포함된 픽셀로 구성되는 하나 이상의 색상 레이어를 획득하는 색상 클러스터링부;
    상기 하나 이상의 색상 레이어 중, 복수의 픽셀로 구성되어 소정 형상을 갖거나 소정 크기의 면적을 갖는 픽셀 컴포넌트들을 소정의 개수 이상 포함하는 유효 레이어를 하나 이상 선정하는 유효 레이어 선정부;
    각 유효 레이어 별로, 상기 유효 레이어에 포함된 픽셀 컴포넌트 중 상기 유효 레이어에 위치를 달리하여 반복 배치된 단위 패턴을 선정하는 단위 패턴 검출부;
    각 유효 레이어 별로 상기 단위 패턴 사이의 간격을 연산하고, 각 유효 레이어에 대한 상기 간격을 취합하여 상기 입력 이미지에 대한 단위 패턴의 반복 주기를 연산하는 반복 주기 연산부를 포함하는
    반복 패턴 검출 장치.
  12. 입력 이미지를 구성하는 픽셀에 대하여 에지(edge) 검출을 수행하여, 복수의 픽셀이 라인(line) 형상을 이루는 선형 픽셀 컴포넌트를 제거하는 단계;
    상기 선형 픽셀 컴포넌트가 제거된 입력 이미지에서, 복수의 픽셀이 원 형상을 이루는 원형 픽셀 컴포넌트를 검출하는 단계;
    상기 이미지에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정하고, 상기 그리드의 셀 내에 상기 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스(distribution matrix)를 구성하는 단계; 및
    상기 원형 픽셀 컴포넌트 사이의 간격을 측정하여, 상기 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산하는 단계를 포함하는
    반복 패턴 검출 방법.
  13. 제12항에 있어서,
    상기 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산하는 단계는,
    상기 복수의 수직열 중 하나의 수직열에 배치된 원형 픽셀 컴포넌트 사이의 간격을 원소로 가지는 빈도수 매트릭스(frequency matrix)를 구성하는 단계; 및
    상기 빈도수 매트릭스의 원소들에 대한 히스토그램(histogram)을 분석하여, 최다 빈도수를 가지는 원소 값을 반복 주기로 결정하는 단계를 포함하는
    반복 패턴 검출 방법.
  14. 제12항에 있어서,
    상기 원형 픽셀 컴포넌트를 검출하는 단계는,
    상기 원형 픽셀 컴포넌트와 다른 원형 픽셀 컴포넌트의 상관도를 평가하기 위한 교차 상관도 매트릭스(cross correlation matrix)를 구성하여 원형 픽셀 컴포넌트를 검출하는 단계를 포함하는
    반복 패턴 검출 방법.
  15. 제12항에 있어서,
    상기 원형 픽셀 컴포넌트를 검출하는 단계는,
    상기 선형 픽셀 컴포넌트가 제거된 입력 이미지에 대해 호프 변환(Hough transform)을 수행하여 상기 원형 픽셀 컴포넌트를 검출하는 단계를 포함하는
    반복 패턴 검출 방법.
  16. 제12항에 있어서,
    상기 그리드의 셀 내에 상기 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성하는 단계는,
    상기 복수의 수직열 중, 상기 원형 픽셀 컴포넌트가 배치되지 않은 수직열을 삭제하는 단계를 더 포함하는
    반복 패턴 검출 방법.
  17. 입력 이미지를 구성하는 픽셀에 대하여 에지(edge) 검출을 수행하여, 복수의 픽셀이 라인(line) 형상을 이루는 선형 픽셀 컴포넌트를 제거하는 선형 픽셀 컴포넌트 제거부;
    상기 선형 픽셀 컴포넌트가 제거된 입력 이미지에서, 복수의 픽셀이 원 형상을 이루는 원형 픽셀 컴포넌트를 검출하는 원형 픽셀 컴포넌트 검출부;
    상기 이미지에 복수의 사각형 셀이 복수의 수평열과 수직열을 형성하는 그리드를 설정하고, 상기 그리드의 셀 내에 상기 원형 픽셀 컴포넌트를 배치하여 분포 매트릭스를 구성하는 분포 매트릭스 구성부; 및
    상기 원형 픽셀 컴포넌트 사이의 간격을 측정하여, 상기 입력 이미지에 대한 원형 픽셀 컴포넌트의 반복 주기를 연산하는 반복 주기 연산부를 포함하는
    반복 패턴 검출 장치.
KR1020130062249A 2013-05-31 2013-05-31 이미지에서 반복 패턴을 검출하는 방법 및 장치 KR101565748B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130062249A KR101565748B1 (ko) 2013-05-31 2013-05-31 이미지에서 반복 패턴을 검출하는 방법 및 장치
CN201410235685.8A CN104217420B (zh) 2013-05-31 2014-05-29 检测图像中的重复图案的方法及装置
US14/289,894 US9330450B2 (en) 2013-05-31 2014-05-29 Method and apparatus for detecting repetitive pattern in image
US15/078,443 US9430713B2 (en) 2013-05-31 2016-03-23 Method and apparatus for detecting repetitive pattern in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130062249A KR101565748B1 (ko) 2013-05-31 2013-05-31 이미지에서 반복 패턴을 검출하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140141027A true KR20140141027A (ko) 2014-12-10
KR101565748B1 KR101565748B1 (ko) 2015-11-05

Family

ID=51985175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130062249A KR101565748B1 (ko) 2013-05-31 2013-05-31 이미지에서 반복 패턴을 검출하는 방법 및 장치

Country Status (3)

Country Link
US (2) US9330450B2 (ko)
KR (1) KR101565748B1 (ko)
CN (1) CN104217420B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078331A (ko) * 2017-12-26 2019-07-04 주식회사 포스코 수퍼픽셀을 이용한 미세조직의 라벨링 이미지 생성방법 및 생성장치
KR20190078348A (ko) * 2017-12-26 2019-07-04 주식회사 포스코 미세조직의 상 분할 방법 및 장치
KR20200035556A (ko) * 2018-09-27 2020-04-06 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210077308A (ko) * 2019-12-17 2021-06-25 주식회사 포스코 미세 조직의 상 분할 장치 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140064596A1 (en) * 2012-08-29 2014-03-06 Micron Technology, Inc. Descriptor guided fast marching method for analyzing images and systems using the same
JP6637980B2 (ja) * 2014-12-09 2020-01-29 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 光学検出器
CN104484878B (zh) * 2014-12-16 2017-10-17 深圳市华星光电技术有限公司 显示面板缺陷的自动检测方法
TWI521476B (zh) * 2015-04-17 2016-02-11 銘傳大學 週期性圖案之自動光學檢測方法
CN107871011B (zh) * 2017-11-21 2020-04-24 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
JP7287669B2 (ja) * 2019-08-21 2023-06-06 株式会社ブイ・テクノロジー 欠陥部認識装置及び欠陥部認識方法
CN112462571B (zh) * 2020-12-04 2023-05-23 深圳清华大学研究院 周期性图形阵列提取方法、计算机装置及存储介质
CN113706607B (zh) * 2021-08-18 2023-10-20 广东江粉高科技产业园有限公司 一种基于圆环阵列图的亚像素定位方法、计算机设备与装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0186874B1 (en) 1984-12-26 1994-06-08 Hitachi, Ltd. Method of and apparatus for checking geometry of multi-layer patterns for IC structures
KR20030008150A (ko) * 2001-01-11 2003-01-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 단일 텔레비전 신호 필드들에서 병렬로 발생하는 필름 및비디오 오브젝트들의 인식
JP2010151824A (ja) 2005-01-14 2010-07-08 Hitachi High-Technologies Corp パターン検査方法及びその装置
US8816460B2 (en) 2009-04-06 2014-08-26 Nokia Corporation Image sensor
JP5409237B2 (ja) * 2009-09-28 2014-02-05 キヤノン株式会社 パターン検出装置、その処理方法及びプログラム
US9036915B2 (en) * 2010-01-29 2015-05-19 The Hong Kong University Of Science And Technology Architectural pattern detection and modeling in images
JP5498189B2 (ja) 2010-02-08 2014-05-21 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP2011174896A (ja) 2010-02-25 2011-09-08 Mitsubishi Heavy Ind Ltd 撮像装置及び撮像方法
JP5741011B2 (ja) * 2011-01-26 2015-07-01 株式会社リコー 画像処理装置、画素補間方法およびプログラム
KR101261016B1 (ko) 2011-03-15 2013-05-06 (주) 인텍플러스 평판패널 기판의 자동광학검사 방법 및 그 장치
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックIpマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078331A (ko) * 2017-12-26 2019-07-04 주식회사 포스코 수퍼픽셀을 이용한 미세조직의 라벨링 이미지 생성방법 및 생성장치
KR20190078348A (ko) * 2017-12-26 2019-07-04 주식회사 포스코 미세조직의 상 분할 방법 및 장치
KR20200035556A (ko) * 2018-09-27 2020-04-06 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210077308A (ko) * 2019-12-17 2021-06-25 주식회사 포스코 미세 조직의 상 분할 장치 및 방법

Also Published As

Publication number Publication date
CN104217420A (zh) 2014-12-17
CN104217420B (zh) 2018-01-26
US20160210527A1 (en) 2016-07-21
US9430713B2 (en) 2016-08-30
US9330450B2 (en) 2016-05-03
US20140355873A1 (en) 2014-12-04
KR101565748B1 (ko) 2015-11-05

Similar Documents

Publication Publication Date Title
KR101565748B1 (ko) 이미지에서 반복 패턴을 검출하는 방법 및 장치
Buza et al. Pothole detection with image processing and spectral clustering
CN100499057C (zh) 晶片检测方法
JP4562126B2 (ja) 欠陥検出装置および欠陥検出方法
CN109685760B (zh) 一种基于matlab的slm粉床铺粉图像凸包凹陷缺陷检测方法
RU2640673C1 (ru) Способ и устройство для детектирования дефектов на шинах в процессе производства шин
JP2017515097A (ja) 射影画像を用いた自動インライン検査及び計測
KR101813223B1 (ko) 영상 표면의 결함을 검출 및 분류하는 방법 및 장치
JP5912125B2 (ja) ウェブベース材料における不均一性の高速処理と検出
CN115100206B (zh) 用于具有周期图案纺织物的印花缺陷识别方法
CN105957113B (zh) 基于曼哈顿网络的任意连通域的水平内接矩形算法及装置
KR20200035320A (ko) 투명 또는 반투명 웨이퍼 상에서의 결함 검출
CN101464998A (zh) 面向纺织行业的非高斯纹理噪声平滑滤波方法
US20110164129A1 (en) Method and a system for creating a reference image using unknown quality patterns
CN105469384A (zh) 车牌图像质量的综合评价方法
KR101109351B1 (ko) 가보 필터를 이용한 금속 패드의 상태 검사 방법
JP4346379B2 (ja) 欠陥検査方法
CN115393325A (zh) 织物疵点的检测方法和系统
JP5155938B2 (ja) パターン輪郭検出方法
CN110349133B (zh) 物体表面缺陷检测方法、装置
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置
KR102352698B1 (ko) 자동화된 이미지 기반 프로세스 모니터링 및 제어
KR20070049199A (ko) 표면검사용 방법
CN112927128A (zh) 图像拼接方法及其相关监控摄像设备
CN115619761A (zh) 一种缺口覆盖异常的检测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 5