KR102610783B1 - Cad 영상을 활용한 전처리가 구현된 딥러닝 검사시스템 - Google Patents
Cad 영상을 활용한 전처리가 구현된 딥러닝 검사시스템 Download PDFInfo
- Publication number
- KR102610783B1 KR102610783B1 KR1020220145513A KR20220145513A KR102610783B1 KR 102610783 B1 KR102610783 B1 KR 102610783B1 KR 1020220145513 A KR1020220145513 A KR 1020220145513A KR 20220145513 A KR20220145513 A KR 20220145513A KR 102610783 B1 KR102610783 B1 KR 102610783B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- captured
- cad
- captured image
- module
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 186
- 238000007781 pre-processing Methods 0.000 title claims abstract description 127
- 238000013135 deep learning Methods 0.000 title description 3
- 239000002131 composite material Substances 0.000 claims abstract description 117
- 230000007547 defect Effects 0.000 claims abstract description 83
- 238000010801 machine learning Methods 0.000 claims abstract description 75
- 230000002950 deficient Effects 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 abstract description 48
- 238000013528 artificial neural network Methods 0.000 abstract description 21
- 102100034581 Dihydroorotase Human genes 0.000 description 204
- 238000012545 processing Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000003708 edge detection Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 238000012552 review Methods 0.000 description 7
- 238000011179 visual inspection Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명에서는 검사시스템이 개시된다. 상기 검사시스템은, 검사 대상으로부터 촬상 이미지를 생성하기 위한 카메라 모듈과, 촬상 이미지와 촬상 이미지에 대응되는 CAD 이미지로부터 합성 이미지를 생성하기 위한 영상 전처리 모듈과, 합성 이미지를 입력으로 하여, 검사 대상에 대한 양불 판별의 분류를 수행하는 기계학습모듈을 포함하되, 영상 전처리 모듈은, 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값 사이의 점 연산을 통하여 상기 합성 이미지를 생성한다.
본 발명에 의하면, 검사 대상인 기판을 광학적으로 포착한 촬상 이미지와 기판이 설계된 CAD 이미지로부터 영상 전처리를 통하여 촬상 이미지와 CAD 이미지의 영상 정보를 함께 포함하는 합성 이미지를 생성할 수 있으며, 촬상 이미지 또는 CAD 이미지 중 배타적으로 어느 하나의 이미지 상에서 포착된 결함후보군의 성분에 대해 높은 화소 값을 부여한 합성 이미지를 입력으로 하여, 입력된 합성 이미지로부터 출력 방향을 따르는 신경망의 정방향 전파를 통하여 결함후보군에 대해 부여된 상대적으로 높은 화소 값과 출력에 해당되는 예측된 확률 사이에 강한 상관관계를 형성할 수 있으며, 결함 여부 내지는 양불의 이진 분류를 수행하는 신경망의 예측의 정확도를 높일 수 있는 검사시스템이 제공된다.
본 발명에 의하면, 검사 대상인 기판을 광학적으로 포착한 촬상 이미지와 기판이 설계된 CAD 이미지로부터 영상 전처리를 통하여 촬상 이미지와 CAD 이미지의 영상 정보를 함께 포함하는 합성 이미지를 생성할 수 있으며, 촬상 이미지 또는 CAD 이미지 중 배타적으로 어느 하나의 이미지 상에서 포착된 결함후보군의 성분에 대해 높은 화소 값을 부여한 합성 이미지를 입력으로 하여, 입력된 합성 이미지로부터 출력 방향을 따르는 신경망의 정방향 전파를 통하여 결함후보군에 대해 부여된 상대적으로 높은 화소 값과 출력에 해당되는 예측된 확률 사이에 강한 상관관계를 형성할 수 있으며, 결함 여부 내지는 양불의 이진 분류를 수행하는 신경망의 예측의 정확도를 높일 수 있는 검사시스템이 제공된다.
Description
본 발명은 CAD 영상을 활용한 전처리가 구현된 딥러닝 검사시스템에 관한 것이다.
검사시스템의 일 유형은, 절연 필름을 지지 기반으로 하여, 절연 필름의 적어도 일면 상에 형성된 패턴을 포함하는 기판을 검사 대상으로 하며, 단위기판으로 절단되기 이전의 연속적인 릴 형태 또는 판상의 모 기판 형태로 형성된 기판을 대상으로 하여, 기판 상의 결함 유무 내지는 양불 판별에 관한 자동화된 검사를 수행할 수 있다.
본 발명의 일 실시형태는, 검사 대상인 기판을 광학적으로 포착한 촬상 이미지와 기판이 설계된 CAD 이미지로부터 영상 전처리를 통하여 촬상 이미지와 CAD 이미지의 영상 정보를 함께 포함하는 합성 이미지를 생성할 수 있으며, 촬상 이미지 또는 CAD 이미지 중 배타적으로 어느 하나의 이미지 상에서 포착된 결함후보군의 성분에 대해 높은 화소 값을 부여한 합성 이미지를 입력으로 하여, 입력된 합성 이미지로부터 출력 방향을 따르는 신경망의 정방향 전파를 통하여 결함후보군에 대해 부여된 상대적으로 높은 화소 값과 출력에 해당되는 예측된 확률 사이에 강한 상관관계를 형성할 수 있으며, 결함 여부 내지는 양불의 분류를 수행하는 신경망의 예측의 정확도를 높일 수 있는 검사시스템을 포함한다.
상기와 같은 과제 및 그 밖의 과제를 해결하기 위하여, 본 발명의 일 실시형태에 따른 검사시스템은,
검사 대상으로부터 촬상 이미지를 생성하기 위한 카메라 모듈;
상기 촬상 이미지와 상기 촬상 이미지에 대응되는 CAD 이미지로부터 합성 이미지를 생성하기 위한 영상 전처리 모듈; 및
상기 합성 이미지를 입력으로 하여, 상기 검사 대상에 대한 양불 판별의 분류를 수행하는 기계학습모듈을 포함하되,
상기 영상 전처리 모듈은, 상기 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값 사이의 점 연산을 통하여 상기 합성 이미지를 생성할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값이 서로 다른 제1, 제2 가중치로 더해진 가중치 오버레이 영상에 해당되는 제1 연산 이미지로부터 상기 합성 이미지를 생성할 수 있다.
예를 들어, 상기 영상 전처리 모듈은, 상기 제1 연산 이미지의 생성을 위하여,
상기 촬상 이미지에 대해 상대적으로 높은 제1 가중치를 적용하고,
상기 CAD 이미지에 대해 상대적으로 낮은 제2 가중치를 적용할 수 있다.
예를 들어, 상기 제1 가중치는 0.8로 설정되고, 상기 제2 가중치는 0.2로 설정될 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값을 화소 단위로 비교하고, 촬상 이미지 및 CAD 이미지 중에서 어느 하나의 이미지 상에서만 포착되는 배타적 객체를 검출한 결함후보군 추출 영상에 해당되는 제2 연산 이미지로부터 상기 합성 이미지를 생성할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 촬상 이미지로부터 이진화된 촬상 이미지를 생성하고,
상기 이진화된 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값을 화소 단위로 비교하여 상기 배타적 객체를 검출할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 촬상 이미지 상의 전체 화소 값의 평균치를 임계값으로 하여, 서로 다른 두 부류로 분할된 이진화된 촬상 이미지를 생성할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 이진화된 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값의 차이에 따라 상기 배타적 객체를 검출할 수 있다.
예를 들어, 상기 영상 전처리 모듈은, 상기 배타적 객체에 대해,
상기 이진화된 촬상 이미지 및 CAD 이미지의 상호 비교를 통하여 산출된 객체의 화소 위치 및 상기 객체와 대응되는 위치의 촬상 이미지 상에서 취해진 화소 값으로부터,
상기 제2 연산 이미지 상에서 객체와 대응되는 화소 위치에, 상기 촬상 이미지로부터 취해진 화소 값을 매핑시킬 수 있다.
예를 들어, 상기 영상 전처리 모듈은, 상기 배타적 객체에 대해,
상기 촬상 이미지 및 CAD 이미지 모두에서 검출된 객체와 비교하여,
상기 합성 이미지 상에서 상대적으로 높은 화소 값을 부여할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 합성 이미지 상에서, 패턴의 윤곽을 따르는 에지 성분에 대해 상대적으로 높은 화소 값을 부여할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 촬상 이미지로부터 상기 CAD 상에 설계된 패턴의 에지 주변으로 형성된 명암의 구배가 표현된 영상 성분에 대해, 상기 촬상 이미지 상에서만 포착된 배타적 객체로 인식하여, 상기 합성 이미지 상에서 상대적으로 높은 화소 값을 부여할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 촬상 이미지로부터 상기 CAD 상에 설계된 패턴의 윤곽을 벗어난 초과 윤곽분이 표현된 영상 성분에 대해, 상기 촬상 이미지 상에서만 포착된 배타적 객체로 인식하여, 상기 합성 이미지 상에서 상대적으로 높은 화소 값을 부여할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 촬상 이미지로부터 상기 CAD 상에 설계된 패턴 사이의 단락이 표현된 영상 성분에 대해, 상기 촬상 이미지 상에서만 포착된 객체로 인식하여, 상기 합성 이미지 상에서 상대적으로 높은 화소 값을 부여할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
i) 상기 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값이 서로 다른 제1, 제2 가중치로 더해진 가중치 오버레이 영상에 해당되는 제1 연산 이미지를 생성하고,
ii) 상기 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값을 화소 단위로 비교하고, 촬상 이미지 및 CAD 이미지 중에서 어느 하나의 이미지 상에서만 포착되는 배타적 객체를 검출한 결함후보군 추출 영상에 해당되는 제2 연산 이미지를 생성하며,
iii) 상기 제1, 제2 연산 이미지의 서로 대응되는 화소 값을 더하여 상기 합성 이미지를 생성할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 제1 연산 이미지의 생성을 위하여, 상기 촬상 이미지에 대해 상대적으로 높은 제1 가중치를 적용하고, 상기 CAD 이미지에 대해 상대적으로 낮은 제2 가중치를 적용하며,
상기 제1, 제2 연산 이미지를 동일한 가중치로 더하여 상기 합성 이미지를 생성할 수 있다.
예를 들어, 상기 영상 전처리 모듈은, 상기 배타적 객체에 대해,
상기 촬상 이미지 및 CAD 이미지 상에서 모두 검출된 객체와 비교하여,
상기 제1 연산 이미지 상에서는 상대적으로 낮은 화소 값이 부여하고,
상기 제2 연산 이미지 상에서는 상대적으로 높은 화소 값을 부여하되, 상기 제1, 제2 연산 이미지가 더해진 합성 이미지 상에서 제1 연산 이미지 상의 낮은 화소 값을 상쇄시키고 상대적으로 높은 화소 값이 부여되도록 충분히 높은 화소 값을 부여할 수 있다.
예를 들어, 상기 영상 전처리 모듈은,
상기 촬상 이미지 및 CAD 이미지의 서로 대응되는 화소 값 사이의 점 연산(point operation)으로부터 상기 제1 연산 이미지를 생성하고,
상기 촬상 이미지 상의 전체 화소 값의 평균치를 임계값으로 하여, 서로 다른 두 부류로 분할된 이진화된 촬상 이미지를 생성하며,
상기 이진화된 촬상 이미지 및 CAD 이미지의 서로 대응되는 화소 값 사이의 점 연산(point operation)으로부터 배타적 객체의 위치를 검출하여 제2 연산 이미지를 생성할 수 있다.
예를 들어, 상기 기계학습모듈은, 상기 합성 이미지 상에서 상대적으로 높은 화소 값으로 입력되는 결함후보군과 양불 판별의 분류 사이의 상관관계를 학습한 가중치를 포함할 수 있다.
예를 들어, 상기 검사시스템은, 상기 카메라 모듈 및 영상 전처리 모듈 사이에 연결된 비전검사모듈을 더 포함하고,
상기 비전검사모듈은 상기 촬상 이미지 상으로부터 패턴의 에지를 검출하기 위하여, 서로 이웃한 화소를 포함하는 화소 집합에 대한 화소 값의 변화량을 산출하는 영역 연산(area operation)을 수행할 수 있다.
예를 들어, 상기 검사시스템은,
상기 검사시스템의 데이터 흐름을 제어하기 위한 제어 유닛을 더 포함하고,
상기 제어 유닛은, 상기 비전검사모듈로부터 양불 판별의 1차 검사에서 불량으로 판정된 촬상 이미지를 선별하여, 상기 기계학습모듈에 의한 양불 판별의 2차 검사를 위하여, 상기 영상 전처리 모듈로 제공할 수 있다.
한편, 본 발명의 다른 측면에 따른 검사시스템은,
검사 대상으로부터 촬상 이미지를 생성하기 위한 카메라 모듈;
상기 촬상 이미지와 상기 촬상 이미지에 대응되는 CAD 이미지로부터 합성 이미지를 생성하기 위한 영상 전처리 모듈; 및
상기 합성 이미지를 입력으로 하여, 상기 검사 대상에 대한 양불 판별의 분류를 수행하는 기계학습모듈을 포함하되,
상기 영상 전처리 모듈은, 상기 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값이 서로 다른 제1, 제2 가중치로 더해진 가중치 오버레이 영상에 해당되는 제1 연산 이미지로부터 상기 합성 이미지를 생성할 수 있다.
예를 들어, 상기 영상 전처리 모듈은, 상기 제1 연산 이미지의 생성을 위하여,
상기 촬상 이미지에 대해 상대적으로 높은 제1 가중치를 적용하고,
상기 CAD 이미지에 대해 상대적으로 낮은 제2 가중치를 적용할 수 있다.
본 발명의 검사시스템에 의하면, 검사 대상인 기판을 광학적으로 포착한 촬상 이미지와 기판이 설계된 CAD 이미지로부터 영상 전처리를 통하여 촬상 이미지와 CAD 이미지의 영상 정보를 함께 포함하는 합성 이미지를 생성할 수 있으며, 촬상 이미지 또는 CAD 이미지 중 배타적으로 어느 하나의 이미지 상에서 포착된 결함후보군의 성분에 대해 높은 화소 값을 부여한 합성 이미지를 입력으로 하여, 입력된 합성 이미지로부터 출력 방향을 따르는 신경망의 정방향 전파를 통하여 결함후보군에 대해 부여된 상대적으로 높은 화소 값과 출력에 해당되는 예측된 확률 사이에 강한 상관관계를 형성할 수 있으며, 결함 여부 내지는 양불의 이진 분류를 수행하는 신경망의 예측의 정확도를 높일 수 있다.
도 1에는 본 발명의 제1 실시형태에 따른 검사시스템의 전체적인 구성을 보여주는 도면이 도시되어 있다.
도 2 및 도 3에는 본 발명의 일 실시형태에서, 상기 영상 전처리 모듈로부터 제1, 제2 연산 이미지를 생성하는 영상 처리를 설명하기 위한 도면들이 도시되어 있다.
도 4a 및 도 4b에는 본 발명의 일 실시형태에서, 영상 전처리 모듈로부터 생성된 서로 다른 제1 연산 이미지를 예시적으로 보여주는 도면이 도시되어 있다.
도 5a 내지 도 5f에는 서로 다른 유형의 결함에 대해, 영상 전처리 모듈로 입력되는 촬상 이미지 및 CAD 이미지로부터 영상 전처리 모듈로부터 생성되는 각각의 제1, 제2 연산 이미지와, 영상 전처리 모듈로부터 출력되는 합성 이미지까지 영상 처리 단계별 이미지들을 보여주는 도면들이 도시되어 있다.
도 6에는 검사 대상인 기판 상에 형성된 패턴의 두께에 따라 초점 심도를 벗어나는 아웃 포커스를 설명하기 위한 개략적인 도면이 도시되어 있다.
도 7에는 본 발명의 일 실시형태에서, 합성 이미지의 R,G,B의 3채널의 이미지를 입력으로 하는 기계학습모델에 적용될 수 있는 CNN (Convolution Neural Network) 신경망을 설명하기 위한 도면으로, 이해의 편의를 위하여 단순화된 CNN 신경망 모델이 도시되어 있다.
도 8에는 본 발명의 다른 실시형태에서, 상기 영상 전처리 모듈로부터 합성 이미지를 생성하는 영상 처리를 설명하기 위한 도면이 도시되어 있다.
도 2 및 도 3에는 본 발명의 일 실시형태에서, 상기 영상 전처리 모듈로부터 제1, 제2 연산 이미지를 생성하는 영상 처리를 설명하기 위한 도면들이 도시되어 있다.
도 4a 및 도 4b에는 본 발명의 일 실시형태에서, 영상 전처리 모듈로부터 생성된 서로 다른 제1 연산 이미지를 예시적으로 보여주는 도면이 도시되어 있다.
도 5a 내지 도 5f에는 서로 다른 유형의 결함에 대해, 영상 전처리 모듈로 입력되는 촬상 이미지 및 CAD 이미지로부터 영상 전처리 모듈로부터 생성되는 각각의 제1, 제2 연산 이미지와, 영상 전처리 모듈로부터 출력되는 합성 이미지까지 영상 처리 단계별 이미지들을 보여주는 도면들이 도시되어 있다.
도 6에는 검사 대상인 기판 상에 형성된 패턴의 두께에 따라 초점 심도를 벗어나는 아웃 포커스를 설명하기 위한 개략적인 도면이 도시되어 있다.
도 7에는 본 발명의 일 실시형태에서, 합성 이미지의 R,G,B의 3채널의 이미지를 입력으로 하는 기계학습모델에 적용될 수 있는 CNN (Convolution Neural Network) 신경망을 설명하기 위한 도면으로, 이해의 편의를 위하여 단순화된 CNN 신경망 모델이 도시되어 있다.
도 8에는 본 발명의 다른 실시형태에서, 상기 영상 전처리 모듈로부터 합성 이미지를 생성하는 영상 처리를 설명하기 위한 도면이 도시되어 있다.
이하, 첨부된 도면을 참조하여, 본 발명의 바람직한 실시형태에 관한 검사시스템에 대해 설명하기로 한다.
도 1에는 본 발명의 제1 실시형태에 따른 검사시스템의 전체적인 구성을 보여주는 도면이 도시되어 있다.
본 발명의 일 실시형태에 따른 검사시스템은, 검사 대상인 기판에 대한 촬상 이미지를 제공하는 카메라 모듈과, 상기 카메라 모듈로부터 생성된 촬상 이미지로부터 기판의 결함 유무 내지는 양불 판별에 관한 1차 검사를 수행하기 위한 비전검사모듈과, 비전검사모듈로부터 불량으로 판별된 촬상 이미지와 촬상 이미지에 대응되는 CAD 이미지를 입력으로 하여 촬상 이미지와 CAD 이미지의 영상 정보가 조합된 합성 이미지를 생성하고, 생성된 합성 이미지로부터 양불 판별에 관한 2차 검사를 수행하기 위한 기계학습모듈을 포함할 수 있다. 후술하는 바와 같이, 본 발명의 일 실시형태에서, 상기 기계학습모듈의 2차 검사는 비전검사모듈의 1차 검사에 대한 재검(리뷰)에 해당될 수 있으며, 1차 검사를 통하여 불량으로 판별된 촬상 이미지(보다 구체적으로 촬상 이미지와 CAD 이미지로부터 생성된 합성 이미지)를 입력으로 하고 사전에 학습된 가중치를 포함하는 다수의 뉴런이 연결된 기계학습모듈을 통하여 2차 검사가 수행될 수 있으며, 상기 기계학습모듈로부터 상대적으로 높은 예측 확률로 불량으로 판별된 이미지에 대해서는 재차 재검(리뷰)을 수행할 수 있다.
이와 같이, 본 발명의 일 실시형태에 따른 검사시스템은, 비전검사모듈의 1차 검사와, 비전검사모듈의 1차 검사에 대한 재검으로서 기계학습모듈의 2차 검사를 순차로 수행할 수 있으며, 기계학습모듈의 2차 검사에 대한 재검을 지원할 수 있다. 예를 들어, 본 발명의 일 실시형태에 따른 검사시스템은, 검사시스템의 데이터 흐름을 제어하기 위한 제어 유닛을 포함할 수 있으며, 상기 제어 유닛은 비전검사모듈로부터 결함의 유무 내지는 양불 판별에 대한 1차 검사에서 결함 내지는 불량으로 판별된 촬상 이미지를 선별하여, 2차 검사를 위한 기계학습모듈에 입력되는 합성 이미지를 생성하기 위한 영상 전처리 모듈로 입력할 수 있다.
통계적으로 검사 대상인 기판 중에서 20~30% 정도의 영역이 결함에 해당된다고 할 때, 70~80% 정도의 대부분 영역은 양호한 것으로 이해될 수 있고, 이러한 고려로부터 본 발명의 일 실시형태에 따른 검사시스템은 비전검사모듈의 1차 검사에서 불량으로 판단된 촬상 이미지만을 선별하여 기계학습모듈의 2차 검사를 위하여 영상 전처리 모듈로 입력할 수 있으며, 본 발명의 일 실시형태에서는, 모든 촬상 이미지를 대상으로 비전검사모듈의 1차 검사에 대한 재검으로서 기계학습모듈의 2차 검사를 수행하기 보다는, 비전검사모듈로부터 불량으로 판별된 촬상 이미지만을 선별하여 기계학습모듈의 2차 검사를 위한 영상 처리를 거치도록 할 수 있으며, 다시 말하면, 비전검사모듈로부터 불량으로 판별된 촬상 이미지만을 선별하여 합성 이미지의 생성을 위한 영상 전처리 모듈로 입력할 수 있고, 대부분의 양호한 영역 중에서 혼재되어 있는 낮은 확률의 결함을 포착한 비전검사모듈의 1차 검사에 대해 선별적으로 비전검사모듈의 양불 판별에 관한 1차 검사를 재검(리뷰)하도록 하는 것이, 연산 부담을 줄이면서도 비전검사모듈의 양불 판별을 효율적으로 재검(리뷰)할 수 있는 방안으로 이해될 수 있다. 예를 들어, 본 발명의 일 실시형태에 따른 검사시스템은, 비전검사모듈로부터 불량으로 판별된 촬상 이미지만을 선별하여 영상 전처리 모듈을 통하여 촬상 이미지와 함께 촬상 이미지에 대응되는 CAD 이미지로부터 합성 이미지를 생성할 수 있으며, 생성된 합성 이미지를 기계학습모듈로 입력하여 비전검사모듈의 1차 검사를 재검(리뷰)하도록 할 수 있으며, 만일 본 발명에서와 달리, 비전검사모듈에 의한 양불 판별에 무관하게 모든 촬상 이미지를 대상으로 영상 전처리 모듈에 의한 영상 처리를 거치도록 하고, 영상 처리로부터 획득된 합성 이미지를 기계학습모듈의 입력으로 제공하여 모든 촬상 이미지에 대한 비전검사모듈의 1차 검사를 재검하도록 한다면, 카메라 모듈로부터 이어지는 연속적인 검사의 흐름 상에서 카메라 모듈로부터 전송되는 모든 촬상 이미지에 대해 영상 전처리 모듈을 가동하고 또한 영상 전처리 모듈로부터 생성된 합성 이미지를 제공하여 기계학습모듈을 가동하며 기계학습모듈에 의한 2차 검사가 이루어지도록 하는 것은 전체 검사 프로세스를 지연시키는 원인이 될 수 있으므로, 본 발명의 일 실시형태에 따른 검사시스템에서는 비전검사모듈로부터 불량으로 판별된 촬상 이미지에 대해서만 영상 전처리 모듈에 의한 영상 처리 및 영상 처리로부터 획득된 합성 이미지의 입력에 따른 기계학습모듈의 2차 검사가 이루어지도록 하고, 영상 전처리 모듈 및 기계학습모듈을 선별적으로 가동할 수 있다.
한편, 본 발명의 일 실시형태에서, 기계학습모듈의 2차 검사에 대한 재검은 검사자에 의한 육안 검사로 이루어질 수 있다. 본 발명의 일 실시형태에 따른 검사시스템은, 기계학습모듈의 2차 검사에 대한 재검을 지원할 수 있으며, 예를 들어, 기계학습모듈에 의해 상대적으로 높은 예측 확률로 불량으로 분류된 합성 이미지를 수신하고 수신된 합성 이미지를 화면 상으로 구현하여 기계학습모듈에 의한 2차 검사의 재검 내지는 육안 검사에 제공하기 위한 디스플레이 장치를 더 포함할 수 있다.
본 명세서를 통하여 서로 대응되는 촬상 이미지와 CAD 이미지란, 검사 대상인 기판을 포착한 촬상 이미지와 기판이 설계된 CAD 이미지로서, 각각 기판 상의 패턴을 광학적으로 포착한 촬상 이미지와 기판 상의 패턴이 설계된 CAD 이미지를 의미할 수 있으며, 예를 들어, 촬상 이미지 상에 광학적으로 포착된 기판 상의 패턴은 상퍼짐(blurring)과 같은 불선명한 에지를 포함할 수 있으나, CAD 이미지 상에 설계된 기판 상의 패턴은 높은 분해능을 갖는 선명한 에지를 포함할 수 있다. 본 발명의 일 실시형태에서는, 서로 대응되는 촬상 이미지와 CAD 이미지의 영상 정보가 조합된 합성 이미지를 생성하고, 촬상 이미지와 CAD 이미지의 영상 정보를 포함하는 합성 이미지로부터 기계학습모듈의 양불 판별에 관한 예측의 정확도를 높일 수 있다.
본 발명의 일 실시형태에서, 1차 검사를 위한 비전검사모듈과 2차 검사를 위한 기계학습모듈은, 모두 검사 대상인 기판의 결함 유무에 관한 양불 판별을 수행하지만, 상기 비전검사모듈은 기계학습모듈과 같이 레이블링된 학습 데이터에 의한 사전 학습이 요구되지 않을 수 있다.
본 발명의 일 실시형태에서 상기 비전검사모듈은 카메라 모듈로부터 생성된 촬상 이미지로부터 또는 상기 촬상 이미지와 함께 상기 촬상 이미지에 대응되는 CAD 이미지로부터 양불 판별에 관한 1차 검사를 수행할 수 있으며, 본 발명의 일 실시형태에서는 카메라 모듈로부터 생성된 촬상 이미지와 CAD 이미지 사이의 영상 정합을 수행하고, 촬상 이미지와 CAD 이미지가 서로에 대해 겹쳐진 중첩 이미지를 생성하며, 중첩 이미지로부터 결함을 검출하는 방식으로 양불 판별에 대한 1차 검사를 수행할 수 있다.
보다 구체적으로, 상기 비전검사모듈은 서로 대응되는 촬상 이미지와 CAD 이미지로부터 에지를 검출하고 검출된 에지(에지 성분 및 코너 성분)를 특징점으로 하여 서로 대응되는 촬상 이미지와 CAD 이미지 상의 위치를 서로 정합시키는 매칭 알고리즘을 수행할 수 있다. 예를 들어, 본 발명의 일 실시형태에서 에지의 검출은 영상 좌표계에서 행열을 형성하는 y축 및 x축을 따라 각각 y축 1차 편도함수와 x축 1차 편도함수를 산출하고, y축 1차 편도함수와 x축 1차 편도함수를 각각의 y축 성분 및 x축 성분으로 하는 그래디언트 벡터(간단히 그래디언트)와 수직한 방향을 에지의 방향으로 산출할 수 있으며, 상기 그래디언트의 크기를 에지의 강도로 산출할 수 있다. 본 발명의 일 실시형태에서, 상기 비전검사모듈은, 촬상 이미지 상에서 행열을 형성하는 y축 및 x축을 따라 서로 이웃하게 배열된 화소 집합에 대해 일정한 크기의 윈도우(마스크 또는 필터) 내지는 연산자(1차 미분 연산자, 예를 들어, 소벨 연산자)를 적용하는 영역 연산(area operation)을 통하여 윈도우 내에서 관심 화소의 그래디언트를 산출할 수 있으며, 그래디언트의 크기에 해당되는 에지의 강도와 임계값과의 대소 비교를 통하여 해당되는 관심 화소를 에지 화소로 결정할 수 있다. 본 발명의 다양한 실시형태에서, 상기 비전검사모듈은 촬상 이미지 상에서 행열을 형성하는 y축 및 x축을 따라 서로 이웃하게 배열된 화소 집합에 대해 라플라시안 연산자와 같은 2차 미분 연산자를 적용하고, 1차 미분 연산자를 적용하여 산출된 그래디언트의 크기와 2차 미분 연산자를 적용하여 제로-크로싱(zero crossing)을 검출하는 방식으로 에지 화소를 검출할 수도 있다.
본 발명의 일 실시형태에서, 상기 비전검사모듈은 카메라 모듈로부터 생성된 촬상 이미지와 촬상 이미지에 대응되는 CAD 이미지로부터 에지(에지 성분 및 코너 성분)를 검출하고, 검출된 에지의 방향 및 에지의 강도로부터 촬상 이미지 및 CAD 이미지 상에서 서로 대응되는 특징점을 매칭시키는 매칭 알고리즘을 수행할 수 있으며, 촬상 이미지 및 CAD 이미지 상으로부터 적어도 3개 이상의 서로 대응되는 매칭의 쌍을 검출함으로써, 기판의 자세(위치 및 방향)을 산출해낼 수 있고, 촬상 이미지와 CAD 이미지를 서로에 대해 위치 정렬시킴으로써, 촬상 이미지와 CAD 이미지가 서로에 대해 겹쳐진 중첩 이미지를 생성하며, 중첩 이미지로부터 검사 대상인 기판의 결함 유무 내지는 양불 판별에 관한 1차 검사가 이루어질 수 있다.
본 발명의 다양한 실시형태에서, 상기 비전검사모듈은 검출된 에지에 해당되는 에지 화소를 서로 연결하여 에지 세그먼트(edge segment)를 생성하거나 또는 에지 세그먼트를 서로 연결하여 라인 세그먼트(line segment)를 생성하도록 검출된 에지를 서로 연결하거나 또는 선분화시키기 위한 알고리즘을 수행할 수도 있으며, 이와 같이 검출된 에지 세그먼트 또는 라인 세그먼트는 촬상 이미지 상에 포착된 기판 상의 패턴 및 CAD 이미지 상에 설계된 기판 상의 패턴에 해당될 수 있으며, 이러한 에지 또는 라인 세그먼트를 통하여 서로 대응되는 촬상 이미지와 CAD 이미지 상의 패턴 매칭을 통하여 이들 간의 위치 정렬을 수행할 수도 있다.
본 발명의 다양한 실시형태에서, 상기 비전검사모듈은 에지 보다 많은 정보를 포함하는 특징 벡터를 검출하고 특징 벡터 간의 유사도에 따라 서로 대응되는 촬상 이미지와 CAD 이미지를 서로 정합시키는 매칭 알고리즘을 수행할 수도 있다. 보다 구체적으로, 상기 비전검사모듈은 서로 대응되는 촬상 이미지 및 CAD 이미지의 상대적인 이동, 회전, 스케일 변화와 같은 기하 변환에 불변하거나 강인한 특징점을 추출하도록 다중 스케일(multi-scale)의 스케일 공간, 예를 들어, DoG(Difference of Gaussian) 기반의 스케일 공간에서 극점을 검출하여 스케일 불변 특성의 특징점을 추출할 수 있고, 추출된 특징점에 대해 방향성을 할당(orientation assignment)하여 회전 불변 특성을 갖도록 할 수 있다. 예를 들어, 특징점 주변의 화소 집합에 대한 화소 값의 변화량과 방향을 그래디언트 방향 히스토그램으로 산출하고 화소 값의 변화량이 가장 큰 방향 내지는 지배적인 방향으로 특징점의 방향성을 할당하고, 예를 들어, 각 특징점에서의 특징 벡터를 추출하기 위한 좌표계를 설정할 수 있다. 본 발명의 일 실시형태에서, 상기 특징 벡터는 특징점 주변의 화소 집합에 대해 8단계로 양자화된 방향과 화소 값의 변화량을 그래디언트 방향 히스토그램으로 산출할 수 있으며, 해당 방향에 대한 화소 값의 변화량을 요소로 하는 고차원의 특징 벡터가 산출될 수 있다. 상기 비전검사모듈은, 촬상 이미지로부터 추출된 다수의 특징점의 특징 벡터와 상기 촬상 이미지에 대응되는 CAD 이미지로부터 추출된 다수의 특징점의 특징 벡터 사이의 유사도를 산출하여 서로 대응되는 특징점을 매칭시킬 수 있다. 본 발명의 일 실시형태에서, 상기 촬상 이미지로부터 추출된 특징 벡터와 상기 촬상 이미지에 대응되는 CAD 이미지로부터 추출된 특징 벡터 간의 유사도는 유클리드 거리(Euclidean distance)로 산출될 수 있으며, 상기 비전검사모듈은 촬상 이미지로부터 추출된 특징 벡터와 CAD 이미지로부터 추출된 특징 벡터 간의 유사도에 따라 가장 유사도가 높은 특징 벡터의 쌍을 선택하여 서로 대응되는 특징점을 매칭시킬 수 있다. 예를 들어, 본 발명의 일 실시형태에서, 상기 비전검사모듈은, 적어도 3개 이상의 서로 대응되는 특징점의 쌍을 검출함으로써, 기판의 자세(위치 및 방향)를 산출해낼 수 있으며, 검사 대상인 기판을 포착한 카메라 모듈로부터 생성된 촬상 이미지와 촬상 이미지에 대응되는 CAD 이미지를 서로에 대해 위치 정렬시킬 수 있고, 서로 대응되는 촬상 이미지와 CAD 이미지 간의 위치 정렬을 통하여 검사 대상인 기판의 결함 유무 내지는 양불 판별을 수행할 수 있다.
본 발명의 다양한 실시형태에서, 상기 비전검사모듈은 검사 대상인 기판을 포착한 카메라 모듈로부터 생성된 촬상 이미지 상의 정렬 마크와 촬상 이미지에 대응되는 CAD 이미지 상의 정렬 마크를 서로 위치 정렬시키는 방식으로, 서로 대응되는 촬상 이미지와 CAD 이미지를 위치 정렬시킬 수 있다. 예를 들어, 본 발명의 일 실시형태에서, 촬상 이미지가 포착한 기판 상에는 정렬 마크가 형성되어 있을 수 있으며, 상기 정렬 마크와 대응되는 또 다른 정렬 마크가 기판이 설계된 CAD 이미지 상에 형성되어 있을 수 있고, 상기 비전검사모듈은 촬상 이미지 상의 정렬 마크와 CAD 이미지 상의 정렬 마크를 서로에 대해 위치 정렬시킬 수 있다.
본 발명의 일 실시형태에서, 상기 비전검사모듈은, 촬상 이미지와 CAD 이미지 사이의 위치 정렬을 통하여 서로에 대해 위치 정렬된 촬상 이미지와 CAD 이미지가 서로에 대해 겹쳐진 중첩 이미지를 생성할 수 있으며, 중첩 이미지로부터 에지(에지 성분 및 코너 성분)를 검출하거나 또는 중첩 이미지 상의 화소 값의 분포로부터 임계값을 산출하고 산출된 임계값을 기준으로 중첩 이미지 상에서 서로 다른 두 부류 이상의 영역을 분할하는, 임계화를 이용한 영역 분할의 방식 등으로, 결함 여부 내지는 양불 판별을 수행할 수 있다. 본 발명의 다양한 실시형태에서, 상기 비전검사모듈은 촬상 이미지와 CAD 이미지가 서로에 대해 겹쳐진 중첩 이미지로부터 결함 유무 내지는 양불 판별에 관한 1차 검사를 수행할 수 있으며, 룰 기반 검사(rule-based inspection)를 수행할 수 있다. 예를 들어, 상기 비전검사모듈은, 상기 촬상 이미지 상에서만 포착된 객체에 대해 CAD 이미지 상에 설계된 도전 패턴들 사이의 단락이 발생된 결함으로 인식하고, 이에 따라, 양불 판별에서 불량으로 판별할 수 있으며, CAD 이미지 상에서만 포착된 객체에 대해 CAD 이미지 상에 설계된 패턴이 형성되지 않은 패턴의 부재 또는 패턴에 형성된 핀 홀 내지는 보이드가 발생된 결함으로 인식할 수 있고, 양불 판정에서 불량으로 판별할 수 있다.
이와 같이, 본 발명의 일 실시형태에서, 상기 비전검사모듈은 룰 기반 검사(rule-based inspection)를 수행하여, 검사 대상인 기판의 결함 유무 내지는 양불 판별에 관한 1차 검사를 수행할 수 있으며, 비전검사모듈로부터 불량으로 판별된 촬상 이미지는, 영상 전처리 모듈에 의해 서로 대응되는 촬상 이미지와 CAD 이미지의 영상 정보가 조합된 합성 이미지로 변환될 수 있고, 영상 전처리 모듈로부터 변환된 합성 이미지는 비전검사모듈의 1차 검사에 대한 재검 내지는 2차 검사를 위하여, 기계학습모듈로 제공될 수 있다.
도 2 및 도 3에는 본 발명의 일 실시형태에서, 상기 영상 전처리 모듈로부터 제1, 제2 연산 이미지를 생성하는 영상 처리를 설명하기 위한 도면들이 도시되어 있다.
상기 영상 전처리 모듈은, 기계학습모듈의 전단에 연결되어 기계학습모듈로 입력되는 합성 이미지를 생성할 수 있으며, 서로에 대해 위치 정렬된 촬상 이미지 및 CAD 이미지를 입력 이미지로 하여 합성 이미지를 출력할 수 있다. 참고로, 본 명세서를 통하여 촬상 이미지 및 CAD 이미지를 서로에 대해 위치 정렬시킨다는 것은, 촬상 이미지 상의 특징점과 CAD 이미지 상의 특징점 사이에 유사도가 높은 매칭의 쌍을 검출함으로써 촬상 이미지와 CAD 이미지의 서로 대응되는 위치를 매칭시키거나 또는 서로 대응되는 촬상 이미지 상의 정렬 마크와 CAD 이미지 상의 정렬 마크를 서로에 대해 위치 정렬시킴으로써 촬상 이미지와 CAD 이미지의 서로 대응되는 위치를 매칭시키는 것을 포함하고, 본 발명의 일 실시형태에서, 상기 촬상 이미지 및 CAD 이미지 중에서 적어도 어느 하나의 이미지의 확대/축소와 같은 기하 연산을 통하여 촬상 이미지와 CAD 이미지의 서로 대응되는 위치가 상호 중첩될 수 있도록 서로 스케일을 맞추는 것을 포함할 수 있다.
본 발명의 일 실시형태에서, 촬상 이미지란 검사 대상인 기판을 포착한 카메라 모듈로부터 생성된 이미지로서, R,G,B의 3채널 이미지를 포함할 수 있다. 예를 들어, 본 발명의 일 실시형태에서, 상기 촬상 이미지는 R(red)에 대한 영상 성분을 포함하는 R채널 이미지와, G(green)에 대한 영상 성분을 포함하는 G채널 이미지와, B(blue)에 대한 영상 성분을 포함하는 B채널 이미지를 포함할 수 있다. 본 발명의 일 실시형태에서 카메라 모듈로부터 생성되는 촬상 이미지는 R,G,B의 3채널 이미지를 포함할 수 있으나, 본 발명의 다양한 실시형태에서, 카메라 모듈로부터 생성되는 촬상 이미지는 그레이 스케일의 이미지를 포함할 수도 있으며, 상기 영상 전처리 모듈은, 서로 결합되어 컬러 이미지를 형성하는 각각의 R채널 이미지와 G채널 이미지와 B채널이미지의 3채널 이미지 중에서 어느 하나의 채널 이미지에 대한 영상 처리와 실질적으로 동일한 영상 처리를 통하여, 그레이 스케일의 촬상 이미지로부터 합성 이미지를 생성할 수 있다.
보다 구체적으로, 상기 영상 전처리 모듈은, 서로에 대해 위치 정렬된 촬상 이미지와 CAD 이미지의 서로 대응되는 위치의 화소 값으로부터 새로운 화소 값을 결정하며, 주변의 화소 값을 고려하지 않는 점 연산(point operation)을 수행할 수 있다. 본 명세서를 통하여 점 연산(point operation)이란, 촬상 이미지 및 CAD 이미지를 입력 이미지로 하고, 상기 입력 이미지와 다른 새로운 화소 값이 부여된 출력 이미지를 생성하는 영상 처리에서, 서로 다른 2개의 입력 이미지의 대응되는 위치(촬상 이미지 및 CAD 이미지의 서로 대응되는 위치)의 화소 값으로부터 출력 이미지의 대응되는 위치(촬상 이미지 또는 CAD 이미지와 대응되는 위치)의 화소 값을 출력하도록, 서로 대응되는 위치의 화소 값을 고려하여 출력 이미지의 화소 값을 결정하는 영상 처리를 의미할 수 있고, 본 발명의 일 실시형태에 따른 점 연산(point operation)과 달리, 입력 이미지의 서로 다른 위치의 화소 값, 예를 들어, 현재의 위치와 이웃한 위치의 화소 값을 모두 고려하여 출력 이미지의 화소 값을 결정하는 영상 처리는 상기한 점 연산과는 다른 영역 연산(area operation)에 해당될 수 있다.
본 발명의 일 실시형태에서, 상기 영상 전처리 모듈은, 서로에 대해 위치 정렬된 촬상 이미지와 CAD 이미지를 입력 이미지로 하여, 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값을 서로 다른 제1, 제2 가중치로 가중하여 합하는 점 연산을 통하여 서로 대응되는 화소 값의 가중치 오버레이 영상에 해당되는 제1 연산 이미지를 출력할 수 있으며, 촬상 이미지와 CAD 이미지의 서로 대응되는 위치의 화소 값을 화소 단위로 비교하고, 촬상 이미지와 CAD 이미지 중에서 어느 하나의 이미지 상에서만 포착되는 배타적 객체를 검출하고 배타적 객체의 화소 위치와 화소 값으로부터 생성된 결함후보군 추출 영상에 해당되는 제2 연산 이미지를 출력할 수 있다.
상기 영상 전처리 모듈은 제1, 제2 연산 이미지의 서로 대응되는 위치의 화소 값을 균등하게 가중하여 합하는 점 연산을 통하여 합성 이미지를 생성할 수 있으며, 촬상 이미지와 CAD 이미지를 입력으로 하여 제1, 제2 연산 이미지를 생성하고, 생성된 제1, 제2 연산 이미지로부터 합성 이미지를 생성함으로써, 결과적으로 상기 영상 전처리 모듈은 촬상 이미지와 CAD 이미지를 입력으로 하여 촬상 이미지와 CAD 이미지가 조합된 합성 이미지를 출력할 수 있다. 본 발명의 일 실시형태에서, 상기 영상 전처리 모듈은 입력 이미지로서의 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값을 점 연산하는 방식으로 합성 이미지를 출력할 수 있으며, 예를 들어, 상기 영상 전처리 모듈에 이루어지는 각각의 영상 처리, 그러니까, 촬상 이미지 및 CAD 이미지로부터 제1, 제2 연산 이미지를 생성하기 위한 연산 및 제1, 제2 연산 이미지로부터 합성 이미지를 생성하기 위한 연산 등은 모두 입력 이미지의 서로 대응되는 화소 값으로부터 출력 이미지의 대응되는 화소 값을 출력하는 점 연산에 해당될 수 있으며, 출력 이미지의 화소 값을 연산하기 위하여 입력 이미지 상에서 이웃한 다른 화소 값을 고려하는 영역 연산은 수행하지 않을 수 있다.
본 발명의 일 실시형태에서, 상기 영상 전처리 모듈은, 서로에 대해 위치 정렬된 촬상 이미지와 CAD 이미지를 입력 이미지로 하여 서로에 대응되는 위치의 화소 값을 합하는 가중치 오버레이 영상으로 제1 연산 이미지를 생성할 수 있는데, 촬상 이미지의 각 화소에 대해서는 상대적으로 높은 제1 가중치를 곱하고, CAD 이미지의 각 화소에 대해서는 상대적으로 낮은 제2 가중치를 곱하며, 제1 가중치가 부여된 촬상 이미지의 각 화소의 값과, 제2 가중치가 부여된 CAD 이미지의 각 화소 값을 합하여 촬상 이미지와 CAD 이미지의 가중치 오버레이 영상에 해당되는 제1 연산 이미지를 생성할 수 있다.
즉, 상기 제1 연산 이미지에 대해, 상대적으로 높은 제1 가중치가 부여된 촬상 이미지가 상대적으로 많은 기여를 한다고 볼 수 있고, 상대적으로 낮은 제2 가중치가 부여된 CAD 이미지가 상대적으로 적은 기여를 한다고 볼 수 있으며, 본 발명의 일 실시형태에서, 각각의 제1, 제2 가중치는 각각 0.8과 0.2로 부여될 수 있으나, 본 발명의 다양한 실시형태에서, 상기 촬상 이미지의 기여분을 정의하는 제1 가중치와, 상기 CAD 이미지의 기여분을 정의하는 제2 가중치는 대소 관계를 갖는 서로 다른 값으로 부여될 수 있으며, 예를 들어, 제1 가중치 > 제2 가중치의 대소 관계를 만족하는 한도에서, 상기 예시된 바와 같은 구체적인 수치에 한정되지 않고, 예시된 바와 다른 다양한 값으로 변형될 수 있다. 본 발명의 일 실시형태에서, 상기 촬상 이미지는 검사 대상인 기판을 포착한 카메라 모듈로부터 생성되어 0~255 사이의 화소 값을 가지며 색상정보와 형태정보를 포함하는데 반하여, 상기 CAD 이미지는 기판 상의 패턴이 설계된 이진화 영상으로, 상대적으로 높은 화소 값과 상대적으로 낮은 화소 값의 두 부류의 화소 값을 가지며 색상정보 없이 형태정보만을 포함하므로, CAD 이미지에 대해서는 상대적으로 낮은 가중치를 부여하여, 촬상 이미지의 화소 값과 CAD 이미지의 화소 값이 균형적으로 반영될 수 있도록 할 수 있다.
본 발명의 일 실시형태에서, 상기 카메라 모듈로부터 생성되는 촬상 이미지는 R,G,B의 3채널 이미지를 포함하는 컬러 이미지에 해당될 수 있고, 이에 따라 상기 제1 연산 이미지는, 촬상 이미지 중 R채널 이미지와 CAD 이미지의 가중치 오버레이 영상에 해당되는 R채널의 제1 연산 이미지와, 촬상 이미지 중 G채널 이미지와 CAD 이미지의 가중치 오버레이 영상에 해당되는 G채널의 제1 연산 이미지와, 촬상 이미지 중 B채널 이미지와 CAD 이미지의 가중치 오버레이 영상에 해당되는 B채널의 제1 연산 이미지를 포함할 수 있으며, 후술하는 바와 같이, 상기 영상 전처리 모듈로부터 출력되는 합성 이미지도, 각각 R,G,B 채널의 합성 이미지를 포함할 수 있다. 본 발명의 일 실시형태에서, 상기 CAD 이미지는 형태 정보만을 포함하고 색상 정보는 포함하지 않는 이진화 영상에 해당될 수 있으며, 촬상 이미지의 각각의 R,G,B의 3채널 이미지에 동일한 화소 값으로 더해질 수 있다.
상기 제1 연산 이미지의 생성과 병행적으로, 상기 영상 전처리 모듈은 서로에 대해 위치 정렬된 촬상 이미지와 CAD 이미지를 서로 비교하며, 촬상 이미지와 CAD 이미지의 서로 대응되는 위치의 화소 값을 화소 단위로 비교하고, 촬상 이미지와 CAD 이미지 중에서 어느 하나의 이미지 상에서만 포착되는 배타적 객체를 검출하고 배타적 객체의 화소 위치와 화소 값으로부터 생성된 결함후보군 추출 영상에 해당되는 제2 연산 이미지를 출력할 수 있다.
보다 구체적으로, 상기 영상 전처리 모듈은, 촬상 이미지를 이진화하여 색상정보 보다는 형태정보를 포함하는 이진화 영상을 생성할 수 있으며, 이진화된 촬상 이미지와 CAD 이미지의 서로 대응되는 위치의 화소 값을 화소 단위로 비교할 수 있다. 이때, 상기 영상 전처리 모듈은 촬상 이미지의 R,G,B의 3채널 이미지의 서로 대응되는 화소 값의 평균치로부터 0~255 사이의 화소 값을 갖는 그레이 스케일의 이미지를 생성할 수 있고, 상기 그레이 스케일의 이미지의 전체 화소에 대해, 각각의 화소 값의 발생 빈도수를 히스토그램으로 산출할 수 있으며, 히스토그램을 분석하여 두 피크 사이의 밸리 지점에서 임계값을 취하고 임계값을 기준으로 임계값 이상의 화소에는 화이트에 해당되는 화소 값 "1"을 부여하고, 임계값 미만의 화소에는 블랙에 해당되는 화소 값 "0"을 부여하는 방식으로, 이른 바 임계화를 이용한 영역 분할을 통하여 이진화된 촬상 이미지를 생성할 수 있다. 본 발명의 일 실시형태에서, 이진화된 촬상 이미지를 생성하기 위한 임계값은 상기 그레이 스케일의 이미지의 전체 화소의 평균치로 설정될 수 있으며, 상기 영상 전처리 모듈의 연산 시간 및 부담을 줄이기 위하여, 이진화된 촬상 이미지의 생성을 위한 임계값의 설정을 위하여 그레이 스케일의 이미지의 화소 분포로부터 전체 화소의 평균값을 상기 임계값으로 설정할 수 있다.
상기 영상 전처리 모듈은 이진화된 촬상 이미지와 CAD 이미지의 서로 대응되는 위치의 화소 값을 화소 단위로 비교하고, 촬상 이미지와 CAD 이미지 중에서 어느 하나의 이미지 상에서만 포착되는 배타적 객체를 검출할 수 있다. 본 발명의 일 실시형태에서, 상기 영상 전처리 모듈은 이진화된 촬상 이미지와 CAD 이미지의 서로 대응되는 위치의 화소 값의 차이를 산출하고, 화소 값의 차이에 따라 이진화된 촬상 이미지 또는 CAD 이미지 상에서만 포착되는 배타적 객체를 검출할 수 있다. 후술하는 바와 같이, 상기 영상 전처리 모듈로부터 검출되는 배타적 객체는 결함후보군으로 인식될 수 있으며, 예를 들어, 촬상 이미지(이진화된 촬상 이미지) 상에서만 포착된 객체에 대해 CAD 이미지 상에 설계된 패턴 사이의 단락이 발생된 결함으로 인식될 수 있고, CAD 이미지 상에서만 포착된 객체에 대해 CAD 상에 설계된 패턴이 형성되지 않은 패턴의 부재 또는 CAD 상에 설계된 패턴에 형성된 핀 홀 내지는 보이드 결함으로 인식될 수 있다.
본 발명의 일 실시형태에서, 상기 영상 전처리 모듈은 이진화된 촬상 이미지 및 CAD 이미지의 상호 비교를 통하여 이진화된 촬상 이미지 또는 CAD 이미지 상에서만 포착되는 배타적 객체를 검출할 수 있으며, 검출된 배타적 객체의 화소 위치 및 화소 값으로부터 결함후보군 추출 영상에 해당되는 제2 연산 이미지를 출력할 수 있다. 예를 들어, 상기 영상 전처리 모듈은, 이진화된 촬상 이미지 또는 CAD 이미지 상에서만 포착된 배타적 객체에 대해, 객체의 화소 값을 제2 연산 이미지 상에서 대응되는 객체의 위치로 매핑할 수 있으며, 여기서, 객체의 위치에 관한 정보는, 이진화된 촬상 이미지 및 CAD 이미지의 상호 비교를 통하여 산출될 수 있으며, 객체의 화소 값은 이진화되지 않은 촬상 이미지(R,G,B의 3채널 이미지)로부터 취해질 수 있다. 즉, 상기 영상 전처리 모듈은 제2 연산 이미지의 생성을 위하여, 이진화된 촬상 이미지 및 CAD 이미지의 상호 비교를 통하여 배타적 객체의 위치 정보를 추출할 수 있으며, 이진화되지 않은 촬상 이미지(R,G,B의 3채널 이미지)로부터 배타적 객체의 위치에 대응되는 화소 값을 취하여, 제2 연산 이미지 상에서 대응되는 위치에 객체의 화소 값을 매핑시키는 방식으로 제2 연산 이미지를 생성할 수 있다. 여기서, 상기 객체의 위치 정보를 추출하기 위한 이진화된 촬상 이미지는 색상정보 없이 형태정보만을 포함하는데 반하여, 객체의 화소 값을 취하기 위한 촬상 이미지(이진화되지 않은 촬상 이미지)는 R,G,B의 3채널 이미지를 포함할 수 있으므로, 상기 제2 연산 이미지는 촬상 이미지 상으로부터 취해진 R,G,B의 3채널의 화소 값을 각각 포함하는 R,G,B의 3채널의 이미지를 포함할 수 있다. 즉, 상기 제2 연산 이미지는 각각의 R,G,B 3채널의 촬상 이미지로부터 취해진 화소 값으로 결함후보군이 표현된 R,G,B 3채널의 제2 연산 이미지를 포함할 수 있다.
상기 제1 연산 이미지는 서로에 대해 위치 정렬된 촬상 이미지와 CAD 이미지의 가중치 오버레이 영상에 해당되고, 제2 연산 이미지는 서로에 대해 위치 정렬된 촬상 이미지와 CAD 이미지의 결함후보군 추출 영상에 해당되므로, 제1, 제2 연산 이미지는 카메라 모듈로부터 생성된 촬상 이미지와 위치 정렬을 유지하는 것으로 이해될 수 있으며, 본 발명의 일 실시형태에서, 상기 제1, 제2 연산 이미지의 생성에서는 촬상 이미지의 화소 값으로부터 또는 서로 대응되는 촬상 이미지의 화소 값과 CAD 이미지의 화소 값 사이의 점 연산으로부터 제1, 제2 연산 이미지의 대응되는 화소 값을 산출하여 촬상 이미지와 대응되는 제1, 제2 연산 이미지의 화소 위치에 매핑하므로, 상기 제1, 제2 연산 이미지는 상기 촬상 이미지를 매개로 하여, 서로 위치 정렬된 것으로 이해될 수 있다. 본 발명의 일 실시형태에서, 상기 영상 전처리 모듈은 서로 위치 정렬된 제1, 제2 연산 이미지 상의 대응되는 화소 값을 균등한 가중치로 합하여 합성 이미지를 출력할 수 있다. 본 발명의 일 실시형태에서, 상기 제1 연산 이미지는 R,G,B 3채널의 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값을 서로 다른 제1, 제2 가중치로 가중하여 합한 가중치 오버레이 영상에 해당되며 R,G,B 3채널의 제1 연산 이미지를 포함할 수 있다. 상기 제2 연산 이미지는 R,G,B 3채널의 촬상 이미지로부터 취해진 화소 값(배타적 객체의 화소 값)을 대응되는 위치로 매핑시킨 결함후보군 추출 영상에 해당되며, 촬상 이미지로부터 취해진 화소 값으로 결함후보군을 표현한 결함후보군 추출 영상에 해당될 수 있고, 상기 제2 연산 이미지는 각각의 R,G,B 3채널의 제2 연산 이미지를 포함할 수 있다. 이와 같이, 상기 제1, 제2 연산 이미지는 각각 R,G,B 3채널의 제1, 제2 연산 이미지를 포함하므로, 이들 제1, 제2 연산 이미지를 동일한 가중치로 더한 합성 이미지도 R,G,B 3채널의 합성 이미지를 포함할 수 있다.
본 발명의 일 실시형태에서, 상기 영상 전처리 모듈로부터 출력되는 합성 이미지는, 카메라 모듈로부터 생성된 촬상 이미지와 CAD 이미지를 입력으로 하여 생성된 제1, 제2 연산 이미지로부터 생성될 수 있다. 이때, 상기 제1 연산 이미지는 촬상 이미지와 CAD 이미지 사이의 가중치 오버레이 영상에 해당될 수 있으며, 제2 연산 이미지는 촬상 이미지와 CAD 이미지 중에서 어느 하나의 이미지 상에서만 포착되는 배타적 객체를 검출한 결함후보군 추출 영상에 해당될 수 있다.
도 4a 및 도 4b에는 본 발명의 일 실시형태에서, 영상 전처리 모듈로부터 생성된 서로 다른 제1 연산 이미지를 예시적으로 보여주는 도면이 도시되어 있다.
도 4a 및 도 4b를 참조하면, 상기 촬상 이미지 또는 CAD 이미지 상에서만 포착되는 배타적 객체는, 제1 연산 이미지 상에서는 상대적으로 낮은 화소 값이 부여될 수 있는데, 예를 들어, 촬상 이미지 상에서만 포착된 객체는, 촬상 이미지와 CAD 이미지의 가중치 오버레이 영상(제1 연산 이미지에 해당됨)에서, 촬상 이미지의 화소 값으로만 산출되며 CAD 이미지의 화소 값은 실질적으로 기여분이 없기 때문에, 제1 연산 이미지 상에서 상대적으로 낮은 화소 값이 부여될 수 있다. 예를 들어, 본 발명의 일 실시형태에서, 상기 제1 연산 이미지 상에서 상대적으로 높은 화소 값이 부여되는 영상 성분은 카메라 모듈로부터 생성된 촬상 이미지와 CAD 이미지 상에 모두 존재하는 객체로서, 기판 상의 패턴 내부 영역이 예시될 수 있다. 도 4를 참조하면, 제1 연산 이미지 상에서 패턴의 에지에 대해서는 상대적으로 낮은 화소 값이 부여될 수 있으며(촬상 이미지 상에서만 포착된 에지 주변의 명암 구배 또는 초과 윤곽분), 기판의 내부 영역에 대해서는 상대적으로 높은 화소 값이 부여될 수 있다(촬상 이미지와 CAD 이미지의 화소 값이 더해짐).
이와 같이, 제1 연산 이미지 상에서, 촬상 이미지 또는 CAD 이미지 상에서만 포착된 배타적 객체는, 촬상 이미지 및 CAD 이미지 모두에서 포착된 객체와 비교하여, 상대적으로 낮은 화소 값이 부여되지만(도 4 참조), 상기 제1 연산 이미지와 제2 연산 이미지의 서로 대응되는 화소 값이 더해진 합성 이미지 상에서, 상기 배타적 객체에 대해 상대적으로 높은 화소 값이 부여될 수 있다. 즉, 상기 제2 연산 이미지는 촬상 이미지와 CAD 이미지를 비교하여 어느 하나의 이미지 상에서만 포착된 배타적 객체를 검출한 결함후보군 추출 영상에 해당되므로, 촬상 이미지 또는 CAD 이미지 상에서만 포착된 배타적 객체에 대해 상대적으로 높은 화소 값이 부여되면서, 최종적으로 제1, 제2 연산 이미지가 더해진 합성 이미지 상에는 제1 연산 이미지의 상대적으로 낮은 화소 값을 상쇄시키고 상대적으로 높은 화소 값이 부여될 수 있다. 다시 말하면, 상기 영상 전처리 모듈은, 상기 배타적 객체에 대해 상기 제1 연산 이미지 상에서는 상대적으로 낮은 화소 값이 부여하고, 상기 제2 연산 이미지 상에서는 상대적으로 높은 화소 값을 부여하되, 상기 제1, 제2 연산 이미지가 더해진 합성 이미지 상에서 제1 연산 이미지 상의 낮은 화소 값을 상쇄시키고 상대적으로 높은 화소 값이 부여되도록 충분히 높은 화소 값을 부여할 수 있다.
도 5a 내지 도 5f에는 서로 다른 유형의 결함에 대해, 영상 전처리 모듈로 입력되는 촬상 이미지 및 CAD 이미지로부터 영상 전처리 모듈로부터 생성되는 각각의 제1, 제2 연산 이미지와, 영상 전처리 모듈로부터 출력되는 합성 이미지까지 영상 처리 단계별 이미지들을 보여주는 도면들이 도시되어 있다.
도 5a는 CAD 상에 설계된 패턴과 달리 촬상 이미지 상의 패턴이 휘어진 결함(Bent)을 예시하고 있으며, 도 5b는 CAD 상에 설계된 패턴과 달리 촬상 이미지 상의 패턴 사이로 돌기 내지는 단락이 형성된 결함(Protrusion)을 예시하고 있다. 또한, 도 5c는 CAD 상에 설계된 패턴과 달리 촬상 이미지 상의 패턴 위로 이물질이 개입된 결함(Foreign Material)을 예시하고 있으며, 도 5d는 CAD 상에 설계된 패턴과 달리 촬상 이미지 상의 패턴이 불연속적으로 끊어진 결함(Open)을 예시하고 있다. 그리고, 도 5e는 CAD 상에 설계된 패턴과 달리 촬상 이미지 상의 패턴에 핀 홀이 형성된 결함(Pin Hole)을 예시하고 있으며, 도 5f는 CAD 상의 설계와 달리 주변으로부터 고립된 새로운 패턴이 형성된 결함(Island)을 예시하고 있다.
본 발명의 일 실시형태에서, 촬상 이미지 또는 CAD 이미지 상에서만 포착되는 배타적 객체란, 촬상 이미지 상에서만 포착된 객체와 CAD 이미지 상에서만 검출된 객체를 포함할 수 있다. 예를 들어, 촬상 이미지 상에서만 포착된 객체란, CAD 이미지 상에 설계된 패턴 사이의 단락이 발생된 결함으로 이해될 수 있고, CAD 이미지 상에서만 포착된 객체란, CAD 상에 설계된 패턴이 형성되지 않은 패턴의 부재 또는 CAD 상에 설계된 패턴 내에 형성된 핀 홀 내지는 보이드로 인한 결함으로 이해될 수 있으며, 이런 의미에서, 상기 촬상 이미지 또는 CAD 이미지 상에서만 포착되는 배타적 객체는 결함후보군을 포함하는 것으로 이해될 수 있다.
다만, 상기 배타적 객체는, 이미지 상에서 검출된 패턴의 에지(에지 및 코너)를 포함할 수 있으며, 패턴의 에지 자체로 결함으로 판단한다기 보다는 패턴의 에지와 결함 유무 사이에 밀접한 상관관계가 있을 수 있기 때문에, 기계학습모듈에 의해 구현되는 신경망에서 이미지 상의 에지 성분에 대해 높은 입력을 부여하고 입력으로부터 출력을 향하는 정방향 전파에 따라 에지 성분과 출력 사이에 강한 상관관계가 형성되도록 이미지 상의 에지 성분에 대해 상대적으로 높은 화소 값이 부여되는 결함후보군으로 분류하는 것으로 이해될 수 있다.
도 6에는 검사 대상인 기판 상에 형성된 패턴의 두께에 따라 초점 심도를 벗어나는 아웃 포커스를 설명하기 위한 개략적인 도면이 도시되어 있다. 도면을 참조하면, 검사 대상인 기판(S) 상에 형성된 패턴(P)의 두께에 따라 패턴의 결상면(80`, 특히 패턴의 에지의 결상면)이 촬상 소자의 촬상면(80)으로부터 초점 심도를 벗어난 위치에 형성되면서, 촬상 소자의 촬상면(80)에는 패턴 또는 패턴의 에지를 포착한 불선명한 착란원(85, circle of confusion) 또는 상퍼짐(blurring)이 형성되는 아웃 포커스(out of focus)가 야기될 수 있으며, 특히 이러한 아웃 포커스는 상대적으로 초점 심도가 얕은 고배율의 광학 렌즈(20)에서 심화될 수 있고, 본 발명의 일 실시형태에서와 같이 수μm 스케일의 결함을 포착해내기 위하여 고배율의 광학 렌즈(20)가 적용되는 기판검사 장비에서 검사의 정확도를 떨어뜨리는 원인이 될 수 있다.
이와 같이, 카메라 모듈로부터 생성되는 촬상 이미지 상에서는, 카메라 모듈의 심도 방향을 따라 불연속적인 경계를 형성하는 패턴(P)의 두께에 따라 패턴(P)의 에지 주변으로 불선명한 명암의 구배(상퍼짐, blurring)가 포착될 수 있으며, 이러한 패턴(P)의 에지는 촬상 이미지 상에서만 포착되는 배타적 객체에 해당될 수 있다. 이와 같이, 아웃 포커스에 의하여 패턴(P)의 에지 주변으로 불선명한 구배(상퍼짐, blurring)가 형성됨에 따라 패턴의 에지는 촬상 이미지 상에서만 포착되는 배타적 객체에 해당될 수 있고, 그 외에도 카메라 모듈의 촬상 영역을 조명하는 광원으로부터 출사된 광이 패턴의 에지 주변을 따라 반사되면서 패턴의 에지 주변으로 불선명한 명암의 구배(상퍼짐, blurring)가 포착될 수도 있다.
본 발명의 일 실시형태에서, 촬상 이미지로부터 명암의 구배(상퍼짐, blurring)가 형성된 패턴의 에지를 촬상 이미지 상에서만 포착된 배타적 객체로 인식할 수 있으며, 이후의 영상 처리(영상 전처리 모듈에 의한 영상 처리)를 통하여 합성 이미지 상의 다른 영역 보다 상대적으로 높은 화소 값을 부여할 수 있고, 이에 따라 에지 성분을 따라 상대적으로 높은 화소 값이 부여된 합성 이미지가 입력된 기계학습모듈은, 에지 검출을 위한 많은 양의 학습 데이터나 학습 시간과 같은 학습 자원을 요구하지 않으면서도, 높은 정확도로 검사 대상인 기판에 대한 양불 판별의 예측을 수행할 수 있다.
또한, 기판 상의 패턴은, 구체적인 반도체 공정에 따라, CAD 상의 설계와 정확하게 일치되는 윤곽을 갖는다기 보다는, CAD 상의 설계와 공정 오차 이내의 오프셋을 갖는 윤곽으로 형성될 수 있으며, 예를 들어, 에칭 공정으로 성형된 패턴의 윤곽은 패턴의 두께 방향을 따라 CAD 상의 설계를 벗어난 초과 윤곽을 가질 수 있으며, 기판의 정면 측을 포착한 카메라 모듈로부터 생성되는 촬상 이미지 상에서, CAD 상에 설계된 패턴의 윤곽으로부터 대체로 균일한 크기의 오프셋 만큼 벗어난 초과 윤곽으로 검출될 수 있고, 본 발명의 일 실시형태에서 패턴의 에지를 촬상 이미지 상에서만 포착되는 배타적 객체로 인식하고 이후의 영상 처리(영상 전처리 모듈에 의한 영상 처리)를 통하여 합성 이미지 상의 다른 영역 보다 상대적으로 높은 화소 값을 부여할 수 있고, 이에 따라 에지 성분을 따라 상대적으로 높은 화소 값이 부여된 합성 이미지가 입력된 기계학습모듈은, 높은 정확도로 검사 대상인 기판에 대한 양불 판별의 예측을 수행할 수 있다.
본 발명의 일 실시형태에서는 패턴의 에지와 같은 특징점을 검출하여 서로 대응되는 특징점 사이의 매칭으로 촬상 이미지와 CAD 이미지 간의 영상 정합을 수행하고, 또한, 촬상 이미지와 CAD 이미지가 서로에 대해 겹쳐진 중첩 이미지로부터 에지를 검출하는 등과 같이, 이미지 상의 기판의 내부 보다는 패턴의 에지에 보다 주목하여 결함 여부를 판별하도록 에지 검출 알고리즘을 포함하는 비전검사모듈과 함께, 패턴의 에지를 검출한다기 보다는 이미지 상에서 행열의 2차원으로 배열된 화소 값으로부터 고수준의 특징을 추출하도록 특성 맵을 생성하고 특성 맵의 가중치 합으로부터 양불 판별에 관한 예측된 확률을 출력하는 기계학습모듈을 포함할 수 있다. 이때, 상기 기계학습모듈은 비전검사모듈과 같은 에지 검출에 특화된 에지 검출 알고리즘을 포함한다기 보다는, 일군의 학습 데이터 세트로부터 이미지 상의 에지와 양불 판별의 분류 사이의 상관관계를 학습하여 학습된 가중치 행열을 포함할 수 있고, 학습된 가중치 행열을 포함하여 입력 이미지로부터 에지를 검출할 수 있으나, 비전검사모듈과 같이 카메라 모듈로부터 생성된 촬상 이미지를 입력으로 할 경우, 에지 검출에 특화된 비전검사모듈과 달리, 에지 검출을 학습하기 위하여 많은 학습 데이터가 요구되거나 또는 예측 정확도를 높이기 위한 가중치 행열의 수렴에 많은 시간이 요구되는 문제가 발생될 수 있다.
상기와 같은 고려로부터 본 발명의 일 실시형태에서는 기계학습모듈의 입력으로서 패턴의 에지를 포함하는 배타적 객체 내지는 결함후보군에 대해 상대적으로 높은 화소 값이 부여된 합성 이미지를 생성함으로써, 기계학습모듈로 입력되는 이미지 상에서 패턴의 에지를 포함하는 결함후보군에 대해 높은 입력을 부여할 수 있고, 예를 들어, 입력 이미지 상에서 행열로 배열된 화소 값 자체에서 결함후보군에 대해 상대적으로 높은 입력(상대적으로 높은 화소 값)을 부여함으로써, 입력 이미지로부터 출력 방향을 따르는 신경망의 정방향 전파를 통하여 결함후보군에 대해 부여된 상대적으로 높은 화소 값과 출력에 해당되는 예측된 확률 사이에 보다 강한 상관관계가 형성되도록 할 수 있다.
본 발명과 대비되는 비교예에서는 패턴의 에지 주변을 따라 명암의 구배(상퍼짐, blurring)가 포착된 불선명한 촬상 이미지를 입력으로 하여 기계학습모듈로부터 양불 판별에 관한 예측된 확률을 출력함으로써 예측의 정확도가 떨어질 수 있다. 본 발명의 일 실시형태에서는 촬상 이미지 자체가 아닌 촬상 이미지로부터 합성 이미지를 생성하고, 생성된 합성 이미지를 입력으로 하여, 기계학습모듈의 예측의 정확도를 높일 수 있으며, 기계학습모듈의 전단에 연결된 영상 전처리 모듈로부터 촬상 이미지와 CAD 이미지가 조합된 합성 이미지를 생성할 수 있다. 상기 CAD 이미지 상에 설계된 패턴은 높은 분해능을 갖는 선명한 에지를 포함한다는 점을 감안하고, 촬상 이미지와 CAD 이미지가 조합된 합성 이미지는 검사 대상인 기판의 촬상 이미지와 함께, 기판이 설계된 CAD 이미지의 영상 정보를 함께 포함하며, 촬상 이미지 또는 CAD 이미지 상에서만 포착된 배타적 객체에 대해 높은 입력을 부여함으로써, 이러한 합성 이미지를 입력으로 하는 기계학습모듈은 촬상 이미지 상에 포착된 패턴과 CAD 이미지 상에 설계된 패턴을 함께 고려하고, 이들 패턴 사이의 정합성과 양불 판별에 관한 분류 사이의 상관관계를 분석할 수 있다.
본 발명의 일 실시형태에서, 상기 영상 전처리 모듈의 후단에 연결된 기계학습모듈은 타겟 레이블(양불 판별에 관한 이진 데이터)이 주어진 다수의 학습 데이터로부터 학습 데이터 상에서 상대적으로 높은 화소 값을 갖는 결함후보군과 양불 판별에 관하여 주어진 타겟 레이블 사이의 상관관계를 분석할 수 있으며, 결함후보군과 양불 판별에 관한 분류 사이의 상관관계를 학습한 가중치 행열을 포함할 수 있다. 본 발명의 일 실시형태에서, 상기 기계학습모듈은 영상 전처리 모듈의 후단에 연결되어 영상 전처리 모듈로부터 생성된 합성 데이터를 입력으로 하여, 합성 데이터로부터 양불 판별에 관한 예측된 확률을 출력할 수 있다.
본 발명의 일 실시형태에서 상기 기계학습모듈은, 영상 전처리 모듈에 의해 생성된 합성 이미지로부터 시각적인 정보 내지는 시각적인 정보를 바탕으로 하는 추상적인 정보와 같은 고수준의 특성을 추출하도록 특성 맵을 생성하고, 양불 판별에 관한 클래스 레이블을 예측하기 위한 인공지능의 신경망 모델을 포함할 수 있으며, 보다 구체적으로, CNN (Convolution Neural Network) 신경망 모델을 포함할 수 있다.
도 7에는 본 발명의 일 실시형태에서, 합성 이미지의 R,G,B의 3채널의 이미지를 입력으로 하는 기계학습모델에 적용될 수 있는 CNN (Convolution Neural Network) 신경망을 설명하기 위한 도면으로, 이해의 편의를 위하여 단순화된 CNN 신경망 모델이 도시되어 있다.
본 발명의 일 실시형태에서, 상기 기계학습모듈은, 영상 전처리 모듈에 의해 생성된 합성 이미지의 2차원의 화소 배열과 R,G,B의 채널에 해당되는 깊이 차원(또는 채널 차원)을 포함하는 3차원의 배열을 입력으로 할 수 있으며, 3차원의 배열과 합성곱(convolution) 되는 각각의 커널도 2차원의 배열과 깊이 차원을 갖는 3차원을 가질 수 있다. 이때, 3차원 배열의 입력(R,G,B의 채널 차원을 갖는 합성 이미지)과 3차원 배열의 커널의 합성곱(convolution)을 통하여 2차원 배열의 특성 맵이 생성될 수 있으며, 본 발명의 일 실시형태에서 상기 기계학습모듈은 각각 3차원 배열을 갖는 다수의 커널을 포함하여, 행열의 2차원 크기는 줄어들면서 깊이 차원이 증가한 형태의 특성 맵이 생성될 수 있다. 본 발명의 일 실시형태에서는 합성 이미지를 구현하는 3차원 배열에 해당되는 입력과 3차원 배열의 학습된 가중치(커널 또는 필터)의 합성곱 및 이들 합성곱에 활성화 함수가 적용되는 합성곱층을 포함하는 다계층 신경망의 심층 신경망 모델(deep neural network)이 적용될 수 있으며, 본 발명의 일 실시형태에 따른 기계학습모듈은 심층 신경망 모델이 적용된 딥 러닝 기반의 자동화 검사를 수행할 수 있다.
본 발명의 일 실시형태에서, 상기 가중치(커널 또는 필터)는, 사전에 준비된 학습 데이터 세트로서, 양불 판별에 관한 클레스 레이블이 타겟으로 주어진 촬상 이미지를 입력으로 하는 신경망 모델의 출력으로서의 추정 클래스 레이블(양불 판별에 관한 추정)과 주어진 타겟 레이블 사이의 오차가 감소되도록 최소화시키려는 비용 함수(또는 손실 함수)의 편도 함수를 계산해주는 역전파(back propagation) 알고리즘을 적용하고, 비용 함수의 최소값을 향하여 수렴하도록 가중치(커널 또는 필터)를 갱신할 수 있으며, 이때, 상기 가중치(커널 또는 필터)는, 각각의 학습 데이터 마다 갱신되거나(확률적 경사 하강법, stochastic gradient descent) 또는 학습 데이터 세트 중에서 일부 학습 데이터 마다 갱신되거나(미니 배치 경사 하강법, minibatch gradient descent) 또는 모든 학습 데이터 세트에 관한 1에포크 마다 갱신될 수 있으며(배치 경사 하강법, batch gradient descent), 예를 들어, 본 발명의 일 실시형태에서는, 확률적 경사 하강법을 이용하여 비용 함수의 전역 최소(global minimum)를 향하여 수렴하도록 가중치 벡터(커널 또는 필터)를 갱신할 수 있으며, 예를 들어, 가중치 벡터(커널 또는 벡터)는 비용 함수의 그래디언트(gradient)와 학습률(learning rate)의 승산을 가중치의 변화량으로 하여, 현재의 가중치 벡터(커널 또는 필터)로부터 차감하는 방식으로 갱신될 수 있으며, 이때, 0~1 사이의 값으로 설정될 수 있는 학습률을 조정하여 국부 최소(local minimum)에 빠지지 않고 전역 최소(global minimum)를 지나침이 없이 전역 최소(global minimum)를 향하여 수렴하도록 학습률을 조정할 수 있다. 본 발명의 일 실시형태에서, 상기 활성화 함수로는 시그모이드(sigmoid) 함수 또는 소프트 맥스(softmax) 함수와 같은 다양한 활성화 함수가 적용될 수 있으며, 예를 들어, 다중 분류에 적합한 소프트 맥스(softmax) 함수 보다는 양불 판별에 관한 이진 분류에 적합한 시그모이드(sigmoid) 함수가 적용될 수 있으며, 예를 들어, 상기 시그모이드(sigmoid) 함수는 임의 실수 값을 갖는 뉴런의 출력을 0~1 사이의 값으로 변환할 수 있다. 본 발명의 일 실시형태에서, 상기 비용 함수로는 로지스틱(logistic) 비용 함수가 적용될 수 있다.
도 7을 참조하면, 본 발명의 일 실시형태에서, 상기 기계학습모듈은 합성 이미지의 R,G,B의 3채널의 이미지를 입력으로 하는 CNN (Convolution Neural Network) 신경망을 포함할 수 있다. 상기 CNN 신경망은, 다수의 커널(또는 필터)을 포함하는 합성곱층과, 합성곱층으로부터 산출된 특성 맵의 크기를 줄이기 위한 풀링층(미도시, 예를 들어, 최대 풀링 max pooling 또는 평균 풀링 average pooling)을 교대로 포함할 수 있으며, 최종적으로 행열 형태의 2차원과 깊이 차원을 갖는 3차원의 특성 맵을 1차원 형태로 펼치는 플래트닝(flattening)과 상기 플래트닝된 1차원 특징 백터와 완전 연결되어 있는 출력층을 포괄하는 밀집층을 통하고, 출력층의 출력 값에 대해 활성화 함수(예를 들어, 시그모이드 sigmoid 함수)를 적용하여 양불 판별에 관한 이진 분류로서 추정된 클래스 레이블(양품/불량품에 속할 확률)을 출력할 수 있다. 본 발명의 일 실시형태에서, 상기 기계학습모듈은 다수의 합성곱층과 하나의 밀집층을 포함하는 CNN 신경망을 포함할 수 있다.
예를 들어, 상기 합성곱층은 다수의 커널(또는 필터)을 포함할 수 있으며, 영상 전처리 모듈로부터 제공되는 합성 이미지로서 R,G,B의 3채널 이미지(합성 이미지를 형성하는 각 화소의 휘도 값, 0~255 사이의 휘도 값) 상에 3개의 깊이 차원을 갖는 커널(커널의 각 요소로서 가중치 W)이 합성곱(convolution) 되어, 행열의 2차원 크기는 줄어들면서 깊이 차원이 증가한 형태의 특성 맵이 생성될 수 있으며, 합성 이미지의 주변을 따라 0으로 패딩하는 세임 패딩(same padding)이나 합성 이미지 자체로 특성 맵을 생성하는 밸리드 패딩(valid padding)을 적용할 수 있다.
예를 들어, 상기 합성곱층에서는 영상 전처리 모듈에 의해 제공되는 합성 이미지 상에서 사전에 설정된 스트라이드(stride)에 해당되는 화소의 개수만큼 커널을 이동시키면서 서로 대응되는 행과 열의 위치의 화소 값(또는 픽셀 값)과 커널의 가중치의 선형 조합을 산출하여 특성 맵을 생성할 수 있으며, 예를 들어, 영상 전처리 모듈로부터 제공되는 합성 이미지의 픽셀 값과 커널의 가중치의 선형 조합에 활성화 함수를 적용하는 방식으로 특성 맵을 생성할 수 있다. 본 발명의 일 실시형태에서, 상기 합성곱층에서는 3x3 크기, 5x5 크기 또는 8x8 크기와 같은 다양한 크기의 커널이 적용될 수 있다.
상기 풀링층(미도시)은 합성곱층으로부터 생성된 특성 맵의 크기를 줄이기 위하여, 최대 풀링(max pooling)이나 평균 풀링(average pooling)이 적용될 수 있으며, 상기 밀집층은 행열의 2차원과 깊이 차원을 갖는 3차원의 특성 맵을 1차원 특징 벡터로 플래트닝(flattening)하고, 1차원 특징 벡터를 형성하는 다수의 요소들에 대한 선형 조합 내지는 선형 조합에 활성화 함수를 적용함으로써, 양품 판별에 관한 이진 분류로서 추정된 클래스 레이블(양품/불량품에 속할 확률)을 출력할 수 있다.
본 발명의 일 실시형태에서, 합성곱층에서 적용되는 필터의 가중치는, 다수의 학습 데이터를 포함하는 학습 데이터 세트와 각각의 학습 데이터 마다 주어지는 타겟 클래스 레이블을 이용하여 학습될 수 있으며, 예를 들어, CNN 신경망 모델로부터 추정되는 추정 클래스 레이블과 주어진 타겟 레이블 사이의 오차가 감소되도록 최소화시키려는 비용 함수의 그래디언트(gradient)를 계산해주는 역전파 알고리즘을 적용하여 가중치 벡터(커널 또는 필터)를 갱신할 수 있다.
본 발명의 일 실시형태에서는, 카메라 모듈로부터 생성된 촬상 이미지에 근거한 비전검사모듈의 결함 유무에 관한 양불 판별에서 불량으로 판정된 촬상 이미지와 CAD 이미지를 입력으로 하는 영상 전처리 모듈의 영상 처리를 통하여 합성 이미지를 생성하고, 영상 전처리 모듈로부터 생성된 합성 이미지를 입력으로 하는 기계학습모듈의 양불 판별에 관한 이진 분류에서 상대적으로 높은 예측 확률로 불량으로 분류된 합성 이미지를 육안 검사에 제공하여, 기계학습모듈의 이진 분류에 대한 재검(리뷰)이 이루어지도록 할 수 있다. 이와 같이, 본 발명의 일 실시형태에서는 비전검사모듈의 1차 검사에서 불량으로 판정된 촬상 이미지를 선별하여 영상 전처리 모듈을 거쳐 기계학습모듈의 2차 검사를 수행하고, 또한, 기계학습모듈의 2차 검사에서 높은 예측 확률로 불량으로 분류된 합성 이미지를 선별하여 육안 검사에 의한 재검(또는 리뷰, 3차 검사에 해당됨)를 수행하도록 함으로써, 연산 부담을 줄이면서도 결함 유무 내지는 양불 판별에 대한 오류를 막고 검사의 정확성을 높일 수 있다. 즉, 본 발명의 일 실시형태에서는 대부분의 양호한 영역 중에서 혼재되어 있는 낮은 확률의 결함을 포착한 비전검사모듈의 1차 검사에 대해 선별적으로 기계학습모듈의 2차 검사를 수행하도록 하고, 또한, 낮은 확률의 결함을 포착한 기계학습모듈의 2차 검사에 대해 선별적으로 육안 검사를 통한 재검(리뷰, 3차 검사에 해당됨)를 수행하도록 하며, 카메라 모듈로부터 이어지는 연속적인 검사의 흐름 상에서 비전검사모듈의 양불 판별의 근거가 되는 모든 촬상 이미지에 대해 영상 전처리 모듈 및 기계학습모듈을 가동하고 또한 기계학습모듈의 이진 분류의 근거가 되는 모든 합성 이미지를 제공하여 육안 검사가 이루어지도록 하는 것은 전체 검사 프로세스를 지연시키는 원인이 될 수 있으므로, 본 발명의 일 실시형태에 따른 검사시스템에서는 비전검사모듈로부터 불량으로 판별된 촬상 이미지에 대해서만 영상 전처리 모듈 및 기계학습모듈을 가동하고, 또한, 기계학습모듈로부터 불량으로 분류된 합성 이미지에 대해서만 육안 검사가 이루어지도록 할 수 있다.
이하의 표 1은, 본 발명의 일 실시형태(SynapseNet)에서 영상 전처리를 거친 후 자동 검사를 수행한 결과와, 본 발명과 대비되는 비교예(SuaKIT)에서 영상 전처리를 거치지 않고 자동 검사를 수행한 결과를 대비적으로 보여준다. 표 1의 실험에서는 앞서 설명된 바와 같은 영상 전처리의 효과를 확인하기 위하여, 본 발명과 비교예에서 동일한 검사 장비를 이용하여 자동 검사를 수행하였다.
표 1에서는 OK Detection은 양품을 양품으로 올바르게 판정한 개수를 나타내고, NG Detection은 불량을 불량으로 올바르게 판정한 개수를 나타낸다. 그리고, Critical Escape는 불량을 양품으로 판정한 개수를 나타내고, Overkill은 양품을 불량으로 판정한 개수를 나타낸다.
또한, 표 1에서 치명 불량 미검율(ppm)이란 CAD 상의 설계와는 달리, 패턴의 단락(short), 오픈(open), 패턴 불량 등과 같이, 기능적인 오류를 초래하는 결함으로서, 이러한 치명 불량이 감지되지 못하고 불량이 양품으로 판정된 개수를 의미할 수 있으며, 외부 이물질의 개입과 같은 불량은 제조 공정 상의 블로우(blow) 등을 통하여 처리될 수 있기 때문에, 치명 불량에 포함하지 않았다. 그리고, 표 1에서 과검 필터링율(%)은 양품을 양품으로 올바르게 판정한 비율을 나타낼 수 있다.
표 1을 참조하면, 검사 정확도의 측면에서, 본 발명과 대비되는 비교예(SuaKIT)에서의 검사 정확도(80.61%) 보다, 본 발명의 일 실시형태(SynapsNet)에서의 검사의 정확도(90.72%)가 상당한 수준으로 향상된 것을 확인할 수 있으며, 치명 불량 미검율(ppm)의 측면에서도, 본 발명과 대비되는 비교예(SuaKIT)에서의 치명 불량 미검율(155ppm) 보다, 본 발명의 일 실시형태(SynapsNet)에서의 치명 불량 미검율(0ppm)이 대폭 감소하였으며, 본 발명의 일 실시형태(SynapsNet)에서는 치명 불량 미검이 발생하지 않았음을 확인할 수 있다. 또한, 표 1을 참조하면, 과검 필터링율(%)의 측면에서, 본 발명과 대비되는 비교예(SuaKIT)에서의 과검 필터링율(55.49%) 보다, 본 발명의 일 실시형태(SynapsNet)에서의 과검 필터링율(78.73%)가 대폭 향상된 것을 확인할 수 있다.
본 발명의 일 실시형태에서는, 카메라 모듈로부터 생성된 촬상 이미지에 근거하여 기판의 결함 유무 내지는 양불 판별에 관한 1차 검사를 수행한 비전검사모듈로부터 불량으로 판별된 촬상 이미지와 촬상 이미지에 대응되는 CAD 이미지를 영상 전처리 모듈로 입력하여 촬상 이미지와 CAD 이미지의 영상 정보가 조합된 합성 이미지를 생성하며, 영상 전처리 모듈을 통하여 생성된 합성 이미지를 학습된 가중치를 포함하는 기계학습모듈로 입력하여 비전검사모듈의 1차 검사를 재검하도록 할 수 있다.
본 발명의 일 실시형태에서, 상기 영상 전처리 모듈은 서로 대응되는 촬상 이미지와 CAD 이미지를 입력으로 하고, 촬상 이미지와 CAD 이미지의 서로 대응되는 위치의 화소 값으로부터 대응되는 위치의 새로운 화소 값을 결정하는 점 연산(point operation)을 수행할 수 있으며, 도 2 및 도 3를 참조하여 설명된 바와 같이, 상기 영상 전처리 모듈은, 촬상 이미지와 CAD 이미지를 입력 이미지로 하여, 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값을 서로 다른 제1, 제2 가중치로 가중하여 합하는 점 연산을 통하여 서로 대응되는 화소 값의 가중치 오버레이 영상에 해당되는 제1 연산 이미지를 출력할 수 있으며, 촬상 이미지와 CAD 이미지의 서로 대응되는 위치의 화소 값(이진화된 영상의 화소 값)을 화소 단위로 비교하고, 촬상 이미지와 CAD 이미지 중에서 어느 하나의 이미지 상에서만 포착되는 배타적 객체를 추출한 결함후보군 추출 영상에 해당되는 제2 연산 이미지를 출력할 수 있다. 도 2 및 도 3을 참조하여 설명된 실시형태에서, 상기 영상 전처리 모듈은 서로 대응되는 위치의 화소 값의 서로 다른 가중치의 오버레이 영상에 해당되는 제1 연산 이미지 및 서로 대응되는 위치의 화소 값(이진화된 영상의 화소 값)을 화소 단위로 비교하여 배타적 객체를 추출한 제2 연산 이미지를 균등한 가중치로 합하여 합성 이미지를 생성할 수 있으며, 제1, 제2 연산 이미지로부터 생성된 합성 이미지는 학습된 가중치를 포함하는 기계학습모듈로 입력되어 양불 판별의 이진 분류가 수행될 수 있다.
본 발명의 다양한 실시형태에서, 상기 합성 이미지는 촬상 이미지 및 CAD 이미지의 가중치 오버레이 영상에 해당되는 제1 연산 이미지와, 촬상 이미지 및 CAD 이미지의 비교 영상에 해당되는 제2 연산 이미지 중에서 어느 하나의 연산 이미지로부터 생성될 수 있으며, 예를 들어, 연산 부담 및 검사 시간의 지연이 최소화되도록, 상기 영상 전처리 모듈은 제1 연산 이미지만으로 합성 이미지를 생성함으로써 제2 연산 이미지의 생성을 위한 연산을 생략할 수 있으며, 다른 실시형태에서 상기 영상 전처리 모듈은 제2 연산 이미지만으로 합성 이미지를 생성함으로써, 제1 연산 이미지의 생성을 위한 연산을 생략할 수 있다. 이하에서는 이에 대해 보다 구체적으로 설명하기로 한다.
도 8에는 본 발명의 다른 실시형태에서, 상기 영상 전처리 모듈로부터 합성 이미지를 생성하는 영상 처리를 설명하기 위한 도면이 도시되어 있다. 도면을 참조하면, 본 발명의 일 실시형태에서, 상기 영상 전처리 모듈은 서로 대응되는 촬상 이미지 및 CAD 이미지로부터 합성 이미지를 생성할 수 있으며, 서로 대응되는 위치의 촬상 이미지 및 CAD 이미지의 화소 값을 서로 다른 제1, 제2 가중치로 합산하여 대응되는 제1 연산 이미지 상의 위치로 매핑시키는 방식으로 촬상 이미지 및 CAD 이미지의 가중치 오버레이 영상에 해당되는 제1 연산 이미지를 생성하되, 촬상 이미지 및 CAD 이미지의 대응되는 위치의 화소 값(이진화된 영상의 화소 값)을 화소 단위로 비교하여 촬상 이미지 및 CAD 이미지 중에서 어느 하나의 이미지 상에서 포착되는 배타적 객체를 추출하는 제2 연산 이미지는 생성하지 않을 수 있다. 즉, 도 8에 도시된 실시형태에서는, 촬상 이미지 및 CAD 이미지의 서로 다른 가중치의 오버레이 영상에 해당되는 제1 연산 이미지를 합성 이미지로 출력할 수 있으며, 제1 연산 이미지에 해당되는 합성 이미지가 학습된 가중치를 포함하는 기계학습모듈로 입력되어, 양불 판별에 관한 이진 분류가 수행될 수 있다.
본 발명의 일 실시형태에서, 상기 제1 연산 이미지는 촬상 이미지 및 CAD 이미지 상에 나타난 객체의 형태정보 내지는 구조적인 특징을 온전하게 포함할 수 있으며, 예를 들어, 촬상 이미지 및 CAD 이미지 상에서 서로에 대해 공통적인 영상 정보를 그대로 포함하면서 서로에 대해 차이를 보이는 배타적인 영상 정보(예를 들어, 촬상 이미지 및 CAD 이미지 중에서 어느 하나의 이미지 상에서 포착되는 객체)도 모두 포함하므로, 상기 제1 연산 이미지는 제2 연산 이미지와의 조합이 없이 제1 연산 이미지에 포함된 영상 정보만으로도 결함 유무 내지는 양불 판별에 관한 이진 분류가 높은 예측의 정확도로 수행될 수 있다.
예를 들어, 본 발명의 일 실시형태에서, 상기 제1 연산 이미지는, 촬상 이미지와 CAD 이미지 상에서 공통적인 영상 성분과 촬상 이미지와 CAD 이미지 상에서 서로 차이를 보이는 배타적인 영상 성분을 모두 함께 포함하되, 촬상 이미지와 CAD 이미지에 대해 각각 서로 다르게 부여된 제1, 제2 가중치에 따라 서로 다른 화소 값의 영상 성분(서로 다른 밝기의 영역)으로 표현될 수 있다. 예를 들어, 영상 전처리 모듈로부터 생성된 제1 연산 이미지는 양불 판별에 관한 이진 분류를 위하여 기계학습모듈로 입력될 수 있으며, 상기 기계학습모듈에서는 제1 연산 이미지 상에서 소정의 크기를 갖는 커널(또는 필터)을 이동시키면서 커널 내의 화소 집합에 대한 화소 값과 커널의 가중치 사이의 선형 조합을 통하여 특성 맵을 생성하는 방식으로, 입력된 제1 연산 이미지와 결함 유무 내지는 양불 판별 사이의 상관관계에 관한 고차원적인 특성을 추출하기 때문에, 예를 들어, 서로 대응되는 촬상 이미지와 CAD 이미지를 화소 단위로 비교하여 이들 간의 차이를 보이는 배타적 객체에 해당되는 에지 성분이 추출된 제2 연산 이미지로부터 구조적인 특징 내지는 형태정보를 인식한다기 보다는, 촬상 이미지와 CAD 이미지의 가중치 오버레이 영상에 해당되는, 그러니까, 서로 차이를 보이는 영상 성분만을 추출하지 않고, 서로 공통적인 영상 성분과 서로 차이를 보이는 배타적인 영상 성분의 정보를 함께 포함하는 제1 연산 이미지로부터 커널 내지는 윈도 내의 화소 집합의 화소 값에 따라 구조적인 특징 내지는 형태정보를 인식하는 것으로 이해될 수 있으며, 이에 따라, 촬상 이미지와 CAD 이미지 상에서 서로 차이를 보이는 배타적인 영상 성분만을 추출한 제2 연산 이미지 보다는, 서로 이웃하도록 군집한 일군의 화소 집합이 객체의 영역을 온전하게 표현할 수 있는 제1 연산 이미지로부터 결합 유무 내지는 양불 판별에 관한 이진 분류를 수행하는 것이 기계학습모듈의 예측의 정확도를 높이는 것으로 이해될 수 있다. 예를 들어, 본 발명의 일 실시형태에서, 상기 제2 연산 이미지는 촬상 이미지와 CAD 이미지 상에서 공통적인 영상 성분을 배제하고 서로 차이를 보이는 영상 성분만을 추출하므로, 제2 연산 이미지 상으로부터 온전한 구조적인 특징 내지는 형태정보가 인식되기 어려울 수 있으며, 예를 들어, 제1 연산 이미지 없이, 제2 연산 이미지로부터 생성된 합성 이미지를 입력으로 하면, 기계학습모듈의 예측 정확도가 상대적으로 떨어질 수 있다.
본 발명의 다양한 실시형태에서, 기계학습모듈에 대해 합성 이미지를 제공하는 영상 전처리 모듈은, 서로 대응되는 촬상 이미지 및 CAD 이미지를 입력으로 하여, 촬상 이미지 및 CAD 이미지의 서로 다른 가중치의 오버레이 영상에 해당되는 제1 연산 이미지 및/또는 서로 대응되는 위치의 화소 단위 비교를 통하여 촬상 이미지 및 CAD 이미지 중에서 어느 하나의 이미지 상에서 포착되는 배타적 객체를 검출한 제2 연산 이미지로부터 합성 이미지를 생성할 수 있으며, 예를 들어, 도 2에 도시된 바와 같이, 상기 영상 전처리 모듈은, 제1, 제2 연산 이미지를 모두 생성하고 이들 제1, 제2 연산 이미지의 조합으로부터 합성 이미지를 생성하거나 또는 도 8에 도시된 바와 같이, 제2 연산 이미지의 생성 없이 제1 연산 이미지로부터 합성 이미지를 생성할 수 있으며, 본 발명의 다른 실시형태에서, 제1 연산 이미지의 생성 없이 제2 연산 이미지로부터 합성 이미지를 생성할 수도 있다. 다만, 연산의 부담 및 검사 시간의 지연을 최소화하기 위하여, 상기 영상 전처리 모듈이 제1, 제2 연산 이미지 모두를 생성하는 대신에, 제1, 제2 연산 이미지 중에서 어느 하나의 연산 이미지로부터 합성 이미지를 생성한다면, 촬상 이미지와 CAD 이미지의 서로 공통적인 영상 성분과 서로 차이를 보이는 배타적인 영상 성분을 모두 포함하며, 서로 이웃하도록 군집한 화소 집합을 통하여 객체의 윤곽을 인식하고 커널 내지는 윈도 내의 화소 집합에 대해 커널을 적용하는 방식으로, 입력 이미지로부터 결함 유무 내지는 양불 판별에 관한 고차원적인 특성을 포함하는 특성 맵을 추출하는 기계학습모듈의 신경망 구조를 고려할 때, 제1 연산 이미지 단독의 합성 이미지를 생성하여 기계학습모듈로 제공하는 실시형태가, 제2 연산 이미지 단독의 합성 이미지를 생성하여 기계학습모듈로 제공하는 실시형태 보다는, 예측의 정확도를 높일 수 있으며, 촬상 이미지와 CAD 이미지를 서로 다른 제1, 제2 가중치로 가중한 오버레이 영상으로 산출된 제1 연산 이미지의 생성을 위한 연산 부담이, 이진화된 촬상 이미지와 CAD 이미지의 화소 단위의 비교를 통하여 배타적 객체의 위치를 검출하고, 촬상 이미지로부터 검출된 배타적 객체의 위치에 해당되는 화소 값을 취하는 제2 연산 이미지의 생성을 위한 연산 부담 보다 상대적으로 적은 연산을 통해서도 제1 연산 이미지를 생성할 수 있다는 점을 고려할 때, 연산 부담 및 예측의 정확도 측면에서 제1 연산 이미지 단독의 합성 이미지를 생성하는 실시형태가 상대적으로 선호될 수 있다.
도 8에 도시된 바와 같이, 상기 영상 전처리 모듈이 제2 연산 이미지의 생성 없이, 제1 연산 이미지로부터 합성 이미지를 생성하는 경우에도, 도 2를 참조하여 설명된 바와 같이, 촬상 이미지의 기여분을 정의하는 제1 가중치와, CAD 이미지의 기여분을 정의하는 제2 가중치는 대소 관계를 갖는 서로 다른 값으로 부여될 수 있으며, 제1 가중치 > 제2 가중치의 대소 관계를 만족하도록 제1, 제2 가중치가 부여될 수 있으며, 예를 들어, 제1, 제2 가중치는 각각 0.8 및 0.2로 부여될 수 있다. 예를 들어, 촬상 이미지는 검사 대상인 기판을 포착한 카메라 모듈로부터 생성되어 0~255 사이의 화소 값을 가지며 색상정보와 형태정보를 포함하는데 반하여, 상기 CAD 이미지는 기판 상의 패턴이 설계된 이진화 영상으로, 상대적으로 높은 화소 값과 상대적으로 낮은 화소 값을 가지며, 색상정보 없이 형태정보만을 포함하므로, CAD 이미지에 대해는 상대적으로 낮은 가중치를 부여하여, 촬상 이미지의 화소 값과 CAD 이미지의 화소 값이 균형적으로 반영될 수 있도록 할 수 있다.
본 발명의 검사시스템은, 전자 부품의 자동화된 검사를 지원할 수 있으며, 검사시스템의 검사 대상으로는 예시된 바와 같은 기판에 한정되지 않고, CCD와 같은 촬상 소자를 포괄하는 다양한 전자 부품을 검사 대상으로 하여, 자동화된 검사를 수행할 수 있다.
본 발명의 다양한 실시형태에서, 양불의 판별을 수행하는 신경망은 신경망의 출력으로서, 예를 들어, 양불의 2가지 클래스 각각에 속할 확률을 예측할 수 있으며, 시그모이드 또는 소프트 맥스와 같은 출력 함수를 적용하여, 양불의 2가지 클래스 각각에 속할 확률을 예측하는 외에, 양불 이외의 다중 클래스 각각에 속할 확률을 예측할 수도 있으며, 이런 의미에서 본 명세서에서, 양불 판별에 관한 이진 분류란 양불의 2가지의 클래스 각각에 속할 확률을 예측하는 것만을 한정적으로 의미하기 보다는, 양불에 관한 다중 분류로서 2 이상의 클래스 각각에 속할 확률을 예측하는 것도 포함하는 광의적인 의미로 해석될 수 있다.
본 발명은 첨부된 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.
S: 검사 대상인 기판 P: 기판 상의 패턴
20: 광학 렌즈 80: 촬상면
80`: 결상면 85: 착란원
20: 광학 렌즈 80: 촬상면
80`: 결상면 85: 착란원
Claims (23)
- 검사 대상으로부터 촬상 이미지를 생성하기 위한 카메라 모듈;
상기 촬상 이미지와 상기 촬상 이미지에 대응되는 CAD 이미지로부터 합성 이미지를 생성하기 위한 영상 전처리 모듈; 및
상기 합성 이미지를 입력으로 하여, 상기 검사 대상에 대한 양불 판별의 분류를 수행하는 기계학습모듈을 포함하되,
상기 영상 전처리 모듈은, 상기 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값 사이의 점 연산을 통하여 상기 합성 이미지를 생성하고,
상기 영상 전처리 모듈은,
i) 상기 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값이 서로 다른 제1, 제2 가중치로 더해진 가중치 오버레이 영상에 해당되는 제1 연산 이미지를 생성하고,
ii) 상기 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값을 화소 단위로 비교하고, 촬상 이미지 및 CAD 이미지 중에서 어느 하나의 이미지 상에서만 포착되는 배타적 객체를 검출한 결함후보군 추출 영상에 해당되는 제2 연산 이미지를 생성하며,
iii) 상기 제1, 제2 연산 이미지의 서로 대응되는 화소 값을 더하여 상기 합성 이미지를 생성하는 것을 특징으로 하는 검사시스템. - 삭제
- 제1항에 있어서,
상기 영상 전처리 모듈은, 상기 제1 연산 이미지의 생성을 위하여,
상기 촬상 이미지에 대해 상대적으로 높은 제1 가중치를 적용하고,
상기 CAD 이미지에 대해 상대적으로 낮은 제2 가중치를 적용하는 것을 특징으로 하는 검사시스템. - 제1항에 있어서,
상기 제1 가중치는 0.8로 설정되고, 상기 제2 가중치는 0.2로 설정되는 것을 특징으로 하는 검사시스템. - 삭제
- 제1항에 있어서,
상기 영상 전처리 모듈은,
상기 촬상 이미지로부터 이진화된 촬상 이미지를 생성하고,
상기 이진화된 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값을 화소 단위로 비교하여 상기 배타적 객체를 검출하는 것을 특징으로 하는 검사시스템. - 제6항에 있어서,
상기 영상 전처리 모듈은,
상기 촬상 이미지 상의 전체 화소 값의 평균치를 임계값으로 하여, 서로 다른 두 부류로 분할된 이진화된 촬상 이미지를 생성하는 것을 특징으로 하는 검사시스템. - 제6항에 있어서,
상기 영상 전처리 모듈은,
상기 이진화된 촬상 이미지와 CAD 이미지의 서로 대응되는 화소 값의 차이에 따라 상기 배타적 객체를 검출하는 것을 특징으로 하는 검사시스템. - 제6항에 있어서,
상기 영상 전처리 모듈은, 상기 배타적 객체에 대해,
상기 이진화된 촬상 이미지 및 CAD 이미지의 상호 비교를 통하여 산출된 객체의 화소 위치 및 상기 객체와 대응되는 위치의 촬상 이미지 상에서 취해진 화소 값으로부터,
상기 제2 연산 이미지 상에서 객체와 대응되는 화소 위치에, 상기 촬상 이미지로부터 취해진 화소 값을 매핑시키는 것을 특징으로 하는 검사시스템. - 제1항에 있어서,
상기 영상 전처리 모듈은, 상기 배타적 객체에 대해,
상기 촬상 이미지 및 CAD 이미지 모두에서 검출된 객체와 비교하여,
상기 합성 이미지 상에서 상대적으로 높은 화소 값을 부여하는 것을 특징으로 하는 검사시스템. - 제10항에 있어서,
상기 영상 전처리 모듈은,
상기 합성 이미지 상에서, 패턴의 윤곽을 따르는 에지 성분에 대해 상대적으로 높은 화소 값을 부여하는 것을 특징으로 하는 검사시스템. - 제11항에 있어서,
상기 영상 전처리 모듈은,
상기 촬상 이미지로부터 상기 CAD 상에 설계된 패턴의 에지 주변으로 형성된 명암의 구배가 표현된 영상 성분에 대해, 상기 촬상 이미지 상에서만 포착된 배타적 객체로 인식하여, 상기 합성 이미지 상에서 상대적으로 높은 화소 값을 부여하는 것을 특징으로 하는 검사시스템. - 제11항에 있어서,
상기 영상 전처리 모듈은,
상기 촬상 이미지로부터 상기 CAD 상에 설계된 패턴의 윤곽을 벗어난 초과 윤곽분이 표현된 영상 성분에 대해, 상기 촬상 이미지 상에서만 포착된 배타적 객체로 인식하여, 상기 합성 이미지 상에서 상대적으로 높은 화소 값을 부여하는 것을 특징으로 하는 검사시스템. - 제10항에 있어서,
상기 영상 전처리 모듈은,
상기 촬상 이미지로부터 상기 CAD 상에 설계된 패턴 사이의 단락이 표현된 영상 성분에 대해, 상기 촬상 이미지 상에서만 포착된 객체로 인식하여, 상기 합성 이미지 상에서 상대적으로 높은 화소 값을 부여하는 것을 특징으로 하는 검사시스템. - 삭제
- 제1항에 있어서,
상기 영상 전처리 모듈은,
상기 제1 연산 이미지의 생성을 위하여, 상기 촬상 이미지에 대해 상대적으로 높은 제1 가중치를 적용하고, 상기 CAD 이미지에 대해 상대적으로 낮은 제2 가중치를 적용하며,
상기 제1, 제2 연산 이미지를 동일한 가중치로 더하여 상기 합성 이미지를 생성하는 것을 특징으로 하는 검사시스템. - 제1항에 있어서,
상기 영상 전처리 모듈은, 상기 배타적 객체에 대해,
상기 촬상 이미지 및 CAD 이미지 상에서 모두 검출된 객체와 비교하여,
상기 제1 연산 이미지 상에서는 상대적으로 낮은 화소 값이 부여하고,
상기 제2 연산 이미지 상에서는 상대적으로 높은 화소 값을 부여하되, 상기 제1, 제2 연산 이미지가 더해진 합성 이미지 상에서 제1 연산 이미지 상의 낮은 화소 값을 상쇄시키고 상대적으로 높은 화소 값이 부여되도록 충분히 높은 화소 값을 부여하는 것을 특징으로 하는 검사시스템. - 제1항에 있어서,
상기 영상 전처리 모듈은,
상기 촬상 이미지 및 CAD 이미지의 서로 대응되는 화소 값 사이의 점 연산(point operation)으로부터 상기 제1 연산 이미지를 생성하고,
상기 촬상 이미지 상의 전체 화소 값의 평균치를 임계값으로 하여, 서로 다른 두 부류로 분할된 이진화된 촬상 이미지를 생성하며,
상기 이진화된 촬상 이미지 및 CAD 이미지의 서로 대응되는 화소 값 사이의 점 연산(point operation)으로부터 배타적 객체의 위치를 검출하여 제2 연산 이미지를 생성하는 것을 특징으로 하는 검사시스템. - 제1항에 있어서,
상기 기계학습모듈은, 상기 합성 이미지 상에서 상대적으로 높은 화소 값으로 입력되는 결함후보군과 양불 판별의 분류 사이의 상관관계를 학습한 가중치를 포함하는 것을 특징으로 하는 검사시스템. - 제1항에 있어서,
상기 카메라 모듈 및 영상 전처리 모듈 사이에 연결된 비전검사모듈을 더 포함하고,
상기 비전검사모듈은 상기 촬상 이미지 상으로부터 패턴의 에지를 검출하기 위하여, 서로 이웃한 화소를 포함하는 화소 집합에 대한 화소 값의 변화량을 산출하는 영역 연산(area operation)을 수행하는 것을 특징으로 하는 검사시스템. - 제20항에 있어서,
상기 검사시스템의 데이터 흐름을 제어하기 위한 제어 유닛을 더 포함하고,
상기 제어 유닛은, 상기 비전검사모듈로부터 양불 판별의 1차 검사에서 불량으로 판정된 촬상 이미지를 선별하여, 상기 기계학습모듈에 의한 양불 판별의 2차 검사를 위하여, 상기 영상 전처리 모듈로 제공하는 것을 특징으로 하는 검사시스템. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220145513A KR102610783B1 (ko) | 2022-11-03 | 2022-11-03 | Cad 영상을 활용한 전처리가 구현된 딥러닝 검사시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220145513A KR102610783B1 (ko) | 2022-11-03 | 2022-11-03 | Cad 영상을 활용한 전처리가 구현된 딥러닝 검사시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102610783B1 true KR102610783B1 (ko) | 2023-12-07 |
Family
ID=89163271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220145513A KR102610783B1 (ko) | 2022-11-03 | 2022-11-03 | Cad 영상을 활용한 전처리가 구현된 딥러닝 검사시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102610783B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03209579A (ja) * | 1990-01-11 | 1991-09-12 | Canon Inc | 画像処理装置及び画像処理方法 |
| JP2004012177A (ja) * | 2002-06-04 | 2004-01-15 | Dainippon Screen Mfg Co Ltd | 欠陥検出装置、欠陥検出方法、輪郭抽出方法、輪郭平滑化方法、領域結合方法およびプログラム |
| KR20190092506A (ko) * | 2017-01-20 | 2019-08-07 | 가부시키가이샤 스크린 홀딩스 | 위치 어긋남량 취득 장치, 검사 장치, 위치 어긋남량 취득 방법 및 검사 방법 |
| WO2019194044A1 (ja) * | 2018-04-04 | 2019-10-10 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
| KR20200046137A (ko) * | 2018-10-11 | 2020-05-07 | 라온피플 주식회사 | 결함 검출 장치 및 방법 |
-
2022
- 2022-11-03 KR KR1020220145513A patent/KR102610783B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03209579A (ja) * | 1990-01-11 | 1991-09-12 | Canon Inc | 画像処理装置及び画像処理方法 |
| JP2004012177A (ja) * | 2002-06-04 | 2004-01-15 | Dainippon Screen Mfg Co Ltd | 欠陥検出装置、欠陥検出方法、輪郭抽出方法、輪郭平滑化方法、領域結合方法およびプログラム |
| KR20190092506A (ko) * | 2017-01-20 | 2019-08-07 | 가부시키가이샤 스크린 홀딩스 | 위치 어긋남량 취득 장치, 검사 장치, 위치 어긋남량 취득 방법 및 검사 방법 |
| WO2019194044A1 (ja) * | 2018-04-04 | 2019-10-10 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
| KR20200046137A (ko) * | 2018-10-11 | 2020-05-07 | 라온피플 주식회사 | 결함 검출 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7087397B2 (ja) | 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体 | |
| Park et al. | Ambiguous surface defect image classification of AMOLED displays in smartphones | |
| US11694318B2 (en) | Electronic substrate defect detection | |
| Deng et al. | Building an automatic defect verification system using deep neural network for pcb defect classification | |
| US8908957B2 (en) | Method for building rule of thumb of defect classification, and methods for classifying defect and judging killer defect based on rule of thumb and critical area analysis | |
| Wu et al. | An inspection and classification method for chip solder joints using color grads and Boolean rules | |
| US7925073B2 (en) | Multiple optical input inspection system | |
| CN109919908B (zh) | 发光二极管芯片缺陷检测的方法和装置 | |
| Neto et al. | Brazilian vehicle identification using a new embedded plate recognition system | |
| CN109932370B (zh) | 利用改善的预处理的用于白色点斑检测的系统和方法 | |
| Liao et al. | A flexible PCB inspection system based on statistical learning | |
| Kim et al. | A vision-based system for monitoring block assembly in shipbuilding | |
| Jaffery et al. | Scope and prospects of non-invasive visual inspection systems for industrial applications | |
| CN113496525A (zh) | 通过2d相机的3d姿态估计 | |
| JP4062987B2 (ja) | 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラム | |
| Chan et al. | Ball bonding inspections using a conjoint framework with machine learning and human judgement | |
| de Mello et al. | Inspecting surface mounted devices using k nearest neighbor and multilayer perceptron | |
| JP7415286B2 (ja) | カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法 | |
| KR102610783B1 (ko) | Cad 영상을 활용한 전처리가 구현된 딥러닝 검사시스템 | |
| CN113496526A (zh) | 通过多个2d相机的3d姿态检测 | |
| CN113496524A (zh) | 通过深度学习和矢量场估计的特征检测 | |
| Yang | Machine Learning and Computer Vision for PCB Verification | |
| JP2003076991A (ja) | 自動検査装置及び方法並びに画像信号の処理方法 | |
| KR102619486B1 (ko) | 고해상도 컬러 변환이 구현된 검사시스템 | |
| Lakshmi et al. | A Survey of PCB Defect Detection Algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |