KR102533365B1 - Apparatus for vision inspection using auto-encoder and method therefor - Google Patents

Apparatus for vision inspection using auto-encoder and method therefor Download PDF

Info

Publication number
KR102533365B1
KR102533365B1 KR1020220020239A KR20220020239A KR102533365B1 KR 102533365 B1 KR102533365 B1 KR 102533365B1 KR 1020220020239 A KR1020220020239 A KR 1020220020239A KR 20220020239 A KR20220020239 A KR 20220020239A KR 102533365 B1 KR102533365 B1 KR 102533365B1
Authority
KR
South Korea
Prior art keywords
feature vector
vector map
verification
map
simulated
Prior art date
Application number
KR1020220020239A
Other languages
Korean (ko)
Inventor
박승범
이해구
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Application granted granted Critical
Publication of KR102533365B1 publication Critical patent/KR102533365B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)

Abstract

비전 검사를 위한 장치는 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 이미지처리부와, 상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 특징벡터지도를 생성하고, 학습된 검출모델을 통해 생성된 특징벡터지도를 모사하는 모사특징벡터지도를 생성하고, 상기 특징벡터지도와 상기 모사특징벡터지도와의 차이를 나타내는 모사손실를 산출한 후, 산출된 모사손실이 미리 산출된 기준치 이상인지 여부에 따라 다이의 불량 여부를 검출하는 검출부를 포함한다. An apparatus for vision inspection includes an image processor generating an inspection image including one or more images of a plurality of dies included in one wafer, and features of the inspection image using at least one feature detection filter for the inspection image. A feature vector map is generated, a simulated feature vector map that simulates the feature vector map generated through the learned detection model is generated, and a simulation loss representing the difference between the feature vector map and the simulated feature vector map is calculated. , and a detection unit for detecting whether or not the die is defective according to whether the calculated simulation loss is equal to or greater than a pre-calculated reference value.

Description

오토인코더를 이용한 비전 검사를 위한 장치 및 이를 위한 방법{Apparatus for vision inspection using auto-encoder and method therefor}Apparatus for vision inspection using auto-encoder and method therefor}

본 발명은 비전 검사를 위한 기술에 관한 것으로, 보다 상세하게는, 오토인코더(AE: auto-encoder)를 이용한 비전 검사를 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to a technology for vision inspection, and more particularly, to an apparatus for vision inspection using an auto-encoder (AE) and a method therefor.

제조 자동화 및 품질 향상을 위한 불량 검출을 목적으로 컴퓨터 비전을 활용한 많은 영상 검사기들이 개발되었다. 이들은 불량의 후공정 유출을 방지하기 위해 제조 현장에 적용되고 있다. 대부분의 영상 검사기들은 규칙 기반의 알고리즘이 적용된다. 이는 균일한 조명, 피사체의 정위치 및 주변 객체에 의해 검사 대상이 가리워지지 않은 환경이 보장되는 경우 치수 측정, 조립 유무 검사, 이물질(Foreign Material) 검사 등에서 우수한 성능을 보이고 있다. Many image inspection systems using computer vision have been developed for the purpose of defect detection for manufacturing automation and quality improvement. These are being applied to the manufacturing site to prevent outflow of defects in the post-process. Most image inspectors apply rule-based algorithms. This shows excellent performance in dimension measurement, assembly inspection, foreign material inspection, etc. when uniform lighting, the correct position of the subject, and an environment in which the inspection target is not covered by surrounding objects are guaranteed.

최근 인간의 신경망 개념을 차용한 딥러닝까지 적용되어 영상검사는 비약적인 발전을 보이고 있다. 그러나 검사 환경이 열악한 경우 조명 변화에 따른 이미지 편차 또는 영상 취득, 카메라 렌즈 조건에 따라 원근(Perspective)이 적용된 이미지 편차가 발생되어 오검출율을 높이고 검사 신뢰성에 문제를 야기한다. 문제 해결을 위해서는 제품의 정위치 장치와 암실을 포함한 조명 설계는 물론 클린룸 조성을 통해 주변 조명에 영향을 받지 않는 검사 환경을 구현하는 것이 필수적이다. 하지만, 반도체 제조와 같은 대형 장치 기반 공정의 경우 검사를 위한 환경 구축에 많은 시간, 공간과 비용이 요구되어 검사기 적용이 어려운 경우가 많다. Recently, deep learning, which borrows the concept of human neural networks, has been applied to image inspection, showing rapid development. However, when the inspection environment is poor, image deviation due to lighting change or image deviation with perspective applied depending on image acquisition and camera lens conditions occurs, increasing the false detection rate and causing problems in inspection reliability. In order to solve the problem, it is essential to implement an inspection environment that is not affected by ambient light through the design of lighting including a product positioning device and a dark room as well as the creation of a clean room. However, in the case of a large-scale device-based process such as semiconductor manufacturing, it is often difficult to apply the inspection machine because a lot of time, space, and cost are required to build an environment for inspection.

한국공개특허 제2011-0120461호 (2011년11월04일 공개)Korean Patent Publication No. 2011-0120461 (published on November 04, 2011)

본 발명의 목적은 별도의 환경 구축이 없는 경우에도 비전 검사의 정확한 판별을 가능하게 할 수 있는 오토인코더를 이용한 비전 검사를 위한 장치 및 이를 위한 방법을 제공함에 있다. An object of the present invention is to provide an apparatus for vision inspection using an autoencoder and a method therefor, which can enable accurate discrimination of vision inspection even when there is no separate environment construction.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 비전 검사를 위한 장치는 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 이미지처리부와, 상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 특징벡터지도를 생성하고, 학습된 검출모델을 통해 생성된 특징벡터지도를 모사하는 모사특징벡터지도를 생성하고, 상기 특징벡터지도와 상기 모사특징벡터지도와의 차이를 나타내는 모사손실를 산출한 후, 산출된 모사손실이 미리 산출된 기준치 이상인지 여부에 따라 다이의 불량 여부를 검출하는 검출부를 포함한다. An apparatus for vision inspection according to a preferred embodiment of the present invention for achieving the above object includes an image processing unit for generating an inspection image including one or more images of a plurality of dies included in one wafer, and the inspection image. A feature vector map representing the characteristics of the inspection image is generated using at least one feature detection filter for , a simulated feature vector map that simulates the feature vector map generated through the learned detection model is generated, and the feature vector is generated. and a detecting unit that calculates a simulation loss representing a difference between the map and the simulated feature vector map and then detects whether or not the die is defective according to whether the calculated simulation loss is equal to or greater than a pre-calculated reference value.

상기 검출부는 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고, 분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후, 주파수 대역으로 변환된 서브 블록 각각을 양자화하여 특징벡터지도를 생성하는 것을 특징으로 한다. The detector divides the inspection image into a plurality of square sub-blocks, performs a discrete cosine transform (DCT) on each of the divided sub-blocks, converts them into frequency bands, and converts the sub-blocks into frequency bands. Characterized in that each sub-block is quantized to generate a feature vector map.

상기 검출부는 상기 검사 이미지에 대해 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고, 복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 한다. The detection unit derives a plurality of calculation results through an operation using a plurality of gabor filters for the inspection image, and quantizes the derived calculation results corresponding to each of the plurality of gabor filters into a predetermined number of bands and generating a feature vector map.

상기 가버(gabor) 필터는 수학식

Figure 112022017442523-pat00001
에 따라 생성되며, 상기
Figure 112022017442523-pat00002
는 커널의 너비이고, 상기
Figure 112022017442523-pat00003
는 커널의 방향성이고, 상기
Figure 112022017442523-pat00004
은 커널의 반복주기이고, 상기
Figure 112022017442523-pat00005
는 상기 가버 필터의 중간값이고, 상기
Figure 112022017442523-pat00006
는 상기 가버 필터의 가로세로의 비율이고, 상기 검출부는 상기
Figure 112022017442523-pat00007
, 상기
Figure 112022017442523-pat00008
, 상기
Figure 112022017442523-pat00009
, 상기
Figure 112022017442523-pat00010
, 상기
Figure 112022017442523-pat00011
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 특징벡터지도를 생성하는 것을 특징으로 한다. The Gabor filter is expressed by Equation
Figure 112022017442523-pat00001
It is generated according to the above
Figure 112022017442523-pat00002
is the width of the kernel, and
Figure 112022017442523-pat00003
is the directionality of the kernel, and
Figure 112022017442523-pat00004
is the repetition period of the kernel, and
Figure 112022017442523-pat00005
is the median value of the Gabor filter, and
Figure 112022017442523-pat00006
Is the aspect ratio of the Gabor filter, and the detection unit
Figure 112022017442523-pat00007
, remind
Figure 112022017442523-pat00008
, remind
Figure 112022017442523-pat00009
, remind
Figure 112022017442523-pat00010
, remind
Figure 112022017442523-pat00011
Characterized in that a feature vector map is generated using a plurality of Gabor filters having at least one parameter different from each other.

상기 검출부는 상기 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환하고, 변환된 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 한다. The detector divides the inspection image into three channels including Hue, Saturation, and Value, and transforms each of the three separated channels into a frequency domain through a Fourier transform. and generating a feature vector map by quantizing the converted frequency domain values into a predetermined number of bands.

상기 검출부는 상기 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature) 채널을 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환하고, 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 한다. The detection unit divides the inspection image into three channels including a Y channel, which is a component representing luminance, and an I (In-phase) channel and a Q (Quadrature) channel, which are components representing color difference. It is characterized in that each channel is transformed into a frequency domain through wavelet transform, and a feature vector map is generated by quantizing values in the frequency domain into a predetermined number of bands.

상기 이미지처리부는 웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고, 생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사 이미지를 생성하는 것을 특징으로 한다. The image processing unit generates a plurality of die images in the order of rows and columns from the leftmost die among the plurality of dies located at the uppermost side based on the notch in the wafer image taken by the wafer, and stores the generated plurality of die images as It is characterized by generating one or more inspection images of a set standard.

상기 장치는 정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 하는 학습용 특징벡터지도를 마련하고, 학습용 특징벡터지도를 학습이 완료되지 않은 검출모델에 입력하고, 상기 검출모델이 복수의 컨벌루션계층을 통해 상기 학습용 특징벡터지도에 대해 상기 학습용 특징벡터지도의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 상기 학습용 특징벡터지도를 모사하는 학습용 모사특징벡터지도를 생성하면, 상기 학습용 특징벡터지도와 상기 학습용 모사특징벡터지도의 차이인 모사손실을 산출하고, 상기 모사손실이 최소가 되도록 상기 검출모델의 파라미터를 수정하는 최적화를 수행하는 학습부를 더 포함한다. The device prepares a feature vector map for learning based on an inspection image including a plurality of die images in a steady state, inputs the feature vector map for learning to a detection model whose learning has not been completed, and the detection model has a plurality of convolutional When a simulated feature vector map for learning that simulates the feature vector map for learning is generated by performing a plurality of convolution operations to generate a feature map having the same size as the size of the feature vector map for learning, for the feature vector map for learning through the layer, The learning unit may further include a learning unit that calculates a simulation loss, which is a difference between the learning feature vector map and the simulated feature vector map for learning, and performs optimization to modify parameters of the detection model so that the simulation loss is minimized.

상기 학습부는 정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 하는 복수의 검증용 특징벡터지도를 검출모델에 입력하고, 상기 검출모델이 복수의 검증용 특징벡터지도를 모사하는 복수의 검증용 모사특징벡터지도를 생성하면, 상기 복수의 검증용 특징벡터지도와 상기 복수의 검증용 모사특징벡터지도의 차이인 복수의 검증손실을 산출한 후, 수학식

Figure 112022017442523-pat00012
에 따라 상기 기준치를 산출하고, 상기 S는 기준치이고, 상기 A는 복수의 검증용 특징벡터지도와 복수의 검증용 특징벡터지도에 대응하는 복수의 검증용 모사특징벡터지도 간의 검증손실의 평균이고, 상기 C는 상기 복수의 검증용 특징벡터지도와 상기 복수의 검증용 특징벡터지도에 대응하는 상기 검증용 모사특징벡터지도 간의 검증손실의 표준편차이고, 상기 B는 상기 검증손실의 표준편차에 대한 가중치인 것을 특징으로 한다. The learning unit inputs a plurality of feature vector maps for verification based on an inspection image including a plurality of die images in a steady state to a detection model, and the detection model simulates a plurality of verification feature vector maps for verification. When the simulated feature vector maps for verification are generated, a plurality of verification losses, which are differences between the plurality of feature vector maps for verification and the plurality of simulated feature vector maps for verification, are calculated, and then the equation
Figure 112022017442523-pat00012
The reference value is calculated according to , wherein S is the reference value, A is the average of verification losses between a plurality of feature vector maps for verification and a plurality of simulated feature vector maps for verification corresponding to the plurality of feature vector maps for verification, C is the standard deviation of the verification loss between the plurality of feature vector maps for verification and the simulated feature vector maps for verification corresponding to the plurality of feature vector maps for verification, and B is the weight for the standard deviation of the verification loss. It is characterized by being

상기 학습부는 수학식

Figure 112022017442523-pat00013
를 통해 상기 모사손실을 산출하며, 상기 Lp는 손실함수를 나타내고, 상기 i 및 상기 j는 상기 특징벡터지도 및 상기 모사특징벡터지도의 행 및 열을 나타내는 인덱스이고, 상기 N은 상기 특징벡터지도 및 상기 모사특징벡터지도의 원소의 수를 나타내고, 상기 gij는 특징벡터지도의 원소값이고, 상기 cij는 모사특징벡터지도의 원소값인 것을 특징으로 한다. The learning unit is a mathematical formula
Figure 112022017442523-pat00013
The simulation loss is calculated through, Lp represents a loss function, i and j are indices representing rows and columns of the feature vector map and the simulated feature vector map, and N is the feature vector map and It is characterized in that the number of elements of the simulated feature vector map is represented, gij is an element value of the feature vector map, and cij is an element value of the simulated feature vector map.

상기 검출모델은 복수의 컨벌루션계층을 포함하며, 상기 복수의 컨벌루션계층은 상기 특징벡터지도에 대해 상기 특징벡터지도의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 상기 모사특징벡터지도를 생성하는 것을 특징으로 한다. The detection model includes a plurality of convolutional layers, and the plurality of convolutional layers perform a plurality of convolutional operations on the feature vector map to generate a feature map having the same size as the size of the feature vector map, thereby generating the simulated feature vector. Characterized in generating a map.

상기 복수의 컨벌루션계층 각각은 학습된 가중치 행렬로 이루어진 필터를 이용하고, 특징지도에 제로 패딩을 적용하여 컨벌루션 연산을 수행하는 것을 특징으로 한다. Each of the plurality of convolution layers is characterized in that a convolution operation is performed by using a filter composed of a learned weight matrix and applying zero padding to a feature map.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 비전 검사를 위한 방법은 이미지처리부가 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 단계와, 검출부가 상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 특징벡터지도를 생성하는 단계와, 상기 검출부가 학습된 검출모델을 통해 생성된 특징벡터지도를 모사하는 모사특징벡터지도를 생성하는 단계와, 상기 검출부가 상기 특징벡터지도와 상기 모사특징벡터지도와의 차이를 나타내는 모사손실를 산출한 후, 산출된 모사손실이 미리 산출된 기준치 이상인지 여부에 따라 다이의 불량 여부를 검출하는 단계를 포함한다. A method for vision inspection according to a preferred embodiment of the present invention for achieving the above object includes generating an inspection image including one or more images of a plurality of dies included in one wafer by an image processing unit, and a detection unit by a detection unit. Generating a feature vector map representing features of the inspection image by using at least one feature detection filter for the inspection image, and mimicking the feature vector map generated by the detection unit through the learned detection model. In the step of generating a vector map, after the detection unit calculates a simulation loss representing the difference between the feature vector map and the simulated feature vector map, whether or not the die is defective according to whether the calculated simulation loss is equal to or greater than a pre-calculated reference value. It includes the step of detecting.

상기 특징벡터지도를 생성하는 단계는 상기 검출부가 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고, 분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후, 주파수 대역으로 변환된 서브 블록 각각을 양자화하여 특징벡터지도를 생성하는 것을 특징으로 한다. In the step of generating the feature vector map, the detector divides the inspection image into a plurality of square sub-blocks, and performs discrete cosine transform (DCT) on each of the plurality of divided sub-blocks to generate a frequency band. After transforming, each of the subblocks converted into frequency bands is quantized to generate a feature vector map.

상기 특징벡터지도를 생성하는 단계는 상기 검출부가 상기 검사 이미지에 대해 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고, 복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 한다. In the step of generating the feature vector map, the detection unit derives a plurality of calculation results through an operation using a plurality of Gabor filters for the inspection image, and derives a plurality of results corresponding to each of the plurality of Gabor filters. It is characterized in that a feature vector map is generated by quantizing an operation result into a predetermined number of bands.

상기 가버(gabor) 필터는 수학식

Figure 112022017442523-pat00014
에 따라 생성되며, 상기
Figure 112022017442523-pat00015
는 커널의 너비이고, 상기
Figure 112022017442523-pat00016
는 커널의 방향성이고, 상기
Figure 112022017442523-pat00017
은 커널의 반복주기이고, 상기
Figure 112022017442523-pat00018
는 상기 가버 필터의 중간값이고, 상기
Figure 112022017442523-pat00019
는 상기 가버 필터의 가로세로의 비율이고, 상기 특징벡터지도를 생성하는 단계는 상기 검출부가 상기
Figure 112022017442523-pat00020
, 상기
Figure 112022017442523-pat00021
, 상기
Figure 112022017442523-pat00022
, 상기
Figure 112022017442523-pat00023
, 상기
Figure 112022017442523-pat00024
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 특징벡터지도를 생성하는 것을 특징으로 한다. The Gabor filter is expressed by Equation
Figure 112022017442523-pat00014
It is generated according to the above
Figure 112022017442523-pat00015
is the width of the kernel, and
Figure 112022017442523-pat00016
is the directionality of the kernel, and
Figure 112022017442523-pat00017
is the repetition period of the kernel, and
Figure 112022017442523-pat00018
is the median value of the Gabor filter, and
Figure 112022017442523-pat00019
Is the horizontal and vertical ratio of the Gabor filter, and in the step of generating the feature vector map, the detection unit
Figure 112022017442523-pat00020
, remind
Figure 112022017442523-pat00021
, remind
Figure 112022017442523-pat00022
, remind
Figure 112022017442523-pat00023
, remind
Figure 112022017442523-pat00024
Characterized in that a feature vector map is generated using a plurality of Gabor filters having at least one parameter different from each other.

상기 특징벡터지도를 생성하는 단계는 상기 검출부가 상기 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환하고, 변환된 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 한다. In the step of generating the feature vector map, the detection unit divides the inspection image into three channels including hue, saturation, and value, and Fourier transforms each of the three separated channels ( It is characterized in that a feature vector map is generated by transforming into a frequency domain through Fourier transform and quantizing the values of the transformed frequency domain into a predetermined number of bands.

상기 특징벡터지도를 생성하는 단계는 상기 검출부가 상기 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature) 채널을 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환하고, 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 한다. In the step of generating the feature vector map, the detection unit converts the inspection image into three channels including a Y channel, which is a component representing luminance, an I (In-phase) channel, and a Q (Quadrature) channel, which are components representing color difference. It is characterized by dividing into channels, transforming each of the three separated channels into a frequency domain through wavelet transform, and generating a feature vector map by quantizing values in the frequency domain into a predetermined number of bands.

상기 검사 이미지를 생성하는 단계는 상기 이미지처리부가 웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고, 생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사 이미지를 생성하는 것을 특징으로 한다. In the generating of the inspection image, the image processing unit generates a plurality of die images in order of rows and columns from the leftmost die among the plurality of dies located on the uppermost side based on the notch in the wafer image in which the wafer is photographed, It is characterized in that one or more inspection images having a predetermined standard are generated from the plurality of die images.

상기 방법은 학습부가 정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 하는 학습용 특징벡터지도를 마련하는 단계와, 상기 학습부가 학습용 특징벡터지도를 학습이 완료되지 않은 검출모델에 입력하는 단계와, 상기 검출모델이 복수의 컨벌루션계층을 통해 상기 학습용 특징벡터지도에 대해 상기 학습용 특징벡터지도의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 상기 학습용 특징벡터지도를 모사하는 학습용 모사특징벡터지도를 생성하는 단계와, 상기 학습부가 상기 학습용 특징벡터지도와 상기 학습용 모사특징벡터지도의 차이인 모사손실을 산출하고, 산출된 모사손실이 최소가 되도록 상기 검출모델의 파라미터를 수정하는 최적화를 수행하는 단계를 더 포함한다. The method includes a step in which a learning unit prepares a feature vector map for learning based on an inspection image including a plurality of die images in a steady state, and a step in which the learning unit inputs the feature vector map for learning to a detection model in which learning is not completed. And, the detection model performs a plurality of convolution operations to generate a feature map having the same size as the size of the learning feature vector map for the learning feature vector map through a plurality of convolution layers to mimic the learning feature vector map Generating a simulated feature vector map for learning, wherein the learning unit calculates a simulation loss, which is a difference between the learning feature vector map and the simulated feature vector map for learning, and modifies the parameters of the detection model so that the calculated simulation loss is minimized. It further includes the step of performing optimization.

상기 방법은 상기 학습부가 정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 하는 복수의 검증용 특징벡터지도를 검출모델에 입력하는 단계와, 상기 검출모델이 복수의 검증용 특징벡터지도를 모사하는 복수의 검증용 모사특징벡터지도를 생성하는 단계와, 상기 학습부가 상기 복수의 검증용 특징벡터지도와 상기 복수의 검증용 모사특징벡터지도의 차이인 복수의 검증손실을 산출한 후, 수학식

Figure 112022017442523-pat00025
에 따라 상기 기준치를 산출하는 단계를 더 포함한다. 여기서, 상기 S는 기준치이고, 상기 A는 복수의 검증용 특징벡터지도와 복수의 검증용 특징벡터지도에 대응하는 복수의 검증용 모사특징벡터지도 간의 검증손실의 평균이고, 상기 C는 상기 복수의 검증용 특징벡터지도와 상기 복수의 검증용 특징벡터지도에 대응하는 상기 검증용 모사특징벡터지도 간의 검증손실의 표준편차이고, 상기 B는 상기 검증손실의 표준편차에 대한 가중치인 것을 특징으로 한다. The method includes the step of inputting, by the learning unit, a plurality of feature vector maps for verification based on an inspection image including a plurality of die images in a steady state to a detection model; generating a plurality of simulated feature vector maps for verification; and after the learning unit calculates a plurality of verification losses, which are differences between the plurality of feature vector maps for verification and the plurality of simulated feature vector maps for verification, the learning unit calculates a plurality of verification losses. ceremony
Figure 112022017442523-pat00025
Further comprising calculating the reference value according to Here, S is a reference value, A is an average of verification losses between a plurality of feature vector maps for verification and a plurality of simulated feature vector maps for verification corresponding to the plurality of feature vector maps for verification, and C is the plurality of It is characterized in that the standard deviation of the verification loss between the feature vector map for verification and the simulated feature vector map for verification corresponding to the plurality of feature vector maps for verification, and the B is a weight for the standard deviation of the verification loss.

상기 최적화를 수행하는 단계는 상기 학습부가 수학식

Figure 112022017442523-pat00026
를 통해 상기 모사손실을 산출하며, 상기 Lp는 손실함수를 나타내고, 상기 i 및 상기 j는 상기 특징벡터지도 및 상기 모사특징벡터지도의 행 및 열을 나타내는 인덱스이고, 상기 N은 상기 특징벡터지도 및 상기 모사특징벡터지도의 원소의 수를 나타내고, 상기 gij는 특징벡터지도의 원소값이고, 상기 cij는 모사특징벡터지도의 원소값인 것을 특징으로 한다. The step of performing the optimization is performed by the learning unit using the equation
Figure 112022017442523-pat00026
The simulation loss is calculated through, Lp represents a loss function, i and j are indices representing rows and columns of the feature vector map and the simulated feature vector map, and N is the feature vector map and It is characterized in that the number of elements of the simulated feature vector map is represented, gij is an element value of the feature vector map, and cij is an element value of the simulated feature vector map.

상기 검출모델은 복수의 컨벌루션계층을 포함하며, 상기 모사특징벡터지도를 생성하는 단계는 상기 복수의 컨벌루션계층이 상기 특징벡터지도에 대해 상기 특징벡터지도의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 상기 모사특징벡터지도를 생성하는 것을 특징으로 한다. The detection model includes a plurality of convolution layers, and the generating of the simulated feature vector map includes generating a feature map having the same size as the feature vector map with respect to the feature vector map by the plurality of convolution layers. Characterized in that the simulated feature vector map is generated by performing a convolution operation of .

상기 모사특징벡터지도를 생성하는 단계는 상기 복수의 컨벌루션계층 각각이 학습된 가중치 행렬로 이루어진 필터를 이용하고, 특징지도에 제로 패딩을 적용하여 컨벌루션 연산을 수행하는 것을 특징으로 한다. The step of generating the simulated feature vector map is characterized in that each of the plurality of convolution layers uses a filter composed of learned weight matrices and performs a convolution operation by applying zero padding to the feature map.

본 발명에 따르면 특징검출필터를 이용함으로써, 치수 측정 검사나 미세한 이물 검사에서 조명의 변화, 주변 부품에 의한 일부 가려짐, 원근에 의한 이미지 변형에도 높은 정확도의 비전 검사 결과를 제공할 수 있다. According to the present invention, by using the feature detection filter, it is possible to provide highly accurate vision inspection results even in the case of a change in lighting, partial occlusion by peripheral parts, and image distortion due to perspective in a dimension measurement inspection or fine foreign object inspection.

도 1은 본 발명의 실시예에 따른 오토인코더를 이용한 비전 검사를 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 웨이퍼를 촬영한 웨이퍼 이미지를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 다이 이미지 및 검사 이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 불량 다이가 촬영된 다이 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 특징검출필터 중 가버 필터를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 특징검출필터 중 가버 필터를 설명하기 위한 도면이다.
도 7 내지 도 9는 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 구성을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 비전 검사를 위한 검출모델을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 실시예에 따른 오토인코더를 이용한 비전 검사를 위한 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 1 is a diagram for explaining the configuration of a device for vision inspection using an autoencoder according to an embodiment of the present invention.
2 is a view for explaining a wafer image obtained by taking a wafer according to an embodiment of the present invention.
3 is a diagram for explaining a die image and an inspection image according to an embodiment of the present invention.
4 is a diagram for explaining a die image in which a defective die is photographed according to an embodiment of the present invention.
5 is a diagram for explaining a Gabor filter among feature detection filters according to an embodiment of the present invention.
6 is a diagram for explaining a Gabor filter among feature detection filters according to an embodiment of the present invention.
7 to 9 are views for explaining the configuration of a detection model for vision inspection according to an embodiment of the present invention.
10 is a flowchart illustrating a method of learning a detection model for vision examination according to an embodiment of the present invention.
11 is a flowchart illustrating a method for vision inspection using an autoencoder according to an embodiment of the present invention.
12 is a diagram illustrating a computing device according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in this specification and claims described below should not be construed as being limited to a common or dictionary meaning, and the inventors should use their own invention in the best way. It should be interpreted as a meaning and concept corresponding to the technical idea of the present invention based on the principle that it can be properly defined as a concept of a term for explanation. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention, so various equivalents that can replace them at the time of the present application. It should be understood that there may be water and variations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. At this time, it should be noted that the same components in the accompanying drawings are indicated by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size.

먼저, 본 발명의 실시예에 따른 오토인코더를 이용한 비전 검사를 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 오토인코더를 이용한 비전 검사를 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 웨이퍼를 촬영한 웨이퍼 이미지를 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 다이 이미지 및 검사 이미지를 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른 불량 다이가 촬영된 다이 이미지를 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 특징검출필터를 통해 특징벡터지도를 생성하는 방법을 설명하기 위한 도면이다. 도 6은 본 발명의 실시예에 따른 특징검출필터 중 가버 필터를 설명하기 위한 도면이다. 도 7 내지 도 9는 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 구성을 설명하기 위한 도면이다. First, an apparatus for vision inspection using an autoencoder according to an embodiment of the present invention will be described. 1 is a diagram for explaining the configuration of a device for vision inspection using an autoencoder according to an embodiment of the present invention. 2 is a view for explaining a wafer image obtained by taking a wafer according to an embodiment of the present invention. 3 is a diagram for explaining a die image and an inspection image according to an embodiment of the present invention. 4 is a diagram for explaining a die image in which a defective die is photographed according to an embodiment of the present invention. 5 is a diagram for explaining a method of generating a feature vector map through a feature detection filter according to an embodiment of the present invention. 6 is a diagram for explaining a Gabor filter among feature detection filters according to an embodiment of the present invention. 7 to 9 are views for explaining the configuration of a detection model for vision inspection according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 오토인코더를 이용한 비전 검사를 위한 장치(10, 이하, '비전검사장치'로 칭함)는 학습부(100), 카메라부(200), 이미지처리부(300) 및 검출부(400)를 포함한다. Referring to FIG. 1, an apparatus for vision inspection using an autoencoder according to an embodiment of the present invention (hereinafter referred to as 'vision inspection device') includes a learning unit 100, a camera unit 200, and an image processing unit. (300) and a detection unit (400).

학습부(100)는 검출모델(DM)을 학습시키기 위한 것이다. 검출모델(DM)은 인공신경망이며, 오토인코더(AE: Auto-Encode)가 될 수 있다. 이러한 학습부(100)의 학습 방법에 대해서는 아래에서 더 상세하게 설명하기로 한다. The learning unit 100 is for learning the detection model DM. The detection model (DM) is an artificial neural network and may be an auto-encoder (AE: Auto-Encode). The learning method of the learning unit 100 will be described in more detail below.

카메라부(200)는 웨이퍼를 촬영하여 웨이퍼 이미지를 생성하기 위한 것이다. 이러한 웨이퍼 이미지의 일례를 도 2에 도시하였다. 도시된 바와 같이, 웨이퍼 상에 복수의 다이가 존재하며, 복수의 다이는 스크라이브 라인을 통해 구분된다. 본 발명의 실시예에 따르면, 카메라부(200)는 웨이퍼의 노치를 위쪽(12시 방향)으로 향하게 하고, 플랫 존을 아래 방향으로 하여 촬영을 수행할 수 있다. The camera unit 200 is for generating a wafer image by photographing a wafer. An example of such a wafer image is shown in FIG. 2 . As shown, there are a plurality of dies on the wafer, and the plurality of dies are separated through scribe lines. According to an embodiment of the present invention, the camera unit 200 may perform photography by directing the notch of the wafer upward (towards the 12 o'clock direction) and downward by moving the flat zone.

이미지처리부(300) 도 3을 참조하면, 카메라부(200)로부터 웨이퍼를 촬영한 웨이퍼 이미지(W_img)를 수신하면, 수신된 웨이퍼 이미지(W_img)에 포함된 복수의 다이를 각 다이 별로 구분하여 복수의 다이 이미지(D_img, 1~30)를 생성한다. 도 4에 도시된 제1 내지 제4 다이 이미지(D_img1~D_img4)는 불량 상태의 다이를 촬영한 다이 이미지의 예들을 보인다. 그리고 이미지처리부(300)는 생성된 복수의 다이 이미지(D_img, 1~30)를 정렬하여 하나 이상의 검사 이미지(img1, img2)를 생성한다. 이때, 이미지처리부(300)는 도 2 및 도 3에 도시된 바와 같이, 웨이퍼 이미지(W_img)에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지(D_img, 1~30)를 생성한다. 그런 다음, 이미지처리부(300)는 도 3에 도시된 바와 같이, 복수의 다이 이미지(D_img, 1~30)를 기 설정된 규격(예컨대, 4*4)의 하나 이상의 검사 이미지(img1, img2)를 생성한다. 이때, 제2 검사이미지(img2)와 같이, 기 설정된 규격에서 다이 이미지가 부족한 경우, 부족한 부분은 검정색 이미지(B)로 채워 넣는다. Referring to FIG. 3 , the image processing unit 300, when receiving a wafer image W_img photographing a wafer from the camera unit 200, classifies a plurality of dies included in the received wafer image W_img for each die, and A die image (D_img, 1 to 30) of is created. The first to fourth die images D_img1 to D_img4 shown in FIG. 4 show examples of die images obtained by photographing a die in a defective state. Further, the image processing unit 300 aligns the generated plurality of die images D_img (1 to 30) to generate one or more inspection images img1 and img2. At this time, as shown in FIGS. 2 and 3 , the image processing unit 300 processes a plurality of dies in the order of rows and columns from the leftmost die among the plurality of dies located on the uppermost side with respect to the notch in the wafer image W_img, as shown in FIGS. 2 and 3 . A die image (D_img, 1 to 30) is created. Then, as shown in FIG. 3, the image processing unit 300 converts the plurality of die images D_img (1 to 30) into one or more inspection images (img1, img2) of a preset standard (eg, 4*4). generate At this time, as in the second inspection image img2, when the die image is insufficient in a predetermined standard, the missing part is filled with a black image (B).

검출부(400)는 검사 이미지에 대해 적어도 하나의 특징검출필터(F1 내지 Fm)를 이용하여 검사 이미지(예컨대, img1, img2)의 특징을 나타내는 특징벡터지도(FVM: Feature Vector Map)를 생성한다. 도 5를 참조하면, 특징벡터지도(FVM)는 기 설정된 규격의 행과 열로 이루어진 벡터행렬이며, 검출부(400)는 검사 이미지(img)에 대해 적어도 하나의 특징검출필터(F1 내지 Fm)를 이용한 픽셀 단위의 연산을 통해 연산 결과를 도출하고, 도출된 연산 결과를 순차로 벡터행렬의 원소에 대입하여 특징벡터지도(FVM)를 생성한다. The detection unit 400 generates a Feature Vector Map (FVM) representing features of the inspection image (eg, img1 and img2) by using at least one feature detection filter (F1 to Fm) for the inspection image. Referring to FIG. 5, the feature vector map (FVM) is a vector matrix composed of rows and columns of a predetermined standard, and the detection unit 400 uses at least one feature detection filter (F1 to Fm) for the inspection image (img). An operation result is derived through pixel unit operation, and a feature vector map (FVM) is generated by sequentially substituting the derived operation result into elements of a vector matrix.

제1 실시예에 따르면, 검출부(400)는 제1 필터를 이용한 연산을 통해 특징벡터지도(FVM)를 생성할 수 있다. 이러한 제1 필터는 이미지 계수 필터가 될 수 있다. 보다 구체적으로 설명하면, 검출부(400)는 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고, 분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후, 주파수 대역으로 변환된 서브 블록 각각을 양자화하여 특징벡터지도(FVM)를 생성할 수 있다. According to the first embodiment, the detection unit 400 may generate a feature vector map (FVM) through an operation using a first filter. This first filter may be an image coefficient filter. More specifically, the detection unit 400 divides the inspection image into a plurality of square sub-blocks, performs discrete cosine transform (DCT) on each of the divided sub-blocks, and converts them into frequency bands. After that, a feature vector map (FVM) may be generated by quantizing each of the subblocks converted into frequency bands.

제2 실시예에 따르면, 검출부(400)는 제2 필터를 이용한 연산을 통해 특징벡터지도(FVM)를 생성할 수 있다. 이러한 제2 필터는 가버(gabor) 필터가 될 수 있다. 보다 구체적으로 설명하면, 검출부(400)는 검사 이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고, 복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 특징벡터지도(FVM)를 생성할 수 있다. 여기서, 가버(gabor) 필터는 다음의 수학식 1에 따라 생성된다. According to the second embodiment, the detection unit 400 may generate a feature vector map (FVM) through an operation using a second filter. This second filter may be a Gabor filter. More specifically, the detection unit 400 derives a plurality of calculation results through an operation using a plurality of Gabor filters generated according to different parameters for the inspection image, and each of the plurality of Gabor filters A feature vector map (FVM) may be generated by quantizing the derived operation result corresponding to a predetermined number of bands. Here, a gabor filter is generated according to Equation 1 below.

Figure 112022017442523-pat00027
Figure 112022017442523-pat00027

여기서, x, y는 가버 필터의 좌표를 나타낸다. 도 6의 (A)를 참조하면,

Figure 112022017442523-pat00028
는 가버 필터에서 커널(Kernel)의 너비를 나타낸다. 여기서,
Figure 112022017442523-pat00029
=5, 10, 15인 경우가 도시되었다. 도 6의 (B)를 참조하면,
Figure 112022017442523-pat00030
는 가버 필터에서 커널의 방향성을 나타낸다. 여기서,
Figure 112022017442523-pat00031
=
Figure 112022017442523-pat00032
/4,
Figure 112022017442523-pat00033
/2,
Figure 112022017442523-pat00034
(0)가 사용된 예가 도시되었다. 도 6의 (C)를 참조하면,
Figure 112022017442523-pat00035
은 가버 필터에서 커널의 반복주기를 나타낸다. 여기서,
Figure 112022017442523-pat00036
=
Figure 112022017442523-pat00037
/4,
Figure 112022017442523-pat00038
/2,
Figure 112022017442523-pat00039
가 사용된 예가 도시되었다. 도 6의 (D)를 참조하면,
Figure 112022017442523-pat00040
는 가버 필터에서 필터의 중간값(혹은 중심 주파수)을 나타내며,
Figure 112022017442523-pat00041
=0,
Figure 112022017442523-pat00042
/2,
Figure 112022017442523-pat00043
가 사용된 예가 도시되었다.
Figure 112022017442523-pat00044
는 가버 필터에서 필터의 가로세로의 비율이며,
Figure 112022017442523-pat00045
=1, 1/2을 사용한 예가 도시되었다. 즉, 제2 실시예에 따르면, 검출부(400)는 파라미터
Figure 112022017442523-pat00046
,
Figure 112022017442523-pat00047
,
Figure 112022017442523-pat00048
,
Figure 112022017442523-pat00049
및
Figure 112022017442523-pat00050
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 특징벡터지도(FVM)를 생성한다. Here, x and y represent the coordinates of the Gabor filter. Referring to (A) of FIG. 6,
Figure 112022017442523-pat00028
represents the width of the kernel in the Gabor filter. here,
Figure 112022017442523-pat00029
= 5, 10, and 15 are shown. Referring to (B) of Figure 6,
Figure 112022017442523-pat00030
represents the directionality of the kernel in the Gabor filter. here,
Figure 112022017442523-pat00031
=
Figure 112022017442523-pat00032
/4,
Figure 112022017442523-pat00033
/2,
Figure 112022017442523-pat00034
An example in which (0) is used is shown. Referring to (C) of Figure 6,
Figure 112022017442523-pat00035
represents the iteration period of the kernel in the Gabor filter. here,
Figure 112022017442523-pat00036
=
Figure 112022017442523-pat00037
/4,
Figure 112022017442523-pat00038
/2,
Figure 112022017442523-pat00039
An example in which is used is shown. Referring to (D) of FIG. 6,
Figure 112022017442523-pat00040
Represents the median value (or center frequency) of the filter in the Gabor filter,
Figure 112022017442523-pat00041
=0,
Figure 112022017442523-pat00042
/2,
Figure 112022017442523-pat00043
An example in which is used is shown.
Figure 112022017442523-pat00044
is the aspect ratio of the filter in the Gabor filter,
Figure 112022017442523-pat00045
An example using =1, 1/2 is shown. That is, according to the second embodiment, the detection unit 400 parameters
Figure 112022017442523-pat00046
,
Figure 112022017442523-pat00047
,
Figure 112022017442523-pat00048
,
Figure 112022017442523-pat00049
and
Figure 112022017442523-pat00050
A feature vector map (FVM) is generated by using a plurality of Gabor filters having at least one parameter different among them.

제3 실시예에 따르면, 검출부(400)는 제3 필터를 이용한 연산을 통해 특징벡터지도(FVM)를 생성할 수 있다. 이러한 제3 필터는 색상 분할(Color Segmentation) 필터가 될 수 있다. 보다 구체적으로 설명하면, 검출부(400)는 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환한 후, 주파수 영역의 값을 소정 개수의 대역(예컨대, 10개의 대역)으로 양자화하여 특징벡터지도(FVM)를 생성할 수 있다. According to the third embodiment, the detection unit 400 may generate a feature vector map (FVM) through an operation using a third filter. This third filter may be a color segmentation filter. More specifically, the detection unit 400 divides the inspection image into three channels including Hue, Saturation, and Value, and Fourier transforms each of the three divided channels. After transforming into the frequency domain through ), a feature vector map (FVM) can be generated by quantizing the value of the frequency domain into a predetermined number of bands (eg, 10 bands).

제4 실시예에 따르면, 검출부(400)는 제4 필터를 이용한 연산을 통해 특징벡터지도(FVM)를 생성할 수 있다. 이러한 제4 필터는 텍스처 분할(Texture Segmentation) 필터가 될 수 있다. 보다 구체적으로 설명하면, 검출부(400)는 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature) 채널을 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환한 후, 주파수 영역의 값을 소정 개수의 대역(예컨대, 10개의 대역)으로 양자화하여 특징벡터지도(FVM)를 생성할 수 있다. According to the fourth embodiment, the detection unit 400 may generate a feature vector map (FVM) through an operation using a fourth filter. This fourth filter may be a texture segmentation filter. More specifically, the detection unit 400 divides the inspection image into three channels including a Y channel, which is a component representing luminance, an I (In-phase) channel, and a Q (Quadrature) channel, which are components representing color difference. After classifying and transforming each of the three separated channels into a frequency domain through wavelet transform, the value of the frequency domain is quantized into a predetermined number of bands (eg, 10 bands) to obtain a feature vector map (FVM) can create

도 5에 도시된 바와 같이, 검출부(400)는 검사 이미지(img)에 대해 전술한 제1 내지 제4 실시예에 중 적어도 하나에 따른 복수의 특징검출필터(F1 내지 Fm)를 이용하여 특징벡터지도(FVM)를 생성할 수 있다. As shown in FIG. 5 , the detection unit 400 uses a plurality of feature detection filters F1 to Fm according to at least one of the above-described first to fourth embodiments for the inspection image img to detect feature vectors. You can create a map (FVM).

특징벡터지도(FVM)가 생성되면, 검출부(400)는 검출모델(DM)을 통해 특징벡터지도를 분석하여 불량이 발생한 다이를 검출한다. 이를 위하여, 검출모델(DM)은 도 7에 도시된 바와 같이, 특징벡터지도(FVM)가 입력되면, 특징벡터지도(FVM)를 모사하여 모사특징벡터지도(PFVM)를 생성한다. 그러면, 검출부(400)는 특징벡터지도(FVM)와 모사특징벡터지도(PFVM)와의 차이를 나타내는 모사손실를 산출한 후, 산출된 모사손실이 기 산출된 기준치 이상인지 여부에 따라 다이의 불량 여부를 검출한다. When the feature vector map (FVM) is generated, the detection unit 400 analyzes the feature vector map through the detection model (DM) to detect a die with defects. To this end, as shown in FIG. 7, the detection model (DM) generates a simulated feature vector map (PFVM) by simulating the feature vector map (FVM) when the feature vector map (FVM) is input. Then, the detection unit 400 calculates the simulation loss representing the difference between the feature vector map (FVM) and the simulated feature vector map (PFVM), and determines whether the die is defective according to whether the calculated simulation loss is equal to or greater than the previously calculated reference value. detect

도 8을 참조하면, 본 발명의 실시예에 따른 검출모델(DM)은 입력계층(IL), 은닉계층(HL)인 복수의 컨벌루션계층(Convolution Layer, CL: CL1 내지 CLn) 및 출력층(OL)을 포함한다. 즉, 검출모델(DM)의 은닉계층(HL)은 특징벡터지도(FVM)와 동일한 규격(행ㅧ열)을 가지는 특징지도(FM: Feature Map)로 이루어진 컨벌루션계층(CL)으로만 이루어진다. 입력계층(IL)은 입력 버퍼의 역할을 수행하며, 특징벡터지도(FVM)를 입력 받는다. 복수의 컨벌루션계층(CL: CL1 내지 CLn) 각각은 입력되는 특징벡터지도(FVM) 혹은 이전 컨벌루션계층(CLn-1)의 특징지도(FM: Feature Map)에 대해 컨벌루션 연산을 수행하여 스케치 이미지의 크기와 동일한 크기의 특징지도(FM)를 생성한다. 즉, 복수의 컨벌루션계층(CL: CL1 내지 CLn)은 특징벡터지도(FVM)에 대해 특징벡터지도(FVM)의 크기와 동일한 크기의 특징지도(FM)를 생성하는 복수의 컨벌루션 연산을 수행하여 모사특징벡터지도(PFVM)를 생성한다. 출력계층(OL)은 출력 버퍼의 역할을 수행하며, 생성된 모사특징벡터지도(PFVM)를 출력한다. Referring to FIG. 8, the detection model (DM) according to an embodiment of the present invention includes an input layer (IL), a plurality of convolution layers (CL: CL1 to CLn) that are a hidden layer (HL), and an output layer (OL) includes That is, the hidden layer (HL) of the detection model (DM) consists of only the convolutional layer (CL) consisting of a feature map (FM) having the same standard (rows and columns) as the feature vector map (FVM). The input layer (IL) serves as an input buffer and receives a feature vector map (FVM). Each of the plurality of convolution layers (CL: CL1 to CLn) performs a convolution operation on the input feature vector map (FVM) or the feature map (FM: Feature Map) of the previous convolution layer (CLn-1) to size the sketch image. Create a feature map (FM) of the same size as That is, the plurality of convolution layers (CL: CL1 to CLn) perform a plurality of convolution operations to generate a feature map (FM) having the same size as the size of the feature vector map (FVM) on the feature vector map (FVM) to simulate the simulation. Create a feature vector map (PFVM). The output layer (OL) serves as an output buffer and outputs the generated simulated feature vector map (PFVM).

특히, 도 9를 참조하면, 검출모델(DM)의 복수의 컨벌루션계층(CL: CL1 내지 CLn)은 컨벌루션 연산 시, 사용되는 필터(혹은 커널, FT)는 정방 크기(예컨대, 3x3 크기)의 필터(FT)를 사용하며, 1x1 제로 패딩(zero padding, ZP)을 특징지도(FM)에 적용한다. 이에 따라, 검출모델(DM)에 입력되는 특징벡터지도(FVM)의 크기(너비와 높이)는 복수의 특징지도(FM)를 거쳐 모사특징벡터지도(PFVM)로 출력될 때까지 유지된다. In particular, referring to FIG. 9, a plurality of convolution layers (CL: CL1 to CLn) of the detection model (DM) is a filter (or kernel, FT) used in convolution operation is a filter of square size (eg, 3x3 size) (FT) is used, and 1x1 zero padding (ZP) is applied to the feature map (FM). Accordingly, the size (width and height) of the feature vector map (FVM) input to the detection model (DM) is maintained until it is output as a simulated feature vector map (PFVM) through a plurality of feature maps (FM).

검출부(400)는 특징벡터지도(FVM)를 생성한 후, 학습이 완료된 검출모델(DM)을 통해 특징벡터지도(FVM)를 모사하는 모사특징벡터지도(PFVM)를 도출한다. 이를 위하여, 검출부(400)는 검출모델(DM)에 특징벡터지도(FVM)를 입력한다. 그러면, 검출모델(DM)의 복수의 컨벌루션계층은 입력된 특징벡터지도(FVM)에 대해 입력된 특징벡터지도(FVM)의 크기와 동일한 크기의 특징지도(FM)를 생성하는 복수의 컨벌루션 연산을 수행하여 모사특징벡터지도(PFVM)를 생성한다. 즉, 도 9에 도시된 바와 같이, 복수의 컨벌루션계층 각각은 학습된 가중치 행렬로 이루어진 필터(FT)를 이용하고, 특징지도(FM)에 제로 패딩(ZP)을 적용하여 컨벌루션 연산을 수행한다. After generating the feature vector map (FVM), the detection unit 400 derives a simulated feature vector map (PFVM) that simulates the feature vector map (FVM) through the learning-completed detection model (DM). To this end, the detection unit 400 inputs the feature vector map (FVM) to the detection model (DM). Then, the plurality of convolution layers of the detection model (DM) perform a plurality of convolutional operations for generating a feature map (FM) having the same size as the size of the input feature vector map (FVM) for the input feature vector map (FVM). to generate a simulated feature vector map (PFVM). That is, as shown in FIG. 9, each of the plurality of convolution layers uses a filter (FT) composed of a learned weight matrix, and performs a convolution operation by applying zero padding (ZP) to a feature map (FM).

다음으로, 본 발명의 실시예에 따른 비전 검사를 위한 검출모델(DM)을 학습시키는 방법에 대해서 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 비전 검사를 위한 검출모델을 학습시키는 방법을 설명하기 위한 흐름도이다. Next, a method for learning a detection model (DM) for vision inspection according to an embodiment of the present invention will be described. 10 is a flowchart illustrating a method of learning a detection model for vision examination according to an embodiment of the present invention.

도 10을 참조하면, 학습부(100)는 S110 단계에서 학습용 특징벡터지도 및 검증용 특징벡터지도를 포함하는 학습 데이터를 마련한다. 이러한 학습 데이터는 정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 생성된다. 즉, 정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지에 대해 적어도 하나의 특징검출필터(F1 내지 Fm)를 이용한 픽셀 단위의 연산을 통해 연산 결과를 도출하고, 도출된 연산 결과를 순차로 벡터행렬의 원소에 대입하여 학습용 및 검증용 특징벡터지도(FVM)를 생성한다. Referring to FIG. 10 , the learning unit 100 prepares learning data including a feature vector map for learning and a feature vector map for verification in step S110. Such learning data is generated based on an inspection image including a plurality of images of dies in a steady state. That is, calculation results are derived through pixel-unit calculation using at least one feature detection filter (F1 to Fm) for an inspection image including a plurality of die images in a normal state, and the derived calculation results are sequentially formed into a vector matrix. By substituting the elements of , a feature vector map (FVM) for learning and verification is created.

전술한 바와 같이, 학습 데이터가 마련되면, 학습부(200)는 S120 단계에서 학습이 완료되지 않은 파라미터를 가지는 검출모델(DM)에 학습용 특징벡터지도(FVM)를 입력한다. As described above, when the learning data is prepared, the learning unit 200 inputs the feature vector map (FVM) for learning to the detection model (DM) having parameters for which learning has not been completed in step S120.

그러면, 검출모델(DM)의 복수의 컨벌루션계층(CL: CL1 내지 CLn)은 S130 단계에서 학습용 특징벡터지도(FVM)에 대해 학습용 특징벡터지도(FVM)의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 학습용 모사특징벡터지도(PFVM)를 생성한다. Then, the plurality of convolution layers (CL: CL1 to CLn) of the detection model (DM) generate a feature map of the same size as the size of the feature vector map (FVM) for learning in step S130. A plurality of convolutional operations are performed to generate a simulated feature vector map (PFVM) for learning.

학습부(200)는 S140 단계에서 도 7에 도시된 바와 같이, 손실함수를 통해 학습용 모사특징벡터지도(PFVM)와 학습용 특징벡터지도(FVM)의 차이를 나타내는 모사손실(loss)을 산출한다. 여기서 손실함수는 다음의 수학식 2와 같다. As shown in FIG. 7 in step S140, the learning unit 200 calculates a simulation loss representing the difference between the simulated feature vector map (PFVM) and the feature vector map (FVM) for learning through a loss function. Here, the loss function is as shown in Equation 2 below.

Figure 112022017442523-pat00051
Figure 112022017442523-pat00051

수학식 2에서, Lp은 손실함수 혹은 모사손실을 나타낸다. i 및 j는 특징벡터지도(FVM) 및 모사특징벡터지도(PFVM)의 행 및 열을 나타내는 인덱스이고, N은 특징벡터지도(FVM) 및 모사특징벡터지도(PFVM)의 원소의 수를 나타낸다. gij는 특징벡터지도(FVM)의 원소값이고, cij는 모사특징벡터지도(PFVM)의 원소값이다. In Equation 2, Lp represents a loss function or simulated loss. i and j are indices representing rows and columns of the feature vector map (FVM) and the simulated feature vector map (PFVM), and N represents the number of elements of the feature vector map (FVM) and the simulated feature vector map (PFVM). gij is an element value of the feature vector map (FVM), and cij is an element value of the simulated feature vector map (PFVM).

그런 다음, 학습부(200)는 S150 단계에서 소정의 최적화 알고리즘을 이용하여 모사손실이 최소가 되도록 검출모델(DM)의 학습되지 않은 파라미터를 수정하는 최적화를 수행한다. Then, in step S150, the learning unit 200 performs optimization of modifying unlearned parameters of the detection model DM so that simulation loss is minimized using a predetermined optimization algorithm.

학습부(200)는 S160 단계에서 기 설정된 종료 조건을 만족하는지 여부를 판별한다. 종료 조건은 모사손실이 기 설정된 기준치 미만인 경우 및 모사손실이 줄어들다가 다시 증가하는 경우 중 적어도 하나를 포함한다. S170 단계의 판별 결과, 종료 조건을 만족하지 않으면, 서로 다른 학습용 특징벡터지도를 이용하여 전술한 S120 단계 내지 S160 단계를 반복한다. 반면, S160 단계의 판별 결과, 종료 조건을 만족하면, S170 단계에서 학습을 종료한다. 이에 따라, 검출모델(DM)이 완성된다. The learning unit 200 determines whether or not a preset end condition is satisfied in step S160. The termination condition includes at least one of a case where the simulation loss is less than a preset reference value and a case where the simulation loss decreases and then increases again. As a result of the determination in step S170, if the end condition is not satisfied, steps S120 to S160 are repeated using different learning feature vector maps. On the other hand, as a result of the determination in step S160, if the termination condition is satisfied, learning ends in step S170. Accordingly, the detection model DM is completed.

학습이 완료되면, 학습부(100)는 S180 단계에서 복수의 검증용 특징벡터지도를 이용하여 검증손실을 산출한다. 즉, 학습부(100)는 정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 하는 복수의 검증용 특징벡터지도를 학습이 완료된 검출모델(DM)에 입력한다. 그러면, 검출모델(DM)의 복수의 컨벌루션계층(CL: CL1 내지 CLn)이 검증용 특징벡터지도(FVM)에 대해 검증용 특징벡터지도(FVM)의 크기와 동일한 크기의 특징지도(FM)를 생성하는 복수의 컨벌루션 연산을 수행하여 검증용 모사특징벡터지도(PFVM)를 생성한다. 이와 같이, 검출모델(DM)이 입력된 복수의 검증용 특징벡터지도를 모사하는 복수의 검증용 모사특징벡터지도를 생성하면, 학습부(100)는 손실함수(수학식 2)를 이용하여 복수의 검증용 특징벡터지도와 복수의 검증용 모사특징벡터지도의 차이인 복수의 검증손실을 산출한다. When learning is completed, the learning unit 100 calculates a verification loss using a plurality of feature vector maps for verification in step S180. That is, the learning unit 100 inputs a plurality of feature vector maps for verification based on an inspection image including a plurality of die images in a steady state to the learning-completed detection model DM. Then, the plurality of convolutional layers (CL: CL1 to CLn) of the detection model (DM) generate a feature map (FM) of the same size as the size of the feature vector map (FVM) for verification with respect to the feature vector map (FVM) for verification. A plurality of convolution operations are performed to generate a simulated feature vector map (PFVM) for verification. In this way, when the detection model (DM) generates a plurality of simulated feature vector maps for verification that simulate a plurality of input feature vector maps for verification, the learning unit 100 uses a loss function (Equation 2) to generate a plurality of simulated feature vector maps for verification. Calculate a plurality of verification losses, which are differences between the feature vector map for verification and the plurality of simulated feature vector maps for verification.

이어서, 학습부(100)는 S190 단계에서 복수의 검증손실을 기초로 검출모델(DM)의 기준치를 산출한다. 이때, 학습부(100)는 다음의 수학식 3에 따라 기준치를 산출할 수 있다. Subsequently, the learning unit 100 calculates a reference value of the detection model DM based on a plurality of verification losses in step S190. At this time, the learning unit 100 may calculate a reference value according to Equation 3 below.

Figure 112022017442523-pat00052
Figure 112022017442523-pat00052

여기서, S는 기준치를 의미하며, A는 복수의 검증용 특징벡터지도와 복수의 검증용 특징벡터지도에 대응하는 복수의 검증용 모사특징벡터지도 간의 검증손실의 평균을 나타낸다. 또한, C는 복수의 검증용 특징벡터지도와 복수의 검증용 특징벡터지도에 대응하는 검증용 모사특징벡터지도 간의 모사손실의 표준편차이다. 그리고 B는 검증손실의 표준편차에 대한 가중치이다. Here, S denotes a reference value, and A denotes an average of verification losses between a plurality of feature vector maps for verification and a plurality of simulated feature vector maps for verification corresponding to the plurality of feature vector maps for verification. In addition, C is the standard deviation of the simulation loss between the plurality of feature vector maps for verification and the simulated feature vector maps for verification corresponding to the plurality of feature vector maps for verification. And B is the weight for the standard deviation of the validation loss.

다음으로, 본 발명의 실시예에 따른 오토인코더를 이용한 비전 검사를 위한 방법에 대해서 설명하기로 한다. 도 11은 본 발명의 실시예에 따른 오토인코더를 이용한 비전 검사를 위한 방법을 설명하기 위한 흐름도이다. Next, a method for vision inspection using an autoencoder according to an embodiment of the present invention will be described. 11 is a flowchart illustrating a method for vision inspection using an autoencoder according to an embodiment of the present invention.

도 11을 참조하면, 카메라부(200)는 S210 단계에서 웨이퍼를 촬영한 웨이퍼 이미지를 생성한다. 그러면, 이미지처리부(300)는 카메라부(200)로부터 웨이퍼 이미지를 수신하고, S220 단계에서 수신된 웨이퍼 이미지에 포함된 복수의 다이를 각 다이 별로 구분하여 복수의 다이 이미지를 생성하고, 생성된 복수의 다이 이미지를 정렬하여 하나 이상의 검사 이미지를 생성한다. 이때, 이미지처리부(300)는 도 2 및 도 3에 도시된 바와 같이, 웨이퍼 이미지(W_img)에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지(D_img, 1~30)를 생성한다. 그런 다음, 이미지처리부(300)는 도 3에 도시된 바와 같이, 복수의 다이 이미지(D_img, 1~30)를 기 설정된 규격(예컨대, 4*4)의 하나 이상의 검사 이미지(img1, img2)를 생성한다. 이때, 제2 검사이미지(img2)와 같이, 기 설정된 규격에서 다이 이미지가 부족한 경우, 부족한 부분은 검정색 이미지(B)로 채워 넣는다. Referring to FIG. 11 , the camera unit 200 generates a wafer image by photographing the wafer in step S210. Then, the image processing unit 300 receives the wafer image from the camera unit 200, classifies the plurality of dies included in the wafer image received in step S220 for each die, generates a plurality of die images, and generates a plurality of die images. Align the die images of the die to create one or more inspection images. At this time, as shown in FIGS. 2 and 3 , the image processing unit 300 processes a plurality of dies in the order of rows and columns from the leftmost die among the plurality of dies located on the uppermost side with respect to the notch in the wafer image W_img, as shown in FIGS. 2 and 3 . A die image (D_img, 1 to 30) is created. Then, as shown in FIG. 3, the image processing unit 300 converts the plurality of die images D_img (1 to 30) into one or more inspection images (img1, img2) of a preset standard (eg, 4*4). generate At this time, as in the second inspection image img2, when the die image is insufficient in a predetermined standard, the missing part is filled with a black image (B).

다음으로, 검출부(400)는 S230 단계에서 검사 이미지에 대해 적어도 하나의 특징검출필터(F1 내지 Fm)를 이용하여 검사 이미지(예컨대, img1, img2)의 특징을 나타내는 특징벡터지도(FVM: Feature Vector Map)를 생성한다. 즉, 도 5에 도시된 바와 같이, 검출부(400)는 검사 이미지(img)에 대해 적어도 하나의 특징검출필터(F1 내지 Fm)를 이용한 픽셀 단위의 연산을 통해 연산 결과를 도출하고, 도출된 연산 결과를 기 설정된 규격의 행과 열로 이루어진 벡터행렬의 원소에 순차로 대입하여 특징벡터지도(FVM)를 생성한다. Next, the detection unit 400 uses at least one feature detection filter (F1 to Fm) for the inspection image in step S230 to perform a feature vector map (FVM) representing features of the inspection images (eg, img1 and img2). map) is created. That is, as shown in FIG. 5 , the detection unit 400 derives an operation result through pixel unit operation using at least one feature detection filter F1 to Fm for the inspection image img, and derives the operation result. A feature vector map (FVM) is generated by sequentially substituting the result into elements of a vector matrix composed of rows and columns of a predetermined standard.

제1 실시예에 따르면, 검출부(400)는 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고, 분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후, 주파수 대역으로 변환된 서브 블록 각각을 양자화하여 특징벡터지도(FVM)를 생성할 수 있다. According to the first embodiment, the detection unit 400 divides the inspection image into a plurality of square sub-blocks, and performs a discrete cosine transform (DCT) on each of the divided sub-blocks to obtain a frequency band. After transforming, a feature vector map (FVM) may be generated by quantizing each of the subblocks converted into frequency bands.

제2 실시예에 따르면, 검출부(400)는 검사 이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고, 복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 특징벡터지도(FVM)를 생성할 수 있다. According to the second embodiment, the detection unit 400 derives a plurality of calculation results through an operation using a plurality of Gabor filters generated according to different parameters for the inspection image, and a plurality of Gabor filters A feature vector map (FVM) may be generated by quantizing the derived calculation results corresponding to each of the derived operations into a predetermined number of bands.

제3 실시예에 따르면, 검출부(400)는 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환한 후, 주파수 영역의 값을 소정 개수의 대역(예컨대, 10개의 대역)으로 양자화하여 특징벡터지도(FVM)를 생성할 수 있다. According to the third embodiment, the detection unit 400 divides the inspection image into three channels including Hue, Saturation, and Value, and Fourier transforms each of the three divided channels. After transforming into a frequency domain through transform), a feature vector map (FVM) may be generated by quantizing values in the frequency domain into a predetermined number of bands (eg, 10 bands).

제4 실시예에 따르면, 검출부(400)는 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature) 채널을 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환한 후, 주파수 영역의 값을 소정 개수의 대역(예컨대, 10개의 대역)으로 양자화하여 특징벡터지도(FVM)를 생성할 수 있다. According to the fourth embodiment, the detection unit 400 converts the inspection image into three channels including a Y channel representing luminance, an in-phase (I) channel, and a quadrature (Q) channel representing color difference. , and each of the three separated channels is transformed into a frequency domain through wavelet transform, and then quantized the value of the frequency domain into a predetermined number of bands (eg, 10 bands) to perform a feature vector map (FVM). ) can be created.

특히, 검출부(400)는 S230 단계에서 도 5에 도시된 바와 같이, 검사 이미지(img)에 대해 전술한 제1 내지 제4 실시예에 중 적어도 하나에 따라 특징벡터지도를 생성할 수 있다. In particular, the detection unit 400 may generate a feature vector map for the inspection image img according to at least one of the first to fourth embodiments, as shown in FIG. 5 in step S230.

다음으로, 검출부(400)는 S240 단계에서 학습된 검출모델(DM)에 특징벡터지도(FVM)를 입력한다. Next, the detection unit 400 inputs the feature vector map (FVM) to the detection model (DM) learned in step S240.

그러면, 검출모델(DM)은 S250 단계에서 복수의 컨벌루션계층(CL: CL1 내지 CLn)을 통해 특징벡터지도(FVM)에 대해 특징벡터지도(FVM)의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 모사특징벡터지도(PFVM)를 생성한다. 이때, 즉, 도 9에 도시된 바와 같이, 검출모델(DM)의 복수의 컨벌루션계층(CL: CL1 내지 CLn) 각각은 학습된 가중치 행렬로 이루어진 필터(FT)를 이용하고 특징지도(FM)에 제로 패딩(ZP)을 적용하여 컨벌루션 연산을 수행하여 모사특징벡터지도(PFVM)를 생성할 수 있다. Then, the detection model (DM) generates a plurality of feature maps having the same size as the size of the feature vector map (FVM) for the feature vector map (FVM) through a plurality of convolution layers (CL: CL1 to CLn) in step S250. A simulated feature vector map (PFVM) is generated by performing the convolution operation of . At this time, that is, as shown in FIG. 9, each of the plurality of convolutional layers (CL: CL1 to CLn) of the detection model (DM) uses a filter (FT) composed of a learned weight matrix, and A simulated feature vector map (PFVM) may be generated by performing a convolution operation by applying zero padding (ZP).

이에 따라, 검출부(400)는 S260 단계에서 도 7에 도시된 바와 같이, 손실함수를 통해 학습용 모사특징벡터지도(PFVM)와 학습용 특징벡터지도(FVM)의 차이를 나타내는 모사손실(loss)을 산출한다. 검출부(400)는 수학식 2와 같은 손실함수를 이용하여 모사손실을 산출할 수 있다. Accordingly, the detection unit 400 calculates a loss representing the difference between the simulated feature vector map (PFVM) for learning and the feature vector map (FVM) for learning through a loss function, as shown in FIG. 7 in step S260. do. The detection unit 400 may calculate the simulated loss using a loss function such as Equation 2.

모사손실이 산출되면, 검출부(400)는 S270 단계에서 모사손실이 수학식 3에 따라 산출된 기준치와 비교하여 불량 여부를 검출한다. 이때, 검출부(400)는 모사손실이 기준치 미만이면, 검출모델(DM)에 입력된 특징벡터지도(FVM)의 기초가 되는 검사 이미지에 포함된 모든 다이에 불량이 없는 정상인 것으로 판단한다. 반면, 검출부(400)는 모사손실이 기준치 이상이면, 검출모델(DM)에 입력된 특징벡터지도(FVM)의 기초가 되는 검사 이미지에 포함된 적어도 하나의 다이에 불량이 있는 것으로 판단한다. When the simulation loss is calculated, the detection unit 400 compares the simulation loss with the reference value calculated according to Equation 3 in step S270 to detect whether or not the simulation loss is defective. At this time, if the simulation loss is less than the reference value, the detection unit 400 determines that all dies included in the inspection image that is the basis of the feature vector map (FVM) input to the detection model (DM) are normal without defects. On the other hand, the detection unit 400 determines that at least one die included in the inspection image that is the basis of the feature vector map (FVM) input to the detection model (DM) is defective if the simulation loss is greater than or equal to the reference value.

도 12는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 비전검사장치(10) 등) 일 수 있다. 12 is a diagram illustrating a computing device according to an embodiment of the present invention. The computing device TN100 may be a device described in this specification (eg, the vision inspection device 10, etc.).

도 12의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.In the embodiment of FIG. 12 , the computing device TN100 may include at least one processor TN110, a transceiver TN120, and a memory TN130. In addition, the computing device TN100 may further include a storage device TN140, an input interface device TN150, and an output interface device TN160. Elements included in the computing device TN100 may communicate with each other by being connected by a bus TN170.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다. The processor TN110 may execute program commands stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed. Processor TN110 may be configured to implement procedures, functions, methods, and the like described in relation to embodiments of the present invention. The processor TN110 may control each component of the computing device TN100.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다. Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110. Each of the memory TN130 and the storage device TN140 may include at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory TN130 may include at least one of read only memory (ROM) and random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.The transmitting/receiving device TN120 may transmit or receive a wired signal or a wireless signal. The transmitting/receiving device TN120 may perform communication by being connected to a network.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. On the other hand, the method according to the embodiment of the present invention described above may be implemented in the form of a program readable by various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include program commands, data files, data structures, etc. alone or in combination. Program instructions recorded on the recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in computer software. For example, recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks ( It includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, etc. Examples of program commands may include high-level language wires that can be executed by a computer using an interpreter, as well as machine language wires such as those produced by a compiler. These hardware devices may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. The present invention has been described above using several preferred examples, but these examples are illustrative and not limiting. As such, those skilled in the art to which the present invention belongs will understand that various changes and modifications can be made according to the doctrine of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

10: 비전검사장치
100: 학습부
200: 카메라부
300: 이미지처리부
400: 검출부 10: vision inspection device
100: learning unit
200: camera unit
300: image processing unit
400: detection unit

Claims (24)

비전 검사를 위한 장치에 있어서,
하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 이미지처리부; 및
상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 특징벡터지도를 생성하고,
학습된 검출모델을 통해 생성된 특징벡터지도를 모사하는 모사특징벡터지도를 생성하고,
상기 특징벡터지도와 상기 모사특징벡터지도와의 차이를 나타내는 모사손실를 산출한 후, 산출된 모사손실이 미리 산출된 기준치 이상인지 여부에 따라 다이의 불량 여부를 검출하는 검출부;
를 포함하는 것을 특징으로 하는
비전 검사를 위한 장치. In the device for vision inspection,
an image processor generating an inspection image including one or more images of a plurality of dies included in one wafer; and
generating a feature vector map representing features of the inspection image by using at least one feature detection filter for the inspection image;
Generate a simulated feature vector map that simulates the feature vector map generated through the learned detection model;
a detecting unit that calculates a simulation loss representing a difference between the feature vector map and the simulated feature vector map, and then detects whether or not the die is defective according to whether the calculated simulation loss is equal to or greater than a pre-calculated reference value;
characterized in that it includes
A device for vision inspection. 제1항에 있어서,
상기 검출부는
검사 이미지를 정방형의 복수의 서브 블록으로 분할하고,
분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후,
주파수 대역으로 변환된 서브 블록 각각을 양자화하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 1,
the detection unit
Dividing the inspection image into a plurality of square sub-blocks;
After performing discrete cosine transform (DCT) on each of the divided sub-blocks to convert them into frequency bands,
Characterized in that a feature vector map is generated by quantizing each subblock converted into a frequency band.
A device for vision inspection. 제1항에 있어서,
상기 검출부는
상기 검사 이미지에 대해 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고,
복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를
소정 수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 1,
the detection unit
Deriving a plurality of calculation results through calculation using a plurality of Gabor filters for the inspection image;
The derived operation result corresponding to each of a plurality of Gabor filters
Characterized in that a feature vector map is generated by quantizing into a predetermined number of bands
A device for vision inspection. 제3항에 있어서,
상기 가버(gabor) 필터는
수학식
Figure 112022017442523-pat00053

에 따라 생성되며,
상기
Figure 112022017442523-pat00054
는 커널의 너비이고,
상기
Figure 112022017442523-pat00055
는 커널의 방향성이고,
상기
Figure 112022017442523-pat00056
은 커널의 반복주기이고,
상기
Figure 112022017442523-pat00057
는 상기 가버 필터의 중간값이고,
상기
Figure 112022017442523-pat00058
는 상기 가버 필터의 가로세로의 비율이고,
상기 검출부는
상기
Figure 112022017442523-pat00059
, 상기
Figure 112022017442523-pat00060
, 상기
Figure 112022017442523-pat00061
, 상기
Figure 112022017442523-pat00062
, 상기
Figure 112022017442523-pat00063
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 3,
The Gabor filter is
math formula
Figure 112022017442523-pat00053

is created according to
remind
Figure 112022017442523-pat00054
is the width of the kernel,
remind
Figure 112022017442523-pat00055
is the directionality of the kernel,
remind
Figure 112022017442523-pat00056
is the repetition period of the kernel,
remind
Figure 112022017442523-pat00057
is the median value of the Gabor filter,
remind
Figure 112022017442523-pat00058
Is the aspect ratio of the Gabor filter,
the detection unit
remind
Figure 112022017442523-pat00059
, remind
Figure 112022017442523-pat00060
, remind
Figure 112022017442523-pat00061
, remind
Figure 112022017442523-pat00062
, remind
Figure 112022017442523-pat00063
Characterized in that a feature vector map is generated using a plurality of Gabor filters having at least one parameter different from
A device for vision inspection. 제1항에 있어서,
상기 검출부는
상기 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고,
구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환하고,
변환된 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 1,
the detection unit
Dividing the inspection image into three channels including Hue, Saturation, and Value;
Each of the three separated channels is transformed into a frequency domain through a Fourier transform,
Characterized in that a feature vector map is generated by quantizing the converted frequency domain value into a predetermined number of bands
A device for vision inspection. 제1항에 있어서,
상기 검출부는
상기 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature) 채널을 포함하는 3개의 채널로 구분하고,
구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환하고,
주파수 영역의 값을 소정 개수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 1,
the detection unit
The inspection image is divided into three channels including a Y channel, which is a component representing luminance, and an I (In-phase) channel and a Q (Quadrature) channel, which are components representing color difference,
Each of the three separated channels is transformed into a frequency domain through wavelet transform,
Characterized in that a feature vector map is generated by quantizing a value in the frequency domain into a predetermined number of bands.
A device for vision inspection. 제1항에 있어서,
상기 이미지처리부는
웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고,
생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사 이미지를 생성하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 1,
The image processing unit
Creating a plurality of die images in the order of rows and columns from the leftmost die among the plurality of dies located on the uppermost side based on the notch in the wafer image obtained by photographing the wafer;
Characterized in that the generated plurality of die images generate one or more inspection images of a predetermined standard
A device for vision inspection. 제1항에 있어서,
정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 하는 학습용 특징벡터지도를 마련하고,
학습용 특징벡터지도를 학습이 완료되지 않은 검출모델에 입력하고,
상기 검출모델이 복수의 컨벌루션계층을 통해 상기 학습용 특징벡터지도에 대해 상기 학습용 특징벡터지도의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 상기 학습용 특징벡터지도를 모사하는 학습용 모사특징벡터지도를 생성하면,
상기 학습용 특징벡터지도와 상기 학습용 모사특징벡터지도의 차이인 모사손실을 산출하고,
상기 모사손실이 최소가 되도록 상기 검출모델의 파라미터를 수정하는 최적화를 수행하는 학습부;
를 더 포함하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 1,
Preparing a feature vector map for learning based on an inspection image including a plurality of die images in a steady state;
Input the feature vector map for learning to the detection model that has not been trained,
The detection model performs a plurality of convolutional operations to generate a feature map having the same size as the size of the learning feature vector map for the learning feature vector map through a plurality of convolution layers, thereby mimicking the learning feature vector map. If you create a feature vector map,
Calculating a simulation loss, which is a difference between the feature vector map for learning and the simulated feature vector map for learning;
a learning unit performing optimization to modify parameters of the detection model so that the simulated loss is minimized;
characterized in that it further comprises
A device for vision inspection. 제8항에 있어서,
상기 학습부는
정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 하는 복수의 검증용 특징벡터지도를 검출모델에 입력하고,
상기 검출모델이 복수의 검증용 특징벡터지도를 모사하는 복수의 검증용 모사특징벡터지도를 생성하면,
상기 복수의 검증용 특징벡터지도와 상기 복수의 검증용 모사특징벡터지도의 차이인 복수의 검증손실을 산출한 후,
수학식
Figure 112022017442523-pat00064
에 따라 상기 기준치를 산출하고,
상기 S는 기준치이고,
상기 A는 복수의 검증용 특징벡터지도와 복수의 검증용 특징벡터지도에 대응하는 복수의 검증용 모사특징벡터지도 간의 검증손실의 평균이고,
상기 C는 상기 복수의 검증용 특징벡터지도와 상기 복수의 검증용 특징벡터지도에 대응하는 상기 검증용 모사특징벡터지도 간의 검증손실의 표준편차이고,
상기 B는 상기 검증손실의 표준편차에 대한 가중치인 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 8,
The learning department
Inputting a plurality of feature vector maps for verification based on an inspection image including a plurality of die images in a steady state into a detection model;
When the detection model generates a plurality of simulated feature vector maps for verification that simulate a plurality of feature vector maps for verification,
After calculating a plurality of verification losses, which are differences between the plurality of feature vector maps for verification and the plurality of simulated feature vector maps for verification,
math formula
Figure 112022017442523-pat00064
Calculate the reference value according to,
The S is a reference value,
A is the average of the verification loss between a plurality of feature vector maps for verification and a plurality of simulated feature vector maps for verification corresponding to the plurality of feature vector maps for verification,
C is the standard deviation of the verification loss between the plurality of feature vector maps for verification and the simulated feature vector maps for verification corresponding to the plurality of feature vector maps for verification,
Wherein B is a weight for the standard deviation of the verification loss
A device for vision inspection. 제8항에 있어서,
상기 학습부는
수학식
Figure 112022017442523-pat00065
를 통해 상기 모사손실을 산출하며,
상기 Lp는 손실함수를 나타내고,
상기 i 및 상기 j는 상기 특징벡터지도 및 상기 모사특징벡터지도의 행 및 열을 나타내는 인덱스이고,
상기 N은 상기 특징벡터지도 및 상기 모사특징벡터지도의 원소의 수를 나타내고,
상기 gij는 특징벡터지도의 원소값이고,
상기 cij는 모사특징벡터지도의 원소값인 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 8,
The learning department
math formula
Figure 112022017442523-pat00065
Calculate the simulated loss through
The Lp represents a loss function,
The i and the j are indices indicating rows and columns of the feature vector map and the simulated feature vector map,
N represents the number of elements of the feature vector map and the simulated feature vector map,
The gij is an element value of a feature vector map,
Wherein cij is an element value of a simulated feature vector map
A device for vision inspection. 제1항에 있어서,
상기 검출모델은 복수의 컨벌루션계층을 포함하며,
상기 복수의 컨벌루션계층은
상기 특징벡터지도에 대해
상기 특징벡터지도의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 상기 모사특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 1,
The detection model includes a plurality of convolutional layers,
The plurality of convolutional layers are
About the above feature vector map
Characterized in that the simulated feature vector map is generated by performing a plurality of convolution operations to generate a feature map having the same size as the size of the feature vector map.
A device for vision inspection. 제11항에 있어서,
상기 복수의 컨벌루션계층 각각은
학습된 가중치 행렬로 이루어진 필터를 이용하고, 특징지도에 제로 패딩을 적용하여 컨벌루션 연산을 수행하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 11,
Each of the plurality of convolutional layers is
Characterized in that the convolution operation is performed by using a filter composed of the learned weight matrix and applying zero padding to the feature map.
A device for vision inspection. 비전 검사를 위한 방법에 있어서,
이미지처리부가 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 단계;
검출부가 상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 특징벡터지도를 생성하는 단계;
상기 검출부가 학습된 검출모델을 통해 생성된 특징벡터지도를 모사하는 모사특징벡터지도를 생성하는 단계;
상기 검출부가 상기 특징벡터지도와 상기 모사특징벡터지도와의 차이를 나타내는 모사손실를 산출한 후, 산출된 모사손실이 미리 산출된 기준치 이상인지 여부에 따라 다이의 불량 여부를 검출하는 단계;
를 포함하는 것을 특징으로 하는
비전 검사를 위한 방법. In the method for vision inspection,
generating an inspection image including one or more images of a plurality of dies included in one wafer by an image processing unit;
generating, by a detection unit, a feature vector map representing features of the inspection image by using at least one feature detection filter for the inspection image;
generating a simulated feature vector map that simulates a feature vector map created by the detection unit through the learned detection model;
After the detecting unit calculates a simulation loss representing a difference between the feature vector map and the simulated feature vector map, detecting whether or not the die is defective according to whether the calculated simulation loss is equal to or greater than a pre-calculated reference value;
characterized in that it includes
Methods for vision examination. 제13항에 있어서,
상기 특징벡터지도를 생성하는 단계는
상기 검출부가 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고,
분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후,
주파수 대역으로 변환된 서브 블록 각각을 양자화하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 13,
The step of generating the feature vector map is
The detection unit divides the inspection image into a plurality of square sub-blocks,
After performing discrete cosine transform (DCT) on each of the divided sub-blocks to convert them into frequency bands,
Characterized in that a feature vector map is generated by quantizing each subblock converted into a frequency band.
Methods for vision examination. 제13항에 있어서,
상기 특징벡터지도를 생성하는 단계는
상기 검출부가 상기 검사 이미지에 대해 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고,
복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 장치. According to claim 13,
The step of generating the feature vector map is
The detection unit derives a plurality of calculation results through calculation using a plurality of Gabor filters for the inspection image;
Characterized in that a feature vector map is generated by quantizing the derived operation result corresponding to each of a plurality of Gabor filters into a predetermined number of bands.
A device for vision inspection. 제15항에 있어서,
상기 가버(gabor) 필터는
수학식
Figure 112022017442523-pat00066

에 따라 생성되며,
상기
Figure 112022017442523-pat00067
는 커널의 너비이고,
상기
Figure 112022017442523-pat00068
는 커널의 방향성이고,
상기
Figure 112022017442523-pat00069
은 커널의 반복주기이고,
상기
Figure 112022017442523-pat00070
는 상기 가버 필터의 중간값이고,
상기
Figure 112022017442523-pat00071
는 상기 가버 필터의 가로세로의 비율이고,
상기 특징벡터지도를 생성하는 단계는
상기 검출부가 상기
Figure 112022017442523-pat00072
, 상기
Figure 112022017442523-pat00073
, 상기
Figure 112022017442523-pat00074
, 상기
Figure 112022017442523-pat00075
, 상기
Figure 112022017442523-pat00076
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 15,
The Gabor filter is
math formula
Figure 112022017442523-pat00066

is created according to
remind
Figure 112022017442523-pat00067
is the width of the kernel,
remind
Figure 112022017442523-pat00068
is the directionality of the kernel,
remind
Figure 112022017442523-pat00069
is the repetition period of the kernel,
remind
Figure 112022017442523-pat00070
is the median value of the Gabor filter,
remind
Figure 112022017442523-pat00071
Is the aspect ratio of the Gabor filter,
The step of generating the feature vector map is
the detection unit
Figure 112022017442523-pat00072
, remind
Figure 112022017442523-pat00073
, remind
Figure 112022017442523-pat00074
, remind
Figure 112022017442523-pat00075
, remind
Figure 112022017442523-pat00076
Characterized in that a feature vector map is generated using a plurality of Gabor filters having at least one parameter different from
Methods for vision examination. 제13항에 있어서,
상기 특징벡터지도를 생성하는 단계는
상기 검출부가 상기 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고,
구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환하고,
변환된 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 13,
The step of generating the feature vector map is
The detection unit divides the inspection image into three channels including Hue, Saturation, and Value,
Each of the three separated channels is transformed into a frequency domain through a Fourier transform,
Characterized in that a feature vector map is generated by quantizing the converted frequency domain value into a predetermined number of bands
Methods for vision examination. 제13항에 있어서,
상기 특징벡터지도를 생성하는 단계는
상기 검출부가 상기 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature) 채널을 포함하는 3개의 채널로 구분하고,
구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환하고,
주파수 영역의 값을 소정 개수의 대역으로 양자화하여 특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 13,
The step of generating the feature vector map is
The detection unit divides the inspection image into three channels including a Y channel, which is a component representing brightness, an I (In-phase) channel and a Q (Quadrature) channel, which are components representing color difference,
Each of the three separated channels is transformed into a frequency domain through wavelet transform,
Characterized in that a feature vector map is generated by quantizing a value in the frequency domain into a predetermined number of bands.
Methods for vision examination. 제13항에 있어서,
상기 검사 이미지를 생성하는 단계는
상기 이미지처리부가 웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고,
생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사 이미지를 생성하는 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 13,
The step of generating the inspection image is
The image processing unit generates a plurality of die images in the order of rows and columns from the leftmost die among the plurality of dies located on the uppermost side based on the notch in the wafer image in which the wafer is photographed,
Characterized in that the generated plurality of die images generate one or more inspection images of a predetermined standard
Methods for vision examination. 제13항에 있어서,
학습부가 정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 하는 학습용 특징벡터지도를 마련하는 단계;
상기 학습부가 학습용 특징벡터지도를 학습이 완료되지 않은 검출모델에 입력하는 단계;
상기 검출모델이 복수의 컨벌루션계층을 통해 상기 학습용 특징벡터지도에 대해 상기 학습용 특징벡터지도의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 상기 학습용 특징벡터지도를 모사하는 학습용 모사특징벡터지도를 생성하는 단계;
상기 학습부가 상기 학습용 특징벡터지도와 상기 학습용 모사특징벡터지도의 차이인 모사손실을 산출하고, 산출된 모사손실이 최소가 되도록 상기 검출모델의 파라미터를 수정하는 최적화를 수행하는 단계;
를 더 포함하는 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 13,
preparing, by a learning unit, a feature vector map for learning based on an inspection image including a plurality of die images in a steady state;
inputting, by the learning unit, the feature vector map for learning to a detection model for which learning is not completed;
The detection model performs a plurality of convolutional operations to generate a feature map having the same size as the size of the learning feature vector map for the learning feature vector map through a plurality of convolution layers, thereby mimicking the learning feature vector map. generating a feature vector map;
calculating a simulation loss, which is a difference between the learning feature vector map and the learning simulated feature vector map, and performing optimization of modifying parameters of the detection model so that the calculated simulation loss is minimized;
characterized in that it further comprises
Methods for vision examination. 제20항에 있어서,
상기 학습부가 정상 상태의 복수의 다이 이미지를 포함하는 검사 이미지를 기초로 하는 복수의 검증용 특징벡터지도를 검출모델에 입력하는 단계;
상기 검출모델이 복수의 검증용 특징벡터지도를 모사하는 복수의 검증용 모사특징벡터지도를 생성하는 단계; 및
상기 학습부가 상기 복수의 검증용 특징벡터지도와 상기 복수의 검증용 모사특징벡터지도의 차이인 복수의 검증손실을 산출한 후, 수학식
Figure 112022017442523-pat00077
에 따라 상기 기준치를 산출하는 단계;
를 더 포함하며,
상기 S는 기준치이고,
상기 A는 복수의 검증용 특징벡터지도와 복수의 검증용 특징벡터지도에 대응하는 복수의 검증용 모사특징벡터지도 간의 검증손실의 평균이고,
상기 C는 상기 복수의 검증용 특징벡터지도와 상기 복수의 검증용 특징벡터지도에 대응하는 상기 검증용 모사특징벡터지도 간의 검증손실의 표준편차이고,
상기 B는 상기 검증손실의 표준편차에 대한 가중치인 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 20,
inputting, by the learning unit, a plurality of feature vector maps for verification based on an inspection image including a plurality of die images in a steady state into a detection model;
generating a plurality of simulated feature vector maps for verification in which the detection model simulates a plurality of feature vector maps for verification; and
After the learning unit calculates a plurality of verification losses, which are differences between the plurality of feature vector maps for verification and the plurality of simulated feature vector maps for verification, Equation
Figure 112022017442523-pat00077
Calculating the reference value according to;
Including more,
The S is a reference value,
A is the average of the verification loss between a plurality of feature vector maps for verification and a plurality of simulated feature vector maps for verification corresponding to the plurality of feature vector maps for verification,
C is the standard deviation of the verification loss between the plurality of feature vector maps for verification and the simulated feature vector maps for verification corresponding to the plurality of feature vector maps for verification,
Wherein B is a weight for the standard deviation of the verification loss
Methods for vision examination. 제20항에 있어서,
상기 최적화를 수행하는 단계는
상기 학습부가
수학식
Figure 112022017442523-pat00078
를 통해 상기 모사손실을 산출하며,
상기 Lp는 손실함수를 나타내고,
상기 i 및 상기 j는 상기 특징벡터지도 및 상기 모사특징벡터지도의 행 및 열을 나타내는 인덱스이고,
상기 N은 상기 특징벡터지도 및 상기 모사특징벡터지도의 원소의 수를 나타내고,
상기 gij는 특징벡터지도의 원소값이고,
상기 cij는 모사특징벡터지도의 원소값인 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 20,
The step of performing the optimization is
the learning section
math formula
Figure 112022017442523-pat00078
Calculate the simulated loss through
The Lp represents a loss function,
The i and the j are indices indicating rows and columns of the feature vector map and the simulated feature vector map,
N represents the number of elements of the feature vector map and the simulated feature vector map,
The gij is an element value of a feature vector map,
Wherein cij is an element value of a simulated feature vector map
Methods for vision examination. 제13항에 있어서,
상기 검출모델은 복수의 컨벌루션계층을 포함하며,
상기 모사특징벡터지도를 생성하는 단계는
상기 복수의 컨벌루션계층이 상기 특징벡터지도에 대해 상기 특징벡터지도의 크기와 동일한 크기의 특징지도를 생성하는 복수의 컨벌루션 연산을 수행하여 상기 모사특징벡터지도를 생성하는 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 13,
The detection model includes a plurality of convolutional layers,
The step of generating the simulated feature vector map
The plurality of convolution layers perform a plurality of convolutional operations for generating a feature map having the same size as the size of the feature vector map with respect to the feature vector map to generate the simulated feature vector map.
Methods for vision examination. 제23항에 있어서,
상기 모사특징벡터지도를 생성하는 단계는
상기 복수의 컨벌루션계층 각각이 학습된 가중치 행렬로 이루어진 필터를 이용하고, 특징지도에 제로 패딩을 적용하여 컨벌루션 연산을 수행하는 것을 특징으로 하는
비전 검사를 위한 방법. According to claim 23,
The step of generating the simulated feature vector map
Characterized in that each of the plurality of convolution layers performs a convolution operation by using a filter composed of a learned weight matrix and applying zero padding to a feature map.
Methods for vision examination.
KR1020220020239A 2021-12-22 2022-02-16 Apparatus for vision inspection using auto-encoder and method therefor KR102533365B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210184777 2021-12-22
KR1020210184777 2021-12-22

Publications (1)

Publication Number Publication Date
KR102533365B1 true KR102533365B1 (en) 2023-05-17

Family

ID=85985838

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020220020237A KR102516199B1 (en) 2021-12-22 2022-02-16 Apparatus and method for vision inspection using artificial neural network including filter for feature detection
KR1020220020239A KR102533365B1 (en) 2021-12-22 2022-02-16 Apparatus for vision inspection using auto-encoder and method therefor
KR1020220020236A KR102516198B1 (en) 2021-12-22 2022-02-16 Apparatus for vision inspection using artificial neural network and method therefor

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020220020237A KR102516199B1 (en) 2021-12-22 2022-02-16 Apparatus and method for vision inspection using artificial neural network including filter for feature detection

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220020236A KR102516198B1 (en) 2021-12-22 2022-02-16 Apparatus for vision inspection using artificial neural network and method therefor

Country Status (1)

Country Link
KR (3) KR102516199B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511175A (en) * 1998-03-23 2002-04-09 松下電器産業株式会社 Image recognition method
JP2010190740A (en) * 2009-02-18 2010-09-02 Nikon Corp Substrate inspection device, method, and program
KR20110120461A (en) 2010-04-29 2011-11-04 주식회사 미르기술 Vision inspection apparatus
KR20160054151A (en) * 2014-11-05 2016-05-16 한밭대학교 산학협력단 System and Method for Automatically Detecting a Mura Defect using Mask Filtering in Wavelet Transform
KR20170069250A (en) * 2014-10-14 2017-06-20 케이엘에이-텐코 코포레이션 Signal response metrology for image based and scatterometry overlay measurements
CN108171688A (en) * 2017-12-19 2018-06-15 浙江大学 A kind of wafer surface defects detection method based on Gabor characteristic Yu random dimensionality reduction
KR102336962B1 (en) * 2021-05-11 2021-12-07 호서대학교 산학협력단 Apparatus for automatically performing labeling through Semi-weakly supervised learning and method therefor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977808B (en) * 2019-03-11 2020-10-27 北京工业大学 Wafer surface defect mode detection and analysis method
KR20200137219A (en) * 2019-05-29 2020-12-09 삼성에스디에스 주식회사 Method and apparatus for wafer defect pattern detection based on unsupervised learning
CN110766660A (en) * 2019-09-25 2020-02-07 上海众壹云计算科技有限公司 Integrated circuit defect image recognition and classification system based on fusion depth learning model
CN111696077A (en) * 2020-05-11 2020-09-22 余姚市浙江大学机器人研究中心 Wafer defect detection method based on wafer Det network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511175A (en) * 1998-03-23 2002-04-09 松下電器産業株式会社 Image recognition method
JP2010190740A (en) * 2009-02-18 2010-09-02 Nikon Corp Substrate inspection device, method, and program
KR20110120461A (en) 2010-04-29 2011-11-04 주식회사 미르기술 Vision inspection apparatus
KR20170069250A (en) * 2014-10-14 2017-06-20 케이엘에이-텐코 코포레이션 Signal response metrology for image based and scatterometry overlay measurements
KR20160054151A (en) * 2014-11-05 2016-05-16 한밭대학교 산학협력단 System and Method for Automatically Detecting a Mura Defect using Mask Filtering in Wavelet Transform
CN108171688A (en) * 2017-12-19 2018-06-15 浙江大学 A kind of wafer surface defects detection method based on Gabor characteristic Yu random dimensionality reduction
KR102336962B1 (en) * 2021-05-11 2021-12-07 호서대학교 산학협력단 Apparatus for automatically performing labeling through Semi-weakly supervised learning and method therefor

Also Published As

Publication number Publication date
KR102516198B1 (en) 2023-03-30
KR102516199B1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
RU2694021C1 (en) Method and apparatus for identifying portions of fragmented material within an image
CN112529015A (en) Three-dimensional point cloud processing method, device and equipment based on geometric unwrapping
CN110838122B (en) Point cloud segmentation method and device and computer storage medium
CN111179196B (en) Multi-resolution depth network image highlight removing method based on divide-and-conquer
US11967040B2 (en) Information processing apparatus, control method thereof, imaging device, and storage medium
CN110276831B (en) Method and device for constructing three-dimensional model, equipment and computer-readable storage medium
KR20200039043A (en) Object recognition device and operating method for the same
CN110889426A (en) Three-dimensional expression generation system
CN114419392A (en) Hyperspectral snapshot image recovery method, device, equipment and medium
CN113781510A (en) Edge detection method and device and electronic equipment
CN116012515A (en) Neural radiation field network training method and related equipment
CN116958420A (en) High-precision modeling method for three-dimensional face of digital human teacher
CN111862040A (en) Portrait picture quality evaluation method, device, equipment and storage medium
US20210374527A1 (en) Information processing apparatus, information processing method, and storage medium
KR102533365B1 (en) Apparatus for vision inspection using auto-encoder and method therefor
CN115797314B (en) Method, system, equipment and storage medium for detecting surface defects of parts
CN116630828A (en) Unmanned aerial vehicle remote sensing information acquisition system and method based on terrain environment adaptation
CN115049558A (en) Model training method, human face image processing device, electronic equipment and readable storage medium
CN112084815A (en) Target detection method based on camera focal length conversion, storage medium and processor
KR20210030573A (en) Apparatus and method for controlling weather effects in marine video based on neural network
US20210374916A1 (en) Storage medium storing program, image processing apparatus, and training method of machine learning model
US11200708B1 (en) Real-time color vector preview generation
CN115049560A (en) Model training method and system, and face image dimming method and system
CN115049559A (en) Model training method, human face image processing method, human face model processing device, electronic equipment and readable storage medium
CN113920087A (en) Micro component defect detection system and method based on deep learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant