KR102516199B1 - 특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법 - Google Patents

특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR102516199B1
KR102516199B1 KR1020220020237A KR20220020237A KR102516199B1 KR 102516199 B1 KR102516199 B1 KR 102516199B1 KR 1020220020237 A KR1020220020237 A KR 1020220020237A KR 20220020237 A KR20220020237 A KR 20220020237A KR 102516199 B1 KR102516199 B1 KR 102516199B1
Authority
KR
South Korea
Prior art keywords
hard
output value
layer
loss function
inspection
Prior art date
Application number
KR1020220020237A
Other languages
English (en)
Inventor
박승범
이해구
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Application granted granted Critical
Publication of KR102516199B1 publication Critical patent/KR102516199B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)

Abstract

비전 검사를 위한 장치는 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사이미지를 생성하는 이미지처리부와, 복수의 가버 필터를 이용한 연산을 수행하는 가버필터층을 포함하는 검출모델을 통해 상기 검사이미지를 분석하여 다이의 불량 여부를 검출하는 검출부를 포함한다.

Description

특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법{Apparatus and method for vision inspection using artificial neural network including filter for feature detection}
본 발명은 비전 검사를 위한 기술에 관한 것으로, 보다 상세하게는, 특징검출을 위한 필터가 포함된 인공신경망(artificial neural network)을 이용한 비전 검사를 위한 장치 및 이를 위한 방법에 관한 것이다.
제조 자동화 및 품질 향상을 위한 불량 검출을 목적으로 컴퓨터 비전을 활용한 많은 영상 검사기들이 개발되었다. 이들은 불량의 후공정 유출을 방지하기 위해 제조 현장에 적용되고 있다. 대부분의 영상 검사기들은 규칙 기반의 알고리즘이 적용된다. 이는 균일한 조명, 피사체의 정위치 및 주변 객체에 의해 검사 대상이 가리워지지 않은 환경이 보장되는 경우 치수 측정, 조립 유무 검사, 이물질(Foreign Material) 검사 등에서 우수한 성능을 보이고 있다.
최근 인간의 신경망 개념을 차용한 딥러닝까지 적용되어 영상검사는 비약적인 발전을 보이고 있다. 그러나 검사 환경이 열악한 경우 조명 변화에 따른 이미지 편차 또는 영상 취득, 카메라 렌즈 조건에 따라 원근(Perspective)이 적용된 이미지 편차가 발생되어 오검출율을 높이고 검사 신뢰성에 문제를 야기한다. 문제 해결을 위해서는 제품의 정위치 장치와 암실을 포함한 조명 설계는 물론 클린룸 조성을 통해 주변 조명에 영향을 받지 않는 검사 환경을 구현하는 것이 필수적이다. 하지만, 반도체 제조와 같은 대형 장치 기반 공정의 경우 검사를 위한 환경 구축에 많은 시간, 공간과 비용이 요구되어 검사기 적용이 어려운 경우가 많다.
한국공개특허 제2011-0120461호 (2011년11월04일 공개)
본 발명의 목적은 별도의 환경 구축이 없는 경우에도 비전 검사의 정확한 판별을 가능하게 할 수 있는 특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 비전 검사를 위한 장치는 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사이미지를 생성하는 이미지처리부와, 복수의 가버 필터를 이용한 연산을 수행하는 가버필터층을 포함하는 검출모델을 통해 상기 검사이미지를 분석하여 다이의 불량 여부를 검출하는 검출부를 포함한다.
상기 검출모델은 검사이미지를 입력받는 입력층과, 상기 검사이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버 필터를 이용한 연산을 통해 복수의 제1 특징지도를 생성하는 가버필터층과, 상기 복수의 제1 특징지도에 대해 컨벌루션용 필터를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제2 특징지도를 도출하는 컨볼루션층과, 상기 복수의 제2 특징지도에 대해 풀링용 필터를 이용한 풀링 연산을 수행하여 복수의 제3 특징지도를 도출하는 풀링층과, 상기 복수의 제3 특징지도에 대해 활성화함수에 의한 연산을 통해 복수의 연산노드값을 산출하는 완결연결층과, 상기 복수의 연산노드값에 대해 활성화함수에 의한 연산을 통해 출력값을 산출하는 출력층을 포함한다.
상기 출력값은 상기 입력층으로 입력된 검사이미지에 포함된 모든 다이가 정상일 확률 및 상기 입력층으로 입력된 검사이미지에 포함된 적어도 하나의 다이가 불량일 확률을 포함한다.
상기 가버(gabor) 필터는 수학식
Figure 112022017442332-pat00001
에 따라 생성되며, 상기
Figure 112022017442332-pat00002
는 커널의 너비이고, 상기
Figure 112022017442332-pat00003
는 커널의 방향성이고, 상기
Figure 112022017442332-pat00004
은 커널의 반복주기이고, 상기
Figure 112022017442332-pat00005
는 상기 가버 필터의 중간값이고, 상기
Figure 112022017442332-pat00006
는 상기 가버 의 가로세로의 비율인 것을 특징으로 한다. 이에 따라, 상기 가버필터층은 상기
Figure 112022017442332-pat00007
, 상기
Figure 112022017442332-pat00008
, 상기
Figure 112022017442332-pat00009
, 상기
Figure 112022017442332-pat00010
, 상기
Figure 112022017442332-pat00011
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 상기 복수의 제1 특징지도를 생성하는 것을 특징으로 한다.
상기 이미지처리부는 웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고, 생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사이미지를 생성하는 것을 특징으로 한다.
상기 장치는 학습용 검사이미지 및 학습용 검사이미지에 대응하는 하드 레이블 및 소프트 레이블을 포함하는 레이블을 마련하고, 기본손실함수의 하이퍼파라미터를 설정하여 하드 손실 최적화를 위한 하드손실함수를 생성하고, 검출모델에 학습용 검사이미지를 입력하고, 검출모델이 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하면, 소프트 출력값을 하드 출력값으로 변환하고, 변환된 하드 출력값 및 하드손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 하드 손실 최적화를 수행하는 학습부를 더 포함한다.
상기 기본손실함수는 수학식
Figure 112022017442332-pat00012
이고, 상기 Lb은 기본손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 gi는 소프트 출력값이고, 상기 ci는 소프트 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스이고, 상기 H는 하이퍼파라미터인 것을 특징으로 한다.
상기 하드손실함수는
Figure 112022017442332-pat00013
이고, 상기 기본손실함수에서 하이퍼파라미터를 0으로 설정하여 생성되며, 상기 Lh은 하드손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 한다.
상기 학습부는 기본손실함수의 하이퍼파라미터를 설정하여 복합 손실 최적화를 위한 복합 손실함수를 생성하고, 검출모델에 학습용 검사이미지를 입력하고, 검출모델이 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하면, 소프트 출력값으로부터 하드 출력값을 도출하고, 소프트 출력값, 하드 출력값 및 복합손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 복합 손실 최적화를 수행하는 것을 특징으로 한다.
상기 복합손실함수는
Figure 112022017442332-pat00014
이고, 상기 기본손실함수에서 하이퍼파라미터를 0.5로 설정하여 생성되며, 상기 Lc는 복합손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 gi는 소프트 출력값이고, 상기 ci는 소프트 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 비전 검사를 위한 방법은 이미지처리부가 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사이미지를 생성하는 단계와, 검출부가 복수의 가버 필터를 이용한 연산을 수행하는 가버필터층을 포함하는 검출모델을 통해 상기 검사이미지를 분석하여 다이의 불량 여부를 검출하는 단계를 포함한다.
상기 다이의 불량 여부를 검출하는 단계는 상기 검출모델의 입력층이 검사이미지를 입력받는 단계와, 상기 검출모델의 가버필터층이 상기 검사이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버 필터를 이용한 연산을 통해 복수의 제1 특징지도를 생성하는 단계와, 상기 검출모델의 컨볼루션층; 상기 복수의 제1 특징지도에 대해 컨벌루션용 필터를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제2 특징지도를 도출하는 단계와, 상기 검출모델의 풀링층이 상기 복수의 제2 특징지도에 대해 풀링용 필터를 이용한 풀링 연산을 수행하여 복수의 제3 특징지도를 도출하는 단계와, 상기 검출모델의 완결연결층이 상기 복수의 제3 특징지도에 대해 활성화함수에 의한 연산을 통해 복수의 연산노드값을 산출하는 단계와, 상기 검출모델의 출력층이 상기 복수의 연산노드값에 대해 활성화함수에 의한 연산을 통해 출력값을 산출하는 단계를 포함한다.
상기 출력값은 상기 입력층으로 입력된 검사이미지에 포함된 모든 다이가 정상일 확률 및 상기 입력층으로 입력된 검사이미지에 포함된 적어도 하나의 다이가 불량일 확률을 포함한다.
상기 가버(gabor) 필터는 수학식
Figure 112022017442332-pat00015
에 따라 생성되며, 상기
Figure 112022017442332-pat00016
는 커널의 너비이고, 상기
Figure 112022017442332-pat00017
는 커널의 방향성이고, 상기
Figure 112022017442332-pat00018
은 커널의 반복주기이고, 상기
Figure 112022017442332-pat00019
는 상기 가버 필터의 중간값이고, 상기
Figure 112022017442332-pat00020
는 상기 가버 의 가로세로의 비율인 것을 특징으로 한다. 이에 따라, 상기 복수의 제1 특징지도를 생성하는 단계는 상기 가버필터층이 상기
Figure 112022017442332-pat00021
, 상기
Figure 112022017442332-pat00022
, 상기
Figure 112022017442332-pat00023
, 상기
Figure 112022017442332-pat00024
, 상기
Figure 112022017442332-pat00025
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 상기 복수의 제1 특징지도를 생성하는 것을 특징으로 한다.
상기 검사이미지를 생성하는 단계는 상기 이미지처리부가 웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고, 생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사이미지를 생성하는 것을 특징으로 한다.
상기 방법은 상기 검사이미지를 생성하는 단계 전, 학습부가 학습용 검사이미지 및 학습용 검사이미지에 대응하는 하드 레이블 및 소프트 레이블을 포함하는 레이블을 마련하는 단계와, 상기 학습부가 기본손실함수의 하이퍼파라미터를 설정하여 하드 손실 최적화를 위한 하드손실함수를 생성하는 단계와, 상기 학습부가 검출모델에 학습용 검사이미지를 입력하는 단계와, 검출모델이 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하는 단계와, 상기 학습부가 소프트 출력값을 하드 출력값으로 변환하고, 변환된 하드 출력값 및 하드손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 하드 손실 최적화를 수행하는 단계를 더 포함한다.
상기 기본손실함수는 수학식
Figure 112022017442332-pat00026
이고, 상기 Lb은 기본손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 gi는 소프트 출력값이고, 상기 ci는 소프트 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스이고, 상기 H는 하이퍼파라미터인 것을 특징으로 한다.
상기 하드손실함수는
Figure 112022017442332-pat00027
이고, 상기 기본손실함수에서 하이퍼파라미터를 0으로 설정하여 생성되며, 상기 Lh은 하드손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 한다.
상기 방법은 상기 하드 손실 최적화를 수행하는 단계 후, 상기 학습부가 기본손실함수의 하이퍼파라미터를 설정하여 복합 손실 최적화를 위한 복합 손실함수를 생성하는 단계와, 상기 학습부가 검출모델에 학습용 검사이미지를 입력하는 단계와, 검출모델이 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하는 단계와, 상기 학습부가 소프트 출력값으로부터 하드 출력값을 도출하고, 소프트 출력값, 하드 출력값 및 복합손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 복합 손실 최적화를 수행하는 단계를 더 포함한다.
상기 복합손실함수는
Figure 112022017442332-pat00028
이고, 상기 기본손실함수에서 하이퍼파라미터를 0.5로 설정하여 생성되며, 상기 Lc는 복합손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 gi는 소프트 출력값이고, 상기 ci는 소프트 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 한다.
본 발명에 따르면 치수 측정 검사나 미세한 이물 검사에서 조명의 변화, 주변 부품에 의한 일부 가려짐, 원근에 의한 이미지 변형에도 높은 정확도의 비전 검사 결과를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 웨이퍼를 촬영한 웨이퍼 이미지를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 다이 이미지 및 검사이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 불량 다이가 촬영된 다이 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 구성을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 가버 필터를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 노드를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 비전 검사를 위한 인공신경망을 학습시키기 위한 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 웨이퍼를 촬영한 웨이퍼 이미지를 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 다이 이미지 및 검사이미지를 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른 불량 다이가 촬영된 다이 이미지를 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 구성을 설명하기 위한 도면이다. 도 6은 본 발명의 실시예에 따른 가버 필터를 설명하기 위한 도면이다. 도 7은 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 노드를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 장치(10, 이하, '비전검사장치'로 칭함)는 학습부(100), 카메라부(200), 이미지처리부(300) 및 검출부(400)를 포함한다.
학습부(100)는 검출모델(DM)을 학습시키기 위한 것이다. 검출모델(DM)은 인공신경망이며, 다층퍼셉트론(MLP: Multilayer Perceptron)이 될 수 있다. 이러한 학습부(100)의 학습 방법에 대해서는 아래에서 더 상세하게 설명하기로 한다.
카메라부(200)는 웨이퍼를 촬영하여 웨이퍼 이미지를 생성하기 위한 것이다. 이러한 웨이퍼 이미지의 일례를 도 2에 도시하였다. 도시된 바와 같이, 웨이퍼 상에 복수의 다이가 존재하며, 복수의 다이는 스크라이브 라인을 통해 구분된다. 본 발명의 실시예에 따르면, 카메라부(200)는 웨이퍼의 노치를 위쪽(12시 방향)으로 향하게 하고, 플랫 존을 아래 방향으로 하여 촬영을 수행할 수 있다.
이미지처리부(300) 도 3을 참조하면, 카메라부(200)로부터 웨이퍼를 촬영한 웨이퍼 이미지(W_img)를 수신하면, 수신된 웨이퍼 이미지(W_img)에 포함된 복수의 다이를 각 다이 별로 구분하여 복수의 다이 이미지(D_img, 1~30)를 생성한다. 도 4에 도시된 제1 내지 제4 다이 이미지(D_img1~D_img4)는 불량 다이를 촬영한 다이 이미지의 예들을 보인다. 그리고 이미지처리부(300)는 생성된 복수의 다이 이미지(D_img, 1~30)를 정렬하여 하나 이상의 검사이미지(img1, img2)를 생성한다. 이때, 이미지처리부(300)는 도 2 및 도 3에 도시된 바와 같이, 웨이퍼 이미지(W_img)에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지(D_img, 1~30)를 생성한다. 그런 다음, 이미지처리부(300)는 도 3에 도시된 바와 같이, 복수의 다이 이미지(D_img, 1~30)를 기 설정된 규격(예컨대, 4*4)의 하나 이상의 검사이미지(img1, img2)를 생성한다. 이때, 제2 검사이미지(img2)와 같이, 기 설정된 규격에서 다이 이미지가 부족한 경우, 부족한 부분은 검정색 이미지(B)로 채워 넣는다.
도 5 내지 도 7을 참조하면, 검출부(400)는 검출모델(DM)을 통해 검사이미지를 분석하여 다이의 불량 여부를 검출한다. 전술한 바와 같이, 검출부(400)는 검출모델(DM)을 포함하며, 검출모델(DM)은 심층신경망 중 심층컨벌루션신경망(DCNN: deep convolutional neural network)이 될 수 있다. 본 발명의 검출모델(DM)은 복수의 계층을 포함한다. 즉, 검출모델(DM)은 입력층(IL), 가버필터층(GL), 적어도 한 쌍의 컨벌루션층(CL)과 풀링층(PL), 적어도 하나의 완전연결층(FL) 및 출력층(OL)을 포함한다. 검출부(400)는 이미지처리부(300)로부터 검사이미지를 입력 받고, 검출모델(DM)을 통해 검사이미지를 분석하여 다이의 불량 여부를 검출한다.
이때, 검출모델(DM)은 검사이미지에 대해 픽셀 단위 연산을 수행하여 검사이미지에 포함된 다이가 정상일 확률과 불량일 확률을 산출한다. 그러면, 검출부(400)는 산출된 정상일 확률과 불량일 확률에 따라 검사이미지에 포함된 다이의 불량 여부를 판단한다.
일 실시예에 따르면, 검출모델(DM)은 도 5에 도시된 바와 같이, 순차로 입력층(IL), 가버필터층(GL), 컨볼루션층(CL), 풀링층(PL), 완전연결계층(FL) 및 출력층(OL)을 포함한다.
컨볼루션층(CL) 및 풀링층(PL)은 적어도 하나의 특징지도(FM: Feature Map)로 구성된다. 특징지도(FM)는 이전 계층의 값에 대해 가중치가 적용된 연산 수행 결과로 생성된다. 이러한 가중치는 필터를 통해 적용된다. 본 발명의 실시예에서 컨볼루션층(CL)의 컨벌루션 연산은 컨벌루션용 필터(Fc)가 사용되며, 풀링층(PL)의 풀링 연산은 풀링용 필터(Fp)가 사용된다.
복수의 계층은 복수의 연산을 포함한다. 특히, 서로 다른 계층은 가중치(W: weight)를 가지는 채널(점선으로 표시)로 연결된다. 다른 말로, 어느 하나의 계층의 복수의 연산 결과 각각은 가중치가 적용되어 다음 계층의 입력이 된다.
입력층(IL)은 입력 버퍼의 역할을 수행하며, 입력층(IL)에 검사이미지(img)가 입력되면, 가버필터층(GL)은 검사이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버(gabor) 필터를 이용한 연산(필터링)을 통해 복수의 제1 특징지도(FM1: Feature Map 1)를 생성한다. 여기서, 가버(gabor) 필터는 다음의 수학식 1에 따라 생성된다.
Figure 112022017442332-pat00029
여기서, x, y는 가버 필터의 좌표를 나타낸다. 도 6의 (A)를 참조하면,
Figure 112022017442332-pat00030
는 가버 필터에서 커널(Kernel)의 너비를 나타낸다. 여기서,
Figure 112022017442332-pat00031
=5, 10, 15인 경우가 도시되었다. 도 6의 (B)를 참조하면,
Figure 112022017442332-pat00032
는 가버 필터에서 커널의 방향성을 나타낸다. 여기서,
Figure 112022017442332-pat00033
=
Figure 112022017442332-pat00034
/4,
Figure 112022017442332-pat00035
/2,
Figure 112022017442332-pat00036
(0)가 사용된 예가 도시되었다. 도 6의 (C)를 참조하면,
Figure 112022017442332-pat00037
은 가버 필터에서 커널의 반복주기를 나타낸다. 여기서,
Figure 112022017442332-pat00038
=
Figure 112022017442332-pat00039
/4,
Figure 112022017442332-pat00040
/2,
Figure 112022017442332-pat00041
가 사용된 예가 도시되었다. 도 6의 (D)를 참조하면,
Figure 112022017442332-pat00042
는 가버 필터에서 필터의 중간값(혹은 중심 주파수)을 나타내며,
Figure 112022017442332-pat00043
=0,
Figure 112022017442332-pat00044
/2,
Figure 112022017442332-pat00045
가 사용된 예가 도시되었다.
Figure 112022017442332-pat00046
는 가버 필터에서 필터의 가로세로의 비율이며,
Figure 112022017442332-pat00047
=1, 1/2을 사용한 예가 도시되었다. 즉, 파라미터
Figure 112022017442332-pat00048
,
Figure 112022017442332-pat00049
,
Figure 112022017442332-pat00050
,
Figure 112022017442332-pat00051
및
Figure 112022017442332-pat00052
중 적어도 하나의 파라미터가 상이한 복수의 가버(gabor) 필터를 이용하여 검사이미지(img)를 필터링함으로써 복수의 제1 특징지도(FM1)가 생성된다.
컨볼루션층(CL)은 가버필터층(GL)의 복수의 제1 특징지도(FM1)에 대해 컨벌루션용 필터(Fc)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제2 특징지도(FM2)를 도출한다.
이어서, 풀링층(PL)은 컨볼루션층(CL)의 복수의 제2 특징지도(FM2)에 대해 풀링용 필터(Fp)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제3 특징지도(FM3)를 도출한다.
완결연결층(FL)은 복수의 연산노드(h1 내지 hk)로 이루어진다. 완결연결층(FL)의 복수의 연산노드(h1 내지 hk)는 풀링층(PL)의 복수의 제3 특징지도(FM3)에 대해 활성화함수에 의한 연산을 통해 복수의 연산노드값을 산출한다.
도 5를 참조하면, 출력층(OL)은 2개의 출력노드(P, N)를 포함한다. 완결연결층(FL)의 복수의 연산노드(h1 내지 hk) 각각은 가중치(W: weight)를 가지는 채널(점선으로 표시)로 출력층(OL)의 출력노드(P, N)와 연결된다. 다른 말로, 복수의 연산노드(h1 내지 hk)의 복수의 연산노드값은 가중치가 적용되어 출력노드(P, N)에 각각 입력된다. 이에 따라, 출력층(OL)의 출력노드(P, N)는 완결연결층(FL)의 가중치가 적용되는 복수의 연산노드값에 대해 활성화함수에 의한 연산을 통해 출력값을 산출한다.
전술한 컨벌루션층(CL), 완결연결층(FL) 및 출력층(OL)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 이러한 활성화함수 중 어느 하나를 선택하여 사용할 수 있다.
한편, 도 7에 본 발명의 실시예에 따른 노드(ND: h1 내지 hk, P, N 중 어느 하나)가 도시되었다. 이러한 노드(ND)는 검출모델(DM)의 어느 하나의 노드가 될 수 있다. 노드(ND)는 입력된 신호 x=[x1, x2, … , xn]에 가중치 w=[w1, w2, … , wn]를 적용한 후, 그 결과에 함수 F를 취한다. 여기서, 함수 F는 활성화 함수(activation function)이다.
각 노드(ND)의 출력은 다음의 수학식 2와 같다.
Figure 112022017442332-pat00053
여기서, 설명되지 않은 파라미터 중 b는 임계치이며, 이러한 임계치는 수학식 2에서
Figure 112022017442332-pat00054
의 값이 임계치 보다 작을 때 해당 노드가 활성화되지 않도록 하는 역할을 한다.
수학식 2에 따르면, 입력이 동일한 경우에도, 출력은 가중치(W)에 따라 다른 값이 된다. 예를 들면, 노드(ND)의 이전 계층의 노드가 3개라고 가정한다. 이에 따라, 해당 노드에 대해 3개의 입력(n=3) X1, X2, X3과 3개의 가중치 W1, W2, W3이 존재한다. 노드(h)는 3개의 입력 X1, X2, X3에 대응하는 가중치 W1, W2, W3을 곱한 값을 입력받고, 모두 합산한 후, 합산된 값을 활성화 함수에 대입하여 출력을 산출한다. 구체적으로, 입력 [X1, X2, X3] = 0.5, -0.3, 0이라고 가정하고, 가중치 w=[W1, W2, W3] = 4, 5, 2라고 가정한다. 또한, 설명의 편의를 위하여 전달 함수는 'sgn()'이라고 가정하면, 다음과 같이 출력값이 산출된다.
x1 × w1 = 0.5 × 4 = 2
x2 × w2 = - 0.3 × 5 = -1.5
x3 × w3 = 0 × 2 = 0
2 + (-1.5) + 0 = 0.5
sgn(0.5) = 1
이와 같이, 본 발명의 검출모델(DM)의 어느 하나의 노드(ND)는 이전 계층의 노드값에 가중치를 적용한 값을 입력받고, 이를 합산하여 활성화함수에 따라 연산을 수행하고, 이러한 결과를 다음 계층의 입력으로 전달한다.
정리하면, 검출모델(DM)의 어느 한 계층의 어느 하나의 노드는 이전 계층의 노드로부터의 입력에 가중치를 적용한 값을 입력받고, 이를 합산하여 활성화 함수를 취하고, 이러한 결과를 다음 계층의 입력으로 전달한다.
다시, 도 5를 참조하면, 출력층(OL)의 2개의 출력노드(P, N) 각각은 다이가 정상인 경우와, 불량인 경우에 대응한다. 즉, 제1 출력노드(P)는 정상인 경우에 대응하며, 제2 출력노드(N)는 불량인 경우에 대응한다. 이에 따라, 제1 출력노드(P)의 출력값은 입력층(IL)으로 입력된 검사이미지(img)에 포함된 모든 다이가 정상일 확률이며, 제2 출력노드(N)의 출력값은 입력된 검사이미지(img)에 포함된 적어도 하나의 다이가 불량일 확률을 나타낸다. 예컨대, 제1 및 제2 출력노드(P, N) 각각의 출력값이 각각 0.159, 0.841이면, 검사이미지(img)에 포함된 모든 다이가 정상일 확률이 16%이고, 검사이미지(img)에 포함된 적어도 하나의 다이가 불량일 확률이 84%이다. 이와 같이, 검출모델(DM)이 확률(0.159, 0.841)을 출력하면, 검출부(400)는 이러한 확률(0.159, 0.841)에 따라 입력벡터에 대응하는 적어도 하나의 다이에 불량이 발생한 것으로 판단한다.
다음으로, 본 발명의 실시예에 따른 비전 검사를 위한 인공신경망을 학습시키기 위한 방법에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 비전 검사를 위한 인공신경망을 학습시키기 위한 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 학습부(100)는 S110 단계에서 학습용 검사이미지 및 학습용 검사이미지에 대응하는 레이블을 포함하는 학습 데이터를 마련한다. 학습용 검사이미지는 불량 여부가 알려진 검사 대상 다이를 촬영한 다이 이미지를 하나 이상 포함한다. 또한, 학습용 검사이미지에 대응하는 레이블은 하드 레이블 및 소프트 레이블을 포함한다. 하드 레이블은 출력층의 하드 출력값에 대응하는 레이블이고, 소프트 레이블은 출력층의 소프트 출력값에 대응하는 레이블이다. 소프트 출력값은 다이가 정상인지 여부를 확률을 나타내는 값, 예컨대, [0.159, 0.841]로 나타내는 것이며, 하드 출력값은 확률을 나타내는 수치를 다이가 정상인지 여부를 결정한 값으로 나타내는 것이다. 예컨대, 소프트 출력값이 [0.159, 0.841]인 경우, 하드 출력값은 [0, 1]이 된다.
이와 같은, 학습용 검사이미지가 마련되면, 학습부(100)는 다음의 수학식 3과 같은 기본손실함수를 이용하여 학습을 수행할 수 있다.
Figure 112022017442332-pat00055
수학식 3에서 Lb은 기본손실함수를 나타낸다. yi는 하드 출력값이고, ei는 하드 출력값에 대응하는 하드 레이블이다. gi는 소프트 출력값이고, ci는 소프트 출력값에 대응하는 소프트 레이블이다. i는 출력층의 노드에 대응하는 인덱스이다. 그리고 H는 하이퍼파라미터를 나타낸다.
학습부(100)는 S120 단계에서 하드 손실 최적화를 위한 하이퍼파라미터를 설정한다. 이때, 학습부(100)는 하이퍼파라미터 H를 0으로 설정한다. 이러한 설정에 따라 수학식 3의 기본손실함수에서 하드 손실을 최적화하는 학습에서 사용되는 하드손실함수가 생성되며, 다음의 수학식 4와 같다.
Figure 112022017442332-pat00056
여기서, Lh은 하드손실 혹은 하드손실함수를 나타낸다. 수학식 3과 마찬가지로, yi는 하드 출력값이고, ei는 하드 레이블이다. 또한, i는 출력층의 노드에 대응하는 인덱스이다.
전술한 바와 같이 하이퍼파라미터가 설정되면, 학습부(100)는 S130 단계에서 하드 손실을 최적화하는 학습을 수행한다. 이러한 S130 단계에서 학습부(100)는 검출모델(DM)에 학습용 검사이미지를 입력한다. 그러면, 검출모델(DM)은 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 여기서, 출력값은 소프트 출력값이지만, 하드 손실을 최적화하는 학습에서는 하드 출력값을 이용해야 한다. 이에 따라, 학습부(100)는 소프트 출력값을 하드 출력값으로 변환하고, 변환된 하드 출력값 및 수학식 4와 같은 하드손실함수를 이용하여 앞서 설정된 하드 레이블과 하드 출력값의 차이를 나타내는 수학식 4의 하드손실함수의 손실, 즉, 하드 손실이 최소가 되도록 검출모델(DM)의 파라미터(예컨대, 수학식 2의 가중치, 임계치)를 수정하는 하드 손실 최적화를 수행한다. 이러한 하드 손실 최적화는 복수의 서로 다른 학습용 검사이미지를 이용하여 반복하여 수행되며, 이러한 반복은 평가 지표를 통해 원하는 정확도에 도달할 때까지 이루어질 수 있다.
다음으로, 학습부(100)는 S140 단계에서 복합 손실 최적화를 위한 하이퍼파라미터를 설정한다. 이때, 학습부(100)는 하이퍼파라미터 H를 0.5로 설정한다. 이러한 설정에 따라 수학식 3의 기본손실함수에서 복합 손실을 최적화하는 학습에서 사용되는 복합손실함수가 생성되며, 다음의 수학식 5와 같다.
Figure 112022017442332-pat00057
여기서, Lc는 복합손실함수 혹은 복합 손실을 나타낸다. yi는 하드 출력값이고, 상기 ei는 하드 레이블이다. 또한, gi는 소프트 출력값이고, ci는 소프트 레이블이다. i는 출력층의 노드에 대응하는 인덱스이다.
전술한 바와 같이 하이퍼파라미터가 설정되면, 학습부(100)는 S150 단계에서 복합 손실을 최적화하는 학습을 수행한다. 이때, 학습부(100)는 검출모델(DM)에 학습용 검사이미지를 입력한다. 그러면, 검출모델(DM)은 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 여기서, 출력값은 소프트 출력값이지만, 하드 출력값이 요구된다. 이에 따라, 학습부(100)는 소프트 출력값으로부터 하드 출력값을 도출하고, 소프트출력값과 하드출력값 및 수학식 5와 같은 복합손실함수를 이용하여 수학식 5의 복합손실함수의 복합 손실이 최소가 되도록 검출모델(DM)의 파라미터(예컨대, 수학식 2의 가중치, 임계치)를 수정하는 복합 손실 최적화를 수행한다. 이러한 복합 손실은 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실 및 소프트 레이블과 소프트 출력값의 차이를 소프트 손실을 포함한다. 이에 따라, 학습부(100)는 검출모델(DM)의 정밀화를 위해 복합 손실 최적화 시, 소프트 손실이 최소가 되면서, 복합 손실이 최소가 되도록 검출모델(DM)의 파라미터(예컨대, 수학식 2의 가중치, 임계치)를 수정한다. 이러한 복합 손실 최적화는 복수의 서로 다른 학습용 검사이미지를 이용하여 반복하여 수행되며, 이러한 반복은 평가 지표를 통해 원하는 정확도에 도달할 때까지 이루어질 수 있다.
다음으로, 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 방법에 대해서 설명하기로 한다. 도 9는 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 카메라부(200)는 S210 단계에서 웨이퍼를 촬영한 웨이퍼 이미지를 생성한다. 그러면, 이미지처리부(300)는 카메라부(200)로부터 웨이퍼 이미지를 수신하고, S220 단계에서 수신된 웨이퍼 이미지에 포함된 복수의 다이를 각 다이 별로 구분하여 복수의 다이 이미지를 생성하고, 생성된 복수의 다이 이미지를 정렬하여 하나 이상의 검사이미지를 생성한다. 이때, 이미지처리부(300)는 도 2 및 도 3에 도시된 바와 같이, 웨이퍼 이미지(W_img)에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지(D_img, 1~30)를 생성한다. 그런 다음, 이미지처리부(300)는 도 3에 도시된 바와 같이, 복수의 다이 이미지(D_img, 1~30)를 기 설정된 규격(예컨대, 4*4)의 하나 이상의 검사이미지(img1, img2)를 생성한다. 이때, 제2 검사이미지(img2)와 같이, 기 설정된 규격에서 다이 이미지가 부족한 경우, 부족한 부분은 검정색 이미지(B)로 채워 넣는다.
다음으로, 검출부(400)는 S240 단계에서 학습된 검출모델(DM)에 입력벡터를 입력한다.
그러면, 검출모델(DM)은 S260 단계에서 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 연산을 수행하여 입력벡터에 대응하는 적어도 하나의 다이의 불량유무에 대한 확률을 산출한다.
이러한 S250 단계에 대해 보다 구체적으로 설명하면 다음과 같다. 도 5를 참조하면,
입력층(IL)은 입력 버퍼의 역할을 수행하며, 입력층(IL)에 검사이미지(img)가 입력되면, 가버필터층(GL)은 검사이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버(gabor) 필터를 이용한 연산(필터링)을 통해 복수의 제1 특징지도(FM1: Feature Map 1)를 생성한다. 여기서, 가버(gabor) 필터는 전술한 수학식 1에 따라 생성된다. 즉, 파라미터
Figure 112022017442332-pat00058
,
Figure 112022017442332-pat00059
,
Figure 112022017442332-pat00060
,
Figure 112022017442332-pat00061
및
Figure 112022017442332-pat00062
중 적어도 하나의 파라미터가 상이한 복수의 가버(gabor) 필터를 이용하여 검사이미지(img)를 필터링함으로써 복수의 제1 특징지도(FM1)가 생성된다.
컨볼루션층(CL)은 가버필터층(GL)의 복수의 제1 특징지도(FM1)에 대해 컨벌루션용 필터(Fc)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제2 특징지도(FM2)를 도출한다.
이어서, 풀링층(PL)은 컨볼루션층(CL)의 복수의 제2 특징지도(FM2)에 대해 풀링용 필터(Fp)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제3 특징지도(FM3)를 도출한다.
완결연결층(FL)은 복수의 연산노드(h1 내지 hk)로 이루어진다. 완결연결층(FL)의 복수의 연산노드(h1 내지 hk)는 풀링층(PL)의 복수의 제3 특징지도(FM3)에 대해 활성화함수에 의한 연산을 통해 복수의 연산노드값을 산출한다.
도 5를 참조하면, 출력층(OL)은 2개의 출력노드(P, N)를 포함한다. 완결연결층(FL)의 복수의 연산노드(h1 내지 hk) 각각은 가중치(W: weight)를 가지는 채널(점선으로 표시)로 출력층(OL)의 출력노드(P, N)와 연결된다. 다른 말로, 복수의 연산노드(h1 내지 hk)의 복수의 연산노드값은 가중치가 적용되어 출력노드(P, N)에 각각 입력된다. 이에 따라, 출력층(OL)의 출력노드(P, N)는 완결연결층(FL)의 가중치가 적용되는 복수의 연산노드값에 대해 활성화함수에 의한 연산을 통해 출력값을 산출한다. 여기서, 출력층(OL)의 2개의 출력노드(P, N) 각각은 다이가 정상인 경우와, 불량인 경우에 대응한다. 즉, 제1 출력노드(P)는 정상인 경우에 대응하며, 제2 출력노드(N)는 불량인 경우에 대응한다. 이에 따라, 제1 출력노드(P)의 출력값은 입력층(IL)으로 입력된 검사이미지에 포함된 모든 다이가 정상일 확률이며, 제2 출력노드(N)의 출력값은 상기 입력층(IL)으로 입력된 검사이미지에 포함된 적어도 하나의 다이가 불량일 확률을 나타낸다.
이에 따라, 검출부(400)는 S250 단계에서 산출된 확률에 따라 입력벡터에 대응하는 적어도 하나의 다이의 불량 여부를 판단한다. 예컨대, 제1 및 제2 출력노드(P, N) 각각의 출력값이 각각 0.159, 0.841이면, 입력벡터에 대응하는 적어도 하나의 다이가 정상일 확률이 16%이고, 입력벡터에 대응하는 적어도 하나의 다이가 불량일 확률이 84%이다. 이와 같이, 검출모델(DM)이 확률(0.159, 0.841)을 출력하면, 검출부(400)는 이러한 확률(0.159, 0.841)에 따라 입력벡터에 대응하는 적어도 하나의 다이에 불량이 발생한 것으로 판단한다.
도 10은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 비전검사장치(10) 등) 일 수 있다.
도 10의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 비전검사장치
100: 학습부
200: 카메라부
300: 이미지처리부
400: 검출부

Claims (20)

  1. 비전 검사를 위한 장치에 있어서,
    하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사이미지를 생성하는 이미지처리부; 및
    복수의 가버 필터를 이용한 연산을 수행하는 가버필터층을 포함하는 검출모델을 통해 상기 검사이미지를 분석하여 다이의 불량 여부를 검출하는 검출부;
    를 포함하며,
    학습용 검사이미지 및 학습용 검사이미지에 대응하는 하드 레이블 및 소프트 레이블을 포함하는 레이블을 마련하고,
    기본손실함수의 하이퍼파라미터를 설정하여 하드 손실 최적화를 위한 하드손실함수를 생성하고,
    검출모델에 학습용 검사이미지를 입력하고,
    검출모델이 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하면,
    소프트 출력값을 하드 출력값으로 변환하고,
    변환된 하드 출력값 및 하드손실함수를 이용하여
    하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 하드 손실 최적화를 수행하는
    학습부;
    를 더 포함하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  2. 제1항에 있어서,
    상기 검출모델은
    검사이미지를 입력받는 입력층;
    상기 검사이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버 필터를 이용한 연산을 통해 복수의 제1 특징지도를 생성하는 가버필터층;
    상기 복수의 제1 특징지도에 대해 컨벌루션용 필터를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제2 특징지도를 도출하는 컨볼루션층;
    상기 복수의 제2 특징지도에 대해 풀링용 필터를 이용한 풀링 연산을 수행하여 복수의 제3 특징지도를 도출하는 풀링층;
    상기 복수의 제3 특징지도에 대해 활성화함수에 의한 연산을 통해 복수의 연산노드값을 산출하는 완결연결층; 및
    상기 복수의 연산노드값에 대해 활성화함수에 의한 연산을 통해 출력값을 산출하는 출력층;
    을 포함하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  3. 제2항에 있어서,
    상기 출력값은
    상기 입력층으로 입력된 검사이미지에 포함된 모든 다이가 정상일 확률 및
    상기 입력층으로 입력된 검사이미지에 포함된 적어도 하나의 다이가 불량일 확률을 포함하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  4. 제2항에 있어서,
    상기 가버(gabor) 필터는
    수학식
    Figure 112022017442332-pat00063

    에 따라 생성되며,
    상기
    Figure 112022017442332-pat00064
    는 커널의 너비이고,
    상기
    Figure 112022017442332-pat00065
    는 커널의 방향성이고,
    상기
    Figure 112022017442332-pat00066
    은 커널의 반복주기이고,
    상기
    Figure 112022017442332-pat00067
    는 상기 가버 필터의 중간값이고,
    상기
    Figure 112022017442332-pat00068
    는 상기 가버 의 가로세로의 비율이고,
    상기 가버필터층은
    상기
    Figure 112022017442332-pat00069
    , 상기
    Figure 112022017442332-pat00070
    , 상기
    Figure 112022017442332-pat00071
    , 상기
    Figure 112022017442332-pat00072
    , 상기
    Figure 112022017442332-pat00073
    중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 상기 복수의 제1 특징지도를 생성하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  5. 제1항에 있어서,
    상기 이미지처리부는
    웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고,
    생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사이미지를 생성하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 기본손실함수는
    수학식
    Figure 112023007659343-pat00074
    이고,
    상기 Lb은 기본손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 gi는 소프트 출력값이고,
    상기 ci는 소프트 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스이고,
    상기 H는 하이퍼파라미터인 것을 특징으로 하는
    비전 검사를 위한 장치.
  8. 제1항에 있어서,
    상기 하드손실함수는
    Figure 112023007659343-pat00075
    이고,
    상기 기본손실함수에서 하이퍼파라미터를 0으로 설정하여 생성되며,
    상기 Lh은 하드손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 하는
    비전 검사를 위한 장치.
  9. 제1항에 있어서,
    상기 학습부는
    기본손실함수의 하이퍼파라미터를 설정하여 복합 손실 최적화를 위한 복합 손실함수를 생성하고,
    검출모델에 학습용 검사이미지를 입력하고,
    검출모델이 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하면,
    소프트 출력값으로부터 하드 출력값을 도출하고,
    소프트 출력값, 하드 출력값 및 복합손실함수를 이용하여
    하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 복합 손실 최적화를 수행하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  10. 제9항에 있어서,
    상기 복합손실함수는
    Figure 112022017442332-pat00076
    이고,
    상기 기본손실함수에서 하이퍼파라미터를 0.5로 설정하여 생성되며,
    상기 Lc는 복합손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 gi는 소프트 출력값이고,
    상기 ci는 소프트 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 하는
    비전 검사를 위한 장치.
  11. 비전 검사를 위한 방법에 있어서,
    이미지처리부가 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사이미지를 생성하는 단계; 및
    검출부가 복수의 가버 필터를 이용한 연산을 수행하는 가버필터층을 포함하는 검출모델을 통해 상기 검사이미지를 분석하여 다이의 불량 여부를 검출하는 단계;
    를 포함하며,
    상기 검사이미지를 생성하는 단계 전,
    학습부가 학습용 검사이미지 및 학습용 검사이미지에 대응하는 하드 레이블 및 소프트 레이블을 포함하는 레이블을 마련하는 단계;
    상기 학습부가 기본손실함수의 하이퍼파라미터를 설정하여 하드 손실 최적화를 위한 하드손실함수를 생성하는 단계;
    상기 학습부가 검출모델에 학습용 검사이미지를 입력하는 단계;
    검출모델이 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하는 단계;
    상기 학습부가 소프트 출력값을 하드 출력값으로 변환하고, 변환된 하드 출력값 및 하드손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 하드 손실 최적화를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  12. 제11항에 있어서,
    상기 다이의 불량 여부를 검출하는 단계는
    상기 검출모델의 입력층이 검사이미지를 입력받는 단계;
    상기 검출모델의 가버필터층이 상기 검사이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버 필터를 이용한 연산을 통해 복수의 제1 특징지도를 생성하는 단계;
    상기 검출모델의 컨볼루션층; 상기 복수의 제1 특징지도에 대해 컨벌루션용 필터를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 복수의 제2 특징지도를 도출하는 단계;
    상기 검출모델의 풀링층이 상기 복수의 제2 특징지도에 대해 풀링용 필터를 이용한 풀링 연산을 수행하여 복수의 제3 특징지도를 도출하는 단계;
    상기 검출모델의 완결연결층이 상기 복수의 제3 특징지도에 대해 활성화함수에 의한 연산을 통해 복수의 연산노드값을 산출하는 단계; 및
    상기 검출모델의 출력층이 상기 복수의 연산노드값에 대해 활성화함수에 의한 연산을 통해 출력값을 산출하는 단계;
    를 포함하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  13. 제12항에 있어서,
    상기 출력값은
    상기 입력층으로 입력된 검사이미지에 포함된 모든 다이가 정상일 확률 및
    상기 입력층으로 입력된 검사이미지에 포함된 적어도 하나의 다이가 불량일 확률을 포함하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  14. 제12항에 있어서,
    상기 가버(gabor) 필터는
    수학식
    Figure 112022017442332-pat00077

    에 따라 생성되며,
    상기
    Figure 112022017442332-pat00078
    는 커널의 너비이고,
    상기
    Figure 112022017442332-pat00079
    는 커널의 방향성이고,
    상기
    Figure 112022017442332-pat00080
    은 커널의 반복주기이고,
    상기
    Figure 112022017442332-pat00081
    는 상기 가버 필터의 중간값이고,
    상기
    Figure 112022017442332-pat00082
    는 상기 가버 의 가로세로의 비율이고,
    상기 복수의 제1 특징지도를 생성하는 단계는
    상기 가버필터층이 상기
    Figure 112022017442332-pat00083
    , 상기
    Figure 112022017442332-pat00084
    , 상기
    Figure 112022017442332-pat00085
    , 상기
    Figure 112022017442332-pat00086
    , 상기
    Figure 112022017442332-pat00087
    중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 상기 복수의 제1 특징지도를 생성하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  15. 제11항에 있어서,
    상기 검사이미지를 생성하는 단계는
    상기 이미지처리부가 웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고,
    생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사이미지를 생성하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  16. 삭제
  17. 제11항에 있어서,
    상기 기본손실함수는
    수학식
    Figure 112023007659343-pat00088
    이고,
    상기 Lb은 기본손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 gi는 소프트 출력값이고,
    상기 ci는 소프트 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스이고,
    상기 H는 하이퍼파라미터인 것을 특징으로 하는
    비전 검사를 위한 방법.
  18. 제11항에 있어서,
    상기 하드손실함수는
    Figure 112023007659343-pat00089
    이고,
    상기 기본손실함수에서 하이퍼파라미터를 0으로 설정하여 생성되며,
    상기 Lh은 하드손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 하는
    비전 검사를 위한 방법.
  19. 제11항에 있어서,
    상기 학습부가 기본손실함수의 하이퍼파라미터를 설정하여 복합 손실 최적화를 위한 복합 손실함수를 생성하는 단계;
    상기 학습부가 검출모델에 학습용 검사이미지를 입력하는 단계;
    검출모델이 학습용 검사이미지에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하는 단계;
    상기 학습부가 소프트 출력값으로부터 하드 출력값을 도출하고, 소프트 출력값, 하드 출력값 및 복합손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 복합 손실 최적화를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  20. 제19항에 있어서,
    상기 복합손실함수는
    Figure 112022017442332-pat00090
    이고,
    상기 기본손실함수에서 하이퍼파라미터를 0.5로 설정하여 생성되며,
    상기 Lc는 복합손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 gi는 소프트 출력값이고,
    상기 ci는 소프트 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 하는
    비전 검사를 위한 방법.


KR1020220020237A 2021-12-22 2022-02-16 특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법 KR102516199B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210184777 2021-12-22
KR20210184777 2021-12-22

Publications (1)

Publication Number Publication Date
KR102516199B1 true KR102516199B1 (ko) 2023-03-30

Family

ID=85985838

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020220020239A KR102533365B1 (ko) 2021-12-22 2022-02-16 오토인코더를 이용한 비전 검사를 위한 장치 및 이를 위한 방법
KR1020220020236A KR102516198B1 (ko) 2021-12-22 2022-02-16 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법
KR1020220020237A KR102516199B1 (ko) 2021-12-22 2022-02-16 특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020220020239A KR102533365B1 (ko) 2021-12-22 2022-02-16 오토인코더를 이용한 비전 검사를 위한 장치 및 이를 위한 방법
KR1020220020236A KR102516198B1 (ko) 2021-12-22 2022-02-16 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (3) KR102533365B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190740A (ja) * 2009-02-18 2010-09-02 Nikon Corp 基板検査装置、方法およびプログラム
KR20110120461A (ko) 2010-04-29 2011-11-04 주식회사 미르기술 비전검사장치
CN108171688A (zh) * 2017-12-19 2018-06-15 浙江大学 一种基于Gabor特征与随机降维的晶圆表面缺陷检测方法
CN109977808A (zh) * 2019-03-11 2019-07-05 北京工业大学 一种晶圆表面缺陷模式检测与分析方法
CN110766660A (zh) * 2019-09-25 2020-02-07 上海众壹云计算科技有限公司 基于融合深度学习模型的集成电路缺陷图像识别分类系统
CN111696077A (zh) * 2020-05-11 2020-09-22 余姚市浙江大学机器人研究中心 一种基于WaferDet网络的晶圆缺陷检测方法
KR20200137219A (ko) * 2019-05-29 2020-12-09 삼성에스디에스 주식회사 비지도 학습 기반 웨이퍼 불량 패턴 검출 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511175A (ja) * 1998-03-23 2002-04-09 松下電器産業株式会社 画像認識方法
US10210606B2 (en) * 2014-10-14 2019-02-19 Kla-Tencor Corporation Signal response metrology for image based and scatterometry overlay measurements
KR101635461B1 (ko) * 2014-11-05 2016-07-04 한밭대학교 산학협력단 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
KR102336962B1 (ko) * 2021-05-11 2021-12-07 호서대학교 산학협력단 반-약 지도 학습을 통해 자동으로 라벨링을 수행하기 위한 장치 및 이를 위한 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190740A (ja) * 2009-02-18 2010-09-02 Nikon Corp 基板検査装置、方法およびプログラム
KR20110120461A (ko) 2010-04-29 2011-11-04 주식회사 미르기술 비전검사장치
CN108171688A (zh) * 2017-12-19 2018-06-15 浙江大学 一种基于Gabor特征与随机降维的晶圆表面缺陷检测方法
CN109977808A (zh) * 2019-03-11 2019-07-05 北京工业大学 一种晶圆表面缺陷模式检测与分析方法
KR20200137219A (ko) * 2019-05-29 2020-12-09 삼성에스디에스 주식회사 비지도 학습 기반 웨이퍼 불량 패턴 검출 방법 및 그 장치
CN110766660A (zh) * 2019-09-25 2020-02-07 上海众壹云计算科技有限公司 基于融合深度学习模型的集成电路缺陷图像识别分类系统
CN111696077A (zh) * 2020-05-11 2020-09-22 余姚市浙江大学机器人研究中心 一种基于WaferDet网络的晶圆缺陷检测方法

Also Published As

Publication number Publication date
KR102533365B1 (ko) 2023-05-17
KR102516198B1 (ko) 2023-03-30

Similar Documents

Publication Publication Date Title
CN111582201B (zh) 一种基于几何注意力感知的车道线检测系统
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
JP2019087181A (ja) 画像検査装置および方法
CN114972989B (zh) 一种基于深度学习算法的单幅遥感影像高度信息估算方法
CN113591823B (zh) 深度预测模型的训练及人脸深度图像的生成方法、装置
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
WO2022126522A1 (zh) 物体识别方法、装置、可移动平台以及存储介质
CN114897738A (zh) 一种基于语义不一致性检测的图像盲修复方法
CN115578704A (zh) 深度估计模型训练、深度估计方法、装置、设备及介质
WO2021147055A1 (en) Systems and methods for video anomaly detection using multi-scale image frame prediction network
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
CN110705564A (zh) 图像识别的方法和装置
CN113807185A (zh) 一种数据处理方法和装置
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111813882B (zh) 一种机器人地图构建方法、设备及存储介质
KR102516199B1 (ko) 특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN116468702A (zh) 黄褐斑评估方法、装置、电子设备及计算机可读存储介质
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN116009581A (zh) 输电线路的无人机巡检方法、无人机控制终端及存储介质
US20240153120A1 (en) Method to determine the depth from images by self-adaptive learning of a neural network and system thereof
KR20230046361A (ko) 심층신경망을 기초로 생산 설비의 상태를 진단하기 위한 장치 및 이를 위한 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant