KR102516198B1 - 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법 - Google Patents

인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR102516198B1
KR102516198B1 KR1020220020236A KR20220020236A KR102516198B1 KR 102516198 B1 KR102516198 B1 KR 102516198B1 KR 1020220020236 A KR1020220020236 A KR 1020220020236A KR 20220020236 A KR20220020236 A KR 20220020236A KR 102516198 B1 KR102516198 B1 KR 102516198B1
Authority
KR
South Korea
Prior art keywords
hard
input vector
output value
loss function
learning
Prior art date
Application number
KR1020220020236A
Other languages
English (en)
Inventor
박승범
이해구
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Application granted granted Critical
Publication of KR102516198B1 publication Critical patent/KR102516198B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Power Engineering (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

비전 검사를 위한 장치는 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 이미지처리부와, 상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 입력벡터를 생성하고, 학습된 검출모델을 통해 생성된 입력벡터를 분석하여 다이의 불량 여부를 검출하는 검출부를 포함한다.

Description

인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법{Apparatus for vision inspection using artificial neural network and method therefor}
본 발명은 비전 검사를 위한 기술에 관한 것으로, 보다 상세하게는, 인공신경망(artificial neural network)을 이용한 비전 검사를 위한 장치 및 이를 위한 방법에 관한 것이다.
제조 자동화 및 품질 향상을 위한 불량 검출을 목적으로 컴퓨터 비전을 활용한 많은 영상 검사기들이 개발되었다. 이들은 불량의 후공정 유출을 방지하기 위해 제조 현장에 적용되고 있다. 대부분의 영상 검사기들은 규칙 기반의 알고리즘이 적용된다. 이는 균일한 조명, 피사체의 정위치 및 주변 객체에 의해 검사 대상이 가리워지지 않은 환경이 보장되는 경우 치수 측정, 조립 유무 검사, 이물질(Foreign Material) 검사 등에서 우수한 성능을 보이고 있다.
최근 인간의 신경망 개념을 차용한 딥러닝까지 적용되어 영상검사는 비약적인 발전을 보이고 있다. 그러나 검사 환경이 열악한 경우 조명 변화에 따른 이미지 편차 또는 영상 취득, 카메라 렌즈 조건에 따라 원근(Perspective)이 적용된 이미지 편차가 발생되어 오검출율을 높이고 검사 신뢰성에 문제를 야기한다. 문제 해결을 위해서는 제품의 정위치 장치와 암실을 포함한 조명 설계는 물론 클린룸 조성을 통해 주변 조명에 영향을 받지 않는 검사 환경을 구현하는 것이 필수적이다. 하지만, 반도체 제조와 같은 대형 장치 기반 공정의 경우 검사를 위한 환경 구축에 많은 시간, 공간과 비용이 요구되어 검사기 적용이 어려운 경우가 많다.
한국공개특허 제2011-0120461호 (2011년11월04일 공개)
본 발명의 목적은 별도의 환경 구축이 없는 경우에도 비전 검사의 정확한 판별을 가능하게 할 수 있는 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 비전 검사를 위한 장치는 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 이미지처리부와, 상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 입력벡터를 생성하고, 학습된 검출모델을 통해 생성된 입력벡터를 분석하여 다이의 불량 여부를 검출하는 검출부를 포함한다.
상기 검출부는 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고, 분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후, 주파수 대역으로 변환된 서브 블록 각각을 양자화하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 검출부는 검사 이미지에 대해 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고, 복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 가버(gabor) 필터는 수학식
Figure 112022017442297-pat00001
에 따라 생성되며, 상기
Figure 112022017442297-pat00002
는 커널의 너비이고, 상기
Figure 112022017442297-pat00003
는 커널의 방향성이고, 상기
Figure 112022017442297-pat00004
은 커널의 반복주기이고, 상기
Figure 112022017442297-pat00005
는 상기 가버 필터의 중간값이고, 상기
Figure 112022017442297-pat00006
는 상기 가버 의 가로세로의 비율이고, 상기 검출부는 상기
Figure 112022017442297-pat00007
, 상기
Figure 112022017442297-pat00008
, 상기
Figure 112022017442297-pat00009
, 상기
Figure 112022017442297-pat00010
, 상기
Figure 112022017442297-pat00011
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 검출부는 상기 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환하고, 변환된 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 검출부는 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature)을 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환하고, 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 이미지처리부는 웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고, 생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사 이미지를 생성하는 것을 특징으로 한다.
상기 장치는 학습용 입력벡터 및 학습용 입력벡터에 대응하는 하드 레이블 및 소프트 레이블을 포함하는 레이블을 마련하고, 기본손실함수의 하이퍼파라미터를 설정하여 하드 손실 최적화를 위한 하드손실함수를 생성하고, 검출모델에 학습용 입력벡터를 입력하고, 검출모델이 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하면, 소프트 출력값을 하드 출력값으로 변환하고, 변환된 하드 출력값 및 하드손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 하드 손실 최적화를 수행하는 학습부를 더 포함한다.
상기 기본손실함수는 수학식
Figure 112022017442297-pat00012
이고, 상기 Lb은 기본손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 gi는 소프트 출력값이고, 상기 ci는 소프트 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스이고, 상기 H는 하이퍼파라미터인 것을 특징으로 한다.
상기 하드손실함수는
Figure 112022017442297-pat00013
이고, 상기 기본손실함수에서 하이퍼파라미터를 0으로 설정하여 생성되며, 상기 Lh은 하드손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 한다.
상기 학습부는 기본손실함수의 하이퍼파라미터를 설정하여 복합 손실 최적화를 위한 복합 손실함수를 생성하고, 검출모델에 학습용 입력벡터를 입력하고, 검출모델이 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하면, 소프트 출력값으로부터 하드 출력값을 도출하고, 소프트 출력값, 하드 출력값 및 복합손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 복합 손실 최적화를 수행하는 것을 특징으로 한다.
상기 복합손실함수는
Figure 112022017442297-pat00014
이고, 상기 기본손실함수에서 하이퍼파라미터를 0.5로 설정하여 생성되며, 상기 Lc는 복합손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 gi는 소프트 출력값이고, 상기 ci는 소프트 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 비전 검사를 위한 방법은 이미지처리부가 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 단계와, 검출부가 상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 입력벡터를 생성하는 단계와, 상기 검출부가 학습된 검출모델을 통해 생성된 입력벡터를 분석하여 다이의 불량 여부를 검출하는 단계를 포함한다.
상기 입력벡터를 생성하는 단계는 상기 검출부가 상기 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고, 분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후, 주파수 대역으로 변환된 서브 블록 각각을 양자화하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 입력벡터를 생성하는 단계는 상기 검출부가 상기 검사 이미지에 대해 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고, 복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 가버(gabor) 필터는 수학식
Figure 112022017442297-pat00015
에 따라 생성되며, 상기
Figure 112022017442297-pat00016
는 커널의 너비이고, 상기
Figure 112022017442297-pat00017
는 커널의 방향성이고, 상기
Figure 112022017442297-pat00018
은 커널의 반복주기이고, 상기
Figure 112022017442297-pat00019
는 상기 가버 필터의 중간값이고, 상기
Figure 112022017442297-pat00020
는 상기 가버 의 가로세로의 비율인 것을 특징으로 한다. 여기서, 상기 입력벡터를 생성하는 단계는 상기 검출부가 상기
Figure 112022017442297-pat00021
, 상기
Figure 112022017442297-pat00022
, 상기
Figure 112022017442297-pat00023
, 상기
Figure 112022017442297-pat00024
, 상기
Figure 112022017442297-pat00025
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 입력벡터를 생성하는 단계는 상기 검출부가 상기 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환하고, 변환된 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 입력벡터를 생성하는 단계는 상기 검출부가 상기 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature)을 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환하고, 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 한다.
상기 검사 이미지를 생성하는 단계는 상기 이미지처리부가 웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고, 생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사 이미지를 생성하는 것을 특징으로 한다.
상기 방법은 상기 검사 이미지를 생성하는 단계 전, 학습부가 학습용 입력벡터 및 학습용 입력벡터에 대응하는 하드 레이블 및 소프트 레이블을 포함하는 레이블을 마련하는 단계와, 상기 학습부가 기본손실함수의 하이퍼파라미터를 설정하여 하드 손실 최적화를 위한 하드손실함수를 생성하는 단계와, 상기 학습부가 검출모델에 학습용 입력벡터를 입력하는 단계와, 상기 검출모델이 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하는 단계와, 상기 학습부가 소프트 출력값을 하드 출력값으로 변환하고, 변환된 하드 출력값 및 하드손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 하드 손실 최적화를 수행하는 단계를 더 포함한다.
상기 기본손실함수는 수학식
Figure 112022017442297-pat00026
이고, 상기 Lb은 기본손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 gi는 소프트 출력값이고, 상기 ci는 소프트 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스이고, 상기 H는 하이퍼파라미터인 것을 특징으로 한다.
상기 하드손실함수는
Figure 112022017442297-pat00027
이고, 상기 기본손실함수에서 하이퍼파라미터를 0으로 설정하여 생성되며, 상기 Lh은 하드손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 한다.
상기 하드 손실 최적화를 수행하는 단계 후, 상기 학습부가 기본손실함수의 하이퍼파라미터를 설정하여 복합 손실 최적화를 위한 복합 손실함수를 생성하는 단계와, 상기 학습부가 검출모델에 학습용 입력벡터를 입력하는 단계와, 상기 검출모델이 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하는 단계와, 상기 학습부가 소프트 출력값으로부터 하드 출력값을 도출하고, 소프트 출력값, 하드 출력값 및 복합손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 복합 손실 최적화를 수행하는 단계를 더 포함한다.
상기 복합손실함수는
Figure 112022017442297-pat00028
이고, 상기 기본손실함수에서 하이퍼파라미터를 0.5로 설정하여 생성되며, 상기 Lc는 복합손실함수를 나타내고, 상기 yi는 하드 출력값이고, 상기 ei는 하드 레이블이고, 상기 gi는 소프트 출력값이고, 상기 ci는 소프트 레이블이고, 상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 한다.
본 발명에 따르면 특징검출필터를 이용함으로써, 치수 측정 검사나 미세한 이물 검사에서 조명의 변화, 주변 부품에 의한 일부 가려짐, 원근에 의한 이미지 변형에도 높은 정확도의 비전 검사 결과를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 웨이퍼를 촬영한 웨이퍼 이미지를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 다이 이미지 및 검사 이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 불량 다이가 촬영된 다이 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 특징검출필터 중 가버 필터를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 구성을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 노드를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 비전 검사를 위한 인공신경망을 학습시키기 위한 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 웨이퍼를 촬영한 웨이퍼 이미지를 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 다이 이미지 및 검사 이미지를 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른 불량 다이가 촬영된 다이 이미지를 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 특징검출필터 중 가버 필터를 설명하기 위한 도면이다. 도 6은 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 구성을 설명하기 위한 도면이다. 도 7은 본 발명의 실시예에 따른 비전 검사를 위한 검출모델의 노드를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 장치(10, 이하, '비전검사장치'로 칭함)는 학습부(100), 카메라부(200), 이미지처리부(300) 및 검출부(400)를 포함한다.
학습부(100)는 검출모델(DM)을 학습시키기 위한 것이다. 검출모델(DM)은 인공신경망이며, 다층퍼셉트론(MLP: Multilayer Perceptron)이 될 수 있다. 이러한 학습부(100)의 학습 방법에 대해서는 아래에서 더 상세하게 설명하기로 한다.
카메라부(200)는 웨이퍼를 촬영하여 웨이퍼 이미지를 생성하기 위한 것이다. 이러한 웨이퍼 이미지의 일례를 도 2에 도시하였다. 도시된 바와 같이, 웨이퍼 상에 복수의 다이가 존재하며, 복수의 다이는 스크라이브 라인을 통해 구분된다. 본 발명의 실시예에 따르면, 카메라부(200)는 웨이퍼의 노치를 위쪽(12시 방향)으로 향하게 하고, 플랫 존을 아래 방향으로 하여 촬영을 수행할 수 있다.
이미지처리부(300) 도 3을 참조하면, 카메라부(200)로부터 웨이퍼를 촬영한 웨이퍼 이미지(W_img)를 수신하면, 수신된 웨이퍼 이미지(W_img)에 포함된 복수의 다이를 각 다이 별로 구분하여 복수의 다이 이미지(D_img, 1~30)를 생성한다. 도 4에 도시된 제1 내지 제4 다이 이미지(D_img1~D_img4)는 불량 다이를 촬영한 다이 이미지의 예들을 보인다. 그리고 이미지처리부(300)는 생성된 복수의 다이 이미지(D_img, 1~30)를 정렬하여 하나 이상의 검사 이미지(img1, img2)를 생성한다. 이때, 이미지처리부(300)는 도 2 및 도 3에 도시된 바와 같이, 웨이퍼 이미지(W_img)에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지(D_img, 1~30)를 생성한다. 그런 다음, 이미지처리부(300)는 도 3에 도시된 바와 같이, 복수의 다이 이미지(D_img, 1~30)를 기 설정된 규격(예컨대, 4*4)의 하나 이상의 검사 이미지(img1, img2)를 생성한다. 이때, 제2 검사이미지(img2)와 같이, 기 설정된 규격에서 다이 이미지가 부족한 경우, 부족한 부분은 검정색 이미지(B)로 채워 넣는다.
검출부(400)는 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 검사 이미지(예컨대, img1, img2)의 특징을 나타내는 입력벡터를 생성한다.
제1 실시예에 따르면, 검출부(400)는 제1 필터를 이용한 연산을 통해 입력벡터를 생성할 수 있다. 이러한 제1 필터는 이미지 계수 필터가 될 수 있다. 보다 구체적으로 설명하면, 검출부(400)는 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고, 분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후, 주파수 대역으로 변환된 서브 블록 각각을 양자화하여 입력벡터를 생성할 수 있다.
제2 실시예에 따르면, 검출부(400)는 제2 필터를 이용한 연산을 통해 입력벡터를 생성할 수 있다. 이러한 제2 필터는 가버(gabor) 필터가 될 수 있다. 보다 구체적으로 설명하면, 검출부(400)는 검사 이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고, 복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 입력벡터를 생성할 수 있다. 여기서, 가버(gabor) 필터는 다음의 수학식 1에 따라 생성된다.
Figure 112022017442297-pat00029
여기서, x, y는 가버 필터의 좌표를 나타낸다. 도 5의 (A)를 참조하면,
Figure 112022017442297-pat00030
는 가버 필터에서 커널(Kernel)의 너비를 나타낸다. 여기서,
Figure 112022017442297-pat00031
=5, 10, 15인 경우가 도시되었다. 도 5의 (B)를 참조하면,
Figure 112022017442297-pat00032
는 가버 필터에서 커널의 방향성을 나타낸다. 여기서,
Figure 112022017442297-pat00033
=
Figure 112022017442297-pat00034
/4,
Figure 112022017442297-pat00035
/2,
Figure 112022017442297-pat00036
(0)가 사용된 예가 도시되었다. 도 5의 (C)를 참조하면,
Figure 112022017442297-pat00037
은 가버 필터에서 커널의 반복주기를 나타낸다. 여기서,
Figure 112022017442297-pat00038
=
Figure 112022017442297-pat00039
/4,
Figure 112022017442297-pat00040
/2,
Figure 112022017442297-pat00041
가 사용된 예가 도시되었다. 도 5의 (D)를 참조하면,
Figure 112022017442297-pat00042
는 가버 필터에서 필터의 중간값(혹은 중심 주파수)을 나타내며,
Figure 112022017442297-pat00043
=0,
Figure 112022017442297-pat00044
/2,
Figure 112022017442297-pat00045
가 사용된 예가 도시되었다.
Figure 112022017442297-pat00046
는 가버 필터에서 필터의 가로세로의 비율이며,
Figure 112022017442297-pat00047
=1, 1/2을 사용한 예가 도시되었다. 즉, 제2 실시예에 따르면, 검출부(400)는 파라미터
Figure 112022017442297-pat00048
,
Figure 112022017442297-pat00049
,
Figure 112022017442297-pat00050
,
Figure 112022017442297-pat00051
및
Figure 112022017442297-pat00052
중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 입력벡터를 생성한다.
제3 실시예에 따르면, 검출부(400)는 제3 필터를 이용한 연산을 통해 입력벡터를 생성할 수 있다. 이러한 제3 필터는 색상 분할(Color Segmentation) 필터가 될 수 있다. 보다 구체적으로 설명하면, 검출부(400)는 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환한 후, 주파수 영역의 값을 소정 개수의 대역(예컨대, 10개의 대역)으로 양자화하여 입력벡터를 생성할 수 있다.
제4 실시예에 따르면, 검출부(400)는 제4 필터를 이용한 연산을 통해 입력벡터를 생성할 수 있다. 이러한 제4 필터는 텍스처 분할(Texture Segmentation) 필터가 될 수 있다. 보다 구체적으로 설명하면, 검출부(400)는 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature) 채널을 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환한 후, 주파수 영역의 값을 소정 개수의 대역(예컨대, 10개의 대역)으로 양자화하여 입력벡터를 생성할 수 있다.
도 6을 참조하면, 검출부(400)는 검사 이미지(img)에 대해 전술한 제1 내지 제4 실시예에 중 적어도 하나에 따른 복수의 필터(F1 내지 Fm)를 이용하여 입력벡터를 생성할 수 있다.
입력벡터가 생성되면, 검출부(400)는 검출모델(DM)을 통해 입력벡터를 분석하여 불량이 발생한 다이를 검출한다. 이때, 검출모델(DM)은 입력벡터를 분석하여 상기 다이의 불량유무에 대한 확률을 산출하고, 검출부(400)는 산출된 확률에 따라 불량이 발생한 다이를 검출한다.
검출모델(DM)은 도 6에 도시된 바와 같이, 다층퍼셉트론(MLP: Multilayer Perceptron)이 될 수 있다. 검출모델(DM)은 복수의 계층(IL, HL, OL)을 포함한다. 이러한 복수의 계층은 입력층(IL), 복수의 은닉 계층(HL: HL1 내지 HLk) 및 출력층(OL)을 포함한다.
또한, 복수의 계층(IL, HL, OL) 각각은 복수의 노드를 포함한다. 예컨대, 입력층(IL)은 n개의 입력노드(i1 ~ in)를 포함하며, 출력층(OL)은 2개의 출력노드(P, N)를 포함할 수 있다. 또한, 은닉층(HL) 중 제1 은닉계층(HL1)은 a개의 노드(h11 ~ h1a)를 포함하고, 제2 은닉계층(HL2)은 b개의 노드(h21 ~ h2b)를 포함하고, 제k 은닉계층(HLk)은 c개의 노드(hk1 ~ hkc)를 포함할 수 있다.
복수의 계층의 복수의 노드 모두는 연산을 가진다. 특히, 서로 다른 계층의 복수의 노드는 가중치(W: weight)를 가지는 채널(점선으로 표시)로 연결된다. 다른 말로, 어느 하나의 노드의 연산 결과는 가중치가 적용되어 다음 계층 노드의 입력이 된다.
한편, 도 7에 본 발명의 실시예에 따른 노드(h)가 도시되었다. 이러한 노드(h)는 검출모델(DM)의 어느 하나의 노드가 될 수 있다. 노드(h)는 입력된 신호 x=[x1, x2, … , xn]에 가중치 w=[w1, w2, … , wn]를 적용한 후, 그 결과에 함수 F를 취한다. 여기서, 함수 F는 활성화 함수(activation function)이다. 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 이러한 활성화함수 중 어느 하나를 선택하여 사용할 수 있다.
각 노드의 출력은 다음의 수학식 2와 같다.
Figure 112022017442297-pat00053
여기서, 설명되지 않은 파라미터 중 b는 임계치이며, 이러한 임계치는 수학식 2에서
Figure 112022017442297-pat00054
의 값이 임계치 보다 작을 때 해당 노드가 활성화되지 않도록 하는 역할을 한다.
수학식 2에 따르면, 입력이 동일한 경우에도, 출력은 가중치(W)에 따라 다른 값이 된다. 예를 들면, 노드(h)의 이전 계층의 노드가 3개라고 가정한다. 이에 따라, 해당 노드에 대해 3개의 입력(n=3) X1, X2, X3과 3개의 가중치 W1, W2, W3이 존재한다. 노드(h)는 3개의 입력 X1, X2, X3에 대응하는 가중치 W1, W2, W3을 곱한 값을 입력받고, 모두 합산한 후, 합산된 값을 활성화 함수에 대입하여 출력을 산출한다. 구체적으로, 입력 [X1, X2, X3] = 0.5, -0.3, 0이라고 가정하고, 가중치 w=[W1, W2, W3] = 4, 5, 2라고 가정한다. 또한, 설명의 편의를 위하여 전달 함수는 'sgn()'이라고 가정하면, 다음과 같이 출력값이 산출된다.
x1 × w1 = 0.5 × 4 = 2
x2 × w2 = - 0.3 × 5 = -1.5
x3 × w3 = 0 × 2 = 0
2 + (-1.5) + 0 = 0.5
sgn(0.5) = 1
이와 같이, 본 발명의 검출모델(DM)의 어느 하나의 노드는 이전 계층의 노드값에 가중치를 적용한 값을 입력받고, 이를 합산하여 활성화함수에 따라 연산을 수행하고, 이러한 결과를 다음 계층의 입력으로 전달한다.
정리하면, 검출모델(DM)의 어느 한 계층의 어느 하나의 노드는 이전 계층의 노드로부터의 입력에 가중치를 적용한 값을 입력받고, 이를 합산하여 활성화 함수를 취하고, 이러한 결과를 다음 계층의 입력으로 전달한다. 이에 따라, 입력벡터가 검출모델(DM)의 입력층(IL)에 입력되면, 검출모델(DM)은 입력벡터에 대해 복수의 계층(IL, HL, OL)의 가중치가 적용되는 복수의 연산을 수행하여 다이의 불량유무에 대한 확률을 산출한다. 그러면, 검출부(400)는 산출된 확률에 따라 불량이 발생한 다이를 검출한다.
다시 도 6을 참조하면, 입력벡터가 검출모델(DM)의 입력층(IL)의 복수의 입력노드(i1 ~ in)에 입력되면, 제1 은닉층(HL1)의 복수의 제1 은닉노드(h11 ~ h1a) 각각은 복수의 입력노드(i1 ~ in)의 입력벡터에 가중치가 적용된 값을 입력받고(점선으로 표시), 입력된 값을 모두 합산한 후, 합산된 값에 대해 활성화함수에 따른 연산을 수행하여 복수의 제1 은닉노드값을 산출한다. 이어서, 제2 은닉층(PHL2)의 복수의 제2 은닉노드(h21 ~ h2b) 각각은 복수의 제1 은닉노드(h11 ~ h1a)의 복수의 제1 은닉노드값 각각에 가중치가 적용된 값을 입력받고(점선으로 표시), 입력된 값을 모두 합산하고, 합산된 값에 대해 활성화함수에 따른 연산을 수행하여 복수의 제2 은닉노드값을 산출한다. 이와 같은 방식으로, 은닉층(HL) 내에서 이전의 노드값이 가중치가 적용되어 전달되고, 연산을 통해 현재의 노드값이 산출된다. 이러한 과정을 반복하여, 제k 은닉계층(PHLk)의 복수의 제k 은닉노드(hk1 ~ hkc)의 복수의 제k 은닉노드값을 산출할 수 있다. 그러면, 출력노드(P, N) 각각은 제k 은닉계층(PHLk)의 복수의 제k 은닉노드(hk1 ~ hkc)의 복수의 제k 은닉노드값에 가중치 w=[w1, w2, … , wc×2]가 적용된 값을 입력받고(점선으로 표시), 입력된 값을 모두 합산한 후, 합산된 값에 대해 활성화함수에 따른 연산을 수행하여 출력값을 산출한다.
출력층(OL)의 2개의 출력노드(P, N) 각각은 다이가 정상인 경우와, 불량인 경우에 대응한다. 즉, 제1 출력노드(P)는 정상인 경우에 대응하며, 제2 출력노드(N)는 불량인 경우에 대응한다. 이에 따라, 제1 출력노드(P)의 출력값은 입력층(IL)으로 입력된 입력벡터에 대응하는 적어도 하나의 다이가 정상일 확률이며, 제2 출력노드(N)의 출력값은 입력된 입력벡터에 대응하는 적어도 하나의 다이가 불량일 확률을 나타낸다. 예컨대, 제1 및 제2 출력노드(P, N) 각각의 출력값이 각각 0.159, 0.841이면, 입력벡터에 대응하는 적어도 하나의 다이가 정상일 확률이 16%이고, 입력벡터에 대응하는 적어도 하나의 다이가 불량일 확률이 84%이다. 이와 같이, 검출모델(DM)이 확률(0.159, 0.841)을 출력하면, 검출부(400)는 이러한 확률(0.159, 0.841)에 따라 입력벡터에 대응하는 적어도 하나의 다이에 불량이 발생한 것으로 판단한다.
다음으로, 본 발명의 실시예에 따른 비전 검사를 위한 인공신경망을 학습시키기 위한 방법에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 비전 검사를 위한 인공신경망을 학습시키기 위한 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 학습부(100)는 S110 단계에서 학습용 입력벡터 및 학습용 입력벡터에 대응하는 레이블을 포함하는 학습 데이터를 마련한다. 학습용 입력벡터는 전술한 바와 같이, 학습용 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 생성된다. 학습용 검사 이미지는 불량 여부가 알려진 검사 대상 다이를 촬영한 다이 이미지를 하나 이상 포함한다. 또한, 학습용 입력벡터에 대응하는 레이블은 하드 레이블 및 소프트 레이블을 포함한다. 하드 레이블은 출력층의 하드 출력값에 대응하는 레이블이고, 소프트 레이블은 출력층의 소프트 출력값에 대응하는 레이블이다. 소프트 출력값은 다이가 정상인지 여부를 확률을 나타내는 값, 예컨대, [0.159, 0.841]로 나타내는 것이며, 하드 출력값은 확률을 나타내는 수치를 다이가 정상인지 여부를 결정한 값으로 나타내는 것이다. 예컨대, 소프트 출력값이 [0.159, 0.841]인 경우, 하드 출력값은 [0, 1]이 된다.
이와 같은, 학습용 입력벡터가 마련되면, 학습부(100)는 다음의 수학식 3과 같은 기본손실함수를 이용하여 학습을 수행할 수 있다.
Figure 112022017442297-pat00055
수학식 3에서 Lb은 기본손실함수를 나타낸다. yi는 하드 출력값이고, ei는 하드 출력값에 대응하는 하드 레이블이다. gi는 소프트 출력값이고, ci는 소프트 출력값에 대응하는 소프트 레이블이다. i는 출력층의 노드에 대응하는 인덱스이다. 그리고 H는 하이퍼파라미터를 나타낸다.
학습부(100)는 S120 단계에서 하드 손실 최적화를 위한 하이퍼파라미터를 설정한다. 이때, 학습부(100)는 하이퍼파라미터 H를 0으로 설정한다. 이러한 설정에 따라 수학식 3의 기본손실함수에서 하드 손실을 최적화하는 학습에서 사용되는 하드손실함수가 생성되며, 다음의 수학식 4와 같다.
Figure 112022017442297-pat00056
여기서, Lh은 하드손실 혹은 하드손실함수를 나태낸다. 수학식 3과 마찬가지로, yi는 하드 출력값이고, ei는 하드 레이블이다. 또한, i는 출력층의 노드에 대응하는 인덱스이다.
전술한 바와 같이 하이퍼파라미터가 설정되면, 학습부(100)는 S130 단계에서 하드 손실을 최적화하는 학습을 수행한다. 이러한 S130 단계에서 학습부(100)는 검출모델(DM)에 학습용 입력벡터를 입력한다. 그러면, 검출모델(DM)은 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 여기서, 출력값은 소프트 출력값이지만, 하드 손실을 최적화하는 학습에서는 하드 출력값을 이용해야 한다. 이에 따라, 학습부(100)는 소프트 출력값을 하드 출력값으로 변환하고, 변환된 하드 출력값 및 수학식 4와 같은 하드손실함수를 이용하여 앞서 설정된 하드 레이블과 하드 출력값의 차이를 나타내는 수학식 4의 하드손실함수의 손실, 즉, 하드 손실이 최소가 되도록 검출모델(DM)의 파라미터(예컨대, 수학식 2의 가중치, 임계치)를 수정하는 하드 손실 최적화를 수행한다. 이러한 하드 손실 최적화는 복수의 서로 다른 학습용 입력벡터를 이용하여 반복하여 수행되며, 이러한 반복은 평가 지표를 통해 원하는 정확도에 도달할 때까지 이루어질 수 있다.
다음으로, 학습부(100)는 S140 단계에서 복합 손실 최적화를 위한 하이퍼파라미터를 설정한다. 이때, 학습부(100)는 하이퍼파라미터 H를 0.5로 설정한다. 이러한 설정에 따라 수학식 3의 기본손실함수에서 복합 손실을 최적화하는 학습에서 사용되는 복합손실함수가 생성되며, 다음의 수학식 5와 같다.
Figure 112022017442297-pat00057
여기서, Lc는 복합손실함수 혹은 복합 손실을 나타낸다. yi는 하드 출력값이고, 상기 ei는 하드 레이블이다. 또한, gi는 소프트 출력값이고, ci는 소프트 레이블이다. i는 출력층의 노드에 대응하는 인덱스이다.
전술한 바와 같이 하이퍼파라미터가 설정되면, 학습부(100)는 S150 단계에서 복합 손실을 최적화하는 학습을 수행한다. 이때, 학습부(100)는 검출모델(DM)에 학습용 입력벡터를 입력한다. 그러면, 검출모델(DM)은 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 여기서, 출력값은 소프트 출력값이지만, 하드 출력값이 요구된다. 이에 따라, 학습부(100)는 소프트 출력값으로부터 하드 출력값을 도출하고, 소프트출력값과 하드출력값 및 수학식 5와 같은 복합손실함수를 이용하여 수학식 5의 복합손실함수의 복합 손실이 최소가 되도록 검출모델(DM)의 파라미터(예컨대, 수학식 2의 가중치, 임계치)를 수정하는 복합 손실 최적화를 수행한다. 이러한 복합 손실은 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실 및 소프트 레이블과 소프트 출력값의 차이를 소프트 손실을 포함한다. 이에 따라, 학습부(100)는 검출모델(DM)의 정밀화를 위해 복합 손실 최적화 시, 소프트 손실이 최소가 되면서, 복합 손실이 최소가 되도록 검출모델(DM)의 파라미터(예컨대, 수학식 2의 가중치, 임계치)를 수정한다. 이러한 복합 손실 최적화는 복수의 서로 다른 학습용 입력벡터를 이용하여 반복하여 수행되며, 이러한 반복은 평가 지표를 통해 원하는 정확도에 도달할 때까지 이루어질 수 있다.
다음으로, 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 방법에 대해서 설명하기로 한다. 도 9는 본 발명의 실시예에 따른 인공신경망을 이용한 비전 검사를 위한 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 카메라부(200)는 S210 단계에서 웨이퍼를 촬영한 웨이퍼 이미지를 생성한다. 그러면, 이미지처리부(300)는 카메라부(200)로부터 웨이퍼 이미지를 수신하고, S220 단계에서 수신된 웨이퍼 이미지에 포함된 복수의 다이를 각 다이 별로 구분하여 복수의 다이 이미지를 생성하고, 생성된 복수의 다이 이미지를 정렬하여 하나 이상의 검사 이미지를 생성한다. 이때, 이미지처리부(300)는 도 2 및 도 3에 도시된 바와 같이, 웨이퍼 이미지(W_img)에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지(D_img, 1~30)를 생성한다. 그런 다음, 이미지처리부(300)는 도 3에 도시된 바와 같이, 복수의 다이 이미지(D_img, 1~30)를 기 설정된 규격(예컨대, 4*4)의 하나 이상의 검사 이미지(img1, img2)를 생성한다. 이때, 제2 검사이미지(img2)와 같이, 기 설정된 규격에서 다이 이미지가 부족한 경우, 부족한 부분은 검정색 이미지(B)로 채워 넣는다.
다음으로, 검출부(400)는 S230 단계에서 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 검사 이미지(예컨대, img1, img2)의 특징을 나타내는 입력벡터를 생성한다.
제1 실시예에 따르면, 검출부(400)는 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고, 분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후, 주파수 대역으로 변환된 서브 블록 각각을 양자화하여 입력벡터를 생성할 수 있다.
제2 실시예에 따르면, 검출부(400)는 검사 이미지에 대해 서로 다른 파라미터에 따라 생성된 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고, 복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 입력벡터를 생성할 수 있다.
제3 실시예에 따르면, 검출부(400)는 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환한 후, 주파수 영역의 값을 소정 개수의 대역(예컨대, 10개의 대역)으로 양자화하여 입력벡터를 생성할 수 있다.
제4 실시예에 따르면, 검출부(400)는 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature) 채널을 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환한 후, 주파수 영역의 값을 소정 개수의 대역(예컨대, 10개의 대역)으로 양자화하여 입력벡터를 생성할 수 있다.
특히, 검출부(400)는 S230 단계에서 도 6에 도시된 바와 같이, 검사 이미지(img)에 대해 전술한 제1 내지 제4 실시예에 중 적어도 하나에 따라 입력벡터를 생성할 수 있다.
다음으로, 검출부(400)는 S240 단계에서 학습된 검출모델(DM)에 입력벡터를 입력한다.
그러면, 검출모델(DM)은 S250 단계에서 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 연산을 수행하여 입력벡터에 대응하는 적어도 하나의 다이의 불량유무에 대한 확률을 산출한다.
이러한 S250 단계에 대해 보다 구체적으로 설명하면 다음과 같다. 도 4를 참조하면, 입력벡터가 검출모델(DM)의 입력층(IL)의 복수의 입력노드(i1 ~ in)에 입력되면, 제1 은닉층(HL1)의 복수의 제1 은닉노드(h11 ~ h1a) 각각은 복수의 입력노드(i1 ~ in)의 입력벡터에 가중치가 적용된 값을 입력받고(점선으로 표시), 입력된 값을 모두 합산한 후, 합산된 값에 대해 활성화함수에 따른 연산을 수행하여 복수의 제1 은닉노드값을 산출한다. 이어서, 제2 은닉층(PHL2)의 복수의 제2 은닉노드(h21 ~ h2b) 각각은 복수의 제1 은닉노드(h11 ~ h1a)의 복수의 제1 은닉노드값 각각에 가중치가 적용된 값을 입력받고(점선으로 표시), 입력된 값을 모두 합산하고, 합산된 값에 대해 활성화함수에 따른 연산을 수행하여 복수의 제2 은닉노드값을 산출한다. 이와 같은 방식으로, 은닉층(HL) 내에서 이전의 노드값이 가중치가 적용되어 전달되고, 연산을 통해 현재의 노드값이 산출된다. 이러한 과정을 반복하여, 제k 은닉계층(PHLk)의 복수의 제k 은닉노드(hk1 ~ hkc)의 복수의 제k 은닉노드값을 산출할 수 있다.
이에 따라, 출력노드(P, N) 각각은 제k 은닉계층(PHLk)의 복수의 제k 은닉노드(hk1 ~ hkc)의 복수의 제k 은닉노드값에 가중치 w=[w1, w2, … , wc×2]가 적용된 값을 입력받고(점선으로 표시), 입력된 값을 모두 합산한 후, 합산된 값에 대해 활성화함수에 따른 연산을 수행하여 출력값을 산출한다. 출력층(OL)의 2개의 출력노드(P, N) 각각은 다이가 정상인 경우와, 불량인 경우에 대응한다. 즉, 제1 출력노드(P)는 정상인 경우에 대응하며, 제2 출력노드(N)는 불량인 경우에 대응한다. 이에 따라, 제1 출력노드(P)의 출력값은 입력층(IL)으로 입력된 입력벡터에 대응하는 적어도 하나의 다이가 정상일 확률이며, 제2 출력노드(N)의 출력값은 입력된 입력벡터에 대응하는 적어도 하나의 다이가 불량일 확률을 나타낸다.
이에 따라, 검출부(400)는 S260 단계에서 산출된 확률에 따라 입력벡터에 대응하는 적어도 하나의 다이의 불량 여부를 판단한다. 예컨대, 제1 및 제2 출력노드(P, N) 각각의 출력값이 각각 0.159, 0.841이면, 입력벡터에 대응하는 적어도 하나의 다이가 정상일 확률이 16%이고, 입력벡터에 대응하는 적어도 하나의 다이가 불량일 확률이 84%이다. 이와 같이, 검출모델(DM)이 확률(0.159, 0.841)을 출력하면, 검출부(400)는 이러한 확률(0.159, 0.841)에 따라 입력벡터에 대응하는 적어도 하나의 다이에 불량이 발생한 것으로 판단한다.
도 10은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 비전검사장치(10) 등) 일 수 있다.
도 10의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 비전검사장치
100: 학습부
200: 카메라부
300: 이미지처리부
400: 검출부

Claims (24)

  1. 비전 검사를 위한 장치에 있어서,
    하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 이미지처리부; 및
    상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 입력벡터를 생성하고,
    학습된 검출모델을 통해 생성된 입력벡터를 분석하여 다이의 불량 여부를 검출하는 검출부;
    를 포함하며,
    학습용 입력벡터 및 학습용 입력벡터에 대응하는 하드 레이블 및 소프트 레이블을 포함하는 레이블을 마련하고,
    기본손실함수의 하이퍼파라미터를 설정하여 하드 손실 최적화를 위한 하드손실함수를 생성하고,
    검출모델에 학습용 입력벡터를 입력하고,
    검출모델이 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하면,
    소프트 출력값을 하드 출력값으로 변환하고,
    변환된 하드 출력값 및 하드손실함수를 이용하여
    하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 하드 손실 최적화를 수행하는
    학습부;
    를 더 포함하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  2. 제1항에 있어서,
    상기 검출부는
    검사 이미지를 정방형의 복수의 서브 블록으로 분할하고,
    분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후,
    주파수 대역으로 변환된 서브 블록 각각을 양자화하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  3. 제1항에 있어서,
    상기 검출부는
    검사 이미지에 대해 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고,
    복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를
    소정 수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  4. 제3항에 있어서,
    상기 가버(gabor) 필터는
    수학식
    Figure 112022017442297-pat00058

    에 따라 생성되며,
    상기
    Figure 112022017442297-pat00059
    는 커널의 너비이고,
    상기
    Figure 112022017442297-pat00060
    는 커널의 방향성이고,
    상기
    Figure 112022017442297-pat00061
    은 커널의 반복주기이고,
    상기
    Figure 112022017442297-pat00062
    는 상기 가버 필터의 중간값이고,
    상기
    Figure 112022017442297-pat00063
    는 상기 가버 의 가로세로의 비율이고,
    상기 검출부는
    상기
    Figure 112022017442297-pat00064
    , 상기
    Figure 112022017442297-pat00065
    , 상기
    Figure 112022017442297-pat00066
    , 상기
    Figure 112022017442297-pat00067
    , 상기
    Figure 112022017442297-pat00068
    중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  5. 제1항에 있어서,
    상기 검출부는
    상기 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고,
    구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환하고,
    변환된 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  6. 제1항에 있어서,
    상기 검출부는
    검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature)을 포함하는 3개의 채널로 구분하고,
    구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환하고,
    주파수 영역의 값을 소정 개수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  7. 제1항에 있어서,
    상기 이미지처리부는
    웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고,
    생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사 이미지를 생성하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 기본손실함수는
    수학식
    Figure 112023007659152-pat00069
    이고,
    상기 Lb은 기본손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 gi는 소프트 출력값이고,
    상기 ci는 소프트 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스이고,
    상기 H는 하이퍼파라미터인 것을 특징으로 하는
    비전 검사를 위한 장치.
  10. 제1항에 있어서,
    상기 하드손실함수는
    Figure 112023007659152-pat00070
    이고,
    상기 기본손실함수에서 하이퍼파라미터를 0으로 설정하여 생성되며,
    상기 Lh은 하드손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 하는
    비전 검사를 위한 장치.
  11. 제1항에 있어서,
    상기 학습부는
    기본손실함수의 하이퍼파라미터를 설정하여 복합 손실 최적화를 위한 복합 손실함수를 생성하고,
    검출모델에 학습용 입력벡터를 입력하고,
    검출모델이 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하면,
    소프트 출력값으로부터 하드 출력값을 도출하고,
    소프트 출력값, 하드 출력값 및 복합손실함수를 이용하여
    하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 복합 손실 최적화를 수행하는 것을 특징으로 하는
    비전 검사를 위한 장치.
  12. 제11항에 있어서,
    상기 복합손실함수는
    Figure 112022017442297-pat00071
    이고,
    상기 기본손실함수에서 하이퍼파라미터를 0.5로 설정하여 생성되며,
    상기 Lc는 복합손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 gi는 소프트 출력값이고,
    상기 ci는 소프트 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 하는
    비전 검사를 위한 장치.
  13. 비전 검사를 위한 방법에 있어서,
    이미지처리부가 하나의 웨이퍼에 포함된 복수의 다이 이미지를 하나 이상 포함하는 검사 이미지를 생성하는 단계;
    검출부가 상기 검사 이미지에 대해 적어도 하나의 특징검출필터를 이용하여 상기 검사 이미지의 특징을 나타내는 입력벡터를 생성하는 단계; 및
    상기 검출부가 학습된 검출모델을 통해 생성된 입력벡터를 분석하여 다이의 불량 여부를 검출하는 단계;
    를 포함하며,
    상기 검사 이미지를 생성하는 단계 전,
    학습부가 학습용 입력벡터 및 학습용 입력벡터에 대응하는 하드 레이블 및 소프트 레이블을 포함하는 레이블을 마련하는 단계;
    상기 학습부가 기본손실함수의 하이퍼파라미터를 설정하여 하드 손실 최적화를 위한 하드손실함수를 생성하는 단계;
    상기 학습부가 검출모델에 학습용 입력벡터를 입력하는 단계;
    상기 검출모델이 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하는 단계;
    상기 학습부가 소프트 출력값을 하드 출력값으로 변환하고, 변환된 하드 출력값 및 하드손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 하드 손실 최적화를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  14. 제13항에 있어서,
    상기 입력벡터를 생성하는 단계는
    상기 검출부가 상기 검사 이미지를 정방형의 복수의 서브 블록으로 분할하고, 분할된 복수의 서브 블록 각각에 대해 이산코사인변환(DCT: discrete cosine transform)을 수행하여 주파수 대역으로 변환한 후, 주파수 대역으로 변환된 서브 블록 각각을 양자화하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  15. 제13항에 있어서,
    상기 입력벡터를 생성하는 단계는
    상기 검출부가 상기 검사 이미지에 대해 복수의 가버(gabor) 필터를 이용한 연산을 통해 복수의 연산 결과를 도출하고, 복수의 가버(gabor) 필터 각각에 대응하는 도출된 연산 결과를 소정 수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  16. 제13항에 있어서,
    상기 가버(gabor) 필터는
    수학식
    Figure 112022017442297-pat00072

    에 따라 생성되며,
    상기
    Figure 112022017442297-pat00073
    는 커널의 너비이고,
    상기
    Figure 112022017442297-pat00074
    는 커널의 방향성이고,
    상기
    Figure 112022017442297-pat00075
    은 커널의 반복주기이고,
    상기
    Figure 112022017442297-pat00076
    는 상기 가버 필터의 중간값이고,
    상기
    Figure 112022017442297-pat00077
    는 상기 가버 의 가로세로의 비율이고,
    상기 입력벡터를 생성하는 단계는
    상기 검출부가 상기
    Figure 112022017442297-pat00078
    , 상기
    Figure 112022017442297-pat00079
    , 상기
    Figure 112022017442297-pat00080
    , 상기
    Figure 112022017442297-pat00081
    , 상기
    Figure 112022017442297-pat00082
    중 적어도 하나의 파라미터가 상이한 복수의 가버 필터를 이용하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  17. 제13항에 있어서,
    상기 입력벡터를 생성하는 단계는
    상기 검출부가 상기 검사 이미지를 색상(Hue), 채도(Saturation) 및 명도(Value)를 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 푸리에 변환(Fourier transform)을 통해 주파수 영역으로 변환하고, 변환된 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  18. 제13항에 있어서,
    상기 입력벡터를 생성하는 단계는
    상기 검출부가 상기 검사 이미지를 밝기(Luminance)를 나타내는 성분인 Y 채널, 색차를 나타내는 성분인 I(In-phase) 채널 및 Q(Quadrature)을 포함하는 3개의 채널로 구분하고, 구분된 3개의 채널 각각을 웨이블릿 변환(wavelet transform)을 통해 주파수 영역으로 변환하고, 주파수 영역의 값을 소정 개수의 대역으로 양자화하여 입력벡터를 생성하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  19. 제13항에 있어서,
    상기 검사 이미지를 생성하는 단계는
    상기 이미지처리부가 웨이퍼를 촬영한 웨이퍼 이미지에서 노치를 기준으로 최상측에 위치한 복수의 다이 중 가장 왼쪽에 위치한 다이로부터 행과 열의 순서대로 복수의 다이 이미지를 생성하고,
    생성된 복수의 다이 이미지를 기 설정된 규격의 하나 이상의 검사 이미지를 생성하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  20. 삭제
  21. 제13항에 있어서,
    상기 기본손실함수는
    수학식
    Figure 112023007659152-pat00083
    이고,
    상기 Lb은 기본손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 gi는 소프트 출력값이고,
    상기 ci는 소프트 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스이고,
    상기 H는 하이퍼파라미터인 것을 특징으로 하는
    비전 검사를 위한 방법.
  22. 제13항에 있어서,
    상기 하드손실함수는
    Figure 112023007659152-pat00084
    이고,
    상기 기본손실함수에서 하이퍼파라미터를 0으로 설정하여 생성되며,
    상기 Lh은 하드손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 하는
    비전 검사를 위한 방법.
  23. 제13항에 있어서,
    상기 학습부가 기본손실함수의 하이퍼파라미터를 설정하여 복합 손실 최적화를 위한 복합 손실함수를 생성하는 단계;
    상기 학습부가 검출모델에 학습용 입력벡터를 입력하는 단계;
    상기 검출모델이 학습용 입력벡터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 소프트 출력값을 산출하는 단계;
    상기 학습부가 소프트 출력값으로부터 하드 출력값을 도출하고, 소프트 출력값, 하드 출력값 및 복합손실함수를 이용하여 하드 레이블과 하드 출력값의 차이를 나타내는 하드 손실이 최소가 되도록 검출모델의 파라미터를 수정하는 복합 손실 최적화를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는
    비전 검사를 위한 방법.
  24. 제23항에 있어서,
    상기 복합손실함수는
    Figure 112022017442297-pat00085
    이고,
    상기 기본손실함수에서 하이퍼파라미터를 0.5로 설정하여 생성되며,
    상기 Lc는 복합손실함수를 나타내고,
    상기 yi는 하드 출력값이고,
    상기 ei는 하드 레이블이고,
    상기 gi는 소프트 출력값이고,
    상기 ci는 소프트 레이블이고,
    상기 i는 출력층의 노드에 대응하는 인덱스인 것을 특징으로 하는
    비전 검사를 위한 방법.
KR1020220020236A 2021-12-22 2022-02-16 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법 KR102516198B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210184777 2021-12-22
KR20210184777 2021-12-22

Publications (1)

Publication Number Publication Date
KR102516198B1 true KR102516198B1 (ko) 2023-03-30

Family

ID=85985838

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020220020236A KR102516198B1 (ko) 2021-12-22 2022-02-16 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법
KR1020220020239A KR102533365B1 (ko) 2021-12-22 2022-02-16 오토인코더를 이용한 비전 검사를 위한 장치 및 이를 위한 방법
KR1020220020237A KR102516199B1 (ko) 2021-12-22 2022-02-16 특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220020239A KR102533365B1 (ko) 2021-12-22 2022-02-16 오토인코더를 이용한 비전 검사를 위한 장치 및 이를 위한 방법
KR1020220020237A KR102516199B1 (ko) 2021-12-22 2022-02-16 특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (3) KR102516198B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511175A (ja) * 1998-03-23 2002-04-09 松下電器産業株式会社 画像認識方法
JP2010190740A (ja) * 2009-02-18 2010-09-02 Nikon Corp 基板検査装置、方法およびプログラム
KR20110120461A (ko) 2010-04-29 2011-11-04 주식회사 미르기술 비전검사장치
KR20170069250A (ko) * 2014-10-14 2017-06-20 케이엘에이-텐코 코포레이션 이미지 기반 및 산란측정 오버레이 측정을 위한 신호 응답 계측
CN108171688A (zh) * 2017-12-19 2018-06-15 浙江大学 一种基于Gabor特征与随机降维的晶圆表面缺陷检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101635461B1 (ko) * 2014-11-05 2016-07-04 한밭대학교 산학협력단 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
CN109977808B (zh) * 2019-03-11 2020-10-27 北京工业大学 一种晶圆表面缺陷模式检测与分析方法
KR20200137219A (ko) * 2019-05-29 2020-12-09 삼성에스디에스 주식회사 비지도 학습 기반 웨이퍼 불량 패턴 검출 방법 및 그 장치
CN110766660A (zh) * 2019-09-25 2020-02-07 上海众壹云计算科技有限公司 基于融合深度学习模型的集成电路缺陷图像识别分类系统
CN111696077A (zh) * 2020-05-11 2020-09-22 余姚市浙江大学机器人研究中心 一种基于WaferDet网络的晶圆缺陷检测方法
KR102336962B1 (ko) * 2021-05-11 2021-12-07 호서대학교 산학협력단 반-약 지도 학습을 통해 자동으로 라벨링을 수행하기 위한 장치 및 이를 위한 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511175A (ja) * 1998-03-23 2002-04-09 松下電器産業株式会社 画像認識方法
JP2010190740A (ja) * 2009-02-18 2010-09-02 Nikon Corp 基板検査装置、方法およびプログラム
KR20110120461A (ko) 2010-04-29 2011-11-04 주식회사 미르기술 비전검사장치
KR20170069250A (ko) * 2014-10-14 2017-06-20 케이엘에이-텐코 코포레이션 이미지 기반 및 산란측정 오버레이 측정을 위한 신호 응답 계측
CN108171688A (zh) * 2017-12-19 2018-06-15 浙江大学 一种基于Gabor特征与随机降维的晶圆表面缺陷检测方法

Also Published As

Publication number Publication date
KR102516199B1 (ko) 2023-03-30
KR102533365B1 (ko) 2023-05-17

Similar Documents

Publication Publication Date Title
CN112529015B (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
KR20180004208A (ko) 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가
CN111598156B (zh) 基于多源异构数据融合的pm2.5预测方法
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN115690542B (zh) 一种基于改进yolov5的航拍绝缘子定向识别方法
JP2021525933A (ja) 無線セルラーネットワークにおけるセル状態の検出に関する方法、装置およびコンピュータ可読媒体
CN112766040B (zh) 残余饵料的探测方法、设备、装置及可读存储介质
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
CN115908311A (zh) 基于机器视觉的镜片成型检测设备及其方法
WO2024179409A9 (zh) 三维工业异常检测方法、装置、存储介质及电子设备
CN116543433A (zh) 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置
CN118552800A (zh) 一种边缘端部署的铁轨异物半监督异常检测方法及系统
CN117011688B (zh) 一种水下结构病害的识别方法、系统及存储介质
KR102516198B1 (ko) 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법
CN117853942A (zh) 用于云雾的识别方法、云雾识别装置及云雾识别系统
CN113807185A (zh) 一种数据处理方法和装置
Gu et al. A unified multi-task learning framework of real-time drone supervision for crowd counting
JP2016224821A (ja) 学習装置、学習装置の制御方法及びプログラム
CN116681687A (zh) 基于计算机视觉的导线检测方法、装置和计算机设备
CN117197530A (zh) 一种基于改进YOLOv8模型及余弦退火学习率衰减法的绝缘子缺陷识别方法
CN116993933A (zh) 应急场景下的实景地图构建方法、装置、设备及存储介质
CN116129239A (zh) 一种小目标检测方法、装置、设备及存储介质
CN110852314B (zh) 一种基于相机投影模型的物品检测网络方法
KR20220055256A (ko) 신경망의 가중치 매개변수를 양자화하는 방법 및 상기 방법을 수행하는 객체 인식 장치
CN112464989A (zh) 一种基于目标检测网络的闭环检测方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant