KR102631031B1 - 반도체 장치의 불량 검출 방법 - Google Patents

반도체 장치의 불량 검출 방법 Download PDF

Info

Publication number
KR102631031B1
KR102631031B1 KR1020180087488A KR20180087488A KR102631031B1 KR 102631031 B1 KR102631031 B1 KR 102631031B1 KR 1020180087488 A KR1020180087488 A KR 1020180087488A KR 20180087488 A KR20180087488 A KR 20180087488A KR 102631031 B1 KR102631031 B1 KR 102631031B1
Authority
KR
South Korea
Prior art keywords
data
label
cnn model
prediction result
semiconductor device
Prior art date
Application number
KR1020180087488A
Other languages
English (en)
Other versions
KR20200012334A (ko
Inventor
허인
박민철
이태호
정창욱
황찬영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180087488A priority Critical patent/KR102631031B1/ko
Priority to CN201910501571.6A priority patent/CN110852983B/zh
Priority to US16/505,155 priority patent/US11507801B2/en
Publication of KR20200012334A publication Critical patent/KR20200012334A/ko
Application granted granted Critical
Publication of KR102631031B1 publication Critical patent/KR102631031B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Manufacturing & Machinery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

반도체 장치의 불량 검출 방법이 제공된다. 반도체 장치의 불량 검출 방법 은, 제1 데이터 세트로부터 추출한 샘플 클린 데이터 세트(sampled clean data set)를 이용하여 사전 학습 CNN(convolutional neural network) 모델에 대한 사전 학습을 수행하고, 상기 제1 데이터 세트의 제1 데이터 및 상기 사전 학습 CNN 모델을 이용하여, 노멀 CNN 모델(normal CNN model) 및 레이블 노이즈 CNN 모델(label-noise CNN model)에 대한 학습을 수행하고, 제2 데이터 세트의 제2 데이터 및 상기 노멀 CNN 모델을 이용하여, 상기 제2 데이터의 양호 또는 불량 여부를 예측한 제1 예측 결과를 출력하고, 상기 제2 데이터 및 상기 레이블 노이즈 CNN 모델을 이용하여, 상기 제2 데이터의 양호 또는 불량 여부를 예측한 제2 예측 결과를 출력하고, 상기 제1 예측 결과 및 상기 제2 예측 결과를 비교하여 레이블 차이(label difference)가 존재하는 경우 노이즈 정정(noise correction)을 수행하고, 상기 노이즈 정정의 결과로 생성된 제3 데이터를 상기 샘플 클린 데이터 세트에 추가하고, 상기 샘플 클린 데이터 세트를 이용하여 상기 노멀 CNN 모델 및 레이블 노이즈 CNN 모델에 대한 학습을 추가 수행하는 것을 포함한다.

Description

반도체 장치의 불량 검출 방법{METHOD FOR DETECTING DEFECTS IN SEMICONDUCTOR DEVICE}
본 발명은 반도체 장치의 불량 검출 방법 방법에 관한 것이다.
반도체 장치의 제조에 있어 발생되는 불량을 자동으로 검출하는 기술이 사용되고 있다. 특히 반도체 장치의 불량을 자동으로 검출하기 위해, ANN(Artifical Neural Network)과 같은 머신 러닝(machine learning)을 이용하는 기술이 주목받고 있다.
이와 같은 기술을 적용하기 위해서는, 반도체 장치의 제조에 관련된 다량의 이미지 데이터가 필요할 뿐만 아니라, 이미지 데이터에 대해 양호 또는 불량을 표시할 수 있도록 하는 레이블(label)이 필요하다. 그런데 다량의 이미지 데이터에 레이블을 수동으로 추가하는 것은 많은 시간과 비용을 소모하며, 레이블이 결정된 이미지 데이터라고 할 지라도, 노이즈(noise)를 포함할 가능성도 있다.
따라서, 머신 러닝 기법을 활용하여 반도체 장치의 제조에 있어 발생되는 불량을 자동으로 검출하기 위해, 레이블이 되어 있지 않은 이미지 데이터가 포함되어 있거나, 노이즈 레이블을 포함하는 이미지 데이터가 포함된 이미지 데이터들에 대해서도 강건하게 불량 여부를 판단할 수 있도록 하는 방안이 요구된다.
본 발명이 해결하고자 하는 기술적 과제는, 완전한 레이블링이 되지 않은 이미지 데이터에 대해서도 CNN(convolutional neural network)를 이용하여 반도체 장치의 불량 여부를 검출할 수 있는 반도체 장치의 불량 검출 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 완전한 레이블링이 되지 않은 이미지 데이터에 대해서도 CNN를 이용하여 반도체 장치의 불량 여부를 검출하고, 나아가 불량을 분류할 수 있는 반도체 장치의 불량 검출 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제1 데이터 세트로부터 추출한 샘플 클린 데이터 세트(sampled clean data set)를 이용하여 사전 학습 CNN 모델에 대한 사전 학습을 수행하고, 제1 데이터 세트의 제1 데이터 및 사전 학습 CNN 모델을 이용하여, 노멀 CNN 모델(normal CNN model) 및 레이블 노이즈 CNN 모델(label-noise CNN model)에 대한 학습을 수행하고, 제2 데이터 세트의 제2 데이터 및 노멀 CNN 모델을 이용하여, 제2 데이터의 양호 또는 불량 여부를 예측한 제1 예측 결과를 출력하고, 제2 데이터 및 레이블 노이즈 CNN 모델을 이용하여, 제2 데이터의 양호 또는 불량 여부를 예측한 제2 예측 결과를 출력하고, 제1 예측 결과 및 제2 예측 결과를 비교하여 레이블 차이(label difference)가 존재하는 경우 노이즈 정정(noise correction)을 수행하고, 노이즈 정정의 결과로 생성된 제3 데이터를 샘플 클린 데이터 세트에 추가하고, 샘플 클린 데이터 세트를 이용하여 노멀 CNN 모델 및 레이블 노이즈 CNN 모델에 대한 학습을 추가 수행하는 것을 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 반도체 장치의 불량 검출 방법은, 제1 데이터 세트의 제1 데이터 및 사전 학습 CNN 모델을 이용하여, 노멀 CNN 모델 및 레이블 노이즈 CNN 모델에 대한 1차 학습을 수행하고, 제2 데이터 세트의 제2 데이터 및 노멀 CNN 모델을 이용하여, 제2 데이터의 양호 또는 불량 여부를 예측한 제1 예측 결과를 출력하고, 제2 데이터 및 레이블 노이즈 CNN 모델을 이용하여, 제2 데이터의 양호 또는 불량 여부를 예측한 제2 예측 결과를 출력하고, 제1 예측 결과 및 제2 예측 결과를 비교하여 레이블 차이가 존재하는 경우 노이즈 정정을 수행하고, 노이즈 정정의 결과로 생성된 제3 데이터에 대해, 사전 학습 CNN 모델에 대한 추가 학습을 수행하고, 사전 학습 CNN 모델)를 이용하여 노멀 CNN 모델 및 레이블 노이즈 CNN 모델에 대한 2차 학습을 수행하고, 제1 데이터 및 노멀 CNN 모델을 이용하여, 제1 데이터의 양호 또는 불량 여부를 예측한 제3 예측 결과를 출력하고, 제1 데이터 및 레이블 노이즈 CNN 모델을 이용하여, 제1 데이터의 양호 또는 불량 여부를 예측한 제4 예측 결과를 출력하고, 제3 예측 결과 및 제4 예측 결과를 비교하여 레이블 차이가 존재하는 경우 노이즈 정정을 추가 수행하고, 추가 수행된 노이즈 정정의 결과로 생성된 제4 데이터에 대해, 사전 학습 CNN 모델에 대한 추가 학습을 수행하는 것을 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 반도체 장치의 불량 검출 방법은, 제1 데이터 세트로부터 추출한 샘플 클린 데이터 세트를 이용하여 사전 학습 CNN 모델에 대한 사전 학습을 수행하고, 제1 데이터 세트의 제1 데이터 및 사전 학습 CNN 모델을 이용하여, 노멀 CNN 모델 및 레이블 노이즈 CNN 모델에 대한 학습을 수행하고, 제2 데이터 세트의 제2 데이터 및 노멀 CNN 모델을 이용하여, 제2 데이터의 양호 또는 불량 여부를 예측한 제1 예측 결과를 출력하고, 제2 데이터 및 레이블 노이즈 CNN 모델을 이용하여, 제2 데이터의 양호 또는 불량 여부를 예측한 제2 예측 결과를 출력하고, 제1 예측 결과 및 제2 예측 결과를 비교하여 레이블 차이가 미 존재하는 경우, 레이블 정정이 완료된 클린 데이터 세트에 기초하여 불량 데이터에 대한 시각적 표시를 수행하는 것을 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법에 의해 시각화된 결과를 설명하기 위한 도면이다.
도 1은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 시스템(1)은 머신 러닝, 특히 딥 러닝(deep learning)을 이용하여 반도체 장치의 제조에 있어 발생되는 불량을 자동으로 검출한다. 딥 러닝은 인공 신경망에 기반하는 머신 러닝의 한 종류로, 비지도 학습(unsupervised learning)을 통해 학습용 데이터를 전처리하는 방식으로 레벨이 깊어지는 신경망에 대해서도 학습의 질을 높인 것이다. 머신 러닝에 대해 널리 공지된 내용들에 대해, 본 명세서에서는 설명을 생략하도록 한다.
본 실시예에서, 입력(10)은 예컨대 반도체 장치의 제조 상 결함을 검출하기 위한 이미지 데이터, 예컨대 반도체 장치의 공정 이미지 데이터를 다량 포함하는 것일 수 있다. 입력(10)은 양호 또는 불량을 표시하는 레이블링이 된 이미지 데이터(이하 '레이블 이미지 데이터')와, 양호 또는 불량을 표시하는 레이블링이 되어 있지 않은 데이터(이하 '비 레이블 이미지 데이터')를 모두 포함할 수 있다.
여기서, 레이블 이미지 데이터는 레이블링이 적절하게 결정되어 정정이 필요하지 않는 레이블 이미지 데이터와, 레이블링이 적절하지 않게 결정되어 정정이 필요한 '노이즈 레이블 이미지 데이터'를 포함할 수 있다.
한편, 비 레이블 이미지 데이터는, 양호 또는 불량 레이블이 일괄적으로 적용되는 경우, 상기 노이즈 레이블 이미지 데이터로 간주될 수 있다.
반도체 장치의 불량 검출 시스템(1)은 비 레이블 이미지 데이터와 노이즈 레이블 이미지 데이터를 포함하는 입력(10)에 대해 자동으로 불량을 검출 및 분류하는 기능을 제공한다. 이를 위해 사전 학습 모듈(20), 학습 모듈(30), 노이즈 정정 모듈(40), 어텐션 맵 모듈(50) 및 클러스터 모듈(60)을 포함한다.
사전 학습 모듈(20)은 입력(10)을 입력 받아, 사전 학습 CNN 모델(200)에 대한 사전 학습을 수행한다. 이를 위해 사전 학습 모듈(20)은 입력(10)으로부터 샘플 클린 데이터 세트(sampled clean data set)(110)를 제공받을 수 있다.
샘플 클린 데이터 세트(110)는 입력(10)에 해당하는 다량의 이미지 데이터로부터 샘플링된 일부의 이미지 데이터를 포함한다. 특히, 샘플 클린 데이터 세트(110)는 반도체 장치의 불량 검출 시스템(1) 동작의 전처리에 해당하는 사전 학습을 수행하기 위해, 복수의 레이블링이 적절하게 결정된 레이블 이미지 데이터만을 포함하도록 구성될 수 있다.
사전 학습 모듈(20)은, 레이블링이 적절하게 결정된 레이블 이미지 데이터를 바탕으로 사전 학습 CNN 모델(200)에 대한 사전 학습을 수행하고, 그 결과를 학습 모듈(30)에 제공한다.
학습 모듈(30)은 입력(10)을 입력 받아, 노멀 CNN 모델(normal CNN model)(300) 및 레이블 노이즈 CNN 모델(label-noise CNN model)(310)에 대한 학습을 수행한다. 구체적으로 학습 모듈(30)은 사전 학습 모듈(20)의 결과를 이용하여 노멀 CNN 모델(300) 및 레이블 노이즈 CNN 모델(310)에 대한 학습을 수행하게 된다.
나아가, 학습 모듈(30)은 입력(10)을 입력 받아, 노멀 CNN 모델(300)을 이용하여 입력(10)의 양호 또는 불량 여부를 예측한다. 또한, 학습 모듈(10)은 레이블 노이즈 CNN 모델(310)을 이용하여, 입력(10)의 양호 또는 불량 여부를 예측한다. 그리고 학습 모듈(30)은 그 예측 결과들을 노이즈 정정 모듈(40)에 제공한다.
노이즈 정정 모듈(40)은, 학습 모듈(30)로부터 수신한 예측 결과들을 서로 비교하여 레이블 정정이 필요한 지 여부를 판단하고, 필요한 경우 레이블 정정을 수행한다. 노이즈 정정 모듈(40)은 레이블 정정을 수행한 경우, 레이블 정정이 수행된 이미지 데이터를 학습 모듈(30)에 제공하여, 학습 모듈(30)이 정정된 이미지 데이터를 이용하여 재학습을 할 수 있도록 한다.
어텐션 맵 모듈(50)은 CNN이 이미지 데이터 중 어떤 영역을 기준으로 레이블을 구분했는지를 시각적으로 나타내는 어텐션 맵을 제공한다. 즉, 어텐션 맵은 CNN이 이미지 데이터 중 어떤 영역을 기준으로 레이블을 구분했는지를 시각적으로 확인할 수 있도록 한다.
클러스터 모듈(60)은 이미지 데이터가 불량으로 판단된 경우, 불량으로 판단된 이미지 데이터(또는 '불량 데이터')를 통해 검출되는 결함의 속성에 따라, 불량 데이터에 대한 클러스터링을 수행한다. 여기서 결함의 속성이란, 예컨대 불량 데이터 내의 결함의 형태, 형상, 위치, 크기 등의 속성을 의미할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
이와 같은 반도체 장치의 불량 검출 시스템(1)은, 비 레이블 이미지 데이터와 노이즈 레이블 이미지 데이터에 대해 자동으로 레이블을 생성 및 정정하여, 수동으로 레이블을 추가하거나 정정하지 않고도 반도체 장치의 제조 상 결함을 검출 및 분류할 수 있다는 이점을 가진다.
이하에서는 반도체 장치의 불량 검출 시스템(1)에 대한 본 설명을 바탕으로, 본 발명의 다양한 실시예에 따른 반도체 장치의 불량 검출 방법에 대해 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제1 데이터 세트(100)로부터 추출한 샘플 클린 데이터 세트(110)를 이용하여 사전 학습 CNN 모델(200)에 대한 사전 학습을 수행한다.
구체적으로, 도 1의 입력(10)은 반도체 장치의 제조 상 결함을 검출하기 위한 다량의 공정 이미지 데이터를 포함할 수 있는데, 다량의 공정 이미지 데이터를 제1 데이터 세트(100)와 제2 데이터 세트(102)로 나눈다. 이 경우, 제1 데이터 세트(100) 및 제2 데이터 세트(102)는 각각 레이블 이미지 데이터, 노이즈 레이블 이미지 데이터 및 비 레이블 이미지 데이터을 포함할 수 있다.
본 실시예에서 샘플 클린 데이터 세트(110)는, 레이블 이미지 데이터, 노이즈 레이블 이미지 데이터 및 비 레이블 이미지 데이터를 모두 포함하는 제1 데이터 세트(100) 중, 반도체 장치의 불량 검출을 위해 적절하게 결정된 레이블 이미지 데이터, 즉 클린 데이터(C_DATA)만을 포함하도록 샘플링된 데이터 세트이다.
사전 학습 CNN 모델(200)에 대한 사전 학습은 샘플 클린 데이터 세트(110)로부터 제공되는 클린 데이터(C_DATA)를 이용하여 수행된다.
다음으로, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제1 데이터 세트(100)의 제1 데이터(DATA1)와, 사전 학습 CNN 모델(200)로부터 제공되는 사전 학습된 CNN(pre-trained CNN)(PT_CNN)을 이용하여, 노멀 CNN 모델(300) 및 레이블 노이즈 CNN 모델(310)에 대한 학습을 수행한다.
도 3은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제2 데이터 세트(102)의 제2 데이터(DATA2)와 노멀 CNN 모델(300)을 이용하여, 제2 데이터(DATA2)의 양호 또는 불량 여부를 예측한다. 그리고 그 결과로 제1 예측 결과(INF1)를 출력한다.
여기서 제2 데이터 세트(102)는 레이블 이미지 데이터, 노이즈 레이블 이미지 데이터 및 비 레이블 이미지 데이터을 포함하며, 양호 또는 불량 여부를 예측하는 것은 도 2에서 설명한 학습을 바탕으로, 제2 데이터(DATA2)가 불량 데이터인지 여부를 추론하는 것을 말한다.
한편, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제2 데이터 세트(102)의 제2 데이터(DATA2)와, 레이블 노이즈 CNN 모델(310)을 이용하여, 제2 데이터(DATA2)의 양호 또는 불량 여부를 예측한다. 그리고 그 결과로 제2 예측 결과(INF2)를 출력한다.
여기서, 레이블 노이즈 CNN 모델(310)이 노멀 CNN 모델(300)과 다른 점은, 스스로 노이즈 레이블을 검출하는 기능을 가진다는 점이다.
스스로 노이즈 레이블을 검출하기 위해, CNN 모델은 학습 데이터에 표기된 레이블만 고려하는 것이 아니라, CNN 모델 스스로 예측한 레이블을 함께 참조할 수 있는데, 대표적인 예로 부트스트래핑(bootstrapping) 기법을 들 수 있다.
부트스트래핑 기법은 손실 함수(loss function)로서 부트스트래핑 손실 함수(bootstraping loss function)을 사용함으로써, 손실 함수의 목표 값(target value)을 학습 데이터의 레이블뿐 아니라 모델 자신이 예측한 레이블을 함께 참조하여 계산하게 된다. 이와 같은 부트스트래핑 기법을 적용함으로써 노이즈 레이블 검출이 가능함을 보여주는 문헌으로서 [Reed et al., Training Deep Neural Networks on Noisy Labels wit Bootstrapping, ICLR 2015]를 참조할 수 있다.
본 실시예에서, 레이블 노이즈 CNN 모델(310)은 손실 함수로서 부트스트래핑 손실 함수를 사용하는 부트스트래핑 기법을 적용한 모델일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 즉, 레이블 노이즈 CNN 모델(310)은 스스로 노이즈 레이블을 검출할 수 있는 임의의 알고리즘으로 구현된 모델을 포함할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제1 예측 결과(INF1) 및 제2 예측 결과(INF2)를 비교하여 레이블 차이(label difference)가 존재하는 경우 노이즈 정정(noise correction)(400)을 수행한다.
구체적으로, 레이블 차이가 존재하는 경우는, 동일한 이미지 데이터에 대해 노멀 CNN 모델(300)이 예측 또는 추론한 레이블과 레이블 노이즈 CNN 모델(310)이 예측 또는 추론한 레이블이 상이한 경우를 말한다. 예를 들어, 동일한 이미지 데이터에 대해, 노멀 CNN 모델(300)이 해당 이미지 데이터가 양호에 속하는 것으로 판단하여 양호 레이블을 부여하였는데, 레이블 노이즈 CNN 모델(310)은 해당 이미지 데이터가 불량에 속하는 것으로 판단하여 불량 레이블을 부여한 경우가 있을 수 있다.
이러한 경우는 해당 이미지 데이터에 대한 적절한 레이블링이 필요한 상황이므로, 해당 이미지 데이터에 대한 노이즈 정정(400)이 수행된다. 노이즈 정정(400)에 대한 구체적인 일례에 대해서는 도 4를 참조하여 후술하도록 한다.
다음으로, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 노이즈 정정의 결과로 생성된 제3 데이터(DATA3)를 샘플 클린 데이터 세트(110)에 추가한다. 즉, 제3 데이터(DATA3)는 이전에 노이즈 레이블로 판단되었던 이미지 데이터의 레이블이 적절한 레이블로 정정된 이미지 데이터에 해당한다. 본 도면에서 설명하는 예시적인 절차를 통해, 샘플 클린 데이터 세트(110)는 계속 갱신될 수 있다.
도 4는 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 도 3에서 설명한 노이즈 정정에 대한 구체적인 일례가 도시되어 있다.
먼저 노멀 CNN 모델(300)에 따른 제1 예측 결과(INF1)와 레이블 노이즈 CNN 모델(310)에 따른 제2 예측 결과(INF2)를 비교(410)하고, 제1 예측 결과(INF1)와 제2 예측 결과(INF2)의 차이가 존재하는 여부를 판단(420)한다.
만일 제1 예측 결과(INF1)와 제2 예측 결과(INF2)의 차이가 존재하지 않으면, 도 8에서 후술하는 단계(500)로 진행한다.
이와 다르게, 제1 예측 결과(INF1)와 제2 예측 결과(INF2)의 차이가 존재하는 경우, 해당 차이, 즉 레이블 차이가 존재하는 데이터에 대한 어텐션 맵을 생성(430)한다. 그리고 생성한 어텐션 맵을 이용하여 제2 데이터(DATA2)에 대한 결함 유무를 판단(440)한다.
어텐션 맵은 앞서 설명한 바와 같이 CNN이 이미지 데이터 중 어떤 영역을 기준으로 레이블을 구분했는지를 시각적으로 확인할 수 있도록 하는 방법이다. 구체적으로, 어텐션 맵은 이미지 데이터 상의 한 픽셀마다 특정값을 갖는 2차원 이산 분포의 특성을 가지며 불량으로 예상되는 위치에 가까워질수록 이 값이 커지게 된다. 따라서 어텐션 맵을 통해 이미지 데이터 상의 불량 유무, 위치 및 형태 등을 빠르게 확인할 수 있다. 어텐션 맵의 대표적인 예로 문헌 [ Zhou et al., Learning deep features for discriminative localization, CVPR 2016]에서 소개된 클래스 엑티베이션 맵(class activation map) 기법을 들 수 있다.
본 실시예에서, 어텐션 맵을 생성(430)하는 것은 클래스 엑티베이션 맵 기법을 적용한 방법일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 즉, 어텐션 맵을 생성(430)하는 것은 CNN이 이미지 데이터 중 어떤 영역을 기준으로 레이블을 구분했는지를 확인할 수 있는 임의의 알고리즘으로 구현된 방법을 포함할 수 있다.
그 후, 결함 유무에 따라 제2 데이터(DATA2)에 대한 레이블을 정정하여, 새로이 레이블링된 이미지 데이터를 제3 데이터(DATA3)로서 출력(450)한다. 출력된 제3 데이터(DATA3)는, 도 3에서 설명한 바와 같이, 샘플 클린 데이터 세트(110)에 추가되어 샘플 클린 데이터 세트(110)가 갱신될 수 있도록 한다.
도 5는 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제3 데이터(DATA3)가 추가되어 생신된 샘플 클린 데이터 세트(110)를 이용하여 사전 학습 CNN 모델(200)에 대한 사전 학습을 추가로 수행한다.
본 실시예에서 샘플 클린 데이터 세트(110)는, 레이블 이미지 데이터, 노이즈 레이블 이미지 데이터 및 비 레이블 이미지 데이터를 모두 포함하는 제1 데이터 세트(100) 중, 반도체 장치의 불량 검출을 위해 적절하게 결정된 레이블 이미지 데이터와, 도 3 및 도 4의 과정을 통해 제공받은 제3 데이터(DATA3)가 추가된 갱신된 클린 데이터(U_C_DATA)만을 포함하도록 샘플링된 데이터 세트이다.
사전 학습 CNN 모델(200)에 대한 추가 사전 학습은 샘플 클린 데이터 세트(110)로부터 제공되는 갱신된 클린 데이터(U_C_DATA)를 이용하여 수행된다.
다음으로, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제1 데이터 세트(100)의 제1 데이터(DATA1)와, 갱신된 클린 데이터(U_C_DATA)로 추가 사전 학습이 수행된 사전 학습 CNN 모델(200)로부터 제공되는 갱신된 사전 학습된 CNN(U_PT_CNN)을 이용하여, 노멀 CNN 모델(300) 및 레이블 노이즈 CNN 모델(310)에 대한 학습을 추가로 수행한다.
도 6은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제1 데이터 세트(100)의 제1 데이터(DATA1)와 노멀 CNN 모델(300)을 이용하여, 제1 데이터(DATA1)의 양호 또는 불량 여부를 예측한다. 그리고 그 결과로 제3 예측 결과(INF3)를 출력한다.
한편, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제1 데이터 세트(100)의 제1 데이터(DATA1)와, 레이블 노이즈 CNN 모델(310)을 이용하여, 제1 데이터(DATA1)의 양호 또는 불량 여부를 예측한다. 그리고 그 결과로 제4 예측 결과(INF4)를 출력한다.
앞서 설명한 바와 같이, 본 실시예에서, 레이블 노이즈 CNN 모델(310)은 손실 함수로서 부트스트래핑 손실 함수를 사용하는 부트스트래핑 기법을 적용한 모델일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 즉, 레이블 노이즈 CNN 모델(310)은 스스로 노이즈 레이블을 검출할 수 있는 임의의 알고리즘으로 구현된 모델을 포함할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 제3 예측 결과(INF3) 및 제4 예측 결과(INF4)를 비교하여 레이블 차이가 존재하는 경우 노이즈 정정(400)을 추가 수행한다.
다음으로, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 노이즈 정정의 결과로 생성된 제4 데이터(DATA4)를 샘플 클린 데이터 세트(110)에 추가한다. 즉, 제4 데이터(DATA4)는 이전에 노이즈 레이블로 판단되었던 이미지 데이터의 레이블이 적절한 레이블로 정정된 이미지 데이터에 해당한다. 본 도면에서 설명하는 예시적인 절차를 통해, 샘플 클린 데이터 세트(110)는 계속 갱신될 수 있다.
도 7은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 도 6에서 설명한 노이즈 정정에 대한 구체적인 일례가 도시되어 있다.
먼저 노멀 CNN 모델(300)에 따른 제3 예측 결과(INF3)와 레이블 노이즈 CNN 모델(310)에 따른 제4 예측 결과(INF4)를 비교(412)하고, 제3 예측 결과(INF3)와 제4 예측 결과(INF4)의 차이가 존재하는 여부를 판단(422)한다.
만일 제3 예측 결과(INF3)와 제4 예측 결과(INF4)의 차이가 존재하지 않으면, 도 8에서 후술하는 단계(500)로 진행한다.
이와 다르게, 제3 예측 결과(INF3)와 제4 예측 결과(INF4)의 차이가 존재하는 경우, 해당 차이, 즉 레이블 차이가 존재하는 데이터에 대한 어텐션 맵을 생성(432)한다. 그리고 생성한 어텐션 맵을 이용하여 제1 데이터(DATA1)에 대한 결함 유무를 판단(442)한다.
앞서 설명한 바와 같이, 본 실시예에서, 어텐션 맵을 생성(432)하는 것은 클래스 엑티베이션 맵 기법을 적용한 방법일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 즉, 어텐션 맵을 생성(432)하는 것은 CNN이 이미지 데이터 중 어떤 영역을 기준으로 레이블을 구분했는지를 확인할 수 있는 임의의 알고리즘으로 구현된 방법을 포함할 수 있다.
그 후, 결함 유무에 따라 제1 데이터(DATA1)에 대한 레이블을 정정하여, 새로이 레이블링된 이미지 데이터를 제4 데이터(DATA4)로서 출력(452)한다. 출력된 제4 데이터(DATA4)는, 도 6에서 설명한 바와 같이, 샘플 클린 데이터 세트(110)에 추가되어 샘플 클린 데이터 세트(110)가 갱신될 수 있도록 한다.
도 8은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이고, 도 9는 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법을 설명하기 위한 도면이다.
도 8 및 도 9를 함께 참조하면, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 레이블 차이가 미 존재하는 경우, 샘플 클린 데이터 세트(110)의 갱신이 완료된 클린 데이터 세트(112)에 기초하여 불량 데이터에 대한 시각적 표시를 수행할 수 있다.
구체적으로, 클린 데이트 세트(112)의 모든 클린 데이터(W_C_DATA)에 대해 어텐션 맵을 생성(500)한다. 그리고 생성한 어텐션 맵으로부터 모든 클린 데이터(W_C_DATA)에 대한 결함을 시각적으로 확인할 수 있다. 즉, 어텐션 맵으로 인해 불량 데이터에 대한 시각적 표시가 가능해진다.
앞서 설명한 바와 같이, 본 실시예에서, 어텐션 맵을 생성(500)하는 것은 클래스 엑티베이션 맵 기법을 적용한 방법일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 즉, 어텐션 맵을 생성(500)하는 것은 CNN이 이미지 데이터 중 어떤 영역을 기준으로 레이블을 구분했는지를 확인할 수 있는 임의의 알고리즘으로 구현된 방법을 포함할 수 있다.
나아가, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 불량 데이터를 통해 검출되는 결함의 속성, 즉 불량 데이터 내의 결함의 형태, 형상, 위치, 크기 등에 따라 불량 데이터에 대한 클러스터링을 수행할 수 있다. 이를 위해, 예를 들어, 상기 방법은 어텐션 맵에서 원하는 영역을 크롭(crop)하는 것과 같은 이미지 처리를 수행할 수 있다.
본 발명의 몇몇의 실시예에서, 불량 데이터에 대한 클러스터링을 수행하는 것은, CNN 오토 인코더(CNN auto-encoder)를 이용하여 불량 데이터에 대한 클러스터링(예컨대 k-means 클러스터링)을 수행(600)하는 것을 포함할 수 있다.
CNN 오토 인코더는 높은 차원의 특징 공간(feature space)상의 데이터를 낮은 차원의 잠재 공간(latent space)로 매핑(또는 인코딩)하여 잠재 변수(latent variable)을 추출하고, 그 후 다시 높은 차원의 특징 공간으로 매핑(또는 디코딩)한 결과가, 인코딩 이전의 데이터와 동일해지도록 학습을 시키는 기능을 제공한다. 이에 따라 잠재 변수를 이용하여 클러스터링(예컨대 k-means 클러스터링)을 수행할 수 있다.
나아가, 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법은, 클러스터링을 수행한 결과를 바탕으로, 결함의 속성에 따라 불량 데이터를 불량을 자동으로 분류하는 결함 분류 모델(700)을 생성할 수 있다.
도 10은 본 발명의 일 실시예에 따른 반도체 장치의 불량 검출 방법에 의해 시각화된 결과를 설명하기 위한 도면이다.
도 10을 참조하면, 어텐션 맵을 이용하여 불량 데이터의 결함의 속성, 즉 불량 데이터 내의 결함의 형태, 형상, 위치, 크기 등에 대한 시각적 표시(52)가 가능하다. 예를 들어 제1 결함(DF1)의 경우 수직 방향으로 3 개, 2 개의 세부 결함들이 반복되는 패턴을 이룸을 시각적으로 확인할 수 있고, 제2 결함(DF2)의 경우 지그재그 방향으로 위치한 복수의 세부 결함들을 시각적으로 확인할 수 있다.
지금까지 설명한 이와 같은 반도체 장치의 불량 검출 시스템 및 반도체 장치의 불량 검출 방법에 따르면, 스스로 노이즈 레이블을 검출할 수 있는 CNN 모델과, 일반 CNN 모델 2 가지에 대한 예측 결과를 비교하는 방식으로 클린 데이터를 갱신해 나가면서, 비 레이블 이미지 데이터와 노이즈 레이블 이미지 데이터에 대해 자동으로 레이블을 생성 및 정정하여, 수동으로 레이블을 추가하거나 정정하지 않고도 반도체 장치의 제조 상 결함을 검출 및 분류할 수 있다는 이점을 가진다.
또한 어텐션 맵을 이용하여 결함의 형태, 형상, 위치, 크기 등에 대한 시각적 표시가 가능하고, 불량 데이터를 통해 검출되는 결함의 속성, 즉 불량 데이터 내의 결함의 형태, 형상, 위치, 크기 등에 따라 불량 데이터에 대한 클러스터링을 자동적으로 수행할 수 있다는 이점도 있다.
뿐만 아니라, 클러스터링을 수행한 결과를 바탕으로, 결함의 속성에 따라 불량 데이터를 불량을 자동으로 분류하는 결함 분류 모델을 생성함으로써, 반도체 장치의 제조에 있어서 출현할 수 있는 결함에 대한 분류에 특화된 자동화를 구현할 수 있다는 이점도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 반도체 장치의 불량 검출 시스템
10: 입력 20: 사전 학습 모듈
30: 학습 모듈 40: 노이즈 정정 모듈
50: 어텐션 맵 모듈 60: 클러스터 모듈
70: 출력 100: 제1 데이터 세트
102: 제2 데이터 세트 110: 샘플 클린 데이터 세트
200: 사전 학습 CNN 모듈 300: 노멀 CNN 모듈
310: 레이블 노이즈 CNN 모듈

Claims (20)

  1. 제1 데이터 세트로부터 추출한 샘플 클린 데이터 세트(sampled clean data set)를 이용하여 사전 학습 CNN(convolutional neural network) 모델에 대한 사전 학습을 수행하고,
    상기 제1 데이터 세트의 제1 데이터 및 상기 사전 학습 CNN 모델을 이용하여, 노멀 CNN 모델(normal CNN model) 및 레이블 노이즈 CNN 모델(label-noise CNN model)에 대한 학습을 수행하고,
    제2 데이터 세트의 제2 데이터 및 상기 노멀 CNN 모델을 이용하여, 상기 제2 데이터의 양호 또는 불량 여부를 예측한 제1 예측 결과를 출력하고,
    상기 제2 데이터 및 상기 레이블 노이즈 CNN 모델을 이용하여, 상기 제2 데이터의 양호 또는 불량 여부를 예측한 제2 예측 결과를 출력하고,
    상기 제1 예측 결과 및 상기 제2 예측 결과를 비교하여 레이블 차이(label difference)가 존재하는 경우 노이즈 정정(noise correction)을 수행하고,
    상기 노이즈 정정의 결과로 생성된 제3 데이터를 상기 샘플 클린 데이터 세트에 추가하고,
    상기 샘플 클린 데이터 세트를 이용하여 상기 노멀 CNN 모델 및 레이블 노이즈 CNN 모델에 대한 학습을 추가 수행하는 것을 포함하는 반도체 장치의 불량 검출 방법.
  2. 제1항에 있어서,
    상기 노이즈 정정을 수행하는 것은,
    상기 레이블 차이에 대해 생성한 어텐션 맵(attention map)을 이용하여 상기 제2 데이터에 대한 결함 유무를 판단하고,
    상기 결함 유무에 따라 상기 제2 데이터에 대한 레이블을 정정하는 것을 포함하는 반도체 장치의 불량 검출 방법.
  3. 제1항에 있어서,
    상기 레이블 노이즈 CNN 모델은 손실 함수(loss function)로서 부트스트래핑 손실 함수(bootstraping loss function)을 사용하는 반도체 장치의 불량 검출 방법.
  4. 제1항에 있어서,
    상기 샘플 클린 데이터 세트를 이용하여 상기 노멀 CNN 모델 및 레이블 노이즈 CNN 모델에 대한 학습을 추가 수행한 후,
    상기 제1 데이터 및 상기 노멀 CNN 모델을 이용하여, 상기 제1 데이터의 양호 또는 불량 여부를 예측한 제3 예측 결과를 출력하고,
    상기 제1 데이터 및 상기 레이블 노이즈 CNN 모델을 이용하여, 상기 제1 데이터의 양호 또는 불량 여부를 예측한 제4 예측 결과를 출력하는 것을 더 포함하는 반도체 장치의 불량 검출 방법.
  5. 제4항에 있어서,
    상기 제3 예측 결과 및 상기 제4 예측 결과를 비교하여 상기 레이블 차이가 존재하는 경우 상기 노이즈 정정을 추가 수행하고,
    상기 추가 수행된 노이즈 정정의 결과로 생성된 제4 데이터를 상기 샘플 클린 데이터 세트에 추가하는 것을 더 포함하는 반도체 장치의 불량 검출 방법.
  6. 제1항에 있어서,
    상기 레이블 차이가 미 존재하는 경우, 상기 샘플 클린 데이터 세트의 갱신이 완료된 클린 데이터 세트에 기초하여 불량 데이터에 대한 시각적 표시를 수행하는 것을 더 포함하는 반도체 장치의 불량 검출 방법.
  7. 제6항에 있어서,
    상기 불량 데이터에 대한 시각적 표시를 수행하는 것은,
    상기 클린 데이터 세트에 대해 생성한 어텐션 맵을 이용하여 상기 불량 데이터에 대한 시각적 표시를 수행하는 것을 포함하는 반도체 장치의 불량 검출 방법.
  8. 제6항에 있어서,
    상기 불량 데이터에 대한 시각적 표시를 수행하는 것은,
    상기 불량 데이터를 통해 검출되는 결함의 속성에 따라 상기 불량 데이터에 대한 클러스터링을 수행하는 것을 더 포함하는 반도체 장치의 불량 검출 방법.
  9. 제8항에 있어서,
    상기 불량 데이터에 대한 시각적 표시를 수행하는 것은,
    상기 클러스터링을 수행한 결과를 바탕으로 상기 결함의 속성에 따라 상기 불량 데이터를 불량을 분류하는 결함 분류 모델을 생성하는 것을 더 포함하는 반도체 장치의 불량 검출 방법.
  10. 제8항에 있어서,
    상기 불량 데이터에 대한 클러스터링을 수행하는 것은,
    CNN 오토 인코더(CNN auto-encoder)를 이용하여 상기 불량 데이터에 대한 클러스터링을 수행하는 것을 포함하는 반도체 장치의 불량 검출 방법.
  11. 제1 데이터 세트의 제1 데이터 및 사전 학습 CNN(convolutional neural network) 모델을 이용하여, 노멀 CNN 모델(normal CNN model) 및 레이블 노이즈 CNN 모델(label-noise CNN model)에 대한 1차 학습을 수행하고,
    제2 데이터 세트의 제2 데이터 및 상기 노멀 CNN 모델을 이용하여, 상기 제2 데이터의 양호 또는 불량 여부를 예측한 제1 예측 결과를 출력하고,
    상기 제2 데이터 및 상기 레이블 노이즈 CNN 모델을 이용하여, 상기 제2 데이터의 양호 또는 불량 여부를 예측한 제2 예측 결과를 출력하고,
    상기 제1 예측 결과 및 상기 제2 예측 결과를 비교하여 레이블 차이(label difference)가 존재하는 경우 노이즈 정정(noise correction)을 수행하고,
    상기 노이즈 정정의 결과로 생성된 제3 데이터에 대해, 상기 사전 학습 CNN 모델에 대한 추가 학습을 수행하고,
    상기 사전 학습 CNN 모델)를 이용하여 상기 노멀 CNN 모델 및 레이블 노이즈 CNN 모델에 대한 2차 학습을 수행하고,
    상기 제1 데이터 및 상기 노멀 CNN 모델을 이용하여, 상기 제1 데이터의 양호 또는 불량 여부를 예측한 제3 예측 결과를 출력하고,
    상기 제1 데이터 및 상기 레이블 노이즈 CNN 모델을 이용하여, 상기 제1 데이터의 양호 또는 불량 여부를 예측한 제4 예측 결과를 출력하고,
    상기 제3 예측 결과 및 상기 제4 예측 결과를 비교하여 상기 레이블 차이가 존재하는 경우 상기 노이즈 정정을 추가 수행하고,
    상기 추가 수행된 노이즈 정정의 결과로 생성된 제4 데이터에 대해, 상기 사전 학습 CNN 모델에 대한 추가 학습을 수행하는 것을 포함하는 반도체 장치의 불량 검출 방법.
  12. 제11항에 있어서,
    상기 노이즈 정정을 수행하는 것은,
    상기 제1 예측 결과 및 상기 제2 예측 결과에 대한 상기 레이블 차이에 대해 생성한 어텐션 맵(attention map)을 이용하여 상기 제2 데이터에 대한 결함 유무를 판단하고,
    상기 결함 유무에 따라 상기 제2 데이터에 대한 레이블을 정정하는 것을 포함하고,
    상기 노이즈 정정을 추가 수행하는 것은,
    상기 제3 예측 결과 및 상기 제4 예측 결과에 대한 상기 레이블 차이에 대해 생성한 어텐션 맵을 이용하여 상기 제1 데이터에 대한 결함 유무를 판단하고,
    상기 결함 유무에 따라 상기 제1 데이터에 대한 레이블을 정정하는 것을 포함하는 반도체 장치의 불량 검출 방법.
  13. 제11항에 있어서,
    상기 레이블 노이즈 CNN 모델은 손실 함수(loss function)로서 부트스트래핑 손실 함수(bootstraping loss function)을 사용하는 반도체 장치의 불량 검출 방법.
  14. 제11항에 있어서,
    상기 제1 데이터 세트로부터 추출한 샘플 클린 데이터 세트(sampled clean data set)를 이용하여 상기 사전 학습 CNN 모델을 사전 학습을 수행하는 것을 더 포함하는 반도체 장치의 불량 검출 방법.
  15. 제1 데이터 세트로부터 추출한 샘플 클린 데이터 세트(sampled clean data set)를 이용하여 사전 학습 CNN(convolutional neural network) 모델에 대한 사전 학습을 수행하고,
    상기 제1 데이터 세트의 제1 데이터 및 상기 사전 학습 CNN 모델을 이용하여, 노멀 CNN 모델(normal CNN model) 및 레이블 노이즈 CNN 모델(label-noise CNN model)에 대한 학습을 수행하고,
    제2 데이터 세트의 제2 데이터 및 상기 노멀 CNN 모델을 이용하여, 상기 제2 데이터의 양호 또는 불량 여부를 예측한 제1 예측 결과를 출력하고,
    상기 제2 데이터 및 상기 레이블 노이즈 CNN 모델을 이용하여, 상기 제2 데이터의 양호 또는 불량 여부를 예측한 제2 예측 결과를 출력하고,
    상기 제1 예측 결과 및 상기 제2 예측 결과를 비교하여 레이블 차이(label difference)가 미 존재하는 경우, 레이블 정정이 완료된 클린 데이터 세트에 기초하여 불량 데이터에 대한 시각적 표시를 수행하는 것을 포함하는 반도체 장치의 불량 검출 방법.
  16. 제15항에 있어서,
    상기 레이블 노이즈 CNN 모델은 손실 함수(loss function)로서 부트스트래핑 손실 함수(bootstraping loss function)을 사용하는 반도체 장치의 불량 검출 방법.
  17. 제15항에 있어서,
    상기 불량 데이터에 대한 시각적 표시를 수행하는 것은,
    상기 클린 데이터 세트에 대해 생성한 어텐션 맵을 이용하여 상기 불량 데이터에 대한 시각적 표시를 수행하는 것을 포함하는 반도체 장치의 불량 검출 방법.
  18. 제15항에 있어서,
    상기 불량 데이터에 대한 시각적 표시를 수행하는 것은,
    상기 불량 데이터를 통해 검출되는 결함의 속성에 따라 상기 불량 데이터에 대한 클러스터링을 수행하는 것을 더 포함하는 반도체 장치의 불량 검출 방법.
  19. 제18항에 있어서,
    상기 불량 데이터에 대한 시각적 표시를 수행하는 것은,
    상기 클러스터링을 수행한 결과를 바탕으로 상기 결함의 속성에 따라 상기 불량 데이터를 불량을 분류하는 결함 분류 모델을 생성하는 것을 더 포함하는 반도체 장치의 불량 검출 방법.
  20. 제18항에 있어서,
    상기 불량 데이터에 대한 클러스터링을 수행하는 것은,
    CNN 오토 인코더(CNN auto-encoder)를 이용하여 상기 불량 데이터에 대한 클러스터링을 수행하는 것을 포함하는 반도체 장치의 불량 검출 방법.
KR1020180087488A 2018-07-27 2018-07-27 반도체 장치의 불량 검출 방법 KR102631031B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180087488A KR102631031B1 (ko) 2018-07-27 2018-07-27 반도체 장치의 불량 검출 방법
CN201910501571.6A CN110852983B (zh) 2018-07-27 2019-06-11 用于检测半导体装置中的缺陷的方法
US16/505,155 US11507801B2 (en) 2018-07-27 2019-07-08 Method for detecting defects in semiconductor device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180087488A KR102631031B1 (ko) 2018-07-27 2018-07-27 반도체 장치의 불량 검출 방법

Publications (2)

Publication Number Publication Date
KR20200012334A KR20200012334A (ko) 2020-02-05
KR102631031B1 true KR102631031B1 (ko) 2024-01-29

Family

ID=69178513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180087488A KR102631031B1 (ko) 2018-07-27 2018-07-27 반도체 장치의 불량 검출 방법

Country Status (3)

Country Link
US (1) US11507801B2 (ko)
KR (1) KR102631031B1 (ko)
CN (1) CN110852983B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259184B (zh) * 2020-02-27 2022-03-08 厦门大学 一种面向新零售的图像自动标注系统及方法
CN111462051B (zh) * 2020-03-14 2022-09-27 华中科技大学 一种基于深度神经网络的布匹疵点检测方法和系统
US20230351730A1 (en) * 2020-04-17 2023-11-02 Semiconductor Energy Laboratory Co., Ltd. Classification Device, Image Classification Method, and Pattern Inspection Device
CN111524120B (zh) * 2020-04-22 2023-04-25 征图新视(江苏)科技股份有限公司 基于深度学习的印刷品细小划痕、套印偏差检测方法
TWI777173B (zh) * 2020-06-01 2022-09-11 汎銓科技股份有限公司 人工智慧辨識之半導體影像量測方法
CN111966823B (zh) * 2020-07-02 2022-04-22 华南理工大学 一种面向标签噪声的图节点分类方法
KR102229381B1 (ko) * 2020-10-26 2021-03-18 주식회사 웨이센 Ai 예측 모델을 이용한 예측 결과의 학습 데이터 추가 방법
KR102249623B1 (ko) * 2020-11-04 2021-05-10 주식회사 웨이센 Ai 예측 모델을 이용한 2개의 예측 결과의 시각화 방법
KR102249635B1 (ko) * 2020-11-06 2021-05-10 주식회사 웨이센 Ai 예측 모델을 이용한 2개의 예측 결과의 학습 데이터 추가 방법
CN112581401B (zh) * 2020-12-25 2023-04-28 英特灵达信息技术(深圳)有限公司 一种raw图片的获取方法、装置及电子设备
CN114819242A (zh) * 2021-01-28 2022-07-29 联华电子股份有限公司 考虑整体特征与局部特征的半导体工艺预测方法与装置
CN113283578A (zh) * 2021-04-14 2021-08-20 南京大学 一种基于标记风险控制的数据去噪方法
US20220359029A1 (en) * 2021-05-06 2022-11-10 Micron Technology, Inc. Memory Failure Prediction
CN113112019A (zh) * 2021-05-14 2021-07-13 电子科技大学成都学院 基于改进抗噪鲁棒性学习算法的数据标签降噪系统
CN113255849B (zh) * 2021-07-14 2021-10-01 南京航空航天大学 一种基于双重主动查询的标签带噪图像学习方法
CN113743447B (zh) * 2021-07-15 2024-05-17 上海朋熙半导体有限公司 半导体瑕疵识别方法、装置、计算机设备和存储介质
CN115146761A (zh) * 2022-05-26 2022-10-04 腾讯科技（深圳）有限公司 一种缺陷检测模型的训练方法和相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090254498A1 (en) 2008-04-03 2009-10-08 Narendra Gupta System and method for identifying critical emails
WO2017055878A1 (en) 2015-10-02 2017-04-06 Tractable Ltd. Semi-automatic labelling of datasets

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5608575B2 (ja) * 2011-01-19 2014-10-15 株式会社日立ハイテクノロジーズ 画像分類方法および画像分類装置
CN104346622A (zh) 2013-07-31 2015-02-11 富士通株式会社 卷积神经网络分类器及其分类方法和训练方法
US10650508B2 (en) 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
CN106296638A (zh) 2015-06-04 2017-01-04 欧姆龙株式会社 显著性信息取得装置以及显著性信息取得方法
US9633282B2 (en) 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US10332028B2 (en) 2015-08-25 2019-06-25 Qualcomm Incorporated Method for improving performance of a trained machine learning model
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
US10223615B2 (en) 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification
JP6581068B2 (ja) * 2016-11-11 2019-09-25 株式会社東芝 画像処理装置、画像処理方法、プログラム、運転制御システム、および、車両
US10303979B2 (en) * 2016-11-16 2019-05-28 Phenomic Ai Inc. System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN107463953B (zh) * 2017-07-21 2019-11-19 上海媒智科技有限公司 在标签含噪情况下基于质量嵌入的图像分类方法及系统
CN107563406B (zh) * 2017-07-21 2021-01-01 浙江工业大学 一种自主学习的图像精细分类方法
CN107481231A (zh) 2017-08-17 2017-12-15 广东工业大学 一种基于深度卷积神经网络的五金件缺陷分类识别方法
US20220004935A1 (en) * 2021-09-22 2022-01-06 Intel Corporation Ensemble learning for deep feature defect detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090254498A1 (en) 2008-04-03 2009-10-08 Narendra Gupta System and method for identifying critical emails
WO2017055878A1 (en) 2015-10-02 2017-04-06 Tractable Ltd. Semi-automatic labelling of datasets

Also Published As

Publication number Publication date
US11507801B2 (en) 2022-11-22
US20200034693A1 (en) 2020-01-30
KR20200012334A (ko) 2020-02-05
CN110852983B (zh) 2024-03-08
CN110852983A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
KR102631031B1 (ko) 반도체 장치의 불량 검출 방법
EP3885989A1 (en) Anomaly detection based on an autoencoder and clustering
CN109523518B (zh) 一种轮胎x光病疵检测方法
JP2015087903A (ja) 情報処理装置及び情報処理方法
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN110795585B (zh) 基于生成对抗网络的零样本图像分类系统及其方法
CN112766334B (zh) 一种基于伪标签域适应的跨域图像分类方法
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN112819840B (zh) 一种融合深度学习与传统处理的高精度图像实例分割方法
CN112381788A (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN107392221B (zh) 分类模型的训练方法、分类ocr识别结果的方法及装置
CN109740553B (zh) 一种基于识别的图像语义分割数据筛选方法及系统
CN115410059B (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN112132014A (zh) 基于非督导金字塔相似性学习的目标重识别方法及系统
CN110222772B (zh) 一种基于块级别主动学习的医疗图像标注推荐方法
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
CN110378337A (zh) 金属切削刀具图纸标识信息视觉输入方法及系统
CN115861992A (zh) 一种复杂场景下的设备标签内容识别方法及系统
CN114299299A (zh) 一种树叶特征提取方法、装置、计算机设备和存储介质
JP2020052474A (ja) 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
CN116188973B (zh) 认知生成机制裂缝检测方法
CN117876383B (zh) 一种基于yolov5l的公路表面条状裂缝检测方法
Molnár et al. Constellation Recognition on Digital Images
US20230274526A1 (en) Automatic Labeling Method for Unlabeled Data of Point Clouds
WO2023053216A1 (ja) 機械学習プログラム、機械学習方法および機械学習装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant