KR20200088012A - 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법 - Google Patents

반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법 Download PDF

Info

Publication number
KR20200088012A
KR20200088012A KR1020190004476A KR20190004476A KR20200088012A KR 20200088012 A KR20200088012 A KR 20200088012A KR 1020190004476 A KR1020190004476 A KR 1020190004476A KR 20190004476 A KR20190004476 A KR 20190004476A KR 20200088012 A KR20200088012 A KR 20200088012A
Authority
KR
South Korea
Prior art keywords
semiconductor
features
feature selection
classifiers
defective
Prior art date
Application number
KR1020190004476A
Other languages
English (en)
Other versions
KR102182678B1 (ko
Inventor
한영신
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020190004476A priority Critical patent/KR102182678B1/ko
Publication of KR20200088012A publication Critical patent/KR20200088012A/ko
Application granted granted Critical
Publication of KR102182678B1 publication Critical patent/KR102182678B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8877—Proximity analysis, local statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

다양한 실시예들에 따른 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법은, 제조되는 반도체로부터 데이터 셋을 수집하고, 데이터 셋으로부터 복수 개의 특징들을 선택하고, 복수 개의 분류기들을 이용하여, 특징들을 기반으로, 반도체에 대한 불량 여부를 예측하고, 분류기들로부터 출력되는 예측 결과들을 결합하여, 반도체의 불량 여부를 판정하도록 구성될 수 있다.

Description

반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법{METHOD AND APPRATUS FOR PREDICTING FAULT PATTERN USING MULTI-CLASSIFIER BASED ON FEATURE SELECTION METHOD IN SEMICONDUCTOR MANUFACTURING PROCESS}
다양한 실시예들은 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법에 관한 것이다.
반도체의 제조 공정은 FAB(Wafer fabrication)공정, Probe test 공정, Assembly 공정, Package test 공정의 순서대로 진행 된다. FAB 공정은 웨이퍼 표면에 레이어들을 조합하여 수백개의 칩으로 구성하는 공정이다. 웨이퍼 Probe test 공정은 FAB 공정이 끝난 뒤에 Wafer 내의 칩에 전기적 자극을 가해 정상적인 기능 여부를 검사하여 Pass/fail을 판별하는 공정이다. 현재 반도체 공정은 FAB 공정과 Probe Test 공정에 초점을 맞추어 반도체 수율을 예측하고 있다.
하지만, 반도체 제조 기술의 발달과 웨이퍼를 구성하는 칩의 수가 증가함에 따라 시간과 비용이 소요되는 문제점이 발생하고 있다. 따라서 반도체 산업에서 최종 검사 수율을 예측하여 시간과 비용을 줄이기 위한 연구가 필요하다. 복잡한 웨이퍼 제조 공정은 일부 결함이 발생할 수 있으며, 최종 제품 생산에 실패를 할 수 있다. 따라서 제조 공정에서의 오류 검출 및 분류 기법이 필요하며, 제품의 최종 생산되기 이전의 불량 패턴 예측을 통해 반도체의 품질과 신뢰성을 향상시킬 수 있다.
다양한 실시예들에 따른 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치는, 제조되는 반도체로부터 데이터 셋을 수집하는 데이터 수집부, 상기 데이터 셋으로부터 복수 개의 특징들을 선택하는 복수 개의 특징 선택부들, 상기 특징들에 기반하여, 상기 반도체에 대한 불량 여부를 예측하는 복수 개의 분류기들, 및 상기 분류기들로부터 출력되는 예측 결과들을 결합하여, 상기 반도체의 불량 여부를 판정하는 판정부를 포함할 수 있다.
다양한 실시예들에 따른 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 방법은, 제조되는 반도체로부터 데이터 셋을 수집하는 단계, 상기 데이터 셋으로부터 복수 개의 특징들을 선택하는 단계, 복수 개의 분류기들을 이용하여, 상기 특징들을 기반으로, 상기 반도체에 대한 불량 여부를 예측하는 단계, 및 상기 분류기들로부터 출력되는 예측 결과들을 결합하여, 상기 반도체의 불량 여부를 판정하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 불량 패턴 예측 장치가 복수 개의 분류기들을 이용하여 반도체의 불량 패턴을 예측함으로써, 보다 효과적으로 불량 패턴을 예측할 수 있다. 즉 불량 패턴 예측 장치가 복수 개의 분류기들을 이용하여 반도체에 대한 불량 여부를 예측하고, 분류기들로부터 출력되는 예측 결과를 결합하여 반도체의 불량 여부를 판정하기 때문에, 불량 패턴을 예측하는 데 있어서 정확성 및 신뢰성이 향상될 수 있다.
도 1은 다양한 실시예들에 따른 불량 패턴 예측 장치를 도시하는 도면이다.
도 2는 다양한 실시예들에 따른 불량 패턴 예측 방법을 도시하는 도면이다.
도 3은 도 2의 데이터 전처리 단계를 도시하는 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
반도체 제조공정에서 불량 패턴 예측은 복잡한 제조 공정에서 머신러닝 및 데이터 마이닝의 분류 기술을 이용하여 시간과 비용을 줄일 수 있기 때문에 매우 중요하다. 이러한 반도체 제조 공정에서 불량 패턴 예측을 위한 많은 연구가 진행되고 있다. A.M. Ison은 decision tree 기반의 불량 패턴 예측 모델을 제안했다. 다섯 개의 센서로부터 입력되는 데이터를 분석하여 plasma etch 장치의 불량 패턴을 검출했다. Plasma로부터 optical emission data를 획득하여, 데이터 분석을 통해 이산 데이터로 변환하여 decision tree를 적용하여 분류 예측 모델을 생성했다. He는 k-nearest neighbor rule 기반의 불량 패턴 예측 방법을 제안했다. 반도체 제조 공정에서는 fault detection을 하는 데에 불필요한 feature가 있기 때문에 이를 제거하고 주요 특징을 획득하기 위해 인접한 특징을 획득하기 위해 KNN rule을 이용했다. Tafazzoli는 SVM을 이용하여 패턴 검증 프로세스를 제안했다. 제안하는 방법은 3개의 서로 다른 SVM(SVM-Linear, SVM-RBF, SVM-Poly)을 결합하여 하나의 combined SVM 분류기를 생성했다. 서로 다른 분류기를 결합하여 하나의 분류기를 생성했기 때문에 낮은 분류 에러율을 나타냈다. Kittisak은 FAB 공정에서 센서를 통해 590 개의 특징에 대해 특징 선택을 위해 MeanDiff 방법을 제안했다. 추출된 특징을 이용하여 Decision tree와 boosting을 이용한 분류기를 생성하여 불량 패턴 예측의 성능을 높였다.
불량 패턴 예측은 비용 및 품질에 많은 영향을 미치기 때문에, 정확도가 높은 분류기를 필요로 한다. 따라서, 불량 패턴을 예측하기 위해 특징을 선택하는 방법과 여러 개의 분류기들을 조합하는 방법이 중요하다. 다양한 실시예들에서 여러 개의 특징 선택 기법들에 따라 분류기들을 생성하고, DS(dempster-shafer)를 이용하여 분류기들에 따른 출력 데이터를 조합하는 방법을 제안한다.
특징 선택 기법들은 알고리즘의 특성에 따라 필요한 특징들을 추출하지만 분류에 유용한 패턴을 선택하는 방법이 차이가 있다. 즉, 데이터의 입력에 따라 특징 선택 기법의 성능의 차이가 크다. 따라서, 불량 패턴을 예측하기 위해서는 여러 개의 특징 선택 기법의 조합이 필요하다. 특정한 데이터에 따라 잘 분류할 수 있는 특징들이 있기 때문이다. 특징 선택 기법에 따라 여러 개의 분류기들을 학습하면, 입력되는 데이터에 따라 예측되는 출력 데이터가 서로 다르다. 따라서 이를 위한 조합 방법이 필요하다. 출력 데이터의 정보를 조합하여 최종으로 결정하는 방법에는 여러 기법이 있다. DS는 확신의 정도를 구간으로 표현하여, 확률이론과 같이 서로 베타적인 가설집합을 설정하여 정보를 조합한다. 이를 통해, 여러 개의 분류기들에서 출력되는 데이터를 이용하여 최종 예측되는 정보를 제공할 수 있다.
DS(Dempster-Shafer Theory)는 Arthur Dempster와 Glenn Shafer에 의하여 제시된 불확실하고 부정확한 문제를 다루는 수학적 이론이다. DS는 데이터 집합에 대해서 믿음 값과 가능성 값을 이용하여 증거구간 설정과 같은 효과적인 방법을 제공한다. DS는 확신의 정도를 구간으로 표현하며 확률과 같이 서로 배타적인 가설 집합을 설정한다. 대상의 집합을 환경이라고 하며 θ으로 표시된다. θ는 θ={θ1, θ2, θ3, ..., θn}와 같이 여러 개의 원소들을 가질 수 있으며, 부분집합의 개수는 2k가 된다. θ가 오직 한가지의 원소를 가질 때, 식별 프레임이라고 한다. 2k 개의 부분집합으로 구성된 것은 멱집합(Power Set)이라고 하며 Θ으로 표기된다. Θ가 어느 증거에 의해 지원받는 정도를 기본확률 배정함수 m이라고 하며, 하기 [수학식 1]과 같이 표현될 수 있다. 하기 [수학식 2]와 같이, m은 공집합에 대해서는 0의 확률값에 사상되며, Θ의 모든 부분집합에 대해서 m의 합은 1이 된다.
Figure pat00001
Figure pat00002
주어진 증거에 의해여 임의의 가설 H(Hypnosis)에 대한 믿음 값인 Belief(H)는 하기 [수학식 3]과 같다.
Figure pat00003
하기 [수학식 4]와 같이, 신뢰의 정도는 주어진 증거들의 신뢰성과 전반적인 환경의 영향에 따라 결정되며, 정도의 비율은 e로 표시한다.
Figure pat00004
여기서, r은 0과 1사이의 값 (0≤r≤1)이며, r=0이면 참이고, r=1이면 거짓이 된다. DS는 서로 다른 증거들간의 융합의 과정을 통해 새로운 믿음의 값을 계산한다. 따라서, 증거들간의 융합은 하기 [수학식 5]와 같이 표현될 수 있으며,
Figure pat00005
이면, 두 증거들간의 융합의 믿음 값은 0이다.
Figure pat00006
DS는 H에 대한 신뢰 척도를 Bel(H)값으로 표현되지 않고, [Bel(H), Pls(H)]와 같은 구간으로 표시한다. 이 구간을 증거 구간(Evidential Interval)이라 한다. Plausibility(Pls)는 증거에 기초하여 가설이 부정되지 않는 범위를 의미하며(참과 거짓의 구간을 제외한 빈 구간), 최대로 신뢰 받을 수 있는 가능성을 의미한다. Bel은 0 부터 1 까지의 범위를 가지며(참과 거짓의 범위), Pls는 하기 [수학식 6]과 같이 정의될 수 있으며 [0,1] 값을 갖는다. 또한 가능성 값은 믿음 값의 융합과 마찬가지로 다수의 증거로부터 융합의 과정을 표현할 수 있다.
Figure pat00007
도 1은 다양한 실시예들에 따른 불량 패턴 예측 장치를 도시하는 도면이다.
도 1을 참조하면, 다양한 실시예들에 따른 불량 패턴 예측 장치(100)는, 데이터 수집부(110), 복수 개의 특징 선택부(120)들, 복수 개의 분류기(130)들 및 판정부(140)를 포함할 수 있다.
데이터 수집부(110)는 제조되는 반도체로부터 데이터 셋을 수집할 수 있다.
특징 선택부(120)들은 데이터 셋으로부터 불량 패턴과 관련된 복수 개의 특징들을 선택할 수 있다. 이 때 특징 선택부(120)들은 복수 개의 분류기(130)들에 각각 대응하여, 불량 패턴과 관련된 특징들을 추출할 수 있다. 여기서, 특징 선택부(120)들은 복수 개의 특징 선택 방법들을 이용하여, 특징들을 선택할 수 있다. 각각의 특징 선택부(120)가 각각의 특징 선택 방법을 이용할 수 있다. 예를 들면, 특징 선택 방법들은 Correlation-based Feature Selection(CFS), Symmetrical Uncertainty(SU), Information Gain(IG) 또는 Combination Features(CF) 중 적어도 어느 하나를 포함할 수 있다. CFS는, Pearson의 상관계수를 이용하여 두 개의 변수들 간의 상관 관계에 대해 분석하고, 상관이 높은 순위의 특징을 추출하는 방법이다. SU는, 다른 특징 집합과 관련하여 대칭에 대한 불확실성을 측정한 후, 특징 집합 속성의 가치를 평가하는 방법이다. IG는 목표 클래스와 입력 특징들 간의 평균 정보량을 비교하여 특징을 선택하는 방법으로서, Decision Tree C4.5에서도 이용하는 방법이다. CF는 다른 특징 선택 방법들의 결과에서 공통으로 들어가는 특징을 선택하는 방법이다.
분류기(130)들은 특징 선택부(120)들에서 선택된 특징들에 기반하여, 반도체를 분류할 수 있다. 이 때 분류기(130)들은 반도체에 대하여, pass와 fail에 대한 확률값을 예측할 수 있다. 예를 들면, 분류기(130)들은 Naive Bayesian(NB), Decision Tree C4.5, Support Vector Machine(SVM), Back Propagation Network(BPN) 또는 Random Forest(RF) 중 적어도 어느 하나를 포함할 수 있다.
판정부(140)는 분류기(130)들의 예측 결과들을 결합하여, 반도체를 판정할 수 있다. 이 때 판정부(140)는 DS(dempster-shafer) 기반으로 분류기(130)들의 예측 결과들을 결합하여, 반도체의 pass/fail을 판정할 수 있다. 예를 들면, 판정부(140)는 반도체에 대한 pass와 fail에 대한 확률 값들을 비교하여, 상대적으로 높은 확률 값을 결정할 수 있다.
도 2는 다양한 실시예들에 따른 불량 패턴 예측 방법을 도시하는 도면이다.
도 2를 참조하면, 불량 패턴 예측 장치(100)는 210 단계에서 제조되는 반도체로부터 데이터 셋을 수집할 수 있다. 예를 들면, 데이터 셋은 SECOM(Semi COnductor Manufacturing) 데이터 셋일 수 있으며, 반도체의 제조 공정에서 590 개의 센서들을 통하여 반도체로부터 수집되는 FAB 데이터로서, 1567 개의 레코드들과 590개의 특징들을 포함할 수 있다. 여기서, 1567 개의 레코드들 중에서, fail(불량 패턴)들의 개수는 104 개(encoded as 1)이며, pass(정량 패턴)들의 개수는 1463 개(encoded as -1)로 구성될 수 있다.
불량 패턴 예측 장치(100)는 220 단계에서 데이터 셋에 대하여, 데이터 전처리를 수행할 수 있다. 이 때 불량 패턴 예측 장치(100)는 복수 개의 분류기(130)들에 대응하여, 불량 패턴과 관련된 복수 개의 특징들을 추출할 수 있다. 일 예로, 불량 패턴 예측 장치(100)는 SECOM 데이터 셋에서 590 개의 특징들로부터 불량 패턴과 관련이 있는 특징들을 추출할 수 있다. 다만, pass/fail의 불균형으로 인해 SECOM 데이터 셋은 정확하게 분석하기 매우 어렵다. 따라서, 정확한 pass/fail 분류를 위해서, 590 개의 특징들 중에서 불량 패턴과 관련된 특징들이 추출되어야 한다. 이를 위해, 불량 패턴 예측 장치(100)는 SECOM 데이터 셋의 1567 개의 레코드들와 590 개의 특징들을 분석하기 위해, 데이터 전처리를 수행할 수 있다.
도 3은 도 2의 데이터 전처리 단계를 도시하는 도면이다.
도 3을 참조하면, 불량 패턴 예측 장치(100)는 310 단계에서 데이터 셋에 대하여, 데이터 클리닝을 수행할 수 있다. 이 때 데이터 클리닝은 데이터 셋으로부터 불필요한 데이터를 제거하기 위한 작업이다. 예를 들면, 불량 패턴 예측 장치(100)는 두 가지의 규칙들에 의거하여 데이터 클리닝을 수행할 수 있다. 첫 번째 규칙에 따르면, 불량 패턴 예측 장치(100)는 missing 값을 포함하는 레코드들을 제거할 수 있다. 두 번째 규칙에 따르면, 불량 패턴 예측 장치(100)는 특징들 중에서 missing 값을 포함하는 데이터, ‘Not available’인 데이터 및 하나의 데이터(single value)로만 구성된 데이터를 제거할 수 있다. 데이터 클리닝 결과, 48 개의 레코드들이 제거되어 총 1,519 개의 레코드들이 남고, 281개의 특징들이 제거되어 309 개의 특징들이 남을 수 있다.
불량 패턴 예측 장치(100)는 320 단계에서 데이터 셋으로부터 복수 개의 특징들을 선택할 수 있다. 이 때 불량 패턴 예측 장치(100)는 데이터 클리닝 결과에 기반하여, 특징들을 선택할 수 있다. 여기서, 불량 패턴 예측 장치(100)는 복수 개의 특징 선택 방법들을 이용하여 특징들을 선택할 수 있다. 예를 들면, 불량 패턴 예측 장치(100)는 데이터 클리닝 결과 남은 309 개의 특징들 중에서 pass/fail을 구분할 수 있는 특징들을 추출할 수 있다. 일 예로, 불량 패턴 예측 장치(100)는 4 개의 특징 선택 방법들을 이용할 수 있으며, 일반적으로 사용되는 3 개의 특징 선택 방법들을 이용할 수 있다. 예를 들면, 특징 선택 방법들은 Correlation-based Feature Selection(CFS), Symmetrical Uncertainty(SU), Information Gain(IG) 또는 Combination Features(CF) 중 적어도 어느 하나를 포함할 수 있다. CFS는 Pearson의 상관 계수를 이용하여 두 개의 변수들 간의 상관 관계에 대해 분석하고, 상관이 높은 순위의 특징을 추출하는 방법이다. SU는 다른 특징 집합과 관련하여 대칭에 대한 불확실성을 측정한 후, 특징 집합 속성의 가치를 평가하는 방법이다. IG는 목표 클래스와 입력 특징들 간의 평균 정보량을 비교하여 특징을 선택하는 방법으로서, Decision Tree C4.5에서도 이용하는 방법이다. CF는 다른 특징 선택 방법들의 결과에서, 공통으로 들어가는 특징을 선택하는 방법이다. 이를 통해, 불량 패턴 예측 장치(100)는 데이터 클리닝 결과 남은 1519 개의 레코드들과 309 개의 특징들로부터, 하기 [표 1]과 같은 특징들을 선택할 수 있다. 여기서, 불량 패턴 예측 장치(100)는 SU와 IG에 기반하여, 동일한 특징들을 선택하므로, SU 또는 IG 중 어느 하나의 특징 선택 방법이 이용될 수 있다. 그리고 불량 패턴 예측 장치(100)는 CF에 기반하여, CFS, SU 및 IG에 대응하여 공통으로 12 개의 특징들을 선택할 수 있다.
Figure pat00008
불량 패턴 예측 장치(100)는 330 단계에서 특징들을 스케일링할 수 있다. 이 때 불량 패턴 예측 장치(100)는 데이터 셋으로부터 선택된 특징들을 스케일링할 수 있다. 각각의 특징에 대응하는 데이터 크기의 범위가 상이하기 때문에, 특징들에 대한 스케일링이 필요할 수 있다. 여기서, 스케일링은 데이터의 집합에 대해 [0, 1] 까지의 데이터로 일반화하는 작업이다. 이를 통해, 각각의 분류기를 통하여 학습할 경우, 특정 특징에 대한 bias를 줄일 수 있으며, 실행 속도를 향상 시킬 수 있다. 예를 들면, 불량 패턴 예측 장치(100)는 하기 [수학식 7]에 기반하여, 특징들을 스케일링할 수 있다.
Figure pat00009
여기서, x는 입력 데이터를 나타내고, x’는 일반화된 데이터를 나타내고, Average(X), Min(X) 및 Max(X)는 특징들에 대응하는 입력 데이터 X의 평균값, 최소값 그리고 최대값을 나타낼 수 있다.
불량 패턴 예측 장치(100)는 340 단계에서 오버 샘플링을 수행할 수 있다. 일반적으로 반도체 제조 공정은 불량 패턴에 대한 데이터의 수가 매우 적다. 따라서, 학습을 할 경우, 다수의 패턴(정량 패턴)을 예측하게 되는 상황이 발생되기 때문에, 소수의 클래스(불량 패턴)에 대해 예측할 수 없게 된다. 따라서 소수의 클래스에 대한 오버 샘플링이 필요하다. 예를 들면, 실험을 위해 70% 데이터 셋과 30% 데이터 셋이 이용될 수 있다. SECOM 데이터 셋의 실험데이터 70%은 총 1051 개의 레코드들 중에서 24:1의 비율로 1009 개의 정량 패턴들과 42 개의 불량 패턴들을 포함할 수 있다. 이러한 이유로, 불량 패턴 예측 장치(100)는 SMOTE(synthetic minority over-sampling technique)을 이용하여 불량 패턴에 대해 데이터를 생성할 수 있다. 예를 들면, 불량 패턴 예측 장치(100)는, 정량 패턴들과 불량 패턴들의 비율이 5:5가 되도록, 데이터를 오버 샘플링할 수 있다.
불량 패턴 예측 장치(100)는 230 단계에서 복수 개의 분류기(130)들을 이용하여, 제조되는 반도체를 분류할 수 있다. 이 때 불량 패턴 예측 장치(100)는 DS(dempster-shafer) 기반 멀티 분류기로서, 특징 선택 방법들에 각각 대응하는 복수 개의 분류기들을 이용하여 반도체를 분류하기 위한 학습을 수행하고, 분류기들에서 예측된 결과들을 융합하여 제공할 수 있다. 예를 들면, 분류기들은 Naive Bayesian(NB), Decision Tree C4.5, Support Vector Machine(SVM), Back Propagation Network(BPN) 또는 Random Forest(RF) 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 분량 패턴 예측 장치(100)는 DS 기반으로 세 개의 분류기(130)들의 예측 결과들을 결합할 수 있다. 하기 [수학식 8]과 같이 첫 번째 분류기(130)의 예측 결과가 m1이고, 두 번째 분류기(130)의 예측 결과가 m2이고, 세 번째 분류기(130)의 예측 결과가 m3일 때, 분량 패턴 예측 장치(100)는 분류기(130)들의 예측 결과들을 하기 [수학식 9]와 같이 m4로 결합될 수 있다. 그리고 분량 패턴 예측 장치(100)는 m4(Pass)와 m4(Fail)중에서 확률이 높은 값을 최종적인 출력변수로 결정할 수 있다.
Figure pat00010
Figure pat00011
다양한 실시예들에 따른 불량 패턴 예측 장치(100)에 대한 실험 및 평가가 진행되었다. 이 때 SECOM 데이터셋을 활용하여, 불량 패턴 예측 장치(100)에 대한 성능이 평가되었다. 전체 1519 개의 레코드 셋이 5-fold cross-validation되었다. 성능 평가의 기준은 confusion matrix를 이용하며, 각 모델별로 sensitivity, specificity, accuracy가 계산되었다.
먼저, 각 특징 선택 방법 별로 분류기(130)에 대한 성능이 평가되었다. 분류기(130)들은 Naive Bayesian (NB), Support Vector Machine (SVM), Logistics Regression (LR), Back Propagation Network (BPN), Random Forest (RF), decision tree C4.5 (C4.5) 및 Bayesian Network (BN)가 사용되었다. 여기서, CFS, SU와 IG, 및 CF에 따른 분류기(130)들 각각의 성능 측정 결과가 하기 [표 2], [표 3] 및 [표 4]와 같다.
Figure pat00012
Figure pat00013
Figure pat00014
상기 [표 2]에 따르면, CFS에 따른 분류기(130)는, sensitivity와 specificity가 각각 17.20%, 89.97%으로, 가장 우수했다. SVM은 경계선을 정하는 분류기라 소수의 클래스인 fail을 분류할 수 있는 경계선을 만들지 못하고 pass만 맞출 수 있도록 학습된다. 그리고 LR은 cost function을 사용하기 때문에 정확도에 의존이 된다. 따라서 LR도 소수의 클래스인 fail을 예측할 수 없다. CFS에서는 NB가 sensitivity와 specificity를 결합하여 계산했을 때, 다른 모델보다 높다. 상기 [표 3]에 따르면, SU와 IF에 따른 분류기(130)는 BN이 가장 높으며, 상기 [표 4]에 따르면, CF에 따른 분류기(130)는 NB가 가장 높다. SU와 IF에 따른 분류기(130)는 NB가 sensitivity가 매우 높지만, specificity가 매우 낮은 수준이기 때문에, pass를 예측하는 데 적합하지 않다. NB와 BN은 모두 bayes 이론을 이용한 것이며, 사후 확률로 계산을 하는 방법이다. 즉, 반도체 제조공정에서는 bayes를 이용한 확률 기반의 분류가 가장 적합하다고 할 수 있다.
다음으로, DS(dempster-shafer)를 적용하여, 복수 개의 분류기(130)들의 결합에 대해 실험을 진행하였다. CFS와 CF가 NB와 SU에 각각 적용되었고, IF가 BN에 적용되었다. DS를 적용한 멀티 분류기의 실험결과는 GKRL [표 5]와 같다.
Figure pat00015
상기 [표 5]에 따르면, 하나의 분류기를 사용한 결과 보다는, 복수 개의 분류기(130)들을 사용함에 따라 accuracy가 낮다. 하지만, 복수 개의 분류기(130)들을 사용함에 따라, sensitivity는 대부분 높기 때문에 불량 패턴을 예측 하는데 유용하다. accuracy가 높지만 sensitivity가 매우 낮은 것은 소수의 클래스를 예측하기 어려운 것으로 해석될 수 있다. CFS와 SU, IF 모델을 결합했을 경우, accuracy가 81.29%으로 가장 높은 것으로 나타났다. 그리고, SU, IF와 CF를 결합한 모델은 sensitivity가 48.54%으로 가장 높지만, accuracy는 36.59%으로 가장 낮게 나타났다. 여기서, 소수의 클래스를 예측할 수 있는 불량 패턴을 예측하는 데에는 sensitivity와 specificity의 편차를 고려한다. 즉, 둘 다 만족할 수준으로 높은 것은, CFS와 SU, IF, CF를 모두 결합한 모델이 가장 우수한 성능을 갖는다는 것이다. 즉, 많은 수의 특징 선택 방법들을 조합할수록, 더욱 좋은 성능을 확보할 수 있다.
다양한 실시예들에 따른 불량 패턴 예측 장치(100)는, 제조되는 반도체로부터 데이터 셋을 수집하는 데이터 수집부(110), 상기 데이터 셋으로부터 복수 개의 특징들을 선택하는 복수 개의 특징 선택부(120)들, 상기 특징들에 기반하여, 상기 반도체에 대한 불량 여부를 예측하는 복수 개의 분류기(130)들, 및 상기 분류기(130)들로부터 출력되는 예측 결과들을 결합하여, 상기 반도체의 불량 여부를 판정하는 판정부(140)를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 특징 선택부(120)들은, 복수 개의 특징 선택 방법들을 각각 이용하여, 불량 패턴과 관련된 특징들을 선택할 수 있다.
다양한 실시예들에 따르면, 상기 분류기들(130)은, 상기 특징 선택부들에 각각 대응하여 생성되며, 상기 특징 선택 방법들을 기반으로, 상기 반도체에 대한 불량 여부를 각각 예측할 수 있다.
다양한 실시예들에 따르면, 상기 특징 선택 방법들은, Correlation-based Feature Selection(CFS), Symmetrical Uncertainty(SU), Information Gain(IG) 또는 Combination Features(CF) 중 적어도 어느 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 판정부는, Dempster-shafer에 기반하여, 상기 분류기들로부터 출력되는 예측 결과들을 결합할 수 있다.
다양한 실시예들에 따른 불량 패턴 예측 방법은, 제조되는 반도체로부터 데이터 셋을 수집하는 단계, 상기 데이터 셋으로부터 복수 개의 특징들을 선택하는 단계, 복수 개의 분류기(130)들을 이용하여, 상기 특징들을 기반으로, 상기 반도체에 대한 불량 여부를 예측하는 단계, 및 상기 분류기(130)들로부터 출력되는 예측 결과들을 결합하여, 상기 반도체의 불량 여부를 판정하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 불량 패턴 예측 장치(100)가 복수 개의 분류기(130)들을 이용하여 반도체의 불량 패턴을 예측함으로써, 보다 효과적으로 불량 패턴을 예측할 수 있다. 즉 불량 패턴 예측 장치(100)가 복수 개의 분류기(130)들을 이용하여 반도체에 대한 불량 여부를 예측하고, 분류기(130)들로부터 출력되는 예측 결과를 결합하여 반도체의 불량 여부를 판정하기 때문에, 불량 패턴을 예측하는 데 있어서 정확성 및 신뢰성이 향상될 수 있다.
본 문서의 다양한 실시예들에 관해 설명되었으나, 본 문서의 다양한 실시예들의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 문서의 다양한 실시예들의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위 뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (5)

  1. 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치에 있어서,
    제조되는 반도체로부터 데이터 셋을 수집하는 데이터 수집부;
    상기 데이터 셋으로부터 복수 개의 특징들을 선택하는 복수 개의 특징 선택부들;
    상기 특징들에 기반하여, 상기 반도체에 대한 불량 여부를 예측하는 복수 개의 분류기들; 및
    상기 분류기들로부터 출력되는 예측 결과들을 결합하여, 상기 반도체의 불량 여부를 판정하는 판정부를 포함하는 장치.
  2. 제 1 항에 있어서,
    상기 특징 선택부들은,
    복수 개의 특징 선택 방법들을 각각 이용하여, 불량 패턴과 관련된 특징들을 선택하고,
    상기 분류기들은,
    상기 특징 선택부들에 각각 대응하여 생성되며, 상기 특징 선택 방법들을 기반으로, 상기 반도체에 대한 불량 여부를 각각 예측하는 장치.
  3. 제 2 항에 있어서, 상기 특징 선택 방법들은,
    Correlation-based Feature Selection(CFS), Symmetrical Uncertainty(SU), Information Gain(IG) 또는 Combination Features(CF) 중 적어도 어느 하나를 포함하는 장치.
  4. 제 3 항에 있어서, 상기 판정부는,
    Dempster-shafer에 기반하여, 상기 분류기들로부터 출력되는 예측 결과들을 결합하는 장치.
  5. 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 방법에 있어서,
    제조되는 반도체로부터 데이터 셋을 수집하는 단계;
    상기 데이터 셋으로부터 복수 개의 특징들을 선택하는 단계;
    복수 개의 분류기들을 이용하여, 상기 특징들을 기반으로, 상기 반도체에 대한 불량 여부를 예측하는 단계; 및
    상기 분류기들로부터 출력되는 예측 결과들을 결합하여, 상기 반도체의 불량 여부를 판정하는 단계를 포함하는 방법.
KR1020190004476A 2019-01-14 2019-01-14 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법 KR102182678B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190004476A KR102182678B1 (ko) 2019-01-14 2019-01-14 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190004476A KR102182678B1 (ko) 2019-01-14 2019-01-14 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200088012A true KR20200088012A (ko) 2020-07-22
KR102182678B1 KR102182678B1 (ko) 2020-11-24

Family

ID=71893091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190004476A KR102182678B1 (ko) 2019-01-14 2019-01-14 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102182678B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926438A (zh) * 2021-02-22 2021-06-08 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010159979A (ja) * 2009-01-06 2010-07-22 Hitachi Ltd 外観検査方法及び外観検査システム
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
JP2012181209A (ja) * 2012-06-14 2012-09-20 Hitachi Ltd 欠陥分類方法及びその装置
JP2016520228A (ja) * 2013-05-14 2016-07-11 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 医療システムにおけるコンテキスト意識予測

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010159979A (ja) * 2009-01-06 2010-07-22 Hitachi Ltd 外観検査方法及び外観検査システム
JP2011254084A (ja) * 2011-06-27 2011-12-15 Hitachi High-Technologies Corp 欠陥分類方法及びその装置
JP2012181209A (ja) * 2012-06-14 2012-09-20 Hitachi Ltd 欠陥分類方法及びその装置
JP2016520228A (ja) * 2013-05-14 2016-07-11 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 医療システムにおけるコンテキスト意識予測

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926438A (zh) * 2021-02-22 2021-06-08 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112926438B (zh) * 2021-02-22 2024-04-05 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质

Also Published As

Publication number Publication date
KR102182678B1 (ko) 2020-11-24

Similar Documents

Publication Publication Date Title
US7415387B2 (en) Die and wafer failure classification system and method
US20190277913A1 (en) Failure detection and classsification using sensor data and/or measurement data
EP3800588B1 (en) System and method using knowledge distillation for training a machine learning classifier
US8170707B2 (en) Failure detecting method, failure detecting apparatus, and semiconductor device manufacturing method
CN113763312A (zh) 使用弱标记检测半导体试样中的缺陷
Huang et al. Improving diagnosis efficiency via machine learning
US7373332B2 (en) Methods and apparatus for detecting temporal process variation and for managing and predicting performance of automatic classifiers
US20210096530A1 (en) System and method for identifying manufacturing defects
JP7254921B2 (ja) 半導体試料の欠陥の分類
JP7150918B2 (ja) 試料の検査のためのアルゴリズムモジュールの自動選択
US11940390B2 (en) Selecting a representative subset of potential defects to improve defect classifier training and estimation of expected defects of interest
Kim et al. Fault detection prediction using a deep belief network-based multi-classifier in the semiconductor manufacturing process
Huang et al. Towards smarter diagnosis: A learning-based diagnostic outcome previewer
KR102182678B1 (ko) 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법
KR20240015457A (ko) 반도체 제품의 이상 탐지를 위한 적응형 분리 필터 모델 생성방법, 반도체 제품의 이상 탐지 방법, 이의 기록매체 및 시스템
Agarwal et al. Substantiation of software defect prediction using statistical learning: an empirical study
CN115362457B (zh) 预测容易发生过早使用寿命失效的裸片
KR102685359B1 (ko) 시편들을 검사하는 방법 및 그의 시스템
US20220066410A1 (en) Sequenced Approach For Determining Wafer Path Quality
KR102394658B1 (ko) 설비 정지 이력을 이용한 발생 가능한 오류 리스트 도출 장치
US20220122864A1 (en) Smart skip testing method for semiconductor manufacturing
Kusumaniswari et al. Classification of Software Bugs using Support Vector Machine
MELLAH et al. Early semiconductor anomaly detection based on multivariate time-series classification using multilayer perceptron
CN117313900B (zh) 用于数据处理的方法、设备和介质
JP7518180B2 (ja) 寿命初期故障を起こしやすいダイの予測

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant