KR20140011064A - 이상치 탐지 기법을 이용한 가상 계측 결과의 신뢰도 추정 방법 - Google Patents

이상치 탐지 기법을 이용한 가상 계측 결과의 신뢰도 추정 방법 Download PDF

Info

Publication number
KR20140011064A
KR20140011064A KR1020120077636A KR20120077636A KR20140011064A KR 20140011064 A KR20140011064 A KR 20140011064A KR 1020120077636 A KR1020120077636 A KR 1020120077636A KR 20120077636 A KR20120077636 A KR 20120077636A KR 20140011064 A KR20140011064 A KR 20140011064A
Authority
KR
South Korea
Prior art keywords
virtual
reliability
estimating
model
data
Prior art date
Application number
KR1020120077636A
Other languages
English (en)
Inventor
강필성
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020120077636A priority Critical patent/KR20140011064A/ko
Publication of KR20140011064A publication Critical patent/KR20140011064A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/02002—Preparing wafers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • General Factory Administration (AREA)

Abstract

본 발명의 통계적 공정 관리 시스템에서의 가상 계측 결과의 신뢰도 추정 방법에 있어서, 공정 설비의 공정 설비 데이터와 계측 설비의 계측 데이터를 이용하여 가상 계측 모델을 구축하는 단계, 상기 가상 계측 모델 구축에 사용된 공정 설비 데이터를 정상적인 데이터로 가정하여 이상치 탐지(novelty detection) 모델을 구축하는 단계, 새로운 웨이퍼가 상기 가상 계측 모델에 투입되면, 상기 웨이퍼의 공정 설비 데이터를 상기 이상치 탐지 모델에 투입하여 상기 가상 계측 모델 구축 시의 공정 설비 데이터들과의 유사도를 측정하는 단계, 상기 웨이퍼의 공정 설비 데이터가 상기 가상 계측 모델 구축 시의 공정 설비 데이터들과 유사하면, 상기 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 높은 것으로 추정하는 단계 및 상기 웨이퍼의 공정 설비 데이터가 상기 가상 계측 모델 구축 시의 공정 설비 데이터들과 유사하지 않으면, 상기 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 낮은 것으로 추정하는 단계를 포함한다. 본 발명에 의하면, 가상 계측 결과를 추정된 신뢰도에 따라 취사선택하여 공정 제어에 활용함으로써 반도체 공정의 생산성 향상을 기대할 수 있는 효과가 있다.

Description

이상치 탐지 기법을 이용한 가상 계측 결과의 신뢰도 추정 방법 {Method for estimating reliability of virtual metrology prediction using novelty detection}
본 발명은 반도체 공정에서 가상 계측 결과의 신뢰도 추정 방법에 관한 것이다.
일반적으로 반도체 장치는 웨이퍼(wafer)가 산화, 증착, 확산, 이온주입, 사진, 식각 및 검사 등의 다단계의 공정을 거쳐서 제조되며, 이러한 각 공정을 위한 해당 설비가 각 제조라인 별로 설치된다.
이들 공정설비는 공정을 수행하기 위한 파라미터(parameter)에 대한 값이 설정되며, 이와 같이 설정된 파라미터 값에 따라 제조물 즉, 산화되거나 증착되거나 이온주입된 웨이퍼가 제조된다.
그러나, 각 공정설비별로 제조되는 웨이퍼에는 여러 가지 요인으로 불량이 발생될 수 있다. 이러한 불량은 크게 설비의 이상, 잘못된 공정설정 또는 외부환경(오염)등의 요인에 의해 발생될 수 있다.
종래에 이러한 공정이상 또는 설비이상의 확인은 통계적 공정관리(Statistical Process Control, SPC)시스템을 통하여 이루어졌다. 통계적 공정관리란 특정 설비에 대한 공정 데이터를 이력관리하여 이를 통계적 자료로 활용하여 설비 또는 공정의 이상유무를 판단하는 것이다. 이러한 종래의 통계적 공정관리는 도 1과 같은 과정으로 진행되었다.
도 1에 도시한 바와 같이 공정설비(1)를 통해 하나의 단위 공정을 마친 웨이퍼(4)들 중 샘플링(sampling)된 특정 웨이퍼들은 계측설비(2)로 보내져 해당 공정이 정상적으로 수행되었는지 여부를 판단하기 위한 계측검사를 받게 된다.
계측설비(2)는 패턴의 임계치수(Critical Dimension, CD), 산화막 두께(Thickness of Oxidation,TOX), 오버레이(overlay) 등 웨이퍼의 품질지수를 측정하게 된다.
이처럼 계측설비(2)가 웨이퍼(4)의 품질에 대한 계측을 수행한 후 계측값을 통계적 공정관리 시스템으로 전송하면, 통계적 공정관리 시스템(3)에서는 그 계측값이 관리 상한선(Upper Control Limit, UCL)과 관리 하한선(Lower Control Limit, LCL) 사이에 있는지를 모니터링하여 만약 계측값이 관리 상한선 또는 하한선을 벗어나면 제품(웨이퍼)의 품질에 문제가 발생한 것으로 판단하여 알람을 발생시킨다. 통상적으로 알람이 발생하면 해당 설비의 엔지니어들은 이전 공정의 설비와 해당 랏(lot)에 포함된 웨이퍼의 품질을 점검하여 조치를 취하게 된다.
하지만 종래의 계측 시스템은 다음과 같은 문제점을 가지고 있다.
첫째, 계측은 새로운 부가가치를 창출하지는 않고 단지 웨이퍼의 품질만을 측정하는 과정임에도 불구하고, 그 자체로 독립적인 계측 스텝을 필요로 한다. 그 결과 전체 공정의 비용과 공정 사이클(Cycle time)을 증가시키는 문제점이 있다.
둘째, 기존의 계측 시스템은 샘플링된 특정 웨이퍼에 대해서만 계측을 수행함으로써 불량 웨이퍼의 후공정 투입 방지 효과가 미흡하다는 단점이 있다. 즉 기존의 계측 시스템에서는 대다수의 랏에 대해서 계측이 이루어지지 않고 특정 랏의 특정 웨이퍼에 대해서만 계측을 수행한 채 다음 공정을 진행하게 된다. 만약 계측이 수행되지 않은 랏에서 불량이 발생하는 경우, 모든 공정이 완료되기 전까지는 웨이퍼의 불량을 판정하는 것이 불가능하기 때문에 이로 인해 불필요한 생산자원과 시간을 투여함으로써 웨이퍼의 제조 원가를 상승시킨다는 문제점이 있다.
이러한 계측 기반 SPC의 단점을 해결하기 위하여 최근 가상 계측(Virtual metrology, VM)에 대한 관심이 집중되고 있다. 가상 계측의 목적은 실제로 계측 공정을 수행하지 않고서도 모든 웨이퍼에 대한 계측 결과를 예측하는 것이며, 실 계측(actual metrology)과의 차이는 도 2에 도시된 바와 같다.
실 계측의 경우, 공정 설비(1)에 투입되어 해당 공정의 레시피에 따라서 작업이 수행된 랏의 웨이퍼 들 중에서 일부만을 추출하여 품질 관련 지표를 측정한다. 측정된 지표들이 허용 범위 이내에 존재할 경우 해당 웨이퍼가 추출된 랏의 모든 웨이퍼들을 정상으로 판별하여 후속 공정에 투입하고, 측정값이 허용 범위를 벗어날 경우 그 정도에 따라서 추가 작업 등을 진행한다.
반면에, 가상 계측은 추출된 웨이퍼들의 공정 설비 데이터를 설명 변수(explanatory variables)로 하여 해당 웨이퍼들을 실제로 계측함으로써 얻은 품질 지표들을 목표 변수(target variables)로 하는 예측 모델(prediction model)을 구축하게 된다. 이 예측 모델이 공정 설비 데이터와 계측 품질 지표들과의 관계를 명확히 규명하는 경우에는 실제 계측 공정을 수행하지 않더라도 모든 개별 웨이퍼에 대한 계측 정보들을 얻을 수 있다.
기존에 가상 계측에 관련된 연구들은 가상 계측 자체의 정확도를 향상시키는 방법론을 개발하는 것과 가상 계측의 결과가 정확하다는 가정 하에 이를 활용하여 R2R(Run-to-Run) 제어를 구현함으로써, 전체 반도체 공정의 생산성을 향상시키는 것에 초점을 맞추고 있다. 그러나, 가상 계측 모델을 많은 장점이 있는 반면에 다음과 같이 두 가지의 위험을 내포하고 있다.
첫 번째 위험은 모델 위험(model risk)이다. 즉, 가상 계측 모델이 정확한 예측을 하지 못함으로써 발생하는 위험으로, 정확하지 않은 계측 결과를 바탕으로 공정 제어를 수행할 경우 바람직하지 않은 방향으로 최종 결과가 도출될 수 있다.
두 번째 위험은 데이터 위험(data risk)이다. 정확한 가상 계측 모델은 모델 구축 시 사용된 공정 설비 데이터와 유사한 새로운 웨이퍼에 대한 예측은 매우 높은 정확도로 수행될 수 있음을 의미한다. 반면에 모델 구축 시 사용되지 않은 공정 설비 값을 갖는 웨이퍼에 대해서는 어느 정도 일반화를 통한 예측은 가능할지라도 정확한 예측이 어려운 점이 있으며, 이러한 결과를 바탕으로 공정 제어를 하는 것은 매우 큰 위험을 초래할 수 있다.
모델 위험을 감소시키기 위해서 정확한 예측 알고리즘을 개발하기 위한 다양한 연구가 시도되고 있는 반면, 데이터 위험을 감소시키기 위한 연구는 거의 시도되지 않고 있는 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명에서는 데이터 위험을 감소시키기 위한 이상치 탐지 기법을 활용하여 가상 계측 결과에 대한 신뢰도를 추정하는 방법을 제공하는데 그 목적이 있다.
또한, 신뢰도가 낮게 추정될 경우, 이의 원인이 되는 공정 설비 변수를 규명하고, 그 영향력을 측정하는 방법을 제안한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 통계적 공정 관리 시스템에서의 가상 계측 결과의 신뢰도 추정 방법에 있어서, 공정 설비의 공정 설비 데이터와 계측 설비의 계측 데이터를 이용하여 가상 계측 모델을 구축하는 단계, 상기 가상 계측 모델 구축에 사용된 공정 설비 데이터를 정상적인 데이터로 가정하여 이상치 탐지(novelty detection) 모델을 구축하는 단계, 새로운 웨이퍼가 상기 가상 계측 모델에 투입되면, 상기 웨이퍼의 공정 설비 데이터를 상기 이상치 탐지 모델에 투입하여 상기 가상 계측 모델 구축 시의 공정 설비 데이터들과의 유사도를 측정하는 단계, 상기 웨이퍼의 공정 설비 데이터가 상기 가상 계측 모델 구축 시의 공정 설비 데이터들과 유사하면, 상기 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 높은 것으로 추정하는 단계 및 상기 웨이퍼의 공정 설비 데이터가 상기 가상 계측 모델 구축 시의 공정 설비 데이터들과 유사하지 않으면, 상기 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 낮은 것으로 추정하는 단계를 포함한다.
상기 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 낮은 것으로 추정하는 경우, 상기 유사도가 낮게 추정된 원인이 되는 설비 변수를 탐지하는 단계, 탐지된 설비 변수의 영향력을 추정하는 단계 및 상기 영향력 추정 결과를 공정 제어에 활용하는 단계를 더 포함할 수 있다.
상기 설비 변수를 탐지하는 단계에서, 상기 이상치 탐지 모델의 이상치 탐지 알고리즘을 이용하여 상기 유사도가 낮게 추정된 원인이 되는 설비 변수를 탐지할 수 있다.
상기 가상 계측 모델을 구축하는 단계에서, 다중 선형 회귀 분석(Multiple linear regression), k-인접 이웃 회귀 분석(k-Nearest Neighbor Regression), 인공 신경망(Artificial Neural Networks), 지지벡터회귀(Support Vector Regression) 등을 포함한 데이터 마이닝(Data mining) 기법 또는 기계 학습(Machine learning) 기법을 예측 알고리즘으로 사용하여 가상 계측 모델을 구축할 수 있다.
가상 계측 결과에 대한 신뢰도를 추정하기 위한 방법으로는 가우시안 분포 추정(Gaussian density estimator), K-평균 군집화(K-means clustering), MoG(Mixture of Gaussian) 기법, k-NN(k-Nearest Neighbor) 기법 또는 SVDD(Support Vector Data Description)등의 데이터마이닝 및 기계학습 기반 이상치 탐지 알고리즘들이 사용될 수 있다.
본 발명에 의하면, 가상 계측 결과를 추정된 신뢰도에 따라 취사선택하여 공정 제어에 활용함으로써 반도체 공정의 생산성 향상을 기대할 수 있는 효과가 있다.
즉, 대표적인 이상치 탐지 알고리즘인 가우시안 분포 추정과 K-평균 군집화의 두 가지의 이상치 탐지 알고리즘을 사용하여 가상 계측 결과의 신뢰도를 추정한 결과, 높은 신뢰도가 부여된 웨이퍼들의 가상 계측 결과가 낮은 신뢰도가 부여된 웨이퍼들의 가상 계측 결과에 비하여 MAE 측면에서 최대 65%, PARE 측면에서 최대 42% 향상된 것으로 나타났으며, 개별 웨이퍼의 혐의 설비 변수 및 영향력 추정을 통해 낮은 신뢰도에 대한 원인 규명이 가능하다는 것 또한 입증하였다. 이러한 결과를 바탕으로 이상치 탐지 알고리즘을 활용함으로써 가상 계측 결과를 선택적으로 공정 관리에 적용하는 것이 가능하게 됨을 알 수 있다.
도 1은 종래 통계적 공정관리 시스템을 보여주는 도면이다.
도 2는 실제 계측과 가상 계측의 차이점을 설명하기 위한 도면이다.
도 3은 본 발명에서 제안하는 이상치 탐지 모델을 이용한 가상 계측 결과의 신뢰도를 추정하는 시스템 개념도이다.
도 4는 이분류 알고리즘에 의한 분류 기준과 이상치 탐지 기법에 의한 분류 기준을 도시한 도면이다.
도 5는 가우시안 분포 추정 기법과 K-평균 군집화 기법을 비교하여 설명하기위한 도면이다.
도 6, 도 8, 도 9 및 도 13은 본 발명의 일 실시예에 따른 실험 데이터를 나타낸 도표이다.
도 7은 본 발명의 일 실시예에 따른 유전자 알고리즘을 이용한 변수 선택 절차를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 이상치 탐지 알고리즘에 의해 부여된 신뢰도에 따른 가상 계측 결과의 구간별 MAE의 평균을 나타낸 것이다.
도 11은 본 발명의 일 실시예에 따른 이상치 탐지 알고리즘에 의해 부여된 신뢰도에 따른 가상 계측 결과의 구간별 PARE의 평균을 나타낸 것이다.
도 12는 본 발명의 일 실시예에 따른 EQ1의 구간2, 계측 변수 Y2에 대한 실제 계측 결과와 신뢰도에 따른 가상 계측 결과를 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 가상 계측 결과의 신뢰도를 추정하는 방법을 보여주는 흐름도이다.
이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
본 발명에서 제안하는 이상치 탐지 기반 가상 계측 결과 신뢰도 및 설비 변수 영향력 추정 시스템의 개념 및 기존 가상 계측 시스템과의 차이는 도 3에 도시된 바와 같다.
도 2의 기존 가상 계측 시스템에서는 계측이 수행된 웨이퍼(4)들의 계측 결과와 설비 데이터를 사용하여 예측 모델(prediction model)을 구축하고, 새로운 웨이퍼의 설비 데이터가 수집되면 이를 예측 모델에 투입하여 계측 결과를 예측하게 된다.
도 3을 참조하면, 본 발명에서 제안하는 가상 계측 결과 신뢰도 및 설비 변수 영향력 추정 시스템에서는 예측 모델 구축에 사용된 설비 데이터만을 이용하여 이상치 탐지(novelty detection) 모델을 구축하는 단계가 추가된다.
즉, 기존 가상 계측 시스템과 같이 공정 설비(310)에서 단위 공정을 마친 웨이퍼(340)들 중 샘플링된 특정 웨이퍼들은 계측 설비(320)로 보내져 해당 공정이 정상적으로 수행되었는지 여부를 판단하기 위한 계측 검사가 수행된다.
계측 설비(320)는 패턴의 임계치수, 산화막 두께, 오버레이 등의 웨이퍼의 품질지수를 측정하게 된다. 계측 설비(320)의 계측 데이터가 예측 모델을 구축하는데 사용된다.
공정 설비(310)를 통해 새로운 웨이퍼의 설비 데이터가 수집되면, 이 데이터는 예측 모델과 이상치 탐지 모델에 동시에 투입되어 예측 모델에서는 계측 결과를 예측하게 되고, 이상치 탐지 모델에서는 해당 웨이퍼의 데이터와 예측 모델 구축 당시의 설비 데이터와의 유사도를 추정한다.
이상치 탐지 모델에 의해 유사도가 높게 나타날 경우, 가상 계측 모델 구축 데이터와 동질의(homogeneous) 데이터로 판단하여 가상 계측 결과에 높은 신뢰도를 부여하고, 유사도가 낮게 나타날 경우, 이질의(heterogeneous) 데이터로 판단하여 가상 계측 결과에 낮은 신뢰도를 부여한다.
또한, 이상치 탐지 모델에서는 데이터의 유사성에 대한 각 설비 변수의 영향력 또한 추정하여 가상 계측 결과의 신뢰도가 낮게 부여될 경우 그 원인이 되는 설비 변수와 영향력을 동시에 제공한다.
본 발명에서 예측 알고리즘으로 다양한 방식이 사용될 수 있다. 예를 들어, 다중 선형 회귀 분석 기법, k-인접 이웃 회귀 분석(k-Nearest Neighbor Regression), 인공 신경망(Artificial Neural Networks), 지지벡터회귀(Support Vector Regression) 등을 포함한 데이터 마이닝(Data Mining) 및 기계 학습(Machine learning) 분야의 회귀 (regression) 알고리즘이 적용 가능하다.
본 발명의 일 실시예에서는 다중 선형 회귀 분석(Multiple linear regression, 이하 'MLR'이라 함)을 가상 계측 시스템의 예측 알고리즘으로 사용하여 설명하기로 한다.
MLR은 수집된 데이터를 바탕으로 두 개 이상의 독립변수(independent variables)와 종속변수(dependent variable)의 관계를 선형식(linear equation)으로 추정하는 방법론으로서, 인공 신경망(Artificial neural network, ANN), 지지 벡터 회귀(support vector regression, SVR) 등의 복잡한 기계 학습 방법론에 비해 단순한 구조와 효율적인 계산 복잡도 및 적은 사용자 지정 모수(user specific parameter)를 갖는 장점으로 인해 여러 분야의 예측 시스템에 널리 사용되고 있다.
본 발명에서는 가상 계측 모델의 정확도 향상보다는 예측 결과의 신뢰도 및 예측 변수의 영향력 추정에 초점을 맞추고 있기 때문에 기본적인 예측 알고리즘인 MLR을 사용하기로 한다.
m개의 독립 변수를 갖는 n개의 웨이퍼에 대한 MLR의 회귀식은 다음과 같이 표현된다.
Figure pat00001
여기서, y는 예측하고자 하는 계측 변수이고, xi는 예측에 사용되는 공정 설비 변수이고, βi는 i번째 설비 변수에 대한 회귀 계수이다. 이를 행렬식의 형태로 표현하면 다음 수학식 2와 같다.
Figure pat00002
이와 같은 MLR의 회귀 계수 β=(β0, β1, ..., βm)T 는 다음 수학식 3의 잔차 제곱합을 최소로 하는 최소 제곱 회귀법(ordinary least squares, OLS)를 사용하여 수학식 4와 수학식 5와 같이 추정할 수 있다.
Figure pat00003
Figure pat00004
Figure pat00005
본 발명에서는 가상 계측 테스트 웨이퍼의 설비 데이터와 가상 계측 모델 구축에 사용된 웨이퍼들의 설비 데이터와의 동질성(homogeneity)을 측정하여 이를 바탕으로 가상 계측 결과에 대한 신뢰도를 부여하고, 신뢰도에 대한 각 설비 변수들의 영향력을 측정하기 위해 이상치 탐지(novelty detection) 기법을 사용한다.
이상치 탐지 기법은 주어진 데이터를 모두 하나의 범주로 가정하고 학습한 뒤, 새로운 데이터에 대해 기존 데이터와의 유사도를 측정하여 충분히 유사할 경우 동일 범주로 판단하고, 그렇지 않을 경우 다른 범주로 판단하는 기계 학습(machine learning) 기법이다.
특히 이상치 탐지 기법은 특정 범주에 속하는 데이터를 수집하기 어려운 상황이나 범주 간 불균형이 심한 경우, 이범주 분류(binary classification) 기법에 비해 효과적인 분류 기법이다.
이범주 분류와 이상치 탐지 기법의 차이가 도 3에 도시되어 있다. 도 3 (a)는 이범주 분류 기법의 일례이고, 도 3 (b)는 이상치 탐지 기법의 이례이다.
도 3을 참조하면, 일반적인 이범주 분류 기법은 정상 데이터와 비정상 데이터가 충분하다는 가정 하에, 두 범주를 가장 잘 구분할 수 있는 분류 기준을 생성한다.
따라서, 도 3 (a)에서 A와 B는 이범주 분류 알고리즘에 의해 대부분 정상으로 분류된다. 그러나, 도 3의 경우, 비정상 데이터가 정상 데이터에 비해 매우 적기 때문에 분류 알고리즘이 비정상 데이터의 속성을 충분하게 학습하지 못하는 문제점이 발생한다.
반면에 도 3 (b)에서 이상치 탐지 기법은 정상 데이터만을 학습하여 분류 경계면을 생성하기 때문에 A와 B는 비정상 데이터로 분류된다.
도 14는 본 발명의 일 실시예에 따른 가상 계측 결과의 신뢰도 추정 방법을 보여주는 흐름도이다. 도 14에서 각 단계의 주체는 공정 관리 시스템이 될 수 있고, 가상 계측 시스템이 될 수도 있으며, 그 용어에 상관없이 반도체 공정을 수행하는 시스템 또는 장치임은 당연하다.
도 14를 참조하면, 이상치 탐지를 이용한 가상 계측 결과의 신뢰도 부여 및 설비 변수 영향력 측정은 다음과 같이 수행될 수 있다.
공정 설비의 공정 설비 데이터와 계측 설비의 계측 데이터를 이용하여 가상 계측 모델을 구축하고, 가상 계측 모델 구축에 사용된 공정 설비 데이터를 정상적인 데이터로 가정하여 이상치 탐지(novelty detection) 모델을 구축한다(S110).
새로운 웨이퍼가 가상 계측 모델에 투입되면(S120), 웨이퍼의 공정 설비 데이터를 이상치 탐지 모델에 투입하여 가상 계측 모델 구축 시의 공정 설비 데이터들과의 유사도를 측정한다(S130).
웨이퍼의 공정 설비 데이터가 가상 계측 모델 구축 시의 공정 설비 데이터들과 유사하면, 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 높은 것으로 추정한다(S140, S150). 새로운 웨이퍼의 설비 데이터가 가상 계측 모델 구축 웨이퍼들의 설비 데이터들과 유사할 경우에는 예측 모델의 정확도가 높을 것으로 판별하여 해당 웨이퍼에 대한 가상 계측 예측 결과에 대한 신뢰도를 높게 부여하는 것이다.
반면, 웨이퍼의 공정 설비 데이터가 가상 계측 모델 구축 시의 공정 설비 데이터들과 유사하지 않으면, 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 낮은 것으로 추정한다(S140, S160). 새로운 웨이퍼의 설비 데이터가 가상 계측 모델 구축 당시의 설비 데이터들과 유사하지 않을 경우에는 예측 모델의 정확도를 보장할 수 없으므로, 해당 웨이퍼에 대한 가상 계측 예측 결과에 대한 신뢰도를 낮게 부여하는 것이다.
신뢰도가 낮게 부여된 경우에는 사용된 이상치 탐지 알고리즘을 통해 유사도가 낮게 추정된 원인이 되는 설비 변수를 탐지하고(S170), 그 영향력을 추정하여 그 결과를 공정 제어에 활용할 수 있도록 한다(S180).
본 발명에서 이상치 탐지 방법론에는 다양한 기법이 사용될 수 있다. 예를 들어, 가우시안 분포 추정(Gaussian density estimator), K-평균 군집화(K-means clustering), MoG(Mixture of Gaussian) 기법, k-NN(K-Nearest Neighbor) 기법, SVDD(Support Vector Data Description) 기법 등을 포함한 데이터마이닝 및 기계학습 분야의 이상치 탐지 알고리즘이 사용될 수 있다.
MoG 기법은 소수의 정규분포의 조합으로 정상 웨이퍼의 분포를 추정하는 기법이다.
k-NN 기법은 새로운 개체가 입력되면 k개의 가장 유사한 개체들과의 거리와 유사 개체들로 이루어진 Convex Hull 까지의 거리(Reconstruction error)를 조합하여 이상치 스코어를 생성하는 기법이다.
SVDD 기법은 Feature Space에서 정상웨이퍼를 표현하는 최소의 구(Hypersphere)를 찾고 구 내부의 영역만을 정상으로 판별하는 기법이다.
본 발명의 일 실시예에서는 가우시안 분포 추정(Gaussian density estimator)과 K-평균 군집화(K-means clustering)의 두 가지 이상치 탐지 방법론을 사용하여 가상 계측 결과에 대한 신뢰도 및 설비 변수 영향력을 추정하는 과정을 설명하기로 한다.
가우시안 분포 추정은 대표적인 분포 추정 이상치 탐지 방법론으로서, 모든 정상 데이터가 다음 수학식 6과 같이 동일한 가우시안 분포로부터 생성되었다고 가정하고, 해당 분포의 평균(μ)과 공분산(∑)을 추정하여 새로운 데이터에 대한 확률 밀도를 계산하여 정상 여부를 판별하는 기법이다.
Figure pat00006
가우시안 분포 추정을 이상치 탐지 기법으로 사용하여 가상 계측 결과의 신뢰도를 추정할 경우, 각 설비 변수들의 영향력은 다음과 같이 추정할 수 있다.
즉, j번째 설비 변수(xj)의 영향력은 다음 수학식 7과 같이 추정할 수 있다.
Figure pat00007
여기서,
Figure pat00008
는 가상 계측 구축 웨이퍼들의 i번째 설비 변수의 평균이고, σ2 i는 가상 계측 구축 웨이퍼들의 i번째 설비 변수의 분산이다.
따라서, j번째 설비 변수의 영향력은 해당 변수가 가상 계측 모델 구축 당시 변동성이 적고, 테스트 웨이퍼의 값이 가상 계측 구축 웨이퍼들의 평균값과 상이할수록 증가하게 된다.
K-평균 군집화는 대표적인 군집화 기반 이상치 탐지 기법으로써, 다음 수학식 8에 나타낸 바와 같이, 정상 데이터(X)들을 몇 개의 동질적인 그룹(cluster)으로 구분할 수 있다고 가정한다.
Figure pat00009
다음 수학식 9와 같이, K-평균 군집화는 그룹 내 제곱 오차(within-cluster sum of squared error)를 최소화하여 정상 데이터를 가장 잘 표현할 수 있는 최적의 그룹을 찾는다.
Figure pat00010
여기서 ci는 i번째 군집(Ci)의 중심이다. 수학식 9를 통하여 최적 그룹의 수와 각 그룹의 중심(centroid)이 결정되면, 다음 수학식 10과 같이, 새로운 데이터에 대하여 가장 가까운 그룹과의 유사도를 측정하여 정상 여부를 판별한다.
Figure pat00011
K-평균 군집화는 가우시안 분포 추정과는 달리 모든 데이터가 단일 분포에서 생성되는 것을 가정하지 않기 때문에, 도 5와 같이 데이터가 정규 분포의 형태를 나타내지 않는 경우에 매우 효과적으로 사용될 수 있다.
K-평균 군집화를 이상치 탐지 기법으로 사용하여 가상 계측 결과의 신뢰도를 추정하는 경우, 각 설비 변수들의 영향력은 다음 수학식 11과 같이 가장 가까운 군집과의 거리에 대한 각 설비 변수의 기여도로 추정할 수 있다.
Figure pat00012
K-평균 군집화를 이상치 탐지 기법으로 사용할 경우, 새로운 웨이퍼와 가장 가까운 군집 중심과의 거리가 증가할수록 가상 계측 결과의 신뢰도는 낮게 추정된다. 따라서 군집 중심의 값과 차이가 크게 나타나는 설비 변수일수록 낮은 가상 계측 신뢰도에 대한 기여도가 증가하게 된다.
본 발명에서 제안하는 이상치 탐지 기반 가상 계측 결과 신뢰도 및 설비 변수의 영향력 추정 모델의 효과를 검증하기 위하여 실제 반도체 제조 공정에서 수집된 데이터를 사용하여 실험을 수행하였다. 두 개의 photo-lithography 공정 설비(process equipment)에서 약 4개월간에 걸쳐 117개의 공정 설비 변수와 4개의 주요 계측 변수(Y1, Y2, Y3, Y4)를 수집하였으며, 예방 보수(preventive maintenance) 시점을 기준으로 도 6과 같이 총 8개의 구간으로 나누고, 각 구간에서 실제 계측 결과가 정상 영역(허용 오차 이내)에 속하는 초기 100개의 웨이퍼를 사용하여 가상 계측 및 이상치 탐지 모델을 구축하고, 이후 웨이퍼들을 대상으로 테스트를 수행하여 가상 계측 신뢰도의 효과를 측정하였다.
이하에서 가우시안 분포 추정을 Gauss라고 하고, K-평균 군집화를 KMC라 하기로 한다.
최초에 공정 설비로부터 수집되는 설비 변수는 총 117개로써, 모델 구축에 사용되는 웨이퍼의 수에 비해 매우 많은 편이다. 또한 상수 값을 나타내거나 서로 높은 상관관계를 나타내는 등 예측 모델 구축에 적합하지 않은 설비 변수들도 다수 포함되어 있기 때문에, 본 발명에서는 유전자 알고리즘(genetic algorithm; GA, Yang and Honavar, 1998)을 사용하여 가상 계측에 필수적인 설비 변수 집합을 선택하였다.
유전자 알고리즘을 이용한 변수 선택의 절차는 도 7과 같다.
도 7을 참조하면, 먼저 일정 수의 초기 집단(population)을 생성하고 예측 알고리즘을 사용하여 각 염색체들의 적합도(fitness)를 평가한다. 평가된 적합도를 바탕으로 부적합하거나 경쟁력이 없는 해를 제거하는 선택(selection), 좋은 염색체들의 결합을 가능하게 하는 교배(crossover), 낮은 확률로 임의의 값을 변화시키는 돌연변이(mutation) 등의 연산을 수행하여 새로운 세대의 집단을 생성한다.
유전자 알고리즘은 이러한 고정을 일정 세대 수 경과 또는 해의 변화 미비 등의 종료 조건을 만족할 때까지 수행하여 최적의 설비 변수 집합을 찾는 과정이며, 이를 통해 각 구간별로 선택된 공정 설비 변수의 수는 도 8에 나타나 있다. 장비 및 구간별로 다소 차이는 있으나 유전자 알고리즘을 통하여 전체 설비 변수 대비 최소 78%(EQ1, 구간 6: 26개), 최대 93%(EQ1, EQ2, 구간 3: 8개)의 변수를 감소시킨 것을 확인할 수 있다.
본 발명에서는 MLR을 사용하여 가상 계측 모델을 구축하고 Gauss와 KMC의 이상치 탐지 알고리즘을 사용하여 가상 계측 결과에 대한 신뢰도를 부여하고 설비 변수의 영향력을 판별하였다. MLR을 이용하여 가상 계측 모델 구축 시, 계측 결과가 허용치를 벗어나는 불량 웨이퍼들은 모두 제거하고 계측 결과가 허용치 이내인 정상 웨이퍼들만을 이용하여 학습 데이터를 생성하였다. 또한, MLR과 Gauss는 매개 변수(parameter)가 없는 알고리즘이나 KMC의 경우에는 군집의 수(K)를 매개 변수로 하는 알고리즘이다. 따라서 KMC의 군집의 수는 가상 계측 모델 구축에 사용된 설비 데이터를 바탕으로 {2, 3, 5, 7, 10}개의 후보 군집 수를 사용하여 KMC를 실행한 후, 최적 군집 수를 결정하는 기준인 BIC(Bayesian information criterion, Schwarz, 1978)와 AIC(Akaike information criterion, Akaike, 1974)사용하여 군집화의 적합도를 평가하였으며, 최종적으로 3개의 군집 수를 사용하였다.
새로운 웨이퍼의 설비 데이터가 이상치 탐지 모델에 투입되면 해당 웨이퍼에 대한 신뢰도는 다음과 같이 이범주(high/low)로 추정하였다. 먼저 가상 계측 모델 구축에 사용된 웨이퍼들을 사용하여 이상치 탐지 모델을 구축하고 학습 웨이퍼들에 대한 이상치 스코어를 산출하여 상위 5%(정상 데이터와 유사하지 않은 정도가 가장 큰 5%)에 해당하는 웨이퍼의 스코어를 기준(threshold)으로 설정한다. 새로운 웨이퍼의 이상치 스코어가 기준 이상의 값을 갖는 경우에는 가상 계측 결과의 신뢰도가 낮다고 추정하고, 기준 이하의 값을 갖는 경우에는 가상 계측 결과의 신뢰도가 높다고 추정한다. 즉 가상 계측 모델 구축에 사용된 웨이퍼들의 95% 이상과 유사하다고 판별된 새로운 웨이퍼에 대해서만 가상 계측 결과를 신뢰할 수 있다고 판단하고, 그렇지 않을 경우에는 가상 계측 모델 구축 시, 충분한 데이터의 속성을 학습하지 못한 것으로 간주하여 가상 계측 결과를 신뢰하기 어렵다고 판단하는 것이다.
추정된 신뢰도의 수준에 따라 다음과 같이 두 가지의 지표를 사용하여 가상 계측 모델의 예측 성능을 측정하였다.
첫 번째 지표는 평균 절대 오차(mean absolute error, 이하 MAE)로써, 다음 수학식 12와 같이 실제 계측 값과 가상 계측에 의해 예측된 값 사이의 절대 오차를 측정한다.
Figure pat00013
여기서 n은 전체 웨이퍼의 수이고, yi는 i번째 웨이퍼의 실제 계측 값이며,
Figure pat00014
는 i번째 웨이퍼의 가상 계측 결과이다.
두 번째 지표는 허용 오차 범위 이내 비율(percentage of absolute error, 이하 PARE)로써, 다음 수학식 13과 같이 실제 계측 값과 가상 계측에 의해 예측된 계측 값 사이의 절대 오차가 일정 수준 이내인 웨이퍼의 비율이다.
Figure pat00015
여기서
Figure pat00016
는 지시 함수로써 괄호 안의 조건을 만족하면 1을 반환하고 그렇지 않을 경우 0을 반환한다. α는 공정 관리의 수준에 따라 결정되는 가상 계측에 대한 허용 오차로써, 본 발명에서는 실제 공정에서 사용하는 값인 0.003을 이용하여 PARE를 측정하였다.
도 9는 두 이상치 탐지 알고리즘(Gauss, KMC)에 의해 가상 계측 결과의 신뢰도가 높게 부여된 웨이퍼들의 비율을 각 구간별로 나타낸 것이다. 구간에 따라 편차는 있으나 평균적으로 91~94%에 해당하는 테스트 웨이퍼의 설비 데이터가 Gauss와 KMC에 의해 가상 계측 구축에 사용된 웨이퍼의 설비 웨이퍼와 유사한 것으로 판별되어 높은 신뢰도를 부여받은 것을 알 수있다.
또한 이상치 탐지 알고리즘을 비교하면 KMC가 Gauss에 비하여 다소 높은 비율로 새로운 웨이퍼에 대해 높은 신뢰도를 부여하는 것을 확인할 수 있으며(EQ1: Gauss - 0.917, KMC - 0.922, EQ2: Gauss - 0.924, KMC - 0.938), 구간별 편차 또한 적게 나타나는 것을 알 수 있다(EQ1: Gauss - 0.098, KMC - 0.084, EQ2: Gauss - 0.102, KMC - 0.069).
도 10은 두 이상치 탐지 알고리즘에 의해 부여된 신뢰도에 따른 가상 계측 결과의 구간별 MAE의 평균을 나타낸 것이다.
도 10의 (a-c)의 4번 구간과 8번 구간에는 신뢰도가 낮게 부여된 웨이퍼의 비율이 0이기 때문에 MAE가 측정되지 않았다.
도 10으로부터 이상치 탐지 기법을 이용한 가상 계측 결과에 대한 신뢰도 부여를 통해 가상 계측 오차가 작은 웨이퍼들과 오차가 상대적으로 큰 웨이퍼들을 성공적으로 구분할 수 있음을 확인할 수 있다. 두 설비(EQ1, EQ2) 모두 대부분의 구간에서 높은 신뢰도를 부여받은 웨이퍼들의 평균 MAE가 낮은 신뢰도를 부여받은 웨이퍼들의 평균 MAE에 비하여 낮게 나타난다. 구간에 따라 다소 차이는 있으나, Gauss를 사용하여 가상 계측 결과의 신뢰도를 추정할 경우 신뢰도가 높게 부여된 웨이퍼들은 두 구간(EQ2의 구간 7, 구간 8)을 제외하고 최소 7%(EQ1의 구간 1), 최대 59%(EQ1의 구간 5) 낮은 MAE를 나타내고 있다. 또한 KMC를 사용하여 가상 계측 결과의 신뢰도를 추정할 경우에는 신뢰도가 높게 부여된 웨이퍼들은 한 구간(EQ2의 구간 7)을 제외하고 최소 4%(EQ2의 구간 2), 최대 65%(EQ2의 구간 6) 낮은 MAE를 나타낸다.
이상치 탐지 기법을 활용하여 기반 가상 계측 결과에 신뢰도를 부여하는 방법의 효과는 도 11의 가상 계측 모델의 구간별 평균 PARE에서도 확인할 수 있다.
두 설비 모두 대부분의 구간에서 높은 신뢰도를 부여받은 웨이퍼들의 PARE가 낮은 신뢰도를 부여받은 웨이퍼들의 PARE에 비하여 높게 나타난다. Gauss를 이상치 탐지 기법으로 사용한 경우, EQ2의 구간 2와 구간 7을 제외하고 높은 신뢰도를 부여받은 웨이퍼들은 낮은 신뢰도를 부여받은 웨이퍼들에 비해 최소 3%(EQ2의 구간 8), 최대 21%(EQ2의 구간 5) 높은 PARE를 나타낸다. 한편, KMC를 이상치 탐지 기법으로 사용한 경우, EQ2의 구간 2, 구간 7, 구간 8을 제외하고 최소 7%(EQ1의 구간 7), 최대 42%(EQ2의 구간 6) 높은 PARE를 나타내고 있다.
이 외 주목할 사항은 MAE와 PARE의 측면에서 볼 때, 테스트 웨이퍼의 숫자가 증가할수록 가상 계측 신뢰도의 효과가 높게 나타난다는 점이다. 본 발명에서는 모든 구간에 대하여 최초 100개의 웨이퍼를 이용하여 이상치 탐지 및 가상 계측 모델을 구축하고 이후 웨이퍼들을 사용하여 성능 평가를 수행하였다. 이 때, 웨이퍼의 수가 가장 많은 구간은 두 장비 모두 구간 5와 구간 6이다. 도 10과 도 11의 결과를 보면 해당 구간에서는 다른 구간보다 높은 신뢰도를 부여받은 웨이퍼들의 가상 계측 결과가 낮은 신뢰도를 부여받은 웨이퍼들에 비하여 매우 우수하게 나타나는 것을 확인할 수 있다.
도 12는 EQ1의 구간 2, 계측 변수 Y2에 대한 실제 계측 결과와 신뢰도에 따른 가상 계측 결과를 도시한 것이다. 두 이상치 탐지 기법에 의해 높은 신뢰도를 부여받은 웨이퍼들의 가상 계측 결과는 실제 계측 결과와 큰 차이를 보이지 않는 것을 볼 수 있으며, 낮은 신뢰도를 부여받은 웨이퍼들의 가상 계측 결과는 일반적으로 높은 신뢰도를 부여받은 웨이퍼에 비하여 실제계측 정보와의 차이가 크게 나타나는 것을 알 수 있다. 특히, 도 12의 (a-b)의 12번 웨이퍼의 경우에는 다른 웨이퍼들에 비해 특히 가상 계측 결과와 실제 계측 결과와의 차이가 매우 크게 나타나는 것을 확인할 수 있다.
가상 계측 결과의 신뢰도가 낮게 추정된 경우, 낮은 신뢰도에 대한 각 설비 변수의 영향력을 추정할 수 있다. 예를 들어 도 12의 (a-b)의 12번 웨이퍼의 경우, 해당 구간에서 선택된 설비 변수의 수는 도 8에서 나타난 바와 같이 총 9개이다. 이를 편의상 X1, X2, ..., X9이라고 지칭하면, 각 설비 변수 Xi의 Gauss와 KMC 결과에 대한 영향력은 각각 수학식 7과 수학식 11에 의해 구할 수 있으며, 그 결과는 도 13에 나타난 바와 같다.
도 13을 통해서 9개의 공정 설비 변수 중에서 여섯 번째 설비 변수(X6)에 의해 12번 웨이퍼의 가상 계측 신뢰도가 낮게 추정되었음을 알 수 있다. Gauss와 KMC 모두 X6이 낮은 신뢰도에 기여하는 비율이 97% 이상이며, 대부분의 나머지 설비 변수들은 영향력이 1% 이하로 나타난다. 이는 X6을 제외한 나머지 설비 변수들의 측정 수치는 가상 계측 모델 구축 시 사용된 웨이퍼들의 측정 수치와 크게 차이가 나지 않으나, X6의 수치가 일반적인 웨이퍼들과는 매우 큰 차이가 있음을 의미한다.
본 발명에서는 가상 계측 결과의 활용성을 높이기 위하여 이상치 탐지 방법론을 사용한 가상 계측 결과의 신뢰도 및 설비 변수의 영향력 추정 방법론을 제안하고 실제 반도체 공정 데이터를 이용하여 그 효과를 검증하였다. 두 가지의 이상치 탐지 알고리즘을 사용하여 가상 계측 결과의 신뢰도를 추정한 결과, 높은 신뢰도가 부여된 웨이퍼들의 가상 계측 결과가 낮은 신뢰도가 부여된 웨이퍼들의 가상 계측 결과에 비하여 MAE 측면에서 최대 65%, PARE 측면에서 최대 42% 향상된 것으로 나타났으며, 개별 웨이퍼의 혐의 설비 변수 및 영향력 추정을 통해 낮은 신뢰도에 대한 원인 규명이 가능하다는 것 또한 입증하였다. 이러한 결과를 바탕으로 이상치 탐지 알고리즘을 활용함으로써 가상 계측 결과를 선택적으로 공정 관리에 적용하는 것이 가능하게 됨을 알 수 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
310 공정 설비 320 계측 설비
340 웨이퍼

Claims (13)

  1. 통계적 공정 관리 시스템에서의 가상 계측 결과의 신뢰도 추정 방법에 있어서,
    공정 설비의 공정 설비 데이터와 계측 설비의 계측 데이터를 이용하여 가상 계측 모델을 구축하는 단계;
    상기 가상 계측 모델 구축에 사용된 공정 설비 데이터를 정상적인 데이터로 가정하여 이상치 탐지(novelty detection) 모델을 구축하는 단계;
    새로운 웨이퍼가 상기 가상 계측 모델에 투입되면, 상기 웨이퍼의 공정 설비 데이터를 상기 이상치 탐지 모델에 투입하여 상기 가상 계측 모델 구축 시의 공정 설비 데이터들과의 유사도를 측정하는 단계;
    상기 웨이퍼의 공정 설비 데이터가 상기 가상 계측 모델 구축 시의 공정 설비 데이터들과 유사하면, 상기 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 높은 것으로 추정하는 단계; 및
    상기 웨이퍼의 공정 설비 데이터가 상기 가상 계측 모델 구축 시의 공정 설비 데이터들과 유사하지 않으면, 상기 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 낮은 것으로 추정하는 단계를 포함하는 가상 계측 결과의 신뢰도 추정 방법.
  2. 제1항에 있어서,
    상기 웨이퍼에 대한 가상 계측 결과에 대한 신뢰도가 낮은 것으로 추정하는 경우, 상기 유사도가 낮게 추정된 원인이 되는 설비 변수를 탐지하는 단계; 및
    탐지된 설비 변수의 영향력을 추정하는 단계를 더 포함하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  3. 제2항에 있어서,
    상기 영향력 추정 결과를 공정 제어에 활용하는 단계를 더 포함하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  4. 제2항에 있어서,
    상기 설비 변수를 탐지하는 단계에서, 상기 이상치 탐지 모델의 이상치 탐지 알고리즘을 이용하여 상기 유사도가 낮게 추정된 원인이 되는 설비 변수를 탐지하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  5. 제1항에 있어서,
    상기 가상 계측 모델을 구축하는 단계에서,
    다중 선형 회귀 분석(Multiple linear regression)을 예측 알고리즘으로 사용하여 가상 계측 모델을 구축하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  6. 제1항에 있어서,
    상기 가상 계측 모델을 구축하는 단계에서,
    k-인접 이웃 회귀 분석(k-Nearest Neighbor Regression) 기법을 예측 알고리즘으로 사용하여 가상 계측 모델을 구축하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  7. 제1항에 있어서,
    상기 가상 계측 모델을 구축하는 단계에서,
    인공신경망(Artificial Neural Networks) 기법을 예측 알고리즘으로 사용하여 가상 계측 모델을 구축하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  8. 제1항에 있어서,
    상기 가상 계측 모델을 구축하는 단계에서,
    지지벡터회귀(Support Vector Regression) 기법을 예측 알고리즘으로 사용하여 가상 계측 모델을 구축하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  9. 제1항에 있어서,
    가우시안 분포 추정(Gaussian density estimator)을 이용하여 가상 계측 결과에 대한 신뢰도를 추정하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  10. 제1항에 있어서,
    K-평균 군집화(K-means clustering)를 이용하여 가상 계측 결과에 대한 신뢰도를 추정하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  11. 제1항에 있어서,
    MoG(Mixture of Gaussian) 기법을 이용하여 가상 계측 결과에 대한 신뢰도를 추정하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  12. 제1항에 있어서,
    k-NN(k-Nearest Neighbor) 기법을 이용하여 가상 계측 결과에 대한 신뢰도를 추정하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
  13. 제1항에 있어서,
    SVDD(Support Vector Data Description)를 이용하여 가상 계측 결과에 대한 신뢰도를 추정하는 것을 특징으로 하는 가상 계측 결과의 신뢰도 추정 방법.
KR1020120077636A 2012-07-17 2012-07-17 이상치 탐지 기법을 이용한 가상 계측 결과의 신뢰도 추정 방법 KR20140011064A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120077636A KR20140011064A (ko) 2012-07-17 2012-07-17 이상치 탐지 기법을 이용한 가상 계측 결과의 신뢰도 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120077636A KR20140011064A (ko) 2012-07-17 2012-07-17 이상치 탐지 기법을 이용한 가상 계측 결과의 신뢰도 추정 방법

Publications (1)

Publication Number Publication Date
KR20140011064A true KR20140011064A (ko) 2014-01-28

Family

ID=50143445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120077636A KR20140011064A (ko) 2012-07-17 2012-07-17 이상치 탐지 기법을 이용한 가상 계측 결과의 신뢰도 추정 방법

Country Status (1)

Country Link
KR (1) KR20140011064A (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150139334A (ko) * 2014-06-03 2015-12-11 삼성전자주식회사 반도체 공정 관리 시스템, 이를 포함하는 반도체 제조 시스템 및 반도체 제조 방법
WO2018030733A1 (ko) * 2016-08-11 2018-02-15 에스케이 주식회사 계측-수율 상관성 분석 방법 및 시스템
KR20190016749A (ko) * 2017-08-09 2019-02-19 삼성에스디에스 주식회사 공정 관리 방법 및 그 장치
KR101977310B1 (ko) * 2018-02-05 2019-05-10 한국생산기술연구원 생산공정에서 품질을 관리하는 방법 및 장치
CN110416111A (zh) * 2018-04-28 2019-11-05 北京北方华创微电子装备有限公司 实现多个腔室匹配的方法和实现多个腔室匹配的装置
KR20200005202A (ko) * 2018-07-06 2020-01-15 에임시스템 주식회사 기계 학습 기반의 설비 이상 탐지 시스템 및 방법
KR20200010671A (ko) * 2018-07-06 2020-01-31 에임시스템 주식회사 기계 학습 기반의 설비 이상 진단 시스템 및 방법
WO2020076719A1 (en) * 2018-10-09 2020-04-16 Applied Materials, Inc. Advanced semiconductor process optimization and adaptive control during manufacturing
US10657214B2 (en) 2018-10-09 2020-05-19 Applied Materials, Inc. Predictive spatial digital design of experiment for advanced semiconductor process optimization and control
US10930531B2 (en) 2018-10-09 2021-02-23 Applied Materials, Inc. Adaptive control of wafer-to-wafer variability in device performance in advanced semiconductor processes
KR20210114070A (ko) * 2019-03-18 2021-09-17 미쓰비시덴키 가부시키가이샤 이상 검지 장치 및 이상 검지 방법
KR20220028726A (ko) * 2020-08-31 2022-03-08 (주)브릭 열화에 따른 패턴 학습을 이용한 이상 감지 방법 및 그를 위한 장치
KR20220028724A (ko) * 2020-08-31 2022-03-08 (주)브릭 시계열 데이터의 특징값을 기반으로 예측값 및 특징 중요도 산출을 수행하는 가상 계측 방법 및 그를 위한 장치
KR20220028725A (ko) * 2020-08-31 2022-03-08 (주)브릭 시계열 데이터의 특징값을 기반으로 예측값 및 시계열 구간별 특징 중요도 산출을 수행하는 가상 계측 방법 및 그를 위한 장치
KR20240008664A (ko) * 2022-07-12 2024-01-19 조선대학교산학협력단 예측 모델을 통한 예측 결과의 신뢰도를 평가하는 방법 및 장치

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150139334A (ko) * 2014-06-03 2015-12-11 삼성전자주식회사 반도체 공정 관리 시스템, 이를 포함하는 반도체 제조 시스템 및 반도체 제조 방법
WO2018030733A1 (ko) * 2016-08-11 2018-02-15 에스케이 주식회사 계측-수율 상관성 분석 방법 및 시스템
KR20190016749A (ko) * 2017-08-09 2019-02-19 삼성에스디에스 주식회사 공정 관리 방법 및 그 장치
US11823926B2 (en) 2017-08-09 2023-11-21 Samsung Sds Co., Ltd. Process management method and apparatus
US11222798B2 (en) 2017-08-09 2022-01-11 Samsung Sds Co., Ltd. Process management method and apparatus
KR101977310B1 (ko) * 2018-02-05 2019-05-10 한국생산기술연구원 생산공정에서 품질을 관리하는 방법 및 장치
CN110416111A (zh) * 2018-04-28 2019-11-05 北京北方华创微电子装备有限公司 实现多个腔室匹配的方法和实现多个腔室匹配的装置
CN110416111B (zh) * 2018-04-28 2022-05-27 北京北方华创微电子装备有限公司 实现多个腔室匹配的方法和实现多个腔室匹配的装置
KR20200005202A (ko) * 2018-07-06 2020-01-15 에임시스템 주식회사 기계 학습 기반의 설비 이상 탐지 시스템 및 방법
KR20200010671A (ko) * 2018-07-06 2020-01-31 에임시스템 주식회사 기계 학습 기반의 설비 이상 진단 시스템 및 방법
US10955832B2 (en) 2018-10-09 2021-03-23 Applied Materials, Inc. Adaptive chamber matching in advanced semiconductor process control
US10657214B2 (en) 2018-10-09 2020-05-19 Applied Materials, Inc. Predictive spatial digital design of experiment for advanced semiconductor process optimization and control
US10929586B2 (en) 2018-10-09 2021-02-23 Applied Materials, Inc. Predictive spatial digital design of experiment for advanced semiconductor process optimization and control
CN112805635A (zh) * 2018-10-09 2021-05-14 应用材料公司 先进半导体工艺优化和制造期间的自适应控制
US10930531B2 (en) 2018-10-09 2021-02-23 Applied Materials, Inc. Adaptive control of wafer-to-wafer variability in device performance in advanced semiconductor processes
US10705514B2 (en) 2018-10-09 2020-07-07 Applied Materials, Inc. Adaptive chamber matching in advanced semiconductor process control
JP2022504561A (ja) * 2018-10-09 2022-01-13 アプライド マテリアルズ インコーポレイテッド 先進の半導体プロセス最適化および生産中の適応制御
CN116415691B (zh) * 2018-10-09 2024-04-02 应用材料公司 用于构建器件的维度的空间分布的预测模型的方法和系统
WO2020076719A1 (en) * 2018-10-09 2020-04-16 Applied Materials, Inc. Advanced semiconductor process optimization and adaptive control during manufacturing
JP2023015270A (ja) * 2018-10-09 2023-01-31 アプライド マテリアルズ インコーポレイテッド 先進の半導体プロセス最適化および生産中の適応制御
KR20210114070A (ko) * 2019-03-18 2021-09-17 미쓰비시덴키 가부시키가이샤 이상 검지 장치 및 이상 검지 방법
KR20220028725A (ko) * 2020-08-31 2022-03-08 (주)브릭 시계열 데이터의 특징값을 기반으로 예측값 및 시계열 구간별 특징 중요도 산출을 수행하는 가상 계측 방법 및 그를 위한 장치
KR20220028724A (ko) * 2020-08-31 2022-03-08 (주)브릭 시계열 데이터의 특징값을 기반으로 예측값 및 특징 중요도 산출을 수행하는 가상 계측 방법 및 그를 위한 장치
KR20220028726A (ko) * 2020-08-31 2022-03-08 (주)브릭 열화에 따른 패턴 학습을 이용한 이상 감지 방법 및 그를 위한 장치
KR20240008664A (ko) * 2022-07-12 2024-01-19 조선대학교산학협력단 예측 모델을 통한 예측 결과의 신뢰도를 평가하는 방법 및 장치

Similar Documents

Publication Publication Date Title
KR20140011064A (ko) 이상치 탐지 기법을 이용한 가상 계측 결과의 신뢰도 추정 방법
US10914608B2 (en) Data analytic engine towards the self-management of complex physical systems
Orchard A particle filtering-based framework for on-line fault diagnosis and failure prognosis
Susto et al. Dealing with time-series data in predictive maintenance problems
Zhang et al. Fault detection strategy based on weighted distance of $ k $ nearest neighbors for semiconductor manufacturing processes
Abu-Samah et al. Failure prediction methodology for improved proactive maintenance using Bayesian approach
Huang et al. Double-layer distributed monitoring based on sequential correlation information for large-scale industrial processes in dynamic and static states
CN103473540B (zh) 智能交通系统车辆轨迹增量式建模与在线异常检测方法
CN109189028A (zh) 基于多块信息提取的pca故障诊断方法
CN110400231B (zh) 一种加权非线性贝叶斯的电能计量设备失效率预估方法
CN112036089A (zh) 一种基于dpc-mnd和多元状态估计的磨煤机故障预警方法
Zhang et al. FBM-based remaining useful life prediction for degradation processes with long-range dependence and multiple modes
CN111783845B (zh) 一种基于局部线性嵌入和极限学习机的隐匿虚假数据注入攻击检测方法
CN110083593B (zh) 电站运行参数清洗及修复方法、修复系统
Hong et al. The entropy and PCA based anomaly prediction in data streams
Dong et al. A novel quality-related incipient fault detection method based on canonical variate analysis and Kullback–Leibler divergence for large-scale industrial processes
CN109240276A (zh) 基于故障敏感主元选择的多块pca故障监测方法
Dong et al. Wafer yield prediction using derived spatial variables
Susto et al. Least angle regression for semiconductor manufacturing modeling
CN113484813A (zh) 多环境应力下的智能电表故障率预估方法及系统
Kinghorst et al. Hidden Markov model-based predictive maintenance in semiconductor manufacturing: A genetic algorithm approach
Mukherjee et al. Real-time identification of false data injection attack in smart grid
Hegazy Tag Eldien, AS; Tantawy, MM; Fouda, MM; TagElDien, HA Real-time locational detection of stealthy false data injection attack in smart grid: Using multivariate-based multi-label classification approach
CN115081673A (zh) 一种油气管道的异常预测方法、装置、电子设备及介质
Chen et al. Condition-driven soft transition modeling and monitoring strategy for complex nonstationary process

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application