KR20220080121A - 반도체 애플리케이션을 위한 협력 학습 모델 - Google Patents

반도체 애플리케이션을 위한 협력 학습 모델 Download PDF

Info

Publication number
KR20220080121A
KR20220080121A KR1020227014544A KR20227014544A KR20220080121A KR 20220080121 A KR20220080121 A KR 20220080121A KR 1020227014544 A KR1020227014544 A KR 1020227014544A KR 20227014544 A KR20227014544 A KR 20227014544A KR 20220080121 A KR20220080121 A KR 20220080121A
Authority
KR
South Korea
Prior art keywords
classification
wafer
user
model
user input
Prior art date
Application number
KR1020227014544A
Other languages
English (en)
Inventor
토모노리 혼다
리차드 버치
존 키배리언
린 리 청
칭 주
바이쉬나비 레디팔리
케네스 해리스
사이드 아카
제프리 디. 데이비드
마이클 켈레허
브라이언 스타인
데니스 시프릭카스
Original Assignee
피디에프 솔루션즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피디에프 솔루션즈, 인코포레이티드 filed Critical 피디에프 솔루션즈, 인코포레이티드
Publication of KR20220080121A publication Critical patent/KR20220080121A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0778—Dumping, i.e. gathering error/state information after a fault for later diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67271—Sorting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Manufacturing & Machinery (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • General Factory Administration (AREA)

Abstract

협력 학습을 사용한 웨이퍼 분류. 초기 웨이퍼 분류는 규칙 기반 모델에 의해 결정된다. 예측된 웨이퍼 분류는 기계 학습 모델에 의해 결정된다. 다수의 사용자가 수동으로 분류를 검토하여 확인 또는 수정하고, 또는 사용자 분류를 추가할 수 있다. 모든 분류는 기계 학습 모델에 입력되어 검출 및 분류 방식을 지속적으로 업데이트한다.

Description

반도체 애플리케이션을 위한 협력 학습 모델
상호 참조
본 출원은 미국 가출원 번호 62/914,901(발명의 명칭: Collaborative Learning for Semiconductor Applications, 출원일: 2019년 10월 14일, 전체 내용이 본 명세서에 병합됨)의 우선권을 주장한다.
기술 분야
본 출원은 반도체 제조 동안 웨이퍼의 분류에 관한 것으로, 보다 상세하게는 분류 공정을 개선하기 위한 협력 학습 방안에 관한 것이다.
반도체 웨이퍼를 제조하는 일반적인 공정은 웨이퍼를 공정에 의해 생산되고 포장되어 고객에게 배송될 준비가 된 최종 집적 회로 제품으로 변환하기 전에 몇 달 동안 수백 또는 수천 단계의 단계를 거친다. 웨이퍼 제조 후의 분류는 웨이퍼 제조 수율 성능을 평가하는 데 중요하다.
하나의 현재 방안에서, 고객은 다양한 컴퓨터 생성 출력을 활용하여 웨이퍼 품질을 결정한다. 예를 들어, 그래픽 사용자 인터페이스(GUI)는 PDF 솔루션사(Solutions, Inc.)에서 판매하는 반도체 파운드리용 엑센시오(Exensio)® 분석 플랫폼과 같은 데이터 템플릿에 의해 지원될 수 있다. 템플릿은 웨이퍼 검사 결과를 포함한 웨이퍼 정보를 포함하고 사용자 검토를 위해 디스플레이하는 GUI를 생성하도록 구성된다. 일반적인 웨이퍼 정보 디스플레이는 적어도 웨이퍼 식별 정보, 웨이퍼 분류 정보, 및 웨이퍼 맵 이미지를 포함한다.
다수의 규칙(예를 들어, 200개 이상)은 일반적으로 고객이 현재 제조 공정 단계에 있는 하나 이상의 웨이퍼 로트에 대해 검토할 수 있도록 웨이퍼 정보를 처리하고 표시하기 위해 템플릿의 인스턴스에서 생성된다. 특히, 웨이퍼 맵에서 클러스터를 인식하는 것은 많은 규칙의 주요 목표이다. 일례에서, 200개 이상의 규칙에 의해 포착되지 않고 필요한 것으로 간주되는 클러스터가 있는 경우 새로운 클러스터 시그니처를 캡처하기 위해 추가 규칙이 생성되고 미래 웨이퍼에 대한 예측을 위해 기존 규칙 세트에 새로운 규칙이 추가된다. 또한, 고객은 규칙 기반 결과 및 클러스터링 정보를 검토하여 웨이퍼 품질 라벨을 수정할 수 있다.
일반적으로, 웨이퍼 분류는 입력으로 다양한 방법에 의존할 수 있다. 예로서, 기준 상태의 분류, 이탈, 또는 알려진 공간 문제 또는 기타 일반적인 분류 상태는 다양한 계산된 규칙 및 통계, 예를 들어, (i) 자동 시그니처 분류(ASC) : 웨이퍼는 다중 구역 정의 및 복합 빈 계산에 따라 구역 빈 수율 패턴에 기초하여 분류된다; (ii) 클러스터링 : 웨이퍼는 다이 빈 값(die bin value)의 클러스터에 기초하여 분류된다; (iii) 주파수 선택 표면(FSS) : 패턴을 식별하기 위해 기존 및/또는 사용자 정의 규칙이 사용된다; (iv) 수율 정보 : 통계적 빈 한계(SBL: Statistical Bin Limit) 및 통계적 수율 한계(SYL: Statistical Yield Limit)와 같은 현재 웨이퍼 수율의 통계적 척도에 기초하여 결정적일 수 있다.
최종 웨이퍼 분류(또는 "통합 분류" 또는 "통합 라벨링")는 계산된 분류로부터 관련 정보를 캡슐화하는 출력 문자열의 형태일 수 있다. 그러나, 고객이 수동으로 웨이퍼 분류를 검토하고 때때로 수정하거나 업데이트해야 하기 때문에 이전 방법을 사용한 웨이퍼 분류 결정이 항상 적절한 것은 아니다. 이를 위해서는 일반적으로 고객이 각 칩 라인에 대해 개별적으로 여러 번 반복하여 규칙과 파라미터를 수동으로 튜닝해야 한다. 웨이퍼 분류의 정확성을 향상시키기 위해 기계 기반 방식과 함께 수동 검토를 활용하는 것이 바람직할 것이다.
도 1은 단순화된 그래픽 사용자 인터페이스(GUI)의 예시이다.
도 2는 웨이퍼 분류를 위한 협력 학습(Collaborative Learning: CL) 모델의 일 실시형태를 예시하는 블록도이다.
도 3은 웨이퍼 분류를 위한 CL 모델의 개념적 개요를 예시하는 블록도이다.
도 4는 웨이퍼 분류를 위한 CL 모델에 대한 설정 절차의 일 실시형태를 예시하는 흐름도이다.
협력 학습(CL)은 기계 학습(Machine Learning: ML)의 보다 일반적인 분야에 속하는 능동 학습(Active Learning: AL) 분야의 구현을 나타낸다. 예를 들어, AL은 인터넷 웹사이트에서 사용자의 입력(좋아요, 싫어요)을 통합하여 제품 제공 또는 관련 마케팅을 결정하는 데 사용된다. 이 접근 방식은 다이 또는 웨이퍼 오류 모드의 잘못된 분류를 수정하여 현재의 분석 기반 접근 방식을 향상시키기 위해 반도체 제조 및 사후 제조에 채택될 수 있다.
도 1은 웨이퍼를 분류하기 위한 협력 학습 환경을 구현하는 데 사용될 수 있는, 단지 예시의 목적으로 제공된 단순화된 그래픽 사용자 인터페이스(GUI)(100)의 일 실시형태이다. GUI(100)는 모두 일반적으로 알려진 바와 같이 적어도 디스플레이된 정보와 사용자 상호 작용을 가능하게 하고 제어 기능을 제공하기 위한 다양한 디자인의 위젯과 함께 형식화된 방식으로 정보의 시각적 디스플레이를 제공하는 프로세서 기반 도구이다.
프로세서는 데스크탑 기반, 즉, 독립형이거나 또는 네트워크 시스템의 일부일 수 있으나, 처리하고 대화식으로 디스플레이해야 하는 많은 정보를 감안할 때 프로세서 성능(CPU, RAM 등)은 효율성을 최대화하기 위해 최신 상태여야 한다. 반도체 파운드리 환경에서, 엑센시오® 분석 플랫폼은 GUI 템플릿을 구축하는 데 유용한 선택이다. 일 실시형태에서, 기본 처리 루틴의 코딩은 아래에서 설명되는 기계 언어 모델을 코딩하는 데 주로 사용되는, 파이선(Python) 객체 지향 프로그래밍 언어와 호환되는, 스팟파이어(Spotfire)® 분석 소프트웨어 버전 7.11 이상을 사용하여 수행될 수 있다.
도 1의 예에서, GUI(100)는 2개의 메인 창 또는 패널, 즉, 웨이퍼 정보를 위한 제1 창(110), 및 맵(141, 142)과 같은 웨이퍼 맵을 위한 제2 창(140)을 포함한다.
제1 창(110)에서, 처리 중인 웨이퍼에 대한 분류 정보를 각각 디스플레이하는 다수의 행(122)을 포함하는 템플릿 또는 스프레드시트(120)가 제시된다. 열은 검토 중인 웨이퍼의 ID와 관련 분류 데이터를 제공한다. 따라서, 열(124)은 웨이퍼 로트를 식별하는 반면, 열(125)은 특정 웨이퍼를 식별하고; 열(126)은 일반적으로 발견적 및 결정론적 방법을 통해 제1 규칙 기반(RB) 모델에 의해 결정된 바와 같은, 이 행의 웨이퍼에 대한 현재 분류를 식별하고; 열(127)은 협력 학습(CL) 모델에 의해 결정된 분류를 식별하고, 열(128)은 만약 있는 경우 최종 분류에 대한 사용자 입력 수정을 식별한다.
제2 창(140)에서, 맵(141, 142)과 같은 하나 이상의 웨이퍼 맵이 선택된 행에 대해 디스플레이된다. 예를 들어, 행(122A 및 122B)은 선택되었음을 나타내기 위해 강조 표시되고, 이에 따라 행(122A 및 122B)에서 각각 식별된 웨이퍼에 대한 대응하는 웨이퍼 맵(141A 및 142A) 세트가 제2 창(140)에 동시에 디스플레이된다.
디스플레이 주위를 탐색하거나, 검토 또는 수정을 위해 하나 이상의 항목을 선택하거나, 기본 데이터를 더 깊이 파고드는 등을 위해 필요에 따라 기존 방식으로 하나 이상의 사용자 제어 세트(160)가 제공된다. 예를 들어, 패널(160)은 하나 이상의 웨이퍼 행이 검토를 위해 선택될 때 활성화되는 선택 가능한 하위 메뉴 선택과 함께 이 예에서 팝업 창으로 구현된다. 버튼, 메뉴 및 기타 위젯은 아래에서 보다 상세히 논의되는 바와 같이 사용자 제어 및 사용자 상호 작용을 위한 기능을 제공하기 위해 잘 알려진 방식으로 활성화될 수 있다.
물론, GUI는 많은 다른 방법으로 형식화될 수 있고, 더 많은 정보 항목이 표시되거나 주 GUI 또는 하위 메뉴를 통해 빠르게 액세스 가능할 수 있다. 예를 들어, 도 1의 템플릿(120)은 특정 고객을 위한 주요 변수로 간주되는 더 많은 웨이퍼 정보 열, 및 웨이퍼 맵 및/또는 기타 웨이퍼 관련 정보로의 링크를 갖는 상세한 스프레드시트로서 기본 인터페이스에 제시될 수 있다.
문제 설명은 간단하다 - 모델은 웨이퍼를 분류해야 할 필요가 있지만, 분류가 "알 수 없음" 또는 "불확실"한 것인 경우에도 분류에 대한 신뢰 수준을 제공해야 한다. 웨이퍼 분류에 적용되는 협력 학습의 개념적 예로서 웨이퍼 분류는 다수의 방법으로 결정될 수 있고, 동일한 웨이퍼 문제에 대해 다른 분류가 발생할 수 있다. 그러나, 방법 간의 불일치는 규칙 기반 분석, 기계 학습 예측 및 인간 사용자(들)에 의한 수동 검토를 포함한 분석 검토를 통해 해결될 수 있다. 이러한 결정을 내리기 위한 모델은 분류 차이 검토에서 얻어진 학습과, 이 학습에 따라 필요에 따라 다양한 검출 및 분류 방식을 업데이트하여 지속적으로 업데이트된다.
도 2는 웨이퍼 분류를 위한 협력 학습 모델(200)의 일례의 단순화된 블록도이다. 제1 모듈(202)에서, 초기 분류는 예를 들어 이전에 설명된 바와 같은 ASC 및/또는 다른 결정론적 방법을 사용하여 하나 이상의 규칙 기반(RB) 모델에 의해 이루어진다. 이러한 방법은 대부분의 웨이퍼(약 95%)에 대해 올바른 분류를 제공하는 것으로 알려져 있다. 이 하나 이상의 RB 모델로부터의 결과는 도 1의 열(126)에 의해 예시된 바와 같이 디스플레이 및/또는 선택을 위해 GUI(206)에 제공될 수 있다.
하나 이상의 기계 학습(ML) 모델이 모듈(204)에서 사용되어, 예를 들어 모듈(202)의 초기 분류, 스케줄, 관심 특징 등뿐만 아니라 아래에 설명된 사용자 피드백에 기초하여 분류를 예측한다. ML 모델의 결과는 개별 디스플레이 및/또는 선택을 위해 GUI(206)에 직접 제공될 수 있다. 그러나, 일 실시형태에서, ML 모델은 RB 모델 분석, ML 모델 예측, 다중 사용자 피드백/수정으로부터 상이한 분류 입력의 "협력"에 기초하여 분류를 생성하기 위해 사용자 피드백을 포함한 입력을 통합하고, 이에 따라 협력 학습(CL) 모델은 도 1의 열(127)에서와 같이 분류를 결정한다.
표시된 바와 같이, RB 모델(202)과 ML 모델(204)의 결과는 사용자 검토를 위해 GUI(206)에 디스플레이될 수 있으며, 사용자는 검토하고 고려할 하나 이상의 웨이퍼 또는 로트를 선택할 수 있으며, 최종 분류를 결정하기 전에 설명할 수 없는 비정상 또는 이탈을 이해하려고 시도하고 더 잘 이해하기 위해 데이터를 더 깊이 파고들 수 있다. 사용자는 도 2의 열(128)에서와 같이 분류를 확인하거나 다른 분류를 입력하기 위해 피드백을 제공할 수 있다. 사용자는 RB 모델에서 제공하는 분류로 제한되지 않음에 유의해야 한다. 예를 들어, 사용자는 다수의 RB 클래스를 함께 결합하거나 단일 RB 클래스를 다수의 RB 클래스로 나누는 새로운 클래스를 만들 수 있다. GUI(206)는 또한 예를 들어 웨이퍼 분류에 대한 업데이트를 설명하기 위해 논평(comment)을 추가하는 능력을 사용자에게 제공할 수 있다. 모든 분류(규칙 기반, ML 예측 및 사용자 재분류) 및 관련 웨이퍼 정보는 데이터베이스(212)에 액세스 가능하거나 또는 이 데이터베이스의 일부에 액세스 가능한 저장 매체(210)에 저장된다.
저장된 분류 정보는 예를 들어 분류 결정의 수동 검토에서 비교 목적으로 사용하기 위해 GUI(206)에서 사용자에 의해 검색될 수 있다. 데이터베이스(212)를 통해 저장된 분류 정보는 또한 모듈(204)의 ML 예측 모델이 주기적으로 업데이트되도록 모듈(211)의 ML 모델을 훈련하는 데 사용된다.
능동 학습 모드에서 RB 모델 및 ML 모델과 인간의 상호 작용을 통해 사용자는 분류를 지속적으로 개선하고 검증하여 시스템에 대한 사용자 신뢰를 구축할 수 있다. 또한, 데이터 세트가 커지고 더 많은 사용자 재분류가 제공됨에 따라 여기에 설명된 협력 학습 환경은 계속해서 분류 방식을 개선할 수 있다. 예를 들어, 기존 규칙이 수정되거나 환경의 RB 부분에 새로운 규칙이 추가될 수 있고; 훈련 및 예측 모두에서 ML 모델은, 검토자 수정의 충분한 인스턴스가 주어지면 상이한 인간 검토자가 다른 의견을 평가할 수 있으므로 수신된 입력에 기초하여 알고리즘을 계속 개선할 수 있다.
분류와 능동 학습의 조합은 이진 또는 다중 클래스가 될 수 있다. 예를 들어, 원하는 출력은 일반적으로 범주 라벨이다. 하나의 사용 사례에서, 이것은 관련 클러스터링 템플릿에서 출력 문자열이 있는 단일 열로 간단히 구현될 수 있다. 초기 라벨링은 일반적으로 위에서 설명한 바와 같이 결정적 규칙의 출력에 기초한다. 일부 공통 라벨은 빈, 상세 패턴 등을 포함할 수 있지만 고객 데이터 세트는 입력 데이터 세트를 사용하여 예측될 수 있는 바람직한 출력을 지시할 수 있고 일반적으로 지시한다.
입력 데이터 세트는 ASC 데이터(일반적으로 매우 큼) 또는 기타 구역 기반 요약, 클러스터링, FSS 및 웨이퍼당 수율, 및 가능하게는 다이 빈 데이터(훨씬 더 큼)로 구성될 수 있다. 그러나, ASC 데이터가 예측에 사용되는 경우 적어도 초기에 모델 훈련 동안 원시 다이 빈 데이터로부터 즉석에서 재계산되어야 한다. 최종 데이터 세트는 모델 검토 및 평가에 기초하여 결정될 수 있다.
다음은 CL 모델을 생성할 때 고려해야 할 합리적인 가정이다: (1) 사용자 피드백 없이 모델을 훈련시키기에 충분한 데이터가 있으며, 즉, 웨이퍼 내 대부분의 다이에 대해 특징보다 더 많은 센서 관찰/테스트 측정이 있다; (2) 각각의 클래스에 대해 대표하는 샘플이 충분하다; 예를 들어, 전통적인 경험 법칙은 적어도 클래스 또는 근본 원인당 30개 내지 50개 초과 관찰이 있어야 하는 것이지만 이것이 항상 그러한 것은 아니다. 분류에 이용 가능한 관찰이 충분하지 않고 업샘플링/다운샘플링이 보상하기에 부적절한 경우 "알 수 없음"이 분류로 반환된다(이는 웨이퍼가 비정상적이지만 알려진 범주로 분류할 수 없음을 의미함); (3) 재라벨링된 데이터의 양이 충분하다; (4) 라벨 붙이는 사람 사이에 일관성이 있다(능동 학습에서 알려진 문제); (5) 훈련 데이터는 예측을 위한 웨이퍼의 좋은 표현이다; (6) 필요한 경우, 즉, 목표 특징이 훈련 세트에서 다루어진다; (7) 출력은 범주 데이터이다; 및 (8) 입력 특징이 안정적이고, 즉, 누락되거나 새로운 특징이 없다.
웨이퍼 분류를 위한 협력 학습 환경의 간단한 개념적 개요가 도 3에 도시되어 있다. 예를 들어, 전형적인 공정 입력(310)은 (1) 빈 맵(BinMap), 즉, 칩과 칩에 대한 빈의 웨이퍼(x, y) 좌표(일예로서, 빈 맵은 콘볼루션 신경망(Convolution Neural Network)에서 콘볼루션을 사용하여 변환될 수 있다); (2) 구역 요약, 즉, 각각의 구역(중심, 외부, 우측 상단 등)에 대해 z-변환을 사용하여 변환된 각각의 빈에 대한 웨이퍼의 수를 계산한다; 및 (3) 2D 웨이퍼 빈 맵에서 변환된 웨이브릿(Wavelet), 2D FFT와 같은 기타 일반적인 변환을 포함할 수 있다.
관심 특징에 대한 목표 값(320)은 물론 상이한 디바이스 및 공정에 대해 상이할 수 있고, 궁극적으로 정확한 분류 라벨 세트를 결정 및 업데이트하기 위해 RB 모델과 사용자 입력의 데이터 집계에 크게 의존할 수 있다. 확인, 업데이트 및 논평을 포함하는 사용자 입력(330)을 통해 분류 모델이 학습하고 성장할 수 있다. 다수의 사용자의 입력이 충돌할 때마다 시스템은 입력 시점과 사용자 그룹(관리자, 주제 전문가 등)과 같은 기타 가능한 정보를 고려하여 충돌을 해결하려고 시도한다.
알고리즘 요소(350)는, 예를 들어, K-최근접 이웃, 정규화를 통한 강력한 논리 회귀, 나이브 베이즈, 다층 인식 및 기타 신경망, 선형 및 비선형 SVM, 의사 결정 트리의 앙상블, 예를 들어, 엑스트라트리(ExtraTree), 랜덤 포레스트(Random Forest), 그래디언트 부스팅 머신(Gradient Boosting Machine), xg부스트(xgboost) 등을 포함하는 하이퍼 파라미터 튜닝을 포함하거나 포함함이 없이 임의의 전형적인 분류기에 의해 정의될 수 있다. 이러한 분류기는 계산 및 정확도 요구 사항에 따라 집합적으로 사용될 수 있다. 대안적으로, 정확도, F1 스코어, AUC, 프리시전-리콜(Precision-Recall) AUC 등과 같은 메트릭에 기초하여 최고 성능의 알고리즘을 선택할 수 있다.
결과(360)는 분류 방식을 지속적으로 학습하고 업데이트하는 것이다. 이미 설명된 바와 같이, GUI는 웨이퍼 분류를 위한 협력 학습 플랫폼을 구현하기 위해 생성될 수 있으며 광범위한 목표 세트에 대한 기능을 포함해야 한다.
GUI에서 구현될 기능적 측면의 제1 세트는 템플릿 및 워크플로의 검토와 관련된다. 위에서 언급한 바와 같이, 템플릿은 사용자-상호 작용 독립형 템플릿이거나 또는 적절한 시스템 및 데이터 보호 기능이 있는 네트워크 기반일 수 있다. 사용자는 데이터 검색 창에서 검토할 데이터 범위를 지정할 수 있다.
구역 클러스터, 구역 패턴 분류, 시스템 수율 빈 통계 한계, 통합 규칙; MRB 템플릿; 웨이퍼 맵; 웨이퍼 ID, 로트 ID와 같은 웨이퍼 정보; 및 MRB 기반(규칙 기반) 예측을 포함하되 이들로 제한되지 않는 원래 규칙 기반 결과를 검토할 수 있는 능력이 사용자에게 제공되어야 한다.
모델 기반 예측 결정 및 모델 기반 신뢰도 점수도 검토하는 데 이용 가능하여야 하지만 처리 동안 모델이 충돌하거나 기타 오류가 발생하면 오류 메시지가 디스플레이되어야 한다.
최종 웨이퍼 분류는 통합 라벨링 검토로부터 결정될 수 있다. 하나의 옵션은 모델 기반 예측(수립된 경우)을 디폴트 상태로 설정하는 것이다. 사용자가 이미 웨이퍼 분류를 검토한 경우, 검토 결과가 최종 웨이퍼 분류를 위해 디폴트 상태로 설정된다.
사용자에는 분류 GUI를 통해 피드백을 제공하는 능력이 주어져야 한다. 예를 들어, 사용자는 예를 들어 드롭다운 목록(drop-down list)을 통해 최종 웨이퍼 기반 및 통합 라벨을 간단히 토글(toggle)할 수 있다. 드롭다운 목록에 이용 가능한 일반적인 옵션 세트는 MRB에서 출력된 문자열 라벨링을 선택하는 것을 포함한다. 사용자는 맞춤 라벨을 만드는 대신 기존 목록에서 라벨을 선택하는 것으로 제한될 수 있지만 기존 목록은 "알려지지 않은" 또는 이와 유사한 것과 같은 선택 가능한 옵션을 포함하여야 한다. 일부 경우에, 사용자에게는 새로운 라벨을 제공하는 것이 허용될 수 있다. 이 경우, GUI는 중복 클래스를 생성할 능력을 줄이기 위해 유사한 클래스를 제공할 수 있다. 사용자는 또한 논평을 추가하는 능력을 가질 수 있어야 하며, 예를 들어 논평 란은 사용자 변경 사항을 설명하는 텍스트를 포함할 수 있다.
모델에는 변경 사항을 기록할 수 있을 뿐만 아니라 타임스탬프, 사용자 이름, 고유 키 등을 통해 이러한 변경 사항을 특정 사용자에게 연결할 수 있는 능력이 제공되어야 한다. 또한 모델은 주로 시간에 기초하여 템플릿으로 가져오는 데이터의 하위 세트를 만들 수 있어야 한다. 템플릿 내에서 이용 가능한 데이터 및/또는 데이터베이스에서 조회할 수 있는 유사한 데이터 유형으로 데이터를 제한하는 것이 바람직할 수 있다.
사용자는 ASC 데이터 또는 기타 데이터와 같은 워크플로의 이전 템플릿 또는 단계에서 입력 데이터를 추출하는 능력을 가질 수 있어야 한다. 필요한 경우 중간 솔루션은 예를 들어, 파이선 또는 R 코딩을 사용하여 프로그래밍된 포털을 통해 입력 데이터를 추출하는 것일 수 있다. 이 단계는 예를 들어 이전 분류 결정과의 일관성을 현실적으로 점검하는 역할을 할 수 있다.
모델은 예를 들어, (i) 모델 이름; (ii) 모델 생성 날짜/시간; (iii) 모델 위치/링크; (iv) 모델이 (특징 누락 등으로 인해) 예측을 할 수 없는 경우 오류; (v) 제품별 정보; 및 (vi) 훈련 성과 및 통계와 같은 요약 모델 정보를 디스플레이할 수 있는 능력을 가질 수 있어야 한다.
사용자는 템플릿 또는 워크플로의 일부로 모델 예측 루틴 및/또는 모델 훈련 루틴을 호출하는 능력을 가질 수 있어야 한다. 예를 들어, "수동 예측 실행"으로 불리는 간단한 버튼 또는 위젯 또는 이와 유사한 것이 GUI 내에서 구성될 수 있고/있거나 사용자 정의 간격으로 예측을 실행하도록 제어가 제공될 수 있다.
GUI에서 구현될 기능적 측면의 다음 세트는 훈련 및 예측 능력과 관련된다. 일 실시형태에서, 이 기능은 별도의 패널 또는 창에서 제공될 수 있다. 예를 들어, 사용자는 요청 시 분류 모델을 생성할 수 있어야 한다. 이는 예를 들어 모델 훈련의 결과 파이선 또는 R 코딩을 사용하여 구성된 기본 모델 인스턴스를 나타낸다. 그러면 사용자는 모델 객체에서 방법 예측을 호출하는 능력을 더 가질 수 있어야 한다.
새로운 웨이퍼에 대한 예측을 위해 모델 객체에 적합한 특징을 변환하는 데 필요한 모든 전처리 정보와 분류 모델 자체를 포함하는 모델 객체가 출력될 수 있다. 모델은 디스크와 서버 라이브러리에 기록될 수 있다. 대안으로 경로 문자열은 템플릿이나 워크플로에 반환되어 향후 예측을 위해 사용될 수 있다. 디폴트는 템플릿이 처음에 디폴트 위치 또는 사용자 지정 위치에 예측을 저장하고 디스플레이하는 것이다. 예를 들어, 모델 객체를 디스크에 기록하고, 업데이트된 분류 라벨과 표를 데이터베이스와 GUI에 반환하기 위한 권한 방식이 구현될 수 있다.
출력 파일은 스프레드시트에 적합한 CSV 형식으로 생성할 수 있으며, 모델 예측과 같은 추가 열 및 사용자 입력/재라벨링이 있는 최종 라벨을 포함할 수 있다. 데이터베이스는 GUI 템플릿에서 사용자가 쉽게 검색할 수 있도록 모델, 예측, 사용자 수정 등을 저장하는 능력을 가질 수 있다.
일반적인 공정은 예를 들어 5000개의 모델을 구축할 수 있지만 모델 중 소수(10개 내지 20개)만이 분류 방식 개선의 핵심이 될 것이다.
개별 빈 정보가 필요한 경우 작은 칩의 경우에도 스팟파이어를 통해 상당히 많은 정보량이 전달될 수 있다. 예를 들어, 단일 웨이퍼에 약 1000개의 칩이 있는 경우 (생산 공정에 적합한) 1000개 웨이퍼 데이터 세트는 106의 관찰 결과를 초래한다. 개별 빈을 사용하지 않는 경우 결과 데이터는 웨이퍼당 일부 나머지 입력과 함께 상당히 작아질 수 있다.
전적으로 고객 요구에 따라 다른 특징을 고려할 수 있으며, 이러한 특징은 템플릿 인스턴스에 통합된다. 예를 들어, 협력 분류 방법은 공정 워크플로로 자동화될 수 있다. 디스플레이된 결과에서 모델 신뢰도가 가장 낮은 웨이퍼는 맨 위에 디스플레이되어 사용자 검토를 보장할 수 있다. 드릴다운(drilldown) 능력은 예를 들어 WEH, 계측, 결함, 지표, PCM 등을 검토하기 위해 각각의 웨이퍼에 대해 구현될 수 있다.
특히, 근본 원인 분석은 분류 검토 및 업데이트의 중요한 부분이 될 수 있고 또 될 수 있어야 한다. 예를 들어, 도 2에서, 알려진 근본 원인 정보는 근본 원인 저장 매체(214)에 저장될 수 있고 또한 데이터베이스(212)의 특정 이탈 또는 결함과 연관되거나 링크될 수 있다. 근본 원인 정보는 사용자 수동 분류 검토의 일부로, 예를 들어, 드릴다운 정보로 GUI(206)에서 사용자에게 제공될 수도 있고, 마찬가지로, 사용자 피드백이 제공되고 근본 원인 학습에 통합되 수도 있다.
인터페이스 사양과 관련하여 일반적으로 협력 학습 템플릿은 두 가지 소스, 즉, (i) ML 모델의 훈련 및 업데이트를 통해 조정된 라벨을 포함하여 이전 워크플로에 의해 업데이트된 데이터베이스; 및 (ii) 이전에 라벨링된 결과를 포함하는 텍스트 파일에서 데이터를 가져올 수 있다.
재라벨링된 결과는 바람직하게는 (i) 웨이퍼 ID; (ii) 테스트 프로그램; (iii) 테스트 버전; (iv) 테스터 ID; (v) 삽입 날짜; (vi) 업데이트 날짜; (vii) 사용자 ID; 및 (viii) 사용자 논평을 포함하는 사용자 정의 정보를 포함할 수 있다. 다른 유형의 라벨은 예를 들어 공정 모듈, 도구 ID 및 챔버 ID와 같은 드릴다운 분석에 유용할 수 있다.
각각의 웨이퍼에 대해 협력 학습 템플릿은 (i) 웨이퍼 ID; (ii) 시그니처 유형(ASC 또는 클러스터, 이전 MRB 템플릿에서 가져옴); (iii) 시그니처 이름(이전 MRB 템플릿에서 옴); (iv) 테스트 버전; (v) 테스터 ID; (vi) 삽입 날짜; (vii) 업데이트 날짜; (viii) 사용자 ID; 및 (ix) 사용자 논평을 포함하여 각각의 웨이퍼에 대한 정보를 디스플레이할 수 있다.
일 실시형태에서, 인터페이스는 각각의 웨이퍼에 대해 다음 항목, 즉, (i) 로트 ID; (ii) 테스트 프로그램; 및 (iii) 테스트 버전과 같은 모든 정보를 기본 창에 직접 디스플레이하는 대신 사용자가 풀다운 메뉴 또는 이와 동등한 것에서 주요 정보를 빠르게 토글할 수 있도록 구성될 수 있다.
사용자는 일반적으로 각각의 웨이퍼에 대한 논평을 수동으로 입력할 수 있으며, 인터페이스는 예를 들어, (i) WEH, 계측, 결함, 지표, PCM 등; 및 (ii) 최근접 이웃 계획 - 유사한 이웃 웨이퍼에 대한 증거와 같은 각각의 웨이퍼에 대한 드릴다운 기능을 갖게 구성될 수 있다. 사용자가 템플릿과의 상호 작용을 완료하면 "변경 사항 적용" 또는 유사한 위젯과 같은 버튼을 선택하여 재라벨링된 결과 파일에 데이터를 (예를 들어, 웨이퍼 ID에 기초하여) 첨부하거나 덮어쓰고 데이터베이스의 다른 웨이퍼 데이터와 함께 저장할 수 있다.
협력 학습(CL) 템플릿의 인스턴스는 생산 시 사용하기 위해 다음과 같은 사후 설정 기능을 갖게 설치 및 구성될 수 있다. 비정상으로 라벨링된 입력 웨이퍼(들)에서 능력은 새로운 웨이퍼의 이력 및 데이터를 기존 웨이퍼의 유사한 검색된 데이터와 내부에서 비교하는 것을 포함할 수 있다. 비교는 제품 흐름에 따라 달라야 하므로 인터페이스는 제품 ID에 기초하여 검색할 올바른 관련 데이터를 결정하는 능력을 포함하는 것이 필요하다. 예를 들어, 웨이퍼는 동일하거나 유사한 빈 패턴과 관련되거나 또는 그 결여와 관련된 가장 가능성 있는 테스트 프로그램 및 테스트 버전으로 라벨링되어야 한다.
기본 웨이퍼 정보도 또한 디스플레이되고, 바람직하게는 사용자가 다이 맵, 클러스터, 구역 통계, 다른 사용자가 제공한 논평 등에 대한 액세스를 포함하여 웨이퍼의 비정상적인 이웃을 분석하기 위해 드릴다운 능력이 제공된다. 사용자에게는 주요 관련 공정 모듈 및 공정 단계를 무시 및 업데이트하고, 향후 웨이퍼(들)에 대한 비교에 사용할 업데이트된 결과를 저장하는 것이 허용될 수 있어야 한다.
CL 템플릿의 설정 단계 동안, 공정 엔지니어는 다음 기능, 즉, (i) 워크플로를 통해 기존 웨이퍼 데이터 세트를 로딩하는 기능; (ii) 자동 또는 수동으로 이 제품 흐름에 대한 경계 조건/파라미터 컷오프를 식별하는 기능; (iii) 일관성(온전성 검사)에 대한 결과를 검토하고 점검하는 기능; 및 (iv) 나중에 검색하고 판독할 수 있도록 웨이퍼 데이터 및 경계 조건을 저장하는 기능을 제공받아야 한다.
도 4는 설정 사양의 작업 흐름(400)의 단순화된 예시이며, 다음은 보다 상세한 설명이다. 단계(402)에서, 웨이퍼 데이터의 기존 또는 이전 세트는 바람직하게는 자동화된 방법을 통해 모델에 대한 입력으로서 로딩된다.
입력은 바람직하게는 각각의 웨이퍼(웨이퍼 ID 포함)에 대해 (i) 다이당 빈 데이터, 다이x(Diex) 및 다이y(Diey) 좌표; (ii) 각각의 빈 유형(숫자)에 대한 구역 중앙값의 구역 빈 델타, 일반 패턴 라벨(범주) 및 상세 패턴(범주)을 포함하는 ASC 출력; 및 (iii) 통계적으로 유의한 각 클러스터의 존재가 다음 정보, 즉, (a) 클러스터의 중심 다이x, 다이y 위치(숫자); (b) 클러스터의 경계 상자; 및 (c) 클러스터 내의 모든 다이x, 다이y 위치로 라벨링될 수 있는 클러스터링 출력을 포함한다. 다른 입력은 공정 모듈, 도구 ID 및 챔버 ID를 포함하는 웨이퍼 장비 이력(WEH)으로부터 각각의 웨이퍼의 공정 이력을 포함할 수 있다. 공정이 동적이면, 주어진 웨이퍼 ID 및 제품에 대한 공정 및 도구의 이력을 로딩한다. 공정이 정적이면, 즉, 전용 공정 경로가 있는 경우, 제품의 공정 및 도구 기록을 로딩한다.
협력 학습에 바람직한 하나의 특정 입력은 클러스터링 출력이다. 단계(404)에서, 클러스터링을 위한 파라미터 컷오프는 몬테 카를로(Monte Carlo) 루틴 또는 이와 유사한 루틴을 통해 자동으로 또는 사용자에 의해 수동으로 이 제품 흐름에 대해 식별된다. 예를 들어 다음 기본 파라미터가 정의된다:
dc = 무작위적인 잡음으로 인한 차이를 제외하고 동일한 것으로 간주하기 위해 선택된 웨이퍼에 충분히 가까운 고정 거리이고; df = 빈 클러스터와 훈련 세트에 유사성이 없다고 생각할 만큼 충분히 멀다고 간주되는 고정 거리이다. 임의의 중복은 단순히 무작위적인 가능성인 것으로 간주되어야 한다.
k = KNN 알고리즘에 의해 고려되는 이웃의 수이고;
D = 유클리드(Euclidean), 민코브스키(Minkowski), 마하라노비스 (Mahalanobis), L1, L∞ 및 유사한 솔루션을 포함할 수 있는 거리를 계산하는 데 사용되는 메트릭이다.
단계(406)에서, 수동 설정을 위한 옵션이 있지만, 일반적으로 단계(408)에서 시작하는 자동 설정이 수행되고, 여기서 한계를 찾기 위해 통계적 시뮬레이션이 실행되고, df 및 dc는 웨이퍼 맵 및 결함 밀도의 함수이다. 알고리즘은 일반적으로 클러스터링 인식에 사용되며, 다양한 양의 결함이 있는 몬테 카를로 시뮬레이션을 사용하여 이러한 추가 파라미터를 추정하고 반응 표면을 시뮬레이션된 결과에 맞추도록 수정될 수 있다.
단계(410)에서, 결과가 데이터에 과적합되지 않도록 하이퍼 파라미터 튜닝이 수행된다. 예를 들어, n번 교차 검증을 라벨과 함께 사용하여 데이터세트에서 선택한 모델 목록에 맞는 최상의 하이퍼 파라미터를 식별할 수 있다.
단계(406)에서 수동 설정이 선택되면 숙련된 공정 엔지니어와 같은 전문 사용자가 단계(412)에서 필요에 따라 변수를 수동으로 지정할 수 있고, 단계(410)에서와 같이 단계(410A)에서 하이퍼 파라미터 튜닝이 수행된다.
단계(414)는 사용자가 결과를 검토하고 온전성 점검을 수행하는 방법을 제공한다. 일례로서, 사용자는 구역 KNN, 클러스터링 KNN, 또는 공간 KNN과 같은 다양한 기술과 몬테 카를로 시뮬레이션의 분포에 대한 거리 메트릭(dc 및 df)을 검토할 수 있다. 사용자는 또한 각각의 단계마다 모든 비정상 웨이퍼, 수정된 라벨 및 권장 라벨을 검토할 수 있다.
마지막으로, 단계(416)에서 웨이퍼 데이터 및 경계 조건은 필요한 파라미터, 조합 및 KNN 데이터를 포함하여 예측을 위해 나중에 검색되고 판독되도록 저장될 수 있다. 따라서, 협력 학습을 위한 모델을 사용하여 다양한 방법론 간의 웨이퍼 분류 차이를 해결할 수 있다. 일단 해결되면, 다양한 규칙 기반 및 기계 학습 기반 모델을 업데이트하고 재분류 데이터로 지속적으로 재훈련하여 분류 방식의 효율성을 높일 수 있다.

Claims (7)

  1. 반도체 제조 공정에서 웨이퍼를 분류하는 방법으로서,
    상기 반도체 제조 공정의 선택된 단계에서 제1 웨이퍼를 나타내는 제1 웨이퍼 정보를 수신하는 단계;
    상기 제1 웨이퍼 정보에 기초하여 규칙 기반 모델에 따라 상기 제1 웨이퍼에 대한 초기 분류를 결정하는 단계;
    상기 초기 분류 및 사용자 입력에 기초하여 웨이퍼 분류를 예측하도록 구성된 기계 학습 모델에 따라 상기 제1 웨이퍼에 대한 예측된 분류를 결정하는 단계;
    상기 초기 분류 및 상기 예측 분류를 포함하는 상기 제1 웨이퍼 정보를 사용자에게 디스플레이하는 단계로서, 상기 디스플레이는 또한 상기 초기 분류 또는 상기 예측된 분류를 선택 및 업데이트하기 위한 제1 사용자 상호 작용 요소, 및 사용자 분류를 입력하기 위한 제2 사용자 상호 작용 요소를 포함하는 복수의 사용자 상호 작용 요소를 포함하는, 상기 제1 웨이퍼 정보를 디스플레이하는 단계;
    최종 분류를 수립하기 위해 상기 디스플레이의 제1 사용자 상호 작용 요소 또는 상기 제2 사용자 상호 작용 요소로부터 상기 사용자 입력을 수신하는 단계; 및
    그 다음 웨이퍼를 분류하는 데 상기 제1 웨이퍼에 대한 초기 분류, 예측 분류 및 최종 분류를 사용하기 위해 저장 매체에 저장하는 단계
    를 포함하는, 반도체 제조 공정에서 웨이퍼를 분류하는 방법.
  2. 제1항에 있어서,
    상기 제1 웨이퍼에 대한 초기 분류, 예측 분류 및 최종 분류를 상기 저장 매체로부터 검색하는 단계; 및
    복수의 웨이퍼에 대한 초기 분류, 예측 분류 및 최종 분류에 기초하여 상기 기계 학습 모델을 훈련시키는 단계
    를 더 포함하는, 반도체 제조 공정에서 웨이퍼를 분류하는 방법.
  3. 제1항에 있어서, 상기 사용자 입력은,
    상기 최종 분류로서 상기 초기 분류 또는 예측 분류, 또는 이 둘 모두에 대한 확인을 상기 사용자 입력으로서 수신하는 단계를 더 포함하는, 반도체 제조 공정에서 웨이퍼를 분류하는 방법.
  4. 제1항에 있어서, 상기 사용자 입력은,
    상기 최종 분류로서 상기 초기 분류 또는 예측 분류의 수정을 상기 사용자 입력으로 수신하는 단계를 더 포함하는, 반도체 제조 공정에서 웨이퍼를 분류하는 방법.
  5. 제1항에 있어서, 상기 사용자 입력은,
    상기 최종 분류로서 사용자 분류를 상기 사용자 입력으로서 수신하는 단계를 더 포함하는, 반도체 제조 공정에서 웨이퍼를 분류하는 방법.
  6. 제1항에 있어서,
    상기 규칙 기반 모델의 초기 분류, 상기 기계 학습 모델의 예측 분류, 및 상기 사용자 입력을 나열하는 형식화된 사용자 디스플레이를 활성화하는 단계를 더 포함하는, 반도체 제조 공정에서 웨이퍼를 분류하는 방법.
  7. 제6항에 있어서,
    사용자가 제3 사용자 상호 작용 요소를 통해 상기 제1 웨이퍼를 선택할 때 형식화된 사용자 디스플레이가 상기 제1 웨이퍼 정보의 복수의 세부사항으로 드릴다운하도록 하는 단계를 더 포함하는, 반도체 제조 공정에서 웨이퍼를 분류하는 방법.
KR1020227014544A 2019-10-14 2020-10-14 반도체 애플리케이션을 위한 협력 학습 모델 KR20220080121A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962914901P 2019-10-14 2019-10-14
US62/914,901 2019-10-14
PCT/US2020/055556 WO2021076609A1 (en) 2019-10-14 2020-10-14 Collaborative learning model for semiconductor applications

Publications (1)

Publication Number Publication Date
KR20220080121A true KR20220080121A (ko) 2022-06-14

Family

ID=75538603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227014544A KR20220080121A (ko) 2019-10-14 2020-10-14 반도체 애플리케이션을 위한 협력 학습 모델

Country Status (6)

Country Link
US (1) US12038802B2 (ko)
JP (1) JP2022553523A (ko)
KR (1) KR20220080121A (ko)
CN (1) CN114631122A (ko)
TW (1) TW202119232A (ko)
WO (1) WO2021076609A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227209B2 (en) * 2019-07-31 2022-01-18 Dell Products L.P. Systems and methods for predicting information handling resource failures using deep recurrent neural network with a modified gated recurrent unit having missing data imputation
CN113807441B (zh) * 2021-09-17 2023-10-27 长鑫存储技术有限公司 半导体结构制备中的异常传感器监测方法及其装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359544B2 (en) * 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
JP4317805B2 (ja) * 2004-09-29 2009-08-19 株式会社日立ハイテクノロジーズ 欠陥自動分類方法及び装置
US8532949B2 (en) * 2004-10-12 2013-09-10 Kla-Tencor Technologies Corp. Computer-implemented methods and systems for classifying defects on a specimen
US7987150B1 (en) * 2007-02-09 2011-07-26 Siglaz Method and apparatus for automated rule-based sourcing of substrate microfabrication defects
US8396582B2 (en) * 2008-03-08 2013-03-12 Tokyo Electron Limited Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool
EP2402867B1 (en) * 2010-07-02 2018-08-22 Accenture Global Services Limited A computer-implemented method, a computer program product and a computer system for image processing
US20130173332A1 (en) * 2011-12-29 2013-07-04 Tom Thuy Ho Architecture for root cause analysis, prediction, and modeling and methods therefor
KR101808819B1 (ko) 2011-08-16 2017-12-13 삼성전자주식회사 테스트 맵 분류 방법 및 그것을 이용하는 제조 공정 조건 설정 방법
US9129237B2 (en) * 2011-12-28 2015-09-08 Elitetech Technology Co., Ltd. Integrated interfacing system and method for intelligent defect yield solutions
US8627251B2 (en) 2012-04-25 2014-01-07 Taiwan Semiconductor Manufacturing Co., Ltd. Systems and methods of automatically detecting failure patterns for semiconductor wafer fabrication processes
US9489599B2 (en) 2013-11-03 2016-11-08 Kla-Tencor Corp. Decision tree construction for automatic classification of defects on semiconductor wafers
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10732883B1 (en) * 2019-01-28 2020-08-04 International Business Machines Corporation Storage layer selection based upon information assignment

Also Published As

Publication number Publication date
US12038802B2 (en) 2024-07-16
JP2022553523A (ja) 2022-12-23
CN114631122A (zh) 2022-06-14
WO2021076609A1 (en) 2021-04-22
TW202119232A (zh) 2021-05-16
US20210142122A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
Cheng et al. Data and knowledge mining with big data towards smart production
CN113935434A (zh) 一种数据分析处理系统及自动建模方法
Çiflikli et al. Implementing a data mining solution for enhancing carpet manufacturing productivity
US20130110874A1 (en) System and method for combination-based data analysis
US20150302433A1 (en) Automatic Generation of Custom Intervals
US11151480B1 (en) Hyperparameter tuning system results viewer
Duan et al. Root cause analysis approach based on reverse cascading decomposition in QFD and fuzzy weight ARM for quality accidents
CN117609100B (zh) 一种自动化代码合并及部署方法
KR20220080121A (ko) 반도체 애플리케이션을 위한 협력 학습 모델
Shafiq et al. Retracted: Scientific programming using optimized machine learning techniques for software fault prediction to improve software quality
Lugaresi et al. Generation and tuning of discrete event simulation models for manufacturing applications
Weiss et al. Continuous prediction of manufacturing performance throughout the production lifecycle
CN111630464A (zh) 车辆维修操作的预测
Rodríguez-Padial et al. An Approach to Integrating Tactical Decision‐Making in Industrial Maintenance Balance Scorecards Using Principal Components Analysis and Machine Learning
US20230377132A1 (en) Wafer Bin Map Based Root Cause Analysis
CN115481844A (zh) 基于特征提取和改进的svr模型的配网物资需求预测系统
US10268562B1 (en) Advanced manufacturing insight system for semiconductor application
Glaser et al. Anomaly Detection Methods to Improve Supply Chain Data Quality and Operations
TWI230349B (en) Method and apparatus for analyzing manufacturing data
Chen et al. Using data mining technology to deign an quality control system for manufacturing industry
CN118012916B (zh) 报表的生成方法、装置、设备及存储介质
Vasudevan et al. A systematic data science approach towards predictive maintenance application in manufacturing industry
Montoya Predicting Zero Bin in the Semiconductor Manufacturing Industry: Machine Learning Algorithms
TU et al. Using Machine Learning to Reduce the False Call Problem in Electronics Manufacturing
US20240231300A1 (en) Automatic optimization framework for safety-critical systems of interconnected subsystems