KR20220147036A - 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법 - Google Patents

생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법 Download PDF

Info

Publication number
KR20220147036A
KR20220147036A KR1020220050286A KR20220050286A KR20220147036A KR 20220147036 A KR20220147036 A KR 20220147036A KR 1020220050286 A KR1020220050286 A KR 1020220050286A KR 20220050286 A KR20220050286 A KR 20220050286A KR 20220147036 A KR20220147036 A KR 20220147036A
Authority
KR
South Korea
Prior art keywords
cluster
input vector
processor
classifier
training
Prior art date
Application number
KR1020220050286A
Other languages
English (en)
Inventor
이장환
먼 스티븐
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20220147036A publication Critical patent/KR20220147036A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 한 실시예에 따른 방법은 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 시스템을 훈련하는 방법으로서, 상기 시스템의 처리기(processor)에 의하여, 복수의 입력 벡터(input vector) 및 상기 입력 벡터에 대응하는 복수의 결함 값(defect value)을 수신하는 단계, 상기 처리기에 의하여, 상기 결함 값에 기초하여 상기 복수의 입력 벡터에 대응하는 복수의 제1 군집 표지(cluster label)를 식별하는 단계, 상기 처리기에 의하여, 상기 입력 벡터 및 상기 대응하는 제1 군집 표지에 기초하여 군집 분류기를 훈련하는 단계, 상기 처리기에 의하여, 상기 군집 분류기의 출력에 기초하여 상기 입력 벡터를 복수의 제2 군집 표지에 재할당하는 단계, 상기 처리기에 의하여, 상기 입력 벡터 및 상기 제2 군집 표지에 기초하여 상기 군집 분류기를 재훈련하는 단계, 그리고 상기 처리기에 의하여, 상기 제2 군집 표지에 대응하는 복수의 기계 학습 모델을 훈련하는 단계를 포함한다.

Description

생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법 {METHOD OF PERFORMING PREDICTION RELATING TO PRODUCTS MANUFACTURED VIA MANUFACTURING PROCESS}
본 발명은 제품 관련 예측 수행 방법으로서, 더욱 상세하게는, 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 방법에 관한 것이다.
본 출원은 2021년 4월 23일에 미국 특허청에 출원한 미국 특허출원번호 제63/179,117호(발명의 명칭: REASSIGNMENT CLUSTERING FOR DEFECT VISIBILITY REGRESSION)를 우선권 주장하며, 여기에 인용함으로써 이 출원의 전체 내용을 본원에 포함한다.
본 출원은 또한 2020년 9월 18일에 미국 특허청에 출원한 미국 특허출원번호 제63/080,558호(발명의 명칭: TREE BASED MULTIMODAL REGRESSION FOR DISPLAY DEFECT VISIBILITY)를 우선권 주장하면서 2020년 12월 18일에 미국 특허청에 출원한 미국 특허출원번호 제17/127,778호(발명의 명칭: SYSTEM AND METHOD FOR PERFORMING TREE-BASED MULTIMODAL REGRESSION)와 관련 있으며, 여기에 인용함으로써 이 출원의 전체 내용을 본원에 포함한다.
근년 표시 장치 산업이 급격하게 성장하고 있다. 새로운 유형의 표시 패널과 제조 방법 및 공정이 사용되고 제품 사양이 엄격해짐에 따라 품질을 유지하기 위한 장비의 개량과 품질 관리 방법이 필요하다. 예를 들면, 서로 다른 수준의 제조 결함을 감지하기 위한 척도를 마련할 필요가 있다.
앞에 설명한 정보는 본 발명의 배경 기술에 대한 이해를 높이기 위한 것일 뿐이므로, 종래 기술이 아닌 정보가 포함될 수도 있다.
본 발명이 해결하고자 하는 과제는 생산 과정을 통해서 생산되는 제품과 관련된 예측의 정확도를 높이는 것이다.
본 발명의 실시예는 생산 과정을 통해서 생산되는 제품과 관련된 예측을 수행하는 시스템 및 방법에 관한 것이다. 본 발명의 한 실시예에 따른 시스템은 군집 분류기(cluster classifier)를 사용하여 제조 데이터를 복수의 군집(cluster)으로 군집 분류(clustering)하며, 각 군집은 제조 데이터의 개별 봉(modality)에 대응한다. 이 시스템은 또한 각 군집에 대해서 하나의 기계 학습 모델을 생성 및 적용하여 제조 데이터에 기초하여 결함 가시성에 대한 예측을 한다. 본 발명의 한 실시예에 따르면, 이 시스템은 군집 회귀 방법을 사용하여 시스템의 예측 결과를 향상한다.
본 발명의 한 실시예에 따른 방법은 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 시스템을 훈련하는 방법으로서, 상기 시스템의 처리기(processor)에 의하여, 복수의 입력 벡터(input vector) 및 상기 입력 벡터에 대응하는 복수의 결함 값(defect value)을 수신하는 단계, 상기 처리기에 의하여, 상기 결함 값에 기초하여 상기 복수의 입력 벡터에 대응하는 복수의 제1 군집 표지(cluster label)를 식별하는 단계, 상기 처리기에 의하여, 상기 입력 벡터 및 상기 대응하는 제1 군집 표지에 기초하여 군집 분류기를 훈련하는 단계, 상기 처리기에 의하여, 상기 군집 분류기의 출력에 기초하여 상기 입력 벡터를 복수의 제2 군집 표지에 재할당하는 단계, 상기 처리기에 의하여, 상기 입력 벡터 및 상기 제2 군집 표지에 기초하여 상기 군집 분류기를 재훈련하는 단계, 그리고 상기 처리기에 의하여, 상기 제2 군집 표지에 대응하는 복수의 기계 학습 모델을 훈련하는 단계를 포함한다.
본 발명의 한 실시예에 따르면, 상기 복수의 제1 군집 표지를 식별하는 단계는, 상기 복수의 입력 벡터 각각 및 상기 복수의 결함 값 중 대응하는 결함 값에 대하여, 상기 대응 결함 값에 대응하는 결함 값 분위(quantile)를 식별하는 단계, 그리고 상기 대응 결함 값 분위에 기초하여 상기 각 입력 벡터를 상기 복수의 제1 군집 표지 중 하나의 군집 표지에 할당하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 입력 벡터는 상기 생산 과정으로부터의 흔적 데이터(trace data)를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 흔적 데이터는 상기 생산 과정에서 사용된 복수의 감지기로부터의 다변수 감지기 데이터를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 결함 값은 상기 흔적 데이터에 대응하는 상기 생산 과정의 제품의 결함 가시성 값을 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하는 단계는, 상기 입력 벡터를 상기 군집 분류기에 입력하는 단계, 상기 입력 벡터의 입력에 응답하여 상기 군집 분류기로부터의 상기 복수의 제2 군집 표지를 출력으로서 수신하는 단계, 그리고 상기 입력 벡터를 상기 복수의 제2 군집 표지 중 대응하는 제2 군집 표지에 할당하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 방법은, 상기 처리기에 의하여, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계를 더 포함하며, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계는, 입력 벡터 할당 수의 카운트를 유지하고, 상기 카운트가 문턱 값 이하인 것으로 판단하고, 상기 입력 벡터를 재할당하기로 결정함으로써 이루어질 수 있다.
본 발명의 한 실시예에 따르면, 상기 방법은, 상기 처리기에 의하여, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계를 더 포함하며, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계는, 상기 제1 군집 표지 중 대응하는 제1 군집 표지가 상기 제2 군집 표지 중 대응하는 제2 군집 표지와 다른 입력 벡터 재할당 횟수를 결정하고, 상기 입력 벡터의 총수에 대한 상기 재할당 횟수의 비율을 계산하고, 상기 비율이 문턱 값보다 크다고 판단하고, 상기 입력 벡터를 재할당하기로 결정함으로써 이루어질 수 있다.
본 발명의 한 실시예에 따르면, 상기 군집 분류기를 훈련하는 단계는, 상기 처리기에 의하여, 상기 입력 벡터 및 상기 대응하는 제1 군집 표지를 상기 군집 분류기에 훈련 데이터로서 입력하는 단계, 그리고 상기 처리기에 의하여, 상기 군집 분류기를 훈련하여 지도 기계 학습 알고리즘(supervised machine learning algorithm)을 사용하여 상기 입력 벡터에 주어지는 상기 제1 군집 표지를 식별하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 군집 분류기를 재훈련하는 단계는, 상기 처리기에 의하여, 상기 입력 벡터 및 상기 대응하는 제2 군집 표지를 상기 군집 분류기에 훈련 데이터로서 입력하는 단계, 그리고 상기 처리기에 의하여, 상기 군집 분류기를 훈련하여 지도 기계 학습 알고리즘(supervised machine learning algorithm)을 사용하여 상기 입력 벡터에 주어지는 상기 제2 군집 표지를 식별하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 복수의 기계 학습 모델을 훈련하는 단계는, 상기 입력 벡터 중에서 상기 제2 군집 표지 중 동일한 군집 표지 내에 있는 입력 벡터 및 상기 결함 값 중 대응하는 결함 값에 기초하여 상기 복수의 기계 학습 모델 중 하나를 훈련하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 복수의 제1 군집 표지 중 하나의 군집 표지는 상기 복수의 제2 군집 표지 중 대응하는 군집 표지와 다를 수 있다.
본 발명의 한 실시예에 따른 방법은 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 예측 시스템을 훈련하는 방법으로서, 상기 예측 시스템의 처리기(processor)에 의하여, 복수의 입력 벡터(input vector) 및 상기 입력 벡터에 대응하는 복수의 결함 값(defect value)을 수신하는 단계, 상기 처리기에 의하여, 상기 결함 값에 기초하여 상기 복수의 입력 벡터에 대응하는 복수의 제1 군집 표지(cluster label)를 식별하는 단계, 상기 처리기에 의하여, 상기 입력 벡터 및 상기 대응하는 제1 군집 표지에 기초하여 군집 분류기를 훈련하는 단계, 상기 처리기에 의하여, 상기 제1 군집 표지에 대응하는 복수의 제1 기계 학습 모델을 훈련하는 단계, 상기 처리기에 의하여, 상기 군집 분류기의 출력에 기초하여 상기 입력 벡터를 복수의 제2 군집 표지에 재할당하는 단계, 상기 입력 벡터 및 상기 제2 군집 표지에 기초하여 상기 군집 분류기를 재훈련하는 단계, 그리고 상기 제2 군집 표지에 대응하는 복수의 제2 기계 학습 모델을 훈련하는 단계를 포함한다.
본 발명의 한 실시예에 따르면, 상기 복수의 제1 군집 표지를 식별하는 단계는, 상기 복수의 입력 벡터 각각 및 상기 복수의 결함 값 중 대응하는 결함 값에 대하여, 상기 대응 결함 값에 대응하는 결함 값 분위(quantile)를 식별하는 단계, 그리고 상기 대응 결함 값 분위에 기초하여 상기 각 입력 벡터를 상기 복수의 제1 군집 표지 중 하나의 군집 표지에 할당하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 입력 벡터는 상기 생산 과정으로부터의 흔적 데이터(trace data)를 포함하고, 상기 결함 값은 상기 흔적 데이터에 대응하는 상기 생산 과정의 제품의 결함 가시성 값을 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 복수의 제1 기계 학습 모델을 훈련하는 단계는, 상기 입력 벡터 중에서 상기 제1 군집 표지 중 동일한 군집 표지 내에 있는 입력 벡터 및 상기 결함 값 중 대응하는 결함 값에 기초하여 상기 복수의 제1 기계 학습 모델 중 하나를 훈련하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따르면, 상기 방법은, 상기 처리기에 의하여, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계를 더 포함하며, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계는, 입력 벡터 할당 수의 카운트를 유지하고, 상기 카운트가 문턱 값 이하인 것으로 판단하고, 상기 입력 벡터를 재할당하기로 결정함으로써 이루어질 수 있다.
본 발명의 한 실시예에 따르면, 상기 방법은, 상기 처리기에 의하여, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계를 더 포함하며, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계는, 상기 결함 값과 상기 복수의 제1 기계 학습 모델이 생성한 예측 결함 값 사이의 평균 백분율 절대 오차(MAPE: mean percentage absolute error)를 결정하고, 상기 평균 백분율 절대 오차가 문턱 값보다 크다고 판단하고, 상기 입력 벡터를 재할당하기로 결정함으로써 이루어질 수 있다.
본 발명의 한 실시예에 따르면, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하는 단계는, 상기 입력 벡터를 상기 군집 분류기에 입력하는 단계, 상기 입력 벡터의 입력에 응답하여 상기 군집 분류기로부터의 상기 복수의 제2 군집 표지를 출력으로서 수신하는 단계, 그리고 상기 입력 벡터를 상기 복수의 제2 군집 표지 중 대응하는 제2 군집 표지에 할당하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따른 시스템은 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 시스템으로서, 처리기(processor), 그리고 명령을 포함하는 메모리를 포함하며, 상기 처리기가 상기 명령을 실행하면, 상기 처리기는, 복수의 입력 벡터(input vector) 및 상기 입력 벡터에 대응하는 복수의 결함 값(defect value)을 수신하고, 상기 결함 값에 기초하여 상기 복수의 입력 벡터에 대응하는 복수의 제1 군집 표지(cluster label)를 식별하고, 상기 입력 벡터 및 상기 대응하는 제1 군집 표지에 기초하여 군집 분류기를 훈련하고, 상기 군집 분류기의 출력에 기초하여 상기 입력 벡터를 복수의 제2 군집 표지에 재할당하고, 상기 입력 벡터 및 상기 제2 군집 표지에 기초하여 상기 군집 분류기를 재훈련하고, 상기 제2 군집 표지에 대응하는 복수의 기계 학습 모델을 훈련한다.
본 발명의 실시예의 이러한, 그리고 다른 특징들, 측면 및 이점은 다음에 나오는 상세한 설명, 청구범위 및 도면을 보면 충분히 이해할 수 있을 것이다. 물론, 본 발명의 실제 범위는 청구범위에 의하여 정의된다.
이와 같이 함으로써 생산 과정을 통해서 생산되는 제품과 관련된 예측의 정확도를 높일 수 있다.
도 1은 본 발명의 한 실시예에 따른 생산 방법을 통하여 생산한 제품과 관련된 예측을 수행하는 시스템의 블록도이다.
도 2는 본 발명의 한 실시예에 따른 분석 시스템의 추론 모듈의 블록도이다.
도 3은 본 발명의 한 실시예에 따라 분석 시스템의 훈련 모듈이 실행하는 군집 분류기 훈련 및 복수의 기계 학습 모델 생성 방법을 나타낸 흐름도이다.
도 4는 본 발명의 한 실시예에 따라 분석 시스템의 훈련 모듈이 실행하는 군집 분류기 훈련 및 복수의 기계 학습 모델 생성 방법을 나타낸 흐름도이다.
이제 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 이러한 실시예를 제공함으로써 발명의 상세한 설명이 완전하고 풍부해질 것이며 발명의 여러 측면과 특징을 당업자에게 충분히 보여준다. 따라서, 당업자가 본 발명의 다양한 측면과 특징을 완전하게 이해하는 데 필요하지 않은 과정, 장치, 기술 등은 설명을 생략한다. 별다른 설명이 없는 한, 도면과 명세서 전체를 통틀어 동일한 도면 부호는 동일한 구성요소를 가리키며, 이에 따라 설명을 반복하지 않는다. 또한, 도면에서 부분, 층, 영역 등은 명료한 이해를 위하여 과장되거나 단순화될 수 있다.
표시 장치 생산 과정 등의 생산 과정에서 표시 장치 제품을 생산하는 동안 디지털 흔적 데이터(digital trace data)를 얻을 수 있다. 표시 장치 제품을 예로 들었지만, 본 발명의 실시예는 다른 유리 제품 및 유리가 아닌 제품, 예를 들면 반도체 웨이퍼, 표시 장치용 유리, 폴리이미드 기판 등을 생산하는 공정에도 적용될 수 있다는 것을 당업자가 알아야 한다.
흔적 데이터는, 예를 들어 생산 과정에서 제품을 운반하는 컨베이어 위에 위치한 하나 이상의 감지기를 통하여 수집할 수 있다. 감지기는 감지한 움직임(activity)을 무엇이든 기록한다. 감지기는, 예를 들어 생산 과정에서 시간에 따른 온도와 압력의 측정치를 탐지하는 복수의 온도 및 압력 감지기일 수 있다. 각 감지기는 여러 번[복수의 유리 기판(glass)을 제작하는 시간 동안 각각의 기판을 점검하기 위하여 매초 또는 수 초마다] 샘플링될 수 있다.
흔적 데이터를 분석하여 특정한 제조 결함을 낳는 조건을 이해할 수 있다. 제조 조건은 시간에 따라 변화하기 때문에, 수집한 흔적 데이터 및 흔적 데이터의 제조 결함에 대한 관계 또한 변할 수 있다. 기계 학습을 사용하는 경우 입력 흔적 데이터에 기초하여 제조 결함을 예측할 때, 제조 환경의 변화로 인하여 흔적 데이터와 제조 결함 사이의 관계가 변했다면, 이전에 이해한 관계에 기초하여 훈련한 모델은 결함을 정확하게 예측하는 데 쓸모가 없을 것이다. 따라서, 기계 학습을 사용하여 제조 결함을 예측하며, 예측을 수행할 때 흔적 데이터와 제조 결함 사이의 서로 다른/변화하는 관계를 고려하는 시스템 및 방법이 필요하다.
일반적으로 본 발명의 실시예는 제조 과정의 결함 정도/수준(degree/level)[결함 가시도(defect visibility level)라고도 함]을 예측하기 위하여 제조 공정의 흔적 데이터를 분석하는 것이다. 제조 공정에 결함이 있으면 제조 부품에도 결함/불량이 생길 수 있다. 제조 공정의 잠재적인 결함을 식별하는 것은 공정의 품질 관리를 개선하고, 제조 비용을 낮추며/낮추거나 장비 가동 시간을 개선하는 데 도움을 줄 수 있다.
본 발명의 한 실시예에 따르면, 흔적 데이터는 오랜 시간에 걸려 하나 이상의 감지기에 의하여 생성된다. 흔적 데이터는 분석 시스템에 제공되어 결함 가시도 예측에 사용된다. 본 발명의 한 실시예에 따르면, 입력 흔적 데이터는 복수의 감지기에 의하여 다변수(multivariate) 입력 데이터로 제공된다. 본 발명의 한 실시예에 따르면, 입력 흔적 데이터는 이전에 입수한 흔적 데이터의 통계 정보를 사용하여 증강될(augmented) 수 있고, 증강된 데이터는 복수의 모델 중에서 하나의 기계 학습 모델[보기: 회귀 모델(regression model)]을 선택하는 군집 분류기(cluster classifier)에 제공된다. 선택한 기계 학습 모델은 분류기가 증강 데이터에 할당한 군집/군집 표지(cluster label)에 의존한다.
본 발명의 한 실시예에 따르면, 분석 시스템은 시간이 흐름에 따라 생길 수 있는 생산 환경 변화를 다루며, 입력 데이터(보기: 흔적 데이터)의 다중 단일 분포(multiple single distributions)[다봉 분포(multimodal distributions)라고도 함] - 출력 데이터(보기: 결함 가시도)를 생성할 수 있다.
본 발명의 한 실시예에 따르면, 분석 시스템은 수형 다봉 회귀 설계(tree-structured multimodal regressor design)를 제공하여 데이터의 다봉 분포를 다루는 데 도움을 준다. 이 점에서, 분석 시스템은 복수의 기계 학습 모델을 제공하는데, 제1 모델은 제1 군집 표지에 의하여 정의되는 제1 군집(cluster)/봉(modality)(보기: 제1 정규 분포)과 관련 있고, 제2 모델은 제1 군집 표지에 의하여 정의되는, 제1 군집/봉과는 다른 제2 군집/봉(보기: 제2 정규 분포)과 관련 있다. 본 발명의 한 실시예에 따르면, 군집 분류기는 입력 데이터에 대하여 예측되는 군집 표지에 기초하여 복수의 기계 학습 모델 중 하나를 선택한다. 결함 수준 예측을 위하여 복수의 회귀기(regressor)를 사용하는 수형 다봉 회귀 설계가 단일한 회귀기를 사용하는 모델에 비하여 예측이 더 정확하다는 것을 실험이 보여준다.
도 1은 본 발명의 한 실시예에 따른 제조 방법을 통하여 제조한 제품과 관련된 예측을 수행하는 시스템의 블록도이다.
도 1을 참고하면, 이 시스템은 하나 이상의 데이터 수집 회로(data collection circuit)(100), 분석 시스템(analysis system)(102) 및 하나 이상의 장비/공정 제어기(equipment/process controller)(104)를 포함한다. 데이터 수집 회로(100)는 예를 들어, 감지기, 증폭기 및/또는 아날로그-디지털 변환기를 포함할 수 있으며, 제조 과정에서 흔적 데이터(trace data)를 수집한다. 감지기는 예를 들어 생산 과정에서 제품을 운반하는 컨베이어 벨트 위에 위치할 수 있다. 감지기는 흔적 데이터 등 감지한 움직임을 기록할 수 있다. 예를 들면, 감지기는 제조 공정에서의 온도와 압력을 시간의 함수로 측정하는 복수의 온도 및 압력 감지기일 수 있다. 각 감지기는 여러 번[보기: 복수의 유리 (기판) 제조 시간 동안 각 유리를 검사하기 위하여 매초마다 또는 몇 초마다] 샘플링될 수 있다.
분석 시스템(102)은 훈련 모듈(training module)(106) 및 추론 모듈(inference module)(108)을 포함할 수 있다. 도 1에서 훈련 및 추론 모듈(106, 108)을 별개의 기능 단위로 도시하였지만, 당업자라면 본 발명의 취지와 범위를 벗어나지 않고 두 모듈의 기능을 하나의 모듈로 결합 또는 통합하거나, 하부 모듈들로 더 분할할 수 있음을 알 수 있다. 예를 들면, 본 발명의 한 실시예에서는, 훈련 모듈(106)은 하나 이상의 처리 장치(processing units)[처리기(processor)라고도 함](101) 및 이와 연결된 메모리(103)에 대응할 수 있다. 추론 모듈(108)은 훈련 모듈(106)과 동일한 하나 이상의 처리 장치에 대응하거나, 훈련 모듈(106)과 다른 하나 이상의 처리 장치에 대응할 수 있다. 처리 장치의 예로는 CPU(central processor unit), GPU(graphics processor unit), ASIC(application specific integrated circuit). FPGA(field programmable gate array) 등이 있다.
훈련 모듈(106)은 추론 모듈(108)이 사용할 복수의 기계 학습 모델을 생성하고 훈련할 수 있다. 복수의 기계 학습 모델의 생성 및 훈련은 데이터 수집 회로(100)가 제공하는 훈련 데이터에 기초할 수 있다. 본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 복수의 기계 학습 모델의 생성 및 훈련에 수형 다봉 회귀 설계를 사용한다.
본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 군집 분류기를 훈련하여 입력 데이터(보기: 흔적 데이터)에 기초하여 복수의 기계 학습 모델 중 하나를 선택하게 한다. 이런 점에서, 복수의 기계 학습 모델은 서로 다른 군집 표지와 연결될 수 있다. 본 발명의 한 실시예에 따르면, 군집 분류기를 훈련하여 흔적 데이터와 군집 표지 사이의 관계를 학습하고, 이를 사용하여 추론 단계에서 적용할 수 있는 적절한 기계 학습 모델을 식별한다.
추론 모듈(108)은 추론 단계에서 데이터 수집 회로(100)가 제공한 흔적 데이터에 기초하여 결함 가시도를 예측할 수 있다. 이 점에서, 추론 모듈(108)은 복수의 훈련한 기계 학습 모델 중에서 하나를 선택하여 예측 동작을 할 수 있다. 모델의 선택은 수신한 흔적 데이터의 분류(보기: 군집/군집 표지)에 의존할 수 있다. 서로 다른 분류에 기초하여 서로 다른 기계 학습 모델을 호출할 수 있다.
본 발명의 한 실시예에 따르면, 예측한 결함 가시도는 제조 공정에서 조정을 하는 데 사용된다. 예를 들면, 예측한 결함 가시도가 특정 임계 수준을 넘어서면, 장비/공정 제어기(104)에 신호가 전송되고, 장비/공정 제어기(104)는 제조 공정에 사용되는 제조 장비의 파라미터를 조정할 수 있다. 조정되는 파라미터는, 예를 들면, 제조 장비의 동작 속도 또는 내부 온도일 수 있다. 본 발명의 한 실시예에 따르면, 예측한 결함 가시도가 특정 임계 수준을 넘어선다는 것을 감지하면, 제조 장비를 다시 초기화하거나 재정비할(re-calibrate) 수 있다.
도 2는 본 발명의 한 실시예에 따른 추론 모듈(108)의 블록도이다.
본 발명의 한 실시예에 따르면, 추론 모듈(108)은 군집 분류기 엔진(cluster classifier engine)(앞으로 군집 분류기라 함)(204) 및 복수의 기계 학습 모델(206)[군집 회귀기(cluster regressor)라고도 함]을 포함한다.
본 발명의 한 실시예에 따르면, 데이터 수집 회로(100)는 다양한 감지기로부터 흔적 데이터를 수집하여 군집 분류기(204)에 다변수 입력 데이터로 제공한다. 본 발명의 한 실시예에 따르면, 훈련 모듈(108)은 다변수 흔적 데이터를 받고, 통계 데이터를 사용하여 흔적 데이터를 증강할 수 있다. 통계 데이터는, 예를 들면, 데이터 수집 회로(100)가 수집한 이전 표본으로부터 계산한 평균 값일 수 있다. 평균 값을 수집한 흔적 데이터와 연계하여 증강 데이터 집합(augmented dataset)을 생성할 수 있다.
증강 데이터 집합은 크기 조정 모듈에 의하여 더 처리될 수 있다. 여러 감지기가 제공한 값의 범위는 감지기의 종류에 따라 크게 달라질 수 있기 때문에, 증강 데이터 집합을 크기 조정/정규화(scaling/normalization)하여 정규 데이터 집합을 생성할 수 있다. 정규 데이터 집합은 이어 군집 분류기(204)에 제공될 수 있다. 앞으로 군집 분류기(204)에 제공되는 입력 데이터(X)는 생산 과정에서 직접 보낸 흔적 데이터일 수도 있고 앞에서 설명한 것처럼 처리된 흔적 데이터(보기: 증강 및/또는 정규화된 흔적 데이터)일 수 있다.
군집 분류기(204)는 예를 들면, 랜덤 포리스트(random forest), XGBoost(extreme gradient boosting), SVM(support-vector machine), DNN(deep neural network) 및/또는 이와 유사한 기계 학습 알고리즘을 실행할 수 있다. 본 발명의 한 실시예에 따르면, 군집 분류기(204)는 입력 데이터(X)에 대해서 군집 표지를 예측하도록 훈련 받는다. 이 점에서, 군집 분류기(204)는 복수의 미리 설정한 군집 표지로부터 하나의 군집 표지를 예측한다. 예측한 군집 표지를 사용하여 복수의 기계 학습 모델(206) 중에서 하나의 기계 학습 모델을 선택할 수 있다. 선택한 기계 학습 모델은 제조 공정을 통해서 제조되는 제품의 결함 가시도(208)의 예측을 생성한다.
본 발명의 한 실시예에 따르면, 복수의 기계 학습 모델(206) 각각은 서로 다른 군집(cluster)/봉(modality)과 관계 있다. 각 군집/봉은 흔적 데이터의 특정 분포 - 예측된 결함 가시도를 초래하는 특정 제조 환경을 반영할 수 있다. 다봉 기계 학습 모델(206)을 사용하여 결함 가시도를 예측하면 분석 시스템(102)은 소기의 예측 정확도 수준을 유지하면서 제조 환경의 변화를 다룰 수 있다. 다봉 기계 학습 모델(206)의 사용은 또한 단일 모델을 사용하여 예측을 수행하는 시스템에 비하여 모델 복잡성을 제어하고 계산력을 절약하는 데 도움을 줄 수 있다.
도 3은 본 발명의 한 실시예에 따라 훈련 모듈(106)이 실행하는 군집 분류기(204) 훈련 및 복수의 기계 학습 모델(206) 생성 방법(300)을 나타낸 흐름도이다. 이 방법의 단계들의 순서는 고정된 것이 아니고, 수정하거나, 순서를 바꾸거나, 다르게 수행하거나, 차례대로, 동시에 또는 일제히 수행하거나, 소기의 순서로 변경할 수 있다는 것을 당업자는 알 것이다.
블록(302)에서, 훈련 모듈(106)은 다변수 입력 데이터(X) 및 복수의 결함 값(Y)을 포함하는 입력 훈련 데이터 집합을 수신한다. 다변수 입력 데이터(X)는 복수의 입력 벡터(input vector) 형태일 수 있고, 복수의 결함 값(Y)은 결함 가시도일 수 있는데, 결함 가시도 각각은 입력 벡터(X) 중 하나에 대응한다. 본 발명의 한 실시예에 따르면, 각 결함 값(Y)은 소정 범위(보기: 1과 100 사이의 실수, 여기에서 1은 최저 결함 가시성, 100은 최고 결함 가시성) 내에 있는 숫자일 수 있다.
블록(304)에서, 훈련 모듈(106)은 결함 값(Y)에 기초하여 복수의 입력 벡터(X)에 대응하는 제1 군집 표지(보기: 초기 군집 표지)를 식별한다. 훈련 모듈(106)은 입력 벡터(X)를 관련 결함 값 분위(quantile)에 따라 군집 분류(clustering)할 수 있다. 예를 들면, 결함 값(Y)의 제1 분위에 대응하는 입력 벡터(X)에 군집 1이라는 표지를 붙일 수 있고, 결함 값(Y)의 제2 분위에 대응하는 입력 벡터(X)에 군집 2이라는 표지를 붙일 수 있고, 이런 식이다. 본 발명의 한 실시예에 따르면, 군집 표지는 자동 생성되는 번호, 예를 들면, 연속 번호(sequential numbers)일 수 있다. 제1 군집 표지는 입력 벡터(X)를 군집에 할당하는 초기 추정치로 쓰일 수 있으며, 입력 벡터(X)와 결함 값(Y) 사이 관계의 적정 분포 또는 봉(modality)을 꼭 나타내지는 않는다.
당업자라면 알겠지만, 본 발명의 실시예는 분위에 기초한 군집의 초기 할당에 국한되지 않으며, 입력 벡터(X)에 대하여 해당 결함 값(Y)에 기초하여 군집을 식별할 수 있는 어떠한 방법이라도 사용할 수 있다.
블록(306)에서, 훈련 모듈(106)은 입력 벡터(X) 및 대응 제1 군집(보기: 군집 1, 군집 2 등)에 기초하여 군집 분류기(204)를 훈련하여 입력 벡터(X)와 관련 군집 표지 사이의 관계를 학습시킨다. 군집 분류기(204)의 훈련은 지도 기계 학습 알고리즘(supervised machine learning algorithm), 예를 들어 분류 알고리즘을 통하여 이루어질 수 있다.
블록(308)에서, 훈련 모듈(106)은 입력 벡터(X)를 두 번째 군집 표지 집합에 재할당할 것인지를 결정한다. 입력 벡터(X)를 재할당하기로 결정하면, 블록(310)에서, 훈련 모듈(106)은 입력 벡터(X)가 제공된 군집 분류기(204)의 분류에 기초하여 입력 벡터(X)를 제2 군집 표지에 재할당한다. 예를 들면, 제1 입력 벡터에 대한 제1 군집 표지가 군집 1이지만, 군집 분류기(204)가 이를 군집 2로 분류한다면, 훈련 모듈(106)은 제1 입력 벡터를 군집 2에 재할당할 수 있다. 여기에서, 군집 분류기(204)를 입력 벡터(X) 및 이전 군집 표지(previous cluster label)(보기: 제1 군집 표지)로 훈련하더라도, 제1 군집 표지로 입력되었을 때 군집 분류기(204)가 출력에서 정확히 제1 군집 표지를 생성하지 않을 수 있다. 따라서, 제2 군집 표지가 군집 분류기(204)에 입력 벡터를 제공했을 때 군집 분류기의 출력이므로, 제2 군집 표지 각각은 제1 군집 표지 중 대응하는 것과 동일하거나 다를 수 있다.
블록(312)에서, 훈련 모듈(106)은 입력 벡터(X) 및 제2 군집 표지에 기초하여 군집 분류기(204)를 재훈련한다. 군집 분류기(204)의 재훈련은 지도 기계 학습 알고리즘, 예를 들어 분류 알고리즘을 통하여 이루어질 수 있다. 이 과정은 블록(308)으로 되돌아가서 훈련 모듈(106)은 입력 벡터(X)를 다른 군집 표지에 재할당할 것인지를 재판단한다. 입력 벡터(X)를 재할당하지 않기로 결정하면, 훈련 모듈(106)은 블록(314)에서 군집 표지 각각에 대한 기계 학습 모델을 훈련한다. 이렇게 할 때, 훈련 모듈(106)은 특정 군집 표지에 대응하는 입력 벡터(X)의 부분 집합 및 결함 값(Y)의 관련 부분 집합을 사용하여 그 특정 군집 표지에 대응하는 기계 학습 모델(206)을 생성한다.
본 발명의 한 실시예에 따르면, 입력 벡터(X)를 새 군집에 재할당할지를 결정할 때, 훈련 모듈(106)은 입력 벡터(X)가 재할당된 횟수의 카운트(count)를 유지한다. 카운트가 제1 문턱 값(보기: 100) 이하인 동안 훈련 모듈(106)은 입력 벡터(X)의 재할당을 계속한다. 본 발명의 한 실시예에 따르면, 제1 문턱 값은 1보다 크다. 카운트가 제1 문턱 값에 이르면, 훈련 모듈(106)은 입력 벡터(X)의 재할당을 중단한다. 따라서, 본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 제1 문턱 값(보기: 100 번)만큼 군집 분류기(204)를 재훈련할 수 있다. 본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 입력 벡터(X)의 총수에 대한 재할당 예정 입력 벡터(X)의 수의 비율을 제2 문턱 값과 비교함으로써 입력 벡터(X)를 다른 군집에 재할당할지를 결정한다. 그 비율이 제2 문턱 값보다 큰 동안은 훈련 모듈(106)은 계속해서 입력 벡터(X)를 재할당하고, 그 비율이 제2 문턱 값(보기: 1%)에 도달하거나 그 아래로 떨어지면 재할당을 중단한다. 달리 말하면, 본 발명의 한 실시예에 따르면, 제1 군집 표지와 제2 군집 표지의 수효 차이의 입력 벡터(X)의 총수(또는 제1/제2 군집 표지 내의 표지의 총수)에 대한 비율이 제2 문턱 값보다 크면 훈련 모듈(106)은 군집 분류기(204)를 재훈련한다. 입력 벡터(X)를 이전 할당 군집 표지에서 군집 분류기(204)가 그들이 속할 것이라고 예측하는 군집 표지로 반복적으로 재할당함으로써, 군집 분류기(204)가 생성한 군집 표지는 결국 입력 벡터(X)와 결함 값(Y) 사이 관계의 실제 군집/봉을 더 잘 나타내는 특정 값에 자리를 잡는다(또는 거의 자리를 잡는다). 이와 같이 함으로써 블록(314)에서 훈련 모듈(106)에 의한 강화된(enhanced) 회귀 모델링이 가능하며, 이에 따라 예측 결과가 향상될 수 있다.
본 발명의 한 실시예에 따르면, 훈련 모듈(106)이 실행하는 복수의 기계 학습 모델(206) 생성 과정은 나무 알고리즘(tree algorithm)으로 설명할 수 있는데, 입력 훈련 데이터 집합[보기: 입력 벡터(X), 결함 값(Y), 군집 표지]을 반복해서 조각 내고, 오차 분석에 의거하여, [나무의 왼쪽 잔가지(sub-branch)로 진행시킴으로써(traversing)] 조각난 데이터 집합에 레이블을 부여하거나, 아니면 [나무의 오른쪽 잔가지(sub-branch)로 진행시킴으로써(traversing)] 하나 이상의 새로운 중간 기본 회귀기[보기: 과정의 첫 번째 회차에서는 중간 회귀기, 또는 과정의 두 번째 회차에서는 중간 회귀기]를 적용하여 다시 오차 분석을 수행한다. 본 발명의 한 실시예에 따르면, 복잡한 구현을 제한하기 위하여 나무의 길이를 [예를 들어 훈련 모듈(106)이 결정하는 군집 표지의 총수로] 한정할 수 있다. 복수의 기계 학습 모델(206)을 생성하는 과정에 대해서는 2020년 12월 18일에 출원된 미국특허출원번호 제17/127,778호 (발명의 명칭: SYSTEM AND METHOD FOR PERFORMING TREE-BASED MULTIMODAL REGRESSION)에 상세하게 기재되어 있으며, 여기에 인용함으로써 이 출원의 전체 내용을 본원에 포함한다.
그러나 본 발명의 실시예는 이에 한정되기 않으며, 입력 벡터(X), 결함 값(Y) 및 군집 표지에 기초하여 기계 학습 모델(206)을 생성하는 적절한 알고리즘이라면 어떠한 것도 사용할 수 있다.
블록(316)에서, 처리기(101)는 훈련한 군집 분류기(204) 및 ` 복수의 기계 학습 모델(206)을 저장하여 나중에 추론 모델(108)이 사용할 수 있도록 한다.
도 4는 본 발명의 한 실시예에 따라 훈련 모듈(106)이 실행하는 군집 분류기(204) 훈련 및 복수의 기계 학습 모델(206) 생성 방법(400)을 나타낸 흐름도이다. 이 방법(400)은 블록(314-1) 및 블록(308-1)을 제외하면 도 3의 방법과 기본적으로 동일하다. 설명의 명료함을 위하여, (도 3과 도 4의) 방법(300)과 방법(400)에 공통인 구성 요소들에 대한 설명은 여기에서 반복하지 않을 것이다.
도 4를 참고하면, 본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 [블록(314-1)에서] 군집 표지 각각에 대해서 하나의 기계 학습 모델을 훈련하고 [블록(308-1)에서] 군집 표지를 재할당할 것인지를 검사한다. 이렇게 할 때, 훈련 모듈(106)은 제1 군집 표지 각각에 대해서 하나의 기계 학습 모델을 생성한다. 즉, 훈련 모듈(106)은 제1 군집 표지에 대응하는 입력 벡터(X)의 부분 집합 및 결함 값(Y)의 관련 부분 집합을 사용하여 제1 군집 표지에 대응하는 기계 학습 모델(206)을 생성한다. 그렇지 않으면, 기계 학습 모델의 생성 방법은 도 3을 참고하여 설명한 것과 같은 것이므로, 이에 대한 상세한 설명을 여기에서 반복하지 않는다.
본 발명의 한 실시예에 따르면, [블록(308-1)에서] 입력 벡터(X)를 다른 군집에 재할당할지를 결정할 때, 훈련 모듈(106)은 입력 벡터(X)가 재할당된 횟수의 카운트(count)를 유지한다. 카운트가 제1 문턱 값(보기: 100) 이하인 동안 훈련 모듈(106)은 입력 벡터(X)의 재할당을 계속한다. 본 발명의 한 실시예에 따르면, 제1 문턱 값은 1보다 크다. 카운트가 제1 문턱 값에 이르면, 훈련 모듈(106)은 입력 벡터(X)의 재할당을 중단한다. 본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 먼저 결함 값(Y)과 복수의 기계 학습 모델(206)에서 예측한 결함 값(Ypred)의 평균 백분율 절대 오차(MAPE: mean percentage absolute error)를 결정함으로써 입력 벡터(X)를 다른 군집에 재할당할 것인지를 결정한다. 회귀 오차를 나타내는 MAPE가 제2 문턱 값보다 크면, 훈련 모듈(106)은 입력 벡터(X)를 재할당하기로 결정하고, MAPE가 제2 문턱 값 이하이면, 재할당을 중단한다. 따라서, 회귀 오차가 소기 수준(보기: 제2 문턱 값)으로 떨어질 때까지 입력 벡터(X)를 계속해서 서로 다른 군집에 할당한다. 본 발명의 한 실시예에 따르면, 제2 문턱 값은 약 1% (오차)일 수 있다.
입력 벡터(X)를 군집에 할당하는 초기 할당에 비하여, 반복 할당법(iterative reassignment approach)은 더 적정한 분포를 달성하여 추론 모듈(108)이 결함 가시성 예측을 더 정확하게 할 수 있다. 다음의 [표 1]에 나타낸 바와 같이, 본 발명의 한 실시예에 따르면, [가우스 방법(Gaussians method)의 혼합(mixture)과 같은] 관련 기술의 입력 벡터(X) 군집 할당 방법에 비하여, 반복 할당은 평균 백분율 절대 오차를 개선하고(보기: 줄이고), 이에 따라 결함 가시도 예측이 더 정확해진다.
오차(MAPE) X-군집 분류 반복 군집 재할당
데이터 집합 1 8.08% 5.79%
데이터 집합 2 3.63% 2.49%
앞서 설명한 것과 같이, 본 발명의 한 실시예에 따르면, 분석 시스템(102)은 생산 환경에 따라 다변수 입력 데이터를 군집 분류함으로써 최종 회귀에 더 잘 맞는 모델을 사용할 수 있다. 본 발명의 한 실시예에 따르면, 분석 시스템(102)은 (1) 입출력 공간 내 군집 분류, 그리고 (2) 결함 가시성 예측 능력을 향상해 주는 적절한 군집 분류에 시스템이 자리잡거나 거의 자리잡을 때까지 분류가 어려운 입력 벡터들을 서로 다른 군집에 반복적으로 재할당함으로 인하여 서로 다른 군집들에 대하여 더 적정한 분포를 찾아낸다.
본 발명의 한 실시예에 따르면, 앞에서 설명한 여러 가지 모듈과 엔진은 하나 이상의 처리기로 구현될 수 있다. 처리기는 하나 이상의 처리기 및/또는 처리 코어를 뜻할 수 있다. 하나 이상의 처리기는 하나의 장치에 포함되거나 여러 장치(보기: 클라우드 시스템 내)에 분산될 수 있다. 처리기는 예를 들면, 응용 주문형 집적 회로(ASIC), 범용 또는 전용 중앙 처리 장치(CPU), 디지털 신호 처리기(DSP), 그래픽 처리 장치(GPU), FPGA 등의 프로그램가능 논리 장치를 포함할 수 있다. 처리기에서 각각의 함수는 그 기능을 수행하는 유선 하드웨어 또는 비순간(non-transitory) 저장 매체(보기: 메모리)에 저장된 명령을 수행하는 CPU 등의 범용 하드웨어로 수행될 수 있다. 처리기는 하나의 인쇄 회로 기판(PCB)에 제작되거나 서로 연결된 PCB에 분산 배치될 수 있다. 처리기는 다른 처리 회로를 포함할 수 있는데, 예를 들면 PCB 상에서 서로 연결된 FPGA와 CPU를 포함할 수 있다.
"제1", "제2", "제3" 등의 용어를 여러 가지 원소, 성분, 영역, 층, 부분 등에 사용하지만, 이들은 이런 수식어에 의하여 한정되지 않는다. 이러한 용어는 어떤 원소, 성분, 영역, 층, 부분을 다른 원소, 성분, 영역, 층, 부분과 구별하기 위하여 사용하는 것이며 본 발명의 취지와 범위를 벗어나지 않는다.
여기에서 사용된 용어는 특정 실시예를 설명할 목적으로 사용할 뿐이며 본 발명을 제한하고자 하는 것은 아니다. 여기에서 "실질적으로", "약", "대체로" 및 이와 비슷한 표현은 근사를 나타내는 표현일 뿐 "정도"를 나타내는 것이 아니며, 당업자가 알 수 있는 측정값 또는 계산 값의 고유 오차를 나타내는 데 사용한다.
여기에서 수를 특별히 언급하지 않으면 단수 또는 복수의 경우를 모두 포함한다. 어떤 특징, 단계, 동작, 부분, 성분 등을 "포함"한다는 표현은 해당 부분 외에 다른 특징, 단계, 동작, 부분, 성분 등도 포함할 수 있다는 것을 의미한다. "및/또는"이라는 표현은 나열된 것들 중 하나 또는 둘 이상의 모든 조합을 포함한다. 나열 목록 앞에 기재한 "적어도 하나" 등의 표현은 목록 전체를 수식하는 것이지 목록 내의 각각의 것을 수식하는 것은 아니다. 또한, 본 발명의 실시예를 설명할 때 사용하는 "수 있다"는 표현은 "본 발명의 하나 이상의 실시예"에 적용 가능하다는 것을 뜻한다. "예시적인"이라는 용어는 예 또는 도면을 나타낸다. "사용", "이용" 등은 이와 유사한 다른 표현과 함께 비슷한 의미로 사용될 수 있다.
여기에 기재한 수치 범위는 해당 범위 안에 포함되는 동일한 정확도의 모든 부분 범위(sub-range)를 포함한다. 예를 들면, "1.0 내지 10.0"의 범위는 최소값 1.0과 최대값 10.0 및 그 사이에 있는 모든 부분 범위, 즉, 1.0 이상의 최소값과 10.0 이하의 최대값을 가지는 부분 범위, 예를 들면 2.4 내지 7.6을 포함한다. 여기에서 언급한 최대값은 그 안에 포함되고 그보다 작은 모든 수치 한계를 포함하고, 본 명세서에 기재한 최소값은 그 안에 포함되고 그보다 큰 모든 수치 한계를 포함한다.
이상에서 제조 결함 수준 감지 시스템 및 방법의 실시예에 대하여 설명 및 도시하였지만, 당업자라면 이러한 실시예를 변경 및 수정할 수도 있다. 따라서 여기에서 제시한 원리에 따라 구성된 다른 제조 결함 수준 감지 시스템 및 방법도 본 발명에 포함된다. 본 발명은 다음의 청구범위 및 그 등가물에 의하여 정의된다.
100: 데이터 수집 회로
101: 처리 장치/처리기
102: 분석 시스템
103: 메모리
104: 장비/공정 제어기
106: 훈련 모듈
108: 추론 모듈
204: 군집 분류기
206: 기계 학습 모델/군집 회귀기

Claims (10)

  1. 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 시스템을 훈련하는 방법으로서,
    상기 시스템의 처리기(processor)에 의하여, 복수의 입력 벡터(input vector) 및 상기 입력 벡터에 대응하는 복수의 결함 값(defect value)을 수신하는 단계,
    상기 처리기에 의하여, 상기 결함 값에 기초하여 상기 복수의 입력 벡터에 대응하는 복수의 제1 군집 표지(cluster label)를 식별하는 단계,
    상기 처리기에 의하여, 상기 입력 벡터 및 상기 대응하는 제1 군집 표지에 기초하여 군집 분류기를 훈련하는 단계,
    상기 처리기에 의하여, 상기 군집 분류기의 출력에 기초하여 상기 입력 벡터를 복수의 제2 군집 표지에 재할당하는 단계,
    상기 처리기에 의하여, 상기 입력 벡터 및 상기 제2 군집 표지에 기초하여 상기 군집 분류기를 재훈련하는 단계, 그리고
    상기 처리기에 의하여, 상기 제2 군집 표지에 대응하는 복수의 기계 학습 모델을 훈련하는 단계
    를 포함하는 방법.
  2. 제1항에서,
    상기 복수의 제1 군집 표지를 식별하는 단계는,
    상기 복수의 입력 벡터 각각 및 상기 복수의 결함 값 중 대응하는 결함 값에 대하여,
    상기 대응 결함 값에 대응하는 결함 값 분위(quantile)를 식별하는 단계, 그리고
    상기 대응 결함 값 분위에 기초하여 상기 각 입력 벡터를 상기 복수의 제1 군집 표지 중 하나의 군집 표지에 할당하는 단계
    를 포함하는 방법.
  3. 제1항에서,
    상기 입력 벡터는 상기 생산 과정으로부터의 흔적 데이터(trace data)를 포함하는 방법.
  4. 제3항에서,
    상기 흔적 데이터는 상기 생산 과정에서 사용된 복수의 감지기로부터의 다변수 감지기 데이터를 포함하는 방법.
  5. 제3항에서,
    상기 결함 값은 상기 흔적 데이터에 대응하는 상기 생산 과정의 제품의 결함 가시성 값을 포함하는 방법.
  6. 제1항에서,
    상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하는 단계는,
    상기 입력 벡터를 상기 군집 분류기에 입력하는 단계,
    상기 입력 벡터의 입력에 응답하여 상기 군집 분류기로부터의 상기 복수의 제2 군집 표지를 출력으로서 수신하는 단계, 그리고
    상기 입력 벡터를 상기 복수의 제2 군집 표지 중 대응하는 제2 군집 표지에 할당하는 단계
    를 포함하는 방법.
  7. 제1항에서,
    상기 처리기에 의하여, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계를 더 포함하며,
    상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계는,
    입력 벡터 할당 수의 카운트를 유지하고,
    상기 카운트가 문턱 값 이하인 것으로 판단하고,
    상기 입력 벡터를 재할당하기로 결정함으로써
    이루어지는
    방법.
  8. 제1항에서,
    상기 처리기에 의하여, 상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계를 더 포함하며,
    상기 입력 벡터를 상기 복수의 제2 군집 표지에 재할당하기로 결정하는 단계는,
    상기 제1 군집 표지 중 대응하는 제1 군집 표지가 상기 제2 군집 표지 중 대응하는 제2 군집 표지와 다른 입력 벡터 재할당 횟수를 결정하고,
    상기 입력 벡터의 총수에 대한 상기 재할당 횟수의 비율을 계산하고,
    상기 비율이 문턱 값보다 크다고 판단하고,
    상기 입력 벡터를 재할당하기로 결정함으로써
    이루어지는
    방법.
  9. 제1항에서,
    상기 군집 분류기를 훈련하는 단계는,
    상기 처리기에 의하여, 상기 입력 벡터 및 상기 대응하는 제1 군집 표지를 상기 군집 분류기에 훈련 데이터로서 입력하는 단계, 그리고
    상기 처리기에 의하여, 상기 군집 분류기를 훈련하여 지도 기계 학습 알고리즘(supervised machine learning algorithm)을 사용하여 상기 입력 벡터에 주어지는 상기 제1 군집 표지를 식별하는 단계
    를 포함하는 방법.
  10. 제1항에서,
    상기 군집 분류기를 재훈련하는 단계는,
    상기 처리기에 의하여, 상기 입력 벡터 및 상기 대응하는 제2 군집 표지를 상기 군집 분류기에 훈련 데이터로서 입력하는 단계, 그리고
    상기 처리기에 의하여, 상기 군집 분류기를 훈련하여 지도 기계 학습 알고리즘(supervised machine learning algorithm)을 사용하여 상기 입력 벡터에 주어지는 상기 제2 군집 표지를 식별하는 단계
    를 포함하는 방법.
KR1020220050286A 2021-04-23 2022-04-22 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법 KR20220147036A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163179117P 2021-04-23 2021-04-23
US63/179,117 2021-04-23
US17/327,618 US20220343210A1 (en) 2021-04-23 2021-05-21 System and method for reassignment clustering for defect visibility regression
US17/327,618 2021-05-21

Publications (1)

Publication Number Publication Date
KR20220147036A true KR20220147036A (ko) 2022-11-02

Family

ID=81326974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220050286A KR20220147036A (ko) 2021-04-23 2022-04-22 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법

Country Status (4)

Country Link
US (1) US20220343210A1 (ko)
EP (1) EP4080421A1 (ko)
KR (1) KR20220147036A (ko)
CN (1) CN115329827A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176281B2 (en) * 2018-10-08 2021-11-16 Micron Technology, Inc. Security managers and methods for implementing security protocols in a reconfigurable fabric

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455570B2 (en) * 2019-01-15 2022-09-27 Ebay Inc. Machine learning-based infrastructure anomaly and incident detection using multi-dimensional machine metrics
KR20200137219A (ko) * 2019-05-29 2020-12-09 삼성에스디에스 주식회사 비지도 학습 기반 웨이퍼 불량 패턴 검출 방법 및 그 장치

Also Published As

Publication number Publication date
EP4080421A1 (en) 2022-10-26
CN115329827A (zh) 2022-11-11
US20220343210A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
US11599803B2 (en) Soldering process parameter suggestion method and system thereof
Hsu et al. Multiple time-series convolutional neural network for fault detection and diagnosis and empirical study in semiconductor manufacturing
Zhou et al. A tool condition monitoring method based on two-layer angle kernel extreme learning machine and binary differential evolution for milling
Jiang et al. A novel framework for semiconductor manufacturing final test yield classification using machine learning techniques
WO2002031613A9 (en) System and method for monitoring process quality control
JP2020198092A (ja) 教師なし異常検出及び高次元センサデータの多数決投票による原因説明のための方法及びシステム
CN111665066B (zh) 基于卷积神经网络的设备故障自适应上下预警界生成方法
CN116453438B (zh) 一种显示屏参数检测方法、装置、设备及存储介质
CN106815639A (zh) 流数据的异常点检测方法及装置
JP2023515015A (ja) 製造プロセスのためのシステム、方法、及び媒体
Stoyanov et al. Predictive analytics methodology for smart qualification testing of electronic components
KR20220147036A (ko) 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법
CN114139589A (zh) 故障诊断方法、装置、设备与计算机可读存储介质
KR20010033059A (ko) 처리 장치의 모니터링 방법
Prisacaru et al. Degradation prediction of electronic packages using machine learning
Lee et al. A new intelligent SOFM-based sampling plan for advanced process control
JP2009070834A (ja) 基板分類方法および装置、異常設備推定方法および装置、基板分類方法または異常設備推定方法をコンピュータに実行させるためのプログラム、並びに上記プログラムを記録したコンピュータ読み取り可能な記録媒体
KR102567843B1 (ko) 다층 박막 구조물의 두께 분석 시스템 및 방법
CN117951646A (zh) 一种基于边缘云的数据融合方法及系统
KR20220038269A (ko) 제조 과정을 통하여 제조되는 제품과 관련한 예측을 수행하는 방법
CN112711912A (zh) 基于云计算和机器学习算法的空气质量监测与告警方法、系统、装置和介质
KR20220167247A (ko) 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법
US11469122B2 (en) Semiconductor process analysis device, semiconductor process analysis method, and storage medium
TWI801820B (zh) 用於製造流程之系統及方法
CN107067034A (zh) 一种快速识别红外光谱数据分类的方法及系统