KR20220167247A - 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법 - Google Patents

생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법 Download PDF

Info

Publication number
KR20220167247A
KR20220167247A KR1020220070997A KR20220070997A KR20220167247A KR 20220167247 A KR20220167247 A KR 20220167247A KR 1020220070997 A KR1020220070997 A KR 1020220070997A KR 20220070997 A KR20220070997 A KR 20220070997A KR 20220167247 A KR20220167247 A KR 20220167247A
Authority
KR
South Korea
Prior art keywords
machine learning
input
processor
time
time period
Prior art date
Application number
KR1020220070997A
Other languages
English (en)
Inventor
이장환
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20220167247A publication Critical patent/KR20220167247A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32194—Quality prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

본 발명의 한 실시예에 따른 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 방법은, 처리기에 의하여, 복수의 출력 값 및 복수의 시구간과 관련된 복수의 입력 벡터를 수신하는 단계 상기 처리기에 의하여, 상기 입력 벡터와 관련된 상기 시구간에 기초하여 상기 복수의 입력 벡터를 군집 분류(clustering)하는 단계 상기 처리기에 의하여, 상기 복수의 시구간 각각에 대하여 기계 학습 모델을 훈련하는 단계, 그리고 상기 처리기에 의하여, 하나의 제품에 대하여 수신한 입력 데이터에 대하여 상기 복수의 시구간 중 하나를 선택하기 위하여 분류기를 훈련하는 단계를 포함하며 상기 기계 학습 모델의 훈련은 상기 시구간과 관련된 상기 입력 벡터 및 상기 입력 벡터와 관련된 상기 출력 값에 기초하고 상기 분류기가 선택한 상기 시구간과 관련된 상기 기계 학습 모델을 적용하여 상기 입력 데이터에 기초하여 출력을 예측한다.

Description

생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법 {METHOD OF PERFORMING PREDICTION RELATING TO PRODUCTS MANUFACTURED VIA MANUFACTURING PROCESS}
본 발명은 제품 관련 예측 수행 방법으로서, 더욱 상세하게는, 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 방법에 관한 것이다.
본 출원은 2021년 6월 1일에 미국 특허청에 출원한 미국 특허출원번호 제63/209,268호(발명의 명칭: CONCEPT INTERVALS CLUSTERING FOR DEFECT VISIBILITY REGRESSION)를 우선권 주장하며, 여기에 인용함으로써 이 출원의 전체 내용을 본원에 포함한다.
본 출원은 또한 2021년 5월 21일에 미국 특허청에 출원한 미국 특허출원번호 제17/327,618호(발명의 명칭: SYSTEM AND METHOD FOR REASSIGNMENT CLUSTERING FOR DEFECT VISIBILITY REGRESSION)와 관련 있으며, 여기에 인용함으로써 이 출원의 전체 내용을 본원에 포함한다.
근년 모바일 표시 장치 산업이 급격하게 성장하고 있다. 새로운 유형의 표시 패널과 제조 방법 및 공정이 사용되고 제품 사양이 엄격해짐에 따라 품질을 유지하기 위한 장비의 개량과 품질 관리 방법이 필요하다. 예를 들면, 서로 다른 수준의 제조 결함을 감지하기 위한 척도를 마련할 필요가 있다.
앞에 설명한 정보는 본 발명의 배경 기술에 대한 이해를 높이기 위한 것일 뿐이므로, 종래 기술이 아닌 정보가 포함될 수도 있다.
본 발명이 해결하고자 하는 과제는 생산 환경의 변화에 따른 결함 예측 정확도의 하락을 방지할 수 있는 방법 및 시스템을 제공하는 것이다.
본 발명의 한 실시예에 따른 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 방법은, 처리기에 의하여, 복수의 출력 값 및 복수의 시구간과 관련된 복수의 입력 벡터를 수신하는 단계 상기 처리기에 의하여, 상기 입력 벡터와 관련된 상기 시구간에 기초하여 상기 복수의 입력 벡터를 군집 분류(clustering)하는 단계 상기 처리기에 의하여, 상기 복수의 시구간 각각에 대하여 기계 학습 모델을 훈련하는 단계, 그리고 상기 처리기에 의하여, 하나의 제품에 대하여 수신한 입력 데이터에 대하여 상기 복수의 시구간 중 하나를 선택하기 위하여 분류기를 훈련하는 단계를 포함하며 상기 기계 학습 모델의 훈련은 상기 시구간과 관련된 상기 입력 벡터 및 상기 입력 벡터와 관련된 상기 출력 값에 기초하고 상기 분류기가 선택한 상기 시구간과 관련된 상기 기계 학습 모델을 적용하여 상기 입력 데이터에 기초하여 출력을 예측한다.
본 발명의 한 실시예에 따르면, 상기 복수의 입력 벡터 중 하나는 상기 제품 중 하나와 관련된 흔적 데이터에서 추출된 특징을 포함하며 상기 복수의 출력 값 중 하나는 상기 흔적 데이터에 있는 결함 수준을 나타낼 수 있다.
본 발명의 한 실시예에 따르면, 상기 복수의 입력 벡터 중 하나에 관련된 상기 시구간은 상기 흔적 데이터가 수집된 시간에 대응할 수 있다.
본 발명의 한 실시예에 따르면, 상기 시구간은 시점 및 종점이 있는 유계(bounded) 시구간일 수 있다.
본 발명의 한 실시예에 따르면, 상기 복수의 시구간 중 제1 시구간은 상기 제1 시구간과 관련된 상기 입력 벡터의 대응 출력 값에 대한 제1 관계를 유지하고 상기 복수의 시구간 중 제2 시구간은 상기 제2 시구간과 관련된 상기 입력 벡터의 대응 출력 값에 대한 제2 관계를 유지하며 상기 제1 관계는 상기 제2 관계와 다를 수 있다.
본 발명의 한 실시예에 따르면, 상기 제1 시구간과 관련된 상기 기계 학습 모델은 상기 제1 관계에 기초하여 훈련하고 상기 제2 시구간과 관련된 상기 기계 학습 모델은 상기 제2 관계에 기초하여 훈련할 수 있다.
본 발명의 한 실시예에 따르면, 상기 제1 관계는 상기 제2 관계와 다른 것은 모델 변동(model drift)으로 인한 것일 수 있다.
본 발명의 한 실시예에 따르면, 상기 복수의 시구간 각각은 하나의 표지(label)로 식별하고 상기 분류기는 상기 입력 데이터의 특징에 기초하여 상기 시구간의 표지를 출력하도록 훈련할 수 있다.
본 발명의 한 실시예에 따르면, 상기 기계 학습 모델은 상기 제품의 결함 가시도를 예측하기 위한 회귀 모델일 수 있다.
본 발명의 한 실시예에 따른 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 방법은, 처리기에 의하여, 입력 데이터를 수신하는 단계 상기 처리기에 의하여, 입력 데이터의 특징에 기초하여 시구간을 예측하는 단계 상기 처리기에 의하여, 상기 처리기가 예측한 상기 시구간에 기초하여 복수의 기계 학습 모델 중 하나를 식별하는 단계, 그리고 상기 처리기에 의하여, 상기 기계 학습 모델 중 하나를 적용하여 상기 입력 데이터에 기초하여 출력을 생성하는 단계를 포함한다.
본 발명의 한 실시예에 따르면, 상기 예측한 시구간은 상기 입력 데이터가 수집된 예측 시간일 수 있다.
본 발명의 한 실시예에 따르면, 상기 복수의 기계 학습 모델은 서로 다른 시구간과 관련될 수 있다.
본 발명의 한 실시예에 따르면, 상기 기계 학습 모델은 출력 값에 대한 입력 벡터의 관계에 기초하여 훈련하며 상기 관계는 상기 시구간에 따라 달라질 수 있다.
본 발명의 한 실시예에 따른 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 시스템은, 처리기(processor), 그리고 명령을 포함하는 메모리를 포함하며 상기 처리기가 상기 명령을 실행하면, 상기 처리기는 상기 입력 벡터와 관련된 상기 시구간에 기초하여 상기 복수의 입력 벡터를 군집 분류(clustering)하고 상기 복수의 시구간 각각에 대하여 기계 학습 모델을 훈련하고 하나의 제품에 대하여 수신한 입력 데이터에 대하여 상기 복수의 시구간 중 하나를 선택하기 위하여 분류기를 훈련하며 상기 기계 학습 모델의 훈련은 상기 시구간과 관련된 상기 입력 벡터 및 상기 입력 벡터와 관련된 상기 출력 값에 기초하고 상기 분류기가 선택한 상기 시구간과 관련된 상기 기계 학습 모델을 적용하여 상기 입력 데이터에 기초하여 출력을 예측한다.
생산 과정을 통하여 생산한 제품과 관련된 예측을 수행하는 청구범위의 시스템 및 방법이 입력 벡터와 출력 값 사이의 변화를 일으키는 생산 환경의 변화에 대처하는 데 도움이 될 것이라는 것을 당업자라면 알 수 있다.
본 발명의 실시예의 이러한, 그리고 다른 특징들, 측면 및 이점은 다음에 나오는 상세한 설명, 청구범위 및 도면을 보면 충분히 이해할 수 있을 것이다. 물론, 본 발명의 실제 범위는 청구범위에 의하여 정의된다.
이와 같이 함으로써 생산 환경의 변화에 따른 결함 예측 정확도의 하락을 방지할 수 있다.
도 1은 본 발명의 한 실시예에 따른 제조 방법을 통하여 제조한 제품과 관련된 예측을 수행하는 시스템의 블록도이다.
도 2a는 종래 기술을 사용하여 수행한 예측의 성능 하락의 첫 번째 예를 보여주는 그래프이다.
도 2b는 종래 기술을 사용하여 수행한 예측의 성능 하락의 두 번째 예를 보여주는 그래프이다.
도 2c는 종래 기술을 사용하여 수행한 예측의 성능 하락의 세 번째 예를 보여주는 그래프이다.
도 3은 본 발명의 한 실시예에 따른 훈련 데이터베이스 및 서로 다른 시구간에 대해서 훈련한 기계 학습 모델의 블록도이다.
도 4는 본 발명의 한 실시예에 따른 기간 분류기의 블록도이다.
도 5는 본 발명의 한 실시예에 따른 제품 관련 결함 가시도 예측을 위한 훈련한 기간 분류기 및 기간 기계 학습 모델의 블록도이다.
도 6은 본 발명의 한 실시예에 따른 제품 관련 결함 가시도 예측 시스템을 훈련하는 방법을 나타낸 흐름도이다.
도 7은 본 발명의 한 실시예에 따른 제품 관련 결함 가시도 예측 방법을 나타낸 흐름도이다.
이제 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 이러한 실시예를 제공함으로써 발명의 상세한 설명이 완전하고 풍부해질 것이며 발명의 여러 측면과 특징을 당업자에게 충분히 보여준다. 따라서, 당업자가 본 발명의 다양한 측면과 특징을 완전하게 이해하는 데 필요하지 않은 과정, 장치, 기술 등은 설명을 생략한다. 별다른 설명이 없는 한, 도면과 명세서 전체를 통틀어 동일한 도면 부호는 동일한 구성요소를 가리키며, 이에 따라 설명을 반복하지 않는다. 또한, 도면에서 부분, 층, 영역 등은 명료한 이해를 위하여 과장되거나 단순화될 수 있다.
모바일 표시 장치 생산 과정 등의 생산 과정에서 모바일 표시 장치 제품을 생산하는 동안 디지털 흔적 데이터(digital trace data)를 얻을 수 있다. 모바일 표시 장치 제품을 예로 들었지만, 본 발명의 실시예는 다른 유리 제품 및 유리가 아닌 제품, 예를 들면 반도체 웨이퍼, 표시 장치용 유리, 폴리이미드(polyimide) 기판 등을 생산하는 공정에도 적용될 수 있다는 것을 당업자가 알아야 한다.
흔적 데이터는, 예를 들어 생산 과정에서 제품을 운반하는 컨베이어 위에 위치한 하나 이상의 감지기를 통하여 수집할 수 있다. 감지기는 감지한 움직임(activity)을 흔적 데이터로서 기록한다. 감지기는, 예를 들어 생산 과정에서 시간에 따른 온도와 압력의 측정치를 탐지하는 복수의 온도 및 압력 감지기일 수 있다. 각 감지기는 여러 번 [예를 들어, 복수의 유리 기판(glass)을 제작하는 시간 동안 각각의 기판을 점검하기 위하여 매초 또는 수 초마다] 샘플링될 수 있다. 흔적 데이터는 또한 예를 들어 분광기 영상(spectroscopy image), 현미경 영상(microscopy image), 열상(thermal image) 및/또는 그 비슷한 영상을 포함할 수 있다.
흔적 데이터를 분석하여 특정한 제조 결함이 생기는 조건을 알 수 있다. 기계 학습(ML: machine learning)을 사용하여 흔적 데이터를 분석하고 출력[보기: 생산 제품에 있는 결함의 가시도(visibility level)]을 예측할 수 있다. 이 예에서, 종래의 기계 학습은 회귀(regression) 기법을 적용하여 입력 변수(X 변수) 집합을 연속 값인(continuous-valued) 출력 변수(y 변수)로 사상(寫像, mapping)할 수 있다.
종래 회귀 기법의 한 문제는 입력 변수, 그리고 입력 변수와 출력 변수의 관계가 통계적이라고 가정한다는 것이다. 그러나 실제로는 데이터가 시간에 따라 진화할 수 있다. 입력 변수와 출력 변수의 관계 또한 시간에 따라 진화할 수 있다. 따라서 과거에 훈련한 기계 학습 모델의 예측 정확도가 시간이 지남에 따라 떨어질 수 있다. 입력 변수 및/또는 입력 변수와 출력 변수의 관계에 나타나는 변화를 묶어서 모델 변동(model drift)이라고 할 수 있다.
표시 장치 생산 환경에서, 생산 조건이 변하면 모델 변동이 발생할 수 있다. 예를 들면, 온도 감지기가 생산된 표시 장치 제품에 가까이 또는 더 멀리 이동할 수 있으며, 이로 인하여 온도 값(x 입력)과 불량 여부 예측(y 출력) 사이의 사상이 달라질 수 있다. 생산 조건의 다른 변화도 고려한다. 따라서, 기계 학습을 사용하여 제조 결함을 예측하며, 서로 다른 기계 학습 모델을 제공하여 시간이 지남에 따라 나타날 수 있는 모델 변동을 해결할 수 있는 시스템 및 방법이 필요하다.
일반적으로 본 발명의 실시예는 제조 과정의 결함 정도/수준(degree/level)[결함 가시도(defect visibility level)라고도 함]을 예측하기 위하여 제조 공정의 흔적 데이터를 분석하는 것이다. 제조 공정에 결함이 있으면 제조 부품에도 결함/불량이 생길 수 있다. 제조 공정의 잠재적인 결함을 식별하는 것은 공정의 품질 관리를 개선하고, 제조 비용을 낮추며/낮추거나 장비 가동 시간을 개선하는 데 도움을 줄 수 있다.
본 발명의 한 실시예에 따르면, 흔적 데이터는 오랜 시간에 걸쳐 하나 이상의 감지기에 의하여 생성된다. 흔적 데이터는 개념 구간 분석 시스템(concept interval analysis)에 제공되어 결함 가시도 예측에 사용된다. 본 발명의 한 실시예에 따르면, 입력 흔적 데이터는 복수의 감지기에 의하여 다변수(multivariate) 입력 데이터로 제공된다.
본 발명의 한 실시예에 따르면, 분석 시스템은 시간이 흐름에 따라 생길 수 있는 생산 환경 변화를 다루며, 이러한 환경 변화는 기계 학습 모델이 입력 데이터(보기: 흔적 데이터)를 출력 데이터(보기: 예측 결함 가시도)로 사상하는 데 사용하는 관계를 바꿀 수 있다. 본 발명의 한 실시예에 따르면, 분석 시스템은 입력 데이터와 출력 데이터 사이에 단일 관계(singular relation)[개념(concept)이라고 함]가 유지되는 시구간(time interval)을 식별하고, 그 시구간을 개념 구간(concept interval) 또는 기간(era)으로 설정한다. 앞으로, 시구간, 개념 구간 및 기간이라는 용어는 서로 바꿔 쓰기도 한다. 분석 시스템은 미리 설정한 수의 그러한 시구간을 식별할 수 있다. 본 발명의 한 실시예에 따르면, 각 시구간은 시점(start point)[보기: 개시일(start date)] 및 종점(end point)[보기: 종료일(end date)]이 있는 유계(bounded) 시구간일 수 있다. 시구간들의 지속 시간(duration)/범위(range)는 동일할 수도 있고 서로 다를 수도 있다. 지속 시간/범위는 단일 개념/관계가 유지되는 시간의 길이에 따라 달라진다.
본 발명의 한 실시예에 따르면, 분석 시스템은 각 개념 구간에 대하여, 그 구간 동안 유지되는 출력에 대한 입력의 단일 관계에 기초하여, 별개의 기계 학습 모델[보기: 결함 가시성 회귀(defect visibility regressor)]을 훈련한다. 이 예에서, 분석 시스템은 개념 구간과 관련된 입력 데이터를, 해당하는 기간 군집(era cluster)으로 군집 분류(clustering)한다. 본 발명의 한 실시예에 따르면, 입력 데이터가 개념 구간의 시간 동안 생성되었다면, 그 데이터는 그 개념 구간과 관련 있다. 각 기간 군집에 있는 입력 데이터는 관련 출력 값과 함께 그 기간에 대한 기계 학습 모델을 훈련하는 데 사용될 수 있다.
본 발명의 한 실시예에 따르면, 분석 시스템은 입력 데이터가 속하는 기간을 예측하기 위하여 훈련하는 기간 분류기(era classifier)를 포함한다. 다양한 기간과 관련 기계 학습 모델은 기간 표지(era label)를 사용하여 식별할 수 있다. 기간 분류기가 출력하는 기간 표지를 사용하여 관련 기간에 대하여 훈련한 복수의 기계 학습 모델 중 하나를 선택할 수 있다. 이러한 방식으로, 한 제품과 관련된 어떠한 입력 데이터 집합이라도 그 입력 데이터가 속하는 기간의 분류를 위하여 분석 시스템에 제공될 수 있다. 기간을 식별한 다음에는, 그 기간에 대한 기계 학습 모델을 적용하여 입력 데이터와 관련된 제품의 결함 가시도를 예측할 수 있다. 이러한 방식으로, 최소화된 회귀 오차로 결함 가시도를 추론할 수 있다.
도 1은 본 발명의 한 실시예에 따른 제조 방법을 통하여 제조한 제품과 관련된 예측을 수행하는 시스템의 블록도이다.
도 1을 참고하면, 이 시스템은 하나 이상의 데이터 수집 회로(data collection circuit)(100), 분석 시스템(analysis system)(102) 및 하나 이상의 장비/공정 제어기(equipment/process controller)(104)를 포함한다. 데이터 수집 회로(100)는 예를 들어, 감지기, 증폭기 및/또는 아날로그-디지털 변환기를 포함할 수 있으며, 제조 과정에서 흔적 데이터를 수집한다. 감지기는 예를 들어 생산 과정에서 제품을 운반하는 컨베이어 벨트 위에 위치할 수 있다. 감지기는 흔적 데이터 등 감지한 움직임을 기록할 수 있다. 예를 들면, 감지기는 제조 공정에서의 온도와 압력을 시간의 함수로 측정하는 복수의 온도 및 압력 감지기일 수 있다. 각 감지기는 여러 번[보기: 복수의 유리 (기판) 제조 시간 동안 각 유리를 검사하기 위하여 매초 또는 몇 초마다] 샘플링될 수 있다. 흔적 데이터는 또한 예를 들어 분광기 영상, 현미경 영상, 열상 및/또는 그 비슷한 영상을 포함할 수 있다.
분석 시스템(102)은 훈련 모듈(training module)(106) 및 추론 모듈(inference module)(108)을 포함할 수 있다. 도 1에서 훈련 및 추론 모듈(106, 108)을 별개의 기능 단위로 도시하였지만, 당업자라면 본 발명의 취지와 범위를 벗어나지 않고 두 모듈의 기능을 하나의 모듈로 결합 또는 통합하거나, 하부 모듈들로 더 분할할 수 있음을 알 수 있다. 예를 들면, 본 발명의 한 실시예에서는, 훈련 모듈(106)은 하나 이상의 처리 장치(processing units)[처리기(processor)라고도 함](101) 및 이와 연결된 메모리(103)에 대응할 수 있다. 추론 모듈(108)은 훈련 모듈(106)과 동일한 하나 이상의 처리 장치에 대응하거나, 훈련 모듈(106)과 다른 하나 이상의 처리 장치에 대응할 수 있다. 처리 장치의 예로는 CPU(central processor unit), GPU(graphics processor unit), ASIC(application specific integrated circuit). FPGA(field programmable gate array) 등이 있다.
훈련 모듈(106)은 추론 모듈(108)이 사용할 복수의 기계 학습 모델을 생성하고 훈련할 수 있다. 복수의 기계 학습 모델의 생성 및 훈련은 데이터 수집 회로(100)가 제공하는 훈련 데이터에 기초할 수 있다.
본 발명의 한 실시예에 따르면, 훈련 데이터는, 데이터 수집 회로(100)가 서로 다른 시구간에서 생성한 흔적 데이터, 그 흔적 데이터가 생성된 시구간에 대한 정보, 그리고 그 흔적 데이터와 관련 있는 결함 수준을 나타내는 관련 출력 값을 포함한다. 본 발명의 한 실시예에 따르면, 흔적 데이터에서 추출한 특징(feature)을 입력 벡터(input vector)로서 훈련 모듈(106)에 제공한다. 훈련 모듈(106)은 흔적 데이터가 생성된 시구간에 기초하여 입력 벡터를 서로 다른 개념 구간(period)으로 군집 분류할 수 있다. 각 개념 구간은 그 개념 구간의 시작과 끝을 정의하는 구간 경계(bound)와 관련될 수 있다. 각 개념 구간은 기간 표지/ID로 표시할 수 있다.
본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 입력 벡터 및 해당 구간으로 군집 분류된 관련 출력 값을 사용하여 각 개념 구간에 대한 기계 학습 모델을 훈련한다. 기계 학습 모델은 예를 들어 결함 가시도를 위한 회귀 모델일 수 있다. 훈련하는 기계 학습 모델은 기계 학습 모델이 속하는 개념 구간의 기간 표지와 관련될 수 있다.
본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 기간 분류기를 훈련하여 수신 입력 데이터에 대한 기간을 식별할 수 있다. 이 예에서, 한 기간으로 군집 분류된 입력 벡터 및 해당 기간 표지를 훈련 모듈(106)에 제공하여, 기간 분류기를 훈련하여 수신 입력이 속하는 기간을 분류하도록 한다.
추론 모듈(108)은 추론 단계에서 데이터 수집 회로(100)가 제공한 제품과 관련된 입력 데이터(보기: 흔적 데이터)에 기초하여 결함 가시도를 예측할 수 있다. 이 예에서, 추론 모듈(108)은 훈련한 기간 분류기가 입력 데이터가 속하는 기간을 식별하도록 할 수 있다. 식별된 기간의 기간 표지를 사용하여 식별된 개념 구간에 대해서 훈련한 기계 학습 모델을 식별할 수 있다. 이어 식별된 기계 학습 모델을 사용하여 수신 흔적 데이터에 포함된 결함 가시도의 예측을 수행할 수 있다.
본 발명의 한 실시예에 따르면, 예측한 결함 가시도는 제조 공정에서 조정을 하는 데 사용된다. 예를 들면, 예측한 결함 가시도가 특정 임계 수준을 넘어서면, 장비/공정 제어기(104)에 신호가 전송되고, 장비/공정 제어기(104)는 제조 공정에 사용되는 제조 장비의 파라미터를 조정할 수 있다. 조정되는 파라미터는, 예를 들면, 제조 장비의 동작 속도 또는 내부 온도일 수 있다. 본 발명의 한 실시예에 따르면, 예측한 결함 가시도가 특정 임계 수준을 넘어선다는 것을 감지하면, 제조 장비를 다시 초기화하거나 재정비할(re-calibrate) 수 있다.
도 2a 내지 도 2c는 종래 기술을 사용하여 수행한 예측의 성능 하락을 보여주는 그래프이다. 예를 들면, 도 2a의 종래 기계 학습 모델은 제1 시구간(200)에서는 정확한 예측을 제공하지만, 모델 변동으로 인하여 예측 정확도가 구간(202, 204)에서 하락하여 각각 2.53%, 6.07%의 예측 오차가 생길 수 있다. 도 2b 및 도 2c에 나타낸 종래 기계 학습 모델의 예측 오차 또한 모델 변동으로 인하여 시간이 지날수록 커질 수 있다.
본 발명의 한 실시예에 따르면, 예를 들면 출력 값/예측의 통계적 특성에 변화를 일으키는 생산 조건에 변화가 있을 때 모델 변동이 발생한다. 이 변화는 하나 이상의 생산 장비를 재정비하는 동안 발생할 수 있다. 재정비는 시간의 흐름에 따라 주기적으로, 규칙적으로, 아니면 불규칙하게 일어난다. 본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 재정비가 일어나는 시점을 변화점(change point)(206a-206f: 묶어서 206으로 기재)으로 식별할 수 있다. 본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 두 변화점(보기: 206a, 206b) 사이의 시구간[보기: 구간(202)]을 식별하는데, 두 변화점 중 하나(보기: 206a)는 그 시구간의 시점으로 식별하고, 다른 하나(보기: 206b)는 그 시구간의 종점으로 식별한다. 식별한 시구간은 입력 값과 출력 값 사이의 단일 관계가 유지될 수 있는 개념 구간으로 볼 수 있다. 개념 구간의 입력 값을 관련 출력 값과 함께 사용하여 그 개념 구간에 할당된 기계 학습 모델을 훈련할 수 있다. [표 1]에 나타낸 실험은, 모델 변동이 존재할 때, 식별한 각 시구간에 대하여 별개의 기계 학습 모델을 훈련하면 모든 시간에 단일한 기계 학습 모델을 사용하는 것에 비하여 예측 오차가 최소화함을 보여준다. 예를 들면, 이 실험은 본 실시예가 제공한 MAPE(mean average percent error)가 2.38%, 2.91%, 1.94% 로서, 단일한 기계 학습 모델이 제공한 MAPE인 7.80%, 5.11%, 4.63%보다 각각 낮다는 것을 보여준다.
Figure pat00001
전용 기계 학습 모델 훈련을 위하여 자동으로 서로 다른 기간을 식별하는 다른 방법도 역시 고려한다. 예를 들면, 훈련 모듈(106)은 입력 흔적 데이터 또는 출력 가시성 훈련 데이터의 통계에 기초하여 변화점(206)을 식별할 수 있다. 예를 들면, 훈련 모듈(106)은 입력 흔적 데이터의 특징 분포(feature distribution)를 감시하고, 특징 분포가 기준 특징 분포에서 문턱 값보다 더 벗어나면 그 시점을 식별할 수 있다. 변화점(206)은 또한 시스템 운영자(system operator)가 훈련 모듈(106)과 연결된 입력 장치를 통하여 수동으로 입력할 수 있다.
도 3은 본 발명의 한 실시예에 따른 훈련 데이터베이스(training database)(300) 및 서로 다른 시구간(304a-304d: 묶어서 304로 기재)에 대해서 훈련한 기계 학습 모델(301a-301d: 묶어서 301로 기재)의 블록도이다. 도 3의 실시예에서, 훈련 데이터베이스(300)는 데이터 수집 회로(100)가 포착한 훈련 데이터를 저장한다. 훈련 데이터는 데이터 수집 회로(100)가 수집한 흔적 데이터에 기초하여 생성한 입력 X 벡터 및 관련 출력 y 값을 포함할 수 있다. 본 발명의 한 실시예에 따르면, [변화점(206)과 비슷한] 변화점(306a-306b)이 X-y 관계가 유지되는 각 시구간(304)의 경계를 정한 후에 그 관계가 다른 시구간에서의 관계로 바뀐다. 변화점(306a-306b)은 수신한 외부 지표[보기: 재정비 시간(recalibration time), 생산 시작/중단 시간(manufacturing start/stop time) 등]에 기초하여 설정하거나, 입력 X 및/또는 출력 y 벡터를 감시함으로써 자동으로 설정될 수 있다.
본 발명의 한 실시예에 따르면, 훈련 모듈(106)은 시구간(304)에 기초하여 입력 X 벡터를 군집 분류한다. 이 예에서, 어떤 입력 벡터를 생성하는 데 사용된 흔적 데이터를 특정 시구간 동안 수집했다면, 그 입력 벡터를 그 특정 시구간(304)으로 군집 분류할 수 있다. 본 발명의 한 실시예에 따르면, 서로 다른 시구간(304)을 하나의 기간 표지(era label)로 식별할 수 있다.
본 발명의 한 실시예에 따르면, 각 시구간(304)에서 입력 벡터 및 관련 출력 값을 사용하여 별개의 기계 학습 모델(301)을 훈련할 수 있다. 이 예에서, 기계 학습 모델의 총수는 입력 데이터가 군집 분류되는 개념 구간의 수에 대응할 수 있다. 본 발명의 한 실시예에 따르면, 한 시구간의 입력 벡터들은 그 출력 값에 대하여 단일 관계를 유지한다. 특정 시구간에 대한 기계 학습 모델(301)(보기: 기간 1에 대한 기계 학습 모델 1)은 해당 시구간(보기: 기간 1)에 유지되는 단일 관계에 기초하여 훈련할 수 있다. 관계는 시구간에 따라 달라질 수 있다. 예를 들면, 기계 학습 모델 2를 훈련하는 기간 2에서의 관계는 기간 1에서의 관계와 다를 수 있다.
본 발명의 한 실시예에 따르면, 시구간(304)의 수효, 그리고 그에 따른 관련 기계 학습 모델(301)의 수효는 미리 설정할 수 있다. 본 발명의 한 실시예에 따르면, 관계 변화가 주기적으로(cyclically) 나타나서, 미리 설정한 수효의 시구간 후에 관계가 이전 시구간의 관계로 되돌아간다. 예를 들면, 도 2c에 도시한 그래프의 예에서, 예측 오차는 시구간(210)에서 비교적 높지만, 시점(212)에서 초기의 낮은 값으로 되돌아가고, 변화점(206e, 206f)에서 다시 높아지기 시작한다. 이 예에서, 생산 조건은 공정 관리를 통하여 제한된 수의 상태를 가질 수 있다. 따라서, 생산 조건(및 관련 관계)이 어떤 구간 후에 원래 조건(및 관련 원래 관계)으로 되돌아갈 것이라는 가정을 할 수 있다. 따라서, 본 발명의 한 실시예에 따르면, 서로 다른 기간에 대해서 생성된, 미리 설정한 수효의 기계 학습 모델은 시간이 지남에 따라 발생하는 모델 변동을 해결하기에 충분할 수 있다.
도 4는 본 발명의 한 실시예에 따른 기간 분류기(400)의 블록도이다. 기간 분류기(400)는 논리 회귀(logistic regression) 또는 다른 분류 알고리즘, 예를 들면, 결정 트리(decision trees), 지원 벡터 머신(support vector machine), 랜덤 포리스트(random forest) 및/또는 그 비슷한 분류 알고리즘을 사용하여 구현할 수 있다. 기간 분류기(400)는 입력 X 벡터(404)를 사용하여 훈련할 수 있는데, 입력 X 벡터(404)는 대응하는 기간(402a-402d: 묶어서 402로 기재) 및 대응하는 기간 표지(406)로 군집 분류된 것이다. 훈련한 기간 분류기(400)는 수신 입력 데이터에 대하여 기간 표지를 예측할 수 있다.
도 5는 본 발명의 한 실시예에 따른 제품 관련 결함 가시도 예측을 위한 훈련한 기간 분류기(400) 및 기간 기계 학습 모델(301)의 블록도이다. 훈련한 기간 분류기(400)는 결함 예측을 수행할 제품과 관련한 입력 데이터(500)를 수신한다. 입력 데이터(500)는 데이터 수집 회로(100)가 수집한 흔적 데이터(보기: 영상)일 수 있다. 기간 분류기(400)는 입력 데이터(500)가 속하는 시구간의 기간 표지를 출력할 수 있다.
본 발명의 한 실시예에 따르면, 기간 분류기(400)가 출력한 기간 표지를 사용하여 다양한 기간에 대하여 훈련한 다양한 기계 학습 모델(301) 중 하나를 식별할 수 있다. 이어 선택한 기계 학습 모델(502)을 적용하여 입력 데이터(500)에 포함된 결함 가시성의 예측(504)을 수행한다.
도 6은 본 발명의 한 실시예에 따른 제품 관련 결함 가시도 예측 시스템을 훈련하는 방법을 나타낸 흐름도이다. 이 방법의 단계들의 순서는 고정된 것이 아니고 변경하거나, 순서를 바꾸거나, 다르게 수행하거나, 차례대로, 동시에 또는 일제히 수행하거나, 소기의 순서로 변경할 수 있다는 점을 당업자는 알 수 있다.
이 방법을 시작하면, 블록(600)에서, 훈련 모듈(106)은 서로 다른 제품에 대하여 데이터 수집 회로(100)가 수집한 흔적 데이터에 기초하여 생성된 입력 벡터들을 수신한다. 각 입력 벡터는 예를 들어 흔적 데이터에서 추출한 해당 제품의 특징을 포함할 수 있다. 본 발명의 한 실시예에 따르면, 흔적 데이터는 서로 다른 시구간에서 수집한다. 각 입력 벡터 및 대응 출력 값에 대해서 시구간 정보가 훈련 모듈(106)에 제공된다.
블록(602)에서, 훈련 모듈(106)은 입력 벡터와 관련된 시구간에 기초하여 그 입력 벡터를 서로 다른 기간 군집으로 군집 분류한다. 각 기간 군집의 시구간은 그 군집에서 입력 벡터와 출력 값 사이의 관계가 그 시구간 동안 유지되도록 정해진 것이다.
블록(604)에서, 각 시구간에 대해서 별개의 기계 학습 모델을 훈련한다. 기계 학습 모델의 훈련은 관련 기간 군집에 있는 입력 벡터 및 대응 출력 값에 기초할 수 있다. 기계 학습 모델은 예를 들어 회귀 모델일 수 있다. 기계 학습 모델은 그 기계 학습 모델을 훈련하는 시구간의 기간 표지와 관련될 수 있다.
블록(606)에서, 훈련 모듈(106)은 기간 분류기(400)를 훈련하여 입력 데이터가 속하는 적절한 기간을 식별하도록 한다. 이 훈련은 지도 학습을 채용하여 수행할 수 있다. 이 예에서, 미리 정해진 수효의 시구간 각각에 대한 입력 벡터와 관련 기간 표지를 기간 분류기(400)에 제공하고, 기간 분류기(400)는 해당 기간 표지 생성을 위한 시구간과 관련된 입력 벡터의 특징들을 학습한다.
도 7은 본 발명의 한 실시예에 따른 제품과 관련된 결함 가시도 예측 방법을 나타낸 흐름도이다. 이 방법의 단계들의 순서는 고정된 것이 아니고 변경하거나, 순서를 바꾸거나, 다르게 수행하거나, 차례대로, 동시에 또는 일제히 수행하거나, 소기의 순서로 변경할 수 있다는 점을 당업자는 알 수 있다.
방법을 시작하면, 블록(700)에서, 추론 모듈(108)은 결함 예측을 수행할 제품의 입력 데이터를 수신한다. 입력 데이터는 데이터 수집 회로(100)가 다변수(multivariate) 입력으로 포착한 흔적 데이터일 수 있다.
블록(702)에서, 추론 모듈(108)은 입력 데이터가 속하는 시구간 분류를 위하여 입력 데이터를 기간 분류기(400)에 제공한다. 이 예에서, 추론 모듈(108)은 입력 데이터를 입력 벡터로서 제공할 수 있다. 입력 벡터는 입력 데이터에서 추출한 제품의 특징들을 포함할 수 있다. 기간 분류기(400)는 입력 벡터의 특징에 기초하여 기간 표지를 예측할 수 있다.
블록(704)에서, 추론 모듈(108)은 기간 분류기(400)가 예측한 시구간에 기초하여 기계 학습 모델(301)을 식별할 수 있다. 본 발명의 한 실시예에 따르면, 예측한 시구간의 기간 표지는 해당 기계 학습 모델(301)의 선택에 사용할 수 있다.
블록(706)에서, 선택한 기계 학습 모델(301)을 적용하여 블록(700)에서 수신한 입력 데이터에 기초하여 출력을 생성한다. 출력은 입력 데이터가 대응하는 제품의 예측 결함 수준을 나타내는 값일 수 있다.
본 발명의 한 실시예에 따르면, 앞에서 설명한 결함 가시성 회귀용 개념 구간 군집 분류 시스템 및 방법은 하나 이상의 처리기로 구현될 수 있다. 처리기는 하나 이상의 처리기 및/또는 처리 코어를 뜻할 수 있다. 하나 이상의 처리기는 하나의 장치에 포함되거나 여러 장치(보기: 클라우드 시스템 내)에 분산될 수 있다. 처리기는 예를 들면, 응용 주문형 집적 회로(ASIC), 범용 또는 전용 중앙 처리 장치(CPU), 디지털 신호 처리기(DSP), 그래픽 처리 장치(GPU), FPGA 등의 프로그램가능 논리 장치를 포함할 수 있다. 처리기에서 각각의 함수는 그 기능을 수행하는 유선 하드웨어 또는 비순간(non-transitory) 저장 매체(보기: 메모리)에 저장된 명령을 수행하는 CPU 등의 범용 하드웨어로 수행될 수 있다. 처리기는 하나의 인쇄 회로 기판(PCB)에 제작되거나 서로 연결된 PCB에 분산 배치될 수 있다. 처리기는 다른 처리 회로를 포함할 수 있는데, 예를 들면 PCB 상에서 서로 연결된 FPGA와 CPU를 포함할 수 있다.
"제1", "제2", "제3" 등의 용어를 여러 가지 원소, 성분, 영역, 층, 부분 등에 사용하지만, 이들은 이런 수식어에 의하여 한정되지 않는다. 이러한 용어는 어떤 원소, 성분, 영역, 층, 부분을 다른 원소, 성분, 영역, 층, 부분과 구별하기 위하여 사용하는 것이며 본 발명의 취지와 범위를 벗어나지 않는다.
여기에서 사용된 용어는 특정 실시예를 설명할 목적으로 사용할 뿐이며 본 발명을 제한하고자 하는 것은 아니다. 여기에서 "실질적으로", "약", "대체로" 및 이와 비슷한 표현은 근사를 나타내는 표현일 뿐 "정도"를 나타내는 것이 아니며, 당업자가 알 수 있는 측정값 또는 계산 값의 고유 오차를 나타내는 데 사용한다.
여기에서 수를 특별히 언급하지 않으면 단수 또는 복수의 경우를 모두 포함한다. 어떤 특징, 단계, 동작, 부분, 성분 등을 "포함"한다는 표현은 해당 부분 외에 다른 특징, 단계, 동작, 부분, 성분 등도 포함할 수 있다는 것을 의미한다. "및/또는"이라는 표현은 나열된 것들 중 하나 또는 둘 이상의 모든 조합을 포함한다. 나열 목록 앞에 기재한 "적어도 하나" 등의 표현은 목록 전체를 수식하는 것이지 목록 내의 각각의 것을 수식하는 것은 아니다. 또한, 본 발명의 실시예를 설명할 때 사용하는 "수 있다"는 표현은 "본 발명의 하나 이상의 실시예"에 적용 가능하다는 것을 뜻한다. "예시적인"이라는 용어는 예 또는 도면을 나타낸다. "사용", "이용" 등은 이와 유사한 다른 표현과 함께 비슷한 의미로 사용될 수 있다.
이상에서 결함 가시성 회귀용 개념 구간 군집 분류 시스템 및 방법의 실시예에 대하여 설명 및 도시하였지만, 당업자라면 이러한 실시예를 변경 및 수정할 수도 있다. 따라서 여기에서 제시한 원리에 따라 구성된 다른 결함 가시성 회귀용 개념 구간 군집 분류 시스템 및 방법도 본 발명에 포함된다. 본 발명은 다음의 청구범위 및 그 등가물에 의하여 정의된다.
100: 데이터 수집 회로
101: 처리기
102: 분석 시스템
103: 메모리
104: 장비/공정 제어기
106: 훈련 모듈
108: 추론 모듈
300: 훈련 데이터베이스
301, 301a-301d, 502: 기계 학습 모델
304, 304a-304d: 시구간
306a, 306b: 변화점
400: 기간 분류기
402, 402a-402d: 기간
404: 입력 X 벡터
406: 기간 표지
500: 입력 데이터

Claims (10)

  1. 처리기에 의하여, 복수의 출력 값 및 복수의 시구간과 관련된 복수의 입력 벡터를 수신하는 단계,
    상기 처리기에 의하여, 상기 입력 벡터와 관련된 상기 시구간에 기초하여 상기 복수의 입력 벡터를 군집 분류(clustering)하는 단계,
    상기 처리기에 의하여, 상기 복수의 시구간 각각에 대하여 기계 학습 모델을 훈련하는 단계, 그리고
    상기 처리기에 의하여, 하나의 제품에 대하여 수신한 입력 데이터에 대하여 상기 복수의 시구간 중 하나를 선택하기 위하여 분류기를 훈련하는 단계
    를 포함하며,
    상기 기계 학습 모델의 훈련은 상기 시구간과 관련된 상기 입력 벡터 및 상기 입력 벡터와 관련된 상기 출력 값에 기초하고,
    상기 분류기가 선택한 상기 시구간과 관련된 상기 기계 학습 모델을 적용하여 상기 입력 데이터에 기초하여 출력을 예측하는,
    생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 방법.
  2. 제1항에서,
    상기 복수의 입력 벡터 중 하나는 상기 제품 중 하나와 관련된 흔적 데이터에서 추출된 특징을 포함하며,
    상기 복수의 출력 값 중 하나는 상기 흔적 데이터에 있는 결함 수준을 나타내는
    방법.
  3. 제2항에서,
    상기 복수의 입력 벡터 중 하나에 관련된 상기 시구간은 상기 흔적 데이터가 수집된 시간에 대응하는 방법.
  4. 제1항에서,
    상기 시구간은 시점 및 종점이 있는 유계(bounded) 시구간인 방법.
  5. 제1항에서,
    상기 복수의 시구간 중 제1 시구간은 상기 제1 시구간과 관련된 상기 입력 벡터의 대응 출력 값에 대한 제1 관계를 유지하고,
    상기 복수의 시구간 중 제2 시구간은 상기 제2 시구간과 관련된 상기 입력 벡터의 대응 출력 값에 대한 제2 관계를 유지하며,
    상기 제1 관계는 상기 제2 관계와 다른
    방법.
  6. 제5항에서,
    상기 제1 시구간과 관련된 상기 기계 학습 모델은 상기 제1 관계에 기초하여 훈련하고,
    상기 제2 시구간과 관련된 상기 기계 학습 모델은 상기 제2 관계에 기초하여 훈련하는
    방법.
  7. 제6항에서,
    상기 제1 관계는 상기 제2 관계와 다른 것은 모델 변동(model drift)으로 인한 것인 방법.
  8. 제1항에서,
    상기 복수의 시구간 각각은 하나의 표지(label)로 식별하고,
    상기 분류기는 상기 입력 데이터의 특징에 기초하여 상기 시구간의 표지를 출력하도록 훈련하는
    방법.
  9. 제1항에서,
    상기 기계 학습 모델은 상기 제품의 결함 가시도를 예측하기 위한 회귀 모델인 방법.
  10. 처리기에 의하여, 입력 데이터를 수신하는 단계,
    상기 처리기에 의하여, 입력 데이터의 특징에 기초하여 시구간을 예측하는 단계,
    상기 처리기에 의하여, 상기 처리기가 예측한 상기 시구간에 기초하여 복수의 기계 학습 모델 중 하나를 식별하는 단계, 그리고
    상기 처리기에 의하여, 상기 기계 학습 모델 중 하나를 적용하여 상기 입력 데이터에 기초하여 출력을 생성하는 단계
    를 포함하는, 생산 과정을 통하여 생산되는 제품과 관련된 예측을 수행하는 방법.
KR1020220070997A 2021-06-10 2022-06-10 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법 KR20220167247A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163209268P 2021-06-10 2021-06-10
US63/209,268 2021-06-10
US17/401,216 2021-08-12
US17/401,216 US20220398525A1 (en) 2021-06-10 2021-08-12 Systems and methods for concept intervals clustering for defect visibility regression

Publications (1)

Publication Number Publication Date
KR20220167247A true KR20220167247A (ko) 2022-12-20

Family

ID=81581173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220070997A KR20220167247A (ko) 2021-06-10 2022-06-10 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법

Country Status (4)

Country Link
US (1) US20220398525A1 (ko)
EP (1) EP4102321A1 (ko)
KR (1) KR20220167247A (ko)
CN (1) CN115470960A (ko)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190302707A1 (en) * 2018-03-28 2019-10-03 Mitsubishi Electric Research Laboratories, Inc. Anomaly Detection in Manufacturing Systems Using Structured Neural Networks
US20190384255A1 (en) * 2018-06-19 2019-12-19 Honeywell International Inc. Autonomous predictive real-time monitoring of faults in process and equipment
JP2022523563A (ja) * 2019-03-04 2022-04-25 アイオーカレンツ， インコーポレイテッド 機械学習および人工知能を使用する、機械異常の近リアルタイム検出ならびに分類
US11610076B2 (en) * 2019-08-07 2023-03-21 Applied Materials, Inc. Automatic and adaptive fault detection and classification limits
EP3862832A1 (en) * 2020-02-07 2021-08-11 Basf Se Generating a representation of a process network comprising at least two interconnected chenical plants
US20230067026A1 (en) * 2020-02-17 2023-03-02 DataRobot, Inc. Automated data analytics methods for non-tabular data, and related systems and apparatus
WO2021252734A1 (en) * 2020-06-11 2021-12-16 DataRobot, Inc. Systems and methods for managing machine learning models
US20220147669A1 (en) * 2020-11-07 2022-05-12 International Business Machines Corporation Scalable Modeling for Large Collections of Time Series
US20220292340A1 (en) * 2021-03-11 2022-09-15 Capital One Services, Llc Identifying trends using embedding drift over time

Also Published As

Publication number Publication date
CN115470960A (zh) 2022-12-13
EP4102321A1 (en) 2022-12-14
US20220398525A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
KR101917006B1 (ko) 머신 러닝 기반 반도체 제조 수율 예측 시스템 및 방법
US11599803B2 (en) Soldering process parameter suggestion method and system thereof
EP3292672A1 (en) Anomaly detection for context-dependent data
US20050159835A1 (en) Device for and method of creating a model for determining relationship between process and quality
US10579042B2 (en) Defect rate analytics to reduce defectiveness in manufacturing
JP2008072047A (ja) モデル作成装置並びにプロセス異常分析装置およびそれらの方法並びにプログラム
US20180259947A1 (en) Management device and non-transitory computer-readable medium
CN111665066B (zh) 基于卷积神经网络的设备故障自适应上下预警界生成方法
US20170123411A1 (en) Method for analyzing variation causes of manufacturing process and system for analyzing variation causes of manufacturing process
WO2010110365A1 (ja) 要因分析装置および要因分析方法
CN115308562A (zh) 芯片测试方法及相关设备
US11940357B2 (en) System for predicting anomalies of machining
US20210394247A1 (en) Method and system for forming a stamped component using a stamping simulation model
CN115907279A (zh) 基于物联网的工业生产产品用质量检测系统及方法
Becherer et al. Intelligent choice of machine learning methods for predictive maintenance of intelligent machines
KR20220167247A (ko) 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법
Filz et al. Data-driven analysis of product property propagation to support process-integrated quality management in manufacturing systems
KR20220147036A (ko) 생산 과정을 통하여 생산되는 제품 관련 예측 수행 방법
KR20220038269A (ko) 제조 과정을 통하여 제조되는 제품과 관련한 예측을 수행하는 방법
Hoelzl et al. Detecting seasonal dependencies in production lines for forecast optimization
WO2018168908A1 (en) Notification apparatus, notification method and computer program therefor
KR20200002433A (ko) 빅데이터 분석을 이용한 통계적 품질 관리 시스템
Bonomi et al. Smart quality control powered by machine learning algorithms
JP2023028393A (ja) データ処理装置、方法及びプログラム
US20220413480A1 (en) Time series data processing method