KR20230039873A - 이상 감지 방법 - Google Patents

이상 감지 방법 Download PDF

Info

Publication number
KR20230039873A
KR20230039873A KR1020210122546A KR20210122546A KR20230039873A KR 20230039873 A KR20230039873 A KR 20230039873A KR 1020210122546 A KR1020210122546 A KR 1020210122546A KR 20210122546 A KR20210122546 A KR 20210122546A KR 20230039873 A KR20230039873 A KR 20230039873A
Authority
KR
South Korea
Prior art keywords
defect rate
rate data
defect
detection
state
Prior art date
Application number
KR1020210122546A
Other languages
English (en)
Inventor
노태영
길지호
오태화
정범석
강복영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210122546A priority Critical patent/KR20230039873A/ko
Priority to US17/739,528 priority patent/US20230085028A1/en
Priority to CN202211106140.8A priority patent/CN115810554A/zh
Publication of KR20230039873A publication Critical patent/KR20230039873A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0262—Confirmation of fault detection, e.g. extra checks to confirm that a failure has indeed occurred
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
    • G06F11/076—Error or fault detection not based on redundancy by exceeding limits by exceeding a count or rate limit, e.g. word- or bit count limit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R1/00—Details of instruments or arrangements of the types included in groups G01R5/00 - G01R13/00 and G01R31/00
    • G01R1/02—General constructional details
    • G01R1/04—Housings; Supporting members; Arrangements of terminals
    • G01R1/0408—Test fixtures or contact fields; Connectors or connecting adaptors; Test clips; Test sockets
    • G01R1/0491—Test fixtures or contact fields; Connectors or connecting adaptors; Test clips; Test sockets for testing integrated circuits on wafers, e.g. wafer-level test cartridge
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286—Modifications to the monitored process, e.g. stopping operation or adapting control
    • G05B23/0289—Reconfiguration to prevent failure, e.g. usually as a reaction to incipient failure detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67288—Monitoring of warpage, curvature, damage, defects or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Manufacturing & Machinery (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Tourism & Hospitality (AREA)
  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Mathematical Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Power Engineering (AREA)
  • General Factory Administration (AREA)

Abstract

본 발명의 실시예에 따른 이상 감지 방법은, 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터를 이용하여 기준 불량률을 계산하는 단계, 상기 기준 불량률을 이용하여 상기 소정의 구간 이후의 감지 시점에서의 불량률 데이터에 대응하는 감지 불량률 및 가중치를 계산하는 단계, 상기 감지 불량률과 상기 가중치를 곱하여 불량 인자를 계산하는 단계, 상기 불량 인자의 값과 불량률을 안정적으로 제어할 수 있는 제어 한계선에 대응하는 인자의 크기를 비교하는 단계, 및 상기 비교 결과에 기초하여 상기 감지 시점에서의 불량률 데이터의 이상 여부를 감지하는 단계를 포함할 수 있다. 따라서, 본 발명의 일 실시예에 따른 이상 감지 방법을 통해 불량률이 매우 낮은 분야에서의 과소 추정 문제를 개선할 수 있고 노이즈 발생 가능성을 감소시킬 수 있으며, 나아가 불량률 상승을 사전에 감지하고, 불량률의 변화 추세를 정량화함으로써 리스크를 효율적으로 관리할 수 있다.

Description

이상 감지 방법{METHOD FOR DETECTING ABNORMALITY}
본 발명은 이상 감지 방법에 관한 것이다.
최근 반도체 공정 기술이 발전함에 따라, 반도체 산업 내에서 생산되는 제품들의 성능과 신뢰성이 점차 향상되고 있다. 특히, 반도체 제품들은 수 PPM(Parts Per Million) 수준의 낮은 불량률을 갖도록 생산될 수 있다. 한편, 생산되는 반도체 제품들은 설정된 목표 불량률을 넘지 않도록 관리될 수 있다. 다만, 기존의 관리 체계에서는 목표 불량률을 초과하는 불량률 데이터가 얻어진 후에 사후적으로 대응하여 불량률을 관리하는 방법을 이용하고 있다. 기존의 이상 감지 방법은 직관적인 방법에 해당하나, 품질 정보가 업데이트되는 시점에 따른 변동성, 샘플의 수량, 및/또는 불량률의 변동 경향성 등을 고려하지 못하여 최적의 시기에 최적의 대응을 하는데 어려움이 있을 수 있다.
본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 정확 검정(Exact Test) 방법에 의해 계산된 감지 불량률, 및 불량률 데이터와 목표 불량률 데이터의 차이에 기초하여 계산된 가중치를 이용하여 이상 감지를 수행함으로써, 불량률이 매우 낮은 분야에서 불량률을 사전에 감지하여 리스크를 효율적으로 관리할 수 있는 이상 감지 방법을 제공하고자 하는 데에 있다.
본 발명의 일 실시예에 따른 이상 감지 방법은, 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터를 이용하여 기준 불량률을 계산하는 단계, 상기 기준 불량률을 이용하여 상기 소정의 구간 이후의 감지 시점에서의 불량률 데이터에 대응하는 감지 불량률 및 가중치를 계산하는 단계, 상기 감지 불량률과 상기 가중치를 곱하여 불량 인자를 계산하는 단계, 상기 불량 인자의 값과 불량률을 안정적으로 제어할 수 있는 제어 한계선에 대응하는 인자의 크기를 비교하는 단계, 및 상기 비교 결과에 기초하여 상기 감지 시점에서의 불량률 데이터의 이상 여부를 감지하는 단계를 포함한다.
본 발명의 일 실시예에 따른 이상 감지 방법은, 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터를 이용하여 기준 불량률을 계산하는 단계, 상기 기준 불량률, 및 상기 소정의 구간 이후의 감지 시점에서의 불량률 데이터를 이용하여 정확 검정(Exact test)에 따라 감지 불량률을 계산하는 단계, 상기 감지 불량률을 이용하여 불량 인자를 계산하는 단계, 및 상기 불량 인자의 값에 기초하여 상기 감지 시점에서의 불량률 데이터의 이상 여부를 감지하는 단계를 포함한다.
본 발명의 일 실시예에 따른 이상 감지 방법은, 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터를 이용하여 기준 불량률을 계산하는 단계, 상기 기준 불량률을 이용하여 상기 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터의 표준 편차를 계산하는 단계, 상기 표준 편차에 기초하여 구분되는 제1 영역, 제2 영역, 및 제3 영역을 포함하고, 상기 제2 영역과 상기 제3 영역의 경계는 목표 불량률 데이터의 크기에 대응하는 복수의 상태 영역들을 정의하는 단계, 상기 복수의 상태 영역들 중 상기 소정의 구간 이후의 감지 시점에서의 불량률 데이터의 상태에 대응하는 영역을 결정하는 단계, 및 상기 감지 시점에서의 불량률 데이터와 상기 목표 불량률 데이터의 차이에 기초하여 가중치를 계산하는 단계를 포함한다.
본 발명의 일 실시예에 따른 이상 감지 방법은, 정확 검정(Exact Test)에 의해 계산된 감지 불량률에 기초하여 불량률 데이터의 이상을 감지함으로써, 불량률이 매우 낮은 분야에서 발생할 수 있는 과소 추정 문제를 개선할 수 있다.
감지 시점에서의 불량률 데이터와 목표 불량률 데이터의 차이에 기초하여 계산된 가중치를 이용하여 이상 감지를 수행함으로써, 노이즈 발생 가능성을 감소시킬 수 있다.
감지 시점에서의 불량률 데이터와 상기 목표 불량률 데이터의 차이에 따라 정의되는 복수의 상태 영역들을 정의함으로써, 불량률을 효과적으로 관리할 수 있다.
감지 불량률 및 가중치를 이용하여 계산한 불량 인자를 이용함으로써, 불량률이 매우 낮은 분야에서 불량률의 이상을 사전에 감지하여 리스크를 효율적으로 관리할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 일반적인 이상 감지 방법에서 발생할 수 있는 문제를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 이상 감지 방법을 설명하기 위한 플로우 차트이다.
도 3은 본 발명의 일 실시예에 따른 이상 감지 방법을 설명하기 위한 플로우 차트이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 이상 감지 방법의 효과를 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시예에 따른 이상 감지 방법을 설명하기 위한 플로우 차트이다.
도 8은 본 발명의 일 실시예에 따른 이상 감지 방법에서 정의되는 복수의 상태 영역들을 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 이상 감지 방법의 효과를 설명하기 위한 도면들이다.
도 11은 본 발명의 일 실시예에 따른 이상 감지 방법을 설명하기 위한 플로우 차트이다.
도 12는 본 발명의 일 실시예에 따른 이상 감지 방법의 적용례를 설명하기 위한 도면이다.
도 13a 내지 도 13c는 본 발명의 일 실시예에 따른 이상 감지 방법의 적용례를 설명하기 위한 도면들이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.
도 1은 일반적인 이상 감지 방법에서 발생할 수 있는 문제를 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 이상 감지 방법은 불량률이 매우 낮은 분야에서 적용될 수 있다. 일례로, 반도체 산업 분야 등에서 반도체 제품은 수 PPM(Parts Per Million) 수준의 매우 낮은 불량률을 갖도록 생산될 수 있다.
도 1을 참조하면, 매우 낮은 불량률을 갖는 불량률 데이터는 제1 분포(d1)와 같은 형태로 나타날 수 있다. 일례로, 제1 분포(d1)는 0보다 크고 0으로 극심하게 치우친 불량률 데이터를 포함하는 분포일 수 있다.
제1 분포(d1)는 정규성을 만족하지 않으므로 제2 분포(d2)와 같은 정규 분포로 근사되어 처리될 수 있다. 다만, 정규 분포는 대칭 분포이므로 제2 분포(d2)는 0보다 작은 불량률 데이터를 포함할 수 있고, 제1 분포(d1)와 제2 분포(d2)의 오른쪽 꼬리 부분, 예컨대 A에서 확률 밀도가 역전될 수 있다. 다시 말해, 제2 분포(d2)에 기초하여 추정된 불량률을 제어할 수 있는 제어 한계선은 실제로 제어 가능한 불량률의 한계보다 낮게 추정될 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법이 적용되는 분야는 매우 낮은 불량률을 갖는 분야이므로, 불량률 데이터의 비대칭이 심해질수록 과소 추정(under-estimation) 문제는 심화될 수 있다.
일례로, 불량률의 제어 한계선이 90% 수준인 경우에는 불량률 데이터 분포인 제1 분포(d1)에서의 제어 가능한 불량률 수준이 근사된 정규 분포인 제2 분포(d2)에서의 제어 가능한 불량률 수준보다 작아 문제되지 않을 수 있다.
다만, 불량률의 제어 한계선이 99% 이상의 수준인 경우에는 제1 분포(d1)에서의 제어 가능한 불량률 수준이 제2 분포(d2)에서의 제어 가능한 불량률 수준보다 커져 실제 제어 가능한 불량률 수준보다 제어 한계선이 낮게 추정될 수 있다. 일례로, 추정된 제어 한계선이 실제 제어 가능한 불량률 수준보다 낮은 경우, 불필요한 불량률 제어가 수반될 수 있고 생산 시스템의 신뢰도가 저하될 수 있다.
한편, 이러한 과소 추정 문제로 인해 기존에는 감지 시점에서의 불량률 데이터가 목표 불량률 데이터를 초과하는 이슈가 발생한 뒤, 사후적으로 대응할 수 밖에 없다는 한계가 존재하였다. 즉, 생산 제품의 불량률은 감지 시점에서 획득된 불량률 데이터가 목표 불량률 데이터를 초과하였는지 여부를 단순 확인하는 방식으로 관리되었다. 이러한 관리 방법은 직관적이나 품질 정보가 업데이트되는 시점에 따른 변동성, 샘플의 사이즈, 불량률 수준에 따른 불확실성, 및/또는 불량률 데이터의 변동 경향성 등을 고려하지 못할 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법은, 감지된 불량률 데이터가 목표 불량률 데이터를 초과하기 전에 불량률의 비정상적인 상승 경향을 감지함으로써, 불량률 데이터가 목표 불량률 데이터를 초과할 가능성을 정량화하여 관리할 수 있다. 이를 통해, 관리자들의 주관적인 판단이 아닌 객관적인 통계적 사실에 근거하여 불량률을 선제적으로 관리할 수 있다.
또한, 본 발명의 일 실시예에 따른 이상 감지 방법에 따라, 반도체 산업 분야처럼 매우 낮은 불량률을 갖는 분야에서도 높은 정확도로 불량률 데이터의 비정상적인 변동을 감지할 수 있다.
도 2는 본 발명의 일 실시예에 따른 이상 감지 방법을 설명하기 위한 플로우 차트이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 이상 감지 방법은 감지 불량률을 계산하고(S110), 가중치를 계산하는 단계(S120)를 포함할 수 있다.
일례로, 감지 불량률은 감지 시점에서의 불량률 데이터, 및 감지 시점 이전의 소정의 구간동안 획득된 불량률 데이터들에 기초하여 계산될 수 있다. 본 발명의 일 실시예에 따른 이상 감지 방법에서는, 이항 분포(Binomial Distribution) 기반의 정확 검정(Exact Test)을 이용하여 불량률을 계산함으로써 정규분포 근사를 이용하는 경우 발생할 수 있는 과소 추정 문제를 개선하고, 감지 정확도를 향상시킬 수 있다.
한편, 가중치는 감지 시점에서의 불량률 데이터와 미리 설정된 목표 불량률 데이터의 차이에 기초하여 계산될 수 있다. 일례로, 감지 시점에서의 불량률 데이터가 목표 불량률 데이터에 근접한 경우에는 감지 불량률의 상승을 민감하게 인식하고, 감지 시점에서의 불량률 데이터가 목표 불량률 데이터와 근접하지 않은 경우에는 감지 불량률의 상승을 둔감하게 인식할 수 있다.
불량률 데이터의 상승이 있을 때 불량률이 목표 불량률에 비해 낮은 경우에는 상승한 불량률 데이터가 목표 불량률 데이터 이내일 수 있고, 동일한 수준의 불량률 데이터의 상승에도 불구하고 불량률이 목표 불량률에 근접한 경우에는 상승한 불량률 데이터가 목표 불량률 데이터를 초과할 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법은, 불량률 데이터의 비정상적인 상승에 대해 가중치를 적용함으로써, 불량률이 목표 불량률에 비해 낮을 때의 불량률 데이터의 상승에 의한 노이즈 발생 가능성을 감소시킬 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법은 계산된 감지 불량률과 가중치를 곱하여 불량 인자를 획득하는 단계를 포함할 수 있다(S130). 감지된 불량률 데이터의 이상 여부는 획득된 불량 인자에 기초하여 검출될 수 있다(S140). 감지된 불량 인자가 제어 가능한 범위를 벗어난 것으로 감지된 경우, 불량률 데이터가 목표 불량률 데이터를 초과하기 전이라도 불량률 데이터는 불량 인자가 제어 가능한 범위 내로 들어오도록 선제적으로 관리될 수 있다(S150).
도 3은 본 발명의 일 실시예에 따른 이상 감지 방법을 설명하기 위한 플로우 차트이다.
도 3에 도시된 플로우 차트는, 도 2에 도시된 플로우 차트에 따른 이상 감지 방법에 포함된 감지 불량률 계산 단계를 설명하기 위한 도면일 수 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 이상 감지 방법은 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터를 수집하는 것으로 시작될 수 있다(S210). 일례로 소정의 구간은 감지 시점 이전의 시간 구간일 수 있고, 복수의 시점들은 서로 같은 시간 간격으로 배치될 수 있다. 다만, 이는 일 실시예에 불과할 뿐 한정되지 않을 수 있다.
한편, 수집된 불량률 데이터를 이용하여 감지 시점에서의 불량률 데이터의 이상 여부를 감지하는데 이용되는 기준 불량률을 계산할 수 있다(S220). 일례로, 감지 시점에서의 불량률 데이터의 이상 여부를 감지하기 위해 통계적 가설 검정이 이용될 수 있다.
불량률 데이터에 대한 확률변수 X가 기준 불량률이 적용되는 이항 분포를 따를 때, 감지 시점에서 감지된 불량률보다 더 극단적인 사건이 발생할 유의 확률(p-value)을 계산함으로써 기준 불량률 대비 감지 시점의 불량률이 상대적으로 얼마나 희박하게 발생한 사건인지를 판단할 수 있다(S230).
전술한 바와 같이, 감지 시점에서보다 더 극단적인 사건이 발생할 유의 확률(p-value)은 불량률 데이터를 정규 분포로 근사한 결과에 기초하여 계산될 수 있다. 이를 통해, 감지 시점에서의 불량률이 과거 대비 얼마나 비정상적으로 상승하였는지를 지수화할 수 있고, 이에 따라 불량률 데이터의 이상 여부를 감지할 수 있다. 다만, 반도체 산업 분야처럼 불량률이 수 PPM 수준으로 매우 낮은 경우, 불량률 데이터를 정규 분포로 근사하여 이상 여부를 감지하는 방법은 전술한 과소 추정 문제를 발생시킬 수 있다.
따라서, 본 발명의 일 실시예에 따른 이상 감지 방법은 이항 분포 기반의 정확 검정(Exact Test)을 이용함으로써 과소 추정 문제를 방지하고 감지 정확성을 개선할 수 있다. 계산된 유의 확률(p-value)에 기초하여 감지 시점에서의 감지 불량률을 계산할 수 있다(S240).
일례로, 본 발명의 일 실시예에 따른 이상 감지 방법에 이용되는 감지 불량률은 감지 시점에서의 불량률이 유의한 정도를 의미할 수 있다. 한편, 도 3에 도시된 플로우 차트의 S240의 단계는 도 2에 도시된 플로우 차트의 S110의 단계에 대응할 수 있다.
불량률 데이터 X가 모비율이 p인 이항 분포를 따를 때, 감지 불량률(APk)은 수학식 1에 의해 계산될 수 있다.
Figure pat00001
여기서, pvalue는 기준 불량률보다 큰 불량률이 감지될 유의 확률일 수 있으며, 감지 시점에서의 불량률이 과거 복수의 시점들에서의 불량률 데이터에 의해 계산된 기준 불량률 대비 얼마나 희박하게 발생하는 사건인지를 의미할 수 있다. 일례로, pvalue는 수학식 2와 같은 조건부 확률의 형태로 계산될 수 있다.
Figure pat00002
여기서, pref는 감지 시점 이전의 소정의 구간에 포함된 복수의 시점들에서의 불량률에 기초하여 계산된 기준 불량률일 수 있다. 일례로, pref는 수학식 3에 의해 계산될 수 있다.
Figure pat00003
여기서, j는 소정의 구간의 길이일 수 있고, k는 소정의 구간이 시작할 때부터 감지 시점까지의 길이일 수 있다. 한편, xk는 감지 시점에서의 불량 표본의 개수일 수 있고, nk는 상기 감지 시점에서의 모집단의 개수, 즉 샘플 수일 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법에서, 계산된 감지 불량률은 불량 인자를 계산하는데 이용될 수 있다. 계산된 불량 인자는 제어 한계선에 대응하는 인자의 크기와 비교될 수 있고, 비교 결과에 기초하여 감지 시점에서의 불량률 데이터의 이상 여부가 감지될 수 있다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 이상 감지 방법의 효과를 설명하기 위한 도면들이다.
도 4는 복수의 시점들에서 도 3에 도시된 플로우 차트의 단계에 따라 계산된 감지 불량률의 일례일 수 있다. 도 4의 감지 불량률 그래프는 불량률이 정상 상태에 있는 제1 지점(B)과 불량률이 이상 상태에 있는 제2 지점(C)이 도시될 수 있다.
도 5 및 도 6 각각은 불량률이 이상 상태에 있는 제2 지점(C)에 대응하는 시점과 불량률이 정상 상태에 있는 제1 지점(B)에 대응하는 시점에서 계산된 유의 확률을 설명하기 위한 도면들일 수 있다.
도 4를 참조하면, 제1 지점(B)에서의 감지 불량률을 계산하기 위해 제1 지점(B)에 대응하는 시점 이전의 소정의 구간에 포함되는 복수의 시점들에서의 불량률 데이터가 수집될 수 있다. 마찬가지로, 제2 지점(C)에서의 감지 불량률을 계산하기 위해 제2 지점(C)에 대응하는 시점 이전의 소정의 구간에 포함되는 복수의 시점들에서의 불량률 데이터가 수집될 수 있다. 즉, 제1 지점(B) 및 제2 지점(C)에서의 감지 불량률을 계산하기 위해 수집되는 불량률 데이터는 서로 다를 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법에서, 상기 수학식 3을 이용하여 제1 지점(B) 및 제2 지점(C)에서의 감지 불량률을 계산하기 위한 기준 불량률(Cref, Bref)이 계산될 수 있다. 일례로, 제1 지점(B)에서의 감지 불량률을 계산하기 위한 제1 기준 불량률(Bref)은 제2 지점(C)에서의 감지 불량률을 계산하기 위한 제2 기준 불량률(Cref)과 다를 수 있다.
도 4에서, 제1 지점(B)은 불량률이 정상 상태에 있는 시점에 대응하고, 제2 지점(C)은 불량률이 이상 상태에 있는 시점에 대응하므로, 제1 기준 불량률(Bref)은 제2 기준 불량률(Cref)보다 작을 수 있다. 다만, 이는 일 실시예에 불과할 뿐 한정되지 않을 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법에서, 상기 수학식 1 및 수학식 2를 이용하여 제1 지점(B) 및 제2 지점(C)에서의 감지 불량률을 계산할 수 있다. 일례로, 제1 지점(B)에서의 감지 불량률은 약 0.075%일 수 있고, 제2 지점(C)에서의 감지 불량률은 약 0.22%일 수 있다. 다만, 이는 일 실시예에 불과할 뿐 한정되지 않는다.
도 5 및 도 6을 참조하면, 제1 지점(B) 및 제2 지점(C)에 대응하는 시점에서 수집된 불량률 데이터로부터 유의 확률을 계산할 수 있다. 일례로, 도 5는 불량률이 이상 상태에 있는 제2 지점(C)에 대응하는 시점에서 수집된 불량률 데이터로부터 계산된 유의 확률을 나타낼 수 있다. 한편, 도 6은 불량률이 정상 상태에 있는 제1 지점(B)에 대응하는 시점에서 수집된 불량률 데이터로부터 계산된 유의 확률을 나타낼 수 있다. 불량률이 정상 상태에 있는 경우의 유의 확률은 불량률이 이상 상태에 있는 경우의 유의 확률보다 작을 수 있다.
도 5 및 도 6에서 설명된 예시처럼, 본 발명의 일 실시예에 따른 이상 감지 방법은 정확 검정을 이용하여 불량률의 이상 여부를 감지함으로써, 불량률의 제어 한계선이 과소 추정되는 문제를 해결할 수 있다. 또한, 본 발명의 일 실시예에 따른 이상 감지 방법은 불량률의 유의 확률을 불량률의 절대적인 수치가 아닌 0 내지 1 사이의 값으로 변환하여 표현함으로써, 제어 한계선 및 평균 불량률의 크기가 다른 제품들의 불량률 수준도 서로 비교할 수 있다.
도 7은 본 발명의 일 실시예에 따른 이상 감지 방법을 설명하기 위한 플로우 차트이다.
도 7에 도시된 플로우 차트는, 도 2에 도시된 플로우 차트에 따른 이상 감지 방법에 포함된 가중치 계산 단계를 설명하기 위한 도면일 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 이상 감지 방법은 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터를 수집하는 것으로 시작될 수 있다(S310). 한편, 수집된 불량률 데이터를 이용하여 감지 시점에서의 불량률 데이터의 이상 여부를 감지하는데 이용되는 기준 불량률을 계산할 수 있다(S320). S310 및 S320의 단계는 도 3에 도시된 플로우 차트의 S210 및 S220의 단계에 대응할 수 있다. 일례로, 감지 시점에서의 불량률 데이터의 이상 여부를 감지하기 위해 통계적 가설 검정이 이용될 수 있다.
일반적인 이상 감지 방법 및 불량률 관리 방법은 불량률의 비정상적인 상승 경향을 감지할 수는 있으나, 목표 불량률을 고려하여 관리 방향을 결정하기 어렵다는 단점이 있다. 일례로, 불량률이 안정적으로 제어될 수 있는 안정(stable) 영역에서 불량률 상승이 있는 경우와 목표 불량률에 인접한 경보(alert) 영역에서 불량률 상승이 있는 경우는, 불량률 상승 정도가 동일하더라도 다르게 관리되어야 할 수 있다. 다만, 기존의 이상 감지 방법은 목표 불량률이 설정되어 있더라도 이를 고려할 수 없어 불량률이 안정적인 범위에서 변화하는 경우에도 불량률 데이터에서 이상이 감지되는 등의 노이즈가 발생할 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법은, 목표 불량률 데이터를 중심으로 불량률 데이터의 상태에 대응하는 영역들을 세분화하여 관리함으로써 불필요한 노이즈의 발생을 방지할 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법은, 복수의 상태 영역들을 정의하기 위해, 계산된 기준 불량률을 이용하여 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터의 표준 편차를 계산하는 단계를 포함할 수 있다(S330). 불량률 데이터의 표준 편차는 수학식 4에 의해 계산될 수 있다.
Figure pat00004
여기서 pref는 기준 불량률일 수 있고, n은 제품의 평균 출하 물량일 수 있다.
불량률 데이터의 크기는 계산된 표준 편차에 기초하여 복수의 상태 영역들로 정의될 수 있다(S340). 감지 시점에서의 불량률 데이터는 정의된 복수의 상태 영역들 중 어느 하나의 영역에 대응하는 상태에 놓여 있는 것으로 결정될 수 있다(S350). 일례로, 제품의 불량률은 감지 시점에서의 불량률 데이터의 상태에 기초하여 관리될 수 있다.
한편, 본 발명의 일 실시예에 따른 이상 감지 방법은 감지 시점에서의 불량률 데이터와 목표 불량률 데이터의 차이에 기초하여 가중치를 계산할 수 있다(S360). 가중치는 불량률 데이터의 크기 증가에 대하여 얼마나 민감하게 비정상적인 증가가 발생한 것으로 감지할 것인지를 결정할 수 있다. 즉, 본 발명의 일 실시예에 따른 이상 감지 방법은 불량률 데이터의 크기가 목표 불량률 데이터의 크기보다 작을 때 가중치를 이용하여 불량률 데이터의 상승 추세에 대한 민감도를 조절할 수 있다.
일례로, 감지 시점에서의 불량률 데이터의 크기와 목표 불량률 데이터의 크기 차이가 작을수록 가중치는 큰 값을 가질 수 있다. 이에 따라, 불량률 데이터가 목표 불량률 데이터에 근접한 경우, 불량률 데이터의 상승을 민감하게 받아들일 수 있다. 반대로 불량률 데이터가 목표 불량률 데이터와 멀어질수록 불량률 데이터의 상승을 둔감하게 받아들일 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법에서, 가중치는 수학식 5에 의해 계산될 수 있고, 수학식 5에 따른 가중치(W(zk))는 활성화 함수(Activation Function)에 불량률 데이터와 목표 불량률 데이터의 크기 차이를 대입함으로써 계산될 수 있다. 일례로, 본 발명의 일 실시예에 따른 이상 감지 방법에 사용된 활성화 함수는 Leaky-ReLU 함수일 수 있다. 다만, 이는 일 실시예에 불과할 뿐 한정되지 않을 수 있다.
Figure pat00005
여기서, a는 미리 결정된 상수인 제1 기울기일 수 있고, b는 미리 결정된 상수인 제2 기울기일 수 있으며, zk는 수학식 6에 따라 계산될 수 있다.
Figure pat00006
여기서, xk는 감지 시점에서의 불량 표본의 개수일 수 있고, nk는 상기 감지 시점에서의 모집단의 개수, 즉 샘플 수일 수 있다. 한편, Target은 목표 불량률 데이터일 수 있고, σ는 수학식 4에 의해 계산된 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터의 표준 편차일 수 있다.
가중치는 임계점을 기준으로 서로 상이한 제1 기울기 및 제2 기울기를 적용하여 계산될 수 있다. 일례로, 임계점은 불량률 데이터가 목표 불량률 데이터와 표준 편차의 차와 동일한 지점에 해당할 수 있고, 제1 기울기 및 제2 기울기는 별도의 최적화 작업에 의해 결정될 수 있다.
도 8은 본 발명의 일 실시예에 따른 이상 감지 방법에서 정의되는 복수의 상태 영역들을 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 이상 감지 방법에서, 불량률 데이터는 복수의 상태 영역들 중 하나에 대응하는 상태에 놓인 것으로 정의될 수 있다. 일례로, 복수의 상태 영역들은 제1 영역(Z1), 제2 영역(Z2), 및 제3 영역(Z3)을 포함할 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법에서, 감지 시점에서의 불량률 데이터의 상태는 복수의 상태 영역들 중 하나에 대응하는 상태로 결정될 수 있다. 일례로, 감지 시점에서의 불량률 데이터의 상태는 감지 시점에서의 불량률 데이터와 목표 불량률 데이터(Target)의 차이에 기초하여 결정될 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법에서, 제1 영역(Z1)은 감지 시점에서 획득한 불량률 데이터가 정상이며, 정상적으로 관리되고 있음을 나타내는 안정 영역일 수 있다. 한편, 제2 영역(Z2)은 감지 시점에서 획득한 불량률 데이터는 정상이나, 불량률 데이터의 지속적인 관찰 및 관리가 필요하다는 것을 나타내는 모니터링 영역일 수 있다. 반면, 제3 영역(Z3)은 감지 시점에서 획득한 불량률 데이터가 정상 범위를 벗어났다는 것을 나타내는 리스크 영역일 수 있다.
따라서, 감지 시점에서의 불량률 데이터가 제1 영역(Z1) 또는 제2 영역(Z2)에 위치하는 경우, 감지 시점에서의 불량률 데이터의 크기는 목표 불량률 데이터(Target)의 크기보다 작을 수 있다. 반면, 감지 시점에서의 불량률 데이터가 제3 영역(Z3)에 위치하는 경우, 감지 시점에서의 불량률 데이터의 크기는 목표 불량률 데이터(Target)의 크기보다 클 수 있다.
한편, 제1 영역(Z1)과 제2 영역(Z2)은 서로 인접한 경계를 가질 수 있고, 제2 영역(Z2)과 제3 영역(Z3)도 유사하게 서로 인접한 경계를 가질 수 있다. 즉, 제2 영역(Z2)과 제3 영역(Z3)이 서로 인접한 경계는 목표 불량률 데이터(Target)의 크기에 대응할 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법에서, 제3 영역(Z3)은 감지 시점에서의 불량률 데이터의 크기가 목표 불량률 데이터(Target)의 크기보다 큰 정도에 따라 정의되는 복수의 리스크 영역들(Z3a, Z3b, Z3c, Z3d)을 포함할 수 있다.
도 8을 참조하면, 복수의 리스크 영역들(Z3a, Z3b, Z3c, Z3d)은 네 개로 도시되어 있으나 이는 일 실시예에 불과할 뿐 한정되지 않을 수 있다. 일례로, 제3 영역(Z3)은 네 개 이하의 영역으로 분할되거나 네 개 이상의 영역으로 분할될 수 있다. 이에 따라, 불량률 데이터는 복수의 상태 영역들에 의해 세분화되어 관리될 수 있다.
전술한 바와 같이, 복수의 상태 영역들은 목표 불량률 데이터(Target)를 기준으로 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터의 표준 편차를 이용하여 정의될 수 있다. 일례로, 제2 영역(Z2)과 제3 영역(Z3)의 경계는 목표 불량률 데이터(Target)의 크기에 대응할 수 있고, 제1 영역(Z1)과 제2 영역(Z2)의 경계는 목표 불량률 데이터(Target)의 크기와 불량률 데이터의 표준 편차의 차에 대응할 수 있다.
한편, 제1 영역(Z1), 제2 영역(Z2), 및 복수의 리스크 영역들(Z3a, Z3b, Z3c, Z3d) 각각은 목표 불량률 데이터(Target)의 크기를 기준으로 표준 편차 간격으로 구분될 수 있다. 다만, 이는 일 실시예에 불과할 뿐 한정되지 않을 수 있다. 일례로, 복수의 영역들 사이의 간격은 필요에 따라 다르게 설정될 수도 있다.
도 7 및 도 8을 함께 참조하면, 본 발명의 일 실시예에 따른 이상 감지 방법은 감지 시점에서의 불량률 데이터와 목표 불량률 데이터(Target)의 차이에 기초하여 가중치 및 복수의 상태 영역을 정의할 수 있다. 이에 따라, 불량률 데이터의 상승 추세가 있는 경우 불량률 데이터의 상승 추세가 비정상적인지 여부를 정확하고 세밀하게 감지할 수 있다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 이상 감지 방법의 효과를 설명하기 위한 도면들이다.
도 9는 감지 시점에서 수집된 불량률 데이터에 가중치를 적용하지 않은 경우의 불량률 데이터 처리 결과를 도시한 도면일 수 있다. 반면, 도 10은 감지 시점에서 수집된 불량률 데이터에 도 7 및 도 8에서 설명한 가중치를 적용한 경우의 불량률 데이터 처리 결과를 도시한 도면일 수 있다.
도 2에 도시된 플로우 차트를 참조하면, 본 발명의 일 실시예에 따른 이상 감지 방법은 계산된 감지 불량률과 가중치를 곱하여 불량 인자(Abnormality Index)를 획득하는 단계(S130)를 포함할 수 있다. 일례로, 불량 인자는 감지 시점에서의 불량률 데이터가 실제로 얼마나 비정상적으로 증가하는지를 나타내는 지표일 수 있다.
도 7 및 도 8을 참조하면, 가중치는 불량률 데이터와 목표 불량률 데이터(Target)의 차이에 기초하여 계산될 수 있다. 일례로, 가중치는 전술한 수학식 5에 의해 계산될 수 있다. 가중치 계산에 적용되는 제1 기울기와 제2 기울기를 결정하는 기준이 되는 임계점은 제1 영역(Z1) 및 제2 영역(Z2)의 경계에 대응할 수 있다.
즉, 제1 영역(Z1)에 대응하는 상태를 갖는 불량률 데이터에 기초한 가중치는 제1 기울기가 적용된 활성화 함수에 의해 계산될 수 있다. 한편, 제2 영역(Z2)에 대응하는 상태를 갖는 불량률 데이터에 기초한 가중치는 제2 기울기가 적용된 활성화 함수에 의해 계산될 수 있다.
도 9 및 도 10을 참조하면, 불량률 데이터는 백만개 당 불량 표본의 개수를 의미할 수 있다. 본 발명의 일 실시예에 따른 이상 감지 방법은 감지 시점에서의 불량률 데이터와 목표 불량률 데이터(Target)를 비교함으로써 감지 시점에서의 불량률 데이터의 상태를 판단할 수 있다. 한편, 이상 감지 방법은 불량 인자와 제어 한계선(Control Limit)을 비교함으로써 감지 시점에서의 불량률의 변화가 비정상적인지 여부를 판단할 수 있다.
도 9를 참조하면, 불량 인자의 계산에 가중치를 적용하지 않는 경우에는 감지 시점에서의 불량률 데이터와 목표 불량률 데이터(Target)의 크기 차이와 무관하게 불량률 데이터의 상승 추세가 불량 인자에 반영될 수 있다. 일례로, 불량률 데이터의 상승 추세를 불량 인자에 반영하는 과정에서, 불량률 데이터가 복수의 상태 영역 중 안정 영역에 위치하는 경우와 불량률 데이터가 복수의 상태 영역 중 모니터링 영역에 위치하는 경우는 서로 구별되지 않을 수 있다.
일례로, M3 내지 M4 사이의 구간에 포함된 복수의 시점들에서 수집된 불량률 데이터의 상승은 목표 뷸량률 데이터(Target)와 상당한 차이가 있음에도 불구하고 비정상적인 상승으로 감지될 수 있다. 이에 따라, M3 내지 M5 사이의 구간에서 실제 불량률 데이터의 크기는 목표 불량률 데이터(Target)의 크기보다 작고, 불량률이 제어할 수 있는 범위 내에 있어 불량률을 안정화할 수 있음에도, 계산된 불량 인자는 제어 한계선(Control Limit)을 초과하는 것으로 나타날 수 있다.
도 10을 참조하면, 불량 인자의 계산에 가중치를 적용하는 경우에는 감지 시점에서의 불량률 데이터와 목표 불량률 데이터(Target)의 크기 차이에 따라 불량률 데이터의 상승 추세가 불량 인자에 반영되는 정도가 다를 수 있다. 일례로, 불량률 데이터가 동일한 수준만큼 상승하더라도, 불량률 데이터가 복수의 상태 영역 중 안정 영역에 위치하는 경우보다 불량률 데이터가 복수의 상태 영역 중 모니터링 영역에 위치하는 경우에 불량률 데이터의 상승이 불량 인자에 더 민감하게 반영될 수 있다.
일례로, M3 내지 M4 사이의 구간에 포함된 복수의 시점들에서 수집된 불량률 데이터의 크기가 증가하였으나, 여전히 목표 뷸량률 데이터(Target)와는 상당한 차이가 있으므로 불량 인자에는 비정상적인 상승으로 반영되지 않을 수 있다. 이에 따라, M3 내지 M5 사이의 구간에서 계산된 불량 인자는 제어 한계선(Control Limit)을 초과하지 않는 것으로 나타날 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 이상 감지 방법은 가중치를 이용하여 불량 인자를 계산하고, 불량 인자를 이용하여 불량률의 이상 여부를 감지함으로써, 가중치를 이용하지 않는 경우에 발생할 수 있는 노이즈 문제를 개선할 수 있다. 또한, 이상 감지 방법은 복수의 상태 영역을 정의함으로써 세분화된 기준으로 가중치를 계산하고 불량률 데이터를 관리할 수 있다.
도 11은 본 발명의 일 실시예에 따른 이상 감지 방법을 설명하기 위한 플로우 차트이다.
도 11에 도시된 플로우 차트는, 도 2에 도시된 플로우 차트에 따른 이상 감지 방법에 포함된 이상 감지 수행 단계를 설명하기 위한 도면일 수 있다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 이상 감지 방법은 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터로부터 감지 불량률 및 가중치를 계산하는 단계를 포함할 수 있다(S410).
일례로, 감지 불량률은 불량률 데이터로부터 계산된 기준 불량률과 감지 시점에서의 불량률 데이터에 기초하여 계산될 수 있다. 또한, 가중치는 감지 시점에서의 불량률 데이터와 목표 불량률 데이터의 차이에 기초하여 계산될 수 있다. S410의 단계는 도 3 및 도 7에서 설명한 본 발명의 일 실시예에 따른 이상 감지 방법의 단계들에 대응할 수 있다. 다만, 이는 일 실시예에 불과할 뿐 한정되지 않을 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법은 계산된 감지 불량률과 가중치를 곱하여 불량 인자를 계산하는 단계를 포함할 수 있다(S420). 계산된 불량 인자를 이용하여 감지 시점에서의 불량률 데이터의 변화가 실제 제어할 수 있는 범위를 초과하는지 여부를 확인하고, 감지 시점에서의 불량률 데이터의 이상 여부를 감지할 수 있다.
즉, 본 발명의 일 실시예에 따른 이상 감지 방법에 따라 불량 인자의 값과 제어 한계선에 대응하는 인자의 크기가 비교될 수 있다(S430). 일례로, 불량 인자의 값이 제어 한계선에 대응하는 인자의 크기보다 작은 경우에는 감지 시점에서의 불량률이 안정 상태에 있는 것으로 판단될 수 있다(S453).
반면, 불량 인자의 값이 제어 한계선에 대응하는 인자의 크기보다 큰 경우에는 감지 시점에서의 불량률 데이터의 크기와 목표 불량률 데이터의 크기가 비교될 수 있다(S440). 일례로, 불량 인자의 값이 제어 한계선에 대응하는 인자의 크기보다 크나, 불량률 데이터의 크기가 목표 불량률 데이터를 만족하는 경우, 즉 불량률 데이터의 크기가 목표 불량률 데이터의 크기보다 작은 경우에는 감지 시점에서의 불량률이 경보 상태에 있는 것으로 판단될 수 있다(S452).
한편, 불량 인자의 값이 제어 한계선에 대응하는 인자의 크기보다 크고, 불량률 데이터의 크기가 목표 불량률 데이터보다 큰 경우에는 감지 시점에서의 불량률이 과도 상태에 있는 것으로 판단될 수 있다(S451).
본 발명의 일 실시예에 따른 이상 감지 방법에서, 경보 상태는 감지 시점에서는 불량률에 문제가 없으나, 제어를 벗어나는 비이상적인 상승이 감지됨에 따라 목표 불량률 데이터를 벗어나는 불량률 데이터가 조만간 감지될 수 있음을 의미하는 상태일 수 있다. 이에 따라, 경보 상태가 감지되면 관리자는 적극적으로 불량률의 관리를 수행할 수 있다.
한편, 과도 상태는 감지 시점에서 이미 불량률에 문제가 발생했음을 의미하는 상태일 수 있다. 이에 따라, 과도 상태가 감지되면 관리자는 내부 품질을 개선하여 불량률을 개선할 수 있다.
본 발명의 일 실시예에 따른 이상 감지 방법에 따라 과도 상태의 불량률이 감지되기 전에 경보 상태의 불량률을 선제적으로 감지하여 대처할 수 있고, 이에 따라, 불량률이 과도 상태에 도달하지 않고 안정 상태를 유지하도록 불량률을 효과적으로 관리할 수 있다.
즉, 본 발명의 일 실시예에 따른 이상 감지 방법은 소정의 시간 간격으로 수집된 불량률 데이터의 비정상적인 상승을 사전에 감지하여, 감지 시점에서의 감지 불량률이 목표 불량률을 초과할 위험을 정량화하여 관리하도록 할 수 있다.
도 12는 본 발명의 일 실시예에 따른 이상 감지 방법의 적용례를 설명하기 위한 도면이다. 도 13a 내지 도 13c는 본 발명의 일 실시예에 따른 이상 감지 방법의 적용례를 설명하기 위한 도면들이다.
도 12, 및 도 13a 내지 도 13c를 참조하면, 현재 시점에서의 불량률 데이터들은 모두 목표 불량률 데이터(Target)를 초과한 상태일 수 있다. 다만, 본 발명의 일 실시예에 따른 이상 감지 방법을 적용함으로써, 복수의 감지 시점들에서 수집한 불량률 데이터에 기초하여, 특정 시점 이후의 불량률 데이터들이 목표 불량률 데이터(Target)를 초과할 것임을 선제적으로 감지하고 이에 적절히 대처할 수 있다.
감지 시점에서의 불량률 데이터에 대응하는 불량 인자가 제어 한계선(Control Limit)에 대응하는 인자보다 작은 경우, 감지 시점에서의 불량률 데이터는 안정 상태로 결정될 수 있다. 일례로 도 12를 참조하면, 불량 인자가 제어 한계선(Control Limit)에 대응하는 인자와 같아지는 제1 지점(D) 이전의 시점들인 M1 내지 M4에서 수집된 불량률 데이터들은 안정 상태에 있을 수 있다.
한편, 감지 시점에서의 불량률 데이터에 대응하는 불량 인자가 제어 한계선(Control Limit)에 대응하는 인자보다 큰 경우, 감지 시점에서의 불량률 데이터의 크기와 목표 불량률 데이터(Target)의 크기가 비교될 수 있고, 감지 시점에서의 불량률 데이터의 크기가 목표 불량률 데이터(Target)의 크기보다 작은 경우, 감지 시점에서의 불량률 데이터의 상태는 경보 상태로 결정될 수 있다.
도 12를 참조하면, 불량 인자가 제어 한계선(Control Limit)에 대응하는 인자보다 커지기 시작하는 제1 지점(D)과 불량률 데이터의 크기가 목표 불량률 데이터(Target)의 크기와 동일한 제2 지점(E) 사이의 시점들인 M5 및 M6에서 수집된 불량률 데이터들은 경보 상태에 있을 수 있다. 즉, M5 및 M6에서 본 발명의 일 실시예에 따른 이상 감지 방법에 따라 불량률 데이터의 크기가 목표 불량률 데이터(Target)의 크기보다 작음에도 불구하고 불량률 데이터의 크기가 지속적으로 증가할 수 있음을 판단할 수 있다.
또한, 감지 시점에서의 불량률 데이터의 크기가 목표 불량률 데이터(Target)의 크기보다 큰 경우, 감지 시점에서의 불량률 데이터의 상태는 과도 상태로 결정될 수 있다. 도 12를 참조하면, 불량률 데이터의 크기가 목표 불량률 데이터(Target)의 크기보다 커지기 시작하는 제2 지점(E) 이후의 시점들인 M7 내지 M9에서 수집된 불량률 데이터들은 과도 상태에 있을 수 있다.
일례로, M1 내지 M4 사이의 제1 시점에서의 불량률 데이터가 안정 상태에 있고, M7 내지 M9 사이의 제2 시점에서의 불량률 데이터가 과도 상태에 있는 경우, 제1 시점 및 제2 시점 사이의 제3 시점에서의 불량률 데이터는 경보 상태에 있을 수 있다. 즉, 과도 상태에 있는 불량률 데이터를 획득하기 전에, 경보 상태에 있는 불량률 데이터에 기초하여 계산된 불량 인자를 획득할 수 있다. 이를 통해, 본 발명의 일 실시예에 따른 이상 감지 방법을 적용함으로써, 불량률이 과도 상태에 도달하지 않도록 선제적으로 관리할 수 있다.
도 13a 내지 도 13c는 본 발명의 일 실시예에 따른 이상 감지 방법이 서로 다른 제품에 적용된 경우를 설명하기 위한 도면들일 수 있다.
도 13a를 참조하면, M1 내지 M6 시점에서 해당 제품의 불량률은 감지된 불량률 데이터가 목표 불량률 데이터를 초과하는 과도 상태에 있을 수 있고, 내부 품질 관리에 따라 점차적으로 개선되었을 수 있다. 한편, 해당 제품의 불량률은 M7 내지 M8 시점들에서 안정 상태를 유지하다가 제1 지점(Da)에서 경보 상태가 감지되고, 제2 지점(Ea)에서 과도 상태가 감지되었을 수 있다.
본 발명의 이상 감지 방법에 따라, 내부 품질 관리가 이루어진 제품에 대하여 불량률 데이터의 변화를 선제적으로 감지함으로써 지속적인 내부 품질 관리를 효과적으로 수행할 수 있다.
도 13b를 참조하면, M1 내지 M8 시점에서 해당 제품의 불량률은, 수 차례의 등락이 있음에도 감지된 불량 인자가 제어 한계선(Control Limit)을 초과하지 않는 안정 상태에 있을 수 있다. 한편, 해당 제품의 불량률은 제1 지점(Db)에서 경보 상태가 감지되고, 제2 지점(Eb)에서 과도 상태가 감지되었을 수 있다.
본 발명의 이상 감지 방법에 따라, 제품의 불량률의 등락이 있더라도 목표 불량률 데이터(Target)를 고려한 가중치를 이용함으로써 노이즈 문제 없이 제품의 불량률 데이터의 비정상적인 상승을 정확하게 감지할 수 있다.
도 13c를 참조하면, M1 내지 M3 시점에서 해당 제품의 불량률은, 불량 인자가 제어 한계선(Control Limit)을 초과하지 않는 안정 상태에 있을 수 있다. 한편, 해당 제품의 불량률은 제1 지점(Dc)에서 경보 상태가 감지되고, 제2 지점(Ec)에서 과도 상태가 감지되었을 수 있다.
도 13a 내지 도 13c를 참조하면, 본 발명의 일 실시예에 따른 이상 감지 방법은 서로 다른 제품들에 적용되는 경우에도 제어 한계선(Control Limit) 및 목표 불량률 데이터(Target)가 주어지면 동일한 기준으로 이상 감지를 수행할 수 있다. 이에 따라, 서로 다른 제품들 사이에서의 불량률을 효과적으로 비교할 수 있다.
본 발명은 상술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술 분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.
P(x): 확률 밀도 x: 랜덤 변수
Z1: 제1 영역 Z2: 제2 영역
Z3: 제3 영역 Failure Index: 불량률 데이터
Target: 목표 불량률 데이터 Abnormality Index: 불량 인자
Control Limit: 제어 한계선

Claims (10)

  1. 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터를 이용하여 기준 불량률을 계산하는 단계;
    상기 기준 불량률을 이용하여 상기 소정의 구간 이후의 감지 시점에서의 불량률 데이터에 대응하는 감지 불량률 및 가중치를 계산하는 단계;
    상기 감지 불량률과 상기 가중치를 곱하여 불량 인자를 계산하는 단계;
    상기 불량 인자의 값과 불량률을 안정적으로 제어할 수 있는 제어 한계선에 대응하는 인자의 크기를 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 감지 시점에서의 불량률 데이터의 이상 여부를 감지하는 단계; 를 포함하는 이상 감지 방법.
  2. 제1항에 있어서,
    상기 감지 시점에서의 불량률 데이터의 크기와 미리 설정된 목표 불량률 데이터의 크기를 비교하는 단계; 를 더 포함하는 이상 감지 방법.
  3. 제2항에 있어서,
    상기 감지 시점에서의 불량률 데이터의 상태는, 상기 감지 시점에서의 불량률 데이터와 상기 목표 불량률 데이터의 크기 차이에 기초하여 복수의 상태 영역들 중 하나에 대응하는 상태로 결정되는 이상 감지 방법.
  4. 제2항에 있어서,
    상기 감지 시점에서의 불량률 데이터의 크기와 상기 목표 불량률 데이터의 크기 차이가 작을수록 상기 가중치는 큰 값을 갖는 이상 감지 방법.
  5. 제1항에 있어서,
    상기 감지 시점에서의 불량률 데이터에 대응하는 상기 불량 인자가 상기 제어 한계선에 대응하는 인자보다 작은 경우, 상기 감지 시점에서의 불량률 데이터의 상태는 안정 상태로 결정되는 이상 감지 방법.
  6. 제5항에 있어서,
    상기 감지 시점에서의 불량률 데이터에 대응하는 상기 불량 인자가 제어 한계선에 대응하는 인자보다 큰 경우, 상기 감지 시점에서의 불량률 데이터의 크기와 목표 불량률 데이터의 크기를 비교하고,
    상기 감지 시점에서의 불량률 데이터의 크기가 상기 목표 불량률 데이터의 크기보다 작은 경우, 상기 감지 시점에서의 불량률 데이터의 상태는 경보 상태로 결정되는 이상 감지 방법.
  7. 제1항에 있어서,
    과도 상태에 있는 불량률 데이터를 획득하기 전에, 경보 상태에 있는 불량률 데이터에 기초하여 계산된 상기 불량 인자를 획득하는 이상 감지 방법.
  8. 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터를 이용하여 기준 불량률을 계산하는 단계;
    상기 기준 불량률, 및 상기 소정의 구간 이후의 감지 시점에서의 불량률 데이터를 이용하여 정확 검정(Exact test)에 따라 감지 불량률을 계산하는 단계;
    상기 감지 불량률을 이용하여 불량 인자를 계산하는 단계; 및
    상기 불량 인자의 값에 기초하여 상기 감지 시점에서의 불량률 데이터의 이상 여부를 감지하는 단계; 를 포함하는 이상 감지 방법.
  9. 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터를 이용하여 기준 불량률을 계산하는 단계;
    상기 기준 불량률을 이용하여 상기 소정의 구간에 포함된 복수의 시점들에서의 불량률 데이터의 표준 편차를 계산하는 단계;
    상기 표준 편차에 기초하여 구분되는 제1 영역, 제2 영역, 및 제3 영역을 포함하고, 상기 제2 영역과 상기 제3 영역의 경계는 목표 불량률 데이터의 크기에 대응하는 복수의 상태 영역들을 정의하는 단계;
    상기 복수의 상태 영역들 중 상기 소정의 구간 이후의 감지 시점에서의 불량률 데이터의 상태에 대응하는 영역을 결정하는 단계; 및
    상기 감지 시점에서의 불량률 데이터와 상기 목표 불량률 데이터의 차이에 기초하여 가중치를 계산하는 단계; 를 포함하는 이상 감지 방법.
  10. 제9항에 있어서,
    상기 제1 영역에 대응하는 상태를 갖는 불량률 데이터에 기초하여 가중치를 계산할 때 사용되는 제1 기울기는, 상기 제2 영역 및 상기 제3 영역에 대응하는 상태를 갖는 불량률 데이터에 기초하여 가중치를 계산할 때 사용되는 제2 기울기와 상이한 이상 감지 방법.
KR1020210122546A 2021-09-14 2021-09-14 이상 감지 방법 KR20230039873A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210122546A KR20230039873A (ko) 2021-09-14 2021-09-14 이상 감지 방법
US17/739,528 US20230085028A1 (en) 2021-09-14 2022-05-09 Method of detecting abnormality
CN202211106140.8A CN115810554A (zh) 2021-09-14 2022-09-09 检测异常的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210122546A KR20230039873A (ko) 2021-09-14 2021-09-14 이상 감지 방법

Publications (1)

Publication Number Publication Date
KR20230039873A true KR20230039873A (ko) 2023-03-22

Family

ID=85478777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210122546A KR20230039873A (ko) 2021-09-14 2021-09-14 이상 감지 방법

Country Status (3)

Country Link
US (1) US20230085028A1 (ko)
KR (1) KR20230039873A (ko)
CN (1) CN115810554A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116884517B (zh) * 2023-09-06 2023-12-22 合肥金星智控科技股份有限公司 在线检测设备及其显示方法、装置、介质
CN116975768B (zh) * 2023-09-22 2023-12-19 山东爱福地生物股份有限公司 一种肥料安全生产的数据异常检测方法
CN117078281B (zh) * 2023-10-17 2024-01-09 肥城恒丰塑业有限公司 一种防音布生产防伪溯源管理方法及系统
CN117148091B (zh) * 2023-11-01 2024-02-06 杭州高坤电子科技有限公司 一种半导体测试方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN115810554A (zh) 2023-03-17
US20230085028A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
KR20230039873A (ko) 이상 감지 방법
CN107871190B (zh) 一种业务指标监控方法及装置
US20130080367A1 (en) Agreement breach prediction system, agreement breach prediction method and agreement breach prediction program
US11640328B2 (en) Predicting equipment fail mode from process trace
US11630028B2 (en) Method and controller for deciding whether a bearing is faulty or not
US7949497B2 (en) Machine condition monitoring using discontinuity detection
JP2020052740A (ja) 異常検知装置、異常検知方法及びプログラム
US7062409B2 (en) System for, method of and computer program product for detecting failure of manufacturing apparatuses
CN108399115B (zh) 一种运维操作检测方法、装置及电子设备
US10346509B2 (en) Sampling data processing device, sampling data processing method, and computer program
CN110134536B (zh) 数据处理方法、数据处理装置及记录介质
JP2009217555A (ja) ネットワーク異常判定装置
CN111258863B (zh) 数据异常检测方法、装置、服务器和计算机可读存储介质
KR101538548B1 (ko) 컴퓨터가 수행하는 극소불량률 관리 방법
JP2007164346A (ja) 決定木変更方法、異常性判定方法およびプログラム
CN111353127A (zh) 一种单变点检测方法、系统、设备及存储介质
CN113434823B (zh) 数据采集任务异常预警方法、装置、计算机设备和介质
KR101615345B1 (ko) 반도체 생산 공정에서 센서 데이터들을 이용하여 웨이퍼의 수율을 분석하는 방법
JP2023036469A (ja) 外れ値検出装置及び方法
CN111767938B (zh) 一种异常数据检测方法、装置及电子设备
CN114821985A (zh) 基于人工智能的工业预警系统及方法
KR101725605B1 (ko) 표면결함 정보를 이용한 강판의 연속결함 검출방법 및 기록매체
Zhang et al. An improved exponential EWMA chart for monitoring time between events
US20220011738A1 (en) Process management device, process management method, and process management program storage medium
CN112997177A (zh) 攻击探测装置、攻击探测方法以及攻击探测程序