KR102417415B1 - 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템 - Google Patents

딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템 Download PDF

Info

Publication number
KR102417415B1
KR102417415B1 KR1020200147241A KR20200147241A KR102417415B1 KR 102417415 B1 KR102417415 B1 KR 102417415B1 KR 1020200147241 A KR1020200147241 A KR 1020200147241A KR 20200147241 A KR20200147241 A KR 20200147241A KR 102417415 B1 KR102417415 B1 KR 102417415B1
Authority
KR
South Korea
Prior art keywords
data
deep learning
product
module
time series
Prior art date
Application number
KR1020200147241A
Other languages
English (en)
Other versions
KR20220061360A (ko
Inventor
이정수
이영철
김정태
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020200147241A priority Critical patent/KR102417415B1/ko
Publication of KR20220061360A publication Critical patent/KR20220061360A/ko
Application granted granted Critical
Publication of KR102417415B1 publication Critical patent/KR102417415B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Abstract

다이캐스팅 공정에서 생산 불량 사례와 같이, 딥러닝을 위한 충분한 산업 데이터의 취득이 곤란한 경우에 적용할 수 있는 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템에 관한 것으로, (a) 각 공정의 양품 데이터를 시계열 데이터 딥러닝 기반으로 시계열 예측 알고리즘 적용하여 시계열 예측 데이터 마련하는 단계, (b) 상기 단계 (a)에서 마련된 시계열 예측 데이터에 대해 시계열 예측 수행 및 잔차 계산을 실행하는 단계, (c) 상기 단계 (b)에서 실행된 잔차를 바탕으로 단일 클래스 분류 알고리즘을 실행하는 단계, (d) 잔차가 클 경우 불량으로 판정하고, 잔차가 작을 경우 양품으로 판정하는 단계를 포함하는 구성을 마련하여, 다이캐스팅 제품의 불량률을 감소시킬 수 있다.

Description

딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템{Die-casting product defect detection method and system based on deep learning anomaly detection}
본 발명은 다이캐스팅 공정의 불량 검출에 이용할 수 있는 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템에 관한 것으로, 특히 다이캐스팅 공정에서 생산 불량 사례와 같이, 딥러닝을 위한 충분한 산업 데이터의 취득이 곤란한 경우에 적용할 수 있는 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템에 관한 것이다.
일반적으로, 다이캐스팅 공정은 자동차, 항공, 전기전자 등 다양한 산업군의 제품을 제작하는 핵심적인 공정이다. 예를 들어, 다이캐스트 머신에 의한 주조는 금형에 알루미늄 용액 등의 용탕을 유입시켜, 응고시켜, 주조품을 취출하는 주조 공정을 포함한다. 주조 부품의 결함에는, 유동 불량(misrun)이나 블로우 홀이 있고, 이들 결함은 결함 전체의 70％를 차지하는 경우도 있다. 모두 금형의 온도 이상에 기인하는 결함이기 때문에, 금형 온도는 다이캐스트 주조 현장에서의 중요한 품질 관리 항목으로서 취급되고 있다. 그러나 다이캐스팅 공정의 환경은 매우 낙후되어 있으며, 스마트 팩토리, 딥러닝 등 최신 기술의 적용은 매우 미흡한 실정이다. 기존 다이캐스팅 제품의 경우 로트(Lot) 단위의 품질 관리를 적용하고 있으며 이는 5~10%에 달하는 높은 불량률의 원인이 된다.
또한, 최근 딥 러닝 활용에 따른 큰 성공으로 인해, 생산 불량 진단, 이상 검출, 구조적 상태 모니터링 및 통합된 시스템 관리 등의 몇 개의 주요 목표에 중점을 두는 산업 응용분야에 대한 기술이 개발되고 있다. 예를 들어 CNN(Convolutional Neural Network)은 반도체 제조 공정 및 육안 검사에서 생산 불량의 검출 및 결함 유형의 분류에 탁월한 성능을 보인 반면, 딥 러닝을 기반으로 하는 새로운 방안은 기계 도구 및 회전형 기계의 남은 수명 추정 및 이상 검출의 오래된 문제점을 해결하도록 제안되었다.
즉 일반적인 딥러닝 알고리즘의 경우 양품, 불량의 정확한 레벨(Label)이 존재하는 데이터 셋 를 이용하여 양품과 불량을 분류하는 방법을 이용한다. 그러나 제조업의 경우 현실적으로 딥러닝 알고리즘을 구성하는데 필요한 데이터를 취득하는 것이 매우 어렵다. 예를 들어, 다이캐스팅 공정에서는 5~10% 수준의 불량이 발생하기 때문에 양품 데이터와 유사한 규모의 불량 데이터를 취득하기 위해서는 필요한 데이터 수의 10배 이상의 실험이 필요하다. 또한, 불량의 원인이 되는 요인도 다양한데 데이터 셋의 구성에서는 검출하고자 하는 모든 불량 유형의 원인별로 방대한 규모의 데이터가 취득되어야 한다. 이를 감안하면 훨씬 더 많은 수의 데이터가 수집되어야 하며 이는 거의 불가능에 가깝다.
이러한 문제를 해결하기 위한 기술의 일 예가 하기 문헌 1 내지 4 등에 개시되어 있다.
예를 들어, 하기 특허문헌 1에는 설비의 정상 공정을 모니터링한 센서 데이터의 학습 전처리 단계, 상기 전처리된 센서 데이터의 차원을 줄이는 학습 특징추출 단계, 중요 그룹의 데이터에 대한 선택을 제공받는 중요데이터 그룹 선정 단계, 상기 선택된 데이터 그룹별로 학습을 수행하여 세부 공정별로 분류기를 구성하는 세부분류기 구성 단계, 상기 구성된 세부 공정별의 분류기를 공정 진행상의 시간 순서에 따라 배치하여 순차적 사슬형태의 단일클래스 분류기를 구성하는 순차적 단일클래스 분류기 구성 단계를 포함하는 공정이상 검출 방법에 대해 개시되어 있다.
또 하기 특허문헌 2에는 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받는 단계, 상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 단계, 상기 변환된 이미지 데이터를 입력으로 신경망부를 학습시키는 단계, 이미지 데이터로 변환된 분석 대상 데이터를 입력받아 학습이 완료된 상기 신경망부에서 상기 분석 대상 시스템의 이상 행위를 검출하거나 예측하는 단계를 포함하는 데이터 이미지화를 이용한 이상 행위 분석 방법에 대해 개시되어 있다.
또한, 하기 특허문헌 3에는 소정 간격으로 취득된 금형의 복수의 서모 화상 데이터, 상기 복수의 서모 화상 데이터에 결부된 교시 데이터에 기초하여, 상기 복수의 서모 화상 데이터 중에서 추출된 연속되는 소정 수의 시계열 화상 데이터를 하나의 샘플 데이터로서 학습하고, 상기 금형의 온도 이상의 예조를 검지하기 위한 추론 모델을 생성하는 모델 생성부와, 상기 금형의 상기 소정 수의 시계열 화상 데이터에 기초하여, 상기 추론 모델을 사용하여 상기 소정 수 앞의 상기 금형의 상기 온도 이상의 예조의 발생을 검지하는 추론 실행부, 상기 추론 실행부가 상기 금형의 상기 온도 이상의 예조의 발생을 검지하였을 때, 소정의 정보를 출력하는 정보 출력부를 갖는 금형 온도 이상 예조 검지 장치에 대해 개시되어 있다.
한편, 하기 특허문헌 4에는 하나 이상의 전자 기기 제조 공정에서 취득한 복수의 시계열 센서 데이터(time-series sensor data)를 수신하는 단계, 상기 복수의 시계열 센서 데이터를 이차원 데이터 어레이 내에 배열하는 단계, 상기 이차원 데이터 어레이를 컨볼루션 신경망 모델에 제공하는 단계, 상기 컨볼루션 신경망 모델을 사용하여 불량 상태와 상관 있는 상기 이차원 데이터 어레이 내의 패턴을 식별하는 단계, 상기 하나 이상의 전자 기기 제조 공정에서 상기 불량 상태의 불량 지표(fault indicator)를 제공하는 단계 및 상기 불량 지표에 기초하여 상기 전자 기기가 불량을 포함하는지를 분류하는 단계를 포함하며, 상기 이차원 데이터 어레이는 상기 컨볼루션 신경망 모델에 대한 입력 데이터의 차원을 가지는 불량 감지 방법에 대해 개시되어 있다.
대한민국 등록특허공보 제10-0980603호(2010.09.01 등록) 대한민국 공개특허공보 제2019-0027237호(2019.03.14 공개) 대한민국 공개특허공보 제2020-0065037호(2020.06.08 공개) 대한민국 공개특허공보 제2020-0096861호(2020.08.14 공개)
상술한 바와 같은 특허문헌 1에는 공정이상 검출에 특별히 중요한 데이터만을 공정이상 검출 영역으로 설정하고 공정의 시간 정보를 추가로 사용하는 방식에 대해 개시되어 있고, 특허문헌 2에는 다중 채널 패킷으로 입력된 데이터를 2차원 어레이로 배열하고 이를 그레이스케일 이미지로 변환하는 방식에 대해 개시되어 있지만, 상기 특허문헌 1 및 2에는 딥러닝을 위한 충분한 산업 데이터의 취득이 곤란한 경우에 적용할 수 있는 기술에 대해 개시되어 있지 않았다.
또 특허문헌 3에 개시된 기술은 시점별 신호를 시간과 주파수 성분으로 변환하고 이를 기준 시간 동안 누적시켜 2차원 이미지로 변환하는 방식이고, 특허문헌 4에 개시된 기술에서는 다양한 전자 기기의 제조 공정에서 취득한 센서 데이터를 머신학습 모델에 적용하여 불량 상태 또는 결함을 감지 또는 예측하는 방식을 적용하였지만, 특허문헌 3 및 4에서도 기존 데이터 취득이 어려운 공정데이터 딥러닝 모듈의 구축에 대한 기술에 대해서는 개시되어 있지 않았다.
또한, 상술한 종래의 기술을 적용하여 측정되는 공정의 시계열 데이터를 기준으로 양품/불량을 판단할 경우에는 공정데이터의 샘플링 비율에 따라 방대한 양의 공정데이터가 입력으로 적용되므로, 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도 상에서 문제점이 발생한다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 다이캐스팅 공정에서 취득되는 온도, 압력 데이터를 딥러닝 이상 감지 알고리즘을 이용하여 분석하여 불량을 검출할 수 있는 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템을 제공하는 것이다.
본 발명의 다른 목적은 기존 데이터 취득이 어려운 공정데이터 딥러닝 모듈을 구축할 수 있는 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법은 딥러닝을 위한 충분한 산업 데이터의 취득이 곤란한 불균형 데이터베이스로 제한된 제조 응용분야에 대한 딥러닝 이상 감지 기반으로 생산 제품의 불량을 검출하는 방법으로서, (a) 각 공정의 양품 데이터를 시계열 데이터 딥러닝 기반으로 시계열 예측 알고리즘 적용하여 시계열 예측 데이터 마련하는 단계, (b) 상기 단계 (a)에서 마련된 시계열 예측 데이터에 대해 시계열 예측 수행 및 잔차 계산을 실행하는 단계, (c) 상기 단계 (b)에서 실행된 잔차를 바탕으로 단일 클래스 분류 알고리즘을 실행하는 단계, (d) 잔차가 클 경우 불량으로 판정하고, 잔차가 작을 경우 양품으로 판정하는 단계를 포함하는 것을 특징으로 한다.
또 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법에서, 상기 단계 (a)에서 시계열 예측에는 MLP(multi layer perception), ResNet(Residual Network), LSTM(Long-Short-Term memory) 및 ResNet-LSTM인 4개의 네트워크를 사용하는 것을 특징으로 한다.
또 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법에서, 상기 단계 (c)에서의 알고리즘은 단일 클래스 SVM(Support Vertor Machines)과 격리 포리스트(Isolation Forest)의 알고리즘을 적용하는 것을 특징으로 한다.
또 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법에서, 상기 단계 (d)에서의 생산 불량은 4개의 시계열 예측과 2개의 분류 방법의 조합인 8개의 상이한 예측에 의해 판단되는 것을 특징으로 한다.
또 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법에서, 상기 단계 (b)에서는 양품/불량을 판단하고자 하는 데이터가 (t1, t2, …, tN) 시점의 (x1, x2, …, xN)의 값들로 이루어져 있을 경우, 시계열 예측을 활용하여 각 시점의 값들을 예측한 (x'1, x'2, …, xN')을 도출한 후, 슬라이딩 윈도우 알고리즘(Sliding window algorithm)을 이용하여 원본 데이터와 재구성 데이터를 평균하여 데이터의 숫자를 감소시키는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 시스템은 딥러닝을 위한 충분한 산업 데이터의 취득이 곤란한 불균형 데이터베이스로 제한된 제조 응용분야에 대한 딥러닝 이상 감지 기반으로 생산 제품의 불량을 검출하는 시스템으로서, 획득된 단일 클래스(One-class) 데이터인 양품 데이터를 학습하여 그 특징을 추출하는 딥러닝 모듈, 상기 딥러닝 모듈을 바탕으로 양품/불량을 판단하고자 하는 데이터를 분석하는 재구성 모듈, 상기 재구성 모듈에서 재구성된 결과를 바탕으로 기존의 양품 데이터와의 유사성을 통해 양품인지 불량인지를 판단하는 단일 클래스 분류 모듈을 포함하는 것을 특징으로 한다.
또 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 시스템에서, 상기 딥러닝 모듈은 제조 데이터의 변화 추이를 예측하는 시계열 예측을 위한 모듈로서, MLP(Multilayer Perceptron), ResNet(Residual Network), 적층된 LSTM 및 결합된 ResNet-LSTM인 4개의 독립적 네트워크를 사용하는 것을 특징으로 한다.
또 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 시스템에서, 상기 재구성 모듈은 잔차(residual) 계산 모듈로서, 잔차들의 평균은 오버랩 없이 슬라이딩 윈도우를 사용하여 상기 단일 클래스 분류 모듈의 입력값으로 변환되는 것을 특징으로 한다.
또 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 시스템에서, 상기 단일 클래스 분류 모듈은 예측 잔차로부터의 불량을 판단하기 위해 단일 클래스 SVM(Support Vertor Machines)과 격리 포리스트(Isolation Forest)의 상이한 알고리즘을 적용하는 것을 특징으로 한다.
또 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 시스템에서, 상기 생산 제품은 다이캐스팅 제품인 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템에 의하면, 다이캐스팅 제품의 양품/불량을 효과적으로 검출하는 딥러닝 기반 알고리즘을 마련하여, 다이캐스팅 제품의 불량률을 감소시킬 수 있다는 효과가 얻어진다.
또 본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템에 의하면, 양품 케이스의 데이터들만을 이용하여 학습이 진행되므로, 기존 데이터 취득이 어려운 공정데이터 딥러닝 모듈 구축이 가능하다는 효과도 얻어진다.
도 1은 본 발명에 따른 딥러닝 이상감지 기반 다이캐스팅 불량 검출 시스템의 블록도,
도 2는 도 1에 도시한 딥러닝 이상감지 기반 다이캐스팅 불량 검출 시스템의 구성도,
도 3은 본 발명에 적용되는 (a) 다이캐스팅 장비 및 (b) 샘플 제품의 사진,
도 4는 시계열 예측 모듈로서 딥러닝 모듈에 의해 사용되는 신경망의 구조를 설명하기 위한 도면,
도 5는 시간 예측 네트워크의 학습 에포크에 대한 평균 제곱 오차의 플롯을 나타낸 도면,
도 6은 신경망으로 학습되지 않은 테스트 데이터의 샘플 사례에 대한 측정값과 신경망의 예측값을 비교한 도면,
도 7은 원시 측정 데이터의 2차원 t-SNE 플롯,
도 8은 MLP 및 ResNet의 잔차의 t-SNE 플롯,
도 9는 LSTM 및 ResNet-LSTM의 잔차의 t-SNE 플롯.
본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.
본원에서 사용하는 "딥러닝 모듈"은 CNN(Convolutional Neural Network) 구조를 기반으로 마련될 수 있으며, 이 CNN은 인공 신경 회로망(ANN, Artificial Neural Networks)의 일종이며, 인공 신경 회로망은 신경 뉴런(Neuron) 구조를 본떠 만든 것으로 뉴런과 뉴런 사이의 시냅스(Synapse)의 연결 구조를 본떠 패턴이나 알고리즘을 학습할 수 있도록 만들어진 망으로써, 예를 들어 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 형태를 기본으로 각 층의 방식에 따라 다양한 종류로 나눌 수 있다. 즉 CNN은 입력, 특징 추출, 특징을 위치변경이나 왜곡에 따라 변함이 없게 처리, 분류 및 출력하도록 구성된다.
본 발명은 다이캐스팅 공정에서 생산 불량 사례와 같이, 딥러닝을 위한 충분한 산업 데이터의 취득이 곤란한 경우에 적용할 수 있도록, 딥러닝에 기초한 시계열 예측, 잔차(residual) 계산 및 단일 클래스 서포트 벡터 머신과 격리 포리스트(isolation forest)를 이용한 단일 클래스 분류로 이루어진 불량 검출 모듈을 마련한 것으로서, 시계열 예측에는 MLP(multi layer perception), ResNet(Residual Network), LSTM(Long-Short-Term memory) 및 ResNet-LSTM인 4개의 네트워크를 사용하며, 이들 각각은 생산 성공 사례만을 갖는 단일 클래스 데이터로 훈련하고, 딥러닝 예측의 잔차를 단일 클래스 분류 구성을 위한 정교한 특징으로서 채택하는 단일 클래스 딥러닝 기반의 생산 제품 불량 검출 방법 및 시스템을 마련한 것이다.
본 발명에서는 다이캐스팅 공정에서 얻어지는 온도, 압력 시계열 데이터의 이상감지를 기반으로 제품의 불량을 검출하는 기술을 마련하였다. 이상감지 기반 불량 검출은 일반적인 딥러닝 기반 불량 검출 알고리즘과는 달리 양품 데이터에 대한 학습을 바탕으로 학습된 것과 다른 특징의 데이터를 이상치로 검출하는 것이다.
한편, 본 발명에서는 다이캐스팅 공정의 불량 검출에 이용하는 구조로 설명을 하였지만, 이에 한정되는 것은 아니고, 본 발명에 따른 알고리즘은 다이캐스팅 이외에도 시계열 형태로 공정데이터가 취득되는 기타 다양한 제품 제작 공정에 적용할 수 있다.
이하, 본 발명에 따른 실시 예를 도면에 따라서 설명한다.
도 1은 본 발명에 따른 딥러닝 이상감지 기반 다이캐스팅 불량 검출 시스템의 블록도 이고, 도 2는 도 1에 도시한 딥러닝 이상감지 기반 다이캐스팅 불량 검출 시스템의 구성도이다.
본 발명에 따른 딥러닝 이상감지 기반 다이캐스팅 불량 검출 시스템에서 알고리즘의 전체 구조는 도 1에 도시된 바와 같이, 획득된 단일 클래스(One-class) 데이터인 양품 데이터를 학습하여 그 특징을 추출하는 딥러닝 모듈(100), 상기 딥러닝 모듈(100)을 바탕으로 양품/불량을 판단하고자 하는 데이터를 분석하는 재구성(Reconstruction) 모듈(200), 재구성된 결과를 바탕으로 기존의 양품 데이터와의 유사성을 통해 양품인지 불량인지를 판단하는 단일 클래스 분류(One-class classification) 모듈(300)을 포함한다.
상기 딥러닝 모듈(100)은 시계열 예측을 위한 모듈로서, 4개의 독립적 네트워크, 즉, MLP(Multilayer Perceptron), ResNet(Residual Network), 적층된 LSTM, 및 결합된 ResNet-LSTM으로 이루어지며, 양품 사례를 통해서만 학습된다.
상기 재구성 모듈(200)은 잔차(residual) 계산 모듈로서, 잔차들의 평균은 오버랩 없이 슬라이딩 윈도우를 사용하여 단일 클래스 분류 모듈(300)의 입력 값으로 변환된다.
상기 단일 클래스 분류 모듈(300)은 예측 잔차로부터의 불량을 판단하기 위해 단일 클래스 SVM(Support Vertor Machines)과 격리 포리스트(Isolation Forest)라는 두 개의 상이한 알고리즘을 적용한다.
따라서, 불량은 4개의 시계열 예측과 2개의 분류 방법의 조합인 8개의 상이한 예측에 의해 판단된다.
상술한 바와 같이, 본 발명에 따른 딥러닝 이상감지 기반 다이캐스팅 불량 검출 시스템의 딥러닝 모듈(100)에서는 도 2에 도시된 바와 같이, 우선적으로 양품의 데이터만을 단일 클래스 데이터로서 획득하여 선별적으로 학습하여 그 특징을 추출하는 딥러닝 구조를 활용한다. 즉, 학습하고자 하는 데이터는 예를 들어, 다이캐스팅 공정 시 측정된 압력과 온도로 구성이 되며, 딥러닝 모듈(100)에서는 이전 시점의 데이터를 입력으로 하여 다음 시점의 데이터를 예측하는 모듈로 구성이 된다.
결과적으로, 딥러닝 모듈(100)에서 딥러닝은 다이캐스팅 제조 데이터의 변화 추이를 예측하는 시계열 예측(Time series prediction) 형태가 된다. 이와 같은 시계열 예측 딥러닝에는 MLP, CNN, RNN(Recurrent nerual networks) 등을 활용할 수 있으며, 본 발명의 실시 예에서는 도 2에 도시된 바와 같이, MLP, ResNet(CNN에 해당), LSTM 그리고 ResNet-LSTM 복합 모듈을 활용하였다.
다음에 재구성 모듈(200)에서는 양품 데이터의 특징을 예측한 딥러닝 모듈(100)을 활용하여 양품/불량을 검출하고자 하는 데이터를 잔차 계산하여 재구성한다. 이는 데이터 전반에 대한 시계열 예측 과정을 통해서 이루어지는데 구체적인 과정은 다음과 같다. 양품/불량을 판단하고자 하는 데이터가 (t1, t2,…, tN) 시점의 (x1, x2,…, x)의 값들로 이루어져 있을 경우 시계열 예측을 활용하여 각 시점의 값들을 예측한 (x'1, x '2,…, xN')을 도출한다. 그 이후 슬라이딩 윈도우 알고리즘(Sliding window algorithm)을 이용하여 원본 데이터와 재구성 데이터를 평균하여 데이터의 숫자를 줄인다. 예를 들어, 슬라이딩 윈도우로 M 개의 데이터만을 남기면, 데이터는 원본 데이터를 바탕으로 도출한 (r1, r2,…, rM), 재구성 데이터를 바탕으로 도출한 (r1', r2',…, rM') 데이터를 얻게 된다. 그 이후에 위 원본과 재구성 데이터의 차이인 (r1-r1', r2-r2',…, rM-rM')을 단일 클래스 분류의 입력으로 활용한다. 본 실시 예에서는 M 값으로 20을 이용하였다.
마지막으로 단일 클래스 분류 모듈(300)에서 잔차 입력을 이용하여 양품, 불량을 판정하는 단일 클래스 분류를 진행한다. 단일 클래스 분류에는 도 2에 도시된 바와 같이, 단일 클래스 SVM과 격리 포리스트 알고리즘을 이용하였으며, 상기 알고리즘 역시 양품 케이스들에 대한 딥러닝 예측의 잔차 값을 바탕으로 학습하고, 학습된 양품의 특징과 거리가 먼 경우, 즉 잔차가 큰 경우 불량으로 판정하고, 잔차가 작을 경우 양품으로 판정하게 된다.
다음에, 상술한 본 발명에 따른 딥러닝 이상감지 기반 다이캐스팅 불량 검출 시스템에서 데이터 획득, 딥러닝 모듈(100), 재구성 모듈(200) 및 단일 클래스 분류 모듈(300)의 동작에 대해 구체적으로 설명한다.
먼저, 도 2에 도시된 데이터 획득에 대해 도 3을 참조하여 설명한다.
도 3은 본 발명에 적용되는 (a) 다이캐스팅 장비 및 (b) 샘플 제품의 사진이다.
본 발명에 따른 데이터 획득은 도 3에 도시된 다이캐스팅 공정의 실제 파일럿 양품 테스트 데이터에 비교되는 제안된 불량 검출 모듈을 평가하였다. 다이캐스팅 공정에서는 금형의 온도 분포와 사출 압력이 생산 불량의 주요 인자임을 고려하여, 원하는 형상의 금형 캐비티에 용융된 금속을 사출함으로써 제품을 제조하였다. 7개의 상이한 위치에 대한 금형의 온도를 측정하고, 총 10개의 시계열 데이터에 대해 장비로부터 3개의 압력 신호인 2개의 어큐뮬레이터 압력 및 사출 압력을 취득하였다.
파일럿 생산 테스트를 1500회 반복한 결과, 1,430개의 양품 사례와 70개의 불량 사례(약 4.65%의 생산 불량률)가 발생하였다. 생산 사이클은 약 30초이었고, 측정 샘플링 속도는 2Hz이었다. 단일 클래스 학습을 실현하기 위해, 생산 성공 사례로부터 1000개의 학습 샘플을 랜덤하게 선택한 후, 최근 15초의 시간 이력을 포함하도록 시계열 데이터를 딥러닝 모듈(100)의 입력 변수로 사전 처리하며, 이러한 시간은 생산 사이클의 거의 절반에 상응한다. 예측 목표는 다음 시간 단계의 측정값 또는 0.5초 후의 값 이었다. 따라서, 예측 네트워크의 입력 형상은 10개의 측정 채널에 대해 (30, 10) 또는 30개의 측정 예이었다. 평가를 위해, 동일한 수의 양품 사례와 불량 사례를 포함하는 100개의 테스트 데이터를 사용하였으며, 양품이라고 하는 간단한 판단으로 50%의 정확도를 얻었다. 테스트 데이터는 학습되지 않은 데이터 셋으로부터 랜덤하게 선택되었다.
다음에 본 발명에 적용되는 딥러닝 모듈(100)의 동작에 대해 도 4를 참조하여 설명한다.
도 4는 시계열 예측 모듈로서 딥러닝 모듈에 의해 사용되는 신경망의 구조를 설명하기 위한 도면으로서, 도 4의 (a)는 MLP의 구조, 도 4의 (b)는 ResNet의 구조, 도 4의 (c)는 LSTM의 구조, 도 4의 (d)는 ResNet-LSTM의 구조를 나타낸다.
도 4의 (a)에 도시된 바와 같이, MLP는 입력층, 500 및 50 크기를 갖는 2개의 은닉층 및 출력층으로 이루어진다. 완전 접속층 사이에서는 배치(batch) 정규화, Relu(Rectified linear unit) 활성화 및 드롭 출력층이 최종 드롭 출력층을 제외하고 순차적으로 삽입되었다. 또한, MLP는 177,160개의 학습 가능 파라미터와 1,100개의 학습 불가 파라미터를 포함하는 178,260개의 파라미터를 갖는 비대칭 확장 감소 구조를 나타내었다. 이 모델은 초기 학습률, 배치 크기 및 에포크(epoch)가 각각 0.001, 28 및 100인 AMSgrad 옵티마이저를 사용하여 학습되었다. 학습률은 70개 에포크 후에 0.0001로 감소되었다.
또 도 4의 (b)에서 ResNet은 CIFAR-10에 대한 Keras ResNet 라이브러리에 의해 동기 부여된 초기 ResNet v2를 약간 수정하여 구축하였다. 도 4의 (b)에 도시된 바와 같이, 각각 3개의 컨볼루션 층을 갖는 2개의 잔차 블록을 구비하는 3개의 스테이지로 이루어진다. 특징 추출 및 예측 수행을 위해 컨볼루션 층 및 완전 접속 층이 네트워크의 상단과 하단에 각각 추가되었다. 제2 스테이지와 제3 스테이지의 시작시, 입력 치수는 스트라이드(stride) 2만큼 절반으로 되었다. 초기 ResNet v2와는 달리 잔차 블록은 1ⅹ1, 3ⅹ3 및 1ⅹ1 커널의 강력한 컨벌루션을 가졌으며, 이는 필터 채널의 확장-축소 구조를 실현한다. 각 잔차 블록에서 식별 바로가기 접속이 또한 적용되었다. 배치 정규화 및 Relu 활성화 층은 각각의 컨볼루션 층 후에 사용된 한편, 크기 3의 평균 풀링 층은 하단의 완전 접속 층 전에 추가되었다. 전체적으로, 이 모델에는 593,904개의 학습 가능 파라미터와 3,488개의 학습 불가 파라미터로 나누어지는 597,392개의 파라미터를 갖는 20개의 층이 있었다. 이 모델은 초기 학습률, 배치 크기 및 에포크가 각각 0.001, 28, 및 100인 AMSgrad 옵티마이저를 사용하여 학습되었다. 학습률은 10개 에포크 및 20개 에포크 후에 각각 0.0001 및 0.00001로 감소되었다.
도 4의 (c)에서는 치수 50, 100 및 50을 갖는 대칭 확장-축소 구조를 구비하는 LSTM의 3개의 적층층을 나타낸다. 적층된 LSTM의 상단과 하단에서는 특징 추출 및 시계열 예측을 위해 각각의 크기가 50 및 10인 완전 접속층이 사용되었다. 배치 정규화 층은 완전 접속층과 LSTM 층 사이에 사용되었다. 이 모델에서는 113,660개의 파라미터가 113,160개의 학습 가능 파라미터와 500개의 학습 불가 파라미터로 나누어졌다. 이 모델은 초기 학습률, 배치 크기 및 에포크가 각각 0.001, 7, 100인 RMSprop 옵티마이저를 사용하여 학습되었다. 학습률은 20개 에포크 및 70개 에포크 후에 각각 0.0001 및 0.00001로 감소되었다.
도 4의 (d)에는 일차원 컨볼루션 층을 갖는 ResNet과 적층된 LSTM의 조합에 의해 구축된 ResNet-LSTM을 나타낸다. 먼저, ResNet의 일차원 컨볼루션 층은 측정 채널 변수에 따른 특징 추출에 사용되었다. 이어서, 추출된 특징은 시간적 상관을 알아내기 위해 적층된 LSTM 층으로 공급된다. ResNet 구성은 컨볼루션 층이 2차원에서 1차원으로 수정된 것을 제외하고 상술한 구조와 동일 구조로 이루어진다. 적층된 LSTM 층들은 적층된 층들 사이에 배치 정규화 층을 갖는 50, 100 및 50의 크기를 갖는다. 출력 시계열 예측은 크기가 10인 하단의 완전 접속층으로부터 실현된다. 이 모델은 초기 학습률, 배치 크기 및 에포크가 각각 0.001, 7 및 100인 AMSgrad 옵티마이저를 사용하여 학습되었다. 학습률은 20개 에포크 및 70개 에포크 후에 각각 0.0001 및 0.00001로 감소되었다.
상술한 딥러닝 모듈(100)은 측정 데이터의 입력 변수를 갖고 다음 시간 단계에 대한 예측값을 출력하도록 구축되었다. 평균 제곱 오차는 모든 망에 대하여 사용된 학습 손실이었다. 예를 들어, 다이캐스팅 공정에서 10개 채널의 시계열 측정 데이터는 생산 사이클의 절반에 대한 입력 변수로서 사용되었다.
상기 재구성 모듈(200)에서 측정값에 대한 예측 잔차를 위한 계산 과정은 다음과 같다.
먼저, 생산이 불량인지 판단될 수 있는지 여부로부터의 원시 측정값을 오버랩 없이 슬라이딩 윈도우를 사용하여 평균화하여 20개의 개별적인 특징 요소를 생성하였고, 다음으로, 딥러닝 모듈(100)을 사용하여 원시 측정값을 재구성하였으며, 재구성된 값을 동일한 슬라이딩 윈도우 알고리즘을 사용하여 처리하였고, 마지막으로, 예측값과 원시 측정값의 20개의 특징 요소 간의 차를 잔차값으로서 계산하였으며, 이는 단일 클래스 분류 모듈(300)의 입력에 사용될 수 있다.
이에 따라, 단일 클래스 분류 모듈(300)에서는 불량 판단을 위해 2개의 상이한 단일 클래스 분류 알고리즘인 단일 클래스 SVM과 격리 포리스트를 적용하였다. 단일 클래스 분류 알고리즘은 표준 스케일링 후에 학습 데이터 셋에 대한 딥-러닝 예측의 잔차로 학습되었다. 단일 클래스 SVM은 학습 오류 및 서포트 벡터(
Figure 112020118530419-pat00001
) 및 커널 계수(
Figure 112020118530419-pat00002
)의 일부의 상한과 하한의 하이퍼파라미터들을 사용하는 RBF(Radial Base Function)를 기반으로 구축된 반면, 격리 포리스트 알고리즘은 특징, 샘플 및 추정기의 수와 오염률의 하이퍼파라미터들을 사용하여 구축되었다. 이러한 특징 추출 방법의 최대 성능을 달성하기 위해, 모든 경우에 대한 하이퍼파라미터는 두 개의 단계, 즉, 고정된 십진수 5가 주어진 자릿수가 n인 그리드 검색 및 파라미터 공간에서 고정된 지수 n을 사용한 최적의 십진수 찾기에 의해, 정수 n을 사용하는
Figure 112020118530419-pat00003
의 파라미터 공간에서의 그리드 검색을 통해 두 단계로 최적화되었다. 단일 클래스 SVM의 최적값(
Figure 112020118530419-pat00004
및
Figure 112020118530419-pat00005
) 범위는 각각 0.08 내지 0.1 및 0.001 내지 0.005이었다. 격리 포리스트의 경우, 추정기가 모든 샘플을 포함하였을 때 0.08의 오염비에서 정확도가 극대화되는 것으로 나타났다. 각 추정기에 포함된 특징의 최적의 수 범위는 80% 내지 90%인 반면, 추정기의 최적의 수 범위는 40 내지 100이었다.
상술한 바와 같이 본 발명에 따른 딥러닝 이상감지 기반 다이캐스팅 불량 검출 시스템에서의 학습 및 예측 결과에 대해 도 5 및 도 6을 참조하여 설명한다.
도 5는 시간 예측 네트워크의 학습 에포크에 대한 평균 제곱 오차의 플롯을 나타낸 도면으로서, 도 5의 (a)는 MLP, 도 5의 (b)는 ResNet, 도 5의 (c)는 적층된 LSTM 및 도 5의 (d)는 ResNet-LSTM의 딥러닝 모듈(100)의 평균 제곱 오차 대 학습 에포크를 나타내며, 검은 선과 빨간 선은 학습 오차 및 검증 오차에 각각 해당한다.
일반적으로, 학습 오차 및 검증 오차는 학습이 진행됨에 따라 점진적으로 감소하였다. 도 5의 (b)에서는 에포크가 40을 초과할 때 ResNet 망에 대해 과적합이 관찰되었다. MLP, ResNet, 적층된 LSTM 및 ResNet-LSTM에 대해 각각 75개, 50개, 39개 및 80개의 에포크에 해당하는 검증 오차를 기반으로 모든 학습 에포크의 최고 성능 네트워크 파라미터를 사용하였다. 도 5의 (c)와 (d)에서 LSTM으로 채택된 망의 경우, 검증 오차가 한 에포크 후의 학습 오차보다 낮았으며, 이는 네트워크가 시간 상관을 적절하게 재현하였으며 단지 패턴을 학습하지 않았음을 의미한다
도 6은 신경망으로 학습되지 않은 테스트 데이터의 샘플 사례에 대한 측정값과 신경망의 예측값을 비교한 도면으로서, 도 6의 (a) 내지 (g)는 온도, (h) 내지 (j)는 압력의 측정 데이터에 대한 시계열 예측 결과를 나타내며, 검은 선은 측정값을 나타낸다. 파란색, 빨간색, 녹색, 및 자홍색은 MLP, ResNet, 적층된 LSTM 및 ResNet-LSTM의 예측값에 각각 해당한다.
백본(backbone) 네트워크를 기반으로 불일치 범위가 존재했지만, 모든 예측값은 측정값의 시간 이력과 일관되게 일치하였다. 예측값은 도 6의 (a) 내지 (g)에 있는 7개 채널에서 온도의 증가 및 감소 추세를 적절하게 포착하고, 금속 용융물을 압력에 의해 주입했을 때의 급격한 압력 상승도 도 6의 (h)에서 적절하게 예측되었다. 또한, 도 6의 (i) 내지 (j)에 표시된 압력 신호는 장비의 어큐뮬레이터 압력에 해당한다. 그러나 모델은 도 6의 (i)에서 압력 프로파일의 전체적인 경향을 적절하게 예측하고, 도 6의 (j)에서 작은 섭동에 대해 신경망들 간에 약간의 불일치가 관찰되었다. ResNet은 도 6의 (j)에서 빨간 선으로 표시된 것처럼 측정값의 임의 섭동을 가장 잘 포착하였다.
다음에 도 7에 따라 원시 측정 데이터에 대한 단일-클래스 분류의 정확도에 대해 설명한다.
도 7은 원시 측정 데이터의 2차원 t-SNE 플롯이며, 도 7의 (a)는 단일-클래스 SVM, 도 7의 (b)는 격리 포리스트에 대한 원시 측정 데이터의 2차원 t-SNE 플롯을 나타내며, 마커 색상은 (양품, 분류)에서 성공(S) 또는 실패(F)를 나타내며, 빨간색(F, F), 주황색(F, S), 파란색(S, S) 및 회색(S, F)으로 표시된다.
예측 잔차를 기반으로 한 단일 클래스 분류 모델을 구축하기 전에, 먼저 원시 측정 데이터를 고려하여 정확도를 먼저 조사하였다. 온도 및 압력 데이터를 슬라이딩 윈도우를 사용하여 평균화하여 단일-클래스 SVM 및 격리 포리스트에 대한 입력 변수를 구축하였다. 이어서, 다음과 같이 100개의 테스트 데이터를 사용하여 학습된 단일 클래스 분류 모듈(300)을 다음과 같이 테스트하였다.
도 7에서의 샘플은 양품 및 검출 모두에 대한 성공과 실패의 4개 사례를 구분하기 위해 상이한 색상들(빨간색, 주황색, 파란색 및 회색)로 표시되어 있다. 도 7의 (a)와 (b)의 t-SNE 플롯들은 색상을 제외하고는 동일하였으며, 이는 각각의 단일 클래스 분류 알고리즘이 개별 생산 사례에 대한 양품 불량을 구별하는 데 성공했는지 여부를 나타낸다는 점에 주목한다.
전반적으로, 클러스터 주변에 위치하는 상당수의 생산 불량 샘플을 카운트할 수 있었는데, 이는 생산 불량에 대한 물리적 정보를 올바르게 캡처했음을 의미한다. 또 상대 거리에 대하여 샘플을 반복적으로 배제하도록 설계된 도 7의 (b)의 격리 포리스트는 결합된 사례들에 대하여 90.0%의 정확도를 나타내고, 양품 실패 및 성공 사례들에 대하여 각각 82.0% 및 98.0%의 중간 정확도를 나타내었다. 도 7의 (a)에서 단일 클래스 SVM은 전체 사례에 대하여 88.0%의 약간 저 성능을 나타내고, 실패 및 성공 사례들에 대하여 각각 84.0% 및 94.0%의 성능을 나타낸다. 정확도가 50%의 중립값으로부터 증가했으므로, 각 알고리즘은 양품 실패에 대한 일부 특징을 추출할 수 있었다.
다음에 시계열 예측에 의해 추출된 특징을 이용한 단일 클래스 분류의 정확도에 대해 도 8 및 도 9를 참조하여 설명한다.
도 8은 MLP 및 ResNet의 잔차의 t-SNE 플롯을 나타내고, 도 9는 LSTM 및 ResNet-LSTM의 잔차의 t-SNE 플롯을 나타낸다.
도 8에서 (a-b)는 MLP, (c-d)는 ResNet의 잔차에 대한 2차원 t-SNE 플롯이고, 도 9의 (a-b)는 LSTM, (c-d)는 ResNet-LSTM의 잔차에 대한 2차원 t-SNE 플롯이며 단일 클래스 SVM과 격리 포리스트로부터 차례로 나온 결과로서, 마커 색상은 (양품, 분류)에서 성공(S) 또는 실패(F)를 나타내며, 빨간색(F, F), 주황색(F, S), 파란색(S, S), 및 회색(S, F)으로 표시되었다.
본 발명에서는 양품 성공 사례와 실패 사례 간의 경계를 정교화하기 위해 시계열 예측의 잔차를 고려하였다. 재구성 모듈(200)이 양품 성공의 특징을 적절하게 포착한다면, 양품 실패 사례에 대한 예측값과 측정값 간에 상대적으로 큰 차가 있을 것으로 예상한다. 각 네트워크의 예측값을 원시 측정 데이터와 함께 단일 클래스 분류에 채택된 동일한 슬라이딩 윈도우를 사용하여 평균화하였다. 잔차를 평균화된 원시 측정 데이터의 값으로부터 계산하고 단일 클래스 SVM 및 격리 포리스트에 대한 입력 변수로서 사용하였다.
샘플 클러스터들은 도 8의 (c)와 (d) 및 도 8의 특징 추출에 의해 정교화된 바와 같이, 도 7의 원시 데이터의 경우에 비해 MLP, LSTM 및 ResNet-LSTM의 잔차를 사용했을 때 더욱 조각화되었다. 대조적으로, ResNet은 특징 추출에 사용되었으며, 실패 사례는 도 8의 (a)와 (b)에 도시된 바와 같이 가깝게 밀집된 양품 성공 샘플의 가장자리로 강력하게 밀렸다. 정교화된 특징 추출 덕분에 단일 클래스 분류의 성능이 크게 개선되었다. 또한, 단일 클래스 SVM을 기반으로 한 실패 검출 정확도의 개선은 ResNet의 경우 84.0% 내지 최대 96.0%로 현저하였다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명에 따른 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템을 사용하는 것에 의해 다이캐스팅 제품의 불량률을 감소시킬 수 있다.
100 : 딥러닝 모듈
200 : 재구성 모듈
300 : 단일 클래스 분류 모듈

Claims (10)

  1. 딥러닝을 위한 충분한 산업 데이터의 취득이 곤란한 불균형 데이터베이스로 제한된 제조 응용분야에 대한 딥러닝 이상 감지 기반으로 생산 제품의 불량을 검출하는 방법으로서,
    (a) 각 공정의 양품 데이터를 시계열 데이터 딥러닝 기반으로 시계열 예측 알고리즘 적용하여 시계열 예측 데이터 마련하는 단계,
    (b) 상기 단계 (a)에서 마련된 시계열 예측 데이터에 대해 시계열 예측 수행 및 잔차 계산을 실행하는 단계,
    (c) 상기 단계 (b)에서 실행된 잔차를 바탕으로 단일 클래스 분류 알고리즘을 실행하는 단계,
    (d) 잔차가 클 경우 불량으로 판정하고, 잔차가 작을 경우 양품으로 판정하는 단계를 포함하고,
    상기 단계 (b)에서는 양품/불량을 판단하고자 하는 데이터가 (t1, t2, …, tN) 시점의 (x1, x2, …, xN)의 값들로 이루어져 있을 경우, 시계열 예측을 활용하여 각 시점의 값들을 예측한 (x'1, x'2, …, xN')을 도출한 후, 슬라이딩 윈도우 알고리즘(Sliding window algorithm)을 이용하여 원본 데이터와 재구성 데이터를 평균하여 데이터의 숫자를 감소시키는 것을 특징으로 하는 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법.
  2. 제1항에서,
    상기 단계 (a)에서 시계열 예측에는 MLP(multi layer perception), ResNet(Residual Network), LSTM(Long-Short-Term memory) 및 ResNet-LSTM인 4개의 네트워크를 사용하는 것을 특징으로 하는 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법.
  3. 제1항에서,
    상기 단계 (c)에서의 알고리즘은 단일 클래스 SVM(Support Vertor Machines)과 격리 포리스트(Isolation Forest)의 알고리즘을 적용하는 것을 특징으로 하는 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법.
  4. 제1항에서,
    상기 단계 (d)에서의 생산 불량은 4개의 시계열 예측과 2개의 분류 방법의 조합인 8개의 상이한 예측에 의해 판단되는 것을 특징으로 하는 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법.
  5. 삭제
  6. 딥러닝을 위한 충분한 산업 데이터의 취득이 곤란한 불균형 데이터베이스로 제한된 제조 응용분야에 대한 딥러닝 이상 감지 기반으로 생산 제품의 불량을 검출하는 시스템으로서,
    획득된 단일 클래스(One-class) 데이터인 양품 데이터를 학습하여 그 특징을 추출하는 딥러닝 모듈,
    상기 딥러닝 모듈을 바탕으로 양품/불량을 판단하고자 하는 데이터를 분석하는 재구성 모듈,
    상기 재구성 모듈에서 재구성된 결과를 바탕으로 기존의 양품 데이터와의 유사성을 통해 양품인지 불량인지를 판단하는 단일 클래스 분류 모듈을 포함하고,
    상기 재구성 모듈은 잔차(residual) 계산 모듈로서, 잔차들의 평균은 오버랩 없이 슬라이딩 윈도우를 사용하여 상기 단일 클래스 분류 모듈의 입력값으로 변환되는 것을 특징으로 하는 딥러닝 이상 감지 기반 생산 제품 불량 검출 시스템.
  7. 제6항에서,
    상기 딥러닝 모듈은 제조 데이터의 변화 추이를 예측하는 시계열 예측을 위한 모듈로서, MLP(Multilayer Perceptron), ResNet(Residual Network), 적층된 LSTM 및 결합된 ResNet-LSTM인 4개의 독립적 네트워크를 사용하는 것을 특징으로 하는 딥러닝 이상 감지 기반 생산 제품 불량 검출 시스템.
  8. 삭제
  9. 제6항에서,
    상기 단일 클래스 분류 모듈은 예측 잔차로부터의 불량을 판단하기 위해 단일 클래스 SVM(Support Vertor Machines)과 격리 포리스트(Isolation Forest)의 상이한 알고리즘을 적용하는 것을 특징으로 하는 딥러닝 이상 감지 기반 생산 제품 불량 검출 시스템.
  10. 제6항에서,
    상기 생산 제품은 다이캐스팅 제품인 것을 특징으로 하는 딥러닝 이상 감지 기반 생산 제품 불량 검출 시스템.





KR1020200147241A 2020-11-06 2020-11-06 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템 KR102417415B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200147241A KR102417415B1 (ko) 2020-11-06 2020-11-06 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200147241A KR102417415B1 (ko) 2020-11-06 2020-11-06 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220061360A KR20220061360A (ko) 2022-05-13
KR102417415B1 true KR102417415B1 (ko) 2022-07-06

Family

ID=81583632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200147241A KR102417415B1 (ko) 2020-11-06 2020-11-06 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102417415B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540400B1 (ko) * 2022-11-08 2023-06-07 (주)위즈네트 냉동고/냉장고 모니터링 장치, 방법 및 시스템
CN116091502B (zh) * 2023-04-10 2023-07-25 厦门微图软件科技有限公司 基于改进深度残差网络的弱标签工业缺陷图像分类方法
CN116738565A (zh) * 2023-05-18 2023-09-12 哈尔滨工程大学 卷积-循环复合神经网络的船舶单破口浸水时间预测方法
CN117131530B (zh) * 2023-10-20 2024-01-30 合肥亚明汽车部件有限公司 一种智慧工厂敏感数据加密防护方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980603B1 (ko) 2008-01-28 2010-09-07 재단법인서울대학교산학협력재단 순차적 사슬형태의 단일클래스 분류기를 이용한 공정이상검출 방법
KR102048240B1 (ko) 2017-09-06 2019-11-25 주식회사 씨티아이랩 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술
JP6591509B2 (ja) 2017-11-06 2019-10-16 株式会社東芝 金型温度異常予兆検知装置及びプログラム
US11714397B2 (en) 2019-02-05 2023-08-01 Samsung Display Co., Ltd. System and method for generating machine learning model with trace data
KR102257716B1 (ko) * 2019-03-05 2021-05-28 한국수력원자력 주식회사 다중 예측 모델의 스위칭 기술을 이용한 발전소의 조기 경보 장치 및 방법
KR20190109337A (ko) * 2019-09-06 2019-09-25 엘지전자 주식회사 증강현실 기반의 기기 제어 장치 및 그 방법

Also Published As

Publication number Publication date
KR20220061360A (ko) 2022-05-13

Similar Documents

Publication Publication Date Title
KR102417415B1 (ko) 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템
Lee et al. Fault detection based on one-class deep learning for manufacturing applications limited to an imbalanced database
EP3454289B1 (en) Plant abnormality detection method and system
CN111721535B (zh) 一种基于卷积多头自注意力机制的轴承故障检测方法
Azamfar et al. Deep learning-based domain adaptation method for fault diagnosis in semiconductor manufacturing
Lieber et al. Quality prediction in interlinked manufacturing processes based on supervised & unsupervised machine learning
US10977568B2 (en) Information processing apparatus, diagnosis method, and program
EP1982301B1 (en) Method of condition monitoring
Bisheh et al. A layer-by-layer quality monitoring framework for 3D printing
KR101948604B1 (ko) 센서 군집화 기반의 설비 건강 모니터링 방법 및 장치
KR102362159B1 (ko) 반도체 제조 공정에서 고장 검출 및 불량 원인 진단을 위한 방법
CN113361944B (zh) 基于物联网和人工智能的安全生产指标异常快速感知方法
CN112529109A (zh) 一种基于无监督多模型的异常检测方法及系统
Chien et al. Redefining monitoring rules for intelligent fault detection and classification via CNN transfer learning for smart manufacturing
KR102501884B1 (ko) 기계 학습 기반의 설비 이상 진단 시스템 및 방법
Xanthopoulos et al. Automated die inking: A pattern recognition-based approach
CN117168861A (zh) 污水处理设备的异常监测方法及其系统
CN117258932A (zh) 智能砂磨机的温度监测系统及方法
KR102623389B1 (ko) 센서 데이터에 기반한 복수의 제조 공정 장비 간 정합성검사 방법, 장치 및 프로그램
CN112926760B (zh) 预测模型的建立装置、建立方法与产品品质监控系统
CN117485842A (zh) 门式斗轮机轮斗横梁姿态实时监测方法及其系统
KR101802096B1 (ko) 반도체 공정에서 불량을 분류 및 진단하는 장치 및 방법
CN116842379A (zh) 一种基于DRSN-CS和BiGRU+MLP模型的机械轴承剩余使用寿命预测方法
KR102558232B1 (ko) 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템
CN117644625B (zh) 一种基于机器视觉的智能注塑方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right