KR102488789B1 - 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램 - Google Patents

인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램 Download PDF

Info

Publication number
KR102488789B1
KR102488789B1 KR1020220007173A KR20220007173A KR102488789B1 KR 102488789 B1 KR102488789 B1 KR 102488789B1 KR 1020220007173 A KR1020220007173 A KR 1020220007173A KR 20220007173 A KR20220007173 A KR 20220007173A KR 102488789 B1 KR102488789 B1 KR 102488789B1
Authority
KR
South Korea
Prior art keywords
feature
normal
anomaly
class
bank
Prior art date
Application number
KR1020220007173A
Other languages
English (en)
Inventor
우제학
Original Assignee
(주)플레이오니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)플레이오니 filed Critical (주)플레이오니
Priority to KR1020220007173A priority Critical patent/KR102488789B1/ko
Application granted granted Critical
Publication of KR102488789B1 publication Critical patent/KR102488789B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1296Using chemometrical methods using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Abstract

인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법에 있어서, 딥러닝을 이용한 특징 추출모델에 정상 데이터셋이 입력되는 훈련데이터 입력단계; 상기 특징 추출모델이 딥러닝에 의해 상기 정상 데이터셋의 특징을 추출하는 특징 추출모델 훈련단계; 상기 특징에 기반한 특징 정보가 정상 클래스 특징 뱅크에 집적되는 특징 정보 집적단계; 훈련된 상기 특징 추출모델에 테스트 데이터가 입력되는 테스트 데이터 입력단계; 상기 특징 추출모델이 딥러닝에 의해 상기 테스트 데이터의 특징을 추출하는 테스트 특징 추출단계; 상기 정상 클래스 특징 뱅크 내의 특징 정보에 기반하여 상기 테스트 데이터의 특징의 이상점수를 산출하는 이상 평가단계; 통계상 정상분포에 대비한 상기 이상점수의 이탈도에 따라 이상 여부를 판정하는 이상 탐지단계; 및 상기 이상점수 및 이상 여부 판정결과에 따라 이벤트의 인지나 예측을 하는 인지 예측단계;가 포함되어 이루어짐을 특징으로 한다.

Description

인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램 {PREDICTION AND CLASSIFICATION METHOD, APPARATUS AND PROGRAM USING ONE CLASS ANOMALY DETECTION MODEL BASED ON ARTIFICIAL INTELLIGENCE}
본 발명은, 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램에 관한 것으로서, 보다 상세히는, 딥러닝에 의해 구현된 특징 추출모델이 정상 데이터셋을 훈련(학습)하여 특징 정보를 정상 클래스 특징 뱅크(bank)에 구축해 놓고, 이 훈련된 특징 추출모델에 테스트 데이터를 입력했을 때 나온 테스트 특징을 상기 정상 클래스 특징 뱅크의 특징 정보에 기반하여 평가함으로써 이상점수를 산출하고, 이 이상점수의 정상분포로부터의 이탈도에 따라 이상 여부 판정을 하고, 이상점수 및 판정결과에 따라 최종 인지 예측을 수행하도록 이루어진, 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램에 관한 것이다.
일반적으로 딥러닝 모델을 이용하여, 다양한 형태의 입력 데이터로부터 특이상황(unusual situation)을 인지(recognize)하거나 예측(predict)해 내는 기술이 많이 활용되고 있다.
예컨대, 카메라 촬영 이미지를 이용한 제품 결함검출, 센서 데이터를 이용한 제품 불량이나 품질 예측, 센서 데이터를 이용한 설비고장 진단, 고장 예지, 잔여수명 예측 등이 이에 해당될 수 있다. 또한, 초분광카메라로 촬영된 3차원 텐서(tensor) 데이터를 이용하여, 피사체의 반사나 투과 파장을 분석하고, 대상물질을 식별하는 것도 이에 해당될 수 있다. 그리고 카메라 촬영 비디오에서 폭력이나 사고 등의 특이상황을 탐지하고 찾아내는 것도 포함될 수 있다.
이러한 입력 데이터의 형식으로는, 1차원의 벡터(vector), 2차원의 행렬(matrix), 3차원 이상의 텐서 등이 사용될 수 있다. 또한, 현재 시점 데이터 뿐만이 아니라, 연속적인 값의 변화를 기록한 시계열 데이터가 딥러닝 모델의 입력으로 제공될 수 있다.
이런 딥러닝 모델을 잘 훈련시키기 위해서는, 일반적으로 많은 양의 데이터가 필요하다. 예컨대, 지진발생 예측용 인공지능 모델에서는, 지진의 특징 데이터의 훈련이 필요하다.
그런데, 딥러닝 모델이 인지하거나 예측해야 할 대상이 되는 특이상황은, 그 속성상 발생 빈도가 매우 적기 때문에, 데이터 확보가 어려운 것이 보통이다. 예컨대, 지진발생 예측용 인공지능 모델을 훈련시키기 위한 지진의 특징 데이터는, 그 지진이 발생될 때에만 수집 가능하므로, 언제 수집 가능할지도 모르고, 결국 온전한 훈련에는 장시간이 소요된다. 또한, 지진의 특징 데이터가 훈련되기 이전에는, 지진에 대해 판단이 불가능하고, 모든 유형별 지진의 특징 데이터가 훈련되지 않는 한, 지진발생의 정확한 예측이 어렵다는 문제가 있다.
이에 반해, 정상(normal) 상황에 해당하는 데이터는, 그 속성상 언제든지 충분한 양의 확보가 가능하다. 정상 데이터만으로 훈련을 진행하여, 정상인 단일 클래스(one class)만을 잘 인지하도록 모델을 훈련시킨다면, 이상 탐지(anomaly detection) 목적으로 충분히 활용할 수 있을 것이다.
즉, 이 모델이 정상으로 인지하지 않는 것은, 모두 이상(anomaly)에 해당한다고 판정하고, 그 이상을 모델이 검출하고자 하는 특이상황이라고 결론 내리는 것이 가능하다. 이 방식을 딥러닝 분야에서는, 단일 클래스 이상 탐지(one class anomaly detection) 모델이라고 통칭한다.
하기 특허문헌에는, '스테인레스 강판별로 그레이 레벨(Gray Level)을 정의하고, 대상 스테인레스 강판의 표면에 광을 조사하여 화상을 획득하여 그레이 레벨에 대한 등급을 결정하며, 이 등급에 따라서 표면화상의 화상신호의 출력게인을 조정하고 적용하여 표면화상의 화상신호의 출력을 증폭하고, 이 증폭된 화상신호로부터 표면결함을 검출하는 방법'이 개시되어 있다.
특허등록 10-0758460 공보
상기 특허문헌은 최종적으로 '표면결함 검출'을 한다고 하지만, 구체적 방식이 개시되어 있는 것은 아니다. 따라서, 본 발명에서 제기하는 문제의 해결에 기여할 수가 없다.
한편, 상기 단일 클래스 이상 탐지 모델에 있어서, 정상으로 판정될 데이터에 의한 훈련이 필수이고, 그 훈련 횟수에 부응하여 성능이 향상되는데도 불구하고, 데이터 판정에 운용되면서 파생되는 정상 데이터의 특징 데이터가 제대로 활용되지 못하는 문제가 있다.
그리고, 입력된 데이터가 이상으로 판정된 경우에, 정상 특징 데이터만 중시하는 모델의 특성상, 그 이상 특징 데이터가 제대로 활용되지 못하고 버려지는 문제가 있다.
또한, 환경이나 정책, 기준의 변경에 따라, 이상과 정상의 평가기준이 변경되는 경우에, 기존 정상 특징 데이터를 활용하지 못하고, 새로운 평가기준에 의거하여 딥러닝 모델을 처음부터 새로 훈련시키거나 정상 특징 데이터의 데이터베이스를 새로 구축함으로써, 시간과 비용의 낭비가 초래되는 문제가 있다.
본 발명은, 상기 문제를 해소하기 위한 것으로서, 이 단일 클래스 이상 탐지 모델이 갖고 있는 기본특성을 이용하여, 실제 인지나 예측 응용단계에서 필요한 확장기능 구현방법을 제시할 수 있는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 상기 단일 클래스 이상 탐지 모델에 있어서, 데이터 판정에 운용되면서 파생되는 정상 데이터의 특징 데이터를 제대로 재활용하여, 정상으로 판정될 데이터에 의한 훈련의 횟수를 증가시켜서 모델의 성능을 향상시킬 수 있는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 입력된 데이터가 이상으로 판정된 경우에, 그 이상 특징 데이터를 수집 및 유사도별 분류하여 클러스터화 하고, 이상 클래스 지정 및 이상 클러스터 뱅크 생성에 의해, 발생된 이상을 종류별로 분류할 수 있는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램을 제공하고자 하는 것이다.
또한, 환경이나 정책, 기준의 변경에 따라, 이상과 정상의 평가기준이 변경되는 경우에, 기존 정상 특징 데이터를 활용하여, 특징 정보의 추가, 삭제를 통해 평가기준을 반영하도록 하는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램을 제공하고자 하는 것이다.
상기 과제를 달성하기 위한 본 발명의 방법은, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법에 있어서, 딥러닝을 이용한 특징 추출모델에 정상 데이터셋이 입력되는 훈련데이터 입력단계; 상기 특징 추출모델이 딥러닝에 의해 상기 정상 데이터셋의 특징을 추출하는 특징 추출모델 훈련단계; 상기 특징에 기반한 특징 정보가 정상 클래스 특징 뱅크에 집적되는 특징 정보 집적단계; 훈련된 상기 특징 추출모델에 테스트 데이터가 입력되는 테스트 데이터 입력단계; 상기 특징 추출모델이 딥러닝에 의해 상기 테스트 데이터의 특징을 추출하는 테스트 특징 추출단계; 상기 정상 클래스 특징 뱅크 내의 특징 정보에 기반하여 상기 테스트 데이터의 특징의 이상점수를 산출하는 이상 평가단계; 통계상 정상분포에 대비한 상기 이상점수의 이탈도에 따라 이상 여부를 판정하는 이상 탐지단계; 및 상기 이상점수 및 이상 여부 판정결과에 따라 이벤트의 인지나 예측을 하는 인지 예측단계;가 포함되어 이루어짐을 특징으로 한다.
여기서, 상기 이상 여부의 판정의 결과가 '정상'인 경우, 상기 특징 추출모델에 정상인 테스트 데이터로 이루어지는 업데이트 정상 데이터셋이 입력되는 데이터 재입력단계; 상기 특징 추출모델이 상기 업데이트 정상 데이터셋의 특징을 추출함과 함께, 딥러닝에 의해 상기 특징 추출모델이 재훈련되는 특징 추출모델 재훈련단계; 및 추출된 상기 특징에 기반한 특징 정보가 상기 정상 클래스 특징 뱅크에 추가되는 특징 추가단계;가 더 포함되어 이루어질 수 있다.
또는, 상기 이상 여부의 판정의 결과가 '이상'인 경우, 상기 테스트 데이터의 특징에 기반한 특징 정보가 유사도에 따라 클러스터에 수집되는 특징 정보 수집단계; 이상 클러스터 뱅크에 이상 클래스, 특징, 식별정보 중 적어도 하나가 저장되는 이상 클러스터 뱅크 생성단계; 및 신규 입력된 테스트 데이터에 대한 이상 여부의 판정의 결과가 '이상'인 경우, 상기 이상 클러스터 뱅크 내의 정보에 기반하여 상기 이상이 분류되는 이상 분류단계;가 더 포함되어 이루어질 수 있다.
또는, 정상으로 분류되었던 특징을 이상으로 분류되는 특징으로 변경시키는 평가기준 변경이 확인되는 네가티브 변경 확인단계; 상기 정상 클래스 특징 뱅크에서 대상 특징 정보를 삭제하는 세부 조정단계; 및 동종 특징에 대해 전부 일괄 조정하는 일괄 적용단계;가 더 포함되어 이루어질 수 있다.
또는, 이상으로 분류되었던 특징을 정상으로 분류되는 특징으로 변경시키는 평가기준 변경이 확인되는 포지티브 변경 확인단계; 상기 정상 클래스 특징 뱅크에서 대상 특징 정보를 추가하는 세부 조정단계; 및 동종 특징에 대해 전부 일괄 조정하는 일괄 적용단계;가 더 포함되어 이루어질 수 있다.
한편, 상기 과제를 달성하기 위한 본 발명의 장치는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 장치에 있어서, 특징 추출모델에 정상 데이터셋을 입력하는 훈련데이터 입력모듈; 훈련된 특징 추출모델에 테스트 데이터를 입력하는 테스트 데이터 입력모듈; 딥러닝에 의해 상기 정상 데이터셋 또는 테스트 데이터의 특징을 추출하는 특징 추출모델; 상기 특징에 기반한 특징 정보가 집적되는 정상 클래스 특징 뱅크; 상기 정상 클래스 특징 뱅크 내의 특징 정보에 기반하여 상기 테스트 데이터의 특징의 이상점수를 산출하는 이상 평가모듈; 통계상 정상분포에 대비한 상기 이상점수의 이탈도에 따라 이상 여부를 판정하는 이상 탐지모듈; 및 상기 이상점수 및 이상 여부 판정결과에 따라 이벤트의 인지나 예측을 하는 인지 예측모듈;이 포함되어 이루어짐을 특징으로 한다.
한편, 상기 과제를 달성하기 위한 본 발명의 프로그램은, 정보기기에 상기에 기재된 방법의 각 단계를 실행시키기 위한 정보기기용 프로그램을 기록한, 정보기기로 읽을 수 있는 저장매체에 기록된 정보기기용 프로그램이다.
본 발명에 의하면, 단일 클래스 이상 탐지 모델이 갖고 있는 기본특성을 이용하여, 실제 인지나 예측 응용단계에서 필요한 확장기능 구현방법을 제시할 수 있는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램이 제공된다.
또한, 상기 단일 클래스 이상 탐지 모델에 있어서, 데이터 판정에 운용되면서 파생되는 정상 데이터의 특징 데이터를 제대로 재활용하여, 정상으로 판정될 데이터에 의한 훈련의 횟수를 증가시켜서 모델의 성능을 향상시킬 수 있는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램이 제공된다.
또한, 입력된 데이터가 이상으로 판정된 경우에, 그 이상 특징 데이터를 수집 및 유사도별 분류하여 클러스터화 하고, 이상 클래스 지정 및 이상 클러스터 뱅크 생성에 의해, 발생된 이상을 종류별로 분류할 수 있는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램이 제공된다.
또한, 환경이나 정책, 기준의 변경에 따라, 이상과 정상의 평가기준이 변경되는 경우에, 기존 정상 특징 데이터를 활용하여, 특징 정보의 추가, 삭제를 통해 평가기준을 반영하도록 하는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램이 제공된다.
도 1은, 본 발명의 일실시예에 따른 기본 단일 클래스 이상 탐지 모듈의 작업 및 이상 여부 판정, 인지 및 예측의 작업 플로챠트이다.
도 2는, 본 발명의 다른 일실시예에 따른 개량 단일 클래스 이상 탐지 모듈의 작업 및 이상 여부 판정, 인지 및 예측의 작업 플로챠트이다.
도 3은, 동 기본 단일 클래스 이상 탐지 모듈의 훈련 플로챠트이다.
도 4는, 동 기본 단일 클래스 이상 탐지 모듈의 이상검출 플로챠트이다.
도 5는, 동 개량 단일 클래스 이상 탐지 모듈의 정상 데이터에 의한 재훈련 플로챠트이다.
도 6은, 동 개량 단일 클래스 이상 탐지 모듈의 이상 특징 데이터에 의한 이상 분류 플로챠트이다.
도 7은, 동 개량 단일 클래스 이상 탐지 모듈의 평가기준 변화에 따른 세부 조정 플로챠트이다.
이하, 첨부도면을 참조하면서 본 발명에 대해 상세히 설명한다. 다만, 동일구성에 의해 동일기능을 가지는 부재에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다.
또한, 어떤 부재의 전후, 좌우, 상하에 다른 부재가 배치되거나 연결되는 관계는, 그 중간에 별도 부재가 삽입되는 경우를 포함한다. 반대로, 어떤 부재가 다른 부재의 '바로' 전후, 좌우, 상하에 있다고 할 때에는, 중간에 별도 부재가 없는 것을 뜻한다. 그리고 어떤 부분이 다른 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그리고 구성의 명칭을 제1, 제2 등으로 구분한 것은, 그 구성이 동일한 관계로 이를 구분하기 위한 것으로, 반드시 그 순서에 한정되는 것은 아니다. 또한, 명세서에 기재된 '유닛', '수단', '부', '부재', '모듈' 등의 용어는, 적어도 하나의 기능이나 동작을 하는 포괄적인 구성의 단위를 의미한다. 그리고 명세서에 기재된 단말, 서버 등의 정보처리기기는, 특정한 기능이나 동작이 구현된 하드웨어를 의미하는 하드 와이어링을 기본적으로 의미하지만, 특정한 하드웨어에 한정되도록 해석되어서는 안되고, 일반 범용 하드웨어 상에 그 특정한 기능이나 동작이 구현되도록 하기 위해 구동되는 소프트웨어로 이루어지는 소프트 와이어링을 배제하는 것이 아니다. 즉, 단말 또는 서버는, 어떤 장치가 될 수도 있고, 앱과 같이, 어떤 기기에 설치되는 소프트웨어가 될 수도 있다.
그리고 도면에 나타난 각 구성의 크기 및 두께는, 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않으며, 층 및 영역 등의 여러 부분 및 영역을 명확하게 표현하기 위해 두께 등은 과장하여 확대 또는 축소하여 나타낸 경우가 있다.
<기본구성>
본 발명의 일실시예에 따른 방법은, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법이다. 본 발명의 방법의 동작은, 응용 대상에 상관없이 도 1과 같은 공통된 흐름을 가진다.
본 발명의 방법은, 훈련데이터 입력단계(S10); 특징 추출모델 훈련단계(S20); 특징 정보 집적단계(S30); 테스트 데이터 입력단계(S40); 테스트 특징 추출단계(S50); 이상 평가단계(S60); 이상 탐지단계(S70); 및 인지 예측단계(S80);가 포함되어 이루어짐을 특징으로 한다. 여기서, 선행 3단계가 훈련과정이고, 후행 5단계가 검출과정에 해당된다.
먼저 훈련과정이 선행된다. 훈련과정은, 도 3과 같이, 훈련데이터 입력단계(S10); 특징 추출모델 훈련단계(S20); 및 특징 정보 집적단계(S30)를 포함하여 이루어질 수 있다.
상기 훈련데이터 입력단계(S10)는, 딥러닝을 이용한 특징 추출모델(20)에 정상 데이터셋(10)이 입력되는 단계이다. 상기 정상 데이터셋(10)은, 정상 데이터의 집합이다.
훈련을 위해 입력데이터로서 상기 정상 데이터셋(10)을 입력하는 것은, 정상 데이터가 이상 데이터에 비해 발생빈도가 높고 정확하며 입수가 쉬우므로 딥러닝 훈련에 장점이 있기 때문이다. 따라서, 훈련을 조기에 높은 수준으로 완료할 수 있다.
상기 특징 추출모델(20)에 대한 입력 데이터 형식은, 벡터(vector), 행렬(matrix), 3차원 이상의 텐서(tensor) 구조가 모두 될 수 있다. 입력 데이터는, 다양한 소스로부터 수집될 수 있는 정보이다. 소스의 예는, 센서 데이터, 이미지 데이터, 비디오 데이터, 초분광 데이터, 오디오 데이터, 전기신호 데이터 등이 될 수 있다. 이 데이터는 모두, 스틸(still) 속성을 가질 수도 있고, 시계열(time series) 속성을 가질 수도 있다. 스틸 데이터와 시계열의 한 타임스텝(time step) 데이터의 형식은, 일반적으로 벡터이다. 원시 데이터를 통계 처리하여 가공한 데이터를 입력으로 사용할 수도 있다.
정상(normal) 데이터란, 이상(anomaly)으로 인식(recognize)되거나 예측(predict)되지 않을 데이터를 의미한다. 이는 원칙적으로 이상이 아닌 모든 데이터를 포함하지만, 데이터의 세부적인 속성에 변화가 존재하는 경우에는 그 속성별 분포가 일정할 필요가 있다.
상기 특징 추출모델 훈련단계(S20)는, 상기 특징 추출모델(20)이 딥러닝에 의해 상기 정상 데이터셋(10)의 특징을 추출하는 단계이다. 상기 딥러닝 특징 추출모델(20)이 정상 데이터셋(10)만을 이용해서 데이터의 잠재적인 특징(feature)을 생성해 내도록 학습된다. 상기 특징들은, 주로 벡터 형태로 구성될 수 있다.
상기 특징 추출모델(20)로는, 다양한 딥러닝 신경망 구조가 사용될 수 있다.
지역(locality) 특성이 중요한 데이터에 대해서는, 1D(dimension)/2D/3D CNN(Convolutional Neural Network)이 사용될 수 있다. 시계열 특성을 갖고 있는 데이터에 대해서는, LSTM(Long Short Term Memory)이나 GRU(Gated Recurrent Unit) 같은 RNN(Recurrent Neural Network) 계열이 사용될 수 있다. 시계열 데이터에 대해, TCN(Temporal Convolutional Network) 같은 변형된 CNN이 사용될 수 있다.
입력 데이터의 특성을 잠재(latent) 특징(feature) 공간으로 매핑(mapping)시키는 AE(AutoEncoder) 같은 모델을 사용하는 것도 가능하다. 또한, 이 AE의 확장모델인 VAE(Variational AutoEncoder)를 이용하여, 추출된 특징이 잠재공간 내에서 확률분포를 갖도록 모델링할 수 있다. 유사하게, GAN(Generative Adversarial Network)을 이용하여 확률분포에 기반한 잠재벡터가 생성되도록 모델링하는 것도 가능하다.
데이터의 기본특성 및 추출하고자 하는 특징에 따라, 이상의 여러 모델을 조합하여 사용하는 것 또한 가능하다. 이상의 모든 모델은, 사전학습(pretrained)된 것을 가져와서 사용할 수도 있다.
상기 특징 정보 집적단계(S30)는, 상기 특징에 기반한 특징 정보가 정상 클래스 특징 뱅크(30, Feature Bank)에 집적되는 단계이다. 상기 정상 클래스 특징 뱅크(30)는, 훈련된 특징 추출모델(20)에 입력된 정상 데이터셋(10)으로부터 생성된 특징들만을 사용하여 만들어진다.
상기 정상 클래스 특징 뱅크(30)에는, 모든 특징들이 포함되도록 구성되어도 좋지만, 이에 한하는 것은 아니고, 일반적으로 정상 데이터셋(10)으로부터 추출되는 특징들 중 대표적인 것들, 예컨대 대표 특징들을 모아 놓은 집합, 또는 통계치, 또는 확률분포 정보, 즉 각각 확률분포를 갖는 다변량(multivariate) 확률변수로 구성되는 벡터들의 집합일 수도 있다. 그리고 이러한 벡터가 하나일 수도 있으며, 여러개 존재할 수도 있다.
상기 정상 클래스 특징 뱅크(30)에 기록된 정상 데이터에 대한 특징 정보들은, 차후의 인지나 예측 과정에서 테스트 데이터(40)의 특징에 대한 이상(anomaly) 여부를 판정하기 위한 기준으로 사용될 수 있다.
후속하여 검출과정이 이어진다. 검출과정은, 도 4와 같이, 테스트 데이터 입력단계(S40); 테스트 특징 추출단계(S50); 이상 평가단계(S60); 이상 탐지단계(S70); 및 인지 예측단계(S80);가 포함되어 이루어질 수 있다.
상기 테스트 데이터 입력단계(S40)는, 훈련된 상기 특징 추출모델(20)에 테스트 데이터(40)가 입력되는 단계이다. 상기 테스트 데이터(40)는, 그 데이터가 정상에 해당되는지 이상에 해당되는지를 테스트받기 위해 이번에 입력된 입력데이터이다.
상기 테스트 특징 추출단계(S50)는, 상기 특징 추출모델(20)이 딥러닝에 의해 상기 테스트 데이터의 특징(60)을 추출하는 단계이다. 이로써, 이상 여부를 판정하기 위한 대상이 되는 테스트 데이터의 특징(feature)이 추출된다.
상기 특징 추출모델(20)은, 훈련과정에서 이미 훈련되어 있다. 검출을 위해서 사용되는 특징 추출모델(20)은, 훈련 과정을 통해 학습된 것과 동일한 모델이다. 이상(anomaly)으로 검출되는 테스트 데이터의 특징은, 정상 특징과는 다른 특성을 가질 확률이 높아진다.
상기 이상 평가단계(S60)는, 상기 정상 클래스 특징 뱅크(30) 내의 특징 정보에 기반하여 상기 테스트 데이터의 특징(60)의 이상점수(80, anomaly score)를 산출하는 단계이다. 이 단계는, 이상분석(anomaly analysis) 단계라고도 할 수 있다. 다만, 이상에 대한 분석만으로는 점수만 산출한 것이고, 아직 이상인지 여부에 대한 최종 판정을 한 것은 아니다.
이상 평가(anomaly evaluation) 모듈(70)이 꼭 딥러닝 모델일 필요는 없다. 이 모듈은, 특징 뱅크(30, Feature Bank)에 저장되어 있는 정보를 기반으로 테스트되는 특징(feature)의 이상 정도를 평가할 수 있다.
구체적으로, 벡터 공간에서의 상대적인 위치 및 유클리드(Euclidean) 거리나 마할라노비스(Mahalanobis) 거리들을 계산하고, 이를 기반으로 이상점수(80)를 결정할 수 있다. 그리고, 비교 대상이 되는 특징(feature)이 확률분포를 갖는 경우에는, 상대적인 위치와 더불어 분포의 차이도를 의미하는 쿨백-라이블러 발산(Kullback-Leibler divergence) 값을 기반으로 이상점수(80)를 결정할 수도 있다.
상기 이상 탐지단계(S70)는, 통계상 정상분포에 대비한 상기 이상점수(80)의 이탈도에 따라 이상 여부(91)를 판정하는 단계이다. 즉, 이상 탐지(anomaly detection) 단계에서는, 이 이상점수(80)가 통계적으로 정상분포를 벗어나는지 판단하여, 상기 테스트 데이터(40)에 대한 이상 여부를 판정할 수 있다.
이상 탐지(anomaly detection) 모듈(90)도, 꼭 딥러닝 모델일 필요는 없다. 이상 평가 모듈(70)에 의해 출력되는 이상점수(80) 값들의 통계분포를 기반으로, 각 이상점수(80)의 이상 여부를 판정할 수 있다. 이 이상 여부에 의해, 최종 인지나 예측 결과를 결정하게 될 수 있다.
상기 인지 예측단계(S80)는, 상기 이상점수(80) 및 이상 여부(91) 판정결과에 따라 이벤트의 인지나 예측(92)을 하는 단계이다. 즉, 이상 탐지(90) 결과(91) 및 이상점수(80)를 이용하여 최종적으로 각 응용 분야에서 필요로 하는 인지 및 예측 작업을 추가로 수행하게 구성될 수 있다.
<효과>
상기와 같은 본 발명의 방법에 의하면, 정상인 데이터(10)만을 학습하여 그 특징을 취합하면서 특징 추출모델(20)을 훈련하면서 정상 특징을 취합(30)하고, 그 후 입력된 테스트 데이터(40)에 대해 그 훈련된 특징 추출모델(20)을 가동하여 정상인 특징 정보와 테스트 데이터(40)의 특징 정보에 기반한 이상점수(80)를 산출하여, 그 이상점수(80)의 정상분포 이탈도에 따라 이상 여부를 판정(91)하게 된다. 따라서, 데이터의 양이 많고 쉽게 입수할 수 있는 정상 데이터에 의해서만 훈련하므로, 쉽고 빠르고 정확하게 정상 데이터의 특징을 집적(30)할 수 있고, 이를 이용하여 입력 테스트 데이터(40)의 이상 여부 및 이로부터 알 수 있는 이벤트, 예컨대 적용분야에 따른 결함 검출, 불량 예측, 품질 예측, 고장 진단, 고장 예지, 잔여수명 예측, 특이 사건 감지, 역외치(outlier) 탐지 등을 수행하는 딥러닝 모델 기반 시스템 구축이 가능하다.
<재훈련>
그런데, 검출 과정 중에 누적된 추가 정상 데이터셋을 잘 선별하여, 딥러닝 특징 추출모델(20)을 재훈련시키거나 추가훈련 시킴으로써, 모델 성능을 지속적으로 개선하도록 할 수 있다. 이를 위해서, 본 발명의 방법은, 도 2 및 도 5와 같이, 데이터 재입력단계(S72); 특징 추출모델 재훈련단계(S73); 및 특징 추가단계(S74);가 더 포함되어 이루어질 수 있다.
상기 데이터 재입력단계(S72)는, 상기 이상 여부(91)의 판정의 결과가 '정상'(S71)인 경우, 업데이트될 상기 특징 추출모델(21)에 정상인 테스트 데이터로 이루어지는 업데이트 정상 데이터셋(11)이 입력되는 단계이다. 상기 테스트 데이터(40)는, 앞서 수행된 검출과정에서 정상으로 판정되어, 상기 재훈련 과정에 투입되는 입력데이터이고, 이들이 모여서 업데이트 정상 데이터셋(11)이 될 수 있다.
학습된 모델을 계속 사용하는 동안에, 예컨대 입력데이터의 속성이나 생성되는 특징(feature)들의 특성이 약간 변동될 수 있다. 기존 모델을 학습시킨 정상 데이터의 양이 충분하지 못하여, 추가적인 학습이 필요한 경우도 유사한 경우라 할 수 있다.
초기에 설정된 모델을 이용하여 검출 작업을 진행하면서, 초기 데이터셋 대비 업데이트된 정상 데이터셋(11)을 축적하는 것이 가능할 수 있다. 정상으로 결론이 날 확률이 특별히 높은 입력 데이터를 발굴 추가하여, 업데이트 정상 데이터셋(11)을 만들 수 있다. 즉, 이 업데이트 정상 데이터셋(11)은, 앞서 수행된 검출과정에서 정상으로 판정된 데이터, 즉 선행 검출에서의 테스트 데이터(40)들로 이루어질 수 있다.
이상점수(80)가 최대한 낮은 경우의 데이터만을 수집하면, 정상인 업데이트 데이터(11)를 확보할 확률이 높아질 수 있다. 이것은, 본 발명이 정상 데이터 특징 정보에 의한 이상 탐지 모델이기 때문에 가능한 장점이다.
상기 특징 추출모델 재훈련단계(S73)는, 원래의 상기 특징 추출모델(20)이 상기 업데이트 정상 데이터셋(11)의 특징을 추출함과 함께, 딥러닝에 의해 상기 특징 추출모델(20)이 재훈련되어, 업데이트 특징 추출모델(21)이 되는 단계이다. 상기 업데이트 특징 추출모델(21)은, 상기 재훈련에 의해 원래의 특징 추출모델(20)에 추가되는 정상 데이터의 특징 추출 기능을 가지게 되는 모듈이다.
이 업데이트 정상 데이터셋(11)을 이용하여 초기와 동일한 방식으로 업데이트 특징 추출모델(21)을 학습시킬 수 있다.
상기 특징 추가단계(S74)는, 추출된 상기 특징에 기반한 특징 정보가 원래의 상기 정상 클래스 특징 뱅크(30)에 추가되어, 업데이트 정상 클래스 특징 뱅크(31)가 되는 단계이다. 상기 업데이트 정상 클래스 특징 뱅크(31)는, 상기 재훈련에 의해 원래의 정상 클래스 특징 뱅크(30)에 추가되는 정상 데이터의 특징 정보를 가지는 특징 뱅크이다.
상기 업데이트 특징 추출모델(21)에서 출력되는 추가 정상 특징 정보에 따라, 업데이트 정상 클래스 특징 뱅크(31, Feature Bank)를 재구성할 수 있다.
<효과>
상기 구성에 의하면, 추가되는 데이터셋만(11)을 이용하여 기존 모델(21)을 리셋시킴없이 추가적으로 학습하는 것도 가능할 수 있다.
<이상 분류>
한편, 이상으로 판정된 특징들을 모아서 유형별로 식별 명명하여 두고, 차후 이상으로 판정되는 데이터에 대해 그 이상의 유형을 분류(classification)할 수 있도록 할 수 있다. 이를 위해서, 본 발명의 방법은, 도 6과 같이, 특징 정보 수집단계(S76); 이상 클러스터 뱅크 생성단계(S78); 및 이상 분류단계(S79);가 더 포함되어 이루어질 수 있다.
상기 특징 정보 수집단계(S76)는, 상기 이상 여부(91)의 판정의 결과가 '이상'(S75)인 경우, 상기 테스트 데이터(40)의 특징에 기반한 특징 정보가 유사도에 따라 클러스터에 수집되는 단계이다. 즉, 이상(Anomaly)으로 판정되는 특징(feature)들을 모아서, 유사한 것들끼리 클러스터링(clustering)이 자동으로 이루어지도록 할 수 있다. 이런 동작은, 클러스터링 모델(61)에 의해 수행될 수 있다.
이 클러스터링은, 딥러닝 모델을 이용할 수도 있고, 아니면 계산적으로 수행될 수도 있다. 여러 개의 특징(feature)들을 모으면, 각각의 특성에 따라 자연스럽게 상대적인 벡터공간 상의 위치 및 이상점수(80)가 정해지고, 이를 기반으로 클러스터를 형성할 수 있다. 이렇게 구성된 각 클러스터에 해당하는 데이터의 특성을 대상 응용분야(domain) 관리자가 식별하고 명명하여, 각 클러스터별로 하나의 이상(anomaly) 클래스를 지정하도록 할 수 있다.
상기 이상 클러스터 뱅크 생성단계(S78)는, 이상 클러스터 뱅크(62)에 이상 클래스, 특징, 식별정보 중 적어도 하나가 저장되는 단계이다. 상기 식별 및 명명으로 확보된 식별정보는, 이상 클러스터 뱅크(62, Anomaly Cluster Bank)에 저장될 수 있고, 이에 따라, 이상 데이터가 이상 클러스터 뱅크(62)를 구성할 수 있다. 상기 이상 클러스터 뱅크(62)의 저장 내용은, 정상 클래스 특징 뱅크(30)와 유사 내지 대응되는 정보를 포함하고, 이상점수(80) 등 추가정보를 각 클러스터별로 포함할 수 있다.
다만, 이 작업을 위해 자동 클러스터링 과정이 반드시 필요한 것은 아니고, 대상 응용분야 관리자가 최소한의 대표 특징(feature)들만을 가지고 분류기준이 될 후술하는 이상 클러스터 뱅크(Anomaly Cluster Bank)를 별도로 구성하는 것도 가능할 수 있다.
상기 이상 분류단계(S79)는, 신규 입력된 테스트 데이터(40)에 대한 이상 여부(91)의 판정의 결과가 '이상'인 경우, 상기 이상 클러스터 뱅크(62) 내의 정보에 기반하여 상기 이상이 분류되는 단계이다.
상기 확보된 추가 이상 클러스터 뱅크(62)의 정보를 기준으로 이상(anomaly)으로 판정된 특징(feature)을 비교함으로써, 그 이상(anomaly)을 분류하는 것이 가능해질 수 있다. 즉, 이상 분류(anomaly classification) 모듈(63)은, 이 이상 클러스터 뱅크(62)의 정보를 이용하여, 이상(anomaly)로 판정된 결과를 자세하게 분류할 수 있게 된다.
한편, 이상 클러스터 뱅크(62)의 내용을 수정하거나 분류기준을 재설정함으로써, 새로운 클래스를 추가하거나 기존 클래스를 변경하는 것이 가능할 수 있다. 또한, 이 과정에서 파악된 특정 클래스 정보를 이용하여, 이상(anomaly)의 세부 조정이 가능할 수 있다.
<세부 조정>
한편, 대상 응용분야(domain)의 지식을 가지고 있는 시스템 사용자나 관리자는, 전체 모델의 인지나 예측 결과에 대해 세부적인 조정작업을 진행할 수 있다. 즉, 결과에 영향을 준 입력데이터를 분석함으로써, 정상이나 이상으로 결정된 특징(feature)들의 판단기준을 필요한 방향으로 바꿀 수 있는 권한이 필요한 경우가 있다. 세부 조정은, 어떤 특정된 특징에 대해, 정상으로 분류되던 것을 이상으로 분류되도록 네가티브 변경하거나, 이상으로 분류되던 것을 정상으로 분류되도록 포지티브 변경하는 양상으로 나타날 수 있다.
<세부 조정 - 네가티브>
원래 정상으로 학습되고 있던 특징에 대해, 앞으로 이상으로 분류 학습되도록 그 학습 및 검출이 세부 조정할 수 있다. 이를 위해서, 본 발명의 방법은, 도 7 상측과 같이, 네가티브 변경 확인단계(S31); 세부 조정단계(S32); 및 일괄 적용단계(S33);가 더 포함되어 이루어질 수 있다. 이런 동작은, 정상 클래스 튜닝모듈(32)에 의해 수행될 수 있다.
상기 네가티브 변경 확인단계(S31)는, 정상으로 분류되었던 특징을 이상으로 분류되는 특징으로 변경시키는 평가기준 변경이 확인되는 단계이다.
상기 세부 조정단계(S32)는, 상기 정상 클래스 특징 뱅크(30)에서 대상 특징 정보를 삭제하는 단계이다. 즉, 해당되는 특정 특징을, 정상 클래스 특징 뱅크(30)에서 제외시키고 이상(anomaly)으로 분류되도록 세부 조정(tuning)하여 탐지성능을 개선할 수 있다.
이상이 되도록 평가를 바꾸고 싶은 특징(feature)들을 찾아내어, 정상 클래스 특징 뱅크(30, Feature Bank)에서 삭제하거나 관련된 평가 기준을 변경할 수 있다. 각 특징(feature)을 생성해 낸 입력 데이터를 사람이 직접 확인하여, 조정 여부를 판정할 수 있다.
상기 일괄 적용단계(S33)는, 동종 특징에 대해 전부 일괄 조정하는 단계이다.
하나의 특징(feature)만을 대상으로 하는 것이 아니라, 같은 부류의 전체 특징(feature)들이 조정되도록 함으로써, 안정된 평가기준을 유지할 수 있게 할 필요가 있다.
<세부 조정 - 포지티브>
한편, 원래 이상으로 학습되고 있던 특징에 대해, 앞으로 정상으로 분류 학습되도록 그 학습 및 검출이 세부 조정할 수 있다. 이를 위해서, 본 발명의 방법은, 도 7 하측과 같이, 포지티브 변경 확인단계(S34); 세부 조정단계(S35); 및 일괄 적용단계(S36);가 더 포함되어 이루어질 수 있다. 이런 동작은, 정상 클래스 튜닝모듈(32)에 의해 수행될 수 있다.
상기 포지티브 변경 확인단계(S34)는, 이상으로 분류되었던 특징을 정상으로 분류되는 특징으로 변경시키는 평가기준 변경이 확인되는 단계이다.
상기 세부 조정단계(S35)는, 상기 정상 클래스 특징 뱅크(30)에서 대상 특징 정보를 추가하는 단계이다. 즉, 해당되는 특정 특징을, 정상 클래스 특징 뱅크(30)에 추가시키고 정상으로 분류되도록 세부 조정(tuning)하여 탐지성능을 개선할 수 있다.
정상으로 평가되도록 바꾸고 싶은 특징(feature)들을 찾아내어, 정상 클래스 특징 뱅크(30, Feature Bank)에 추가되게 업데이트하거나 관련 평가기준을 변경할 수 있다. 각 특징(feature)을 생성해 낸 입력데이터를 사람이 직접 확인하여 조정 여부를 판정할 수 있다.
상기 일괄 적용단계(S36)는, 동종 특징에 대해 전부 일괄 조정하는 단계이다.
마찬가지로 하나의 특징(feature)만을 대상으로 하는 것이 아니라, 같은 부류의 전체 특징(feature)들이 조정되도록 할 필요가 있다.
<실시예 - 이미지 기반 결함검출>
이미지 데이터를 이용하여 결함검출을 수행하는 단일 클래스 이상 탐지모델을 기준으로, 본 발명의 상세 실시예를 설명하고자 한다.
<실시예 - 이상 탐지모델의 훈련과정>
이미지에서 특징을 추출하기 위해, CNN 기반의 딥러닝 모델을 사용할 수 있다. 정상 이미지 데이터셋에서 CNN 기반 딥러닝 모델을 통해 각 픽셀이나 픽셀 그룹에 대해 추출된 특징은, 정상 상태에 대한 일정한 군집분포를 이룰 수 있다. 이러한 분포를 잘 표현할 수 있는 대표 샘플들만 추출하여, 정상 클래스 특징 뱅크(Feature Bank)를 생성할 수 있다.
<실시예 - 이상 탐지모델의 검출과정>
결함을 검출하기 위한 테스트 이미지에서 훈련에서 사용된 것과 동일한 딥러닝 모델을 통해 각 픽셀(그룹 포함)에서 특징을 추출할 수 있다. 테스트 이미지에서 추출된 특징들과 정상 클래스 특징 뱅크(Feature Bank)에 저장된 특징들 사이의 유클리드 거리를 계산할 수 있다. 정상 이미지에서 추출된 특징은 정상 클래스 특징 뱅크에 저장된 특징들과 매우 유사할 것이고, 결함 부분에서 추출된 특징은 정상 특징 뱅크에 저장된 특징과 구별되는 특성을 갖게 될 수 있다. 이러한 특징 사이의 유클리드 거리를 이상점수로 활용하여 이상 여부를 판단할 수 있다.
<실시예 - 재훈련>
이렇게 구축된 단일 클래스 이상 탐지기반 결함검출모델을, 다음과 같이 재학습시킬 수 있다.
훈련이 끝난 이상 탐지모델을 사용하더라도, 추가적인 훈련이 필요한 경우가 발생 가능하다. 예컨대, 훈련에 사용된 데이터와 실제 사용시 획득되는 데이터의 주변환경(조도, 카메라 각도의 변경 등)이 변경될 수 있다. 또는, 이상을 탐지하고자 하는 제품의 형상이나 표면 상태가 일부 변할 수 있다. 또는, 모델이 실제 전체 정상 데이터의 특징(feature)을 모두 찾아낼 수 있도록 충분히 학습이 안 됐을 수도 있다.
입력되는 데이터 중에 이상점수가 정상 범위에 속하는 업데이트 정상 데이터셋을 생성할 수 있다. 이 데이터셋을 이용하여 두 가지 접근방식이 가능할 수 있다.
첫째로는, 사용된 CNN 모델이 사전학습된 경우로서, 정상 클래스 특징 뱅크(Feature Bank)를 업데이트하기만 하면 되는 경우이다. 업데이트 정상 데이터셋에서 추출된 정상 특징들과 기존 정상 클래스 특징 뱅크(Feature Bank)에 저장되어 있던 정상 특징을 혼합하여, 새로운 업데이트 정상 클래스 특징 뱅크(Feature Bank)를 생성할 수 있다. 이때, 기존 정상 클래스 특징 뱅크(Feature Bank)에 포함되어 있지 않던 특징들은 새로 추가되고, 기존 정상 특징 뱅크에 포함되어 있는 것과 유사한 특징들은 추가되지 않을 수 있다.
둘째로는, CNN 모델이 사전학습되지 않은 경우로, 업데이트 정상 데이터셋을 이용하여 특징 추출모델을 새로 학습시키고, 업데이트 정상 클래스 특징 뱅크(Feature Bank)를 새로 생성할 수 있다.
<실시예 - 이상 분류>
상기 검출모델에 다음과 같이 분류기능을 추가하는 것이 가능하다.
첫째, 모델을 사용하면서 결함 이미지 데이터와 그에 연결된 특징들이 누적됨에 따라, 이를 이용한 클러스터링 및 식별이 가능해질 수 있다.
관리자로 하여금 각 클러스터별 해당 결함 이미지 데이터를 보고, 결함 종류를 구분하고 명명하도록 할 수 있다. 이 정보를 이용하여, 이상 클러스터 뱅크(Anomaly Cluster Bank)를 구성할 수 있다.
이상이 검출된 경우, 이상 분류 단계는, 이상 클러스터 뱅크(Anomaly Cluster Bank)를 기반으로 그 특징을 식별하여, 이상 클래스를 분류할 수 있다.
이 방법은, 모델을 사용하면서 결함 데이터를 어느 정도 축적해야만 효용성이 생길 수 있다.
둘째로는, 관리자가 직접 결함 클래스를 대표하는 이미지 데이터를 지정하도록 하는 방식도 가능하다. 이 지정된 결함 데이터에 대해 각 결함 클래스별 대표 특징들을 생성하고, 이를 기반으로 이상 클러스터 뱅크(Anomaly Cluster Bank)를 구성할 수 있다.
이 방법은, 관리자가 결함 종류에 대한 정보를 이미 알고 있는 경우에 가능한 것으로서, 결함분류 정보의 축적이 필요 없는 방식이다.
<실시예 - 세부 조정>
상기 검출모델을 다음과 같이 세부 조정할 수 있다.
예를 들어, 이전까지는 정상 판정했던 특성이 고객의 클레임으로 결함 판정을 내려야 할 필요가 있을 수 있다. 또는 반대로, 이전까지는 결함으로 판정하고 있었으나, 수요처의 특성상 결함이 아닐 수 있다. 이러한 경우, 새로운 데이터셋을 생성하기 보다 학습되어 있던 정상 클래스 특징 뱅크(Feature Bank)에서 해당 판정에 영향을 주는 특징을 찾아, 추가하거나, 제거하는 것이 더 효과적일 수 있다.
정상으로 판정되던 것을 이상으로 조정하기 위해서는, 그 정상에 해당하는 입력 이미지 픽셀(그룹 포함)을 관리자가 구분하도록 하고, 이에 관련된 대표 목적 특징을 생성할 수 있다. 이 목적 특징에 대해, 정상으로 판정하게 하는 인접 특징들을 정상 클래스 특징 뱅크(Feature Bank)에서 탐색할 수 있다. 이런 인접 특징은, 하나일 수도 있고, 또는 여러 개일 수도 있다. 기존의 정상 특징범위를 흐트러뜨리지 않는 적절한 수의 인접 특징을 모두 제거할 수 있다.
유사하게, 이상으로 판정되던 것을 정상으로 조정하기 위해서는, 그 이상에 관련된 대표 목적 특징을 생성해야 할 수 있다. 이 목적 특징이 정상 클래스 특징 뱅크(Feature Bank)에 추가되도록 조정할 수 있다. 이때, 관련된 여러 특징들을 인위적으로 생성하여 같이 추가하는 것도 가능할 수 있다.
<장치>
한편, 상기 설명된 본 발명의 방법은, 롬, 램, EPROM, PLC 등의 하드웨어에 실행 가능한 형태로 하드 와이어링을 통해 모듈별로 장치화될 수 있다.
본 발명의 장치는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 장치이다. 본 발명의 장치는, 훈련데이터 입력모듈; 테스트 데이터 입력모듈; 특징 추출모델(20, 50); 정상 클래스 특징 뱅크(30); 이상 평가모듈(70); 이상 탐지모듈(90); 및 인지 예측모듈;이 포함되어 이루어짐을 특징으로 한다.
상기 훈련데이터 입력모듈은, 특징 추출모델(20)에 입력데이터(10)로서 정상 데이터셋으로 이루어진 입력데이터(10)를 입력하는 모듈이다.
상기 테스트 데이터 입력모듈은, 훈련된 특징 추출모델(50)에 입력데이터(10)로서 테스트 데이터(40)를 입력하는 모듈이다.
상기 특징 추출모델(20, 50)은, 딥러닝에 의해 상기 입력데이터(10)의 특징을 추출하는 딥러닝 모델이다.
상기 정상 클래스 특징 뱅크(30)는, 상기 특징에 기반한 특징 정보가 집적되는 데이터 뱅크이다.
상기 이상 평가모듈(70)은, 상기 정상 클래스 특징 뱅크(30) 내의 특징 정보에 기반하여 상기 테스트 데이터(40)의 특징(60)의 이상점수(80)를 산출하는 모듈이다.
상기 이상 탐지모듈(90)은, 통계상 정상분포에 대비한 상기 이상점수(80)의 이탈도에 의해 이상 여부(91)를 판정하는 모듈이다.
상기 인지 예측모듈은, 상기 이상점수(80) 및 이상 여부(91) 판정결과에 따라 이상의 인지나 예측(92)을 하는 모듈이다.
<프로그램>
한편, 본 발명의 프로그램은, 정보기기에 상기에 기재된 방법의 각 단계를 실행시키기 위한 정보기기용 프로그램이다. 상기 프로그램은, 정보기기로 읽을 수 있는 저장매체에 기록되어 있을 수 있다.
여기서, 상기 정보기기는, 컴퓨터, 스마트폰, 태블릿 컴퓨터 등 휴대용 정보처리기기를 통칭한다.
이상 본 발명의 바람직한 실시예에 대해 설명했지만, 본 발명은, 상기 개시되는 실시예들에 한정되는 것이 아니라, 특허청구범위와 발명의 상세한 설명 및 첨부 도면의 범위 안에서 서로 다른 다양한 형태로 변형하여 구현 실시될 수 있고, 균등한 타 실시예가 가능하며, 이 또한 본 발명의 범위에 속하는 것은 당해 분야에서 통상적 지식을 가진 자에게 당연하며, 단지 실시예들은, 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은, 청구항의 범주에 의해 정의될 뿐이다.
본 발명은, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램의 산업에 이용될 수 있다.
10: 정상 데이터셋
11: 업데이트 정상 데이터셋
20: 특징 추출모델
21: 업데이트 특징 추출모델
30: 정상 클래스 특징 뱅크
31: 업데이트 정상 클래스 특징 뱅크
32: 정상 클래스 튜닝(세부 조정)모듈
40: 테스트 데이터
60: 테스트 특징
61: 클러스터링 모델
62: 이상 클러스터 뱅크
63: 이상 분류모듈
70: 이상 평가모듈
80: 이상점수
90: 이상 탐지모듈
91: 이상 여부
92: 인지 및 예측

Claims (7)

  1. 컴퓨팅 장치에 의해 각 단계가 수행되는 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법에 있어서,
    딥러닝을 이용한 특징 추출모델에 정상 데이터셋이 입력되는 훈련데이터 입력단계;
    상기 특징 추출모델이 딥러닝에 의해 상기 정상 데이터셋의 특징을 추출하는 특징 추출모델 훈련단계;
    상기 특징에 기반한 특징 정보가 정상 클래스 특징 뱅크에 집적되는 특징 정보 집적단계;
    훈련된 상기 특징 추출모델에 테스트 데이터가 입력되는 테스트 데이터 입력단계;
    상기 특징 추출모델이 딥러닝에 의해 상기 테스트 데이터의 특징을 추출하는 테스트 특징 추출단계;
    상기 정상 클래스 특징 뱅크 내의 특징 정보에 기반하여 상기 테스트 데이터의 특징의 이상점수를 산출하는 이상 평가단계;
    통계상 정상분포에 대비한 상기 이상점수의 이탈도에 따라 이상 여부를 판정하는 이상 탐지단계; 및
    상기 이상점수 및 이상 여부 판정결과에 따라 이벤트의 인지나 예측을 하는 인지 예측단계;
    가 포함되어 이루어짐을 특징으로 하는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법.
  2. 청구항 1에 있어서,
    상기 이상 여부의 판정의 결과가 '정상'인 경우, 상기 특징 추출모델에 정상인 테스트 데이터로 이루어지는 업데이트 정상 데이터셋이 입력되는 데이터 재입력단계;
    상기 특징 추출모델이 상기 업데이트 정상 데이터셋의 특징을 추출함과 함께, 딥러닝에 의해 상기 특징 추출모델이 재훈련되는 특징 추출모델 재훈련단계; 및
    추출된 상기 특징에 기반한 특징 정보가 상기 정상 클래스 특징 뱅크에 추가되는 특징 추가단계;
    가 더 포함되어 이루어짐을 특징으로 하는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법.
  3. 청구항 1에 있어서,
    상기 이상 여부의 판정의 결과가 '이상'인 경우, 상기 테스트 데이터의 특징에 기반한 특징 정보가 유사도에 따라 클러스터에 수집되는 특징 정보 수집단계;
    이상 클러스터 뱅크에 이상 클래스, 특징, 식별정보 중 적어도 하나가 저장되는 이상 클러스터 뱅크 생성단계; 및
    신규 입력된 테스트 데이터에 대한 이상 여부의 판정의 결과가 '이상'인 경우, 상기 이상 클러스터 뱅크 내의 정보에 기반하여 상기 이상이 분류되는 이상 분류단계;
    가 더 포함되어 이루어짐을 특징으로 하는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법.
  4. 청구항 1에 있어서,
    정상으로 분류되었던 특징을 이상으로 분류되는 특징으로 변경시키는 평가기준 변경이 확인되는 네가티브 변경 확인단계;
    상기 정상 클래스 특징 뱅크에서 대상 특징 정보를 삭제하는 세부 조정단계; 및
    동종 특징에 대해 전부 일괄 조정하는 일괄 적용단계;
    가 더 포함되어 이루어짐을 특징으로 하는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법.
  5. 청구항 1에 있어서,
    이상으로 분류되었던 특징을 정상으로 분류되는 특징으로 변경시키는 평가기준 변경이 확인되는 포지티브 변경 확인단계;
    상기 정상 클래스 특징 뱅크에서 대상 특징 정보를 추가하는 세부 조정단계; 및
    동종 특징에 대해 전부 일괄 조정하는 일괄 적용단계;
    가 더 포함되어 이루어짐을 특징으로 하는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법.
  6. 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류장치에 있어서,
    특징 추출모델에 정상 데이터셋을 입력하는 훈련데이터 입력모듈;
    훈련된 특징 추출모델에 테스트 데이터를 입력하는 테스트 데이터 입력모듈;
    딥러닝에 의해 상기 정상 데이터셋 또는 테스트 데이터의 특징을 추출하는 특징 추출모델;
    상기 특징에 기반한 특징 정보가 집적되는 정상 클래스 특징 뱅크;
    상기 정상 클래스 특징 뱅크 내의 특징 정보에 기반하여 상기 테스트 데이터의 특징의 이상점수를 산출하는 이상 평가모듈;
    통계상 정상분포에 대비한 상기 이상점수의 이탈도에 따라 이상 여부를 판정하는 이상 탐지모듈; 및
    상기 이상점수 및 이상 여부 판정결과에 따라 이벤트의 인지나 예측을 하는 인지 예측모듈;
    이 포함되어 이루어짐을 특징으로 하는, 인공지능을 이용한 단일 클래스 이상 탐지 모델을 이용한 예측 분류 장치.
  7. 정보기기에 청구항 1에 기재된 방법의 각 단계를 실행시키기 위한 정보기기용 프로그램을 기록한, 정보기기로 읽을 수 있는 저장매체에 기록된 정보기기용 프로그램.
KR1020220007173A 2022-01-18 2022-01-18 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램 KR102488789B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220007173A KR102488789B1 (ko) 2022-01-18 2022-01-18 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220007173A KR102488789B1 (ko) 2022-01-18 2022-01-18 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
KR102488789B1 true KR102488789B1 (ko) 2023-01-17

Family

ID=85111069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220007173A KR102488789B1 (ko) 2022-01-18 2022-01-18 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램

Country Status (1)

Country Link
KR (1) KR102488789B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116429782A (zh) * 2023-03-29 2023-07-14 南通大学 一种基于残差网络和知识编码的锯链缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100758460B1 (ko) 2006-10-25 2007-09-14 주식회사 포스코 스테인레스 강판의 표면결함 검출방법
US10115194B2 (en) * 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
KR20210108168A (ko) * 2020-02-25 2021-09-02 충남대학교산학협력단 머신러닝 기반의 펌프 고장 진단 모니터링 방법
KR102346676B1 (ko) * 2021-07-23 2022-01-03 주원씨엔시 주식회사 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100758460B1 (ko) 2006-10-25 2007-09-14 주식회사 포스코 스테인레스 강판의 표면결함 검출방법
US10115194B2 (en) * 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
KR20210108168A (ko) * 2020-02-25 2021-09-02 충남대학교산학협력단 머신러닝 기반의 펌프 고장 진단 모니터링 방법
KR102346676B1 (ko) * 2021-07-23 2022-01-03 주원씨엔시 주식회사 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"영상 데이터 특징 커버리지 기반 딥러닝 모델 검증 기법", 정보처리학회논문지/소프트웨어 및 데이터 공학 제10권 제9호(pp. 375~384), 2021. 9. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116429782A (zh) * 2023-03-29 2023-07-14 南通大学 一种基于残差网络和知识编码的锯链缺陷检测方法
CN116429782B (zh) * 2023-03-29 2024-01-09 南通大学 一种基于残差网络和知识编码的锯链缺陷检测方法

Similar Documents

Publication Publication Date Title
CN110945528B (zh) 产生可用于检查半导体样品的训练集的方法及其系统
JP6708385B2 (ja) 識別器作成装置、識別器作成方法、およびプログラム
CN112052787A (zh) 基于人工智能的目标检测方法、装置及电子设备
JP5214760B2 (ja) 学習装置、方法及びプログラム
US11686689B2 (en) Automatic optimization of an examination recipe
KR102488789B1 (ko) 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램
Siddalingappa et al. Anomaly detection on medical images using autoencoder and convolutional neural network
JP2019153092A (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
KR20200124887A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
Al-Shammri et al. A Combined Method for Object Detection under Rain Conditions Using Deep Learning
CN115410250A (zh) 阵列式人脸美丽预测方法、设备及存储介质
US20210312323A1 (en) Generating performance predictions with uncertainty intervals
CN112926663A (zh) 分类模型的训练方法、装置、计算机设备及存储介质
JP7206892B2 (ja) 画像検査装置、画像検査のための学習方法および画像検査プログラム
WO2022181303A1 (ja) アンサンブル学習システムおよびアンサンブル学習プログラム
CN114760484B (zh) 直播视频识别方法、装置、计算机设备和存储介质
CN117235559B (zh) 一种基于边缘计算的物联网数据采集方法及系统
KR102615055B1 (ko) 적대적 이미지 복원 시스템 및 적대적 이미지 복원 방법
CN112115996B (zh) 图像数据的处理方法、装置、设备及存储介质
Awad et al. Unsupervised Change Detection in Optical Satellite Imagery Using SIFT Flow
CN112347893B (zh) 用于视频行为识别的模型训练方法、装置和计算机设备
Diaw et al. Modeling a Local Dissimilarity Map With Weibull Distribution–Application to 2-Class and Multi-Class Image Classification
Sachdeva et al. Comparative Analysis of Event Detection in Video Sequences using Adaptive Nature-Inspired PBCDNN, Ensemble FS-Linear MSVM and CNN Techniques

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant