KR102476300B1 - 기계 학습을 이용한 이상 탐지를 위한 장치 및 방법 - Google Patents

기계 학습을 이용한 이상 탐지를 위한 장치 및 방법 Download PDF

Info

Publication number
KR102476300B1
KR102476300B1 KR1020210105795A KR20210105795A KR102476300B1 KR 102476300 B1 KR102476300 B1 KR 102476300B1 KR 1020210105795 A KR1020210105795 A KR 1020210105795A KR 20210105795 A KR20210105795 A KR 20210105795A KR 102476300 B1 KR102476300 B1 KR 102476300B1
Authority
KR
South Korea
Prior art keywords
data
training
prototype
machine learning
fine
Prior art date
Application number
KR1020210105795A
Other languages
English (en)
Inventor
차미영
송현호
한성원
박성원
이승언
Original Assignee
기초과학연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기초과학연구원 filed Critical 기초과학연구원
Priority to KR1020210105795A priority Critical patent/KR102476300B1/ko
Application granted granted Critical
Publication of KR102476300B1 publication Critical patent/KR102476300B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 개시의 실시 예에 따른 이상 탐지를 위한 장치는 복수의 이미지 데이터를 포함하는 훈련 데이터에 대해 데이터 증식을 수행하여 손실 함수를 계산하고, 상기 손실 함수가 최소화되도록 기계 학습 모델의 인코더를 훈련시키는 훈련부, 상기 훈련 데이터에 대응하고, 상기 인코더에 의해 생성되는 표현에 기반하여 프로토타입을 결정하고, 상기 프로토타입에 기반하여 상기 훈련 데이터에 대한 에너지 함수를 계산하는 프로토타입 선택부, 및 상기 에너지 함수에 기반하여 상기 기계 학습 모델을 미세 조정하는 미세 조정부를 포함하고, 입력 데이터에 대한 에너지 함수에 기반하여 상기 입력 데이터가 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터를 생성한다.

Description

기계 학습을 이용한 이상 탐지를 위한 장치 및 방법{APPARATUS AND METHOD FOR ANOMALY DETECTION USING MACHINE LEARNING}
본 개시는 기계 학습에 관한 것으로, 좀 더 상세하게는 기계 학습을 이용한 이상 탐지를 위한 장치 및 방법에 관한 것이다.
이상 탐지(anomaly detection)는 데이터셋에서 정상 분포를 벗어난(Out-of-Distribution; OOD) 데이터를 식별하는 것이다. 기존의 이상 탐지 방법은 정상 데이터의 확률 분포를 정규성 점수로서 모델링한 후에, 임의의 데이터를 입력 받아 정규성 점수를 계산하고, 작은 정규성 점수를 갖는 데이터를 이상 데이터로 판단하여 왔다. 정상 데이터의 확률 분포를 모델링하기 위해 생성 적대 네트워크(generative adversarial network; GAN), 자동 인코더(autoencoder), 단일 클래스 분류기(one-class classifier) 등이 사용되어 왔다.
그러나 이러한 방법들은 정상 데이터의 확률 분포에 기반하기 때문에, 이상 데이터가 포함된 데이터셋을 이용하는 경우, 확률 분포를 제대로 모델링하지 못한다는 제한이 있다. 실제로 사용되는 데이터셋은 정상 데이터만을 포함하지 않으며, 이상 데이터를 언제든지 포함할 수 있으므로, 이상 데이터를 포함하는 데이터셋을 이용하여 데이터의 정상 여부와 관련된 확률 분포를 모델링할 수 있는 방법이 필요하다.
한국 공개특허공보 제10-2020-0000541호 ("인공 신경망의 학습 방법"), 2020.01.03. 한국 등록특허공보 제10-2271740호 ("이상 탐지 방법 및 이를 위한 장치"), 2021.07.02.
본 개시는 에너지 기반의 기계 학습을 이용한 이상 탐지를 위한 장치 및 방법을 제공한다.
본 개시의 실시 예에 따른 이상 탐지를 위한 장치는 복수의 이미지 데이터를 포함하는 훈련 데이터에 대해 데이터 증식을 수행하여 손실 함수를 계산하고, 상기 손실 함수가 최소화되도록 기계 학습 모델의 인코더를 훈련시키는 훈련부, 상기 훈련 데이터에 대응하고, 상기 인코더에 의해 생성되는 표현에 기반하여 프로토타입을 결정하고, 상기 프로토타입에 기반하여 상기 훈련 데이터에 대한 에너지 함수를 계산하는 프로토타입 선택부, 및 상기 에너지 함수에 기반하여 상기 기계 학습 모델을 미세 조정하는 미세 조정부를 포함하고, 입력 데이터에 대한 에너지 함수에 기반하여 상기 입력 데이터가 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터를 생성한다.
본 개시의 실시 예에 따른 이상 탐지를 위한 방법은 훈련 데이터에 대해 데이터 증식을 수행하여 손실 함수를 계산하고, 상기 손실 함수가 최소화되도록 기계 학습 모델의 인코더를 훈련시키는 단계, 상기 훈련 데이터에 대응하고, 상기 인코더에 의해 생성되는 표현에 기반하여 프로토타입을 결정하는 단계, 상기 프로토타입에 기반하여 상기 훈련 데이터에 대한 에너지 함수를 계산하는 단계, 상기 에너지 함수에 기반하여 상기 기계 학습 모델을 미세 조정하는 단계, 및 입력 데이터에 대한 에너지 함수에 기반하여 상기 입력 데이터가 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터를 생성하는 단계를 포함한다.
본 개시의 실시 예에 따른 비일시적 컴퓨터 판독 가능 매체는 프로그램 코드를 포함하고, 프로세서에 의해 상기 프로그램 코드가 실행될 때, 상기 프로세서는 훈련 데이터에 대해 데이터 증식을 수행하여 손실 함수를 계산하고, 상기 손실 함수가 최소화되도록 기계 학습 모델의 인코더를 훈련시키고, 상기 훈련 데이터에 대응하고, 상기 인코더에 의해 생성되는 표현에 기반하여 프로토타입을 결정하고, 상기 프로토타입에 기반하여 상기 훈련 데이터에 대한 에너지 함수를 계산하고, 상기 에너지 함수에 기반하여 상기 기계 학습 모델을 미세 조정하고, 그리고 입력 데이터에 대한 에너지 함수에 기반하여 상기 입력 데이터가 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터를 생성한다.
본 개시의 실시 예에 따르면, 의료 영상이나 감시 카메라 영상 내부의 이상 데이터를 탐지할 수 있고, 크롤링 등을 통해 수집된 이미지 데이터들 중에서 이상 데이터를 탐지할 수 있다.
도 1은 본 개시의 실시 예에 따른 이상 탐지를 위한 장치의 구성의 예를 나타내는 블록도이다.
도 2는 본 개시의 실시 예에 따른 이상 탐지를 위한 방법을 나타내는 흐름도이다.
도 3a 내지 도 3c는 본 개시의 실시 예에 따른 이상 탐지를 개념적으로 나타낸다.
아래에서는, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 쉽게 실시할 수 있을 정도로, 본 개시의 실시 예들이 명확하고 상세하게 기재될 것이다.
상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 블록(block), ~기(~or, ~er) 등의 용어들을 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈 (microelectromechanical system; MEMS), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.
도 1은 본 개시의 실시 예에 따른 이상 탐지(anomaly detection)를 위한 장치(100)의 구성의 예를 나타내는 블록도이다. 장치(100)는 복수의 이미지들을 포함하는 입력 데이터(IDAT)를 입력 받아, 기계 학습을 이용한 이상 탐지를 수행함으로써, 입력 데이터(IDAT)가 포함하는 복수의 이미지들 각각이 정상 데이터(normal data)인지, 또는 이상 데이터(anomaly data)인지 여부를 나타내는 출력 데이터(OUT)를 생성할 수 있다.
예를 들어, 장치(100)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 가속 처리 장치(APU), 또는 신경망 처리 장치(NPU) 중 적어도 하나로서 구현될 수 있으나, 본 개시는 이에 한정되지 않는다. 장치(100)는 상술한 이상 탐지를 수행하기 위한 기계 학습 모델을 포함할 수 있다. 예를 들어, 기계 학습 모델은 컨볼루션 신경망(convolutional neural network; CNN)을 포함할 수 있으나, 본 개시는 이에 한정되지 않는다.
기계 학습 모델은 입력 받은 데이터를 데이터에 대응하는 표현(representation)으로 변환하기 위한 인코더(encoder; f)를 포함할 수 있다. 예를 들어, 이미지 데이터에 대응하는 표현은 이미지 데이터의 각 픽셀의 RGB(red-green-blue; 빨간색-녹색-파란색) 값 또는 HSV(hue-saturation-value; 색상-채도-명도) 값일 수 있으나, 본 개시는 이에 한정되지 않는다. 본 개시의 기계 학습 모델은 이미지 데이터에 대응하는 표현에 기반하여 이상 탐지를 수행할 수 있다.
또한, 장치(100)는 이상 탐지를 수행하기 이전에, 훈련 데이터(TDAT)를 입력 받아 기계 학습 모델을 훈련시키고, 조정할 수 있다. 이를 위해, 장치(100)는 훈련부(110), 프로토타입 선택부(120), 및 미세 조정부(130)를 포함할 수 있다. 훈련 데이터(TDAT)는 “정상”으로 레이블링된 이미지 데이터(Xn), “이상”으로 레이블링된 이미지 데이터(Xa), 및 레이블링되지 않은 이미지 데이터(Xu)를 포함할 수 있다.
훈련부(110)는 훈련 데이터(TDAT)를 입력 받아, 정상 데이터(Xn) 및 레이블링되지 않은 데이터(Xu)만을 이용하여 이상 탐지를 위한 기계 학습 모델의 인코더 f를 훈련시킬 수 있다. 예를 들어, 훈련부(110)는 레이블링되지 않은 데이터(Xu)는 대부분 정상 데이터(Xn)를 포함할 것이라는 가정 하에 인코더 f를 훈련시킬 수 있다. 인코더 f를 훈련시키기 위해, 훈련부(110)는 정상 데이터(Xn) 및 레이블링되지 않은 데이터(Xu)에 대해 데이터 증식(augmentation)을 수행하여 증식된 데이터들 사이의 유사도를 계산할 수 있고, 유사도에 기반하여 기계 학습 모델의 손실 함수를 계산할 수 있다.
구체적으로, 훈련부(110)는 정상 데이터(Xn) 및 레이블링되지 않은 데이터(Xu)에 속하는 각 데이터 xi에 대해 제 1 데이터 증식을 수행하여 제 1 증식 데이터(
Figure 112021092514097-pat00001
)를 생성할 수 있고, 제 2 데이터 증식을 수행하여 제 2 증식 데이터(
Figure 112021092514097-pat00002
)를 생성할 수 있다. 예를 들어, 데이터 증식은 이미지 데이터의 회전(rotation), 스케일링(scaling), 크롭핑(cropping), 흑백(grayscale) 변환, 밝기(brightness) 변환, 대조(contrast) 변환, 색상(color) 변환, 또는 선예도(sharpness) 변환 등을 포함할 수 있으나, 본 개시는 이에 한정되지 않는다.
그 후, 훈련부(110)는 데이터 xi와 관련된 기계 학습 모델의 손실 함수 LCL을 계산할 수 있다. 구체적으로, 데이터 xi에 대응하는 제 1 증식 데이터
Figure 112021092514097-pat00003
및 제 2 증식 데이터
Figure 112021092514097-pat00004
에 기반하는 손실 함수
Figure 112021092514097-pat00005
은 아래의 수학식 1과 같이 계산될 수 있다.
Figure 112021092514097-pat00006
정상 데이터(Xn) 및 레이블링되지 않은 데이터(Xu)의 전체 데이터 개수를 m이라고 할 때,
Figure 112021092514097-pat00007
,
Figure 112021092514097-pat00008
을 각각 제 1 데이터 증식이 수행된 m개의 제 1 증식 데이터의 집합 및 제 2 데이터 증식이 수행된 m개의 제 2 증식 데이터의 집합이라고 한다면,
Figure 112021092514097-pat00009
는 데이터 증식이 수행된 전체 집합(
Figure 112021092514097-pat00010
)에서 데이터
Figure 112021092514097-pat00011
만을 제외한 집합을 나타낸다(즉,
Figure 112021092514097-pat00012
). 다시 말해,
Figure 112021092514097-pat00013
는 데이터 증식이 수행된 전체 2m개의 데이터들 중
Figure 112021092514097-pat00014
을 제외한 모든 증식 데이터를 나타낼 수 있다.
Figure 112021092514097-pat00015
은 데이터 간의 유사도를 계산하는 함수(예를 들어, 코사인 유사도(cosine similarity))를 나타낼 수 있고, τ는 데이터의 분포와 관련된 상수일 수 있다.
Figure 112021092514097-pat00016
및
Figure 112021092514097-pat00017
는 각각 증식된 이미지 데이터
Figure 112021092514097-pat00018
및
Figure 112021092514097-pat00019
에 대응하는 표현들을 나타낼 수 있다. 따라서,
Figure 112021092514097-pat00020
는 두 표현
Figure 112021092514097-pat00021
및
Figure 112021092514097-pat00022
사이의 유사도를 나타낼 수 있으며, 아래의 수학식 2와 같이 코사인 유사도에 따라 계산될 수 있다.
Figure 112021092514097-pat00023
그러나, 본 개시는 이에 한정되지 않으며, 표현 사이의 유사도는 다른 다양한 방법을 이용하여 계산될 수 있다.
훈련부(110)는 데이터 xi에 대해, 데이터 증식이 수행된
Figure 112021092514097-pat00024
및
Figure 112021092514097-pat00025
사이의 유사도(수학식 1의 분자와 관련)는 증가하고,
Figure 112021092514097-pat00026
및
Figure 112021092514097-pat00027
을 제외한 나머지 데이터들 사이의 유사도(수학식 1의 분모와 관련)는 감소하도록 인코더 f를 훈련시킬 수 있다. 수학식 1의 분자가 증가하고, 분모가 감소함에 따라,
Figure 112021092514097-pat00028
의 값은 0과 1 사이에서 커질 수 있고, 손실 함수
Figure 112021092514097-pat00029
은 작아질 수 있다. 이로써, 훈련부(110)는 모든 데이터에 기반하는 손실 함수의 합
Figure 112021092514097-pat00030
이 최소화되도록 기계 학습 모델의 인코더 f를 훈련시킬 수 있다.
또한, 훈련부(110)는 인코더 f를 훈련시키기 위해, 정상 데이터(Xn) 및 레이블링되지 않은 데이터(Xu)에 속하는 각 데이터 xi에 대해 데이터 증식 중 하나인 시프팅(shifting) 변환을 수행함으로써, 크로스-엔트로피(cross-entropy) 손실 함수 Ls(xi)를 아래의 수학식 3과 같이 계산할 수 있다.
Figure 112021092514097-pat00031
Ts는 가능한 모든 시프팅 변환들의 집합을 나타낼 수 있고, ts는 시프팅 변환들의 집합 Ts가 포함하는 시프팅 변환들 중 하나를 나타낼 수 있다. yt는 데이터 xi에 대해 시프팅 변환이 수행되었음을 가정하는 수도-레이블(pseudo-label)이며,
Figure 112021092514097-pat00032
는 시프팅 변환 ts가 수행된 데이터 ts(xi)에 대해, 수도-레이블로서 시프팅 변환 ts가 레이블링되었을 확률을 나타낼 수 있다.
즉, 수학식 3은 정상 데이터(Xn) 및 레이블링되지 않은 데이터(Xu)에 속하는 각 데이터 xi에 대해, 시프팅 변환들의 집합 Ts가 포함하는 각 시프팅 변환 ts가 수행되었을 때, 레이블링된 수도-레이블 yt도 ts였을 확률에 기반하여 계산된 손실 함수일 수 있다. 따라서, 손실 함수 Ls(xi)는 데이터 xi에 대해 레이블링된 수도-레이블에 대응하는 시프팅 변환과, 실제로 수행된 시프팅 변환이 일치하는 확률 분포를 나타낼 수 있다.
이와 같은 손실 함수 Ls(xi)를 통해, 데이터 xi에 대해 수행된 시프팅 변환의 종류가 예측될 수 있다. 예를 들어, 각 데이터 xi에 대해 서로 다른 시프팅 변환들이 수행되는 경우, 손실 함수 Ls(xi)는 최소화될 수 있고, 이에 따라 훈련 데이터(TDAT)에 대응하는 표현들의 분포가 다양해질 수 있다.
본 개시의 훈련부(110)는 수학식 1의 손실 함수만을 이용하여 인코더 f를 훈련시킬 수도 있고, 수학식 1 및 수학식 3의 손실 함수들을 함께 이용하여 인코더 f를 훈련시킬 수도 있다. 수학식 1 및 수학식 3의 손실 함수들을 함께 이용하는 경우, 수학식 1의 손실 함수만을 이용하는 경우에 비해 기계 학습 모델의 성능은 향상될 수 있다.
프로토타입 선택부(120)는 훈련 데이터(TDAT)가 포함하는 복수의 이미지들 각각을 프로토타입(prototype)에 따라 분류할 수 있다. 예를 들어, 훈련 데이터(TDAT)가 교통수단 또는 동물을 나타내는 복수의 이미지들을 포함하는 경우, 프로토타입은 교통수단(예를 들어, 비행기, 자동차, 배, 트럭 등)과 동물(예를 들어, 새, 고양이, 사슴, 강아지, 개구리, 말 등)일 수 있고, 같은 강아지도 종에 따라 세분화된 프로토타입(예를 들어, 시베리안 허스키, 달마시안, 불독 등)으로 분류될 수 있다.
이 경우, 복수의 이미지들은 교통수단 또는 동물 중 하나로 분류될 수 있고, 복수의 이미지들이 강아지를 나타내는 경우 종에 따라서도 분류될 수 있다. 그러나 본 개시는 이에 한정되지 않으며, 복수의 이미지들은 교통수단 및 동물과 다른 것들을 나타낼 수 있고, 상술한 것과 다른 프로토타입에 따라 분류될 수도 있다.
먼저, 프로토타입 선택부(120)는 인코더 f에 의해 생성된 모든 표현들에 대응하는 데이터 포인트들에 대해 k-평균 클러스터링(k-means clustering)을 수행할 수 있고, 각 클러스터의 센트로이드(centroid)에 대응하는 표현이 나타내는 이미지를 프로토타입으로 결정할 수 있다. 그러나 본 개시는 이에 한정되지 않으며, 프로토타입은 k-평균 클러스터링 외의 다른 다양한 방법을 통해 결정될 수 있다.
프로토타입 선택부(120)는 훈련 데이터(TDAT)가 포함하는 각 이미지 데이터 xi에 대해, 각 프로토타입에 속할 수 있는 확률을 나타내는 확률 분포를 모델링할 수 있다. 이를 위해, 훈련 데이터(TDAT)에 속하는 이미지 데이터 xi에 대해, 프로토타입 p에 속하는 것을 가정하는 수도-프로토타입(pseudo-prototype) yp를 레이블링할 수 있고, 이미지 데이터 xi에 레이블링된 수도-프로토타입 yp에 대응하는 프로토타입 p에 속할 수 있는 확률은 아래의 수학식 4와 같은 소프트맥스 함수(softmax function)에 의해 계산될 수 있다.
Figure 112021092514097-pat00033
수학식 4의 분자는 데이터 xi에 대응하는 표현 f(xi)와, 데이터 xi에 레이블링된 수도-프로토타입 yp에 대응하는 프로토타입 p 사이의 유사도를 나타낼 수 있고, 분모는 데이터 xi에 대응하는 표현 f(xi)와, 모든 프로토타입들(
Figure 112021092514097-pat00034
) 사이의 유사도의 합을 나타낼 수 있다. 따라서,
Figure 112021092514097-pat00035
값이 크다는 것은, 데이터 xi가 실제로 프로토타입 p로 분류될 가능성이 높음을 나타낼 수 있다.
또한, 프로토타입 선택부(120)는 데이터 xi가 수도-프로토타입 yp로 레이블링되었을 때의 에너지 함수(energy function) E(xi, yp)를 yp에 대해 마지널라이즈(marginalize)하여, 아래의 수학식 5와 같이 E(xi)를 계산할 수 있다.
Figure 112021092514097-pat00036
나아가, 프로토타입 선택부(120)는 데이터 xi가 정상 데이터인지 이상 데이터인지를 판별할 수 있는 기준이 되는 점수 함수(score function) S(xi)를 아래의 수학식 6과 같이 에너지 함수 E(xi)에 음수를 취함으로써 계산할 수 있다.
Figure 112021092514097-pat00037
즉, 데이터 xi에 대한 에너지 함수 E(xi) 및 점수 함수 S(xi)는 데이터 xi에 대응하는 표현 f(xi)와, 각 프로토타입 p` 사이의 유사도
Figure 112021092514097-pat00038
에 기반한 값일 수 있다. 따라서, 데이터 xi가 이상 데이터인 경우(즉,
Figure 112021092514097-pat00039
인 p` 중 어느 하나와도 f(xi)가 가까이 있지 않은 경우, 유사도가 작은 경우)는 데이터 xi가 정상 데이터인 경우(즉,
Figure 112021092514097-pat00040
인 p` 중 어느 하나와 f(xi)가 가까이 있는 경우, 유사도가 큰 경우)에 비해, E(xi) 값은 크게 나타날 것이고, S(xi) 값은 작게 나타날 것이다.
따라서, 장치(100)는 프로토타입 선택부(120)에 의해 계산된 에너지 함수 또는 점수 함수에 기반하여, 입력 데이터(IDAT)가 포함하는 복수의 이미지들 각각이 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터(OUT)를 생성할 수 있다.
구체적으로, 출력 데이터(OUT)는 입력 데이터(IDAT)에 대해 계산된 에너지 값이 작은 경우(즉, 점수 값이 큰 경우) 입력 데이터(IDAT)가 정상 데이터임을 나타낼 수 있고, 계산된 에너지 값이 큰 경우(즉, 점수 값이 작은 경우) 입력 데이터(IDAT)가 이상 데이터임을 나타낼 수 있다.
예를 들어, 강아지를 나타내는 이미지들을 포함하는 훈련 데이터(TDAT)에 기반하여 상술한 훈련부(110) 및 프로토타입 선택부(120)의 동작이 수행된 경우, 입력 데이터(IDAT)가 강아지를 나타내는 이미지인 경우, 에너지 값은 작게 계산될 수 있고, 출력 데이터(OUT)는 입력 데이터(IDAT)가 정상 데이터임을 나타낼 수 있다. 한편, 입력 데이터(IDAT)가 고양이를 나타내는 이미지인 경우, 에너지 값은 크게 계산될 수 있고, 출력 데이터(OUT)는 입력 데이터(IDAT)가 이상 데이터임을 나타낼 수 있다.
미세 조정부(130)는 훈련 데이터(TDAT)에 기반하여, 장치(100)의 기계 학습 모델을 미세 조정(fine tuning)할 수 있다. 미세 조정은 이미 학습된 기계 학습 모델에 기반하여, 기계 학습 모델의 구조를 기계 학습 모델의 목적에 부합하도록 변형하고 업데이트하는 것을 나타낸다.
예를 들어, 미세 조정부(130)는 프로토타입 선택부(120)에 의해 계산된 에너지 함수 또는 점수 함수에 기반하여 기계 학습 모델을 미세 조정할 수 있다. 이를 위해, 미세 조정부(130)는 아래의 수학식 7과 같이 미세 조정을 위한 손실 함수 Le를 계산할 수 있다.
Figure 112021092514097-pat00041
손실 함수 Le가 최소화되기 위해, 훈련 데이터(TDAT) 중에서 “이상”으로 레이블링된 이미지 데이터 Xa에 대해 계산된 점수는 작아지고, “정상”으로 레이블링된 이미지 데이터 Xn 및 레이블링되지 않은 이미지 데이터 Xu에 대해 계산된 점수는 커지도록 기계 학습 모델이 조정될 수 있다.
즉,
Figure 112021092514097-pat00042
에서 점수가 작아짐에 따라, 분모가 커질 수 있고, 전체 합은 작아질 수 있으며,
Figure 112021092514097-pat00043
에서 점수가 커짐에 따라, 분모가 커질 수 있고, 전체 합은 작아질 수 있다. 이로써, 손실 함수 Le는 최소화될 수 있고, 기계 학습 모델은 미세 조정될 수 있다.
여기서 C는
Figure 112021092514097-pat00044
에서 점수가 작아짐에 따라 분모가 커질 수 있도록 가능한 가장 큰 값으로 설정될 수 있는 상수이다. 그러나 본 개시는 이에 한정되지 않으며, 미세 조정부(130)는 수학식 6과 다른 방법을 통해 기계 학습 모델을 미세 조정할 수도 있다.
나아가, 기계 학습 모델이 미세 조정됨에 따라 인코더 f에 의해 생성되는 표현들의 분포가 달라질 수 있고, 이에 따라 프로토타입이 달라질 수 있다. 따라서, 프로토타입 선택부(120)는 기계 학습 모델이 미세 조정되는 것에 응답하여, 주기적으로 새로운 표현들의 분포에 기반한 프로토타입을 결정할 수 있다.
예를 들어, 프로토타입 선택부(120)는 기계 학습 모델이 N회(N은 임의의 미리 설정된 자연수) 미세 조정될 때마다, 미세 조정된 기계 학습 모델이 포함하는 인코더 f에 의해 생성된 표현들에 대해 k-평균 클러스터링을 수행할 수 있고, 새로 계산된 센트로이드들을 프로토타입들로 결정할 수 있다.
훈련부(110) 및 미세 조정부(130)에 의한 기계 학습 모델의 훈련 및 미세 조정은 기계 학습 모델의 성능이 미리 정해진 얼리스탑 점수(earlystop score)에 도달할 때까지 진행될 수 있다. 예를 들어, 기계 학습 모델의 성능은 분류 결과에 있어서 참 양성(true positive) 비율과 허위 양성(false positive) 비율을 나타내는 ROC 곡선 아래의 면적(area under ROC; AUROC)으로서 나타날 수 있다. 이 경우, AUROC 값이 미리 정해진 얼리스탑 점수에 도달하면 기계 학습 모델의 훈련 및 미세 조정이 중단될 수 있다. 이로써, 기계 학습 모델의 과적합(overfitting)이 방지될 수 있다.
도 2는 본 개시의 실시 예에 따른 이상 탐지를 위한 방법을 나타내는 흐름도이다. 이하 도 2와 함께, 도 1을 참조하여 설명한다.
단계 S110에서, 훈련부(110)는 훈련 데이터(TDAT)에 대해 데이터 증식을 수행하여, 제 1 및 제 2 증식 데이터
Figure 112021092514097-pat00045
에 대한 손실 함수
Figure 112021092514097-pat00046
을 계산할 수 있고, 손실 함수가 최소가 되도록 인코더 f를 훈련시킬 수 있다. 단계 S120에서, 프로토타입 선택부(120)는 인코더 f에 의해 생성된 표현들에 대응하는 데이터 포인터들에 대해 k-평균 클러스터링을 수행할 수 있고, 각 클러스터의 센트로이드를 프로토타입으로 결정할 수 있다.
단계 S130에서, 프로토타입 선택부(120)는 결정된 프로토타입들에 기반하여 데이터 xi에 대한 에너지 함수 E(xi)를 계산할 수 있다. 또한, 에너지 함수 E(xi)에 음수를 취함으로써 점수 함수 S(xi)도 계산될 수 있다. 단계 S140에서, 미세 조정부(130)는 에너지 함수 E(xi) 또는 점수 함수 S(xi)에 기반하여 기계 학습 모델의 미세 조정을 위한 손실 함수 Le(xi)를 계산할 수 있고, 기계 학습 모델을 미세 조정할 수 있다. 단계 S150에서, 프로토타입 선택부(120)는 미세 조정부(130)가 기계 학습 모델을 N회(N은 임의의 미리 설정된 자연수) 미세 조정할 때마다, 새로 생성된 표현들에 대해 k-평균 클러스터링을 수행하여 프로토타입을 다시 결정할 수 있다.
단계 S160에서, 장치(100)는 입력 데이터(IDAT)에 대한 에너지 또는 점수를 계산하여, 입력 데이터(IDAT)가 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터(OUT)를 생성할 수 있다. 예를 들어, 출력 데이터(OUT)는 입력 데이터(IDAT)에 대해 계산된 에너지 값이 작은 경우(즉, 점수 값이 큰 경우) 입력 데이터(IDAT)가 정상 데이터임을 나타낼 수 있고, 계산된 에너지 값이 큰 경우(즉, 점수 값이 작은 경우) 입력 데이터(IDAT)가 이상 데이터임을 나타낼 수 있다.
도 3a 내지 도 3c는 본 개시의 실시 예에 따른 이상 탐지를 개념적으로 나타낸다. 이하 도 3a 내지 도 3c와 함께, 도 1을 참조하여 설명한다.
도 3a는 훈련부(110)가 인코더 f를 훈련하는 것을 개념적으로 나타낸다. 예를 들어, 훈련 데이터(TDAT)가 강아지를 나타내는 이미지들을 포함하는 경우, 훈련부(110)는 강아지들 각각에 대해 데이터 증식을 수행하여 손실 함수를 계산하고, 손실 함수가 최소가 되도록 인코더 f를 훈련시킬 수 있다. 훈련 데이터(TDAT)가 포함하는 이미지들은 인코더 f를 통과함으로써 대응하는 표현들로 변환될 수 있다.
도 3b는 프로토타입 선택부(120)가 훈련 데이터(TDAT)가 포함하는 이미지들에 대한 프로토타입을 결정하는 것을 개념적으로 나타낸다. 예를 들어, 프로토타입 선택부(120)는 인코더 f에 의해 변환된 표현들에 대응하는 데이터 포인트들에 대해 k-평균 클러스터링을 수행할 수 있고, 클러스터들의 각 센트로이드를 프로토타입들로 결정할 수 있다. 도 3b에 나타난 바와 같이, 강아지를 나타내는 이미지들은 크게는 강아지라는 프로토타입으로 분류될 수도 있고, 더 세분화된 프로토타입들(예를 들어, 불독, 시베리안 허스키, 달마시안)로 분류될 수 있다.
도 3c는 입력 데이터(IDAT)에 대응하는 출력 데이터(OUT)가 생성되는 것을 개념적으로 나타낸다. 예를 들어, 도 3b에 나타난 바와 같이 프로토타입들이 불독, 시베리안 허스키, 달마시안으로 결정된 경우, 시베리안 허스키 또는 달마시안을 나타내는 이미지가 입력된 경우 에너지 값이 낮게 계산되어 정상 데이터로 분류될 수 있고, 고양이를 나타내는 이미지가 입력된 경우 에너지 값이 높게 계산되어 이상 데이터로 분류될 수 있다. 상술한 도 3a 내지 도 3c에 나타난 과정을 통해, 본 개시의 장치(100)는 이상 탐지를 수행할 수 있다. 또한, 훈련 데이터(TDAT)에 이상 데이터가 포함되어 있다고 하더라도, 도 1을 참조하여 설명한 바에 따라 인코더 f 및 기계 학습 모델은 올바르게 훈련될 수 있다.
본 개시의 실시 예에 따른 이상 탐지를 위한 방법은 비일시적(non-transistory) 컴퓨터 판독 가능 매체에 저장되는 프로그램 코드로서 구현될 수 있다. 예를 들어, 비일시적 컴퓨터 판독 가능 매체는 자기 매체, 광학 매체, 또는 이들의 결합(예를 들어, CD-ROM, 하드 드라이브, 읽기 전용 메모리, 플래시 드라이브 등)에 포함될 수 있다.
예를 들어, 비일시적 컴퓨터 판독 가능 매체는 실행될 때 프로세서로 하여금 훈련 데이터(TDAT)에 대해 데이터 증식을 수행하여 손실 함수를 계산하고, 손실 함수가 최소가 되도록 인코더 f를 훈련시키고, 인코더 f에 의해 생성된 표현들에 대응하는 데이터 포인터들에 대해 k-평균 클러스터링을 수행하여 각 클러스터의 센트로이드를 프로토타입으로 결정하고, 결정된 프로토타입들에 기반하여 에너지 함수를 계산하고, 에너지 함수에 기반하여 기계 학습 모델을 미세 조정하고, 기계 학습 모델을 N회(N은 임의의 미리 설정된 자연수) 미세 조정할 때마다 프로토타입을 다시 결정하고, 그리고 입력 데이터(IDAT)가 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터(OUT)를 생성하도록 하는 프로그램 코드를 포함할 수 있다.
상술된 내용은 본 개시를 실시하기 위한 구체적인 실시 예들이다. 본 개시는 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 개시는 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 개시의 범위는 상술된 실시 예들에 국한되어 정해져서는 안 되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
110: 훈련부
120: 프로토타입 선택부
130: 미세 조정부

Claims (20)

  1. 훈련 데이터에 대해 데이터 증식을 수행하여 손실 함수를 계산하고, 상기 손실 함수가 최소화되도록 기계 학습 모델의 인코더를 훈련시키는 훈련부;
    상기 훈련 데이터에 대응하고, 상기 인코더에 의해 생성되는 표현에 기반하여 프로토타입을 결정하고, 상기 프로토타입에 기반하여 상기 훈련 데이터에 대한 에너지 함수를 계산하는 프로토타입 선택부; 및
    상기 에너지 함수에 기반하여 상기 기계 학습 모델을 미세 조정하는 미세 조정부를 포함하고,
    입력 데이터에 대한 에너지 함수에 기반하여 상기 입력 데이터가 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터를 생성하는 이상 탐지를 위한 장치.
  2. 제 1 항에 있어서,
    상기 데이터 증식은 상기 훈련 데이터의 회전, 스케일링, 크롭핑, 흑백 변환, 밝기 변환, 대조 변환, 색상 변환, 또는 선예도 변환 중 하나를 포함하는 이상 탐지를 위한 장치.
  3. 제 1 항에 있어서,
    상기 훈련부는 상기 훈련 데이터에 대해 제 1 데이터 증식 및 제 2 데이터 증식을 수행하여 제 1 증식 데이터 및 제 2 증식 데이터를 생성하고,
    상기 손실 함수는 수식 1에 따라 계산되는 이상 탐지를 위한 장치.
    (수식 1)
    Figure 112021092514097-pat00047

    (상기
    Figure 112021092514097-pat00048
    은 상기 제 1 증식 데이터이고, 상기
    Figure 112021092514097-pat00049
    는 상기 제 2 증식 데이터이고, 상기
    Figure 112021092514097-pat00050
    는 데이터 증식이 수행된 전체 데이터에서 상기
    Figure 112021092514097-pat00051
    만을 제외한 집합이고, 상기 τ는 데이터의 분포와 관련된 상수이고, 상기
    Figure 112021092514097-pat00052
    , 상기
    Figure 112021092514097-pat00053
    , 및 상기
    Figure 112021092514097-pat00054
    는 각각 상기
    Figure 112021092514097-pat00055
    , 상기
    Figure 112021092514097-pat00056
    , 및 상기
    Figure 112021092514097-pat00057
    에 대응하는 표현들이고, 상기
    Figure 112021092514097-pat00058
    는 상기
    Figure 112021092514097-pat00059
    및 상기
    Figure 112021092514097-pat00060
    사이의 유사도이고, 상기
    Figure 112021092514097-pat00061
    )는 상기
    Figure 112021092514097-pat00062
    및 상기
    Figure 112021092514097-pat00063
    사이의 유사도)
  4. 제 3 항에 있어서,
    상기 유사도는 코사인 유사도(cosine similarity)에 따라 계산되는 이상 탐지를 위한 장치.
  5. 제 1 항에 있어서,
    상기 프로토타입 선택부는 상기 표현에 대응하는 데이터 포인트들에 대해 k-평균 클러스터링을 수행하여 센트로이드를 계산하고, 상기 센트로이드를 상기 프로토타입으로 결정하는 이상 탐지를 위한 장치.
  6. 제 1 항에 있어서,
    상기 에너지 함수는 수식 2에 따라 계산되는 이상 탐지를 위한 장치.
    (수식 2)
    Figure 112021092514097-pat00064

    (상기 f(xi)는 데이터 xi에 대응하는 표현이고, 상기 τ는 데이터의 분포와 관련된 상수이고, 상기 P는 프로토타입의 전체 집합이고, 상기
    Figure 112021092514097-pat00065
    는 상기
    Figure 112021092514097-pat00066
    및 상기 p` 사이의 유사도)
  7. 제 1 항에 있어서,
    상기 손실 함수는 제 1 손실 함수이고,
    상기 미세 조정부는 상기 에너지 함수에 기반하여 미세 조정을 위한 제 2 손실 함수를 계산하고, 상기 제 2 손실 함수가 최소화되도록 상기 기계 학습 모델을 미세 조정하고, 그리고
    상기 제 2 손실 함수는 수식 3에 따라 계산되는 이상 탐지를 위한 장치.
    (수식 3)
    Figure 112021092514097-pat00067

    (상기 Xa는 상기 훈련 데이터 중에서 상기 이상 데이터로 레이블링된 이미지 데이터이고, 상기 Xn은 상기 훈련 데이터 중에서 상기 정상 데이터로 레이블링된 이미지 데이터이고, 상기 Xu는 상기 훈련 데이터 중에서 레이블링되지 않은 이미지 데이터이고, S(x)는 상기 에너지 함수에 -1을 곱한 값이고, 상기 C는 상수)
  8. 제 1 항에 있어서,
    상기 프로토타입 선택부는 상기 미세 조정부가 미리 정해진 횟수만큼 상기 기계 학습 모델을 미세 조정할 때마다, 상기 프로토타입을 새로 결정하는 이상 탐지를 위한 장치.
  9. 제 1 항에 있어서,
    상기 기계 학습 모델의 성능이 미리 정해진 임계 값에 도달하면 상기 훈련부는 상기 인코더를 훈련시키는 것을 중단하고, 상기 미세 조정부는 상기 기계 학습 모델을 미세 조정하는 것을 중단하는 이상 탐지를 위한 장치.
  10. 훈련 데이터에 대해 데이터 증식을 수행하여 손실 함수를 계산하고, 상기 손실 함수가 최소화되도록 기계 학습 모델의 인코더를 훈련시키는 단계;
    상기 훈련 데이터에 대응하고, 상기 인코더에 의해 생성되는 표현에 기반하여 프로토타입을 결정하는 단계;
    상기 프로토타입에 기반하여 상기 훈련 데이터에 대한 에너지 함수를 계산하는 단계;
    상기 에너지 함수에 기반하여 상기 기계 학습 모델을 미세 조정하는 단계; 및
    입력 데이터에 대한 에너지 함수에 기반하여 상기 입력 데이터가 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터를 생성하는 단계를 포함하는 이상 탐지를 위한 방법.
  11. 제 10 항에 있어서,
    상기 데이터 증식은 상기 훈련 데이터의 회전, 스케일링, 크롭핑, 흑백 변환, 밝기 변환, 대조 변환, 색상 변환, 또는 선예도 변환 중 하나를 포함하는 이상 탐지를 위한 방법.
  12. 제 10 항에 있어서,
    상기 인코더를 훈련시키는 단계는 상기 훈련 데이터에 대해 제 1 데이터 증식 및 제 2 데이터 증식을 수행하여 제 1 증식 데이터 및 제 2 증식 데이터를 생성하는 단계를 포함하되,
    상기 손실 함수는 수식 1에 따라 계산되는 이상 탐지를 위한 방법.
    (수식 1)
    Figure 112021092514097-pat00068

    (상기
    Figure 112021092514097-pat00069
    은 상기 제 1 증식 데이터이고, 상기
    Figure 112021092514097-pat00070
    는 상기 제 2 증식 데이터이고, 상기
    Figure 112021092514097-pat00071
    는 데이터 증식이 수행된 전체 데이터에서 상기
    Figure 112021092514097-pat00072
    만을 제외한 집합이고, 상기 τ는 데이터의 분포와 관련된 상수이고, 상기
    Figure 112021092514097-pat00073
    , 상기
    Figure 112021092514097-pat00074
    , 및 상기
    Figure 112021092514097-pat00075
    는 각각 상기
    Figure 112021092514097-pat00076
    , 상기
    Figure 112021092514097-pat00077
    , 및 상기
    Figure 112021092514097-pat00078
    에 대응하는 표현들이고, 상기
    Figure 112021092514097-pat00079
    는 상기
    Figure 112021092514097-pat00080
    및 상기
    Figure 112021092514097-pat00081
    사이의 유사도이고, 상기
    Figure 112021092514097-pat00082
    )는 상기
    Figure 112021092514097-pat00083
    및 상기
    Figure 112021092514097-pat00084
    사이의 유사도)
  13. 제 12 항에 있어서,
    상기 유사도는 코사인 유사도(cosine similarity)에 따라 계산되는 이상 탐지를 위한 방법.
  14. 제 10 항에 있어서,
    상기 프로토타입을 결정하는 단계는 상기 표현에 대응하는 데이터 포인트들에 대해 k-평균 클러스터링을 수행하여 센트로이드를 계산하고, 상기 센트로이드를 상기 프로토타입으로 결정하는 단계를 포함하는 이상 탐지를 위한 방법.
  15. 제 10 항에 있어서,
    상기 에너지 함수는 수식 2에 따라 계산되는 이상 탐지를 위한 방법.
    (수식 2)
    Figure 112021092514097-pat00085

    (상기 f(xi)는 데이터 xi에 대응하는 표현이고, 상기 τ는 데이터의 분포와 관련된 상수이고, 상기 P는 프로토타입의 전체 집합이고, 상기
    Figure 112021092514097-pat00086
    는 상기
    Figure 112021092514097-pat00087
    및 상기 p` 사이의 유사도)
  16. 제 10 항에 있어서,
    상기 손실 함수는 제 1 손실 함수이고,
    상기 기계 학습 모델을 미세 조정하는 단계는:
    상기 에너지 함수에 기반하여 미세 조정을 위한 제 2 손실 함수를 계산하는 단계; 및
    상기 제 2 손실 함수가 최소화되도록 상기 기계 학습 모델을 미세 조정하는 단계를 포함하되,
    상기 제 2 손실 함수는 수식 3에 따라 계산되는 이상 탐지를 위한 방법.
    (수식 3)
    Figure 112021092514097-pat00088

    (상기 Xa는 상기 훈련 데이터 중에서 상기 이상 데이터로 레이블링된 이미지 데이터이고, 상기 Xn은 상기 훈련 데이터 중에서 상기 정상 데이터로 레이블링된 이미지 데이터이고, 상기 Xu는 상기 훈련 데이터 중에서 레이블링되지 않은 이미지 데이터이고, S(x)는 상기 에너지 함수에 -1을 곱한 값이고, 상기 C는 상수)
  17. 제 10 항에 있어서,
    미리 정해진 횟수만큼 상기 기계 학습 모델을 미세 조정할 때마다, 상기 프로토타입을 새로 결정하는 단계를 더 포함하는 이상 탐지를 위한 방법.
  18. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 프로세서에 의해 상기 프로그램 코드가 실행될 때, 상기 프로세서는:
    훈련 데이터에 대해 데이터 증식을 수행하여 손실 함수를 계산하고, 상기 손실 함수가 최소화되도록 기계 학습 모델의 인코더를 훈련시키고,
    상기 훈련 데이터에 대응하고, 상기 인코더에 의해 생성되는 표현에 기반하여 프로토타입을 결정하고,
    상기 프로토타입에 기반하여 상기 훈련 데이터에 대한 에너지 함수를 계산하고,
    상기 에너지 함수에 기반하여 상기 기계 학습 모델을 미세 조정하고, 그리고
    입력 데이터에 대한 에너지 함수에 기반하여 상기 입력 데이터가 정상 데이터인지 이상 데이터인지 여부를 나타내는 출력 데이터를 생성하는 비일시적 컴퓨터 판독 가능 매체.
  19. 제 18 항에 있어서,
    상기 인코더를 훈련시키는 것은 상기 훈련 데이터에 대해 제 1 데이터 증식 및 제 2 데이터 증식을 수행하여 제 1 증식 데이터 및 제 2 증식 데이터를 생성하는 것을 포함하되,
    상기 손실 함수는 수식 1에 따라 계산되는 비일시적 컴퓨터 판독 가능 매체.
    (수식 1)
    Figure 112022086534789-pat00089

    (상기
    Figure 112022086534789-pat00090
    은 상기 제 1 증식 데이터이고, 상기
    Figure 112022086534789-pat00091
    는 상기 제 2 증식 데이터이고, 상기
    Figure 112022086534789-pat00092
    는 데이터 증식이 수행된 전체 데이터에서 상기
    Figure 112022086534789-pat00093
    만을 제외한 집합이고, 상기 τ는 데이터의 분포와 관련된 상수이고, 상기
    Figure 112022086534789-pat00094
    , 상기
    Figure 112022086534789-pat00095
    , 및 상기
    Figure 112022086534789-pat00096
    는 각각 상기
    Figure 112022086534789-pat00097
    , 상기
    Figure 112022086534789-pat00098
    , 및 상기
    Figure 112022086534789-pat00099
    에 대응하는 표현들이고, 상기
    Figure 112022086534789-pat00100
    는 상기
    Figure 112022086534789-pat00101
    및 상기
    Figure 112022086534789-pat00102
    사이의 유사도이고, 상기
    Figure 112022086534789-pat00103
    )는 상기
    Figure 112022086534789-pat00104
    및 상기
    Figure 112022086534789-pat00105
    사이의 유사도)
  20. 제 18 항에 있어서,
    상기 에너지 함수는 수식 2에 따라 계산되는 비일시적 컴퓨터 판독 가능 매체.
    (수식 2)
    Figure 112022086534789-pat00106

    (상기 f(xi)는 데이터 xi에 대응하는 표현이고, 상기 τ는 데이터의 분포와 관련된 상수이고, 상기 P는 프로토타입의 전체 집합이고, 상기
    Figure 112022086534789-pat00107
    는 상기
    Figure 112022086534789-pat00108
    및 상기 p` 사이의 유사도)
KR1020210105795A 2021-08-11 2021-08-11 기계 학습을 이용한 이상 탐지를 위한 장치 및 방법 KR102476300B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210105795A KR102476300B1 (ko) 2021-08-11 2021-08-11 기계 학습을 이용한 이상 탐지를 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210105795A KR102476300B1 (ko) 2021-08-11 2021-08-11 기계 학습을 이용한 이상 탐지를 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102476300B1 true KR102476300B1 (ko) 2022-12-13

Family

ID=84439337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210105795A KR102476300B1 (ko) 2021-08-11 2021-08-11 기계 학습을 이용한 이상 탐지를 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102476300B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170052344A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 신규 물질 탐색 방법 및 장치
KR20200000541A (ko) 2018-06-25 2020-01-03 주식회사 수아랩 인공 신경망의 학습 방법
KR20200067743A (ko) * 2018-11-02 2020-06-12 광주과학기술원 수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법
KR102271740B1 (ko) 2020-09-11 2021-07-02 주식회사 뉴로클 이상 탐지 방법 및 이를 위한 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170052344A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 신규 물질 탐색 방법 및 장치
KR20200000541A (ko) 2018-06-25 2020-01-03 주식회사 수아랩 인공 신경망의 학습 방법
KR20200067743A (ko) * 2018-11-02 2020-06-12 광주과학기술원 수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법
KR102271740B1 (ko) 2020-09-11 2021-07-02 주식회사 뉴로클 이상 탐지 방법 및 이를 위한 장치

Similar Documents

Publication Publication Date Title
EP3828784A1 (en) Defending machine learning systems from adversarial attacks
CN107533669B (zh) 滤波器特异性作为用于神经网络的训练准则
US20200250304A1 (en) Detecting adversarial examples
EP3488387B1 (en) Method for detecting object in image and objection detection system
US9792492B2 (en) Extracting gradient features from neural networks
KR20190013011A (ko) 교사 모델로부터 학생 모델을 트레이닝하는데 사용되는 학습 데이터를 생성하는 장치 및 방법
US20210319340A1 (en) Machine learning model confidence score validation
US20080219565A1 (en) Training device and pattern recognizing device
US10970313B2 (en) Clustering device, clustering method, and computer program product
US11132407B2 (en) System for the automatic separation of documents in a batch of documents
US20210103771A1 (en) Method and system for producing digital image features
CN109522970B (zh) 图像分类方法、装置及系统
US20230386242A1 (en) Information processing apparatus, control method, and non-transitory storage medium
JP2023546672A (ja) レール特徴部識別システム
KR20210151773A (ko) 대상 재인식 방법 및 장치, 단말 및 저장 매체
CN112905793B (zh) 一种基于Bilstm+Attention文本分类的案例推荐方法及系统
CN112241470B (zh) 一种视频分类方法及系统
KR102476300B1 (ko) 기계 학습을 이용한 이상 탐지를 위한 장치 및 방법
CN113095351A (zh) 借助于初始标记的改善生成经标记的数据的方法
EP3764284A1 (en) Adapting a base classifier to novel classes
KR20190134380A (ko) 합성곱 신경망에 대한 도메인 불변 사람 분류기를 위한 연관성 학습 시스템 및 방법
US20210365735A1 (en) Computer-implemented training method, classification method and system and computer-readable recording medium
US20210279506A1 (en) Systems, methods, and devices for head pose determination
US11113569B2 (en) Information processing device, information processing method, and computer program product
CN114743030A (zh) 图像识别方法、装置、存储介质和计算机设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant