KR102465676B1 - 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치 - Google Patents

시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치 Download PDF

Info

Publication number
KR102465676B1
KR102465676B1 KR1020220040407A KR20220040407A KR102465676B1 KR 102465676 B1 KR102465676 B1 KR 102465676B1 KR 1020220040407 A KR1020220040407 A KR 1020220040407A KR 20220040407 A KR20220040407 A KR 20220040407A KR 102465676 B1 KR102465676 B1 KR 102465676B1
Authority
KR
South Korea
Prior art keywords
model
anomaly detection
data
time series
generation
Prior art date
Application number
KR1020220040407A
Other languages
English (en)
Other versions
KR102465676B9 (ko
Inventor
강동현
서준표
장한힘
Original Assignee
주식회사 에너자이(ENERZAi)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에너자이(ENERZAi) filed Critical 주식회사 에너자이(ENERZAi)
Priority to KR1020220040407A priority Critical patent/KR102465676B1/ko
Priority to KR1020220146756A priority patent/KR102582737B1/ko
Application granted granted Critical
Publication of KR102465676B1 publication Critical patent/KR102465676B1/ko
Publication of KR102465676B9 publication Critical patent/KR102465676B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 방법은, 학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 단계; 상기 학습 데이터 셋에 포함된 시계열 데이터에 대한 전처리를 수행하는 단계; 상기 시계열 이상 감지 모델의 정확도와 상기 시계열 이상 감지 모델의 크기를 고려하여, 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계; 및 상기 시계열 이상 감지 모델의 크기를 경량화하는 단계;를 포함한다.

Description

시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치{A METHOD FOR WEIGHT LIGHTENING OF A TIME SERIES ANOMALY DETECTION MODEL, AND A DEVICE FOR WEIGHT LIGHTENING OF A TIME SERIES ANOMALY DETECTION MODEL}
본 출원은 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치에 관한 것이다. 구체적으로 본 출원은, 메모리 공간이 상대적으로 작은 컴퓨팅 환경, 예컨대 MCU(Microcontroller Unit) 환경에서 작동할 수 있는 소형화된 시계열 이상 감지 모델을 획득하기 위한 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치에 관한 것이다.
인공지능 기술이 발전하면서 다양한 산업 분야에서 인공지능 기술들이 활용되고 있다. 특히 최근에는 시계열 이상 감지(Time Series Anomaly Detection)를 위한 다양한 딥러닝 모델들이 활발하게 개발되고 있으며, 딥러닝 계열의 시계열 이상 감지 모델들은 딥러닝을 사용하지 않은 시계열 이상 감지 모델들보다 높은 성능을 내고 있다.
종래의 딥러닝 계열의 시계열 이상 감지 모델은 컨볼루션 신경망 (Convolutional Neural Networks, 이하 CNN) 기반의 모델이거나 순환 신경망(Recurrent Neural Network, 이하 RNN) 기반의 모델이었다. CNN 기반 시계열 이상 감지 모델들은 시계열 데이터 전체를 입력으로 받는다는 점에 연산량이 많아져 메모리 공간에 제약이 존재하는 MCU 환경에서는 정상적으로 구동되기 어렵다는 문제가 존재하였다. 반면, RNN 기반 모델은 시간 별로 시계열 데이터를 입력받는 특성을 가지기에 CNN 기반 모델보다는 연산량이 상대적으로 적으나 CNN 기반 모델보다는 상대적으로 성능이 떨어지는 문제가 존재하였다.
또한 딥러닝 모델들은 높은 성능을 위하여, 딥러닝 모델에 포함된 초매개변수의 조정을 필요로 한다. 초매개변수의 조정은 딥러닝 모델을 생성하는 오퍼레이터가 시행착오를 거치면서 수작업으로 조정하기에, 딥러닝 모델 생성의 진입장벽을 높이며 범용적인 모델의 생성을 어렵게 한다는 제약이 존재하였다.
이에 MCU 환경에서도 정상적으로 작동하면서 상대적으로 높은 성능을 나타내는 시계열 이상 감지 모델을 획득하기 위한 시계열 이상 감지 모델의 경량화 방법, 장치에 대한 새로운 연구가 요구되는 실정이다.
삭제
한국등록특허공보 제10-2134472호 (2020년 07월 09일)
본 발명이 해결하고자 하는 일 과제는, MCU 환경에서도 동작하는 소형화된 시계열 이상 감지 모델을 획득하기 위한 시계열 이상 감지 모델의 경량화 방법 및, 경량화 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 시계열 이상 감지 모델의 하이퍼 파라미터를 자동적으로 생성하는 시계열 이상 감지 모델의 경량화 방법 및, 경량화 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 방법은, 학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 단계; 상기 학습 데이터 셋에 포함된 시계열 데이터에 대한 전처리를 수행하는 단계; 상기 시계열 이상 감지 모델의 정확도와 상기 시계열 이상 감지 모델의 크기를 고려하여, 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터(hyperparameter) 세트를 결정하는 단계; 및 상기 시계열 이상 감지 모델의 크기를 경량화하는 단계;를 포함하되, 상기 대상 하이퍼 파라미터를 결정하는 단계는, 제1 하이퍼 파라미터 세트를 생성하고, 상기 제1 하이퍼 파라미터 세트를 가지는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득하는 단계; 상기 학습 데이터 셋을 이용하여 상기 제1 세대 모델을 훈련시키고, 상기 제1 세대 모델의 적합도를 판단하는 단계; 적합하다고 판단된 제1 세대 모델들 각각의 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터 세트를 생성하고, 상기 제2 하이터 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 획득하는 단계; 상기 학습 데이터 셋을 이용하여 상기 제2 세대 모델을 훈련시키고, 상기 제2 세대 모델의 적합도를 연산하는 단계; 및 상기 제2 세대 모델의 적합도에 기초하여 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 장치는, 학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 송수신부; 및 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하고 상기 시계열 이상 감지 모델의 크기를 경량화도록 구성된 프로세서;를 포함하되, 상기 프로세서는, 학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하고, 상기 학습 데이터 셋에 포함된 시계열 데이터에 대한 전처리를 수행하고, 상기 시계열 이상 감지 모델의 정확도와 상기 시계열 이상 감지 모델의 크기를 고려하여, 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하고, 상기 시계열 이상 감지 모델의 크기를 경량화하도록 구성되되, 상기 프로세서는, 제1 하이퍼 파라미터 세트를 생성하고, 상기 제1 하이퍼 파라미터 세트를 가지는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득하고, 상기 학습 데이터 셋을 이용하여 상기 제1 세대 모델을 훈련시키고, 상기 제1 세대 모델의 적합도를 판단하고, 적합하다고 판단된 제1 세대 모델들 각각의 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터 세트를 생성하고, 상기 제2 하이터 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 획득하고, 상기 학습 데이터 셋을 이용하여 상기 제2 세대 모델을 훈련시키고, 상기 제2 세대 모델의 적합도를 연산하고, 및 상기 제2 세대 모델의 적합도에 기초하여 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하도록 구성될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 실시예에 따른 시계열 이상 감지 모델의 경량화 방법, 및 시계열 이상 감지 모델의 경량화 장치에 의하면, 시계열 이상 감지 모델의 연산 데이터와 변수 데이터의 데이터 변위를 변환하고, 시계열 데이터를 복수의 윈도우로 나누어 시계열 이상 감지 모델에 학습에 이용함으로써, MCU 환경에서도 작동될 수 있도록 시계열 이상 감지 모델을 경량화할 수 있다.
본 출원의 실시예에 따른 시계열 이상 감지 모델의 경량화 방법, 및 시계열 이상 감지 모델의 경량화 장치에 의하면, 유전 알고리즘 기법을 활용하여 복수의 하이퍼 파라미터 세트를 자동적으로 생성하고, 정확도에 기반하여 시계열 이상 감지 모델의 적합도를 연산하여 최적의 대상 하이퍼 파라미터 세트를 결정함으로써, 가벼우면서도 정확도가 높은 시계열 이상 감지 모델을 획득할 수 있다.
본 출원의 실시예에 따른 시계열 이상 감지 모델의 경량화 방법, 및 시계열 이상 감지 모델의 경량화 장치에 의하면, 시계열 이상 감지 모델의 학습을 위하여 오퍼레이터의 지식 수준에 의존하여 수동으로 입력해야 했던 대상 하이퍼 파라미터들을 유전 알고리즘 기법을 활용하여 자동으로 생성함으로써, 시계열 이상 감지 모델의 학습에 대한 지식 장벽을 낮출 수 있다.
본 출원의 실시예에 따른 시계열 이상 감지 모델의 경량화 방법, 및 시계열 이상 감지 모델의 경량화 장치에 의하면, 학습 데이터 셋에 포함된 정상 시계열 데이터에 기초하여 비정상 데이터를 생성하여 시계열 이상 감지 모델의 이상 여부 분류에 이용함으로써, 시계열 이상 감지 모델의 이상 감지 정확도를 증대시킬 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 장치의 개략도이다.
도 2는 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 장치의 동작들을 도시한 도면이다.'
도 3은 본 출원의 일 실시예에 따른 시계열 이상 모델의 경량화 방법을 나타낸 순서도이다.
도 4는 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계(S3000)를 구체화한 순서도이다.
도 5는 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 학습 방법의 일 양상을 나타낸 도면이다.
도 6은 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 일 양상을 나타낸 도면이다.
도 7은 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 크기를 경량화하는 단계(S4000)를 구체화한 순서도이다.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.
예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.
본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 방법은, 학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 단계; 상기 학습 데이터 셋에 포함된 시계열 데이터에 대한 전처리를 수행하는 단계; 상기 시계열 이상 감지 모델의 정확도와 상기 시계열 이상 감지 모델의 크기를 고려하여, 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터(hyperparameter) 세트를 결정하는 단계; 및 상기 시계열 이상 감지 모델의 크기를 경량화하는 단계;를 포함하되, 상기 대상 하이퍼 파라미터 세트를 결정하는 단계는, 제1 하이퍼 파라미터 세트를 생성하고, 상기 제1 하이퍼 파라미터 세트를 가지는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득하는 단계; 상기 학습 데이터 셋을 이용하여 상기 제1 세대 모델을 훈련시키고, 상기 제1 세대 모델의 적합도를 판단하는 단계; 적합하다고 판단된 제1 세대 모델들 각각의 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터 세트를 생성하고, 상기 제2 하이터 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 획득하는 단계; 상기 학습 데이터 셋을 이용하여 상기 제2 세대 모델을 훈련시키고, 상기 제2 세대 모델의 적합도를 연산하는 단계; 및 상기 제2 세대 모델의 적합도에 기초하여 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 제2 세대 모델 집단을 획득하는 단계는, 적합하다고 판단된 상기 제1 세대 모델 집단에 포함된 제1 모델의 제1 후보 파라미터 세트 및 적합하다고 판단된 상기 제1 세대 모델 집단에 포함된 제2 모델의 제2 후보 파라미터 세트를 획득하는 단계; 상기 제1 후보 파라미터 세트 및 상기 제2 후보 파라미터 세트를 교차하거나, 상기 제1 후보 파라미터 세트 및 상기 제2 후보 파라미터 세트 중 적어도 하나를 변이시켜 상기 제2 하이퍼 파라미터 세트를 생성하는 단계; 및 상기 생성된 제2 하이퍼 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 생성하는 단계;를 포함하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계는, 상기 제2 세대 모델이 미리 결정된 적합도 조건을 만족하는 경우, 상기 제2 세대 모델의 제2 하이퍼 파라미터 세트를 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트로 결정하는 단계; 및 상기 제2 세대 모델이 미리 결정된 적합도 조건을 만족하지 않는 경우, 상기 제1 세대 모델 집단에 포함된 상기 제1 모델의 제1 후보 파라미터 세트, 상기 제1 세대 모델 집단에 포함된 상기 제2 모델의 제2 후보 파라미터 세트, 및 상기 제2 세대 모델 집단 중에서 적합도가 미리 정해진 순위 이내인 상기 제2 세대 모델과 관련된 상기 제2 하이퍼 파라미터 세트 중 적어도 하나에 기초하여 제3 하이퍼 파라미터 세트를 생성하고, 상기 제3 하이퍼 파라미터 세트에 기초하여 상기 대상 하이퍼 파라미터 세트를 결정하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 제3 하이퍼 파라미터 세트에 기초하여 상기 대상 하이퍼 파라미터 세트를 결정하는 단계는, 상기 제3 하이퍼 파라미터 세트를 가지는 복수의 제3 세대 모델을 포함하는 제3 세대 모델 집단을 획득하는 단계; 상기 학습 데이터 셋을 이용하여 상기 제3 세대 모델을 훈련시키고, 상기 제3 세대 모델의 적합도를 판단하는 단계; 및 상기 적합도 판단 결과에 기초하여 미리 결정된 적합도 이상인 제3 세대 모델과 관련된 제3 하이퍼 파라미터 세트를 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트로 획득하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 제1 세대 모델 또는 상기 제2 세대 모델은, 학습 데이터 셋에 포함된 정상 데이터로부터 연산된 기준 값과 학습 데이터 셋에 포함된 제1 시계열 데이터로부터 연산된 제1 출력 값의 차이가 미리 정해진 임계값보다 작은 경우, 상기 제1 시계열 데이터를 정상으로 분류하도록 학습되며, 학습 데이터 셋에 포함된 정상 데이터로부터 연산된 상기 기준 값과 학습 데이터 셋에 포함된 제2 시계열 데이터로부터 연산된 제2 출력 값의 차이가 미리 정해진 임계값보다 큰 경우, 상기 제2 시계열 데이터를 비정상으로 분류하도록 학습되도록 구성될 수 있다.
본 출원의 일 실시예에 따르면, 상기 제1 세대 모델의 적합도는, 상기 제1 세대 모델의 정확도 및 상기 제1 세대 모델의 크기에 기초하여 연산되며, 상기 제2 세대 모델의 적합도는, 상기 제2 세대 모델의 정확도 및 상기 제2 세대 모델의 크기에 기초하여 연산되도록 구성될 수 있다.
본 출원의 일 실시예에 따르면, 상기 시계열 이상 감지 모델의 크기를 경량화하는 단계는, 상기 시계열 이상 감지 모델의 실행 데이터에 기초하여 상기 시계열 이상 감지 모델을 구성하는 연산 데이터 및 변수 데이터 중 적어도 하나를 획득하는 단계; 및 상기 연산 데이터 및 변수 데이터 중 적어도 하나의 제1 데이터 단위를 제2 데이터 단위로 변경하는 단계-상기 제2 데이터 단위는 상기 제1 데이터 단위보다 작은 값을 포함함-;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 학습 데이터 셋을 획득하는 단계는, 미리 결정된 사이즈에 기초하여 상기 시계열 데이터를 분할하여 복수의 윈도우를 획득하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 학습 데이터 셋을 획득하는 단계는, 학습 데이터 셋에 포함된 정상 데이터를 획득하는 단계; 및 정상 데이터의 관심 영역에 대응되는 값을 조절하여 비정상 데이터를 생성하는 단계;를 더 포함할 수 있다.
본 출원의 일 실시예에 따르면, 상기 시계열 이상 감지 모델의 경량화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 장치는, 학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 송수신부; 및 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하고 상기 시계열 이상 감지 모델의 크기를 경량화도록 구성된 프로세서;를 포함하되, 상기 프로세서는, 학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하고, 상기 학습 데이터 셋에 포함된 시계열 데이터에 대한 전처리를 수행하고, 상기 시계열 이상 감지 모델의 정확도와 상기 시계열 이상 감지 모델의 크기를 고려하여, 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하고, 상기 시계열 이상 감지 모델의 크기를 경량화하도록 구성되되, 상기 프로세서는, 제1 하이퍼 파라미터 세트를 생성하고, 상기 제1 하이퍼 파라미터 세트를 가지는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득하고, 상기 학습 데이터 셋을 이용하여 상기 제1 세대 모델을 훈련시키고, 상기 제1 세대 모델의 적합도를 판단하고, 적합하다고 판단된 제1 세대 모델들 각각의 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터 세트를 생성하고, 상기 제2 하이터 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 획득하고, 상기 학습 데이터 셋을 이용하여 상기 제2 세대 모델을 훈련시키고, 상기 제2 세대 모델의 적합도를 연산하고, 및 상기 제2 세대 모델의 적합도에 기초하여 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하도록 구성될 수 있다.
이하에서는 도 1 내지 도 7을 참고하여 본 출원의 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치에 관하여 설명한다.
도 1은 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 장치의 개략도이다.
본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 장치(1000, 이하 모델 경량화 장치(1000)로 지칭)는 시계열 이상 감지 모델의 하이퍼 파라미터를 자동적으로 생성할 수 있다. 이때, 모델 경량화 장치(1000)는 시계열 이상 감지 모델의 정확도와 시계열 이상 감지 모델의 크기를 고려하여, 시계열 이상 감지 모델의 하이퍼 파라미터를 자동적으로 생성함으로써, 시계열 이상 감지 모델의 크기를 소형화시키면서도 시계열 이상 감지 모델의 성능을 최대화할 수 있다.
본 출원의 일 실시예에 따른 모델 경량화 장치(1000)는 송수신부(1100), 메모리(1200), 및 프로세서(1300)를 포함할 수 있다.
모델 경량화 장치(1000)의 송수신부(1100)는 임의의 외부 기기와 통신을 수행할 수 있다. 예컨대, 모델 경량화 장치(1000)는, 송수신부(1100)를 통해, 외부 기기(혹은 외부 서버)로부터 사전 학습된 시계열 이상 감지 모델을 실행시키기 위한 실행 데이터를 획득할 수 있다. 또한, 모델 경량화 장치(1000)는, 송수신부(1100)를 통해, 시계열 데이터를 포함한 학습 데이터 셋을 획득할 수 있다. 또한 모델 경량화 장치(1000)는, 송수신부(1100)를 통해, 경량화된 시계열 이상 감지 모델 및/또는 경량화된 시계열 이상 감지 모델을 실행시키기 위한 대상 하이퍼 파라미터 세트를 포함한 실행 데이터를 임의의 외부 장치(혹은 외부 서버)로 송신할 수 있다.
모델 경량화 장치(1000)는, 송수신부(1100)를 통해, 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서 모델 경량화 장치(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.
모델 경량화 장치(1000)의 메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(1200)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1200)는 모델 경량화 장치(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 모델 경량화 장치(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 모델 경량화 장치(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 모델 경량화 장치(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다.
프로세서(1300)는 모델 경량화 장치(1000)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(1300)는 후술할 학습이 완료된 시계열 이상 감지 모델 및 학습 데이터 셋을 획득하는 동작, 시계열 데이터에 대한 전처리를 수행하는 동작, 시계열 이상 감지 모델의 하이퍼 파라미터 세트를 결정하는 동작, 및/또는 시계열 이상 감지 모델의 크기를 경량화하는 동작 등 모델 경량화 장치(1000)의 전반적인 동작을 제어할 수 있다. 구체적으로 프로세서(1300)는 메모리(1200)로부터 모델 경량화 장치(1000)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 프로세서(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit), MCU(Microcontroller Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.
이하에서는 도 2를 참고하여, 본 출원의 일 실시예에 따른 모델 경량화 장치(1000)의 동작들을 구체적으로 서술한다. 도 2는 본 출원의 일 실시예에 따른 시계열 이상 감지 모델 경량화 장치(1000)의 동작들을 도시한 도면이다.
본 출원의 일 실시예에 따른 모델 경량화 장치(1000)는 사전 학습이 완료된 시계열 이상 감지 모델을 경량화하는 동작을 수행할 수 있다. 또한, 본 출원의 일 실시예에 따른 모델 경량화 장치(1000)는 모델의 정확도와 모델의 크기를 고려하여 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하거나 생성하는 동작을 수행할 수 있다.
본 출원의 일 실시예에 따른 모델 경량화 장치(1000)는 학습이 완료된 시계열 이상 감지 모델 및/또는 시계열 이상 감지 모델을 실행시키기 위한 실행 데이터를 획득할 수 있다. 예컨대, 시계열 이상 감지 모델은 고드(GOAD) 모델, 및/또는 NeutralAD 모델, NCAD 모델을 포함하여 시계열 데이터의 이상 여부를 감지하기 위한 딥 러닝 계열의 임의의 모델을 포괄하는 의미일 수 있다. 또한, 시계열 이상 감지 모델의 실행 데이터는 시계열 이상 감지 모델의 계층 데이터, 연산 데이터, 시계열 이상 감지 모델의 레이어에 포함된 가중치(weight), 및/또는 시계열 이상 감지 모델과 관련된 임의의 파라미터를 포함하여, 시계열 이상 감지 모델을 적절하게 실행시키기 위한 임의의 데이터를 포괄하는 의미일 수 있다.
본 출원의 일 실시예에 따른 모델 경량화 장치(1000)는 시계열 데이터를 포함하는 학습 데이터 셋(data set)을 획득할 수 있다. 구체적으로 학습 데이터 셋은 복수의 프레임을 포함하는 시계열 데이터 및/또는 각 프레임에 대하여 할당된 레이블 정보로 구성된 학습 데이터 셋을 획득할 수 있다. 일 예로, 레이블 정보는 각 프레임에 대한 정상 여부를 나타내는 레이블을 포함할 수 있다. 예컨대, 레이블 정보는 제1 프레임이 정상임을 나타내는 제1 레이블, 혹은 제2 프레임이 비정상임을 나타내는 제2 레이블을 포함할 수 있다. 모델 경량화 장치(1000)는 학습 데이터 셋을 이용하여 후술할 각 세대별 모델 집단에 포함된 모델을 훈련시킬 수 있다.
본 출원의 일 실시예에 따른 모델 경량화 장치(1000)는 학습 데이터 셋에 포함된 시계열 데이터에 대한 전처리(pre-processing)를 수행하도록 구현될 수 있다.
일 예로, 모델 경량화 장치(1000)는 시계열 데이터를 분할하여 복수의 윈도우를 획득하도록 구현될 수 있다. 구체적으로 모델 경량화 장치(1000)는 미리 결정된 사이즈에 기초하여 시계열 데이터를 나누어 복수의 윈도우를 획득할 수 있다. 이때, 모델 경량화 장치(1000)는 나누어진 복수의 윈도우 형태로 각 모델에 입력하여 훈련시킴으로써, 훈련에 필요한 메모리 공간을 줄일 수 있다.
다른 예로, 모델 경량화 장치(1000)는 시계열 데이터에 포함된 정상 데이터로부터 비정상 데이터를 생성하는 동작을 수행할 수 있다. 예컨대, 모델 경량화 장치(1000)는 학습 데이터 셋에 포함된 정상 데이터를 획득하고, 정상 데이터의 관심 영역에 대응되는 값을 조절하여 비정상 데이터를 생성할 수 있다. 예를 들면, 모델 경량화 장치(1000)는 정상 데이터의 관심 영역에 대응되는 값(관심 값)을 획득하고, 관심 값에 미리 정해진 값을 곱함으로써 정상 데이터에 포함된 관심 값을 증폭시키거나 감소시킴으로써 비정상 데이터를 생성할 수 있다. 다른 예를 들면, 모델 경량화 장치(1000)는 정상 데이터의 임의의 값과 관련된 진폭을 변형시켜 비정상 데이터를 생성할 수 있다. 다만 이는 예시에 불과하며, 모델 경량화 장치(1000)는 임의의 적절한 방법에 의하여 정상 데이터에 변형을 가하여 비정상 데이터를 생성하도록 구현될 수 있다.
본 출원의 일 실시예에 따른 모델 경량화 장치(1000)는 시계열 이상 감지 모델의 크기와 정확도를 고려하여, 하이퍼 파라미터를 결정하는 동작을 수행할 수 있다. 일 예로, 모델 경량화 장치(1000)는 유전 알고리즘 기법을 활용하여, 시계열 이상 감지 모델의 크기를 감소시키면서도, 시계열 이상 감지 모델의 정확도를 최대화할 수 있는 하이퍼 파라미터를 생성하거나 결정하는 동작을 수행할 수 있다.
일 실시예에 따르면, 모델 경량화 장치(1000)는 제1 하이퍼 파라미터 세트를 생성하고, 제1 하이퍼 파라미터 세트를 가지는 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득할 수 있다. 일 예로, 모델 경량화 장치(1000)는 복수의 제1 하이퍼 파라미터 세트들을 생성하고, 제1 하이퍼 파라미터 세트들에 포함된 제1 후보 파라미터 세트를 가지는 제1 모델, 및 제1 하이퍼 파라미터 세트들에 포함된 제2 후보 파라미터 세트를 가지는 제2 모델을 포함하는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득할 수 있다.
또한, 모델 경량화 장치(1000)는 학습 데이터 셋을 이용하여 제1 세대 모델 집단에 포함된 모델을 훈련시키고, 훈련이 완료된 제1 세대 집단에 포함된 모델의 적합도를 평가할 수 있다. 일 예로, 모델 경량화 장치(1000)는 학습 데이터 셋을 이용하여 제1 세대 모델 집단에 포함된 제1 후보 파라미터 세트를 가지는 제1 모델을 훈련시키고, 훈련이 완료된 제1 모델의 적합도를 연산할 수 있다. 또한 모델 경량화 장치(1000)는 학습 데이터 셋을 이용하여 제1 세대 모델 집단에 포함된 제2 후보 파라미터 세트를 가지는 제2 모델을 훈련시키고, 훈련이 완료된 제2 모델의 적합도를 연산할 수 있다. 이때, 모델 경량화 장치(1000)는 각 모델의 시계열 데이터의 이상 여부 판단에 대한 정확도(예컨대, f-score) 및 각 모델의 크기에 기초하여 각 모델의 적합도를 연산할 수 있다.
본 출원의 일 실시예에 따른 모델 경량화 장치(1000)는 연산된 모델의 적합도에 기초하여 대상 하이퍼 파라미터 세트를 결정하는 동작을 수행할 수 있다.
일 예로, 모델 경량화 장치(1000)는 유전 알고리즘 기법을 활용하여 대상 하이퍼 파라미터 세트를 결정하도록 구현될 수 있다. 예컨대, 모델 경량화 장치(1000)는 전술한 모델의 적합도에 기초하여 다음 세대 모델 집단을 생성하도록 구현될 수 있다. 구체적으로 모델 경량화 장치(1000)는 모델의 적합도에 기초하여 적합도가 뛰어난 모델(예컨대, 적합도가 미리 정해진 적합도 이상이거나, 적합도가 이전 세대 모델 집단에서 미리 정해진 순위 이내인 모델 등)에 대응되는 제1 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터 세트를 생성할 수 있다. 예컨대, 모델 경량화 장치(1000)는 적합도가 뛰어난 모델과 관련된 후보 파라미터 세트를 획득하고, 후보 파라미터 세트들을 변이하거나 교차시켜 제2 하이퍼 파라미터 세트를 생성할 수 있다. 또한, 모델 경량화 장치(1000)는 제2 하이퍼 파라미터 세트를 가지는 제2 세대 모델들을 포함하는 제2 세대 모델 집단을 획득할 수 있다.
또한, 모델 경량화 장치(1000)는 제2 세대 모델들에 대하여 전술한 학습 동작, 적합도 연산 동작, 및/또는 다음 세대의 하이퍼 파라미터 세트를 생성하는 동작들을 수차례 반복적으로 수행할 수 있다. 구체적으로 모델 경량화 장치(1000)는 학습 데이터 셋을 이용하여 제2 세대 모델 집단에 포함된 제2 세대 모델을 훈련시키고, 훈련이 완료된 제2 세대 모델의 적합도를 판단하여, 제1 세대 모델 집단 및/또는 제2 세대 모델 집단에 포함된 적합도가 뛰어난 모델(예컨대, 적합도가 미리 정해진 적합도 이상이거나, 적합도가 이전 세대 모델 집단에서 미리 정해진 순위 이내인 모델 등)의 하이퍼 파라미터 세트에 기초하여 다음 세대의 모델의 하이퍼 파라미터 세트를 생성할 수 있다.
모델 경량화 장치(1000)는 학습 동작, 적합도 연산 동작 및/또는 다음 세대의 하이퍼 파라미터 세트를 생성하는 동작들을 수차례 반복적으로 수행하여, 목표하는 적합도보다 크거나 같은 적합도를 나타내는 대상 하이퍼 파라미터 세트를 획득할 수 있다. 대상 하이퍼 파라미터 세트를 획득하는 내용에 대하여는, 도 3 내지 도 6과 관련하여 보다 구체적으로 서술하기로 한다.
한편, 하이퍼 파라미터 세트와 관련된 초매개변수는 시계열 이상 감지 모델의 전처리 변수 및/또는 윈도우 크기 변수에 관한 것일 수 있다. 예컨대, 시계열 이상 감지 모델의 전처리 변수는 시계열 이상 감지 모델에 포함된 레이어의 개수와 관련된 변수, 레이어의 커널 크기와 관련된 변수, 시계열 이상 감지 모델의 크기와 관련된 변수, 및 시계열 데이터로부터 복수 개의 매트릭스를 생성하기 위한 변수 중 적어도 하나와 관련될 수 있다. 예컨대, 윈도우 크기 변수는 시계열 데이터를 복수 개의 윈도우로 분리할 때의 윈도우 크기와 관련된 임의의 변수를 포괄하는 의미일 수 있다.
본 출원의 일 실시예에 따른 모델 경량화 장치(1000)는 시계열 이상 감지 모델의 크기를 경량화할 수 있다. 구체적으로, 모델 경량화 장치(1000)는 시계열 이상 감지 모델을 구성하는 연산 데이터 및/또는 변수 데이터의 데이터 단위를 감소시키도록 구성될 수 있다. 일 예로, 모델 경량화 장치(1000)는 시계열 이상 감지 모델의 연산 데이터 및/또는 변수 데이터를 획득하고, 연산 데이터 및/또는 변수 데이터의 데이터 단위를 제1 데이터 단위에서 제2 데이터 단위로 변환하는 동작을 수행할 수 있다. 이때, 제2 데이터 단위는 제1 데이터 단위보다 작은 값을 포함할 수 있다. 예컨대, 모델 경량화 장치(1000)는 양자화 기법(예컨대, Quantization Aware Training(QAT))을 활용하여 연산 데이터 및/또는 변수 데이터의 데이터 단위를 제1 데이터 단위(예컨대, 32비트)에서 제2 데이터 단위(예컨대, 8비트)로 변환할 수 있다. 이를 통하여 모델 경량화 장치(1000)는 시계열 이상 감지 모델의 크기를 줄이면서도 모델의 성능 감소를 최소화할 수 있다. 시계열 이상 감지 모델 크기의 경량화에 대하여는 도 3 및 도 7에서 보다 구체적으로 서술하기로 한다.
이하에서는 도 3 내지 도 7을 참고하여, 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 방법을 구체적으로 서술한다. 시계열 이상 감지 모델의 경량화 방법을 설명함에 있어서, 앞서 도 2와 관련하여 설명한 내용과 중복되는 일부 실시예는 생략될 수 있다. 다만, 이는 설명의 편의를 위한 것일 뿐이며, 이에 제한적으로 해석되어서는 아니된다.
도 3은 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 방법을 나타낸 순서도이다.
본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 방법은, 학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 단계(S1000), 시계열 데이터에 대한 전처리를 수행하는 단계(S2000), 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계(S3000), 및 시계열 이상 감지 모델의 크기를 경량화하는 단계(S4000)를 포함할 수 있다.
학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 단계(S1000)에서는, 모델 경량화 장치(1000)는, 송수신부(1100)를 통하여, 사전 학습된 시계열 이상 감지 모델(예컨대, 고드(GOAD) 모델, NeutralAD 모델, 및/또는 NCAD 모델 등)을 실행시키기 위한 실행 데이터를 획득할 수 있다. 여기서 실행 데이터는 시계열 이상 감지 모델의 계층 데이터, 연산 데이터, 시계열 이상 감지 모델의 레이어에 포함된 가중치(weight), 및/또는 시계열 이상 감지 모델과 관련된 임의의 파라미터를 포함하여, 시계열 이상 감지 모델을 적절하게 실행시키기 위한 임의의 데이터를 포괄하는 의미일 수 있다.
또한, 학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 단계(S1000)에서는, 모델 경량화 장치(1000)는, 송수신부(1100)를 통하여, 복수의 프레임을 포함하는 시계열 데이터 및/또는 각 프레임에 대한 정상이나 비정상을 나타내는 값이 할당된 레이블 정보를 포함하는 학습 데이터 셋을 획득할 수 있다. 구체적으로, 레이블 정보는 시계열 데이터에 포함된 각 프레임에 대한 정상 여부를 나타내는 레이블을 포함할 수 있다. 예컨대, 레이블 정보는 제1 프레임이 정상임을 나타내는 제1 레이블, 혹은 제2 프레임이 비정상임을 나타내는 제2 레이블을 포함할 수 있다. 모델 경량화 장치(1000)는 학습 데이터 셋을 이용하여 후술할 각 세대별 모델 집단에 포함된 모델을 훈련시킬 수 있다.
시계열 데이터에 대한 전처리를 수행하는 단계(S2000)에서는, 모델 경량화 장치(1000)는 학습 데이터 셋의 시계열 데이터를 분할하여 복수의 윈도우를 획득할 수 있다. 구체적으로 모델 경량화 장치(1000)는 미리 결정된 사이즈에 기초하여 시계열 데이터를 나누어 복수의 윈도우를 획득할 수 있다. 이때, 모델 경량화 장치(1000)는 나누어진 복수의 윈도우 형태로 각 모델에 입력하여 훈련시킴으로써, 훈련에 필요한 메모리 공간을 줄일 수 있다. 예컨대, 각 모델은 원본 데이터가 나누어진 복수의 윈도우 형태로 데이터를 입력 받음으로써 동시에 처리하는 데이터의 양이 작아질 수 있으며, 이를 통하여 모델의 훈련에 필요한 메모리 공간이 원본 데이터를 입력받는 경우의 필요한 메모리 공간보다 감소될 수 있다.
시계열 데이터에 대한 전처리를 수행하는 단계(S2000)에서는, 모델 경량화 장치(1000)는, 학습 데이터 셋에 포함된 정상 데이터를 획득하고, 시계열 데이터에 포함된 정상 데이터로부터 비정상 데이터를 생성할 수 있다. 구체적으로 모델 경량화 장치(1000)는 학습 데이터 셋에 포함된 정상 데이터를 획득하고, 정상 데이터의 관심 영역에 대응되는 값을 조절하여 비정상 데이터를 생성할 수 있다. 예를 들면, 모델 경량화 장치(1000)는 정상 데이터의 관심 영역에 대응되는 값(관심 값)을 획득하고, 관심 값에 미리 정해진 값을 곱함으로써 정상 데이터에 포함된 관심 값을 증폭시키거나 감소시킴으로써 비정상 데이터를 생성할 수 있다. 다른 예를 들면, 모델 경량화 장치(1000)는 정상 데이터의 임의의 값과 관련된 진폭을 변형시켜 비정상 데이터를 생성할 수 있다.
정상 데이터로부터 비정상 데이터를 생성함으로써, 비정상 데이터가 학습 데이터 셋에 포함되지 않거나 충분하지 않은 경우에도, 각 세대별 모델 집단에 포함된 모델이 시계열 데이터가 정상인지 비정상인지를 구별하도록 훈련시킬 수 있다. 또한 비정상 데이터를 충분히 확보하여 시계열 데이터의 정상과 비정상을 판단하는 기준인 기준 임계값을 정밀하게 설정함으로써, 시계열 이상 감지 모델의 시계열 이상 감지의 판단의 정확도가 증대될 수 있다.
다만 상술한 내용은 예시에 불과하며, 모델 경량화 장치(1000)는 임의의 이미지 처리 기법을 이용하여 정상 데이터로부터 비정상 데이터를 생성하도록 구현될 수 있다. 또한, 모델 경량화 장치(1000)는 비정상 데이터에 기초하여 정상 데이터를 생성하여 학습 데이터 셋을 구축하도록 구현될 수도 있을 것이다.
시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계(S3000)에서는, 모델 경량화 장치(1000)는 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정할 수 있다. 일 예로, 모델 경량화 장치(1000)는 유전 알고리즘 기법을 활용하여 초기 세대의 하이퍼 파라미터 세트 군으로부터 다음 세대의 하이퍼 파라미터 세트를 생성하고, 시계열 이상 감지 모델의 정확도 혹은 모델의 크기에 기초하여 하이퍼 파라미터 세트들(혹은 하이퍼 파라이터 세트를 가지는 모델)의 적합도를 연산하고, 연산된 적합도에 기초하여 대상 하이퍼 파라미터 세트를 결정할 수 있다.
한편, 하이퍼 파라미터 세트와 관련된 초매개변수는 시계열 이상 감지 모델의 전처리 변수 및/또는 윈도우 크기 변수에 관한 것일 수 있다. 예컨대, 시계열 이상 감지 모델의 전처리 변수는 시계열 이상 감지 모델에 포함된 레이어의 개수와 관련된 변수, 레이어의 커널 크기와 관련된 변수, 시계열 이상 감지 모델의 크기와 관련된 변수, 및 시계열 데이터로부터 복수 개의 매트릭스를 생성하기 위한 변수 중 적어도 하나와 관련될 수 있다. 예컨대, 윈도우 크기 변수는 시계열 데이터를 복수 개의 윈도우로 분리할 때의 윈도우 크기와 관련된 임의의 변수를 포괄하는 의미일 수 있다.
이하에서는 도 4 내지 도 6을 참고하여, 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 양상들에 대하여 보다 구체적으로 설명하기로 한다.
도 4는 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계(S3000)를 구체화한 순서도이다.
시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계(S3000)는, 제1 하이퍼 파라미터 세트를 생성하고, 제1 하이퍼 파라미터 세트를 가지는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득하는 단계(S3100), 학습 데이터 셋을 이용하여 제1 세대 모델을 훈련시키고, 제1 세대 모델의 적합도를 판단하는 단계(S3200), 적합하다고 판단된 제1 세대 모델들 각각의 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터 세트를 생성하고, 제2 하이퍼 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 획득하는 단계(S3300), 학습 데이터 셋을 이용하여 제2 세대 모델 집단에 포함된 제2 세대 모델을 훈련시키고 제2 세대 모델의 적합도를 연산하는 단계(S3400), 제2 세대 모델이 미리 결정된 적합도 조건을 만족하는 지 여부를 판단하는 단계(S3500), 및 제2 세대 모델의 제2 하이퍼 파라미터 세트에 기초하여 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계(S3600)를 포함할 수 있다.
제1 하이퍼 파라미터 세트를 생성하고, 제1 하이퍼 파라미터 세트를 가지는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득하는 단계(S3100)에서는, 모델 경량화 장치(1000)는 제1 하이퍼 파라미터 세트를 생성할 수 있다. 일 예로, 모델 경량화 장치(1000)는 특정 조건(예컨대, 파라미터 값의 범위) 중에서 랜덤하게 파라미터 값을 선택하여 제1 하이퍼 파라미터 세트를 생성할 수 있다. 또한 모델 경량화 장치(1000)는 복수의 제1 하이퍼 파라미터 세트들(예컨대, 제1 후보 파라미터 세트, 및 제2 후보 파라미터 세트 등)을 생성하고, 복수의 제1 하이퍼 파라미터 세트들을 포함하는 제1 하이퍼 파라미터 세트 집합을 획득할 수 있다.
제1 하이퍼 파라미터 세트를 생성하고, 제1 하이퍼 파라미터 세트를 가지는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득하는 단계(S3100)에서는, 모델 경량화 장치(1000)는 제1 하이퍼 파라미터 세트를 가지는 제1 세대 모델들을 포함하는 제1 세대 모델 집단을 획득할 수 있다. 예컨대, 모델 경량화 장치(1000)는 제1 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트)를 가지는 제1 모델, 및 제1 하이퍼 파라미터 세트(예컨대, 제2 후보 파라미터 세트)를 가지는 제2 모델을 포함하는 제1 세대 모델 집단을 획득할 수 있다.
학습 데이터 셋을 이용하여 제1 세대 모델을 훈련시키고, 제1 세대 모델의 적합도를 판단하는 단계(S3200)에서는, 모델 경량화 장치(1000)는 시계열 데이터 및 시계열 데이터의 각 프레임에 대한 이상 여부에 대한 레이블 정보를 포함하는 학습 데이터 셋을 이용하여, 제1 세대 모델 집단에 포함된 제1 세대 모델들을 훈련시킬 수 있다. 일 예로, 모델 경량화 장치(1000)는 시계열 데이터(혹은 S2000 단계를 통하여 전처리된 시계열 데이터)를 제1 하이퍼 파라미터 세트를 가지는 시계열 이상 감지 모델에 입력하고, 시계열 이상 감지 모델의 출력 값과 레이블 정보에 기초하여 시계열 이상 감지 모델을 훈련시킬 수 있다.
이하에서는 도 5를 참고하여 본 출원의 일 실시에에 따른 세대별 모델의 학습 방법에 대하여 보다 구체적으로 서술하기로 한다. 도 5는 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 학습 방법의 일 양상을 나타낸 도면이다.
학습 데이터 셋을 이용하여 제1 세대 모델을 훈련시키고, 제1 세대 모델의 적합도를 판단하는 단계(S3200)에서는, 모델 경량화 장치(1000)는 학습 데이터 셋에 포함된 정상 데이터를 제1 세대 모델에 입력하고, 제1 세대 모델을 통하여 출력되는 기준 값을 획득할 수 있다.
일 예로, 모델 경량화 장치(1000)는 제1 세대 모델을 통하여 학습 데이터 셋에 포함된 제1 시계열 데이터로부터 출력된 제1 출력 값을 획득할 수 있다. 이때, 모델 경량화 장치(1000)는 제1 출력 값과 기준 값을 비교하여 제1 출력 값과 기준 값이 미리 설정된 임계값보다 작거나 같은 경우에는, 제1 시계열 데이터를 정상(혹은 정상에 대응되는 값)으로 분류하도록 제1 세대 모델을 갱신시킬 수 있다.
다른 예로, 모델 경량화 장치(1000)는 제1 세대 모델을 통하여 학습 데이터 셋에 포함된 제2 시계열 데이터로부터 출력된 제2 출력 값을 획득할 수 있다. 이때, 모델 경량화 장치(1000)는 제2 출력 값과 기준 값을 비교하여 제2 출력 값과 기준 값이 미리 설정된 임계값보다 크거나 같은 경우에는, 제2 시계열 데이터를 비정상(혹은 비정상에 대응되는 값)으로 분류하도록 제1 세대 모델을 갱신시킬 수 있다.
또한 학습 데이터 셋을 이용하여 제1 세대 모델을 훈련시키고, 제1 세대 모델의 적합도를 판단하는 단계(S3200)에서는, 모델 경량화 장치(1000)는 제1 세대 모델 집단에 포함된 복수의 제1 세대 모델들(예컨대, 제1 모델 내지 제N 모델) 각각을 훈련시킬 수 있다. 예를 들면, 모델 경량화 장치(1000)는 제1 세대 모델 집단에 포함된 제1 모델을 도 5와 관련하여 전술한 바에 따라 훈련시키고, 제1 모델 혹은 제1 모델이 가지는 제1 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트(PS11))의 적합도를 연산할 수 있다. 다른 예를 들면, 모델 경량화 장치(1000)는 제1 세대 모델 집단에 포함된 제2 모델을 도 5와 관련하여 전술한 바에 따라 훈련시키고, 제2 모델 혹은 제2 모델이 가지는 제1 하이퍼 파라미터 세트(예컨대, 제2 후보 파라미터 세트(PS12))의 적합도를 연산할 수 있다. 또 다른 예를 들면, 모델 경량화 장치(1000)는 제1 세대 모델 집단에 포함된 제N 모델을 도 5와 관련하여 전술한 바에 따라 훈련시키고, 제N 모델 혹은 제N 모델이 가지는 제1 하이퍼 파라미터 세트(예컨대, 제N 후보 파라미터 세트(PS1N))의 적합도를 연산할 수 있다.
한편 도 5에서는 정상 데이터로부터 출력된 기준 값에 기초하여 모델들을 훈련시키는 것으로 도시하였다. 다만, 이는 설명의 편의를 위한 예시에 불과하며, 임의의 적절한 방법으로 모델들을 훈련시키도록 구성될 수 있다.
일 예로, 모델 경량화 장치(1000)는 학습 데이터 셋에 포함된 비정상 데이터(예컨대, 시계열 데이터에 포함된 정상 데이터로부터 S2000 단계를 통하여 생성된 비정상 데이터)를 제1 세대 모델에 입력하고, 제1 세대 모델을 통하여 출력되는 기준 값을 획득하고, 기준 값과 제1 시계열 데이터로부터 출력된 제1 출력 값을 비교하여 제1 출력 값과 기준 값이 미리 설정된 임계값보다 작거나 같은 경우에는, 제1 시계열 데이터를 비정상으로 분류하도록 제1 세대 모델을 갱신시킬 수 있다. 반면, 모델 경량화 장치(1000)는 기준 값과 제2 시계열 데이터로부터 출력된 제2 출력 값을 비교하여 제2 출력 값과 기준 값이 미리 설정된 임계값보다 크거나 같은 경우에는, 제2 시계열 데이터를 정상으로 분류하도록 제1 세대 모델을 갱신시킬 수 있다.
다른 예로, 모델 경량화 장치(1000)는 학습 데이터 셋에 포함된 정상 데이터로부터 출력된 제1 기준 값 및 학습 데이터 셋에 포함된 비정상 데이터로부터 출력된 제2 기준 값을 획득하고, 제1 기준 값 및 제2 기준 값에 기초하여 시계열 데이터를 정상이나 비정상으로 분류하도록 모델을 훈련시킬 수 있다. 예컨대, 모델 경량화 장치(1000)는 시계열 데이터로부터 출력된 출력값을 획득할 수 있다. 이때, 모델 경량화 장치(1000)는 출력 값과 제1 기준 값의 차이(이하 제1 차이)와, 출력 값과 제2 기준 값의 차이(이하 제2 차이)를 비교하여, 제1 차이가 제2 차이보다 큰 경우에는 시계열 데이터를 비정상으로 분류하도록 제1 세대 모델을 갱신시킬 수 있다. 반면, 모델 경량화 장치(1000)는 제1 차이가 제2 차이보다 작은 경우에는 시계열 데이터를 정상으로 분류하도록 제1 세대 모델을 갱신시킬 수 있다.
한편, 미리 설정된 임계값은 임의의 적절한 값으로 설정될 수 있다.
일 예로, 임계값은 학습 데이터 셋에 포함된 정상 데이터의 개수와 비정상 데이터의 개수의 비율에 기초하여 미리 설정될 수 있다. 예컨대, 정상 데이터에 대응되는 제1 기준 값(혹은 비정상 데이터에 대응된 제2 기준 값)에 정상 데이터의 개수와 비정상 데이터의 개수의 비율을 적용하여 임계값을 미리 설정할 수 있다.
다른 예로, 임계값은 정상 데이터에 대응되는 제1 기준 값과 비정상 데이터에 대응되는 제2 기준 값의 사이에 위치하는 일정한 값으로 미리 설정될 수 있다. 예컨대, 임계값은 정상 데이터에 대응되는 제1 기준 값과 비정상 데이터에 대응되는 제2 기준 값의 평균값일 수 있다. 이 경우 학습 데이터 셋에 비정상 데이터(혹은 정상 데이터)의 개수가 적은 경우에도 임계값이 적절하게 될 수 있어, 시계열 이상 감지 모델의 정확도를 높이도록 시계열 이상 감지 모델을 훈련시킬 수 있다.
이하에서는 도 6를 참고하여 본 출원의 일 실시에에 따른 세대별 모델의 적합도를 연산하는 양상에 대하여 보다 구체적으로 서술하기로 한다. 도 6은 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 일 양상을 나타낸 도면이다.
학습 데이터 셋을 이용하여 제1 세대 모델을 훈련시키고, 제1 세대 모델의 적합도를 판단하는 단계(S3200)에서는, 모델 경량화 장치(1000)는 훈련이 완료된 제1 세대 모델들(예컨대, 제1 모델 내지 제N 모델) 각각의 적합도를 판단할 수 있다. 구체적으로 모델 경량화 장치(1000)는 훈련이 완료된 제1 세대 모델의 정확도와 제1 세대 모델의 크기에 기초하여 제1 세대 모델의 적합도를 연산할 수 있다. 일 예로, 모델 경량화 장치(1000)는 제1 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트(PS11))를 가지는 제1 세대 모델 집단의 제1 모델의 정확도와 크기에 기초하여 제1 모델의 적합도를 연산할 수 있다. 다른 예로, 모델 경량화 장치(1000)는 제1 하이퍼 파라미터 세트(예컨대, 제2 후보 파라미터 세트(PS12))를 가지는 제1 세대 모델 집단의 제2 모델의 정확도와 크기에 기초하여 제2 모델의 적합도를 연산할 수 있다. 또 다른 예로, 모델 경량화 장치(1000)는 제1 하이퍼 파라미터 세트(예컨대, 제N 후보 파라미터 세트(PS1N))를 가지는 제1 세대 모델 집단의 제N 모델의 정확도와 크기에 기초하여 제N 모델의 적합도를 연산할 수 있다.
적합하다고 판단된 제1 세대 모델들 각각의 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터 세트를 생성하고, 제2 하이퍼 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 획득하는 단계(S3300)에서는, 모델 경량화 장치(1000)는 적합하다고 판단된 제1 세대 모델들의 제1 하이퍼 파라미터 세트를 획득할 수 있다. 구체적으로, 모델 경량화 장치(1000)는 연산된 적합도가 미리 결정된 적합도 이상이거나 미리 결정된 순위 이내인 제1 세대 모델들의 제1 하이퍼 파라미터 세트를 획득할 수 있다. 예컨대, 모델 경량화 장치(1000)는 적합하다고 판단된 제1 세대 모델 집단에 포함된 제1 모델의 제1 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트(PS11)) 및/또는 적합하다고 판단된 제1 세대 모델 집단에 포함된 제2 모델의 제1 하이퍼 파라미터 세트(예컨대, 제2 후보 파라미터 세트(PS12))를 획득할 수 있다.
또한, S3300 단계에서는, 모델 경량화 장치(1000)는 유전 알고리즘 기법을 활용하여 적합하다고 판단된 제1 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터를 생성할 수 있다.
일 예로, 모델 경량화 장치(1000)는 제1 모델의 제1 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트(PS11))와 제2 모델의 제1 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트(PS12))를 교차하여, 제2 하이퍼 파라미터 세트를 생성할 수 있다.
다른 예로, 모델 경량화 장치(1000)는 제1 모델의 제1 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트(PS11)) 및/또는 제2 모델의 제1 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트(PS12))를 변이시켜 제2 하이퍼 파라미터 세트를 생성할 수 있다.
또한, S3300 단계에서는, 모델 경량화 장치(1000)는 생성된 제2 하이퍼 파라미터 세트를 가지는 제2 세대 모델을 획득할 수 있다.
한편, S3300 단계에서는, 모델 경량화 장치(1000)는 복수의 제2 하이퍼 파라미터 세트를 생성할 수 있다. 예컨대, 모델 경량화 장치(1000)는 적합하다고 판단된 제1 세대 모델 집단의 제1 하이퍼 파라미터 세트들을 임의의 조합으로 교차하거나, 제1 하이퍼 파라미터 세트들 각각을 변이시켜 복수의 제2 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트(PS21) 내지 제M 후보 파라미터 세트(PS2M))들을 생성할 수 있다. 따라서 S3300 단계에서는 모델 경량화 장치(1000)는 각각의 제2 하이퍼 파라미터 세트를 가지는 복수의 제2 세대 모델들을 포함하는 제2 세대 모델 집단을 획득할 수 있다.
학습 데이터 셋을 이용하여 제2 세대 모델 집단에 포함된 제2 세대 모델을 훈련시키고 제2 세대 모델의 적합도를 연산하는 단계(S3400)에서는, 모델 경량화 장치(1000)는 S3300 단계에서 획득된 제2 세대 모델 집단에 포함된 제2 세대 모델을 훈련시킬 수 있다. 구체적으로 모델 경량화 장치(1000)는 시계열 데이터 및 시계열 데이터의 각 프레임에 대한 이상 여부에 대한 레이블 정보를 포함하는 학습 데이터 셋을 이용하여, 제2 세대 모델을 훈련시킬 수 있다. 일 예로, 모델 경량화 장치(1000)는 시계열 데이터(혹은 S2000 단계를 통하여 전처리된 시계열 데이터)를 제2 하이퍼 파라미터 세트를 가지는 시계열 이상 감지 모델에 입력하고, 시계열 이상 감지 모델의 출력 값과 레이블 정보에 기초하여 시계열 이상 감지 모델을 훈련시킬 수 있다. 제2 세대 모델을 훈련시키는 세부적인 실시예들은 도 5에서 설명한 내용이 유추적용될 수 있으며 관련된 내용에 대한 설명은 생략하기로 한다. 다만 이는 설명의 편의를 위한 것일 뿐, 이에 제한적으로 해석되어서는 아니된다.
학습 데이터 셋을 이용하여 제2 세대 모델 집단에 포함된 제2 세대 모델을 훈련시키고 제2 세대 모델의 적합도를 연산하는 단계(S3400)에서는, 모델 경량화 장치(1000)는 훈련이 완료된 제2 세대 모델들(예컨대, 도 6의 제1 모델 내지 제M 모델) 각각의 적합도를 판단할 수 있다. 구체적으로 모델 경량화 장치(1000)는 훈련이 완료된 제2 세대 모델의 정확도와 제2 세대 모델의 크기에 기초하여 제2 세대 모델의 적합도를 연산할 수 있다. 일 예로, 모델 경량화 장치(1000)는 제2 하이퍼 파라미터 세트(예컨대, 제1 후보 파라미터 세트(PS21))를 가지는 제2 세대 모델 집단의 제1 모델의 정확도와 크기에 기초하여 제1 모델의 적합도를 연산할 수 있다. 다른 예로, 모델 경량화 장치(1000)는 제2 하이퍼 파라미터 세트(예컨대, 제2 후보 파라미터 세트(PS22))를 가지는 제2 세대 모델 집단의 제2 모델의 정확도와 크기에 기초하여 제2 모델의 적합도를 연산할 수 있다. 또 다른 예로, 모델 경량화 장치(1000)는 제2 하이퍼 파라미터 세트(예컨대, 제M 후보 파라미터 세트(PS2M))를 가지는 제2 세대 모델 집단의 제M 모델의 정확도와 크기에 기초하여 제M 모델의 적합도를 연산할 수 있다.
제2 세대 모델이 미리 결정된 적합도 조건을 만족하는 지 여부를 판단하는 단계(S3500)에서는, 모델 경량화 장치(1000)는 S3400 단계에서 연산된 제2 세대 모델의 적합도에 기초하여 제2 세대 모델이 미리 결정된 적합도 조건을 만족하는 지 여부를 판단할 수 있다. 일 예로, 모델 경량화 장치(1000)는 제2 세대 모델의 적합도가 제2 세대 모델 집단에서 미리 결정된 순위 이내에 해당하는 지와 관련된 적합도 조건을 만족하는 지 여부를 판단하거나 결정할 수 있다. 다른 예로, 모델 경량화 장치(1000)는 제2 세대 모델의 적합도가 미리 결정된 적합도 이상인지와 관련된 적합도 조건을 만족하는 지 여부를 판단하거나 결정할 수 있다. 다만 이는 예시에 불과하며, 임의의 적절한 적합도 조건이 미리 설정될 수 있을 것이다.
제2 세대 모델의 적합도가 미리 결정된 적합도 조건을 만족하는 경우에는, 모델 경량화 장치(1000)는 제2 세대 모델의 제2 하이퍼 파라미터 세트에 기초하여 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정할 수 있다. (S3600) 구체적으로 모델 경량화 장치(1000)는, 제2 세대 모델의 적합도가 미리 결정된 적합도 조건을 만족하는 경우에는, 제2 세대 모델의 제2 하이퍼 파라미터 세트를 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트로 결정하도록 구현될 수 있다.
반면, 제2 세대 모델의 적합도가 미리 결정된 적합도 조건을 만족하지 않는 경우에는, 모델 경량화 장치(1000)는 모델의 적합도가 미리 결정된 적합도 조건을 만족할 때까지, 전술한 S3300 단계, S3400, 및 S3500 단계를 수차례 반복하도록 구현될 수 있다.
구체적으로 제2 세대 모델의 적합도가 미리 결정된 적합도 조건을 만족하지 않는 경우에는, 모델 경량화 장치(1000)는, 이전 세대 모델 집단(예컨대, 제1 세대 모델 집단 및/또는 제2 세대 모델 집단)에 포함된 모델들 중에서 적합도가 상대적으로 뛰어난 모델들의 하이퍼 파라미터 세트에 기초하여 제3 하이퍼 파라미터 세트를 생성할 수 있다. 예컨대, 모델 경량화 장치(1000)는 제1 세대 모델 집단에 포함된 제1 세대 모델들 중에서 적합도가 상대적으로 뛰어나다고 판단된 제1 세대 모델의 제1 하이퍼 파라미터 세트(예컨대, 제1 모델의 제1 후보 파라미터 세트 및/또는 제2 모델의 제2 후보 파라미터 세트), 및/또는 제2 세대 모델들 중에서 적합도가 상대적으로 뛰어나다고 판단된 제2 세대 모델의 제2 하이퍼 파라미터 세트를 교차하거나 변이시켜 제3 하이퍼 파라미터 세트를 생성할 수 있다. 또한 모델 경량화 장치(1000)는 제3 하이퍼 파라미터 세트를 가지는 제3 세대 모델을 포함하는 제3 세대 모델 집단을 획득할 수 있다.
나아가, 모델 경량화 장치(1000)는, S3400 단계(S3200 단계)에서 설명한 것과 유사하게, 학습 데이터 셋을 이용하여 제3 세대 모델 집단에 포함된 제3 세대 모델을 훈련시키고, 제3 세대 모델의 정확도와 크기를 고려하여 제3 세대 모델의 적합도를 연산할 수 있다.
나아가, 모델 경량화 장치(1000)는, S3500 단계에서 설명한 것과 유사하게, 제3 세대 모델이 미리 결정된 적합도 조건을 만족하는 지 여부를 판단하고, 제3 세대 모델의 적합도가 미리 결정된 적합도 조건을 만족하는 경우에는 제3 세대 모델의 제3 하이퍼 파라미터 세트를 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트로 결정할 수 있다.
다시 도 3을 참고하면, 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 경량화 방법은 시계열 이상 감지 모델의 크기를 경량화하는 단계(S4000)를 포함할 수 있다.
시계열 이상 감지 모델의 크기를 경량화하는 단계(S4000)에서는, 모델 경량화 장치(1000)는, 시계열 이상 감지 모델을 구성하는 연산 데이터 및/또는 변수 데이터의 데이터 단위를 감소시키도록 구성될 수 있다. 한편 도 3에서는 시계열 이상 감지 모델의 크기를 경량화하는 단계(S4000)가 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계(S3000) 이후에 진행되는 것으로 도시하였다. 다만 이는 설명의 편의를 위한 예시에 불과하며, 시계열 이상 감지 모델의 크기를 경량화하는 단계(S4000)는, 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계(S3000)보다 이전에 수행되거나, 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계(S3000)와 동시에 수행되도록 구현될 수 있다.
도 7은 본 출원의 일 실시예예 따른 시계열 이상 감지 모델의 크기를 경량화하는 단계(S4000)를 구체화한 순서도이다. 본 출원의 일 실시예에 따른 시계열 이상 감지 모델의 크기를 경량화하는 단계(S4000)는, 시계열 이상 감지 모델의 실행 데이터에 기초하여 시계열 이상 감지 모델을 구성하는 연산 데이터 및 변수 데이터 중 적어도 하나를 획득하는 단계(S4100), 및 연산 데이터 및 변수 데이터 중 적어도 하나의 제1 데이터 단위를 제2 데이터 단위로 변경하는 단계(S4200)를 더 포함할 수 있다.
시계열 이상 감지 모델의 실행 데이터에 기초하여 시계열 이상 감지 모델을 구성하는 연산 데이터 및 변수 데이터 중 적어도 하나를 획득하는 단계(S4100)에서는, 모델 경량화 장치(1000)는, 시계열 이상 감지 모델의 실행 데이터로부터 시계열 이상 감지 모델을 구성하는 연산 데이터 및/또는 변수 데이터를 획득할 수 있다.
연산 데이터 및 변수 데이터 중 적어도 하나의 제1 데이터 단위를 제2 데이터 단위로 변경하는 단계(S4200)에서는, 모델 경량화 장치(1000)는, 시계열 이상 감지 모델의 데이터 단위를 제1 데이터 단위에서 제2 데이터 단위로 변환할 수 있다. 예컨대, 모델 경량화 장치(1000)는 양자화 기법(예컨대, Quantization Aware Training(QAT))을 활용하여 연산 데이터 및/또는 변수 데이터의 데이터 단위를 제1 데이터 단위(예컨대, 32비트)에서 제2 데이터 단위(예컨대, 8비트)로 변환할 수 있다. 이를 통하여 모델 경량화 장치(1000)는 시계열 이상 감지 모델의 성능 감소를 최소화하면서도 시계열 이상 감지 모델의 크기를 줄일 수 있다.
본 출원의 실시예에 따른 시계열 이상 감지 모델의 경량화 방법, 및 시계열 이상 감지 모델의 경량화 장치에 의하면, 시계열 이상 감지 모델의 연산 데이터와 변수 데이터의 데이터 변위를 변환하고, 시계열 데이터를 복수의 윈도우로 나누어 시계열 이상 감지 모델에 학습에 이용함으로써, MCU 환경에서도 작동될 수 있도록 시계열 이상 감지 모델을 경량화할 수 있다는 유리한 효과가 제공될 수 있다.
본 출원의 실시예에 따른 시계열 이상 감지 모델의 경량화 방법, 및 시계열 이상 감지 모델의 경량화 장치에 의하면, 유전 알고리즘 기법을 활용하여 복수의 하이퍼 파라미터 세트를 자동적으로 생성하고, 정확도에 기반하여 시계열 이상 감지 모델의 적합도를 연산하여 최적의 대상 하이퍼 파라미터 세트를 결정함으로써, 가벼우면서도 정확도가 높은 시계열 이상 감지 모델을 획득할 수 있다는 유리한 효과가 제공될 수 있다.
또한, 본 출원의 실시예에 따른 시계열 이상 감지 모델의 경량화 방법, 및 시계열 이상 감지 모델의 경량화 장치에 의하면, 시계열 이상 감지 모델의 학습을 위하여 오퍼레이터의 지식 수준에 의존하여 수동으로 입력해야 했던 대상 하이퍼 파라미터들을 유전 알고리즘 기법을 활용하여 자동으로 생성함으로써, 시계열 이상 감지 모델의 학습에 대한 지식 장벽을 낮출 수 있다는 유리한 효과를 제공할 수 있다.
본 출원의 실시예에 따른 시계열 이상 감지 모델의 경량화 방법, 및 시계열 이상 감지 모델의 경량화 장치에 의하면, 학습 데이터 셋에 포함된 정상 시계열 데이터에 기초하여 비정상 데이터를 생성하여 시계열 이상 감지 모델의 이상 여부 분류에 이용함으로써, 시계열 이상 감지 모델의 이상 감지 정확도를 증대시킬 수 있다는 유리한 효과를 제공할 수 있다.
상술한 시계열 이상 감지 모델 경량화 장치(1000)의 다양한 동작들은 시계열 이상 감지 모델 경량화 장치(1000)의 메모리(1200)에 저장될 수 있으며, 시계열 이상 감지 모델 경량화 장치(1000)의 프로세서(1300)는 메모리(1200)에 저장된 동작들을 수행하도록 제공될 수 있다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 시계열 이상 감지 모델 경량화 장치

Claims (11)

  1. 학습이 완료된 시계열 이상 감지 모델을 경량화하는 장치가, 상기 시계열 이상 감지 모델을 경량화하는 방법에 있어서,
    학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 단계-상기 시계열 데이터는 이미지 형태의 데이터이며, 상기 시계열 이상 감지 모델은 시간에 따른 이미지에 기반하여 시계열 데이터의 정상 또는 비정상 여부를 분류하기 위한 모델임-; ;
    상기 학습 데이터 셋에 포함된 시계열 데이터에 대한 전처리를 수행하는 단계;
    상기 시계열 이상 감지 모델의 정확도와 상기 시계열 이상 감지 모델의 크기를 고려하여, 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터(hyperparameter) 세트를 결정하는 단계; 및
    상기 시계열 이상 감지 모델의 크기를 경량화하는 단계;를 포함하되,
    상기 대상 하이퍼 파라미터 세트를 결정하는 단계는,
    제1 하이퍼 파라미터 세트를 생성하고, 상기 제1 하이퍼 파라미터 세트를 가지는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득하는 단계;
    상기 학습 데이터 셋을 이용하여 상기 제1 세대 모델을 훈련시키고, 상기 제1 세대 모델의 적합도를 판단하는 단계;
    적합하다고 판단된 제1 세대 모델들 각각의 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터 세트를 생성하고, 상기 제2 하이퍼 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 획득하는 단계;
    상기 학습 데이터 셋을 이용하여 상기 제2 세대 모델을 훈련시키고, 상기 제2 세대 모델의 적합도를 연산하는 단계; 및
    상기 제2 세대 모델의 적합도에 기초하여 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계;를 더 포함하는,
    시계열 이상 감지 모델의 경량화 방법.
  2. 제1 항에 있어서,
    상기 제2 세대 모델 집단을 획득하는 단계는,
    적합하다고 판단된 상기 제1 세대 모델 집단에 포함된 제1 모델의 제1 후보 파라미터 세트 및 적합하다고 판단된 상기 제1 세대 모델 집단에 포함된 제2 모델의 제2 후보 파라미터 세트를 획득하는 단계;
    상기 제1 후보 파라미터 세트 및 상기 제2 후보 파라미터 세트를 교차하거나, 상기 제1 후보 파라미터 세트 및 상기 제2 후보 파라미터 세트 중 적어도 하나를 변이시켜 상기 제2 하이퍼 파라미터 세트를 생성하는 단계; 및
    상기 생성된 제2 하이퍼 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 생성하는 단계;를 더 포함하는 단계;
    시계열 이상 감지 모델의 경량화 방법.
  3. 제2 항에 있어서,
    상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하는 단계는,
    상기 제2 세대 모델이 미리 결정된 적합도 조건을 만족하는 경우, 상기 제2 세대 모델의 제2 하이퍼 파라미터 세트를 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트로 결정하는 단계; 및
    상기 제2 세대 모델이 미리 결정된 적합도 조건을 만족하지 않는 경우, 상기 제1 세대 모델 집단에 포함된 상기 제1 모델의 제1 후보 파라미터 세트, 상기 제1 세대 모델 집단에 포함된 상기 제2 모델의 제2 후보 파라미터 세트, 및 상기 제2 세대 모델 집단 중에서 적합도가 미리 정해진 순위 이내인 상기 제2 세대 모델과 관련된 상기 제2 하이퍼 파라미터 세트 중 적어도 하나에 기초하여 제3 하이퍼 파라미터 세트를 생성하고, 상기 제3 하이퍼 파라미터 세트에 기초하여 상기 대상 하이퍼 파라미터 세트를 결정하는 단계;를 더 포함하는,
    시계열 이상 감지 모델의 경량화 방법.
  4. 제3 항에 있어서,
    상기 제3 하이퍼 파라미터 세트에 기초하여 상기 대상 하이퍼 파라미터 세트를 결정하는 단계는,
    상기 제3 하이퍼 파라미터 세트를 가지는 복수의 제3 세대 모델을 포함하는 제3 세대 모델 집단을 획득하는 단계;
    상기 학습 데이터 셋을 이용하여 상기 제3 세대 모델을 훈련시키고, 상기 제3 세대 모델의 적합도를 판단하는 단계; 및
    상기 적합도 판단 결과에 기초하여 미리 결정된 적합도 이상인 제3 세대 모델과 관련된 제3 하이퍼 파라미터 세트를 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트로 획득하는 단계;를 더 포함하는,
    시계열 이상 감지 모델의 경량화 방법.
  5. 제1 항에 있어서,
    상기 제1 세대 모델 또는 상기 제2 세대 모델은,
    학습 데이터 셋에 포함된 정상 데이터로부터 연산된 기준 값과 학습 데이터 셋에 포함된 제1 시계열 데이터로부터 연산된 제1 출력 값의 차이가 미리 정해진 임계값보다 작은 경우, 상기 제1 시계열 데이터를 정상으로 분류하도록 학습되며,
    학습 데이터 셋에 포함된 정상 데이터로부터 연산된 상기 기준 값과 학습 데이터 셋에 포함된 제2 시계열 데이터로부터 연산된 제2 출력 값의 차이가 미리 정해진 임계값보다 큰 경우, 상기 제2 시계열 데이터를 비정상으로 분류하도록 학습되도록 구성되는,
    시계열 이상 감지 모델의 경량화 방법.
  6. 제1 항에 있어서,
    상기 제1 세대 모델의 적합도는,
    상기 제1 세대 모델의 정확도 및 상기 제1 세대 모델의 크기에 기초하여 연산되며,
    상기 제2 세대 모델의 적합도는,
    상기 제2 세대 모델의 정확도 및 상기 제2 세대 모델의 크기에 기초하여 연산되도록 구성되는,
    시계열 이상 감지 모델의 경량화 방법.
  7. 제1 항에 있어서,
    상기 시계열 이상 감지 모델의 크기를 경량화하는 단계는,
    상기 시계열 이상 감지 모델의 실행 데이터에 기초하여 상기 시계열 이상 감지 모델을 구성하는 연산 데이터 및 변수 데이터 중 적어도 하나를 획득하는 단계; 및
    상기 연산 데이터 및 변수 데이터 중 적어도 하나의 제1 데이터 단위를 제2 데이터 단위로 변경하는 단계-상기 제2 데이터 단위는 상기 제1 데이터 단위보다 작은 값을 포함함-;를 더 포함하는,
    시계열 이상 감지 모델의 경량화 방법.
  8. 제1 항에 있어서,
    상기 학습 데이터 셋을 획득하는 단계는,
    미리 결정된 사이즈에 기초하여 상기 시계열 데이터를 분할하여 복수의 윈도우를 획득하는 단계;를 더 포함하는,
    시계열 이상 감지 모델의 경량화 방법.
  9. 제1 항에 있어서,
    상기 학습 데이터 셋을 획득하는 단계는,
    학습 데이터 셋에 포함된 정상 데이터를 획득하는 단계; 및
    정상 데이터의 관심 영역에 대응되는 값을 조절하여 비정상 데이터를 생성하는 단계;를 더 포함하는,
    시계열 이상 감지 모델의 경량화 방법.
  10. 컴퓨터에 제1 항 내지 제9 항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  11. 학습이 완료된 시계열 이상 감지 모델을 경량화하는 장치에 있어서,
    학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하는 송수신부; 및
    상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하고 상기 시계열 이상 감지 모델의 크기를 경량화도록 구성된 프로세서;를 포함하되,
    상기 프로세서는,
    학습이 완료된 시계열 이상 감지 모델의 실행 데이터 및 시계열 데이터를 포함하는 학습 데이터 셋을 획득하고, 상기 학습 데이터 셋에 포함된 시계열 데이터에 대한 전처리를 수행하고, 상기 시계열 이상 감지 모델의 정확도와 상기 시계열 이상 감지 모델의 크기를 고려하여, 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하고, 상기 시계열 이상 감지 모델의 크기를 경량화하도록 구성되되,
    상기 프로세서는,
    제1 하이퍼 파라미터 세트를 생성하고, 상기 제1 하이퍼 파라미터 세트를 가지는 복수의 제1 세대 모델을 포함하는 제1 세대 모델 집단을 획득하고, 상기 학습 데이터 셋을 이용하여 상기 제1 세대 모델을 훈련시키고, 상기 제1 세대 모델의 적합도를 판단하고, 적합하다고 판단된 제1 세대 모델들 각각의 하이퍼 파라미터 세트에 기초하여 제2 하이퍼 파라미터 세트를 생성하고, 상기 제2 하이퍼 파라미터 세트를 가지는 복수의 제2 세대 모델을 포함하는 제2 세대 모델 집단을 획득하고, 상기 학습 데이터 셋을 이용하여 상기 제2 세대 모델을 훈련시키고, 상기 제2 세대 모델의 적합도를 연산하고, 및 상기 제2 세대 모델의 적합도에 기초하여 상기 시계열 이상 감지 모델의 대상 하이퍼 파라미터 세트를 결정하도록 구성되되,
    상기 시계열 데이터는 이미지 형태의 데이터이며, 상기 시계열 이상 감지 모델은 시간에 따른 이미지에 기반하여 시계열 데이터의 정상 또는 비정상 여부를 분류하기 위한 모델인,
    시계열 이상 감지 모델의 경량화 장치.
KR1020220040407A 2022-03-31 2022-03-31 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치 KR102465676B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220040407A KR102465676B1 (ko) 2022-03-31 2022-03-31 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치
KR1020220146756A KR102582737B1 (ko) 2022-03-31 2022-11-07 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220040407A KR102465676B1 (ko) 2022-03-31 2022-03-31 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220146756A Division KR102582737B1 (ko) 2022-03-31 2022-11-07 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치

Publications (2)

Publication Number Publication Date
KR102465676B1 true KR102465676B1 (ko) 2022-11-11
KR102465676B9 KR102465676B9 (ko) 2023-06-09

Family

ID=84043016

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220040407A KR102465676B1 (ko) 2022-03-31 2022-03-31 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치
KR1020220146756A KR102582737B1 (ko) 2022-03-31 2022-11-07 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220146756A KR102582737B1 (ko) 2022-03-31 2022-11-07 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치

Country Status (1)

Country Link
KR (2) KR102465676B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048895A (ko) * 2017-10-31 2019-05-09 삼성에스디에스 주식회사 하이퍼파라미터 자동 최적화 방법 및 그 장치
KR102134472B1 (ko) 2018-07-26 2020-07-15 국방과학연구소 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법
KR102143593B1 (ko) * 2019-10-18 2020-08-11 주식회사 모비젠 오토인코더 기반 IoT기기의 이상징후 탐지 방법 및 그 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265461B1 (ko) * 2019-07-30 2021-06-15 스퀘어네트 주식회사 제조 공정 비정상 데이터 탐지 시스템
KR20210058171A (ko) * 2019-11-13 2021-05-24 세종대학교산학협력단 주식 예측 딥러닝 모델 생성 및 파라미터 최적화를 위한 Automated Deep Learning Studio
KR20210066143A (ko) * 2019-11-28 2021-06-07 주식회사 스마트시티그리드 화재 방지를 위한 IoT 커넥티드 휴대용 가열 텀블러 관제 서버

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048895A (ko) * 2017-10-31 2019-05-09 삼성에스디에스 주식회사 하이퍼파라미터 자동 최적화 방법 및 그 장치
KR102134472B1 (ko) 2018-07-26 2020-07-15 국방과학연구소 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법
KR102143593B1 (ko) * 2019-10-18 2020-08-11 주식회사 모비젠 오토인코더 기반 IoT기기의 이상징후 탐지 방법 및 그 시스템

Also Published As

Publication number Publication date
KR102465676B9 (ko) 2023-06-09
KR102582737B1 (ko) 2023-09-25

Similar Documents

Publication Publication Date Title
US20220180199A1 (en) Neural network model compression method and apparatus, storage medium, and chip
JP6182242B1 (ja) データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム
US20200366690A1 (en) Adaptive neural networks for node classification in dynamic networks
US20210142108A1 (en) Methods, apparatus, and storage medium for classifying graph nodes
US20230153622A1 (en) Method, Apparatus, and Computing Device for Updating AI Model, and Storage Medium
JP6193287B2 (ja) 異常検出装置、異常検出方法及びネットワーク異常検出システム
US11830187B2 (en) Automatic condition diagnosis using a segmentation-guided framework
US20210365781A1 (en) Classification model calibration
US20220327676A1 (en) Method and system for detecting change to structure by using drone
KR102465676B1 (ko) 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치
Dang et al. Semi-supervised vibration-based structural health monitoring via deep graph learning and contrastive learning
US20220012477A1 (en) Information processing apparatus, control method, and non-transitory storage medium
KR20200038072A (ko) 엔트로피 기반 신경망(Neural Networks) 부분학습 방법 및 시스템
JP2020204909A (ja) 機械学習装置
WO2023179609A1 (zh) 一种数据处理方法及装置
Zhao et al. Gradient-based adaptive particle swarm optimizer with improved extremal optimization
US20220366254A1 (en) Image Processing Model Training Method and Apparatus
WO2020218246A1 (ja) 最適化装置、最適化方法、及びプログラム
KR20220168527A (ko) 프라이버시 보존 엣지-서버 시너지 컴퓨팅 장치 및 방법
KR102582728B1 (ko) 시계열 분류 모델의 경량화 방법, 및 경량화 장치
KR102582738B1 (ko) 이미지 처리 모델의 학습 방법, 및 학습 장치
KR102646887B1 (ko) 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치
KR102581969B1 (ko) 객체 인식률 향상을 위한 라이다 포인트 클라우드의 보간 방법, 장치 및 컴퓨터프로그램
KR102465672B1 (ko) 신경망 탐색 방법, 신경망 탐색 장치, 및 신경망 탐색 시스템
US20240143994A1 (en) Predicting sound pleasantness using regression prediction machine learning model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]