KR102202842B1 - 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 - Google Patents

크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 Download PDF

Info

Publication number
KR102202842B1
KR102202842B1 KR1020190099179A KR20190099179A KR102202842B1 KR 102202842 B1 KR102202842 B1 KR 102202842B1 KR 1020190099179 A KR1020190099179 A KR 1020190099179A KR 20190099179 A KR20190099179 A KR 20190099179A KR 102202842 B1 KR102202842 B1 KR 102202842B1
Authority
KR
South Korea
Prior art keywords
matrix
network
learning
wierstein
corresponds
Prior art date
Application number
KR1020190099179A
Other languages
English (en)
Inventor
백명희조
김영근
장현웅
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020190099179A priority Critical patent/KR102202842B1/ko
Application granted granted Critical
Publication of KR102202842B1 publication Critical patent/KR102202842B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Complex Calculations (AREA)

Abstract

크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법이 개시된다. 즉, (a) 학습 장치가, 복수 개의 성분을 가진 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 각각의 상기 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 학습 데이터 매트릭스로부터, 상기 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 와서스타인 피처 매트릭스를 추출하도록 하는 단계; (b) 상기 학습 장치가, (i) 적어도 하나의 와서스타인 디코딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 상기 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 단계; 및 (c) 상기 학습 장치가, 적어도 하나의 옵티마이징 유닛으로 하여금, (i) 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, (ii) 상기 와서스타인 피처 매트릭스, (iii) 상기 복원 데이터 매트릭스 및 (iv) 상기 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 상기 통합 로스를 사용하여 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부를 학습하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.

Description

크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치{LEARNING METHOD AND LEARNING DEVICE FOR HIGH-DIMENSION UNSUPERVISED ANOMALY DETECTION USING KERNALIZED WASSERSTEIN AUTOENCODER TO LESSEN TOO MANY COMPUTATIONS OF CHRISTOPHEL FUNCTION, AND TESTING METHOD AND TESTING DEVICE USING THE SAME}
본 발명은 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.
이상 탐지(Anomaly Detection)이란, 정상 자료와 다른 경향을 보이는 이상 자료를 찾는 행위로서, 금융 사기 탐지, 질병 진단, 사이버 보안, 얼굴 인식 기반 모니터링 등 산업 전반에 걸쳐 다양하게 사용되고 있다.
한편, 최근 딥 러닝이 많은 분야에서 압도적인 성과를 보임에 따라, 이와 같은 딥 러닝을 이상 탐지 알고리즘과 결합하고자 하는 시도가 있었다. 하지만, 딥 러닝 중 지도 학습을 이상 탐지에 적용하고자 하는 시도는, 이상 자료의 특성 상 라벨링된 학습용 데이터가 부족하여 큰 효과를 보지 못하였다. 비지도 학습을 이상 탐지에 적용하고자 하는 시도는, 과도한 통계적 가정 하에서 이상 탐지를 수행해야만 하거나, 특정 분야에만 적용 가능하거나, 계산 시간이 과도한 등의 문제가 있었다.
이와 같이 한계점이 존재하는 종래 기술의 하나로, Pauwels and Lasserre(2016)이 제안한 크리스토펠 함수를 이용한 이상 탐지 방법이 있다. 크리스토펠 함수란, 주어진 자료
Figure 112019083224384-pat00001
, 해당 자료의 차원
Figure 112019083224384-pat00002
, 고려 대상인 다항식의 최대 차수를
Figure 112019083224384-pat00003
라 할 때,
Figure 112019083224384-pat00004
상기 수식에 따라 결정되는 함수이다. 본 함수의 특성은 Dunkl and Xu(2014)에 의해 구체적으로 연구된 바 있는데, 이와 같은 연구 결과를 토대로, 전술한 Pauwels and Lasserre(2016)가, 판단하고자 하는 자료
Figure 112019083224384-pat00005
를 학습된 데이터
Figure 112019083224384-pat00006
와 함께 크리스토펠 함수에 입력하고, 결과 값이 작은 경우 해당 자료를 이상 자료로 판단하는 방법을 제안한 것이다.
하지만 Pauwels and Lasserre(2016)이 제시한 방법은,
Figure 112019083224384-pat00007
의 계산 비용을 가지게 되는 바, 자료의 차원이 높을 때 과도한 연산량을 가지게 되므로 낮은 차원의 자료에 대한 이상 탐지에만 활용될 수 있는 한계점이 있었다.
이를 개선하고자, Askari(2018)는, Pauwels and Lasserre(2016)이 제안한 방법이 크리스토펠 함수의 결과 값을 계산하고자 기존에 알려진 polynomial kernel인
Figure 112019083224384-pat00008
의 복잡한 특성함수를 이용하기 때문에 연산량이 과도해짐을 지적하며, 커널 트릭을 적용하여 연산량을 줄일 수 있는 방법을 제안하였다.
하지만, Askari(2018)의 방법은, 계산 비용이
Figure 112019083224384-pat00009
가 되어 자료의 차원에 따른 연산량 증가의 문제는 해결하였으나, 자료의 개수에 따른 연산량 증가의 문제는 해결하지 못한 단점이 있다.
즉, 현재까지의 크리스토펠 함수를 이용한 이상 탐지 방법들 중, 고차원이며 대용량인 자료에도 적절한 연산량으로 적용할 수 있는 방법은 없다는 것이다.
한편, Tolstikhin(2018)은, 고차원 자료의 분포가 저차원에 집중되어있는 경우에도 효과적으로 두 분포의 거리를 측정할 수 있는 와서스타인 거리에 기반한 와서스타인 오토인코더를 제안한 바 있고, 이에 Alaverdyan(2018)은 이와 같은 와서스타인 오토인코더를 의료 영상에서의 이상 탐지 문제를 해결하기 위한 특성 추출 모형으로 사용한 바 있다. 다만, Alaverdyan(2018)이 제안한 방법은, 그 성능이 떨어지는 One-class SVM에 와서스타인 오토인코더를 적용한 것이다. 즉, 와서스타인 오토인코더는 크리스토펠 함수와 같이 정확하게 이상 자료를 판별해낼 수 있는 딥 러닝 알고리즘에는 적용된 바가 없다는 것이다.
또한, 와서스타인 오토인코더를 통해 추출된 특성 값들이 커널 함수의 특성 함수 결과 값으로 도출될 수 있도록 하는 방법이 Kampffmeyer(2018)에 의해 제안된 바 있는데, 이 역시 크리스토펠 함수와 같은 고성능의 알고리즘과 함께 결합된 바는 없다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법을 제공함으로써, 적은 연산량으로 정확하게 이상 자료를 탐지해낼 수 있도록 하는 것을 목적으로 한다.
또한 본 발명은 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법을 제공하기 위하여, 학습 과정이 완료된 후에 인코딩 네트워크 및 임베딩 네트워크를 거쳐 도출된 아웃풋이 크리스토펠 함수의 아웃풋 계산을 위해 사용될 수 있도록 설계된 로스를 제공하는 것을 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법에 있어서, (a) 학습 장치가, 복수 개의 성분을 가진 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 각각의 상기 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 학습 데이터 매트릭스로부터, 상기 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 와서스타인 피처 매트릭스를 추출하도록 하는 단계; (b) 상기 학습 장치가, (i) 적어도 하나의 와서스타인 디코딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 상기 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 단계; 및 (c) 상기 학습 장치가, 적어도 하나의 옵티마이징 유닛으로 하여금, (i) 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, (ii) 상기 와서스타인 피처 매트릭스, (iii) 상기 복원 데이터 매트릭스 및 (iv) 상기 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 상기 통합 로스를 사용하여 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부를 학습하도록 하는 단계; 를 포함하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계는, 상기 통합 로스가, (i) 상기 복원 데이터 매트릭스 및 이에 대응하는 상기 학습 데이터 매트릭스 간의 차이가 작아지도록 상기 와서스타인 인코딩 네트워크 및 상기 와서스타인 디코딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 재구축 로스, (ii) 상기 와서스타인 피처 매트릭스 및 이에 대응하는 상기 학습 데이터 매트릭스 간의 와서스타인 거리가 작아지도록 상기 와서스타인 인코딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 와서스타인 로스 및 (iii) 상기 커널 매트릭스가 상기 크리스토펠 함수의 아웃풋을 계산하기 위해 사용될 수 있도록 상기 와서스타인 인코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 커널 로스를 포함하되, 상기 와서스타인 거리는, 고차원 자료의 확률 분포와 저차원 자료의 확률 분포 간의 거리를 측정할 수 있도록, 서로 다른 두 확률 분포에 대응하는 결합 확률 분포들 중, 두 확률 분포 간 거리의 기대값을 가장 작게 추정한 값을 출력하는 와서스타인 거리 함수에 의해 계산되는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 재구축 로스는 하기 수식에 따라 계산되고,
Figure 112019083224384-pat00010
상기 수식에서,
Figure 112019083224384-pat00011
는 상기 학습 데이터 매트릭스의 개수에 대응하고,
Figure 112019083224384-pat00012
는 제j 학습 데이터 매트릭스에 대응하며,
Figure 112019083224384-pat00013
는 상기 제j 학습 데이터 매트릭스에 대응하는 제j 와서스타인 피처 매트릭스에 대응하고,
Figure 112019083224384-pat00014
는 상기 와서스타인 디코딩 네트워크의 파라미터에 대응하며,
Figure 112019083224384-pat00015
은 상기 와서스타인 디코딩 네트워크에서 수행되는 상기 디코딩 연산에 대응하고,
Figure 112019083224384-pat00016
는 입력 간의 차이를 아웃풋하는 함수인 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 와서스타인 로스는 하기 수식에 따라 계산되고,
Figure 112019083224384-pat00017
상기 수식에서,
Figure 112019083224384-pat00018
는 상기 학습 데이터 매트릭스의 개수에 대응하고,
Figure 112019083224384-pat00019
및
Figure 112019083224384-pat00020
는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00021
및
Figure 112019083224384-pat00022
는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00023
는 폴리노미얼 커널 함수에 대응하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 커널 로스는 하기 수식에 따라 계산되고,
Figure 112019083224384-pat00024
상기 수식에서,
Figure 112019083224384-pat00025
는 상기 학습 데이터 매트릭스의 개수에 대응하고,
Figure 112019083224384-pat00026
및
Figure 112019083224384-pat00027
는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00028
및
Figure 112019083224384-pat00029
는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응하고,
Figure 112019083224384-pat00030
는 상기 임베딩 네트워크의 파라미터에 대응하며,
Figure 112019083224384-pat00031
는 상기 임베딩 네트워크에서 수행되는 상기 임베딩 연산에 대응하고,
Figure 112019083224384-pat00032
는 폴리노미얼 커널 함수에 대응하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계는, 상기 옵티마이징 유닛이, 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스를 가중합한 상기 통합 로스를 미분하여 스토캐스틱 그라디언트 디센트 방법으로 상기 파라미터들 중 적어도 일부를 학습하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계는, 상기 옵티마이징 유닛이, 하기 수식에 따라 상기 스토캐스틱 그라디언트 디센트 방법으로 상기 파라미터를 학습하고,
Figure 112019083224384-pat00033
Figure 112019083224384-pat00034
는 각각 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 i번째 iteration에서의 파라미터들에 대응하고,
Figure 112019083224384-pat00035
는 각각 상기 옵티마이징 유닛에 의해 학습된, 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 i+1번째 iteration에서의 파라미터들에 대응하며,
Figure 112019083224384-pat00036
은 상기 통합 로스에 대응하고,
Figure 112019083224384-pat00037
는 각각 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스에 대응하고,
Figure 112019083224384-pat00038
및
Figure 112019083224384-pat00039
는 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스의 반영 비율을 결정하는 하이퍼파라미터에 대응하고,
Figure 112019083224384-pat00040
는 학습률에 대응하는 것을 특징으로 하는 방법이 개시된다.
본 발명의 다른 태양에 따르면, 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 테스트 방법에 있어서, (a) (1) 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 각각의 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 학습 데이터 매트릭스로부터, 상기 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 학습용 와서스타인 피처 매트릭스를 추출하도록 하는 프로세스; (2) (i) 적어도 하나의 와서스타인 디코딩 네트워크로 하여금, 각각의 상기 학습용 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 상기 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크로 하여금, 각각의 상기 학습용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 학습용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 프로세스; 및 (3) 적어도 하나의 옵티마이징 유닛으로 하여금, 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, 상기 학습용 와서스타인 피처 매트릭스, 상기 복원 데이터 매트릭스 및 상기 학습용 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 상기 통합 로스를 사용하여 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부를 학습하도록 하는 프로세스;를 거쳐 학습이 완료된 상태에서, 테스트 장치가, 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 테스트 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 상기 테스트 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 테스트 데이터 매트릭스로부터, 상기 테스트 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 테스트용 와서스타인 피처 매트릭스를 추출하도록 하는 단계; (b) 상기 테스트 장치가, 적어도 하나의 임베딩 네트워크로 하여금, 상기 테스트용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 테스트용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 단계; 및 (c) 상기 테스트 장치가, 판단 유닛으로 하여금, 상기 테스트용 커널 매트릭스를 참조로 하여 크리스토펠 아웃풋을 생성한 후, 상기 크리스토펠 아웃풋을 참조로 하여 상기 테스트 데이터 매트릭스에 대응하는 테스트 데이터의 이상 여부를 판단하는 단계; 를 포함하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계는, 상기 테스트 장치가, (i) 상기 와서스타인 인코딩 네트워크에 의해 각각의 레퍼런스 데이터 매트릭스로부터 생성된 각각의 레퍼런스 피처 매트릭스 및 (ii) 상기 임베딩 네트워크를 거쳐 각각의 상기 레퍼런스 피처 매트릭스로부터 생성된 지원 매트릭스를 추가로 참조로 하여 상기 크리스토펠 아웃풋을 생성하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계는, 상기 테스트 장치가, 하기 수식에 따라 상기 크리스토펠 아웃풋을 생성하고,
Figure 112019083224384-pat00041
Figure 112019083224384-pat00042
상기 수식에서,
Figure 112019083224384-pat00043
는 기설정된 하이퍼파라미터에 대응하고,
Figure 112019083224384-pat00044
는 상기 테스트용 와서스타인 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00045
은 상기 레퍼런스 피처 매트릭스들의 집합에 대응하고,
Figure 112019083224384-pat00046
는 폴리노미얼 커널 함수에 대응하며,
Figure 112019083224384-pat00047
는 상기 임베딩 네트워크에서 수행되는 상기 임베딩 연산에 대응하고,
Figure 112019083224384-pat00048
는 상기 지원 매트릭스에 대응하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (c) 단계는, 상기 테스트 장치가, 상기 판단 유닛으로 하여금, 상기 크리스토펠 아웃풋이 기설정된 임계치보다 작을 경우 상기 테스트 데이터 매트릭스에 대응하는 상기 테스트 데이터를 이상 데이터로 판별하고, 상기 임계치보다 클 경우 상기 테스트 데이터를 정상 데이터로 판별하는 것을 특징으로 하는 방법이 개시된다.
본 발명의 또다른 태양에 따르면, 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) 복수 개의 성분을 가진 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 각각의 상기 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 학습 데이터 매트릭스로부터, 상기 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 와서스타인 피처 매트릭스를 추출하도록 하는 프로세스; (II) (i) 적어도 하나의 와서스타인 디코딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 상기 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 프로세스; 및 (III) 적어도 하나의 옵티마이징 유닛으로 하여금, (i) 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, (ii) 상기 와서스타인 피처 매트릭스, (iii) 상기 복원 데이터 매트릭스 및 (iv) 상기 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 상기 통합 로스를 사용하여 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부를 학습하도록 하는 프로세스;를 수행하는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 (III) 프로세스는, 상기 통합 로스가, (i) 상기 복원 데이터 매트릭스 및 이에 대응하는 상기 학습 데이터 매트릭스 간의 차이가 작아지도록 상기 와서스타인 인코딩 네트워크 및 상기 와서스타인 디코딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 재구축 로스, (ii) 상기 와서스타인 피처 매트릭스 및 이에 대응하는 상기 학습 데이터 매트릭스 간의 와서스타인 거리가 작아지도록 상기 와서스타인 인코딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 와서스타인 로스 및 (iii) 상기 커널 매트릭스가 상기 크리스토펠 함수의 아웃풋을 계산하기 위해 사용될 수 있도록 상기 와서스타인 인코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 커널 로스를 포함하되, 상기 와서스타인 거리는, 고차원 자료의 확률 분포와 저차원 자료의 확률 분포 간의 거리를 측정할 수 있도록, 서로 다른 두 확률 분포에 대응하는 결합 확률 분포들 중, 두 확률 분포 간 거리의 기대값을 가장 작게 추정한 값을 출력하는 와서스타인 거리 함수에 의해 계산되는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 재구축 로스는 하기 수식에 따라 계산되고,
Figure 112019083224384-pat00049
상기 수식에서,
Figure 112019083224384-pat00050
는 상기 학습 데이터 매트릭스의 개수에 대응하고,
Figure 112019083224384-pat00051
는 제j 학습 데이터 매트릭스에 대응하며,
Figure 112019083224384-pat00052
는 상기 제j 학습 데이터 매트릭스에 대응하는 제j 와서스타인 피처 매트릭스에 대응하고,
Figure 112019083224384-pat00053
는 상기 와서스타인 디코딩 네트워크의 파라미터에 대응하며,
Figure 112019083224384-pat00054
은 상기 와서스타인 디코딩 네트워크에서 수행되는 상기 디코딩 연산에 대응하고,
Figure 112019083224384-pat00055
는 입력 간의 차이를 아웃풋하는 함수인 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 와서스타인 로스는 하기 수식에 따라 계산되고,
Figure 112019083224384-pat00056
상기 수식에서,
Figure 112019083224384-pat00057
는 상기 학습 데이터 매트릭스의 개수에 대응하고,
Figure 112019083224384-pat00058
및
Figure 112019083224384-pat00059
는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00060
및
Figure 112019083224384-pat00061
는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00062
는 폴리노미얼 커널 함수에 대응하는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 커널 로스는 하기 수식에 따라 계산되고,
Figure 112019083224384-pat00063
상기 수식에서,
Figure 112019083224384-pat00064
는 상기 학습 데이터 매트릭스의 개수에 대응하고,
Figure 112019083224384-pat00065
및
Figure 112019083224384-pat00066
는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00067
및
Figure 112019083224384-pat00068
는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응하고,
Figure 112019083224384-pat00069
는 상기 임베딩 네트워크의 파라미터에 대응하며,
Figure 112019083224384-pat00070
는 상기 임베딩 네트워크에서 수행되는 상기 임베딩 연산에 대응하고,
Figure 112019083224384-pat00071
는 폴리노미얼 커널 함수에 대응하는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 (III) 프로세스는, 상기 옵티마이징 유닛이, 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스를 가중합한 상기 통합 로스를 미분하여 스토캐스틱 그라디언트 디센트 방법으로 상기 파라미터들 중 적어도 일부를 학습하는 것을 특징으로 하는 학습 장치가 개시된다.
일례로서, 상기 (III) 프로세스는, 상기 옵티마이징 유닛이, 하기 수식에 따라 상기 스토캐스틱 그라디언트 디센트 방법으로 상기 파라미터를 학습하고,
Figure 112019083224384-pat00072
Figure 112019083224384-pat00073
는 각각 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 i번째 iteration에서의 파라미터들에 대응하고,
Figure 112019083224384-pat00074
는 각각 상기 옵티마이징 유닛에 의해 학습된, 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 i+1번째 iteration에서의 파라미터들에 대응하며,
Figure 112019083224384-pat00075
은 상기 통합 로스에 대응하고,
Figure 112019083224384-pat00076
는 각각 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스에 대응하고,
Figure 112019083224384-pat00077
및
Figure 112019083224384-pat00078
는 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스의 반영 비율을 결정하는 하이퍼파라미터에 대응하고,
Figure 112019083224384-pat00079
는 학습률에 대응하는 것을 특징으로 하는 학습 장치가 개시된다.
본 발명의 또다른 태양에 따르면, 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 테스트 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) (1) 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 각각의 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 학습 데이터 매트릭스로부터, 상기 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 학습용 와서스타인 피처 매트릭스를 추출하도록 하는 프로세스; (2) (i) 적어도 하나의 와서스타인 디코딩 네트워크로 하여금, 각각의 상기 학습용 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 상기 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크로 하여금, 각각의 상기 학습용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 학습용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 프로세스; 및 (3) 적어도 하나의 옵티마이징 유닛으로 하여금, 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, 상기 학습용 와서스타인 피처 매트릭스, 상기 복원 데이터 매트릭스 및 상기 학습용 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 상기 통합 로스를 사용하여 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부를 학습하도록 하는 프로세스;를 거쳐 학습이 완료된 상태에서, 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 테스트 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 상기 테스트 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 테스트 데이터 매트릭스로부터, 상기 테스트 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 테스트용 와서스타인 피처 매트릭스를 추출하도록 하는 프로세스; (II) 적어도 하나의 임베딩 네트워크로 하여금, 상기 테스트용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 테스트용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 프로세스; 및 (III) 판단 유닛으로 하여금, 상기 테스트용 커널 매트릭스를 참조로 하여 크리스토펠 아웃풋을 생성한 후, 상기 크리스토펠 아웃풋을 참조로 하여 상기 테스트 데이터 매트릭스에 대응하는 테스트 데이터의 이상 여부를 판단하는 프로세스;를 수행하는 것을 특징으로 하는 테스트 장치가 개시된다.
일례로서, 상기 (III) 프로세스는, 상기 프로세서가, (i) 상기 와서스타인 인코딩 네트워크에 의해 각각의 레퍼런스 데이터 매트릭스로부터 생성된 각각의 레퍼런스 피처 매트릭스 및 (ii) 상기 임베딩 네트워크를 거쳐 각각의 상기 레퍼런스 피처 매트릭스로부터 생성된 지원 매트릭스를 추가로 참조로 하여 상기 크리스토펠 아웃풋을 생성하는 것을 특징으로 하는 테스트 장치가 개시된다.
일례로서, 상기 (III) 프로세스는, 상기 프로세서가, 하기 수식에 따라 상기 크리스토펠 아웃풋을 생성하고,
Figure 112019083224384-pat00080
Figure 112019083224384-pat00081
상기 수식에서,
Figure 112019083224384-pat00082
는 기설정된 하이퍼파라미터에 대응하고,
Figure 112019083224384-pat00083
는 상기 테스트용 와서스타인 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00084
은 상기 레퍼런스 피처 매트릭스들의 집합에 대응하고,
Figure 112019083224384-pat00085
는 폴리노미얼 커널 함수에 대응하며,
Figure 112019083224384-pat00086
는 상기 임베딩 네트워크에서 수행되는 상기 임베딩 연산에 대응하고,
Figure 112019083224384-pat00087
는 상기 지원 매트릭스에 대응하는 것을 특징으로 하는 테스트 장치가 개시된다.
일례로서, 상기 (III) 프로세스는, 상기 프로세서가, 상기 판단 유닛으로 하여금, 상기 크리스토펠 아웃풋이 기설정된 임계치보다 작을 경우 상기 테스트 데이터 매트릭스에 대응하는 상기 테스트 데이터를 이상 데이터로 판별하고, 상기 임계치보다 클 경우 상기 테스트 데이터를 정상 데이터로 판별하는 것을 특징으로 하는 테스트 장치가 개시된다.
본 발명은 인코딩 네트워크 및 임베딩 네트워크를 거쳐 도출된 아웃풋이 크리스토펠 함수의 아웃풋 계산을 위해 사용될 수 있도록 설계된 로스를 제공함으로써 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법을 제공하는 효과가 있다.
또한 본 발명은 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법을 제공함으로써, 적은 연산량으로 정확하게 이상 자료를 탐지해낼 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법을 수행하는 학습 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법이 수행되는 흐름을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법을 수행할 때 이용되는 학습 데이터 매트릭스, 와서스타인 피처 매트릭스, 복원 데이터 매트릭스 및 커널 매트릭스 간의 관계를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 테스트 방법이 수행될 수 있는 원리를 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법을 수행하는 학습 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 학습 장치(100)는, 와서스타인 인코딩 네트워크(130), 와서스타인 디코딩 네트워크(140), 임베딩 네트워크(150) 및 옵티마이징 유닛(160)을 포함할 수 있다. 이 때, 와서스타인 인코딩 네트워크(130), 와서스타인 디코딩 네트워크(140), 임베딩 네트워크(150) 및 옵티마이징 유닛(160)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 지시들을 저장한 상태일 수 있고, 프로세서(120)는 메모리(115)에 저장된 지시들을 수행하도록 설정되되, 프로세서(120)는 추후 설명할 프로세스들을 수행함으로써 본 발명을 수행할 수 있다. 이와 같이 학습 장치(100)가 묘사되었다고 하여, 학습 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
학습 장치(100)의 구성은 상기와 같은 바, 이하 상기 학습 장치(100)에서 이루어지는, 본 발명의 고차원 비지도 이상 탐지 학습 방법의 흐름에 대해 설명하도록 한다. 이를 위해 도 2를 참조할 것이다.
도 2는 본 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법이 수행되는 흐름을 나타낸 도면이다.
도 2를 참조로 하면, 학습 장치(100)에 학습 데이터 매트릭스가 입력되면, 와서스타인 인코딩 네트워크(130)를 거쳐 와서스타인 피처 매트릭스가 생성되고, 와서스타인 피처 매트릭스가 와서스타인 디코딩 네트워크(140) 및 임베딩 네트워크(150)에 병렬적으로 입력되어 각각 복원 데이터 매트릭스 및 커널 매트릭스가 생성되는 것을 확인할 수 있다. 이후, 학습 데이터 매트릭스, 복원 데이터 매트릭스 및 커널 매트릭스가 옵티마이징 유닛(160)에 입력되면, 옵티마이징 유닛(160)은 이를 이용해 통합 로스를 계산하고, 통합 로스를 참조로 하여 와서스타인 인코딩 네트워크(130), 와서스타인 디코딩 네트워크(140) 및 임베딩 네트워크(150)의 파라미터들 중 적어도 일부를 학습할 수 있다. 개괄적인 흐름은 위와 같고, 이하 이에 대해 더욱 구체적으로 설명하도록 한다.
먼저, 학습 장치(100)는, 적어도 하나의 학습 데이터 매트릭스를 획득할 수 있다. 학습 데이터 매트릭스는, 복수 개의 성분을 가지는 매트릭스일 수 있다. 또한, 이는 학습 데이터 매트릭스들로 이루어진 트레이닝 데이터 셋에서 적어도 일부가 선택된 것일 수 있다. 설명의 편의를 위해, 이하에서는 학습 장치(100)가, 트레이닝 데이터 셋의 부분 집합인, 복수 개의 학습 데이터 매트릭스를 포함하는 배치(batch)를 획득한 것으로 가정한다.
이후, 학습 장치(100)는, 적어도 하나의 와서스타인 인코딩 네트워크(130)로 하여금, 각각의 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 각각의 학습 데이터 매트릭스에 대응하며, 이보다 상대적으로 낮은 차원을 가지는 각각의 와서스타인 피처 매트릭스를 추출하도록 할 수 있다.
인코딩 연산은, 와서스타인 인코딩 네트워크(130)에 포함된 각각의 가상 뉴런들에 의해 이루어질 수 있다. 각각의 가상 뉴런들은 서로 연결되어 있으며 각각 파라미터를 가지는데, 자신에게 입력된 값에 파라미터를 이용하여 컨벌루션 등의 웨이트 연산을 적용함으로써 값을 출력하고, 이를 자신에게 연결된 다음 가상 뉴런에 전달할 수 있다. 이와 같은 과정을 반복하여, 와서스타인 인코딩 네트워크(130)는, 학습 데이터 매트릭스에 비해 낮은 차원을 가지는, 즉 학습 데이터 매트릭스의 특성을 압축하여 담고 있는 와서스타인 피처 매트릭스를 생성할 수 있는 것이다.
이후, 학습 장치(100)는, 병렬적으로, 와서스타인 디코딩 네트워크(140) 및 임베딩 네트워크(150)로 하여금 와서스타인 피처 매트릭스를 이용하여 각각 디코딩 연산 및 임베딩 연산을 수행하도록 할 수 있다.
먼저, 학습 장치(100)는, 와서스타인 디코딩 네트워크(140)로 하여금, 각각의 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 각각에 대응하는 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 각각의 복원 데이터 매트릭스를 생성하도록 할 수 있다. 디코딩 연산 역시, 인코딩 연산과 유사하게, 와서스타인 디코딩 네트워크(140) 내부에 포함된 가상 뉴런들에 의해, 각각에 포함된 파라미터들을 사용하여 수행될 수 있을 것이다.
또한, 학습 장치(100)는, 임베딩 네트워크(150)로 하여금, 각각의 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각에 대응하는 각각의 커널 매트릭스를 생성하도록 할 수 있다. 임베딩 연산은, 학습 데이터 매트릭스로부터 추출된 와서스타인 피처 매트릭스를 추가적으로 가공하기 위한 연산으로, 그 결과 값을 이용해 크리스토펠 함수 아웃풋의 적어도 일부를 계산할 수 있도록 하는 연산이다. 이에 대한 내용은 커널 로스에 대해 설명하면서 함께 자세히 설명될 것이다. 임베딩 연산 역시, 전술한 연산들과 동일 또는 유사하게, 임베딩 네트워크(150)에 포함된 가상 뉴런들에 의해, 각각에 포함된 파라미터들을 사용하여 수행될 수 있을 것이다.
이외에, 학습 장치(100)는, 기설정된 와서스타인 확률 분포를 참조로 하여 샘플 피처 매트릭스(미도시)들을 생성할 수 있다. 샘플 피처 매트릭스(미도시)들을 생성하는 시기는, 후술할 옵티마이징 유닛(160)에 의한 프로세스가 수행되기 전이라면 언제라도 가능하다. 심지어는 학습 데이터 매트릭스가 획득되기 이전에도 수행될 수 있다. 여기서, 와서스타인 확률 분포란, 학습이 완료된 후에 생성되는 와서스타인 피처 매트릭스의 값들이 가지도록 희망하는 확률 분포일 수 있다. 또한, 샘플 피처 매트릭스(미도시)의 차원은 와서스타인 피처 매트릭스의 그것과 동일할 수 있으며, 샘플 피처 매트릭스(미도시)는 생성된 와서스타인 피처 매트릭스와 같은 개수로 생성될 수 있다. 추후 자세히 설명하겠지만, 샘플 피처 매트릭스(미도시)는 로스를 생성할 때 전술한 매트릭스들과 함께 사용될 것이다.
전술한 와서스타인 피처 매트릭스, 복원 데이터 매트릭스 및 커널 매트릭스 간의 관계를 살피기 위해 도 3을 다시 참조하도록 한다.
도 3은 본 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법을 수행할 때 이용되는 학습 데이터 매트릭스, 와서스타인 피처 매트릭스, 복원 데이터 매트릭스 및 커널 매트릭스 간의 관계를 나타낸 도면이다.
와서스타인 피처 매트릭스는, 학습 데이터 매트릭스로부터 특성을 추출한 것이므로 그 차원이 학습 데이터 매트릭스의 그것보다 작음을 확인할 수 있다. 또한, 복원 데이터 매트릭스는, 그 차원이 학습 데이터 매트릭스의 차원과 동일한 것을 살필 수 있다. 커널 매트릭스의 경우, 그 차원 자체는 학습 데이터 매트릭스와 관계 없고, 크리스토펠 함수의 계산과 연관된 것으로서, 추후 설명할 학습 과정에 따라, 임베딩 연산을 통해 적절히 가공되어 생성될 수 있을 것이다.
이상과 같이 와서스타인 피처 매트릭스, 복원 데이터 매트릭스, 커널 매트릭스 및 샘플 피처 매트릭스(미도시)들이 생성되면, 학습 장치(100)는, 옵티마이징 유닛(160)으로 하여금 이들을 참조로 하여 통합 로스를 생성하도록 할 수 있다. 통합 로스는 세 가지 세부 로스를 포함할 수 있는데, 이들은 각각 재구축 로스, 와서스타인 로스 및 커널 로스이다.
먼저, 재구축 로스는, 학습이 완료되었을 때 생성되는 복원 데이터 매트릭스와, 이에 대응하는, 그 원본이 되는 학습 데이터 매트릭스 간의 차이가 작아지도록 와서스타인 인코딩 네트워크(130) 및 와서스타인 디코딩 네트워크(140)의 파라미터들 중 적어도 일부가 학습되도록 지원하는 로스일 수 있다. 이는 하기 수식에 따라 계산될 수 있다.
Figure 112019083224384-pat00088
상기 수식에서,
Figure 112019083224384-pat00089
는 전술한 배치에 포함된 학습 데이터 매트릭스의 개수에 대응하고,
Figure 112019083224384-pat00090
는 학습 데이터 매트릭스들 중 제j 학습 데이터 매트릭스에 대응할 수 있다. 또한,
Figure 112019083224384-pat00091
는 제j 학습 데이터 매트릭스에 대응하는 제j 와서스타인 피처 매트릭스에 대응하고,
Figure 112019083224384-pat00092
는 와서스타인 디코딩 네트워크(140)의 파라미터에 대응하며,
Figure 112019083224384-pat00093
은 와서스타인 디코딩 네트워크(140)에서 수행되는 디코딩 연산에 대응할 수 있다. 그리고,
Figure 112019083224384-pat00094
는 자신에게 입력된 두 인풋 간의 차이를 아웃풋하는 함수일 수 있다. 상기 차이는, 유클리디언 디스턴스 또는 두 매트릭스 간의 차이를 나타낼 수 있는 어떠한 디스턴스일 수 있다.
수식에서 살필 수 있듯, 재구축 로스는, 배치에 포함된 학습 데이터 매트릭스들과, 이에 대응하는 복원 데이터 매트릭스들 간의 차이의 평균임을 알 수 있다. 추후 설명하겠지만, 옵티마이징 유닛(160)은, 이와 같은 재구축 로스를 포함하는 통합 로스 전체가 학습에 따라 작아지도록 하므로, 학습 데이터 매트릭스와 와서스타인 피처 매트릭스 간의 차이가 작아질 수 있는 것이다.
다음으로, 와서스타인 로스는, 학습이 완료되었을 때 생성되는 와서스타인 피처 매트릭스와, 이에 대응하는, 그 원본이 되는 학습 데이터 매트릭스 간의 와서스타인 거리가 작아지도록 와서스타인 인코딩 네트워크(130)의 파라미터들 중 적어도 일부가 학습되도록 지원하는 로스일 수 있다. 와서스타인 거리는, 고차원 자료의 확률 분포와, 저차원 자료의 확률 분포 간의 거리를 적절하게 측정할 수 있도록, 두 확률 분포 간 거리의 기대값을 가장 작게 추정한 값을 출력하는 와서스타인 거리 함수에 의해 계산된 값일 수 있다. 이는 하기 수식에 따라 계산될 수 있다.
Figure 112019083224384-pat00095
상기 수식에서,
Figure 112019083224384-pat00096
는 전술한 배치에 포함된 학습 데이터 매트릭스의 개수에 대응하고,
Figure 112019083224384-pat00097
및
Figure 112019083224384-pat00098
는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00099
및
Figure 112019083224384-pat00100
는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00101
는 널리 알려진 폴리노미얼 커널 함수, 즉
Figure 112019083224384-pat00102
에 대응할 수 있다.
수식에서 살필 수 있듯, 와서스타인 로스는, 기설정된 와서스타인 확률 분포에 의해 생성된 샘플 피처 매트릭스들과 와서스타인 피처 매트릭스들 간의 관계와 관련된 것으로서, 와서스타인 확률 분포와 실제로 추출된 와서스타인 피처 매트릭스들의 확률 분포 간의 차이를 MMD, 즉 Maximum Mean Discrepancy로 측정한 결과를 나타낼 수 있다. 추후 설명하겠지만, 옵티마이징 유닛(160)은, 이와 같은 와서스타인 로스를 포함하는 통합 로스 전체가 학습에 따라 작아지도록 하므로, 학습 후에 생성된 와서스타인 피처 매트릭스들의 확률 분포가 와서스타인 확률 분포와 유사하게 되도록 지원할 수 있고, 이를 통해 와서스타인 피처 매트릭스와 학습 데이터 매트릭스 간의 와서스타인 거리가 작아지도록 지원할 수 있는 것이다.
마지막으로, 커널 로스는, 커널 매트릭스가 전술한 크리스토펠 함수의 아웃풋을 계산하기 위해 사용될 수 있도록 상기 와서스타인 인코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 로스일 수 있다. 구체적으로는, 임베딩 네트워크(150)에서 수행되는 임베딩 연산이, 와서스타인 피처 매트릭스들에 대한 커널 특성함수로서 기능할 수 있도록 하는 과정일 수 있다. 이는 하기 수식에 따라 계산될 수 있다.
Figure 112019083224384-pat00103
상기 수식에서,
Figure 112019083224384-pat00104
는 전술한 배치에 포함된 학습 데이터 매트릭스의 개수에 대응하고,
Figure 112019083224384-pat00105
및
Figure 112019083224384-pat00106
는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00107
및
Figure 112019083224384-pat00108
는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응할 수 있다. 또한,
Figure 112019083224384-pat00109
는 임베딩 네트워크(150)의 파라미터에 대응하며,
Figure 112019083224384-pat00110
는 임베딩 네트워크(150)에서 수행되는 상기 임베딩 연산에 대응하고,
Figure 112019083224384-pat00111
는 널리 알려진 폴리노미얼 커널 함수에 대응할 수 있다.
수식에서 살필 수 있듯, 커널 로스는, 서로 다른 두 커널 매트릭스들 간의 내적이, 각 커널 매트릭스에 대응하는 와서스타인 피처 매트릭스들을 폴리노미얼 커널 함수에 입력한 결과와 동일 또는 유사해질 수 있도록 하는 역할을 할 수 있다. 이에 따라, 학습이 완료되면, 와서스타인 피처 매트릭스들이 생성되면, 이에 대한 폴리노미얼 커널 값을 따로 계산할 필요 없이, 임베딩 네트워크(150)를 통해 이들에 대응하는 임베딩 매트릭스들을 생성한 후 내적함으로써 같은 결과 값을 얻을 수 있을 것이다.
구체적으로는, 학습 후에 임베딩 네트워크(150)을 통과한 두 임베딩 매트릭스들을 내적한 결과가 다음 수식을 따르도록 학습을 지원하는 것이다.
Figure 112019083224384-pat00112
재구축 로스, 와서스타인 로스 및 커널 로스가 생성되면, 옵티마이징 유닛(160)은, 이들을 가중합한 결과인 통합 로스를 미분하여 스토캐스틱 그라디언트 디센트 방법으로 파라미터들 중 적어도 일부를 학습할 수 있다. 구체적으로는 다음 수식과 같을 수 있다.
Figure 112019083224384-pat00113
Figure 112019083224384-pat00114
는 각각 와서스타인 인코딩 네트워크(130), 상기 와서스타인 디코딩 네트워크(140) 및 상기 임베딩 네트워크(150)의 i번째 iteration에서의 파라미터들에 대응하고,
Figure 112019083224384-pat00115
는 각각 옵티마이징 유닛(160)에 의해 학습된, 와서스타인 인코딩 네트워크(130), 와서스타인 디코딩 네트워크(140) 및 임베딩 네트워크(150)의 i+1번째 iteration에서의 파라미터들에 대응할 수 있다. 또한,
Figure 112019083224384-pat00116
은 통합 로스에 대응하고,
Figure 112019083224384-pat00117
는 각각 재구축 로스, 와서스타인 로스 및 커널 로스에 대응하며,
Figure 112019083224384-pat00118
및
Figure 112019083224384-pat00119
는 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스의 반영 비율을 결정하는 하이퍼파라미터에 대응하고,
Figure 112019083224384-pat00120
는 학습률에 대응할 수 있다.
물론, 스토캐스틱 그라디언트 디센트 방법 외에 어떠한 최적화 방법이라도 사용될 수 있다. 일 예로는, 널리 알려진 애덤 옵티마이저 등도 사용 가능하다.
이상 본 발명의 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법에 대해 설명하였다. 이하 학습이 완료된 후의 테스트 방법에 대해 설명하고자 한다.
테스트 방법을 수행하는 테스트 장치는, 학습 장치(100)의 구성에서 와서스타인 디코딩 네트워크(140)가 제외되고, 판단 유닛(미도시)이 추가된 형태일 수 있다. 이와 같은 테스트 장치는, 이하의 테스트 방법을 수행할 수 있다.
먼저, 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크(130)로 하여금, 각각의 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 학습 데이터 매트릭스로부터, 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 학습용 와서스타인 피처 매트릭스를 추출하도록 하는 프로세스; (2) (i) 적어도 하나의 와서스타인 디코딩 네트워크(140)로 하여금, 각각의 학습용 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크(150)로 하여금, 각각의 학습용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 학습용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 프로세스; 및 (3) 적어도 하나의 옵티마이징 유닛(160)으로 하여금, 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, 학습용 와서스타인 피처 매트릭스, 복원 데이터 매트릭스 및 학습용 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 통합 로스를 사용하여 와서스타인 인코딩 네트워크(130), 와서스타인 디코딩 네트워크(140) 및 임베딩 네트워크(150)의 파라미터들 중 적어도 일부를 학습하도록 하는 프로세스;를 거쳐 학습이 완료된 상태에서, 테스트 장치가, 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 테스트 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크(130)로 하여금, 테스트 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 테스트 데이터 매트릭스로부터, 테스트 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 테스트용 와서스타인 피처 매트릭스를 추출하도록 할 수 있다.
그리고, 테스트 장치가, 적어도 하나의 임베딩 네트워크(150)로 하여금, 테스트용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 테스트용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 할 수 있다.
이후, 테스트 장치가, 판단 유닛으로 하여금, 테스트용 커널 매트릭스를 참조로 하여 크리스토펠 아웃풋을 생성한 후, 크리스토펠 아웃풋을 참조로 하여 테스트 데이터 매트릭스의 이상 여부를 판단할 수 있다.
크리스토펠 아웃풋을 생성하는 과정에 대해 더욱 구체적으로 설명하면, 테스트 장치는, 와서스타인 인코딩 네트워크(130)에 의해 (i) 각각의 레퍼런스 데이터 매트릭스로부터 생성된 각각의 레퍼런스 피처 매트릭스 및 (ii) 임베딩 네트워크(150)를 거쳐 각각의 레퍼런스 피처 매트릭스로부터 생성된 지원 매트릭스를 추가로 참조로 하여 크리스토펠 아웃풋을 생성할 수 있다.
이 때, 레퍼런스 데이터 매트릭스들의 집합은, 구현에 따라 전술한 학습 데이터 매트릭스들을 포함할 수 있다. 즉, 전술한 트레이닝 데이터 셋이 레퍼런스 데이터 매트릭스들의 집합일 수 있다는 것이다. 구체적으로, 학습 장치(100)는, 트레이닝 데이터 셋에서 여러 번 학습 데이터 매트릭스들을 포함하는 배치(batch)를 뽑아 전술한 학습 과정을 수행할 것인데, 레퍼런스 데이터 매트릭스들은 이와 같은 배치들에 포함된 학습 데이터 매트릭스들을 모두 포함할 수 있다.
또한, 지원 매트릭스는 하기 수식에 따라 레퍼런스 피처 매트릭스들로부터 생성될 수 있다.
Figure 112019083224384-pat00121
상기 수식에서,
Figure 112019083224384-pat00122
은 레퍼런스 피처 매트릭스들의 집합에 대응하고,
Figure 112019083224384-pat00123
는 기설정된 하이퍼파라미터에 대응하며,
Figure 112019083224384-pat00124
은 학습 데이터 매트릭스와 같은 차원을 가지는 단위행렬일 수 있다.
이 때, 크리스토펠 아웃풋은, 레퍼런스 피처 매트릭스들, 지원 매트릭스, 테스트용 커널 매트릭스를 참조로 하여 하기 수식에 따라 생성될 수 있다.
Figure 112019083224384-pat00125
Figure 112019083224384-pat00126
상기 수식에서,
Figure 112019083224384-pat00127
는 기설정된 하이퍼파라미터에 대응하고,
Figure 112019083224384-pat00128
는 테스트용 와서스타인 피처 매트릭스에 대응하며,
Figure 112019083224384-pat00129
은 레퍼런스 피처 매트릭스들의 집합에 대응할 수 있다. 또한,
Figure 112019083224384-pat00130
는 널리 알려진 폴리노미얼 커널 함수에 대응하며,
Figure 112019083224384-pat00131
는 상기 임베딩 네트워크에서 수행되는 상기 임베딩 연산에 대응하고,
Figure 112019083224384-pat00132
는 상기 지원 매트릭스에 대응할 수 있다.
수식을 구체적으로 해설하면,
Figure 112019083224384-pat00133
은 크리스토펠 아웃풋으로서, 역수 형태를 취한 것은 단순히 수식 표현의 편의성을 위한 것이다. 해당 항은,
Figure 112019083224384-pat00134
, 즉 테스트 데이터 매트릭스를 와서스타인 인코딩 네트워크(130)에 통과시킴으로써 얻어낸 테스트용 와서스타인 피처 매트릭스와,
Figure 112019083224384-pat00135
, 즉 레퍼런스 데이터 매트릭스들을 와서스타인 인코딩 네트워크(130)에 통과시킴으로써 얻어낸 레퍼런스 피처 매트릭스들의 집합 간의 차이를 크리스토펠 함수를 이용해 아웃풋할 것이라는 점을 나타내는 것이다.
첫 번째 등호 우측에 있는 항들은, 크리스토펠 함수를 폴리노미얼 커널 함수
Figure 112019083224384-pat00136
를 이용해 계산하는 수식이다. 크리스토펠 함수를 폴리노미얼 커널 함수
Figure 112019083224384-pat00137
를 이용하여 계산한다는 구성 자체는 종래 기술에도 존재하는 것이나, 종래 기술은
Figure 112019083224384-pat00138
를 계산할 때 너무 복잡한 특성함수를 사용하여 연산량이 과다한 문제가 있다. 본 발명은, 첫 번째 등호 우측의 수식을, 두 번째 등호 우측의 수식에 따라 계산하는 바, 학습된 임베딩 네트워크(150)를 거쳐 생성된 테스트용 커널 매트릭스들을 이용하여 계산할 수 있는 장점이 있다. 첫 번째 등호 우측에 있는 수식과 두 번째 등호 우측에 있는 수식이 동치인 점은, 커널 로스를 사용하여 학습된 임베딩 네트워크(150)의 아웃풋의 성질인
Figure 112019083224384-pat00139
에 의해 증명될 수 있다.
크리스토펠 아웃풋이 상기와 같이 생성되면, 테스트 장치는, 판단 유닛으로 하여금, 크리스토펠 아웃풋이 기설정된 임계치보다 작을 경우 테스트 데이터 매트릭스에 대응하는 테스트 데이터를 이상 데이터로 판별하고, 임계치보다 클 경우 테스트 데이터를 정상 데이터로 판별할 수 있다.
크리스토펠 아웃풋을 이용하여 데이터의 정상 여부를 판별할 수 있는 원리를 설명하기 위해 도 4를 참조하도록 한다.
도 4는 본 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 테스트 방법이 수행될 수 있는 원리를 나타낸 도면이다.
도 4를 참조하면, 이상 데이터의 경우, 이를 와서스타인 인코딩 네트워크(130)를 통해 저차원 특성 공간으로 전사하면, 크리스토펠 함수에 입력하면 그 결과 값이 작게 도출되는 영역으로 전사됨을 확인할 수 있다. 이와 달리, 정상 데이터의 경우, 저차원 특성 공간으로 전사될 때, 크리스토펠 함수에 입력하면 그 결과 값이 크게 도출되는 영역으로 전사됨 역시 확인할 수 있다. 이는 전술한 학습 과정에 따라 학습이 완료된 와서스타인 인코딩 네트워크(130)의 특징으로 볼 수 있다.
이하 전술한 본 발명의 일 실시예에 따른 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 테스트 방법의 성능에 대한 실험 결과에 대해 설명하도록 한다.
Figure 112019083224384-pat00140
상기 표는, 머신 러닝 및 단순 알고리즘을 사용한 종래의 이상 탐지 알고리즘과 본 발명을 비교한 결과이다. 구체적으로, 표는 종래 기술인 DAGMM, AnoGAN, BiGAN-Based Algorithm, 단순 차이 탐지 알고리즘 d(x, X) 및 본 발명인 KWAE의, 네트워크 자료에 섞여 있는 비정상 자료를 탐지하도록 한 결과를 나타낸 것으로서, 1행은 각 알고리즘의 sensitivity, 2행은 각 알고리즘의 precision, 3행은 각 알고리즘의 F1 score를 나타낸 것이다. 표에서 확인할 수 있듯, d=2로 설정한 본 발명 KWAE가 압도적인 성능을 보임을 확인할 수 있다.
Figure 112019083224384-pat00141
또한, 상기 표는, 학습용 데이터 셋의 이상 자료 비율에 따른, 각 알고리즘의 sensitivity, precision 및 F1 score를 나타낸 것이다. 학습용 데이터 셋에서 이상 자료의 비율이 달라짐에 따라 그 성능이 천차만별로 변한다면, 학습용 데이터 셋의 이상 자료를 철저하게 통제해야 하므로, 학습 과정에서 추가적인 비용이 발생할 수 있다. 하지만, 본 발명인 KWAE는, 표에서 확인할 수 있듯, 학습용 데이터 셋의 이상 자료 비율이 증가함에 따라 성능이 다소 하락하는 타 알고리즘들과 달리 일정한 성능을 나타냄을 확인할 수 있다.
이와 같이 크리스토펠 함수를 적용한 본 발명은, 일반적인 종래 기술들에 비해 좋은 성능을 나타내면서도, 크리스토펠 함수를 사용한 다른 종래 기술들에 비해 연산량이 적다. 구체적으로는, 본 발명의 연산량은
Figure 112019083224384-pat00142
로, 크리스토펠 함수를 사용하는 방식을 처음으로 제시한 Pauwels and Lasserre(2016) 및 이를 개선한 Askari(2018)에 비해 현저히 적다.
크리스토펠 함수를 채택하였음에도 불구하고 연산량이 적은 본 발명을 적용하면, 금융 사기 탐지, 질병 진단, 사이버 보안, 얼굴 인식 기반 모니터링 등 산업 전반에서 이상 탐지를 더욱 효율적으로 수행할 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (22)

  1. 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법에 있어서,
    (a) 학습 장치가, 복수 개의 성분을 가진 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 각각의 상기 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 학습 데이터 매트릭스로부터, 상기 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 와서스타인 피처 매트릭스를 추출하도록 하는 단계;
    (b) 상기 학습 장치가, (i) 적어도 하나의 와서스타인 디코딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 상기 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 단계; 및
    (c) 상기 학습 장치가, 적어도 하나의 옵티마이징 유닛으로 하여금, (i) 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, (ii) 상기 와서스타인 피처 매트릭스, (iii) 상기 복원 데이터 매트릭스 및 (iv) 상기 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 상기 통합 로스를 사용하여 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부를 학습하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 (c) 단계는,
    상기 통합 로스가, (i) 상기 복원 데이터 매트릭스 및 이에 대응하는 상기 학습 데이터 매트릭스 간의 차이가 작아지도록 상기 와서스타인 인코딩 네트워크 및 상기 와서스타인 디코딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 재구축 로스, (ii) 상기 와서스타인 피처 매트릭스 및 이에 대응하는 상기 학습 데이터 매트릭스 간의 와서스타인 거리가 작아지도록 상기 와서스타인 인코딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 와서스타인 로스 및 (iii) 상기 커널 매트릭스가 상기 크리스토펠 함수의 아웃풋을 계산하기 위해 사용될 수 있도록 상기 와서스타인 인코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 커널 로스를 포함하되,
    상기 와서스타인 거리는, 고차원 자료의 확률 분포와 저차원 자료의 확률 분포 간의 거리를 측정할 수 있도록, 서로 다른 두 확률 분포에 대응하는 결합 확률 분포들 중, 두 확률 분포 간 거리의 기대값을 가장 작게 추정한 값을 출력하는 와서스타인 거리 함수에 의해 계산되고,
    상기 와서스타인 거리는, 하기 수식을 따르되,
    Figure 112020114994330-pat00225

    상기 수식에서,
    Figure 112020114994330-pat00226
    는 임의의 분포
    Figure 112020114994330-pat00227
    및
    Figure 112020114994330-pat00228
    를 한계 분포로 하는 두 확률변수
    Figure 112020114994330-pat00229
    및
    Figure 112020114994330-pat00230
    의 결합 확률 분포를 의미하며, 상기 수식에 따라 두 확률변수
    Figure 112020114994330-pat00231
    및
    Figure 112020114994330-pat00232
    간의 거리의 기대값
    Figure 112020114994330-pat00233
    의 극한을 취함으로써 상기 기대값이 가장 작은 경우가 출력되는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 재구축 로스는 하기 수식에 따라 계산되고,
    Figure 112019083224384-pat00143

    상기 수식에서,
    Figure 112019083224384-pat00144
    는 상기 학습 데이터 매트릭스의 개수에 대응하고,
    Figure 112019083224384-pat00145
    는 제j 학습 데이터 매트릭스에 대응하며,
    Figure 112019083224384-pat00146
    는 상기 제j 학습 데이터 매트릭스에 대응하는 제j 와서스타인 피처 매트릭스에 대응하고,
    Figure 112019083224384-pat00147
    는 상기 와서스타인 디코딩 네트워크의 파라미터에 대응하며,
    Figure 112019083224384-pat00148
    은 상기 와서스타인 디코딩 네트워크에서 수행되는 상기 디코딩 연산에 대응하고,
    Figure 112019083224384-pat00149
    는 입력 간의 차이를 아웃풋하는 함수인 것을 특징으로 하는 방법.
  4. 제 2항에 있어서,
    상기 와서스타인 로스는 하기 수식에 따라 계산되고,
    Figure 112019083224384-pat00150

    상기 수식에서,
    Figure 112019083224384-pat00151
    는 상기 학습 데이터 매트릭스의 개수에 대응하고,
    Figure 112019083224384-pat00152
    및
    Figure 112019083224384-pat00153
    는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
    Figure 112019083224384-pat00154
    및
    Figure 112019083224384-pat00155
    는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응하며,
    Figure 112019083224384-pat00156
    는 폴리노미얼 커널 함수에 대응하는 것을 특징으로 하는 방법.
  5. 제 2항에 있어서,
    상기 커널 로스는 하기 수식에 따라 계산되고,
    Figure 112019083224384-pat00157

    상기 수식에서,
    Figure 112019083224384-pat00158
    는 상기 학습 데이터 매트릭스의 개수에 대응하고,
    Figure 112019083224384-pat00159
    및
    Figure 112019083224384-pat00160
    는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
    Figure 112019083224384-pat00161
    및
    Figure 112019083224384-pat00162
    는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응하고,
    Figure 112019083224384-pat00163
    는 상기 임베딩 네트워크의 파라미터에 대응하며,
    Figure 112019083224384-pat00164
    는 상기 임베딩 네트워크에서 수행되는 상기 임베딩 연산에 대응하고,
    Figure 112019083224384-pat00165
    는 폴리노미얼 커널 함수에 대응하는 것을 특징으로 하는 방법.
  6. 제 2항에 있어서,
    상기 (c) 단계는,
    상기 옵티마이징 유닛이, 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스를 가중합한 상기 통합 로스를 미분하여 스토캐스틱 그라디언트 디센트 방법으로 상기 파라미터들 중 적어도 일부를 학습하는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서,
    상기 (c) 단계는,
    상기 옵티마이징 유닛이, 하기 수식에 따라 상기 스토캐스틱 그라디언트 디센트 방법으로 상기 파라미터를 학습하고,
    Figure 112019083224384-pat00166

    Figure 112019083224384-pat00167
    는 각각 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 i번째 iteration에서의 파라미터들에 대응하고,
    Figure 112019083224384-pat00168
    는 각각 상기 옵티마이징 유닛에 의해 학습된, 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 i+1번째 iteration에서의 파라미터들에 대응하며,
    Figure 112019083224384-pat00169
    은 상기 통합 로스에 대응하고,
    Figure 112019083224384-pat00170
    는 각각 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스에 대응하고,
    Figure 112019083224384-pat00171
    및
    Figure 112019083224384-pat00172
    는 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스의 반영 비율을 결정하는 하이퍼파라미터에 대응하고,
    Figure 112019083224384-pat00173
    는 학습률에 대응하는 것을 특징으로 하는 방법.
  8. 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 테스트 방법에 있어서,
    (a) (1) 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 각각의 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 학습 데이터 매트릭스로부터, 상기 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 학습용 와서스타인 피처 매트릭스를 추출하도록 하는 프로세스; (2) (i) 적어도 하나의 와서스타인 디코딩 네트워크로 하여금, 각각의 상기 학습용 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 상기 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크로 하여금, 각각의 상기 학습용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 학습용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 프로세스; 및 (3) 적어도 하나의 옵티마이징 유닛으로 하여금, 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, 상기 학습용 와서스타인 피처 매트릭스, 상기 복원 데이터 매트릭스 및 상기 학습용 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 상기 통합 로스를 사용하여 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부를 학습하도록 하는 프로세스;를 거쳐 학습이 완료된 상태에서, 테스트 장치가, 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 테스트 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 상기 테스트 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 테스트 데이터 매트릭스로부터, 상기 테스트 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 테스트용 와서스타인 피처 매트릭스를 추출하도록 하는 단계;
    (b) 상기 테스트 장치가, 적어도 하나의 임베딩 네트워크로 하여금, 상기 테스트용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 테스트용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 단계; 및
    (c) 상기 테스트 장치가, 판단 유닛으로 하여금, 상기 테스트용 커널 매트릭스를 참조로 하여 크리스토펠 아웃풋을 생성한 후, 상기 크리스토펠 아웃풋을 참조로 하여 상기 테스트 데이터 매트릭스에 대응하는 테스트 데이터의 이상 여부를 판단하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 (c) 단계는,
    상기 테스트 장치가, (i) 상기 와서스타인 인코딩 네트워크에 의해 각각의 레퍼런스 데이터 매트릭스로부터 생성된 각각의 레퍼런스 피처 매트릭스 및 (ii) 상기 임베딩 네트워크를 거쳐 각각의 상기 레퍼런스 피처 매트릭스로부터 생성된 지원 매트릭스를 추가로 참조로 하여 상기 크리스토펠 아웃풋을 생성하는 것을 특징으로 하는 방법.
  10. 제 9항에 있어서,
    상기 (c) 단계는,
    상기 테스트 장치가, 하기 수식에 따라 상기 크리스토펠 아웃풋을 생성하고,
    Figure 112019083224384-pat00174

    Figure 112019083224384-pat00175

    상기 수식에서,
    Figure 112019083224384-pat00176
    는 기설정된 하이퍼파라미터에 대응하고,
    Figure 112019083224384-pat00177
    는 상기 테스트용 와서스타인 피처 매트릭스에 대응하며,
    Figure 112019083224384-pat00178
    은 상기 레퍼런스 피처 매트릭스들의 집합에 대응하고,
    Figure 112019083224384-pat00179
    는 폴리노미얼 커널 함수에 대응하며,
    Figure 112019083224384-pat00180
    는 상기 임베딩 네트워크에서 수행되는 상기 임베딩 연산에 대응하고,
    Figure 112019083224384-pat00181
    는 상기 지원 매트릭스에 대응하는 것을 특징으로 하는 방법.
  11. 제 8항에 있어서,
    상기 (c) 단계는,
    상기 테스트 장치가, 상기 판단 유닛으로 하여금, 상기 크리스토펠 아웃풋이 기설정된 임계치보다 작을 경우 상기 테스트 데이터 매트릭스에 대응하는 상기 테스트 데이터를 이상 데이터로 판별하고, 상기 임계치보다 클 경우 상기 테스트 데이터를 정상 데이터로 판별하는 것을 특징으로 하는 방법.
  12. 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 장치에 있어서,
    인스트럭션들을 저장하는 하나 이상의 메모리; 및
    상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,
    상기 프로세서는, (I) 복수 개의 성분을 가진 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 각각의 상기 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 학습 데이터 매트릭스로부터, 상기 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 와서스타인 피처 매트릭스를 추출하도록 하는 프로세스; (II) (i) 적어도 하나의 와서스타인 디코딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 상기 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크로 하여금, 각각의 상기 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 프로세스; 및 (III) 적어도 하나의 옵티마이징 유닛으로 하여금, (i) 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, (ii) 상기 와서스타인 피처 매트릭스, (iii) 상기 복원 데이터 매트릭스 및 (iv) 상기 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 상기 통합 로스를 사용하여 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부를 학습하도록 하는 프로세스;를 수행하는 것을 특징으로 하는 학습 장치.
  13. 제 12항에 있어서,
    상기 (III) 프로세스는,
    상기 통합 로스가, (i) 상기 복원 데이터 매트릭스 및 이에 대응하는 상기 학습 데이터 매트릭스 간의 차이가 작아지도록 상기 와서스타인 인코딩 네트워크 및 상기 와서스타인 디코딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 재구축 로스, (ii) 상기 와서스타인 피처 매트릭스 및 이에 대응하는 상기 학습 데이터 매트릭스 간의 와서스타인 거리가 작아지도록 상기 와서스타인 인코딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 와서스타인 로스 및 (iii) 상기 커널 매트릭스가 상기 크리스토펠 함수의 아웃풋을 계산하기 위해 사용될 수 있도록 상기 와서스타인 인코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부가 학습되도록 지원하는 커널 로스를 포함하되,
    상기 와서스타인 거리는, 고차원 자료의 확률 분포와 저차원 자료의 확률 분포 간의 거리를 측정할 수 있도록, 서로 다른 두 확률 분포에 대응하는 결합 확률 분포들 중, 두 확률 분포 간 거리의 기대값을 가장 작게 추정한 값을 출력하는 와서스타인 거리 함수에 의해 계산되고,
    상기 와서스타인 거리는, 하기 수식을 따르되,
    Figure 112020114994330-pat00234

    상기 수식에서,
    Figure 112020114994330-pat00235
    는 임의의 분포
    Figure 112020114994330-pat00236
    및
    Figure 112020114994330-pat00237
    를 한계 분포로 하는 두 확률변수
    Figure 112020114994330-pat00238
    및
    Figure 112020114994330-pat00239
    의 결합 확률 분포를 의미하며, 상기 수식에 따라 두 확률변수
    Figure 112020114994330-pat00240
    및
    Figure 112020114994330-pat00241
    간의 거리의 기대값
    Figure 112020114994330-pat00242
    의 극한을 취함으로써 상기 기대값이 가장 작은 경우가 출력되는 것을 특징으로 하는 학습 장치.
  14. 제 13항에 있어서,
    상기 재구축 로스는 하기 수식에 따라 계산되고,
    Figure 112019083224384-pat00182

    상기 수식에서,
    Figure 112019083224384-pat00183
    는 상기 학습 데이터 매트릭스의 개수에 대응하고,
    Figure 112019083224384-pat00184
    는 제j 학습 데이터 매트릭스에 대응하며,
    Figure 112019083224384-pat00185
    는 상기 제j 학습 데이터 매트릭스에 대응하는 제j 와서스타인 피처 매트릭스에 대응하고,
    Figure 112019083224384-pat00186
    는 상기 와서스타인 디코딩 네트워크의 파라미터에 대응하며,
    Figure 112019083224384-pat00187
    은 상기 와서스타인 디코딩 네트워크에서 수행되는 상기 디코딩 연산에 대응하고,
    Figure 112019083224384-pat00188
    는 입력 간의 차이를 아웃풋하는 함수인 것을 특징으로 하는 학습 장치.
  15. 제 13항에 있어서,
    상기 와서스타인 로스는 하기 수식에 따라 계산되고,
    Figure 112019083224384-pat00189

    상기 수식에서,
    Figure 112019083224384-pat00190
    는 상기 학습 데이터 매트릭스의 개수에 대응하고,
    Figure 112019083224384-pat00191
    및
    Figure 112019083224384-pat00192
    는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
    Figure 112019083224384-pat00193
    및
    Figure 112019083224384-pat00194
    는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응하며,
    Figure 112019083224384-pat00195
    는 폴리노미얼 커널 함수에 대응하는 것을 특징으로 하는 학습 장치.
  16. 제 13항에 있어서,
    상기 커널 로스는 하기 수식에 따라 계산되고,
    Figure 112019083224384-pat00196

    상기 수식에서,
    Figure 112019083224384-pat00197
    는 상기 학습 데이터 매트릭스의 개수에 대응하고,
    Figure 112019083224384-pat00198
    및
    Figure 112019083224384-pat00199
    는 각각 제j 샘플 피처 매트릭스 및 제k 샘플 피처 매트릭스에 대응하며,
    Figure 112019083224384-pat00200
    및
    Figure 112019083224384-pat00201
    는 각각 제j 와서스타인 피처 매트릭스 및 제k 와서스타인 피처 매트릭스에 대응하고,
    Figure 112019083224384-pat00202
    는 상기 임베딩 네트워크의 파라미터에 대응하며,
    Figure 112019083224384-pat00203
    는 상기 임베딩 네트워크에서 수행되는 상기 임베딩 연산에 대응하고,
    Figure 112019083224384-pat00204
    는 폴리노미얼 커널 함수에 대응하는 것을 특징으로 하는 학습 장치.
  17. 제 13항에 있어서,
    상기 (III) 프로세스는,
    상기 옵티마이징 유닛이, 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스를 가중합한 상기 통합 로스를 미분하여 스토캐스틱 그라디언트 디센트 방법으로 상기 파라미터들 중 적어도 일부를 학습하는 것을 특징으로 하는 학습 장치.
  18. 제 17항에 있어서,
    상기 (III) 프로세스는,
    상기 옵티마이징 유닛이, 하기 수식에 따라 상기 스토캐스틱 그라디언트 디센트 방법으로 상기 파라미터를 학습하고,
    Figure 112019083224384-pat00205

    Figure 112019083224384-pat00206
    는 각각 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 i번째 iteration에서의 파라미터들에 대응하고,
    Figure 112019083224384-pat00207
    는 각각 상기 옵티마이징 유닛에 의해 학습된, 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 i+1번째 iteration에서의 파라미터들에 대응하며,
    Figure 112019083224384-pat00208
    은 상기 통합 로스에 대응하고,
    Figure 112019083224384-pat00209
    는 각각 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스에 대응하고,
    Figure 112019083224384-pat00210
    및
    Figure 112019083224384-pat00211
    는 상기 재구축 로스, 상기 와서스타인 로스 및 상기 커널 로스의 반영 비율을 결정하는 하이퍼파라미터에 대응하고,
    Figure 112019083224384-pat00212
    는 학습률에 대응하는 것을 특징으로 하는 학습 장치.
  19. 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 테스트 장치에 있어서,
    인스트럭션들을 저장하는 하나 이상의 메모리; 및
    상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,
    상기 프로세서는, (I) (1) 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 학습 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 각각의 학습 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 학습 데이터 매트릭스로부터, 상기 학습 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 학습용 와서스타인 피처 매트릭스를 추출하도록 하는 프로세스; (2) (i) 적어도 하나의 와서스타인 디코딩 네트워크로 하여금, 각각의 상기 학습용 와서스타인 피처 매트릭스에 적어도 하나의 디코딩 연산을 가하여, 상기 학습 데이터 매트릭스의 차원에 대응하는 차원을 가지는 적어도 하나의 복원 데이터 매트릭스를 생성하도록 하는 프로세스 및 (ii) 적어도 하나의 임베딩 네트워크로 하여금, 각각의 상기 학습용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 각각의 학습용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 프로세스; 및 (3) 적어도 하나의 옵티마이징 유닛으로 하여금, 기설정된 와서스타인 확률 분포를 참조로 하여 생성된 샘플 피처 매트릭스들, 상기 학습용 와서스타인 피처 매트릭스, 상기 복원 데이터 매트릭스 및 상기 학습용 커널 매트릭스를 참조로 하여 통합 로스를 계산하도록 한 후, 상기 통합 로스를 사용하여 상기 와서스타인 인코딩 네트워크, 상기 와서스타인 디코딩 네트워크 및 상기 임베딩 네트워크의 파라미터들 중 적어도 일부를 학습하도록 하는 프로세스;를 거쳐 학습이 완료된 상태에서, 복수 개의 성분을 가진 매트릭스의 형태를 가지는 적어도 하나의 테스트 데이터 매트릭스가 획득되면, 적어도 하나의 와서스타인 인코딩 네트워크로 하여금, 상기 테스트 데이터 매트릭스에 적어도 하나의 인코딩 연산을 가하여, 상기 테스트 데이터 매트릭스로부터, 상기 테스트 데이터 매트릭스에 비해 낮은 차원을 가지는 적어도 하나의 테스트용 와서스타인 피처 매트릭스를 추출하도록 하는 프로세스; (II) 적어도 하나의 임베딩 네트워크로 하여금, 상기 테스트용 와서스타인 피처 매트릭스에 적어도 하나의 임베딩 연산을 가하여, 테스트용 커널 매트릭스를 생성하도록 하는 프로세스를 수행하도록 하는 프로세스; 및 (III) 판단 유닛으로 하여금, 상기 테스트용 커널 매트릭스를 참조로 하여 크리스토펠 아웃풋을 생성한 후, 상기 크리스토펠 아웃풋을 참조로 하여 상기 테스트 데이터 매트릭스에 대응하는 테스트 데이터의 이상 여부를 판단하는 프로세스;
    를 수행하는 것을 특징으로 하는 테스트 장치.
  20. 제 19항에 있어서,
    상기 (III) 프로세스는,
    상기 프로세서가, (i) 상기 와서스타인 인코딩 네트워크에 의해 각각의 레퍼런스 데이터 매트릭스로부터 생성된 각각의 레퍼런스 피처 매트릭스 및 (ii) 상기 임베딩 네트워크를 거쳐 각각의 상기 레퍼런스 피처 매트릭스로부터 생성된 지원 매트릭스를 추가로 참조로 하여 상기 크리스토펠 아웃풋을 생성하는 것을 특징으로 하는 테스트 장치.
  21. 제 20항에 있어서,
    상기 (III) 프로세스는,
    상기 프로세서가, 하기 수식에 따라 상기 크리스토펠 아웃풋을 생성하고,
    Figure 112019083224384-pat00213

    Figure 112019083224384-pat00214

    상기 수식에서,
    Figure 112019083224384-pat00215
    는 기설정된 하이퍼파라미터에 대응하고,
    Figure 112019083224384-pat00216
    는 상기 테스트용 와서스타인 피처 매트릭스에 대응하며,
    Figure 112019083224384-pat00217
    은 상기 레퍼런스 피처 매트릭스들의 집합에 대응하고,
    Figure 112019083224384-pat00218
    는 폴리노미얼 커널 함수에 대응하며,
    Figure 112019083224384-pat00219
    는 상기 임베딩 네트워크에서 수행되는 상기 임베딩 연산에 대응하고,
    Figure 112019083224384-pat00220
    는 상기 지원 매트릭스에 대응하는 것을 특징으로 하는 테스트 장치.
  22. 제 19항에 있어서,
    상기 (III) 프로세스는,
    상기 프로세서가, 상기 판단 유닛으로 하여금, 상기 크리스토펠 아웃풋이 기설정된 임계치보다 작을 경우 상기 테스트 데이터 매트릭스에 대응하는 상기 테스트 데이터를 이상 데이터로 판별하고, 상기 임계치보다 클 경우 상기 테스트 데이터를 정상 데이터로 판별하는 것을 특징으로 하는 테스트 장치.
KR1020190099179A 2019-08-13 2019-08-13 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 KR102202842B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190099179A KR102202842B1 (ko) 2019-08-13 2019-08-13 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190099179A KR102202842B1 (ko) 2019-08-13 2019-08-13 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Publications (1)

Publication Number Publication Date
KR102202842B1 true KR102202842B1 (ko) 2021-01-14

Family

ID=74141194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190099179A KR102202842B1 (ko) 2019-08-13 2019-08-13 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Country Status (1)

Country Link
KR (1) KR102202842B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085704A (ja) * 2014-10-29 2016-05-19 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085704A (ja) * 2014-10-29 2016-05-19 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1 *
비특허문헌 2 *

Similar Documents

Publication Publication Date Title
CN111259393B (zh) 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法
US20190087737A1 (en) Anomaly detection and automated analysis in systems based on fully masked weighted directed
Portnoy Censored regression quantiles
CN111079805A (zh) 一种结合注意力机制及信息熵最小化的异常图像检测方法
CN115510042A (zh) 基于生成对抗网络的电力系统负荷数据填补方法及装置
Xiao et al. Addressing overfitting problem in deep learning-based solutions for next generation data-driven networks
CN115018512A (zh) 基于Transformer神经网络的窃电检测方法及装置
Alcalde Puente et al. Convolutional restricted Boltzmann machine aided Monte Carlo: An application to Ising and Kitaev models
CN113949549B (zh) 一种面向入侵和攻击防御的实时流量异常检测方法
KR102202842B1 (ko) 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
Triepels et al. Anomaly detection in real-time gross settlement systems
CN114003900A (zh) 变电站二次系统网络入侵检测方法、装置及系统
Kajal et al. Credit card fraud detection using imbalance resampling method with feature selection
Muhammad et al. Early Stopping Effectiveness for YOLOv4.
CN117194903A (zh) 一种基于生成对抗网络的网络流量数据补全方法及系统
US20220269973A1 (en) Measuring quantum state purity
CN115187266B (zh) 基于记忆力变分自编码模型的信用卡欺诈检测方法及系统
CN116595465A (zh) 基于自编码器和数据增强的高维稀疏数据离群点检测方法及系统
CN115144182A (zh) 轴承健康状态监测方法、装置、计算机设备及存储介质
CN111160487B (zh) 人脸图像数据集的扩充方法和装置
CN110634574B (zh) 一种基于等值排列的心率动态时间不可逆性分析方法
Huang et al. Tensor sequence component analysis for fault detection in dynamic process
Parekh et al. Credit Card Fraud Detection with Resampling Techniques
OZGUMUS Adversarially learned anomaly detection using generative adversarial networks
Lee et al. Lazy Node-Dropping Autoencoder

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant