KR20190027237A - 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술 - Google Patents

데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술 Download PDF

Info

Publication number
KR20190027237A
KR20190027237A KR1020170114054A KR20170114054A KR20190027237A KR 20190027237 A KR20190027237 A KR 20190027237A KR 1020170114054 A KR1020170114054 A KR 1020170114054A KR 20170114054 A KR20170114054 A KR 20170114054A KR 20190027237 A KR20190027237 A KR 20190027237A
Authority
KR
South Korea
Prior art keywords
data
analysis target
image data
channel packet
packet data
Prior art date
Application number
KR1020170114054A
Other languages
English (en)
Other versions
KR102048240B1 (ko
Inventor
조홍연
오태양
박원우
Original Assignee
주식회사 씨티아이랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨티아이랩 filed Critical 주식회사 씨티아이랩
Priority to KR1020170114054A priority Critical patent/KR102048240B1/ko
Priority to US16/644,424 priority patent/US11379689B2/en
Priority to PCT/KR2018/001841 priority patent/WO2019050108A1/ko
Publication of KR20190027237A publication Critical patent/KR20190027237A/ko
Application granted granted Critical
Publication of KR102048240B1 publication Critical patent/KR102048240B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Abstract

본 발명은 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술에 관한 것이다. 본 발명에 따른 방법은 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받는 단계, 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 단계, 변환된 이미지 데이터를 입력으로 신경망부를 학습시키는 단계, 그리고 이미지 데이터로 변환된 분석 대상 데이터를 입력받아 학습이 완료된 신경망부에서 분석 대상 시스템의 이상 행위를 검출하거나 예측하는 단계를 포함한다. 본 발명에 의하면 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 이미지화한 후 딥러닝 기반의 이미지 인식을 통해 분석 대상 시스템에서의 이상행위를 분류 및 인식할 수 있다. 특히 스펙이 공개되지 않은 프로토콜로 암호화된 패킷 데이터에 대해서도 해독하지 않고 이미지화하여 분석할 수 있다. 또한 다중 채널의 다변량 분석과 시간적인 데이터 시퀀스의 과거 정보를 함께 활용하여 종합적인 분류 및 예측이 가능하다.

Description

데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술{System Anomaly Behavior Analysis Technology based on Deep Learning Using Imaged Data}
본 발명은 이상행위 분석 기술에 관한 것으로, 보다 자세하게는 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술에 관한 것이다.
최근 들어 분석대상 시스템(예컨대 네트워크 시스템, 계측 시스템, 제어 시스템 등의 각종 시스템)의 단일 채널(Single-channel) 또는 다중 채널(multi-channel)을 통해 입력되는 패킷 데이터를 분석하여 분석대상 시스템에서 이상행위(Abnormal Behavior) 등을 실시간으로 검출하고자 하는 노력이 이루어지고 있다.
기존의 통계적 머신러닝(Machine Learning) 기법을 이용한 이상행위 분석 방법에 대해서 도 1 및 도 2를 참고하여 살펴본다.
도 1에 예시된 것과 같이, 행-기반 클러스터링(Row-wise Clustering)을 통해 'K-NN Clustering' 방식으로 데이터 분석을 하는 경우, 다중 채널 신호의 피처(Feature)를 활용한 다중 채널 정적 분석이 가능하다. 그러나 시간적인 데이터 시퀀스(data sequence)의 과거 정보를 활용할 수 없는 문제점이 있다.
한편 도 2에 예시된 것과 같이, 열-기반 프로세싱(Column-wise Processing)을 통해 'Column-wise LSTM(Long Short Term Memory) anomaly' 방식으로 데이터 분석을 하는 경우, 과거 정보를 분석에 활용할 수 있다. 그러나 다중 채널의 복합 신호의 피처를 활용하여 종합적 다변량 분석 및 예측은 불가능하다는 문제점이 있다.
한편 도 3에 예시한 것과 같이, 종래에는 ISO/OSI 모델에서 응용/표현/세션 계층에 해당하는 스펙이 공개되지 않아서, 분석이 불가능한 프로토콜 영역이 존재하였다.
따라서 본 발명이 해결하려는 과제는 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 이미지화한 후 딥러닝 기반의 이미지 인식을 통해 분석 대상 시스템에서의 이상행위를 분류 및 인식하는 기술을 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 데이터 이미지화를 이용한 이상 행위 분석 방법은, 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받는 단계, 상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 단계, 상기 변환된 이미지 데이터를 입력으로 신경망부를 학습시키는 단계, 그리고 이미지 데이터로 변환된 분석 대상 데이터를 입력받아 학습이 완료된 상기 신경망부에서 상기 분석 대상 시스템의 이상 행위를 검출하거나 예측하는 단계를 포함한다.
상기 분석 대상 데이터는 다중 채널로부터 입력되는 다중 채널 패킷 데이터일 수 있다.
상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 단계는, 상기 다중 채널 패킷 데이터를 미리 정해진 크기로 나누어 2차원 어레이로 배열하는 단계, 상기 2차원 어레이로 배열된 다중 채널 패킷 데이터를 미리 정해진 단위로 분할하는 단계, 그리고 상기 분할된 다중 채널 패킷 데이터를 그레이스케일(gray scale) 이미지 데이터로 변환하는 단계를 포함할 수 있다.
상기 분할된 다중 채널 패킷 데이터는, 상기 다중 채널의 채널 수를 행과 열로 할 수 있다.
상기 미리 정해진 크기는 바이트(byte)일 수 있다.
상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 단계는, 상기 그레이스케일 이미지 데이터를 푸리에(Fourier) 변환하여 푸리에 이미지 데이터를 생성하는 단계를 더 포함할 수 있다.
상기 분석 대상 데이터는 단일 채널 패킷 데이터일 수 있다.
상기 입력된 분석 대상 데이터를 전처리하는 단계는, 상기 단일 채널 패킷 데이터를 오디오 파일로 변환하는 단계, 그리고 상기 변환된 오디오 파일을 스펙트로그램(spectrogram) 이미지 데이터로 변환하는 단계를 포함할 수 있다.
상기 신경망부는, 딥 러닝 기법이 적용된 신경망 알고리즘을 이용하여 이미지 데이터로 변환된 분석 대상 데이터를 학습 및 분류할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 데이터 이미지화를 이용한 이상 행위 분석 시스템은, 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받는 입력부, 상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 데이터 처리부, 그리고 상기 변환된 이미지 데이터를 입력받아 학습하고, 학습이 완료된 후 이미지 데이터로 변환된 분석 대상 데이터를 입력받아 상기 분석 대상 시스템의 이상 행위를 검출하거나 신경망부를 포함한다.
본 발명에 의하면 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 이미지화한 후 딥러닝 기반의 이미지 인식을 통해 분석 대상 시스템에서의 이상행위를 분류 및 인식할 수 있다.
특히 스펙이 공개되지 않은 프로토콜로 암호화된 패킷 데이터에 대해서도 해독하지 않고 이미지화하여 분석할 수 있다. 또한 다중 채널의 다변량 분석과 시간적인 데이터 시퀀스의 과거 정보를 함께 활용하여 종합적인 분류 및 예측이 가능하다.
도 1 및 도 2는 기존의 시스템 이상행위 탐지 및 예측 방법을 설명하기 위해 제공되는 도면이다.
도 3은 종래 스펙이 공개되지 않아 분석이 불가능한 프로토콜 영역을 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 데이터 이미지화를 이용한 이상 행위 분석 시스템의 구성을 나타낸 블록도이다.
도 5는 본 발명의 제1 실시예에 따른 데이터 이미지화를 이용한 이상 행위 분석 방법을 설명하기 위해 제공되는 흐름도이다.
도 6은 본 발명의 제1 실시예에 따른 다중 채널 패킷 데이터를 이미지 데이터로 전처리하는 과정을 설명하기 위해 제공되는 도면이다.
도 7은 본 발명의 제1 실시예에 따른 그레이스케일 이미지 데이터와 푸리에 변환 이미지 데이터를 비교하기 위해 제공되는 도면이다.
도 8은 본 발명의 제2 실시예에 따른 데이터 이미지화를 이용한 이상 행위 분석 방법을 설명하기 위해 제공되는 흐름도이다.
도 9는 본 발명의 제2 실시예에 따른 단일 채널 패킷 데이터를 이미지 데이터로 전처리하는 과정을 설명하기 위해 제공되는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 4는 본 발명의 제1 실시예에 따른 데이터 이미지화를 이용한 이상 행위 분석 시스템의 구성을 나타낸 블록도이다.
도 4를 참고하면, 본 발명의 일 실시예에 따른 데이터 이미지화를 이용한 이상 행위 분석 시스템(100)은 데이터 입력부(110), 데이터 처리부(130), 데이터셋 분리부(150) 및 신경망부(170)를 포함할 수 있다.
데이터 입력부(110)는 분석 대상 시스템으로부터 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받을 수 있다.
여기서 분석 대상 시스템은 네트워크 시스템, 계측 시스템, 제어 시스템 등과 같은 각종 시스템이 될 수 있다.
분석 대상 데이터는 분석 대상 시스템에서 수집 또는 생성되어 패킷 데이터 스트림으로 데이터 입력부(110)에 전달될 수 있다. 예컨대 분석 대상 데이터는 분석 대상 시스템에 설치된 센서로부터 전달되는 센서 데이터가 패킷 데이터 스트림으로 전달될 수 있다. 또한 분석 대상 데이터는 분석 대상 시스템 내에서 교환되거나, 분석 대상 시스템과 외부 시스템 사이에 교환되는 패킷 데이터일 수도 있다.
분석 대상 데이터는 다중 채널을 통해 입력되는 다중 채널 패킷 데이터일 수 있다. 물론 분석 대상 데이터는 단일 채널을 통해 입력되는 단일 채널 패킷 데이터일 수도 있다.
데이터 처리부(130)는 분석 대상 데이터를 입력받아 이미지 데이터로 변환할 수 있다.
분석 대상 데이터가 다중 채널 패킷 데이터이면, 데이터 처리부(130)는 분석 대상 데이터를 그레이스케일(gray scale) 이미지 데이터로 변환할 수 있다. 그리고 추가적으로 데이터 처리부(130)는 그레이스케일 이미지 데이터를 푸리에(Fourier) 변환하여 푸리에 이미지 데이터를 생성할 수도 있다.
한편 분석 대상 데이터가 단일 채널 패킷 데이터이면, 데이터 처리부(130)는 분석 대상 데이터를 스펙트로그램(spectrogram) 이미지 데이터로 변환할 수 있다.
데이터 처리부(130)에서 분석 대상 데이터를 이미지 데이터로 변환하는 동작에 대해서는 아래에서 보다 자세히 설명한다.
데이터셋 분리부(150)는 데이터 처리부(130)에서 이미지 데이터로 변환된 분석 대상 데이터를 신경망부(170)에서 학습에 필요한 데이터셋(학습쌍, 검증쌍, 테스트쌍)으로 분류할 수 있다. 데이터셋 분리부(150)에서 분류된 학습 데이터는 신경망부(170)에 학습 데이터로 입력될 수 있다.
신경망부(170)는 이미지 데이터로 변환된 분석 대상 데이터를 학습 데이터로 입력받아 분석 대상 시스템의 이상 행위를 분류 및 예측할 수 있도록 학습을 수행한다. 이를 위해 신경망부(170)는 영상 인식에서 우수한 성능을 가지는 인셉션 모듈(inception module) 기반 컨벌루션 신경망(Convolutional Neural Networks, CNN), 심층 신경망(Deep Neural Network, DNN), 재귀 신경망(Recurrent Neural Network, RNN), 제한 볼츠만 머신(restricted Boltzmann machine), 심층 신뢰 신경망(Deep Belief Network, DBN), 심층 Q-네트워크(Deep Q-Network) 등과 같이 다양한 딥 러닝 기법이 적용된 신경망 알고리즘이 사용될 수 있다.
신경망부(170)는 학습 완료 후에 이미지 데이터로 변환되어 입력되는 분석 대상 데이터를 분류해내고, 분류 결과를 기초로 분석 대상 시스템의 이상 행위를 분류 및 예측할 수 있다. 물론 실시예에 따라 신경망부(170)는 학습 완료 후에 이미지 데이터로 변환되어 입력되는 분석 대상 데이터를 분류해내는 기능만을 수행하고, 신경망부(170)와 연동된 서비스 어플리케이션에서 분석 대상 시스템의 이상 행위를 분류 및 예측하도록 구현하는 것도 가능하다.
도 5는 본 발명의 제1 실시예에 따른 데이터 이미지화를 이용한 이상 행위 분석 방법을 설명하기 위해 제공되는 흐름도이고, 도 6은 본 발명의 제1 실시예에 따른 다중 채널 패킷 데이터를 이미지 데이터로 전처리하는 과정을 설명하기 위해 제공되는 도면이다.
도 4 내지 도 6을 참고하면, 먼저 데이터 입력부(110)는 다중 채널을 통해 입력되는 다중 채널 패킷 데이터를 입력받을 수 있다(S510).
도 6에서는 데이터 입력부(110)가 6개 채널(CH1, CH2, CH3, CH4, CH5, CH6)을 통해 패킷 데이터(10, 20, 30, 40, 50, 60)를 입력받는 것을 나타내고 있다. 각 채널을 통해 입력되는 패킷 데이터는 알 수 없는 프로토콜(unknown protocol)에 의해 암호화된 패킷 데이터일 수 있다.
데이터 처리부(130)는 데이터 입력부(110)로부터 다중 채널 패킷 데이터를 전달받아 미리 정해진 크기, 예컨대 1 바이트(Byte) 크기로 나누어 2차원 어레이로 배열할 수 있다(S520).
패킷 데이터를 1 바이트 크기로 나누면, 밝기값을 256 단계로 나타내는 그레이스케일 이미지의 하나의 화소(pixel)로 취급할 수 있는 장점이 있다. 물론 실시에에 따라 패킷 데이터를 1 바이트보다 작게 나누거나, 크게 나누는 것도 가능하다.
한편 도 6에 예시한 것과 같이 채널1(CH1)에 해당하는 패킷 데이터(10)를 바이트 크기로 나눈 데이터(P1,1, P2,1, P3,1, P4,1, …, PN,1)를 1번째 열에 배열할 수 있다. 그리고 채널2 ~ 채널6(CH2~CH6)에 해당하는 패킷 데이터(20, 30, 40, 50, 60)도 마찬가지로 바이트 크기로 나누어서 각 채널에 대응하는 열에 배열함으로써, 다중 채널 패킷 데이터를 2차원 어레이로 배열된 데이터(70)를 생성할 수 있다.
다음으로 데이터 처리부(130)는 2차원 어레이로 배열된 다중 채널 패킷 데이터(70)를 미리 정해진 단위로 분할할 수 있다(S530). 단계(S530)에서 데이터 처리부(130)는 2차원 어레이로 배열된 다중 채널 패킷 데이터(70)를 행의 개수와 열의 개수가 다중 채널의 수와 동일하게 분할할 수 있다. 즉 단계(S530)에서 분할된 다중 채널 패킷 데이터(71, 72)는 행과 열의 크기가 같은 정방 행렬로 분할될 수 있다. 도 6에서는 다중 채널 수가 6이므로, 행렬의 크기가 6×6이 되도록 다중 채널 패킷 데이터가 분할되었다.
이후 데이터 처리부(130)는 단계(S530)에서 분할된 다중 채널 패킷 데이터(71, 72)를 그레이스케일(gray scale) 이미지 데이터(80)로 변환할 수 있다(S540). 단계(S520)에서 패킷 데이터를 1 바이트 크기로 나누었으므로, 도 6에 예시한 것과 같이 각 화소의 밝기값을 256 단계로 나타내는 그레이스케일 이미지 데이터(80)로 변환할 수 있다.
한편 실시예에 따라 데이터 처리부(130)는 단계(S540)에서 변환된 그레이스케일 이미지 데이터(80)에 대해서 추가로 푸리에(Fourier) 변환 처리하여, 도 6에 예시한 것과 같이 푸리에 이미지 데이터(85)를 생성할 수도 있다(S550).
도 7은 본 발명의 제1 실시예에 따른 그레이스케일 이미지 데이터와 푸리에 변환 이미지 데이터를 비교하기 위해 제공되는 도면이다.
도 7(a)는 정상 상태 패킷 데이터를 그레이스케일 이미지 데이터로 변환한 예이다. 도 7(b)는 비정상 상태 패킷 데이터를 그레이스케일 이미지 데이터로 변환한 예이다. 도 7(c)는 도 7(a)의 그레이스케일 이미지를 푸리에 변환한 푸리에 이미지 데이터이다. 도 7(d)는 도 7(b)의 그레이스케일 이미지를 푸리에 변환한 푸리에 이미지 데이터이다.
도 7(a)와 도 7(b)로 예시된 그레이스케일 이미지 데이터보다, 도 7(c)와 도 7(d)로 예시된 푸리에 이미지 데이터가 정상 상태와 비정상 상태에서 기하학적 구별이 용이한 것을 확인할 수 있으며, 이미지 분석에 중요한 피처(feature)를 잘 나타내는 것을 확인할 수 있다. 이유는 푸리에 이미지 데이터는 공간 정보가 아닌 주파수적 정보로 이미지 데이터를 표현하기 때문이다.
다시 도 5를 참고하면, 데이터셋 분리부(150)는 데이터 처리부(130)에서 푸리에 이미지 데이터로 변환된 분석 대상 데이터를 신경망부(170)에서 학습에 필요한 데이터셋(학습쌍, 검증쌍, 테스트쌍)으로 분류할 수 있다(S560).
그리고 신경망부(170)는 푸리에 이미지 데이터로 변환된 분석 대상 데이터를 학습 데이터로 입력받아 분석 대상 시스템의 이상 행위를 분류 및 예측할 수 있도록 학습을 수행할 수 있다(S570).
실시예에 따라 그레이스케일 이미지 데이터를 푸리에 이미지 데이터로 변환하는 단계(S550)를 생략하고, 단계(S560) 및 단계(S570)를 그레이스케일 이미지 데이터로 변환된 분석 대상 데이터에 대해서 수행할 수도 있다.
학습 완료 후, 신경망부(170)는 그레이스케일 이미지 데이터 또는 푸리에 이미지 데이터로 변환되어 입력되는 분석 대상 데이터를 분류해내고, 분류 결과를 기초로 분석 대상 시스템의 이상 행위를 분류 및 예측할 수 있다(S580). 앞서 설명한 것과 같이 신경망부(170)는 학습 완료 후에 이미지 데이터로 변환되어 입력되는 분석 대상 데이터를 분류해내는 기능만을 수행하고, 신경망부(170)와 연동된 서비스 어플리케이션에서 분석 대상 시스템의 이상 행위를 분류 및 예측하도록 구현하는 것도 가능하다.
도 8은 본 발명의 제2 실시예에 따른 데이터 이미지화를 이용한 이상 행위 분석 방법을 설명하기 위해 제공되는 흐름도이고, 도 9는 본 발명의 제2 실시예에 따른 단일 채널 패킷 데이터를 이미지 데이터로 전처리하는 과정을 설명하기 위해 제공되는 도면이다.
도 4, 도 8 및 도 9를 참고하면, 먼저 데이터 입력부(110)는 단일 채널을 통해 입력되는 단일 채널 패킷 데이터를 입력받을 수 있다(S810).
도 9에서는 데이터 입력부(110)가 1개 채널(CH1)을 통해 패킷 데이터(10)를 입력받는 것을 나타내고 있다. 패킷 데이터(10)는 알 수 없는 프로토콜(unknown protocol)에 의해 암호화된 패킷 데이터일 수 있다.
데이터 처리부(130)는 데이터 입력부(110)로부터 단일 채널 패킷 데이터(70)를 전달받아 미리 정해진 단위로 나누어 스펙트로그램(spectrogram) 이미지 데이터(95)로 변환할 수 있다(S820).
단계(S820)를 보다 자세히 설명하면, 데이터 입력부(110)로부터 전달되는 단일 채널 패킷 데이터를 미리 정해진 단위로 나누고, 미리 정해진 단위로 나누어진 단일 채널 패킷 데이터를 무압축 PCM(pulse code modulation) 오디오 데이터와 마찬가지로 취급하여, 그 앞에 wav 오디오 헤더를 붙임으로써 오디오 파일 포맷을 가지는 데이터(90)로 변환할 수 있다. 그리고 오디오 파일 포맷으로 변환된 데이터(90)를 스펙트로그램 이미지 데이터(95)로 변환할 수 있다.
단계(S820)에서 단일 채널 패킷 데이터를 나누는 미리 정해진 단위는 신경망부(170)에서 학습에 적합한 사이즈로 선택되면 된다.
다시 도 8을 참고하면, 데이터셋 분리부(150)는 단계(S820)에서 스펙트로그램 이미지 데이터로 변환된 분석 대상 데이터를 신경망부(170)에서 학습에 필요한 데이터셋(학습쌍, 검증쌍, 테스트쌍)으로 분류할 수 있다(S830).
다음으로 신경망부(170)는 스펙트로그램 이미지 데이터로 변환된 분석 대상 데이터를 학습 데이터로 입력받아 분석 대상 시스템의 이상 행위를 분류 및 예측할 수 있도록 학습을 수행한다(S840).
학습 완료 후, 신경망부(170)는 스펙트로그램 이미지 데이터로 변환되어 입력되는 분석 대상 데이터를 분류해내고, 분류 결과를 기초로 분석 대상 시스템의 이상 행위를 분류 및 예측할 수 있다(S850).
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받는 단계,
    상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 단계,
    상기 변환된 이미지 데이터를 입력으로 신경망부를 학습시키는 단계, 그리고
    이미지 데이터로 변환된 분석 대상 데이터를 입력받아 학습이 완료된 상기 신경망부에서 상기 분석 대상 시스템의 이상 행위를 검출하거나 예측하는 단계
    를 포함하는 데이터 이미지화를 이용한 이상 행위 분석 방법.
  2. 제 1 항에서,
    상기 분석 대상 데이터는 다중 채널로부터 입력되는 다중 채널 패킷 데이터이고,
    상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 단계는,
    상기 다중 채널 패킷 데이터를 미리 정해진 크기로 나누어 2차원 어레이로 배열하는 단계,
    상기 2차원 어레이로 배열된 다중 채널 패킷 데이터를 미리 정해진 단위로 분할하는 단계, 그리고
    상기 분할된 다중 채널 패킷 데이터를 그레이스케일(gray scale) 이미지 데이터로 변환하는 단계
    를 포함하는 데이터 이미지화를 이용한 이상 행위 분석 방법.
  3. 제 2 항에서,
    상기 분할된 다중 채널 패킷 데이터는,
    상기 다중 채널의 채널 수를 행과 열로 하는 데이터 이미지화를 이용한 이상 행위 분석 방법.
  4. 제 3 항에서,
    상기 미리 정해진 크기는 바이트(byte)인 데이터 이미지화를 이용한 이상 행위 분석 방법.
  5. 제 2 항에서,
    상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 단계는,
    상기 그레이스케일 이미지 데이터를 푸리에(Fourier) 변환하여 푸리에 이미지 데이터를 생성하는 단계
    를 더 포함하는 데이터 이미지화를 이용한 이상 행위 분석 방법.
  6. 제 1 항에서,
    상기 분석 대상 데이터는 단일 채널 패킷 데이터이고,
    상기 입력된 분석 대상 데이터를 전처리하는 단계는,
    상기 단일 채널 패킷 데이터를 오디오 파일로 변환하는 단계, 그리고
    상기 변환된 오디오 파일을 스펙트로그램(spectrogram) 이미지 데이터로 변환하는 단계
    를 포함하는 데이터 이미지화를 이용한 이상 행위 분석 방법.
  7. 제 1 항에서,
    상기 신경망부는,
    딥 러닝 기법이 적용된 신경망 알고리즘을 이용하여 이미지 데이터로 변환된 분석 대상 데이터를 학습 및 분류하는 데이터 이미지화를 이용한 이상 행위 분석 방법.
  8. 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받는 입력부,
    상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 데이터 처리부, 그리고
    상기 변환된 이미지 데이터를 입력받아 학습하고, 학습이 완료된 후 이미지 데이터로 변환된 분석 대상 데이터를 입력받아 상기 분석 대상 시스템의 이상 행위를 검출하거나 신경망부
    를 포함하는 데이터 이미지화를 이용한 이상 행위 분석 시스템.
  9. 제 8 항에서,
    상기 분석 대상 데이터는 다중 채널로부터 입력되는 다중 채널 패킷 데이터이고,
    상기 데이터 처리부는,
    상기 다중 채널 패킷 데이터를 미리 정해진 크기로 나누어 2차원 어레이로 배열하고, 상기 2차원 어레이로 배열된 다중 채널 패킷 데이터를 미리 정해진 단위로 분할하며, 상기 분할된 다중 채널 패킷 데이터를 그레이스케일(gray scale) 이미지 데이터로 변환하는 데이터 이미지화를 이용한 이상 행위 분석 시스템.
  10. 제 9 항에서,
    상기 분할된 다중 채널 패킷 데이터는,
    상기 다중 채널의 채널 수를 행과 열로 하는 데이터 이미지화를 이용한 이상 행위 분석 시스템.
  11. 제 10 항에서,
    상기 미리 정해진 크기는 바이트(byte)인 데이터 이미지화를 이용한 이상 행위 분석 시스템.
  12. 제 9 항에서,
    상기 데이터 처리부는,
    상기 그레이스케일 이미지 데이터를 푸리에(Fourier) 변환하여 푸리에 이미지 데이터를 생성하는 데이터 이미지화를 이용한 이상 행위 분석 시스템.
  13. 제 8 항에서,
    상기 분석 대상 데이터는 단일 채널 패킷 데이터이고,
    상기 데이터 처리부는,
    상기 단일 채널 패킷 데이터를 오디오 파일로 변환하고, 상기 변환된 오디오 파일을 스펙트로그램(spectrogram) 이미지 데이터로 변환하는 데이터 이미지화를 이용한 이상 행위 분석 시스템
  14. 제 8 항에서,
    상기 신경망부는,
    딥 러닝 기법이 적용된 신경망 알고리즘을 이용하여 이미지 데이터로 변환된 분석 대상 데이터를 학습 및 분류하는 데이터 이미지화를 이용한 이상 행위 분석 시스템.
KR1020170114054A 2017-09-06 2017-09-06 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술 KR102048240B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170114054A KR102048240B1 (ko) 2017-09-06 2017-09-06 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술
US16/644,424 US11379689B2 (en) 2017-09-06 2018-02-12 Technology for analyzing abnormal behavior using deep learning-based system and data imaging
PCT/KR2018/001841 WO2019050108A1 (ko) 2017-09-06 2018-02-12 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170114054A KR102048240B1 (ko) 2017-09-06 2017-09-06 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술

Publications (2)

Publication Number Publication Date
KR20190027237A true KR20190027237A (ko) 2019-03-14
KR102048240B1 KR102048240B1 (ko) 2019-11-25

Family

ID=65634262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170114054A KR102048240B1 (ko) 2017-09-06 2017-09-06 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술

Country Status (3)

Country Link
US (1) US11379689B2 (ko)
KR (1) KR102048240B1 (ko)
WO (1) WO2019050108A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200115369A (ko) * 2019-03-29 2020-10-07 조진삼 이미지 인식 딥러닝 알고리즘을 이용한 온라인 부도 예측 시스템
KR102261941B1 (ko) 2019-11-29 2021-06-08 한국생산기술연구원 생산 제품 불량 검출을 위한 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템
KR20220030771A (ko) 2020-09-03 2022-03-11 주식회사 더트라이브 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
KR20220059691A (ko) 2020-11-03 2022-05-10 한국생산기술연구원 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템
KR20220061674A (ko) * 2020-11-06 2022-05-13 한국생산기술연구원 아날로그 신호와 디지털 신호를 이용한 합성곱 신경망 모델 학습 방법
KR20220061360A (ko) 2020-11-06 2022-05-13 한국생산기술연구원 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템
US11763179B2 (en) 2019-07-19 2023-09-19 Electronics And Telecommunications Research Institute Apparatus and method for abnormal situation detection

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI761715B (zh) * 2019-10-21 2022-04-21 緯創資通股份有限公司 缺陷檢測視覺化方法及其系統
KR102335604B1 (ko) 2020-07-29 2021-12-06 경북대학교 산학협력단 전력 소모량의 비트맵 패턴 형상화를 기반으로 하는 지능적인 시스템 오동작 인식 장치 및 방법
CN114528276B (zh) * 2022-02-21 2024-01-19 新疆能源翱翔星云科技有限公司 一种基于人工智能的大数据采集存储管理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040093743A (ko) * 2002-03-22 2004-11-08 페노미넘 디스커버리스 인코포레이티드 퓨리에 변환 이온 사이클로트론 공진 질량 분광계로부터생성된 비표적 메타볼로믹 데이터의 시각화 방법
KR20100029781A (ko) * 2007-06-13 2010-03-17 가부시키가이샤 니콘 검사 장치, 검사 방법 및 프로그램
JP2015026252A (ja) * 2013-07-26 2015-02-05 株式会社豊田中央研究所 異常検知装置及びプログラム
KR20160074022A (ko) * 2014-12-17 2016-06-28 전주비전대학교산학협력단 Emf 센서와 음향 센서를 이용한 부분방전 진단 시스템
KR20160148911A (ko) * 2015-06-17 2016-12-27 주식회사 나라시스템 산업유형별 공정 데이터 분석 및 검증 기술과 hw-sw 융합 프레임워크 기반의 정보통합 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9888031B2 (en) * 2014-11-19 2018-02-06 Cyber Secdo Ltd. System and method thereof for identifying and responding to security incidents based on preemptive forensics
KR20150013416A (ko) 2014-12-29 2015-02-05 남서울대학교 산학협력단 데이터 시각화를 통한 데이터 분석 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040093743A (ko) * 2002-03-22 2004-11-08 페노미넘 디스커버리스 인코포레이티드 퓨리에 변환 이온 사이클로트론 공진 질량 분광계로부터생성된 비표적 메타볼로믹 데이터의 시각화 방법
KR20100029781A (ko) * 2007-06-13 2010-03-17 가부시키가이샤 니콘 검사 장치, 검사 방법 및 프로그램
JP2015026252A (ja) * 2013-07-26 2015-02-05 株式会社豊田中央研究所 異常検知装置及びプログラム
KR20160074022A (ko) * 2014-12-17 2016-06-28 전주비전대학교산학협력단 Emf 센서와 음향 센서를 이용한 부분방전 진단 시스템
KR20160148911A (ko) * 2015-06-17 2016-12-27 주식회사 나라시스템 산업유형별 공정 데이터 분석 및 검증 기술과 hw-sw 융합 프레임워크 기반의 정보통합 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200115369A (ko) * 2019-03-29 2020-10-07 조진삼 이미지 인식 딥러닝 알고리즘을 이용한 온라인 부도 예측 시스템
US11763179B2 (en) 2019-07-19 2023-09-19 Electronics And Telecommunications Research Institute Apparatus and method for abnormal situation detection
KR102261941B1 (ko) 2019-11-29 2021-06-08 한국생산기술연구원 생산 제품 불량 검출을 위한 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템
KR20220030771A (ko) 2020-09-03 2022-03-11 주식회사 더트라이브 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
KR20220059691A (ko) 2020-11-03 2022-05-10 한국생산기술연구원 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템
KR20220061674A (ko) * 2020-11-06 2022-05-13 한국생산기술연구원 아날로그 신호와 디지털 신호를 이용한 합성곱 신경망 모델 학습 방법
KR20220061360A (ko) 2020-11-06 2022-05-13 한국생산기술연구원 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템

Also Published As

Publication number Publication date
WO2019050108A1 (ko) 2019-03-14
US20210064926A1 (en) 2021-03-04
US11379689B2 (en) 2022-07-05
KR102048240B1 (ko) 2019-11-25

Similar Documents

Publication Publication Date Title
KR102048240B1 (ko) 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술
CN111292764B (zh) 辨识系统及辨识方法
US10679643B2 (en) Automatic audio captioning
US11043209B2 (en) System and method for neural network orchestration
Muckenhirn et al. End-to-end convolutional neural network-based voice presentation attack detection
US11663823B2 (en) Dual-modality relation networks for audio-visual event localization
Feather et al. Metamers of neural networks reveal divergence from human perceptual systems
CN109410924B (zh) 识别方法和识别设备
CN111447190A (zh) 一种加密恶意流量的识别方法、设备及装置
US11138963B2 (en) Method and apparatus with text-to-speech conversion
US9619753B2 (en) Data analysis system and method
KR20200052401A (ko) 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상 행위 분석 기술
KR101617649B1 (ko) 영상의 관심 구간 추천 시스템 및 방법
US10810485B2 (en) Dynamic context-selective convolutional neural network for time series data classification
CN112989977A (zh) 一种基于跨模态注意力机制的视听事件定位方法及装置
Hu et al. Detection of heterogeneous parallel steganography for low bit-rate VoIP speech streams
US20230160993A1 (en) High-resolution sound source map obtaining and analyzing method and system using artificial intelligence neural network
CN116910752B (zh) 一种基于大数据的恶意代码检测方法
Rahman et al. Weakly-supervised audio-visual sound source detection and separation
WO2019126693A1 (en) Automated analysis of analytical gels and blots
US11580362B2 (en) Learning apparatus, generation apparatus, classification apparatus, learning method, and non-transitory computer readable storage medium
KR102557151B1 (ko) 시계열 데이터의 품질을 개선하는 장치 및 방법
US20220301550A1 (en) Method and apparatus with keyword detection
KR20200052460A (ko) 이미지 기반 정보 예측 시스템 및 그 방법
Lian et al. A pairwise discriminative task for speech emotion recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant