KR20190078685A - 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법 - Google Patents

점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법 Download PDF

Info

Publication number
KR20190078685A
KR20190078685A KR1020170171318A KR20170171318A KR20190078685A KR 20190078685 A KR20190078685 A KR 20190078685A KR 1020170171318 A KR1020170171318 A KR 1020170171318A KR 20170171318 A KR20170171318 A KR 20170171318A KR 20190078685 A KR20190078685 A KR 20190078685A
Authority
KR
South Korea
Prior art keywords
pattern
sensor data
real
master
time
Prior art date
Application number
KR1020170171318A
Other languages
English (en)
Inventor
김형수
배성한
이혜영
황기현
Original Assignee
(주) 엠투유테크널러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 엠투유테크널러지 filed Critical (주) 엠투유테크널러지
Priority to KR1020170171318A priority Critical patent/KR20190078685A/ko
Publication of KR20190078685A publication Critical patent/KR20190078685A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/008Reliability or availability analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명의 목적은, 수집되는 실시간 센서 데이터의 실시간 패턴을 분석하여, 이상 여부를 감지하거나 예측할 수 있는, 센서 데이터의 이상 패턴 감지 방법을 제공하는 것이다. 이를 위해, 본 발명에 따른 센서 데이터의 이상 패턴 감지 방법은, 사물 인터넷(IoT) 장치에 장착된 센서로부터 센서 데이터들을 수신하여, 상기 센서 데이터들을 저장하는 단계; 주기적으로 수신된 상기 센서 데이들을 이용하여 마스터 패턴을 갱신하는 단계; 및 실시간으로 수신된 상기 센서 데이터를 이용하여 실시간 패턴을 생성하며, 상기 실시간 패턴을 상기 마스터 패턴과 매칭시켜, 상기 실시간 패턴이 이상 패턴인지의 여부를 감지하는 단계; 및 상기 감지에 따른 이상 패턴 여부를 사용자 단말기로 전송하는 단계를 포함한다.

Description

점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법{Method of Anomaly Pattern Detection for Sensor Data using Increamental Clustering}
본 발명은 감지된 센서 데이터의 이상패턴을 감지하는 방법에 관한 것이다.
사물인터넷(IoT)은 이미 정보통신기술(ICT) 분야를 뛰어넘어 모든 산업 분야에 트랜드로 자리잡고 있고, IoT 장치에서 쏟아지는 실시간 센서 데이터들은 빅데이터의 특징을 가지고 있으며, 빅데이터는 IoT 시대에 더욱 중요한 요소이다.
특히, 실시간 IoT 센서 데이터에 대한 처리, 판단, 인지기술이 상호관계를 유지할 수 있도록 하는 통합관제 서비스에 대한 필요성이 대두되고 있으며, 다양한 형태로 실시간 수집되는 센서 데이터의 분석은 관리자에게 원하는 정보를 서비스하기 위해 필요한 기술이다.
그 중, 실시간으로 수집되는 센서 데이터에 대한 현황 및 이상을 감지하여 알려주는 이상 패턴 감지 기술은, 실시간 분석 기술로서 주로 사용되고 있다.
이상 패턴 감지 기술은, IoT환경에서 발생할 수 있는 상황을 감지하고, 관리자가 이러한 상황에 대해 즉각적으로 대응할 수 있도록 함으로써, 관리자가 인프라 및 서비스와 관련하여 발생된 문제를 사전에 조치하도록 할 수 있는 기술이다.
일반적으로 실시간 이상 패턴 감지 기술은, 센서 데이터에 대한 이벤트를 고속으로 수집하고, 이벤트 처리 및 빅데이터 저장관리 기술을 통해 센서 데이터를 시계열 데이터로 저장하여 분석한다.
그러나, 종래의 실시간 이상 패턴 감지 기술은, 단순히, 특정 임계치를 기준으로 발생하는 데이터가 해당 범위를 벗어났을 경우, 이상 감지 및 알람을 발생한다.
따라서, 종래의 실시간 이상 패턴 감지 기술은, 특정 구간에 대한 일련의 패턴들을 분석하여, 이상 감지를 예측하기에는 어려운 문제점이 있다.
상술한 문제점을 해결하기 위해 제안된 본 발명의 목적은, 수집되는 실시간 센서 데이터의 실시간 패턴을 분석하여, 이상 여부를 감지하거나 예측할 수 있는, 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법을 제공하는 것이다.
상술한 기술적 과제를 달성하기 위한 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법은, 사물 인터넷(IoT) 장치에 장착된 센서로부터 센서 데이터들을 수신하여, 상기 센서 데이터들을 저장하는 단계; 주기적으로 수신된 상기 센서 데이들을 이용하여 마스터 패턴을 갱신하는 단계; 및 실시간으로 수신된 상기 센서 데이터를 이용하여 실시간 패턴을 생성하며, 상기 실시간 패턴을 상기 마스터 패턴과 매칭시켜, 상기 실시간 패턴이 이상 패턴인지의 여부를 감지하는 단계; 및 상기 감지에 따른 이상 패턴 여부를 사용자 단말기로 전송하는 단계를 포함한다. 상기 마스터 패턴을 갱신하는 단계는, 주기적으로 수신된 상기 센서 데이터들을 이용하여, 군집화를 위한 세그먼트들을 추출하는 단계; 추출된 세그먼트들의 군집화를 통해 적어도 하나의 마스터 패턴을 생성하는 단계; 적어도 하나의 상기 마스터 패턴을 생성한 후 주기적으로 수신된 센서 데이터가 상기 마스터 패턴과 다른 패턴을 가지면, 상기 다른 패턴을 또 다른 마스터 패턴으로 갱신하는 단계; 및 생성 또는 갱신된 상기 마스터 패턴을 정상 패턴 또는 이상 패턴으로 설정하는 단계를 포함한다.
본 발명은 주기적으로 수신된 센서 데이터들에 대해 군집화 방법을 적용하여, 이상여부 판단의 기준이 되는 마스터 패턴들을 생성 또는 갱신할 수 있다.
또한, 본 발명은 실시간으로 수신된 센서 데이터를, 상기 마스터 패턴들과 즉각적으로 패턴매칭을 수행할 수 있고, 즉각적인 패턴매칭을 통해 상기 센서 데이터의 이상 여부를 감지할 수 있으며, 이상 상황을 예측할 수도 있다.
즉, 본 발명은 사전에 정의된 마스터 패턴들 중 실시간으로 수신된 상기 센서 데이터로부터 생성된 실시간 패턴과 가장 매칭율이 높은 마스터 패턴의 상태정보(이상 상태 또는 정상 상태)를 관리자에게 알려줄 수 있으며, 상기 상태정보를 실시간 차트를 이용해 관리자에게 제공할 수도 있다.
따라서, 관리자는 시각화를 통해 보여지는 실시간 이상 감지 정보 및 예측 패턴 정보를 활용하여, 신속한 상황대응을 하기 위한 의사결정에 도움을 받을 수 있으며, 이에 따라, 문제 발생에 대한 위험율을 사전에 줄일 수 있다.
도 1은 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법이 적용되는 통신 시스템을 나타낸 일실시예 구성도.
도 2는 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법을 수행하는 서비스 서버의 일실시예 구성도이다.
도 3은 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법의 일실시예 흐름도.
도 4 내지 도 6은 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법을 설명하기 위한 다양한 예시도들.
도 7은 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법을 구체적으로 나타낸 일실시예 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법이 적용되는 통신 시스템을 나타낸 일실시예 구성도이며, 도 2는 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법을 수행하는 서비스 서버의 일실시예 구성도이다.
IoT와 빅데이터가 이슈화 됨에 따라, 다양한 형태의 데이터 처리 및 분석 솔루션이 개발되고 있다.
대부분의 종래 기술들은 IoT 장치를 통해 실시간으로 대량 생산되는 센서 데이터의 수집에 초점을 맞추고 있으며, 실시간 데이터 분석의 경우, 몇몇 제한사항을 가지고 있다.
특히, 실시간 센서 데이터에 대한 이상을 검출하고 감지하는 종래의 기술은, 특정 임계치(threshold)를 기준으로하여, 센서 데이터가 해당 범위를 벗어났을 경우에 상기 센서 데이터를 이상치로 검출하여 대응하는 기술이다.
빅데이터에 대한 종래의 군집화 기술 역시, 기존에 수집되어진 데이터에 대한 분석을 통해 군집화를 수행 및 적용하였기 때문에, 실시간으로 들어오는 센서 데이터에 대해서는 즉각적으로 군집화 및 패턴을 생성하지 못하는 한계가 있다.
본 발명은 이러한 한계를 극복하고, 특정 주기를 통해 점진적인 군집화를 수행하고, 이를 통해 실시간으로 들어오는 센서 데이터에 대한 패턴매칭을 통해, 수시로 이상 패턴을 감지할 수 있는 기술이다.
즉, 본 발명은 점진적 군집화 기반의 패턴 매칭을 이용하여, 실시간으로 센서 데이터의 이상 패턴을 감지하는 방법에 관한 것이다.
특히, 본 발명은 특정 도메인에서 실시간으로 발생하는 IoT 센서 데이터를 수집하고, 일정기간 수집된 센서 데이터를 기반으로 데이터 전처리 및 군집화 학습을 통해 마스터 패턴들을 생성하며, 상기 마스터 패턴들이 생성된 이후에도, 주기적인 점진적 군집화 학습을 통해, 이상 패턴 감지에 필요한 마스터 패턴들을 갱신할 수 있다. 상기 마스터 패턴들 각각은 정상 패턴 또는 이상 패턴 등으로 설정될 수 있다. 또한, 본 발명은 실시간으로 수집되는 센서 데이터를 상기 마스터 패턴들과 실시간으로 패턴 매칭을 수행함으로써, 실시간으로 수집되는 센서 데이터의 이상 여부를 감지할 수 있으며, 이상 상황을 미리 예측 및 관리할 수 있다.
본 발명에 적용되는 군집화 기법은 머신러닝 알고리즘 중 보편적으로 사용되는 K-Means 알고리즘을 적용하여 군집화를 수행한다. 특히, 본 발명은 시계열 데이터로 추출된 각 세그먼트에 대한 패턴과 마스터 패턴을 매칭시키는 연산속도를 향상시키기 위해, Fast-DTW 알고리즘을 적용하여 K-Means 알고리즘의 성능을 향상시킨다.
부연하여 설명하면, 본 발명은 이상 패턴 감지를 위한 패턴 군집화 방법에 관한 것이며, 보다 구체적으로는, IoT 환경에 적용되는 센서에서 발생되는 센서 데이터로부터 특정 구간화를 통해 세그먼트를 추출하고, 이를 기반으로 기존에 정의되어진 마스터 패턴과의 패턴 매칭을 통해 이상여부를 감지할 수 있도록, 센서 데이터의 패턴을 군집화하는 방법에 관한 것이다.
본 발명은, 도 1에 도시된 바와 같은, IoT 장치(11)에 장착된 각종 센서(12)들을 통해 수집되는 다양한 형태의 센서 데이터의 특정 구간의 세그먼트에 대한 군집화를 통해 마스터 패턴들을 생성 또는 갱신하고, 상기 마스터 패턴들 각각을 정상 패턴 또는 이상 패턴으로 설정하고, 실시간으로 수집되는 센서 데이터의 패턴을 상기 마스터 패턴들과 매칭시켜 상기 센서 데이터의 이상 여부를 감지할 수 있으며, 이상 여부의 사전 예측을 통해 관리자에게 현 상태 및 예측상황을 알람으로 알려줄 수 있는, 점진적 패턴 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법에 관한 것이다.
상기한 바와 같은 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법(이하, 간단히 센서 데이터의 이상 패턴 감지 방법이라 함)이 적용되는 통신 시스템은, 도 1에 도시된 바와 같이, IoT가 적용되는 IoT 장치(11), 상기 IoT 장치에 장착된 적어도 하나의 센서(12), 상기 센서로부터 수집된 센서 데이터를 전송하는 통신부(13), 상기 IoT 장치를 관리하는 관리자자에 의해 관리되는 관리자 단말기(14) 및 본 발명에 따른 센서 데이터의 이상 패턴 감지 방법을 수행하는 서비스 서버(20)를 포함한다.
상기 IoT 장치(11)는 사물 인터넷(IoT)이 적용될 수 있는 다양한 장치, 예를 들어, 냉장고와 같이 가정 내에 구비될 수 있는 가정용 전자제품이 될 수도 있으며, 길거리에 구비된 가로등과 같은 전자제품이 될 수도 있다. 이하에서는, 가로등을 상기 IoT 장치(11)의 일예로 하여, 본 발명에 따른 센서 데이터의 이상 패턴 감지 방법이 설명된다.
본 발명에 따른 센서 데이터의 이상 패턴 감지 방법을 수행하는 상기 서비스 서버(20)는 도 2에 도시된 바와 같이, 상기 통신부(13) 또는 상기 관리자 단말기(14)와 통신을 수행하는 송수신부(21), 상기 통신부(13)를 통해 수집된 센서 데이터들을 저장하는 저장부(23), 상기 센서 데이터를 이용하여 마스터 패턴을 갱신하거나 상기 센서 데이터의 이상 여부를 감지하는 감지부(24), 상기 서비스 서버(20)의 관리자에게 각종 정보를 제공하는 출력부(25) 및 상기 송수신부(21), 상기 저장부(23), 상기 감지부(24)와 상기 출력부(25)의 기능을 제어하는 제어부(22)를 포함한다.
상기 관리자 단말기(14)를 이용하는 관리자와, 상기 서비스 서버(20)의 관리자는 동일인일 수도 있고, 상기 서비스 서버(20)의 직원들일 수도 있으며, 또는 서로 다른 집단에 소속된 서로 다른 사람일 수도 있다.
도 3은 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법의 일실시예 흐름도이고, 도 4 내지 도 6은 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법을 설명하기 위한 다양한 예시도들이다.
본 발명에 따른 센서 데이터의 이상 패턴 감지 방법은, 점진적 패턴 군집화 방법, 특히, 머신러닝 알고리즘 중 K-means 군집화 알고리즘 기반의 Fast-DTW 알고리즘을 이용하여, 시계열 센서 데이터에 대한 매칭을 수행함으로써, 이상 패턴을 감지할 수 있다.
본 발명에 따른 센서 데이터의 이상 패턴 감지 방법은, 사물 인터넷(IoT) 장치(11)에 장착된 센서(12)로부터 센서 데이터를 수신하며, 수신된 상기 센서 데이터를 고속으로 저장하는 단계(502), 주기적으로 수신된 상기 센서 데이들을 이용하여 마스터 패턴을 갱신하는 단계(504), 실시간으로 수신된 상기 센서 데이터를 이용하여 실시간 패턴을 생성하며, 상기 실시간 패턴을 상기 마스터 패턴과 매칭시켜, 상기 실시간 패턴이 이상 패턴인지의 여부를 감지하는 단계(506) 및 상기 감지에 따른 이상 패턴 여부를 사용자 단말기로 전송하는 단계를 포함한다.
특히, 상기 마스터 패턴을 갱신하는 단계는, 주기적으로 수신된 상기 센서 데이터들을 이용하여, 군집화를 위한 세그먼트들을 추출하는 단계, 추출된 세그먼트들의 군집화를 통해 적어도 하나의 마스터 패턴을 생성하는 단계, 적어도 하나의 상기 마스터 패턴을 생성한 후 주기적으로 수신된 센서 데이터가 상기 마스터 패턴과 다른 패턴을 가지면, 상기 다른 패턴을 또 다른 마스터 패턴으로 갱신하는 단계 및 생성 또는 갱신된 상기 마스터 패턴을 정상 패턴 또는 이상 패턴으로 설정하는 단계를 포함한다.
또한, 상기 실시간 패턴이 이상 패턴인지의 여부를 감지하는 단계는, 상기 실시간 패턴이 상기 정상 패턴과 매칭되면 상기 실시간 패턴을 정상이라고 판단하며, 상기 이상 패턴과 매칭되면 이상이 발생하였다고 판단한다.
여기서, 상기 이상패턴은 적어도 두 개 이상의 단계로 세분화될 수 있다.
< 1. 센서 데이터 수신 및 저장 단계(502) >
상기 IoT 장치(11)에 장착된 센서(12)는 각종 상태를 센싱하여, 센서 데이터를 생성한다. 상기 센서 데이터는 상기 통신부(13)로 전송된다. 상기 통신부(13)는 상기 센서 데이터를 상기 서비스 서버(20)로 전송한다. 상기 서비스 서버(20)는 상기 센서 데이터를 저장한다.
상기 마스터 패턴의 생성 또는 갱신을 위한 센서 데이터(이하, 간단히 주기적 센서 데이터라 함)는 주기적으로 수신될 수 있다. 예를 들어, 1시간 마다, 또는 12시간 마다, 또는 24시간 마다, 또는 특정 요일마다, 상기 주기적 센서 데이터가 수신될 수 있다.
상기 이상 여부의 판단을 위한 센서 데이터(이하, 간단히 실시간 센서 데이터라 함)는 실시간으로 수신될 수 있다. 여기서, 상기 실시간이란, 이상 여부 판단을 위해 지속적으로 수신된다는 것을 의미한다. 따라서, 상기 실시간 센서 데이터 역시, 일정한 주기, 예를 들어, 초단위 또는 분단위 또는 시간 단위로 수신될 수 있다.
상기 실시간 센서 데이터들 중 상기 주기에 맞게 수신되는 실시간 센서 데이터는 상기 주기적 센서 데이터가 될 수도 있다.
즉, 상기 서비스 서버(20)는 지속적으로 수신되는 상기 실시간 센서 데이터들을 이용하여 상기 실시간 센서 데이터들의 이상 여부를 판단할 수 있으며, 상기 실시간 센서 데이터들 중, 기 설정된 특정 주기에 수신되는 실시간 센서 데이터를 상기 주기적 센서 데이터로 인식하여, 상기 마스터 패턴의 생성 또는 갱신에 이용할 수도 있다.
또한, 상기 서비스 서버(20)는 상기 특정 주기마다, 상기 센서(12)로 상기 주기적 센서 데이터를 요청하여 상기 주기적 센서 데이터를 수신할 수도 있다.
상기에서 설명된 바와 같이, 상기 실시간 센서 데이터 역시, 일정한 주기, 예를 들어, 초단위 또는 분단위 또는 시간 단위로 수신될 수 있으나, 이하에서는 설명의 편의를 위해, 상기 센서 데이터들이 상기 주기적 센서 데이터 및 상기 실시간 센서 데이터로 구분되어 본 발명이 설명된다.
< 2. 마스터 패턴 갱신 단계(504) >
상기 서비스 서버(20)는 상기 센서 데이터들로부터 추출된 세그먼트들의 군집화를 통해 마스터 패턴들을 생성하고, 상기 마스터 패턴들을 생성한 이후에 주기적으로 수신된 주기적 센서 데이터를 이용하여 비교 패턴을 생성하며, 상기 비교 패턴이 상기 마스터 패턴과 다르면, 상기 비교 패턴을 새로운 마스터 패턴으로 갱신한다.
예를 들어, 상기 서비스 서버(20)는 도 4의 (a)에 도시된 바와 같은 주기적 센서 데이터들로부터 추출된 세그먼트들을 이용하여, 도 4의 (b)에 도시된 바와 같이 상기 주기적 센서 데이터들을 군집화시킨다. 즉, 상기 서비스 서버(20)는 상기 주기적 센서 데이터들 간의 거리계산을 통해 유사한것을 모아 하나의 군집을 형성시킨다.
상기 서비스 서버(20)는 군집화된 상기 주기적 센서 데이터들을 평균값으로 표현하여 도 4의 (c)에 도시된 바와 같은 마스터 패턴을 생성한다. 도 4의 (c)에는 8개의 주기적 센서 데이터들로부터 생성된 세 개의 마스터 패턴들이 도시되어 있다.
상기 마스터 패턴들이 생성된 이후, 상기 서비스 서버(20)는 수신된 또 다른 주기적 센서 데이터를 이용하여 도 4의 (d)에 도시된 바와 같은 비교 패턴을 생성하며, 상기 비교 패턴이 상기 마스터 패턴과 다르면, 상기 비교 패턴을 새로운 마스터 패턴으로 갱신한다.
예를 들어, 상기 서비스 서버(20)는, 도 5에 도시된 바와 같이, 정해진 시간(ex. 매일 00시) 마다, 정의되지 않은 특정 구간(전날 00시~금일00시)에 대한 비교 패턴(생성 패턴)을 생성한다.
상기 서비스 서버(20)는, 상기 비교 패턴을 기존에 정의된 마스터 패턴들과 반복적으로 비교하여, 어느 하나의 마스터 패턴과의 패턴 매칭율이 임계치(ex.90%) 이상일 경우에는 상기 비교 패턴에 상기 어느 하나의 마스터 패턴의 상태정보를 매칭시킨다.
패턴 매칭율이 임계치(ex.90%) 이상이 아닌 경우, 상기 서비스 서버(20)는 상기 비교 패턴을 새로운 마스터 패턴으로 인식하여, 새로운 마스터 패턴으로 갱신시킨다. 즉, 상기 서비스 서버(20)는 상기 비교 패턴이 기 설정된 마스터 패턴들과 다르면, 상기 실시간 패턴을 새로운 마스터 패턴으로 갱신할 수 있다.
즉, 본 발명에 따르면, 관리자는 상기 마스터 패턴들만을 관리함으로써 점진적으로 패턴을 생성 및 관리할 수 있으며, 이를 통해 실시간으로 들어오는 실시간 센서 데이터에 대해 패턴매칭 및 이상 감지를 수행할 수 있다.
상기 마스터 패턴 갱신 단계(504)를 다시 설명하면 다음과 같다.
상기 마스터 패턴 갱신 단계(504)는 점진적 군집화 단계가 될 수 있다.
상기 마스터 패턴은 실시간으로 수집된 실시간 센서 데이터가 이상 또는 정상인지의 여부를 판단하기 위한 기준 패턴이 된다.
즉, 상기 점진적 군집화 단계(상기 마스터 패턴 갱신 단계)에서는 기 설정된 주기마다 주기적 센서 데이터들이 수집되어, 마스터 패턴들이 생성 또는 갱신될 수 있다.
부연하여 설명하면, 본 발명이 최초로 수행되는 단계에서는 상기 마스터 패턴이 존재하지 않는다. 따라서, 본 발명이 최초로 수행되는 단계에서는, 상기 센서(12)로부터 수집된 주기적 센서 데이터들에 의해 생성된 패턴들은, 바로 마스터 패턴들이 될 수 있다.
상기 마스터 패턴들이 생성된 이후에 수집된 주기적 센서 데이터에 의해 생성된 패턴(비교 패턴)이, 기 생성되어 있는 마스터 패턴들 중 어느 하나와 유사하면, 상기 마스터 패턴이 유지된다. 그러나, 상기 마스터 패턴들이 생성된 이후에 수집된 주기적 센서 데이터에 의해 생성된 패턴(비교 패턴)이, 기 생성되어 있는 마스터 패턴들과 유사하지 않으면, 상기 패턴(비교 패턴)은 마스터 패턴으로 생성 또는 추가, 즉, 갱신될 수 있다.
상기 마스터 패턴은 정상 패턴 또는 이상 패턴으로 구분될 수 있으며, 특히, 상기 이상 패턴은 주의패턴, Level1, Level2 등으로 세분화될 수 있다. 상기 정상 패턴 역시, 세분화가 필요한 경우에는 다양한 레벨로 세분화될 수 있다.
상기 정상 패턴 또는 상기 이상 패턴에 대한 분류 및 정의는, 상기 서비스 서버(20)의 관리자에 의해 설정될 수 있다.
예를들어, 심전도 파형을 비전공자들이 보면 무엇이 이상한지의 여부가 파악되기 어렵다. 그러나, 의사들은 해당 파형(일련의 패턴)만 봐도 이상 상태(STEMI, NSTEMI, ST-elevation 등)에 대한 패턴을 분류할 수 있다. 따라서, 각 서비스 서버(20)의 관리자들은 상기 주기적 센서 데이터들에 의해 생성된 상기 마스터 패턴을 정상 패턴 또는 이상 패턴 등으로 구분하여 설정할 수 있다.
즉, 관리자는, 최초에 생성된 마스터 패턴들 및 이후에 갱신되는 마스터 패턴들 각각을 다양한 분류 방법에 따라, 정상 패턴 또는 정상 패턴으로 설정해 주어야 한다. 설정된 정보는 상기 마스터 패턴과 매칭되어 저장된다.
예를 들어, 본 발명에 따른 방법에 의한 서비스가 최초에 구현될 때, 대략 50개 정도의 마스터 패턴들이 생성될 수 있으며, 이 경우, 상기 마스터 패턴들은 정상 패턴 또는 이상 패턴으로 설정되어 있지 않다. 즉, 상기 마스터 패턴들이 생성된 직후에는 정상 패턴 또는 이상 패턴으로 설정되어 있자 않다(undefined 상태).
이 경우, 상기 관리자는 상기 50개 마스터 패턴들을 정상 패턴, 이상 패턴, 위험 패턴 등으로 설정할 수 있으며, 설정된 정보는 상기 마스터 패턴과 매칭되어 저장된다.
이후, 주기적인 패턴매칭을 통해 새로운 마스터 패턴들이 갱신되었다면, 갱신된 마스터 패턴들 역시, 상기 관리자에 의해, 이상 패턴, 위험 패턴 등으로 설정될 수 있다.
따라서, 본 발명에 따른 방법에 의한 서비스가 구현되는 초반에는, 상기한 바와 같은 분류 및 정의 작업이 필요할 수밖에 없다. 그러나, 서비스가 지속적으로 제공되면, 새롭게 갱신되는 마스터 패턴의 수가 감소될 수 있으므로, 이에 대한 설정 작업도 감소될 수 있다.
예를 들어, 초반에 100개의 마스터 패턴들의 상태가 정의되었다면, 다음 날에는 상기 100개의 마스터 패턴들과 매칭되는 비교 패턴들이 80개이고 새롭게 마스터 패턴으로 갱신되는 비교 패턴들이 20개가 될 수 있고, 그 다음 날에는 이미 등록되어 있는 마스터 패턴들과 매칭되는 비교 패턴들이 95개이고 새롭게 마스터 패턴으로 갱신되는 비교 패턴들이 5개가 될 수 있고, 그 다음 날에는 이미 등록되어 있는 마스터 패턴들과 매칭되는 비교 패턴들이 99개이고 새롭게 마스터 패턴으로 갱신되는 비교 패턴이 1개가 될 수 있으며, 그 이후에는 새롭게 마스터 패턴으로 갱신되는 비교 패턴이 없을 수도 있다. 따라서, 서비스가 진행될 수록, 새롭게 갱신되는 마스터 패턴의 수는 현저히 줄어들 수 있다.
< 3. 이상 패턴 여부 감지 단계(506) >
상기 서비스 서버(20)는 실시간으로 수신된 상기 실시간 센서 데이터로부터 실시간 패턴을 생성하고, 상기 실시간 패턴을 상기 마스터 패턴과 비교하여, 상기 실시간 패턴이 이상 패턴인지의 여부를 감지하며, 이상 패턴 여부를 관리자 단말기(14)로 전송한다.
이를 위해, 상기 서비스 서버(20)는 상기 센서(12)로부터 상기 실시간 센서 데이터를 수신하여 실시간 패턴을 생성하며, 상기 실시간 패턴을 상기 마스터 패턴과 비교하여, 이상 여부를 감지한다.
즉, 상기 서비스 서버(20)는, 상기 마스터 패턴 갱신 단계(504)와 관련하여 설명된 바와 같이, 우선적으로 복수의 주기적 센서 데이터들을 이용하여, 적어도 하나의 마스터 패턴을 생성하고, 그 이후에도, 지속적으로, 주기적 센서 데이터들을 이용하여 마스터 패턴을 갱신한다.
이후, 실제로 이상 여부를 감지하고자 하는 실시간 센서 데이터가 수집되면, 상기 서비스 서버(20)는 상기 실시간 패턴을 상기 마스터 패턴들과 비교하여, 이상 여부를 감지할 수 있다.
부연하여 설명하면, 상기 서비스 서버(20)는, 도 6에 도시된 바와 같이, 정해진 시간(ex. 2분주기) 마다 수신된 상기 실시간 센서 데이터를 이용해, 상기 실시간 패턴을 생성하고, 상기 실시간 패턴을 상기 마스터 패턴들과 매칭시키며, 이를 통해 상기 실시간 센서 데이터에 대한 상태와 이후 발생할 수 있는 상태정보를 예측할 수 있다.
상기 서비스 서버(20)는 상기 실시간 패턴과 상기 마스터 패턴들을 비교하여, 상기 실시간 패턴의 이상 여부를 감지할 수 있으며, 이상 여부를 상기 사용자 단말기(14) 또는 상기 출력부(25)로 전송할 수 있다.
이상 패턴 여부 감지 단계(506)를 다시 설명하면 다음과 같다.
이상 패턴 감지 단계에서는 수집된 실시간 센서 데이터에 의해 생성된 실시간 패턴이 마스터 패턴들과 비교된다. 상기 마스터 패턴은 상기 마스터 패턴 갱신 단계(504)에서 설명된 바와 같이, 정상 패턴 또는 이상 패턴으로 설정되어 있다.
따라서, 수신된 실시간 센서 데이터에 의해 생성된 실시간 패턴이 마스터 패턴들 중 정상을 나타내는 마스터 패턴과 유사하면, 상기 실시간 센서 데이터는 정상으로 판단되며, 상기 실시간 패턴이 마스터 패턴들 중 이상 상태를 나타내는 마스터 패턴과 유사하면, 상기 실시간 센서 데이터는 이상 상태로 판단된다.
즉, 본 발명은 상기 마스터 패턴 갱신 단계(504)를 통해 정의된 마스터 패턴들을 기반으로, 실시간 패턴을 비교하여, 상기 실시간 패턴과 매칭되는 마스터 패턴의 상태정보에 따라, 상기 실시간 패턴의 상태정보를 예측하기 때문에, 정상 상태, 이상 상태, 위험 상태 및 기타 다양한 상태 정보가 파악될 수 있다.
본 발명을 정리하면 다음과 같다.
첫째, 상기 센서 데이터 수신 및 저장 단계(502)에서 상기 센서(12)는 다양한 정보들을 감지할 수 있다.
예를 들어, 최근 스마트 시티의 일환으로 스마트 가로등(다양한 센서가 부착된 가로등)을 통해 사회안전망을 구축하는 시스템이 개발되고 있으며, 이를 위해 다양한 센서 데이터들이 활용되고 있다.
본 발명에 적용되는 센서 데이터는, 예를 들어, 상기 스마트 가로등에 장착된 센서(12)로부터 수집된 데이터가 될 수 있다.
상기 스마트 가로등(사물 인터넷 장치(10))에 장착된 적어도 하나의 센서(12)로부터는 예를 들어, 전력정보(전압, 전류, 역률, 유효전력, 무효전력, 피상전력, 유효전력량 등의 센싱정보)와 같은 센서 데이터들이 수집될 수 있다.
특히, 상기 센서(12)가 조도센서인 경우 밝기에 대한 센서 데이터가 수집될 수 있고, 디밍센서인 경우 깜박임에 대한 센싱 데이터가 수집될 수 있고, 진동센서인 경우 X,Y,Z 축별로 진동에 대한 센서 데이터가 수집될 수 있으며, 소음센서인 경우 노이즈데시벨, 노이즈주파수 등과 같은 센서 데이터가 수집될 수도 있다. 또한, 각 센서의 상태정보(센서가 작동하는지에 대한 정보)와 같은 센서 데이터들이 수집될 수도 있다.
또한, 추가적으로, 기온, 습도, 미세먼지, 적외선 등 일상생활에 적용되어지는 센서 데이터들이 센서(12)들을 통해 감지될 수 있다.
이러한 센서(12)들은 특정 상태가 감지되었을 때 센서 데이터들을 발생시킬수도 있지만, 특정 구간(예를 들어, 1초, 10초 마다 등)이나 실시간으로 센서 데이터들을 발생할수도 있다.
이러한 센서 데이터들은, 분석을 통해 센서의 상태, 센서 간의 상관관계(A센서가 고장나면 B센서도 같이 고장나더라), 데이터 이상 감지, 위험상황 감지 및 예측 등에 활용될 수 있습니다.
둘째, 상기 마스터 패턴 갱신 단계(504)를 설명하면 다음과 같다.
상기 마스터 패턴 갱신을 위해서는 수신된 상기 주기적 센서 데이터들에 대한 데이터 전처리 및 군집화 학습이 요구된다.
실제의 센서 데이터의 경우, 결측치(missing value), 이상치(noise, 정상적이지 않은 값), 불필요한 속성정보 등이 포함되어 있다. 따라서, 올바른 분석을 위해 초기 센서 데이터를 정제 및 가공하는 단계를 거쳐야만, 원하는 형태의 데이터가 생성될 수 있으며, 이러한 정제 및 가공 단계를 통칭하여 데이터 전처리라 한다.
예를 들어, 데이터에 포함된 대상의 평균키와 몸무게를 계산할 경우, 누군가 정보를 입력하는 과정에서 잘못 입력하여 키를 190이 아닌 290cm로 입력할 수 있으며, 이 경우, 잘못 입력된 값으로 인해 평균값이 확 올라가는 경우가 발생할 수 있다. 이런 경우 해당 정보가 제거될 수 있다.
또한 분석하고자 하는 결과는 키와 몸무게 뿐이기 때문에 나이, 성별 등의 정보는 불필요한 정보로서 제거될 수 있다. 이러한 일련의 변환과정이 데이터전처리가 될 수 있다.
군집화(Clustering)라는 것은, 유사한 것들끼리 하나의 그룹으로 묶는 방법을 의미한다. 학교에서 전교생을 키로 군집화를 한다면 150cm대, 160cm대, 170cm대에 속하는 사람끼리 묶게되며, 이러한 방법이 군집화 방법이다.
군집화 학습은 머신러닝에 포함되는 기법이다. 군집화에 대해 도 4 참조하여 설명된다.
기존데이터(ex. 가로등별 전압데이터)가 있다고 가정하면, 8개의 노드로부터 각각의 전압 데이터가 실시간으로 들어오게 된다. 도 4는 1시간 동안 들어온 주기적 센서 데이터들을 나타낸다고 가정된다.
이 경우, 1시간 구간의 실시간 센서 데이터들에 대해서 군집화 학습이 이루어진다. 군집화는 각 데이터간의 거리를 계산하여 유사한 거리(유형)의 데이터들끼리 하나의 군집으로 묶고 대표값으로 포함된 데이터의 평균을 구한다. 이렇게 구해진 대표값이 하나의 마스터 패턴이 된다.
수많은 센서 데이터들에 대해서, 원하는 수만큼의 마스터 패턴들이 생성되고, 생성된 마스터 패턴들은 이후 실시간으로 들어오는 새로운 데이터(실시간 센서 데이터)가 어떤 패턴을 가지는지 비교할 수 있는 기반 패턴이 된다.
네이버에서 “XXX특허”라고 타이핑을 했을 때 “XXX특허상표법률사무소”라고 연관검색어를 보여주는 것 역시 비슷한 원리이다. “XXX특허”와 매칭이 되는 단어들이 기존에 저장된 사전(패턴 매칭)에서 가장 일치하는 키워드로서 보여주게(예측) 되는 것과 비슷한 원리이다.
셋째, 상기 이상 패턴 여부 감지 단계(506)에서, 상기 이상 패턴에는 다음과 같은 정보들이 포함될 수 있다.
예를 들어, 수집되는 실시간 센서 데이터들은 시간값과 연계하여 하나의 시계열 데이터를 가지게 된다.
이러한 시계열 실시간 센서 데이터를 일정 구간으로 구분지어서 보게 된다면, 하나의 패턴이 형성될 수 있다.
이러한 패턴들은 대부분의 경우 해당 구간별로 일반적인 패턴(추세)을 가진다.
예를 들어, 하루하루 측정되는 기온은, 새벽에 가장 낮았다가, 정오쯤 최고로 올라가며, 저녁이 되면서 다시 낮아지는 패턴을 가진다.
만약, 평균적으로 15분마다 1도씩 기온이 오르거나 내려간다고 할때, 이상 패턴은 평균적이지 않은 기온의 변화를 의미한다.
예를 들어, 주식의 경우, 갑자기 변동폭이 상승 또는 하락한다면, 이것은 예상하지 못했던 이상 패턴이 되는 것과 같은 원리이다.
상기에서 언급한 전력정보를 통한 이상 패턴의 예는 다음과 같다.
가로등에 전력이 공급되는 시점에서의 전압은 약 220V~ 240V 구간을 유지한다. 그러나, 어떠한 이유로 갑작스럽게 전원이 차단되거나, 과전압, 과전류 등으로 인해, 센싱되는 값이 일반적인 값과 크게 다른 경우, 이상 패턴이 감지된 것으로 판단될 수 있다.
전압이 230V에서 10분 동안 200V까지 떨어지다가 이후에 0V로 전압이 차단된다는 패턴이 과거의 센서 데이터를 학습하여 찾아진다면, 전압이 230V 부터 차츰 떨어지는 9분간의 데이터의 정보를 바탕으로, 향후 1분 후에 전압이 200V로 떨어지게 된다면, 전원공급이 차단될 것이라는 예측이 가능하다.
상기한 바와 같은 이상 패턴은 상기 센서(12)가 적용되는 IoT 장치(11)와 해당 분야의 실무자들의 판단에 의해 다양하게 설정될 수 있다. 즉, 실무자들은 생성된 상기 마스터 패턴이 정상 상태인지 또는 이상 상태인지의 여부를 판단하여, 이상 상태라고 판단되면, 상기 마스터 패턴을 이상 패턴으로 설정할 수 있다. 이 경우, 이상 상태가 세분화될 수 있다면, 상기 이상 패턴도 세분화될 수 있다.
본 발명은 실무자들이 상기 마스터 패턴들 중 이상이 있다고 판단되는 마스터 패턴을 이상 패턴으로 설정하면, 이러한 이상 패턴을 지속적으로 학습하고, 매칭을 통해, 상기 실시간 센서 데이터의 이상 여부를 예측할 수 있다.
넷째, 본 발명은 다음과 같은 종래의 문제를 개선하기 위해 제안되었다.
기존의 통계 분석방법은 실시간 분석이 아닌 과거에 저장되어있는 데이터들을 모두 가져와서 분석하는 사후분석이라고 할 수 있다. 예를 들어, 과거 1년 동안의 데이터를 분석하였더니, 23:00~23:30 사이에 전력부하가 발생했다는 분석이 이루어질 수 있다.
본 발명은 머신러닝을 이용한 분석 방법을 이용한다. 머신러닝을 이용한 분석 방법은, 과거 1년 동안의 데이터를 학습해서 하나의 모델을 만들고, 새로운 데이터가 들어왔을 때, 이미 학습되어있는 마스터 패턴과의 매칭을 통해 새로운 데이터에 대한 패턴을 분류할 수 있다.
본 발명에 적용되는 기본적인 학습을 통한 패턴 예측의 메카니즘은 종래와 동일하다.
그러나, 종래의 방법은 학습 데이터(과거 데이터)와 테스트 데이터(매칭하고자 하는 새로운 데이터)가 분리된 분석 방법이다. 즉, 종래의 방법은, 새로 발생하는 데이터들을 고려하지 않고 이전에 학습된 패턴만을 이용하여 분석을 수행하게 되며, 최근 데이터까지 포함하여 학습을 하기 위해선 처음부터 다시 학습을 해야하기 때문에 기존에 만들어졌던 기반패턴들은 무시된다.
따라서, 기존패턴을 유지하면서, 새롭게 생성된 데이터들까지 반영된 학습을 지속적으로 하기 위해서는, 본 발명에서와 같이, 점진적인 군집화 학습방법이 필요하다.
즉, 본 발명은 학습된 기반 패턴(마스터 패턴)을 기준으로 실시간 수집되는 실시간 센서 데이터에 대한 패턴 매칭을 통해 예측을 수행한다. 본 발명은 일정기간(예를 들어, 매일 00시)이 되면, 그 날(당일 00~24시까지) 발생한 비교 데이터들을 함께 군집화 학습을 함으로써, 기존에 저장되어있던 패턴의 매칭율(90%이상 일치하지 않으면 새로운 마스터 패턴으로 간주) 계산을 통해 차이가 있는 비교 패턴을 새로운 패턴(마스터 패턴)으로 갱신하여, 기존의 마스터 패턴들을 업데이트할 수 있다.
본 발명에 의하면, 새로운 마스터 패턴들이 언제 생성되었고, 어떠한 비교 패턴들과 실시간으로 매칭되는지에 대한 이력관리가 가능해질 수 있다.
이하에서는, 도 5 및 도 6이 간단히 설명된다.
첫째, 도 5는 마스터 패턴 갱신 단계(504)와 관련된 것이다.
예를 들어, 도 5에 도시된 바와 같이, 2017/11/08(00:00)에 스케쥴러에 의해 11/07(00:00:00) ~ 11/08(00:00) 사이의 주기적 센싱 데이터들이 저장소로부터 추출된다. 이후, 세그먼트 추출과 군집화를 통해 n개의 클러스터(군집)들이 생성된다. 예를 들어 10개의 군집이 생성될 수 있다.
각각의 군집은 기존에 저장되어있는 마스터 패턴(MP1~MP5)과 패턴매칭을 수행하고, 매칭율이 90% 이상인 경우, 마스터 패턴의 매칭패턴(P1은 MP1과 매칭) 정보가 저장된다. 그러나, 90% 미만일 경우 (P3, Pn)는 새로운 패턴으로 간주되어, 새로운 마스터 패턴(MP6, MP7)으로 등록(갱신)된다.
이와 같이 갱신된 마스터 패턴들(MP1~MP7)은, 하루 동안 실시간으로 수집되는 실시간 센서 데이터들에 대한 패턴매칭을 위해 기반패턴으로 사용된다. 상기 마스터 패턴들은 이상 패턴 여부 감지 단계(506)에서 이용된다.
다음날, 11/09(00:00)에 또 하루치의 주기적 센싱 데이터(11/08(00:00:00) ~ 11/09(00:00:00)들을 대상데이터로하여 군집화가 수행된다.
이 경우, 전날 새롭게 추가 갱신되었던 마스터 패턴들을 대상으로 유사도 매칭이 수행된다.
신규 생성된 P3 패턴은 다시 마스터 패턴(MP8)으로 추가 갱신된다.
상기한 바와 같은 과정이 특정 주기(예를 들어 하루) 마다 수행됨으로써 점진적으로 마스터 패턴들이 갱신될 수 있다.
둘째, 도 6은 이상 패턴 여부 감지 단계(506)와 관련된 것이다.
즉, 도 6에 도시된 바와 같이, 실시간으로 저장되는 실시간 센서 데이터에 대해 즉각적인 패턴매칭이 이루어지며, 이에 따라, 이상 패턴 여부가 예측될 수 있다. 우선, 매일 주기적으로 생성되는 마스터 패턴들을 대상으로, (2분단위일 경우) 현재시간을 기준으로 약 1시간 구간의 실시간 센서 데이터가 수집되며, 이를 하나의 세그먼트로 하여, 상기 실시간 센서 데이터와 마스터 패턴들 간의 매칭이 수행된다.
이때, 마스터 패턴과의 매칭율이 계산되며, 가장 유사한 마스터 패턴에 대해, 정해진 Top-k에 따라 우선 순위로 매칭된 마스터 패턴이 추출된다. top-k가 3일 경우, 매칭율 계산을 통해 1, 2, 3순위의 마스터 패턴들이 저장되고, 이들에 대해, 예측구간을 포함한 예상 패턴이 표현될 수 있다.
이러한 매칭을 통해, 실시간으로 매칭되는 패턴의 변화가 파악될 수 있으며, 사전에 예상되는 이상발생 가능성에 대한 대비가 이루어질 수 있다.
예를들어, Anomaly 상태를 가진 패턴이, 13:34:00에는 매칭되지 않았지만, 이후, 2분후에는 Top-2 순위로 매칭이 된다면, 이후에, Anomaly 상태를 가진 패턴이 매칭될 수도 있다는 가정하에, 관리자는 현재의 상태를 주의깊게 살펴보게 된다.
상기한 바와 같이, 매칭되는 패턴의 우선순위가 점차 올라가게 되어, 최종적으로 Top-1 순위의 패턴으로 매칭이 된다면, 이상 패턴의 발생확률은 올라가게 된다.
즉, 상기 실시간 패턴이 이상 패턴인지의 여부를 감지하는 단계에서, 상기 실시간 패턴과 매칭되는 마스터 패턴은 적어도 두 개 추출될 수 있으며, 2순위로 추출된 마스터 패턴은 이후의 상태의 예측에 이용될 수 있다.
도 7은 본 발명에 따른 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법을 구체적으로 나타낸 일실시예 흐름도이다. 이하에서는, 도 7을 참조하여, 본 발명에 따른 센서 데이터의 이상 패턴 감지 방법이 다시 설명된다.
우선, ①단계는 다음과 같다. 다양한 IoT 디바이스(센서)(12)들로부터 센서 데이터가 수집되면, 상기 센서 데이터들은 상기 서비스 서버(20)와 같은 데이터 저장소(분산처리/저장이 가능한 분산저장소)에 실시간으로 저장된다. 데이터 분석은 센서(12)로부터 바로 센서 데이터를 받아서 수행될 수도 있지만, 센서(12)에서 전달된 센서 데이터를 일단 저장소에 저장한 후, 그 저장소로부터 센서 데이터를 가져와서 수행될 수도 있다.
다음, ②단계는 ①단계에서 설명된 상기 저장소로부터 원하는(분석하고자 하는) 센서 데이터를 가져오는 단계이다. 즉, ②단계는 1분, 한 시간, 12시간, 하루 또는 한달과 같이 기 설정된 범위의 센서 데이터의 쿼리를 저장소로부터 가져오는 단계이다.
③단계는 패턴매칭을 할 것인지 주기적인 군집화를 할 것인지를 결정하는 단계이다.
프로그래밍 상에서 ②단계를 수행하면서 Type값을 포함해서 센서 데이터가 넘어오게 된다.
예를들어, 매일 00:00가 되면 프로그래밍되어있는 스케쥴러가 자동으로 하루치의 데이터를 저장소로부터 가져와서, 타입값을 포함된 정보를 분석모듈에 던져줄 수 있다.
다른 예로서, 누군가 첨부파일을 포함해서 이메일을 보낼 때, 이 메일은 중요메일로 체크해서 보낼 경우, 이 중요하다는 의미가 분석타입이 될 수 있다.
③단계에서 이건 마스터 패턴을 갱신하는 데이터야라고 알려주면, 본 발명은 점진적 군집화단계, 즉, 마스터 패턴 갱신 단계(504)를 수행하게 되고, 2분마다 매칭하는 데이터야라고 알려주면, 본 발명은 이상 패턴을 감지하는 단계(506)를 진행한다.
상기 점진적 군집화 단계, 즉, 상기 마스터 패턴 갱신 단계(504)를 설명하면 다음과 같다.
④단계는 주기적 센싱 데이터에 대해 구간화 및 세그먼트를 추출하는 단계이다.
주기적 센싱 데이터에 대해, 3칸짜리(구간) 세그먼트를 1칸(sliding length)마다 생성한다고 가정하면, 세그먼트1(8,5,10), 세그먼트2(5,10,7).... 세그먼트8(12,90,13)과 같이 8개의 세그먼트가 추출될 수 있다.
⑤ 단계에서는 추출된 세그먼트들을 대상으로 군집화가 수행된다.
⑥ 단계에서는 기존에 구축되어진 마스터 패턴과 패턴매칭이 수행된다.
만약, 초기단계에 마스터 패턴이 없을 경우, ⑥ 단계는 스킵될 수 있으며, 군집화에 의해 생성된 패턴은 바로 마스터 패턴으로 저장될 수 있다.
⑦단계에서는, 각 군집화된 세그먼트와 마스터 패턴과의 매칭율이 계산되고, 매칭율이 90% 이상일 경우는 기 설정되어 있는 마스터 패턴의 상태정보가 저장되고, 매칭율이 90% 미만일 경우는 신규 마스터 패턴으로 임시 저장되며, 모든 세그먼트들의 매칭율계산이 끝날때까지 상기 ⑥단계, ⑦단계, ⑧단계 또는 ⑨단계, 다시, ⑥단계가 반복적으로 수행된다.
이후, 반복이 완료되면, ⑨단게에서 새롭게 생성된 신규 패턴은 마스터 패턴에 추가되어 갱신되며, 군집화 완료 알람 및 결과가 관리자에게 시각적으로 전달된다.
상기 이상 패턴 여부 감지 단계(506)를 설명하면 다음과 같다.
⑩단계 및 ⑪단계는 ④단계 및 ⑥단계외 동일하다. ⑤단계가 생략된 이유는 대상이 되는 실시간 센서 데이터에서 세그먼트가 추출되기 때문이며, 추출된 세그먼트 자체가 하나의 패턴이 되기 때문이다. 즉, 하나의 실시간 센서 데이터에서 세그먼트가 추출되기 때문에, 세그먼트들에 대한 군집화 과정인 ⑤단계는 생략될 수 있다.
⑫단계는 매칭을 위한 마스터 패턴을 저장소로부터 가져온다. 이 경우, 도 7에 도시된 흐름도 상에서는, 수집 및 저장 단계에서 마스터 패턴 정보가 전달되는 것으로 도시되어 있으나, 상기 군집화 단계와 동일하게, ②단계의 데이터 추출단계에서 추출된 대상 데이터(실시간 센서 데이터)와 마스터 패턴이 함께 전달될 수 있다.
⑬단계에서는, 마스터 패턴들 중에서, 상기 대상 데이터, 즉, 상기 실시간 센서 데이터와 가장 유사한 마스터 패턴이 추출(매칭)된다.
만약, Anomaly 상태 정보를 가지는 마스터 패턴과 매칭이 되었다면, 상기 실시간 센서 데이터는 이상 상태 또는 이상 패턴으로 감지되며, 이와 관련된 정보가 알람 및 시각화를 통해 관리자에게 전달된다. 이상 상태 또는 이상 패턴이 아닌 경우, 정상 정보 또는 경고 레벨이 관리자에게 전달될 수 있다.
⑭단계에서는, 상기 실시간 센서 데이터가 임계치(여기서 임계치는 일종의 허용치의 범위)를 벗어났는지의 여부가 판단될 수 있다.
임계치를 벗어났다고 판단된 경우는, 해당값에 대해 표시를 해주고, 상기 실시간 센서 데이터는 이상 패턴으로 판단될 수 있다.
임계치를 벗어나지 않았다고 판단된 경우는, 상기 실시간 센서 데이터가 정상인 경우이다. 이 경우, 정상적인 상태라는 정보가 시각화되어 관리자에게 전달될 수 있다.
⑮단계에서는, 임계치를 벗어난 데이터가 추출되어 관리된다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.  그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
11: IoT 장치 12: 센서
13: 통신부 14: 관리자 단말기
20: 서비스 서버

Claims (4)

  1. 사물 인터넷(IoT) 장치에 장착된 센서로부터 센서 데이터들을 수신하여, 상기 센서 데이터들을 저장하는 단계;
    주기적으로 수신된 상기 센서 데이들을 이용하여 마스터 패턴을 갱신하는 단계; 및
    실시간으로 수신된 상기 센서 데이터를 이용하여 실시간 패턴을 생성하며, 상기 실시간 패턴을 상기 마스터 패턴과 매칭시켜, 상기 실시간 패턴이 이상 패턴인지의 여부를 감지하는 단계; 및
    상기 감지에 따른 이상 패턴 여부를 사용자 단말기로 전송하는 단계를 포함하며,
    상기 마스터 패턴을 갱신하는 단계는,
    주기적으로 수신된 상기 센서 데이터들을 이용하여, 군집화를 위한 세그먼트들을 추출하는 단계;
    추출된 세그먼트들의 군집화를 통해 적어도 하나의 마스터 패턴을 생성하는 단계;
    적어도 하나의 상기 마스터 패턴을 생성한 후 주기적으로 수신된 센서 데이터가 상기 마스터 패턴과 다른 패턴을 가지면, 상기 다른 패턴을 또 다른 마스터 패턴으로 갱신하는 단계; 및
    생성 또는 갱신된 상기 마스터 패턴을 정상 패턴 또는 이상 패턴으로 설정하는 단계를 포함하는 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법.
  2. 제 1 항에 있어서,
    상기 실시간 패턴이 이상 패턴인지의 여부를 감지하는 단계는,
    상기 실시간 패턴이 상기 정상 패턴과 매칭되면 상기 실시간 패턴을 정상이라고 판단하며, 상기 이상 패턴과 매칭되면 이상이 발생하였다고 판단하는 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법.
  3. 제 1 항에 있어서,
    상기 이상패턴은 적어도 두 개 이상의 단계로 세분화되는 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법.
  4. 제 1 항에 있어서,
    상기 실시간 패턴이 이상 패턴인지의 여부를 감지하는 단계에서, 상기 실시간 패턴과 매칭되는 마스터 패턴은 적어도 두 개 추출될 수 있으며, 2순위로 추출된 마스터 패턴은 이후의 상태의 예측에 이용되는 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법.
KR1020170171318A 2017-12-13 2017-12-13 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법 KR20190078685A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170171318A KR20190078685A (ko) 2017-12-13 2017-12-13 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171318A KR20190078685A (ko) 2017-12-13 2017-12-13 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법

Publications (1)

Publication Number Publication Date
KR20190078685A true KR20190078685A (ko) 2019-07-05

Family

ID=67224981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171318A KR20190078685A (ko) 2017-12-13 2017-12-13 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법

Country Status (1)

Country Link
KR (1) KR20190078685A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210006254A (ko) * 2019-07-08 2021-01-18 유니셈(주) 칠러의 고장 예지 시스템과 방법
KR20210111502A (ko) * 2020-03-03 2021-09-13 권상인 예지정비장치 및 방법
KR20220092629A (ko) * 2019-11-14 2022-07-01 엔비전 디지털 인터내셔널 피티이 리미티드 IoT 디바이스의 알람 규칙 구성 방법 및 장치, 디바이스, 및 저장 매체
WO2024036530A1 (zh) * 2022-08-17 2024-02-22 北京小米移动软件有限公司 态势感知的处理方法、装置、通信设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210006254A (ko) * 2019-07-08 2021-01-18 유니셈(주) 칠러의 고장 예지 시스템과 방법
KR20220092629A (ko) * 2019-11-14 2022-07-01 엔비전 디지털 인터내셔널 피티이 리미티드 IoT 디바이스의 알람 규칙 구성 방법 및 장치, 디바이스, 및 저장 매체
US11811586B2 (en) 2019-11-14 2023-11-07 Envision Digital International Pte. Ltd. Method and apparatus for configuring alarm rule of IoT device, device, and storage
KR20210111502A (ko) * 2020-03-03 2021-09-13 권상인 예지정비장치 및 방법
WO2024036530A1 (zh) * 2022-08-17 2024-02-22 北京小米移动软件有限公司 态势感知的处理方法、装置、通信设备及存储介质

Similar Documents

Publication Publication Date Title
US20220006825A1 (en) Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
KR20190078685A (ko) 점진적 군집화를 이용한 센서 데이터의 이상 패턴 감지 방법
CN108415789B (zh) 面向大规模混合异构存储系统的节点故障预测系统及方法
US10498585B2 (en) Sensor data analytics and alarm management
CN109815084A (zh) 异常识别方法、装置和电子设备及存储介质
JP5875726B1 (ja) 異常予兆診断装置のプリプロセッサ及びその処理方法
WO2016112209A1 (en) Machine learning-based fault detection system
KR20010086121A (ko) 기술적 프로세스에 있어서 센서 예측을 위한 케이스베이스 추론 시스템의 방법 및 장치
CN106600076B (zh) 一种转塔式rto废气处理设备的监控数据分析与预警方法
CN116823227A (zh) 一种基于物联网的智能设备管理系统及方法
CN115441456A (zh) 一种电网调度支持系统故障诊断方法及装置
CN113254250B (zh) 数据库服务器异常成因检测方法、装置、设备和存储介质
CN108446202B (zh) 一种机房设备的安全状况的判断方法
CN108989083B (zh) 云环境下基于混合策略的故障检测性能优化方法
CN102428420B (zh) 分析消息档案的方法
WO2022054256A1 (ja) 異常検知装置
CN117543791A (zh) 电源的供电检测方法、装置、设备及存储介质
EP3839743B1 (en) System-state monitoring method and device and storage medium
WO2024001253A1 (zh) 空调故障检测方法、装置、空调及电子设备
CN116714469A (zh) 充电桩健康监测方法、装置、终端及存储介质
US11543808B2 (en) Sensor attribution for anomaly detection
CN115901004A (zh) 一种热镀锌生产线锌锅感应加热器健康监测系统及方法
CN114297034A (zh) 云平台监控方法及云平台
KR101739847B1 (ko) 비정형 데이터의 패턴분석을 통한 자기학습 엔진 시스템 및 그 방법
WO2021087896A1 (en) Data-driven graph of things for data center monitoring copyright notice

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application