KR20210132549A - 어노멀리 검출방법 및 그 장치 - Google Patents

어노멀리 검출방법 및 그 장치 Download PDF

Info

Publication number
KR20210132549A
KR20210132549A KR1020200051094A KR20200051094A KR20210132549A KR 20210132549 A KR20210132549 A KR 20210132549A KR 1020200051094 A KR1020200051094 A KR 1020200051094A KR 20200051094 A KR20200051094 A KR 20200051094A KR 20210132549 A KR20210132549 A KR 20210132549A
Authority
KR
South Korea
Prior art keywords
time
series data
value
learning
anomaly
Prior art date
Application number
KR1020200051094A
Other languages
English (en)
Other versions
KR102343139B9 (ko
KR102343139B1 (ko
Inventor
추현승
고태진
범정현
티엔 빈 당
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020200051094A priority Critical patent/KR102343139B1/ko
Publication of KR20210132549A publication Critical patent/KR20210132549A/ko
Application granted granted Critical
Publication of KR102343139B1 publication Critical patent/KR102343139B1/ko
Publication of KR102343139B9 publication Critical patent/KR102343139B9/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/067—Generation of reports using time frame reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12—Detection or prevention of fraud
    • H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

어노멀리 검출방법 및 그 장치가 개시된다. 본 명세서의 일 실시예에 따른 어노멀리 검출방법은, 네트워크로부터 학습용 시계열 데이터(time series data)를 수신하고, 상기 학습용 시계열 데이터를 미리 설정된 조건에 기초하여 복수의 구간(interval)으로 시분할하고, 상기 시분할된 복수의 구간에 포함된 학습용 시계열 데이터에 기초하여 임계값을 설정하고, 상기 네트워크로부터 수신되는 시험용 시계열 데이터로부터 지표값(indicator value)을 산출하고, 산출된 상기 지표값과 임계값을 비교하여 어노멀리(anomaly)를 검출하여, 신호 이상을 보다 민감하게 검출할 수 있다.

Description

어노멀리 검출방법 및 그 장치{METHOD AND APPARTUS FOR ANOMALY DETECTIOIN}
본 명세서는 어노멀리 검출방법 및 그 장치에 관한 것이다.
무선 센서 네트워크(Wireless Sensor Network, WSN)를 통해 수집되는 데이터는 다양한 외부 요인(환경 간섭, 센서 노화, 배터리 방전, 하드웨어 오작동, 악의적인 공격 등)에 의하여 결함될 수 있다. 비정상적 데이터(anomaly data)는 현상에 대하여 잘못된 정보를 제공할 뿐만 아니라 부적절한 결정의 원인이 된다. 수집되는 데이터를 정확하고 안정적으로 제공하기 위해서는 효율적인 데이터의 결함을 탐지하는 알고리즘을 개발할 필요가 있다.
본 명세서는 전술한 필요성 및/또는 문제점을 해결하는 것을 목적으로 한다.
본 명세서는, 종래의 PCA(Principal Component Analysis)보다 높은 정확도와 낮은 거짓 양성률을 제공할 수 있는 어노멀리 검출방법을 구현하는 것을 목적으로 한다.
본 명세서의 일 실시예에 따른 어노멀리 검출방법은 네트워크로부터 학습용 시계열 데이터(time series data)를 수신하는 단계;상기 학습용 시계열 데이터를 미리 설정된 조건에 기초하여 복수의 구간(interval)으로 시분할하고, 상기 시분할된 복수의 구간에 포함된 학습용 시계열 데이터에 기초하여 임계값을 설정하는 단계; 및 상기 네트워크로부터 수신되는 시험용 시계열 데이터로부터 지표값(indicator value)을 산출하고, 산출된 상기 지표값과 임계값을 비교하여 어노멀리(anomaly)를 검출하는 단계;를 포함한다.
또한, 상기 네트워크는 무선 센서 네트워크(Wireless Sensor Network, WSN)일 수 있다.
또한, 상기 어노멀리 수에 기반하여 클러스터의 센서노드를 추가하거나 삭제하도록 제어하는 단계;를 더 포함할 수 있다.
또한, 상기 어노멀리의 수에 기반하여 클러스터에 포함된 센서노드를 추가하거나 삭제하는 라운드시간(round time)을 조절하는 단계;를 더 포함할 수 있다.
또한, 상기 검출하는 단계는, 상기 검출하는 단계는, 상기 시험용 시계열 데이터를 상기 학습용 시계열 데이터의 시분할 구간에 대응하여 시분할하는 단계; 상기 시분할된 복수의 구간에 포함된 시험용 시계열 데이터에 기초하여 지표값을 결정하는 단계; 및 상기 결정된 지표값과 상기 임계값을 비교하여 어노멀리를 검출하는 단계;를 포함할 수 있다.
또한, 상기 임계값 및 상기 지표값은, 상기 시분할된 복수의 구간 각각에 대하여 PCA(Principal Component Analysis) 알고리즘에 기반하여 결정될 수 있다.
또한, 상기 임계값 및 상기 지표값은, 상기 PCA 알고리즘의 처리 결과에 대한 SPE(Square Prediction Error) 값일 수 있다.
또한, 상기 미리 설정된 조건은, 상기 학습용 시계열 데이터의 일 구간에서 시간값에 대응하는 값이 시간의 변화에 대응하여 증가하는 제1조건 및/또는 상기 일 구간에서 상기 시간값에 대응하는 값이 상기 시간 변화에 대응하여 감소하는 제2조건을 포함할 수 있다.
또한, 상기 제1 조건 및/또는 상기 제2 조건을 만족하는 상기 학습용 시계열 데이터는, 상기 분할된 각각의 구간에서 상기 시간값에 대응하여 증가하거나 감소하는 패턴 중 어느 하나만을 나타낼 수 있다.
본 명세서의 다른 실시예에 따른 어노멀리 검출장치는 무선 센서 네트워크로부터 학습용 시계열 데이터 및 시험용 시계열 데이터를 수신하는 송수신부(tranceiver);상기 학습용 시계열 데이터를 미리 설정된 조건을 만족하는 복수의 구간으로 시분할하고, 상기 시분할된 복수의 구간에 포함된 상기 학습용 시계열 데이터에 기초하여 임계값을 설정하고, 상기 시험용 시계열 데이터로부터 지표값을 산출하고, 상기 지표값과 상기 임계값을 비교하여 어노멀리를 검출하는 프로세서;를 포함한다.
본 명세서의 일 실시예에 따른 어노멀리 검출방법 및 그 장치의 효과에 대해 설명하면 다음과 같다.
본 명세서는 종래의 PCA(Principal Component Analysis)보다 높은 정확도와 낮은 거짓 양성률을 갖는 PCA 기반 어노멀리 검출방법을 제공할 수 있다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
도 1은 본 명세서의 일 실시예에 따른 어노멀리 검출장치에 관한 예시적인 블록도이다.
도 2는 본 명세서의 일 실시예에 따른 어노멀리 검출방법의 순서도이다.
도 3은 본 명세서의 일 실시예에 따른 어노멀리 검출방법의 예시적인 도면이다.
도 4 내지 도 6은 본 명세서의 일 실시예에 따른 어노멀리 검출방법의 실험예이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 명세서의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 상세한 설명에서, 몇몇 실시예의 철저한 이해를 제공하기 위해 많은 구체적인 세부사항이 제시된다. 그러나, 몇몇 실시예는 이 구체적인 세부사항 없이 실시될 수 있다는 점이 통상의 기술자에 의해 이해될 것이다. 다른 사례에서, 잘 알려진 방법, 절차, 컴포넌트, 유닛 및/또는 회로는 논의를 모호하게 하지 않도록 상세히 기술되지 않았다.
예컨대, "처리(processing)", "컴퓨팅(computing)", "계산(calculating)", "판정(determining)", "수립(establishing)", "분석(analyzing)", "확인(checking)" 또는 유사한 것과 같은 용어를 활용하는 본 문서에서의 논의는 컴퓨터, 컴퓨팅 플랫폼(computing platform), 컴퓨팅 시스템 또는 다른 전자 컴퓨팅 디바이스의 동작(들) 및/또는 프로세스(들)을 지칭할 수 있는데, 이는 컴퓨터의 레지스터 및/또는 메모리 내의 물리적(가령, 전자적) 양으로서 표현되는 데이터를 컴퓨터의 레지스터 및/또는 메모리 또는 다른 정보 저장 매체(동작들 및/또는 프로세스들을 수행하기 위해 명령어를 저장할 수 있음) 내의 물리적 양으로서 마찬가지로 표현되는 다른 데이터로 조작 및/또는 변환한다.
< WSN(Wireless Sensor Network) >
무선 센서 네트워크(WSN)은 복수의 센서를 네트워크로 구성한 것을 의미한다. 무선 센서 네트워크는 지역적으로 분산하여 전개되는 복수의 센서로 구성되며, 상기 복수의 센서는 하나 이상의 그룹을 형성하여 물리적인 환경을 모니터링할 수 있다. 상기 복수의 센서들은 모니터링 과정 중 온도, 소리, 오염도(pollution level), 습도, 바람 등을 측정할 수 있다.
무선 센서 네트워크는 다수의 노드로 구성된다. 다수의 노드는 하나 또는 2 이상의 센서들과 연결된다. 노드와 연결된 노드는 센서 네트워크 노드(Sensor Network Node)로 정의할 수 있다. 센서 네트워크 노드는 센서 노드와 상호혼용될 수 있다. 센서 노드는 일반적으로 내부 안테나가 있는 무선 송수신기(transceiver), 외부 안테나 연결부, 마이크로 컨트롤러(micro-controller), 센서, 에너지 공급부(energy source) 등으로 구성된다.
센서 노드는 공간적으로 다양하게 배치될 수 있다. 일 예로, 복수의 센서 노드들은 클러스터링을 통해 계층을 형성할 수 있다. 하나의 클러스터는 클러스터 헤드 노드와 상기 클러스터 헤드의 멤버 노드들로 구성된다. 멤버 노드는 센싱한 데이터를 클러스터 헤드로 전송하고, 클러스터 헤드는 멤버 노드로부터 수신한 데이터를 병합하여 최종적으로 싱크노드에게 전송한다. LEACH(Low Energy Adaptive Clustering Hierarchy) 프로토콜은 많이 인용되는 효율적인 계층기반의 라우팅 프로토콜 중 하나이다. 클러스터 헤드 노드와 클러스터 헤드는 상호혼용될 수 있다.
한편, 본 명세서의 다양한 실시예에 따른 무선 센서 네트워크에는 기계학습 기법들이 적용될 수 있다. 예를 들어, 무선 센서 네트워크에 대한 기계학습의 응용분야는 위치추정 분야, 데이터 수집 분야, 고장노드 탐지 분야, 라우팅 분야, MAC(Media Access Control) 프로토콜 설계 분야를 포함할 수 있다.
< PCA(Principle Component Analysis) >
주성분 분석(PCA)는 특이값 분해와 유사하게 입력 데이터의 차원을 줄이기 위한 기법이다. 주성분 분석은 분산된 정보들을 추출하고, 직교선형변환을 통해 새로운 좌표축으로 나타내는 방법이다. 주성분 분석을 통해 2차원 좌표평면에 나타내기 위한 방식은 (A) 모든 정보를 조합하여 데이터 집합의 중심을 얻고, (B) 데이터가 가장 많이 분포된 방향을 첫번째 주성분 축으로 두고, (C) 이후에 첫번째 주성분과 직교되며 데이터가 많이 분포된 방향으로 두번째 주성분축이 놓는 순서로 수행된다. 그 결과 주성분 분석은 데이터가 많이 분포된 방향 외의 방향으로 분포된 데이터의 정보를 생략함으로써, 데이터의 특징공간에 대한 차원수를 감수시킬 수 있다. 주성분 분석은 무선 센서 네트워크에서 위치추정, 고장노드탐지, 데이터수집 등에서 이용될 수 있다.
구체적으로, 주성분 분석은 무선 센서 네트워크에서 수집된 다변량 데이터를 분석하는 강력한 수단이다. 구체적으로, 주성분 분석은 어노멀리 데이터의 감지를 위한 다양한 알고리즘 및/또는 디바이스가 있으나, 종래의 알고리즘은 일반 데이터에 비하여 데이터의 크기가 작은 오류 또는 이상징후를 감지할 만큼 민감(sensitive)하지 못한 한계가 있다. 본 명세서의 다양한 실시에에 따른 어노멀리 검출방법은 어노멀리의 검출 능력을 향상시키기 위하여 종래의 주성분 분석 방식이 아닌 트렌드에 기반한 주성분 분석을 사용한다.
< Trend Based PCA >
도 1은 본 명세서의 일 실시예에 따른 어노멀리 검출장치에 관한 예시적인 블록도이다.
본 명세서의 일 실시예에 어노멀리 검출장치(100)는 무선 센서 네트워크(WSN)를 구성하는 장치일 수 있다. 예를 들어, 클러스터링 기반의 무선 센서 네트워크(WSN)의 경우에 어노멀리 검출장치(100)는 클러스터 헤드 노드와 통신연결되는 단말 또는 클러스터 헤드 노드를 구성하는 일 요소로 제공될 수 있다. 다른 예를 들어, 트리 구조 기반의 무선 센서 네트워크(WSN)의 경우에 어노멀리 검출장치(100)는 루트 노드, 부모 노드, 자식 노드 중 어느 하나의 일 요소로 제공될 수 있다.
도 1을 참조하면, 어노멀리 검출장치(100)는 메모리(110), 송수신부(120), 및/또는 프로세서(130) 를 포함할 수 있다.
메모리(110)는 어노멀리 검출장치(100)의 통신을 제어하기 위한 소프트웨어가 저장된다. 이때, 메모리(110)는 전원이 공급되지 않아도 저장된 정보를 유지하는 비휘발성 저장장치 및/또는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 모두 포함한다. 예를 들어, 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 외부 디바이스는 인터넷(internet)상에서 상기 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.
송수신부(120)는 통신 모듈은 네트워크(예를 들어, 3G, 4G, LTE 또는 5G 네트워크)와 연동하여 사용자 단말 및/또는 서버 간의 송수신 신호를 패킷 데이터 형태로 제공하는데 필요한 통신 인터페이스를 제공할 수 있다. 또한, 통신 모듈은 각종 IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등을 지원할 수 있으며, M2M(machine tomachine) 통신, V2X(vehicle to everything communication) 통신, D2D(device to device) 통신 등을 지원할 수 있다.
버스(미도시)는 어노멀리 검출장치(100)의 구성요소들을 서로 연결하고, 구성요소들 간의 통신(예:제어 메시지)을 전달하는 회로일 수 있다.
프로세서(130)는 상기 버스를 통해 어노멀리 검출장치(100)의 일 구성요소로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령어에 따른 연산이나 데이터 처리를 실행할 수 있다.
프로세서(130)는 무선 센서 네트워크(WSN)를 구성하는 복수의 센서 노드로부터 센싱된 정보 또는 데이터를 수신하도록 송수신부(120)를 제어할 수 있다.
프로세서(130)는 어노멀리 검출장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(130)는 메모리(110)에 저장된 소프트웨어의 실행에 따라 하나의 작업 주기(work period) 내에서 테스트 데이터의 어노멀리 및 어노멀리의 수를 검출할 수 있다.
구체적으로, 어노멀리 검출장치(100)는 보다 세밀한 어노멀리의 검출을 위한 소프트웨어의 훈련단계 및 시험단계의 동작을 제어할 수 있다. 어노멀리의 검출을 위한 훈련단계는 어노멀리의 검출을 위한 기준값 또는 임계치를 산출하고, 시험단계는 훈련단계에서 생성된 기준값 또는 임계치에 기반하여 어노멀리의 발생 여부 및 어노멀리의 수를 검출할 수 있다.
A. 훈련단계
트렌드 기반의 주성분 분석은 시계열 데이터에 대하여 전체적인 주성분 분석을 수행하지 않고, 시계열 데이터의 일부를 소정의 기준으로 시분할하는 전처리한 이후에 주성분 분석을 수행하는 방법을 지칭한다. 여기서, 트렌드는 주성분 분석의 대상이 되는 시구간으로서, 소정의 패턴을 갖는다.
본 명세서의 일 실시예에 따르면, 어노멀리 검출장치(100)의 프로세서(130)는 훈련 데이터를 단조로운 증가 또는 단조로운 감소가 전체 추세인 작은 집합으로 분할할 수 있다. 예를 들어, 전체 t0 내지 tn 의 시간동안 수집된 시계열 데이터의 경우, (t0 내지 t1) 구간, (t1 내지 t2) 구간, ??, (tn-1 내지 tn)구간으로 분할할 수 있다. 분할된 각각의 구간은 전술한 바와 같이 단조롭게 증가하거나 감소하는 그래프 패턴을 가질 수 있다. 여기서, 분할된 복수의 구간은 각각 '트렌드'로 지칭될 수 있다. 즉, 전체 시구간은 제1 트렌드 내지 제n 트렌드로 분할될 수 있다.
이때, 각각의 트렌드에 포함되는 최소한의 샘플 수는 미리 설정될 수 있다. 미리 설정되는 샘플 수는 훈련을 위한 충분한 입력 데이터로 설정된다. 일 예로, 하루동안 샘플링되는 샘플 수는 1분당 0.5개로 설정될 수 있다.
일 실시예에서, 프로세서(130)는 시계열 데이터를 다양한 방법으로 분할할 수 있다. 예를 들어, 전후 데이터 비교 기법, 다양한 방법은 이산 웨이블릿 변환(Discrete Wavelet Transform, DWT) 기법을 포함할 수 있다.
일 예로, 시계열 데이터는 시간적으로 전후 시점에 위치한 데이터들의 비교를 통해 분할될 수 있다. 구체적으로, 프로세서(130)는 미리 설정된 시간적 범위 내의 데이터들의 값을 비교하고, 설정된 시간적 범위 내에서의 최고값과 최소값의 차이에 기초하여 복수의 시구간을 구분할 수 있다.
다른 예로, 프로세서(130)는 이산 웨이블릿 변환에 기반하여 파형을 이산적으로 샘플링할 수 있다. 특히, 일 실시예에서 프로세서(130)는 Haar 필터를 사용하는 Haar 웨이블릿 변환에 기반하여 시계열 데이터를 복수의 구간으로 분할할 수 있다. 이산 웨이블릿 변환 및 Haar 웨이블릿 변환은 공지의 기술이므로 구체적인 설명은 생략한다.
프로세서(130)는 추출된 복수의 트렌드에 주성분 분석을 수행하고, 각각의 주성분 분석 적용결과를 대상으로 제곱예측오차 한계(Square Prediction Error Limit)를 계산할 수 있다. 여기서, 제곱예측오차 한계는 어노멀리를 검출하기 위한 임계치 또는 기준치로 사용된다. 참고로, 제곱예측오차 한계는 SPE 한계와 상호혼용될 수 있다.
프로세서(130)는 SPE 한계가 산출되면, 훈련단계를 종결하고 시험 단계를 시작할 수 있다. 프로세서(130)는 시험단계에서 수집되는 데이터에 대하여 시분할을 수행한다. 이때, 시분할의 기준은 훈련단계와 동일하게 수행될 수 있다. 구체적으로, 시험단계에서의 시분할은 훈련단계에서 분할된 시점과 동일한 시점에 기초하여 수행될 수 있다. 예를 들어, 프로세서(130)는 훈련단계에서 제1 내지 제N 트렌드(N은 자연수)로 분할할 때, t1, t2, ??, tn-1을 분할점으로 시분할을 수행할 수 있다.
B. 시험단계
시험 단계에서 프로세서(130)는 시분할된 복수의 트렌드에 대하여 훈련단계와 마찬가지로 주성분 분석을 수행할 수 있다.
프로세서(130)는 주성분 분석의 수행결과에 대하여 제곱예측오차(Square Prediction Error)를 계산할 수 있다. 여기서, 계산된 제곱예측오차는 훈련단계에서 산출된 SPE 한계와 비교될 수 있고, 프로세서(130)는 비교 결과에 기반하여 어노멀리를 검출할 수 있다. 예를 들어, 시험단계에서 산출된 제곱예측오차가 SPE 한계와 비교하여 같거나 작을 경우에는 정상데이터로 결정되고, 제곱예측오차가 SPE 한계보다 큰 경우에는 비정상적인 데이터, 즉 어노멀리로 결정된다.
이하 명세서에서는 전술한 어노멀리 검출장치(100)를 활용한 다양한 실시예 및 실험예를 설명한다.
< Flow Chart >
도 2 는 본 명세서의 일 실시예에 따른 어노멀리 검출방법의 순서도이다.
도 2를 참조하면, 어노멀리 검출장치(100)의 프로세서(130)는 네트워크로부터 학습용 시계열 데이터(time series data)를 수신하도록 송수신부(120)를 제어할 수 있다(S110). 여기서, 네트워크는 무선 센서 네트워크(WSN)를 나타내고, 네트워크로부터 수신하는 학습용 시계열 데이터는 네트워크를 구성하는 복수의 센서 노드로부터 전송되는 센싱 데이터를 나타낸다.
프로세서(130)는 학습용 시계열 데이터를 미리 설정된 조건에 기초하여 복수의 구간(interval)로 분할할 수 있다(S120). 일 실시예에서 미리 설정된 조건은 학습용 시계열 데이터의 일 구간에서 시간값에 대응하는 값이 시간의 변화에 대응하여 증가하는 제1 조건 및/또는 일 구간에서 시간 파라미터에 대응하는 값이 시간 변화에 대응하여 감소하는 제2 조건을 포함할 수 있다.
여기서, 제1 조건 및/또는 제2 조건을 만족하는 학습용 시계열 데이터는 분할된 각각의 구간에서 시간 파라미터에 대응하여 증가하거나 감소하는 패턴 중 어느 하나만을 나타낼 수 있다. 일 예로, S120의 조건은, t0 내지 t1 구간에서 그래프를 분석한 결과, 시간의 변화에 대응하여 변화하는 파라미터가 선형 또는 비선형으로 시간의 변화에 따라 증가하거나 감소할 것을 조건으로 한다. 만약 t0 내지 t1 구간에서 시간의 변화에 따라서 일 파라미터가 감소하는 경우에는 일 파라미터가 감소하는 변곡점을 기초로 하여 복수의 시구간으로 다시 분할되어야 한다.
한편, 파형 분석에 있어서 노이즈에 따른 변곡점의 식별이 어려울 수 있으므로, 상기 변곡점은 파형의 변경 추세(Trend)에 기반하여 결정될 수 있다. 즉, 시구간 분할을 위한 변곡점은 하나의 트렌드 내에서 노이즈 또는 급격한 변화(abrupt change)로 인한 날카로운(sharp)한 변곡점은 제외하고, 전체적인 파형 패턴에 기반하여 결정될 수 있다.
프로세서(130)는 분할된 복수의 구간에 포함된 학습용 시계열 데이터에 기초하여 임계값을 설정할 수 있다(S130). 임계값은 PCA 알고리즘에 기초하여 시분할된 복수의 구간 각각에 대하여 산출될 수 있다. 구체적으로, 임계값은 PCA 알고리즘의 처리 결과에 대한 SPE 값을 나타낸다.
프로세서(130)는 네트워크로부터 시험용 시계열 데이터를 수신할 수 있다(S140).
프로세서(130)는 시험용 시계열 데이터로부터 지표값(indicator value)를 산출할 수 있다(S150).
프로세서(130)는 산출된 지표값과 임계값을 비교하여 어노멀리를 검출할 수 있다(S160). 지표값은 시분할된 복수의 구간 각각에 대하여 PCA 알고리즘에 기초하여 결정될 수 있다. 구체적으로, 지표값은 PCA 알고리즘의 처리 결과에 대한 SPE 값을 나타낸다. 한편, 지표값은 복수의 센서 노드로부터 수신된 시계열적인 센싱 데이터로부터 산출되어 임계값과 비교되기 위한 비교값으로 정의된다.
일 실시예에서, 프로세서(130)는 시험용 시계열 데이터를 학습용 시계열 데이터의 시분할 구간에 대응하여 시분할할 수 있다. 이후에, 프로세서(130)는 시분할된 복수의 구간에 포함된 시험용 시계열 데이터에 기초하여 지표값을 결정할 수 있다. 프로세서(130)는 결정된 지표값과 훈련단계에서 결정된 임계값을 비교하여 어노멀리를 검출할 수 있다.
일 실시예에 따른 어노멀리 검출방법에서 프로세서(130)는 어노멀리의 수에 기반하여 클러스터에 포함된 센서노드의 상태를 제어할 수 있다. 예를 들어, 클러스터 내부에 포함된 센서노드의 활성화 여부를 결정하거나, 복수의 센서노드에 대하여 다시 클러스터링을 수행할 수 있다.
한편, 일 실시예에 따른 센서노드의 클러스터링에는 머신러닝 기법이 적용될 수도 있다. 프로세서(130)는 네트워크에 포함된 AI 프로세서(130)로 복수의 트렌드 각각로부터 추출되는 SPE 한계, SPE 값, 및 어노멀리의 수를 전송할 수 있다. AI 프로세서(130)는 SPE 한계, SPE 값 및 어노멀리의 수 중 저겅도 하나에 기반하여 어노멀리의 원인을 확인하거나, 복수의 센서노드를 다시 클러스터링할 수 있다. 어노멀리의 원인 분석에는 분류기(Classifeir) 모델이 사용될 수 있고, 클러스터링에는 딥 클러스터링(Deep Clustering) 모델이 사용될 수 있다. 상기 분류기는 전술한 SPE 한계, SPE 값 및 어노멀리의 수에 기초하여 미리 학습되어 전술한 확인 과정에 이용될 수 있다. 상기 딥 클러스터링 모델은 센서노드의 위치, 클러스터 헤드의 에너비 소비량, 어노멀리의 수 중 적어도 하나의 유사도에 기반하여 복수의 센서노드를 클러스터링하도록 학습되어 전술한 클러스터링에 이용될 수 있다.
일 실시예에 따른 어노멀리 검출방법에서 프로세서(130)는 어노멀리의 수에 기반하여 클러스터에 포함된 센서노드의 상태를 제어하는 시간을 조절할 수 있다. 여기서, 센서노드의 상태를 제어하는 시간은 센서노드의 상태를 확인하거나 변경하는 주기를 나타낸다. 예를 들어, 프로세서(130)는 미리 설정된 주기로 센서노드의 상태를 제어할 수 있을 뿐만 아니라, 어노멀리의 수에 기반하여 주기를 조절할 수도 있다. 미리 설정된 제1 주기를 기준으로 제1 시점에서 검출된 어노멀리의 수가 높은 경우에, 제1 시점 이후의 제2 시점은 제1 주가보다 짧게 설정될 수 있다. 이처럼, 어노멀리의 수가 많을수록 어노멀리 검출주기를 높임으로써 보다 민감하게 에러를 모니터링할 수 있다.
도 3은 본 명세서의 일 실시예에 따른 어노멀리 검출방법의 예시적인 도면이다. 도 3의 A는 훈련단계를 예시하고, 도 3의 B는 시험단계를 예시한다.
도 3을 참조하면, 어노멀리 검출장치(100)의 프로세서(130)는 훈련단계에서 훈련을 위한 데이터를 복수의 트렌드로 분할할 수 있다. 예를 들어, t0 내지 t1 구간은 단조롭게(monotonic) 감소하는 추세를 나타내므로 제1트렌드로 구분하고, t1 내지 t2구간은 단조롭게 증가하는 추세를 나타내므로 제2트렌드로 구분할 수 있다. 이처럼, 프로세서(130)는 단조로운 증가 또는 감소 추세를 기준으로 시계열 데이터를 복수의 트렌드로 분할할 수 있다.
분할 결과, 추출된 복수의 트렌드에는 각각 PCA 기법이 적용되고, 프로세서(130)는 PCA 결과에 기반하여 SPE 한계를 산출할 수 있다. 즉, SPE 한계는 각각의 트렌드에 대응하여 서로 다른 값을 가질 수 있다. 여기서, 복수의 트렌드의 최소 샘플 수는 사전에 정의되며, 훈련을 위한 충분한 입력 데이터가 보장된다.
프로세서(130)는 시험단계에서 훈련단계에서 산출된 SPE 한계를 활용하여 어노멀리를 검출할 수 있다. 시험단계에서, 입력되는 시계열 데이터는 훈련단계에서 결정된 시간 간격에 대응하는 복수의 시간 간격으로 분할된다. 예를 들어, 전술한 훈련단계에서의 t0 내지 t1 구간, t1 내지 t2구간과 대응하여 복수의 구간으로 분할된다. 참고로, 훈련단계에서 사용되는 데이터와 시험단계에서 사용되는 데이터는 모두 동일 또는 유사한 환경에서 수집되므로, 시간의 흐름에 따라 유사한 패턴을 나타낼 수 있다.
PCA를 분할된 데이터 세트에 적용하여 각각의 분할구간의 데이터에 대한 SPE 값을 계산한다. 모델은 시간 간격이 s의 샘플링 시간을 포함하는 해당 SPE 한계(또는 훈련단계에서 계산된 정상 임계값)와 SPE 값을 비교하여 분할구간의 데이터가 비정상인지 정상인지 여부를 점검한다. 분할구간의 SPE 값이 SPE 한계보다 작거나 같으면 표본은 정상이고 그렇지 않으면 비정상적인 데이터로 검출된다.
< Example Experiments >
도 4 내지 도 6은 본 명세서의 일 실시예에 따른 어노멀리 검출방법의 실험예이다.
본 명세서의 다양한 실시예에서는 제안된 모델의 효율성을 평가하기 위하여 Intel Berkeley Research Lab(IBRL)에서 취합한 실제 데이터셋(data set)을 이용한다. 일 실험예에 따르면, 실험을 위하여 ID(Identification)가 1, 2, 33, 34, 35, 36, 및 37 인 7개의 센서를 통해 실험 환경에서의 온도를 측정한다. 이 7개의 센서는 센싱되는 온도 정보(temperature information)를 송수신부를 통해 어노멀리 검출장치로 전송할 수 있다. 어노멀리 검출장치는 7개의 센서에서 측정된 온도 측정값을 2분 간격으로 샘플링하여 하루에 총 800개의 샘플을 수집하였다.
본 실험에 따르면, 2월 28일에 수집된 800개의 샘플을 어노멀리 검출모델의 훈련에 사용하고, 2월 29일의 오전 0시부터 6시 40분까지의 시간에 200개의 샘플을 시험에 사용한다.
훈련단계에서, 실험예는 훈련용 시계열 데이터를 3개의 트렌드로 분할한다. 제1 트렌드는 sample 1 내지 sample 180, 제2 트랜드는 sample 181 내지 sample 400, 제3 트렌드는 sample 401 내지 sample 800으로부터 도출된다. 이후에, 상기 제1 내지 제3 트렌드의 데이터들은 분할적으로 처리된다. 구체적으로, 제1 내지 제3 트렌드는 각각의 트렌드에 관한 SPE Limit 추출의 기초가 된다.
시험단계에서 실험예는 많은 양의 예상치 못한 노이즈를 포함하는 센서 데이터에 대한 정확도 저하 어노멀리를 검출한다. 실험예는 정규분포(Normal Distribution, 예:N(0, 1.5))에 따라 랜덤 노이즈를 시험을 위한 일반 데이터(Normal Data)에 주입한다. 본 실험에서는 00:00 AM 부터 06:40 AM 동안(총 400분)에 수집된 200개의 테스트를 위한 데이터에 정규분포에 따른 노이즈를 주입하고, 주입결과 생성된 어노멀리 데이터는 도 4와 같다.
도 5 및 도 6의 실험결과를 참조하면, 종래의 PCA를 통한 제1 검출방법과 트렌드 기반의 PCA를 통한 제2 검출방법 모두 노이즈를 감지할 수 있음을 보여준다. 다만, 트렌드 기반의 PCA는 종래의 PCA보다 향상된 성능을 보여준다. 구체적으로, 본 는 검출된 어노멀리의 수가 종래의 PCA에 비하여 더 많음을 확인할 수 있다.
전술한 본 명세서는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 명세서의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 명세서의 등가적 범위 내에서의 모든 변경은 본 명세서의 범위에 포함된다.

Claims (19)

  1. 네트워크로부터 학습용 시계열 데이터(time series data)를 수신하는 단계;
    상기 학습용 시계열 데이터를 미리 설정된 조건에 기초하여 복수의 구간(interval)으로 시분할하고, 상기 시분할된 복수의 구간에 포함된 학습용 시계열 데이터에 기초하여 임계값을 설정하는 단계; 및
    상기 네트워크로부터 수신되는 시험용 시계열 데이터로부터 지표값(indicator value)을 산출하고, 산출된 상기 지표값과 임계값을 비교하여 어노멀리(anomaly)를 검출하는 단계;
    를 포함하는 어노멀리 검출방법.
  2. 제1항에 있어서,
    상기 네트워크는 무선 센서 네트워크(Wireless Sensor Network, WSN)인 것을 특징으로 하는 어노멀리 검출방법.
  3. 제2항에 있어서,
    상기 어노멀리 수에 기반하여 클러스터의 센서노드를 추가하거나 삭제하도록 제어하는 단계;
    를 더 포함하는 것을 특징으로 하는 어노멀리 검출방법.
  4. 제2항에 있어서,
    상기 어노멀리의 수에 기반하여 클러스터에 포함된 센서노드를 추가하거나 삭제하는 라운드시간(round time)을 조절하는 단계;
    를 더 포함하는 것을 특징으로 하는 어노멀리 검출방법.
  5. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 시험용 시계열 데이터를 상기 학습용 시계열 데이터의 시분할 구간에 대응하여 시분할하는 단계;
    상기 시분할된 복수의 구간에 포함된 시험용 시계열 데이터에 기초하여 지표값을 결정하는 단계; 및
    상기 결정된 지표값과 상기 임계값을 비교하여 상기 어노멀리를 검출하는 단계;
    를 포함하는 것을 특징으로 하는 어노멀리 검출방법.
  6. 제1항에 있어서,
    상기 임계값 및 상기 지표값은,
    상기 시분할된 복수의 구간 각각에 대하여 PCA(Principal Component Analysis) 알고리즘에 기반하여 결정되는 것을 특징으로 하는 어노멀리 검출방법.
  7. 제6항에 있어서,
    상기 임계값 및 상기 지표값은,
    상기 PCA 알고리즘의 처리 결과에 대한 SPE(Square Prediction Error) 값인 것을 특징으로 하는 어노멀리 검출방법.
  8. 제1항에 있어서,
    상기 미리 설정된 조건은,
    상기 학습용 시계열 데이터의 일 구간에서 시간값에 대응하는 값이 시간의 변화에 대응하여 증가하는 제1조건 및/또는 상기 일 구간에서 상기 시간값에 대응하는 값이 상기 시간 변화에 대응하여 감소하는 제2조건을 포함하는 것을 특징으로 하는 어노멀리 검출방법.
  9. 제8항에 있어서,
    상기 제1 조건 및/또는 상기 제2 조건을 만족하는 상기 학습용 시계열 데이터는,
    상기 분할된 각각의 구간에서 상기 시간값에 대응하여 증가하거나 감소하는 패턴 중 어느 하나만을 나타내는 것을 특징으로 하는 어노멀리 검출방법.
  10. 네트워크로부터 학습용 시계열 데이터 및 시험용 시계열 데이터를 수신하는 송수신부(tranceiver);
    상기 학습용 시계열 데이터 및 상기 시험용 시계열 데이터를 저장하는 메모리; 및
    상기 학습용 시계열 데이터를 미리 설정된 조건을 만족하는 복수의 구간으로 시분할하고, 상기 시분할된 복수의 구간에 포함된 상기 학습용 시계열 데이터에 기초하여 임계값을 설정하고, 상기 시험용 시계열 데이터로부터 지표값을 산출하고, 상기 지표값과 상기 임계값을 비교하여 어노멀리를 검출하는 프로세서;
    를 포함하는 어노멀리 검출장치.
  11. 제10항에 있어서,
    상기 네트워크는 무선 센서 네트워크인 것을 특징으로 하는 어노멀리 검출장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 어노멀리 수에 기반하여 클러스터의 센서노드를 추가하거나 삭제하도록 제어하는 것을 특징으로 하는 어노멀리 검출장치.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 어노멀리의 수에 기반하여 클러스터에 포함된 센서노드를 추가하거나 삭제하는 라운드시간(round time)을 조절하는 것을 특징으로 하는 어노멀리 검출장치.
  14. 제10항에 있어서,
    상기 제어부는,
    상기 시험용 시계열 데이터를 상기 학습용 시계열 데이터의 시분할 구간에 대응하여 시분할하고, 상기 시분할된 복수의 구간에 포함된 시험용 시계열 데이터에 기초하여 지표값을 결정하고, 상기 결정된 지표값과 상기 임계값을 비교하여 상기 어노멀리를 검출하는 것을 특징으로 하는 어노멀리 검출장치.
  15. 제10항에 있어서,
    상기 임계값 및 상기 지표값은,
    상기 시분할된 복수의 구간 각각에 대하여 PCA 알고리즘에 기반하여 결정되는 것을 특징으로 하는 어노멀리 검출장치.
  16. 제15항에 있어서,
    상기 임계값 및 상기 지표값은,
    상기 PCA 알고리즘의 처리 결과에 대한 SPE 값인 것을 특징으로 하는 어노멀리 검출장치.
  17. 제10항에 있어서,
    상기 미리 설정된 조건은,
    상기 학습용 시계열 데이터의 일 구간에서 시간값에 대응하는 값이 시간의 변화에 대응하여 증가하는 제1조건 및/또는 상기 일 구간에서 상기 시간값에 대응하는 값이 상기 시간 변화에 대응하여 감소하는 제2조건을 포함하는 것을 특징으로 하는 어노멀리 검출장치.
  18. 제17항에 있어서,
    상기 제1 조건 및/또는 상기 제2 조건을 만족하는 상기 학습용 시계열 데이터는,
    상기 분할된 각각의 구간에서 상기 시간값에 대응하여 증가하거나 감소하는 패턴 중 어느 하나만을 나타내는 것을 특징으로 하는 어노멀리 검출장치.
  19. 제1항 내지 제9항 중 어느 한 항의 방법을 컴퓨터 시스템에서 실행하기 위한 프로그램이 기록된 컴퓨터 시스템이 판독 가능한 기록매체.
KR1020200051094A 2020-04-27 2020-04-27 어노멀리 검출방법 및 그 장치 KR102343139B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200051094A KR102343139B1 (ko) 2020-04-27 2020-04-27 어노멀리 검출방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200051094A KR102343139B1 (ko) 2020-04-27 2020-04-27 어노멀리 검출방법 및 그 장치

Publications (3)

Publication Number Publication Date
KR20210132549A true KR20210132549A (ko) 2021-11-04
KR102343139B1 KR102343139B1 (ko) 2021-12-24
KR102343139B9 KR102343139B9 (ko) 2023-07-05

Family

ID=78521826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200051094A KR102343139B1 (ko) 2020-04-27 2020-04-27 어노멀리 검출방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102343139B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503973A (zh) * 2023-06-20 2023-07-28 厦门星拉科技有限公司 基于电力物联网的电力设备智能巡检系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100719280B1 (ko) * 2006-09-01 2007-05-18 아주대학교산학협력단 무선 센서 네트워크에서의 동적 모니터링 주기 설정 방법및 시스템
KR20180046746A (ko) * 2016-10-28 2018-05-09 삼성에스디에스 주식회사 이상 감지 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100719280B1 (ko) * 2006-09-01 2007-05-18 아주대학교산학협력단 무선 센서 네트워크에서의 동적 모니터링 주기 설정 방법및 시스템
KR20180046746A (ko) * 2016-10-28 2018-05-09 삼성에스디에스 주식회사 이상 감지 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503973A (zh) * 2023-06-20 2023-07-28 厦门星拉科技有限公司 基于电力物联网的电力设备智能巡检系统及方法
CN116503973B (zh) * 2023-06-20 2023-08-29 厦门星拉科技有限公司 基于电力物联网的电力设备智能巡检系统及方法

Also Published As

Publication number Publication date
KR102343139B9 (ko) 2023-07-05
KR102343139B1 (ko) 2021-12-24

Similar Documents

Publication Publication Date Title
CN111262722B (zh) 一种用于工业控制系统网络的安全监测方法
EP3745272B1 (en) An application performance analyzer and corresponding method
US7962611B2 (en) Methods, systems and computer program products for detecting flow-level network traffic anomalies via abstraction levels
US11481495B2 (en) Anomalous behavior detection in processor based systems
US20200249962A1 (en) Method and system for profile learning window optimization
US8255522B2 (en) Event detection from attributes read by entities
CN111092852A (zh) 基于大数据的网络安全监控方法、装置、设备及存储介质
US20100313270A1 (en) System and method for detecting energy consumption anomalies and mobile malware variants
US8977908B2 (en) Method and apparatus for detecting a suspect memory leak
US20160255109A1 (en) Detection method and apparatus
Landauer et al. Time series analysis: unsupervised anomaly detection beyond outlier detection
CN109257383B (zh) 一种bgp异常检测方法及系统
CN113159615A (zh) 一种工业控制系统信息安全风险智能测定系统及方法
US20100150008A1 (en) Apparatus and method for displaying state of network
CN106792883A (zh) 传感器网络异常数据检测方法与系统
CN114710369B (zh) 一种异常数据检测方法、装置、计算机设备及存储介质
CN114356734A (zh) 服务异常检测方法和装置、设备、存储介质
CN110858072A (zh) 设备运行状态的确定方法及装置
KR102343139B1 (ko) 어노멀리 검출방법 및 그 장치
CN111881000A (zh) 一种故障预测方法、装置、设备及机器可读介质
CN101106487A (zh) 一种检测网络流量异常的方法及装置
US9645875B2 (en) Intelligent inter-process communication latency surveillance and prognostics
US11711310B2 (en) System and method for determining a network performance property in at least one network
WO2020258509A1 (zh) 终端设备异常访问的隔离方法和装置
CN104954351A (zh) 数据检测方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]