KR102624950B1 - System for detecting abnormal value with periodicity using time-series data - Google Patents

System for detecting abnormal value with periodicity using time-series data Download PDF

Info

Publication number
KR102624950B1
KR102624950B1 KR1020210114944A KR20210114944A KR102624950B1 KR 102624950 B1 KR102624950 B1 KR 102624950B1 KR 1020210114944 A KR1020210114944 A KR 1020210114944A KR 20210114944 A KR20210114944 A KR 20210114944A KR 102624950 B1 KR102624950 B1 KR 102624950B1
Authority
KR
South Korea
Prior art keywords
period
abnormal
data
values
value
Prior art date
Application number
KR1020210114944A
Other languages
Korean (ko)
Other versions
KR20230032286A (en
Inventor
정현철
Original Assignee
주식회사 아이티언
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티언 filed Critical 주식회사 아이티언
Priority to KR1020210114944A priority Critical patent/KR102624950B1/en
Publication of KR20230032286A publication Critical patent/KR20230032286A/en
Application granted granted Critical
Publication of KR102624950B1 publication Critical patent/KR102624950B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/065Generation of reports related to network devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/067Generation of reports using time frame reporting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements

Abstract

본 발명은 점검대상인 네트워크 장비의 트래픽 이상 수치 검출 시, 주기성을 갖는 이상 수치들인 주기-이상치를 사전에 미리 설정함과 동시에 기 설정된 주기-이상치의 주기에 해당하는 구간에 한해서만 이상 수치 발생 여부를 분석하며, 발생된 이상 수치를 적절하게 보정하도록 구성됨으로써 이상 수치 검출로 인한 불필요한 연산처리, 시간 및 비용을 절감시킬 수 있을 뿐만 아니라 예지정비 예측의 정확성 및 신뢰도를 극대화시킬 수 있는 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템에 관한 것이다.In the present invention, when detecting abnormal traffic values of network equipment subject to inspection, the period-outlier values, which are abnormal values with periodicity, are set in advance and at the same time, the occurrence of abnormal values is analyzed only in the section corresponding to the period of the preset cycle-anomaly value. By being configured to appropriately correct abnormal values, it not only reduces unnecessary calculation processing, time, and cost due to detection of abnormal values, but also provides periodicity using time series data that can maximize the accuracy and reliability of predictive maintenance predictions. It relates to an abnormal value detection system having.

Description

시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템{System for detecting abnormal value with periodicity using time-series data}System for detecting abnormal value with periodicity using time-series data}

본 발명은 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템에 관한 것으로서, 상세하게로는 점검대상인 네트워크 장비의 트래픽 이상 수치 검출 시, 주기성을 갖는 이상 수치들인 주기-이상치를 사전에 미리 설정함과 동시에 기 설정된 주기-이상치의 주기에 해당하는 구간에 한해서만 이상 수치 발생 여부를 분석하며, 발생된 이상 수치를 적절하게 보정하도록 구성됨으로써 이상 수치 검출로 인한 불필요한 연산처리, 시간 및 비용을 절감시킬 수 있을 뿐만 아니라 예지정비 예측의 정확성 및 신뢰도를 극대화시킬 수 있는 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템에 관한 것이다.The present invention relates to a system for detecting abnormal values with periodicity using time series data. Specifically, when detecting abnormal traffic values of network equipment that is subject to inspection, the period-anomaly values, which are abnormal values with periodicity, are set in advance and at the same time, It analyzes whether abnormal values occur only in the section corresponding to the preset cycle-outlier value cycle, and is configured to appropriately correct the generated abnormal values, thereby saving unnecessary computational processing, time, and cost due to abnormal value detection. Rather, it is about an abnormal value detection system with periodicity using time series data that can maximize the accuracy and reliability of predictive maintenance prediction.

최근 들어, 통신 인프라가 확장되고 IT(Information Technology) 기술이 고도화됨에 따라, 네트워크 장비의 보급률 및 사용량이 기하급수적으로 증가하였다. 특히 대부분의 사무 환경에서 정보 인프라 구축을 위해 네트워크를 다수 형성하고 있고, 라우터, 스위치 등과 같은 다양한 네트워크 장비들이 증가하였다.Recently, as communication infrastructure has expanded and IT (Information Technology) technology has become more sophisticated, the penetration rate and usage of network equipment has increased exponentially. In particular, in most office environments, multiple networks are being formed to build information infrastructure, and the number of various network devices such as routers and switches has increased.

이러한 네트워크 장비는 악성코드, 해킹, 내부 모듈 고장 등의 다양한 이유로 인해 이상 수치의 트래픽이 발생하는 현상이 빈번하게 발생한다.Such network equipment frequently experiences abnormal traffic levels due to various reasons such as malware, hacking, and internal module failure.

이에 따라 네트워크 장비의 이상 수치를 검출 및 분석하여 네트워크 장비의 장애 및 에러를 예측하기 위한 트래픽 점검 시스템에 대한 다양한 연구가 진행되고 있다.Accordingly, various studies are being conducted on traffic inspection systems to predict network equipment failures and errors by detecting and analyzing abnormal values of network equipment.

이러한 네트워크 장비의 예지 정비 시스템의 대표적인 방법으로는, 네트워크 장비로 패킷(Http request)을 송신한 후, 응답 패킷(Http response)을 수신 받으면, 해당 네트워크 장비의 트래픽을 분석하여 이상 수치를 검출하는 방식이 널리 사용되고 있다.A representative method of this type of predictive maintenance system for network equipment is to send a packet (Http request) to the network equipment, receive a response packet (Http response), and analyze the traffic of the network equipment to detect abnormal values. This is widely used.

일반적으로, 네트워크 장비는 트래픽 점검 시, 별다른 이벤트가 없는 상황임에도 불구하고, 주기적으로 이상 수치의 트래픽(이하 주기-이상치라고 명칭하기로 함)이 검출되는 현상이 빈번하게 발생한다.In general, when network equipment inspects traffic, a phenomenon in which abnormal amounts of traffic (hereinafter referred to as periodic-outliers) is periodically detected occurs frequently, even though there are no special events.

이때 이상 수치라고 함은 트래픽 값이 일시적으로 급격하게 증가하거나 급격하게 낮아지거나 또는 진동이 이루어지는 데이터를 의미한다.At this time, abnormal values refer to data in which traffic values temporarily increase sharply, decrease sharply, or oscillate.

이러한 주기-이상치는 네트워크 장비에서 주기마다 특수한 연산처리(Job)가 이루어지는 것이 원인이 될 수 있으나, 아직 주기-이상치에 대한 원인이 무엇인지를 정확하게 파악하지는 못하고 있는 실정이다.These cycle-outliers may be caused by special operation processing (Job) being performed every cycle in network equipment, but it is not yet clear what the cause of the cycle-outliers is.

한편, 최근 들어, 네트워크 장비의 정상적인 트래픽 값들을 활용 및 학습화하여, AI 모델을 생성한 후, 생성된 AI모델을 이용하여 예지정비를 예측하는 예지정비 시스템에 대한 연구가 다양하게 이루어지고 있다. 이때 주기-이상치의 값들은 AI 모델의 우수성 및 품질을 저하시키기 때문에 AI 모델 학습 시, 주기-이상치 값들을 검출한 후, 정상적인 값으로 보정해야하는 전처리 작업이 필수적으로 요구되고 있다.Meanwhile, in recent years, various studies have been conducted on predictive maintenance systems that utilize and learn normal traffic values of network equipment to create an AI model and then predict predictive maintenance using the generated AI model. At this time, because period-outlier values deteriorate the excellence and quality of the AI model, when learning an AI model, preprocessing is essential to detect period-outlier values and then correct them to normal values.

그러나 아직까지 주기-이상치를 별도로 검출 및 보정하도록 하는 기술 및 방법에 대한 연구는 매우 미흡한 실정이고, 이에 따라 예지정비 예측의 정확성 및 정밀도가 떨어지는 문제점이 발생한다.However, research on technologies and methods for separately detecting and correcting cycle-outliers is still very insufficient, and as a result, there is a problem of low accuracy and precision of predictive maintenance prediction.

국내등록특허 제10-1074064호(발명의 명칭 : 네트워크 트래픽 모니터링 방법 및 장치)에는 트래픽 수집 주기보다 짧은 시간인 단축 주기로 하여 트래픽을 수집하되, 트래픽 이상이 있는 장비 및 인터페이스를 검출하며, 종래보다 시간이 짧은 단축 주기로 트래픽을 수집하고 검사하여도 검사 장비에 부하를 가중시키지 않는 네트워크 트래픽 모니터링 방법 및 장치가 개시되어 있으나, 상기 네트워크 트래픽 모니터링 방법 및 장치에는 이상 수치이면서 주기적인 특성을 갖는 주기-이상치를 별도로 검출함과 동시에 검출된 주기-이상치를 자동 보정하도록 하는 기술 및 방법이 전혀 기재되어 있지 않기 때문에 주기-이상치의 검출로 인해 모니터링의 효율성 및 정확성이 현저히 떨어지는 문제점을 갖는다.Domestic Registered Patent No. 10-1074064 (title of the invention: network traffic monitoring method and device) collects traffic in a shortened period that is shorter than the traffic collection period, detects equipment and interfaces with traffic abnormalities, and detects equipment and interfaces with traffic abnormalities, and collects traffic in a shorter period than before. A network traffic monitoring method and device is disclosed that does not increase the load on the inspection equipment even by collecting and inspecting traffic in this short, shortened cycle. However, the network traffic monitoring method and device includes a cycle-outlier value that is an abnormal value and has periodic characteristics. Since there is no description of any technology or method for separately detecting and automatically correcting the detected cycle-outlier values, there is a problem in that the efficiency and accuracy of monitoring are significantly reduced due to the detection of cycle-outliers.

또한 본 출원은 '경기도' 부처의 '경기도경제과학진흥원' 연구관리전문기관에서 지원하는 '2020 경기도 기술개발사업'의 연구사업명과 '인공지능을 활용한 네트워크 장비 예지정비 시스템 개발'의 연구과제명, 'P20200136'의 과제고유번호를 기반으로 출원되었다.In addition, this application has the research project name of '2020 Gyeonggi-do Technology Development Project' and the research project title of 'Development of a network equipment predictive maintenance system using artificial intelligence' supported by the 'Gyeonggi-do Economic and Science Promotion Agency' research management specialized organization of the 'Gyeonggi-do' ministry. , the application was filed based on the project identification number of 'P20200136'.

본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 점검대상인 네트워크 장비의 트래픽 이상 수치 검출 시, 주기성을 갖는 이상 수치들인 주기-이상치를 사전에 미리 설정함과 동시에 기 설정된 주기-이상치의 주기에 해당하는 구간에 한해서만 이상 수치 발생 여부를 분석하며, 발생된 이상 수치를 적절하게 보정하도록 구성됨으로써 이상 수치 검출로 인한 불필요한 연산처리, 시간 및 비용을 절감시킬 수 있을 뿐만 아니라 예지정비 예측의 정확성 및 신뢰도를 극대화시킬 수 있는 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템을 제공하기 위한 것이다.The present invention is intended to solve this problem, and the problem of the present invention is to pre-set the period-anomaly value, which is an abnormality value with periodicity, in advance when detecting an abnormal traffic value of network equipment to be inspected, and at the same time, the preset period-anomaly value By analyzing the occurrence of abnormal values only in the section corresponding to the cycle, and organizing the occurrence of abnormal values to be appropriately corrected, not only can unnecessary calculation processing, time, and cost due to detection of abnormal values be reduced, but also the predictive maintenance prediction is possible. The purpose is to provide an abnormal value detection system with periodicity using time series data that can maximize accuracy and reliability.

또한 본 발명의 다른 해결과제는 테스트 관리서버가 주기-이상치 설정 시, 기준시간(t), 주기(T), 최적 주기-편차(△T)를 검출한 후, 이들을 매칭시켜 주기-이상치 기준정보를 생성함과 동시에 수집데이터 모니터링 시, 주기-이상치 기준정보에 대응하는 구간에 한해서만 이상 수치 발생 여부를 판별하도록 구성됨으로써 이상 수치를 검출하기 위한 연산처리량, 비용 및 시간을 더욱 절감시킬 수 있는 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템을 제공하기 위한 것이다.In addition, another problem of the present invention is that when the test management server sets the cycle-outlier value, it detects the reference time (t), cycle (T), and optimal cycle-deviation (△T) and then matches them to provide cycle-outlier reference information. At the same time as generating, when monitoring collected data, it is configured to determine whether abnormal values occur only in the section corresponding to the period-outlier standard information, thereby further reducing the computational throughput, cost, and time for detecting abnormal values. Time series data The purpose is to provide an abnormal value detection system with periodicity using .

또한 본 발명의 또 다른 해결과제는 테스트 관리서버가 이상 수치 검출 시, 자동으로 이상 수치를 적절한 트래픽 값으로 보정하여 저장함과 동시에 예지정비를 예측하는 예측 알고리즘이 보정된 데이터들을 활용하여 학습하도록 구성됨으로써 예지정비 예측의 정확성 및 신뢰도를 높일 수 있는 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템을 제공하기 위한 것이다.In addition, another problem to be solved by the present invention is that when the test management server detects an abnormal value, it automatically corrects the abnormal value to an appropriate traffic value and stores it, and at the same time, the prediction algorithm that predicts predictive maintenance learns using the corrected data. The purpose is to provide an abnormal value detection system with periodicity using time series data that can increase the accuracy and reliability of predictive maintenance prediction.

상기 과제를 해결하기 위한 본 발명의 해결수단은 점검대상인 네트워크 장비와, 상기 네트워크 장비로부터 트래픽 값을 수집하는 테스트 관리서버를 포함하는 이상 수치 검출 시스템에 있어서: 상기 테스트 관리서버는 데이터베이스부; 상기 네트워크 장비로부터 트래픽 값을 수집하는 데이터 수집부; 기 설정된 설정주기(T2) 마다 실행되며, 상기 설정주기(T2) 동안 수집된 수집데이터를 시계열 데이터로 변환한 후, 임계치 이상으로 트래픽 값이 증가 또는 감소할 때, 이를 이상 수치로 판별하되, 판별된 이상 수치들 중 주기적인 특성을 갖는 이상 수치가 검출될 때, 동일 주기(T)를 갖는 이상 수치들을 주기-이상치로 설정하며, 설정된 주기-이상치의 이상 수치들 중 가장 마지막 발생된 이상 수치의 중간값인 기준시간(t)과 이상 수치들의 주기(T)를 매칭시켜 주기-이상치 기준정보를 생성한 후, 상기 데이터베이스부에 저장하는 주기-이상치 설정부; 상기 데이터 수집부에 의해 수집된 수집데이터를 시계열 데이터로 변환하여 모니터링 하는 모니터링부; 상기 모니터링부의 상기 시계열 데이터에서, 상기 데이터베이스부에 저장된 주기-이상치 기준정보의 기준시간(t) 및 주기(T)에 대응하는 구간에 한해서만, 이상 수치가 발생하였는지를 판단하는 이상 수치 판별부; 상기 이상 수치 판별부에 의해 이상 수치가 검출될 때 실행되며, 검출된 이상 수치의 트래픽 값을 해당 이상 수치의 전후 구간의 트래픽 값의 평균값으로 보정하는 이상 수치 보정부를 포함하는 것이다.The solution of the present invention for solving the above problem is an anomaly value detection system including a network device to be inspected and a test management server that collects traffic values from the network device: the test management server includes a database unit; a data collection unit that collects traffic values from the network equipment; It is executed every preset setting cycle (T2), and after converting the collected data collected during the setting period (T2) into time series data, when the traffic value increases or decreases above the threshold, this is determined as an abnormal value. When an abnormal value with periodic characteristics is detected among the abnormal values that have been set, the abnormal values with the same period (T) are set as cycle-outliers, and the last abnormal value that occurred among the abnormal values of the set cycle-outlier values is detected. a period-outlier setting unit that generates period-outlier reference information by matching the reference time (t), which is an intermediate value, and the period (T) of abnormal values, and then stores it in the database unit; a monitoring unit that converts the collected data collected by the data collection unit into time series data and monitors it; An abnormal value determination unit that determines whether an abnormal value has occurred in the time series data of the monitoring unit only in a section corresponding to the reference time (t) and period (T) of the period-outlier reference information stored in the database unit; It is executed when an abnormal value is detected by the abnormal value determination unit, and includes an abnormal value correction unit that corrects the traffic value of the detected abnormal value to the average value of traffic values in the section before and after the abnormal value.

또한 본 발명에서 상기 주기-이상치 설정부는 상기 설정주기(T2) 동안, 상기 데이터 수집부에 의해 수집된 수집데이터를 상기 데이터베이스부로부터 추출하는 수집데이터 추출모듈; 상기 수집데이터 추출모듈에 의해 추출된 수집데이터를 타임라인에 따라 정렬하여, 시계열 데이터로 변환 및 정렬하는 시계열 데이터 변환모듈; 상기 시계열 데이터 변환모듈에 의해 변환된 시계열 데이터의 트래픽 값들을 분석하여, 이상 수치를 검출하는 이상 수치 검출모듈; 상기 이상 수치 검출모듈에 의해 검출된 이상 수치들의 시간정보를 활용하여, 이상 수치들 중 주기적인 특성을 갖는 이상 수치들인 주기-이상치가 존재하는지를 판단하는 주기성 여부 판단모듈; 상기 주기성 여부 판단모듈에 의해 주기-이상치가 존재한다고 판단될 때 실행되며, 검출된 주기-이상치의 이상 수치들 중 가장 마지막으로 검출된 이상 수치의 중간지점을 기준시간(t)으로 설정하는 기준시간 설정모듈; 상기 주기성 여부 판단모듈에 의해 주기-이상치가 존재한다고 판단될 때 실행되며, 인접한 주기-이상치의 이상 수치간의 시간차들을 산출한 후, 산출된 시간차들의 평균값을 해당 주기-이상치의 주기(T)로 설정하는 주기 설정모듈; 상기 기준시간 설정모듈 및 상기 주기 설정모듈에 의해 설정된 기준시간(t) 및 주기(T)를 매칭시켜 주기-이상치 기준정보를 생성하는 주기-이상치 기준정보 생성모듈을 포함하는 것이 바람직하다.In addition, in the present invention, the cycle-outlier setting unit includes a collection data extraction module that extracts the collected data collected by the data collection unit from the database unit during the setting period (T2); a time series data conversion module that sorts the collected data extracted by the collected data extraction module according to a timeline and converts and sorts them into time series data; an abnormal value detection module that detects abnormal values by analyzing traffic values of the time series data converted by the time series data conversion module; a periodicity determination module that uses time information of the abnormal values detected by the abnormal value detection module to determine whether a period-outlier, which is an abnormal value with periodic characteristics, exists among the abnormal values; It is executed when the periodicity determination module determines that a cycle-outlier exists, and sets the midpoint of the last detected anomaly value among the abnormal values of the detected cycle-anomaly as the reference time (t). Setting module; It is executed when it is determined that a cycle-outlier exists by the periodicity determination module, and after calculating the time differences between the abnormal values of the adjacent cycle-outlier, the average value of the calculated time differences is set as the period (T) of the cycle-outlier. Cycle setting module; It is preferable to include a period-outlier reference information generation module that generates period-outlier reference information by matching the reference time setting module and the reference time (t) and period (T) set by the period setting module.

또한 본 발명에서 상기 주기-이상치 설정부는 상기 주기성 여부 판단모듈에 의해 주기-이상치가 존재한다고 판단될 때 실행되며, 주기-이상치의 각 이상 수치에, 기준시간(t)을 기준으로 주기(T)를 적용할 때, 각 이상 수치의 중간값을 기준으로 해당 이상 수치가 발생된 시점까지의 시간차들을 산출한 후, 산출된 시간차들 중 최대값을 최적 주기편차(△T)로 설정하는 최적 주기편차 설정모듈을 더 포함하고, 상기 이상 수치 판별부는 상기 주기-이상치 설정부에 의해 생성된 주기-이상치 기준정보의 기준시간(t), 주기(T) 및 최적 주기편차(△T)에 대응하는 구간에 한해서 이상 수치가 발생하였는지 여부를 판단하는 것이 바람직하다.In addition, in the present invention, the cycle-outlier setting unit is executed when the periodicity determination module determines that a cycle-outlier exists, and each abnormality value of the cycle-outlier is assigned a period (T) based on the reference time (t). When applying, the optimal periodic deviation is calculated based on the median value of each abnormal value, calculates the time differences up to the point when the abnormal value occurred, and then sets the maximum value among the calculated time differences as the optimal periodic deviation (△T). It further includes a setting module, wherein the abnormal value determination unit is a section corresponding to the reference time (t), period (T), and optimal period deviation (△T) of the period-outlier reference information generated by the period-outlier setting unit. It is desirable to determine whether abnormal values have occurred only.

또한 본 발명에서 상기 테스트 관리서버는 인공지능 학습부와, AI 기반 예지정비부를 더 포함하고, 상기 인공지능 학습부는 기 설정된 학습주기(T1) 마다 실행되며, 상기 데이터 수집부에 의해 수집된 수집데이터에서 상기 이상 수치 보정부에 의해 보정된 값들로 대체된 수집데이터를 보정데이터라고 할 때, 상기 학습주기(T1) 동안 수집된 보정데이터와 예지정비 예측데이터를 활용하여, 수집된 보정데이터와 예지정비 예측데이터의 상관관계를 학습할 수 있는 학습데이터를 생성하고 생성된 학습데이터를 활용하여 보정데이터와 예지정비 예측데이터 간의 상관관계에 대한 파라미터 값들의 집합인 추출 모델을 도출하여 예측 알고리즘을 학습하고, 상기 AI 기반 예지정비부는 기 설정된 예측주기(T3) 마다 실행되며, 상기 예측주기(T3) 동안 수집된 보정데이터들을 추출한 후, 추출된 보정데이터들을 상기 예측 알고리즘의 입력데이터로 하여, 예지정비 예측데이터를 출력하는 것이 바람직하다.In addition, in the present invention, the test management server further includes an artificial intelligence learning unit and an AI-based predictive maintenance unit, the artificial intelligence learning unit is executed every preset learning cycle (T1), and the collected data collected by the data collection unit When the collected data replaced by the values corrected by the abnormal value correction unit is referred to as correction data, the correction data collected during the learning cycle (T1) and the predictive maintenance prediction data are used to perform the collected correction data and predictive maintenance. Create learning data that can learn the correlation between prediction data, use the generated learning data to derive an extraction model, which is a set of parameter values for the correlation between correction data and predictive maintenance prediction data, and learn a prediction algorithm. The AI-based predictive maintenance unit is executed every preset prediction cycle (T3), extracts correction data collected during the prediction cycle (T3), and then uses the extracted correction data as input data for the prediction algorithm to generate predictive maintenance prediction data. It is desirable to output .

상기 과제와 해결수단을 갖는 본 발명에 따르면 점검대상인 네트워크 장비의 트래픽 이상 수치 검출 시, 주기성을 갖는 이상 수치들인 주기-이상치를 사전에 미리 설정함과 동시에 기 설정된 주기-이상치의 주기에 해당하는 구간에 한해서만 이상 수치 발생 여부를 분석하며, 발생된 이상 수치를 적절하게 보정하도록 구성됨으로써 이상 수치 검출로 인한 불필요한 연산처리, 시간 및 비용을 절감시킬 수 있을 뿐만 아니라 예지정비 예측의 정확성 및 신뢰도를 극대화시킬 수 있게 된다.According to the present invention, which has the above problems and solutions, when detecting abnormal traffic values of network equipment to be inspected, the period-outlier values, which are abnormal values with periodicity, are set in advance and at the same time, the section corresponding to the preset period-ideal period is set in advance. By analyzing only the occurrence of abnormal values and organizing the occurrence of abnormal values appropriately, it not only reduces unnecessary processing, time, and cost due to detection of abnormal values, but also maximizes the accuracy and reliability of predictive maintenance predictions. It becomes possible.

또한 본 발명에 의하면 테스트 관리서버가 주기-이상치 설정 시, 기준시간(t), 주기(T), 최적 주기-편차(△T)를 검출한 후, 이들을 매칭시켜 주기-이상치 기준정보를 생성함과 동시에 수집데이터 모니터링 시, 주기-이상치 기준정보에 대응하는 구간에 한해서만 이상 수치 발생 여부를 판별하도록 구성됨으로써 이상 수치를 검출하기 위한 연산처리량, 비용 및 시간을 더욱 절감시킬 수 있다.In addition, according to the present invention, when the test management server sets the cycle-outlier value, it detects the reference time (t), cycle (T), and optimal cycle-deviation (△T) and then matches them to generate cycle-outlier reference information. At the same time, when monitoring collected data, it is configured to determine whether abnormal values occur only in the section corresponding to the period-outlier standard information, thereby further reducing the computational processing amount, cost, and time for detecting abnormal values.

또한 본 발명에 의하면 테스트 관리서버가 이상 수치 검출 시, 자동으로 이상 수치를 적절한 트래픽 값으로 보정하여 저장함과 동시에 예지정비를 예측하는 예측 알고리즘이 보정된 데이터들을 활용하여 학습하도록 구성됨으로써 예지정비 예측의 정확성 및 신뢰도를 높일 수 있다.In addition, according to the present invention, when the test management server detects an abnormal value, it automatically corrects the abnormal value to an appropriate traffic value and stores it, and at the same time, a prediction algorithm that predicts predictive maintenance is configured to learn using the corrected data, thereby improving predictive maintenance prediction. Accuracy and reliability can be improved.

도 1은 본 발명의 일실시예인 주기성을 갖는 이상 수치 검출 시스템을 나타내는 구성도이다.
도 2는 도 1의 테스트 관리서버를 나타내는 블록도이다.
도 3은 도 2의 모니터링부에 의해 수집된 트래픽 값이 시계열 데이터로 정렬된 차트를 나타내는 예시도이다.
도 4는 도 2의 본 발명에 활용되는 주기-이상치 기준정보를 설명하기 위한 예시도이다.
도 5는 도 2의 주기-이상치 설정부를 나타내는 블록도이다.
1 is a configuration diagram showing an abnormal value detection system with periodicity, which is an embodiment of the present invention.
Figure 2 is a block diagram showing the test management server of Figure 1.
Figure 3 is an example diagram showing a chart in which traffic values collected by the monitoring unit of Figure 2 are arranged as time series data.
FIG. 4 is an exemplary diagram illustrating the period-outlier reference information used in the present invention of FIG. 2.
Figure 5 is a block diagram showing the period-outlier setting unit of Figure 2.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.Hereinafter, an embodiment of the present invention will be described with reference to the attached drawings.

도 1은 본 발명의 일실시예인 주기성을 갖는 이상 수치 검출 시스템을 나타내는 구성도이다.1 is a configuration diagram showing an abnormal value detection system with periodicity, which is an embodiment of the present invention.

본 발명의 주기성을 갖는 이상 수치 검출 시스템(1)은 점검대상인 네트워크 장비의 트래픽 이상 수치 검출 시, 주기성을 갖는 이상 수치들인 주기-이상치를 사전에 미리 설정함과 동시에 기 설정된 주기-이상치의 주기에 해당하는 구간에 한해서만 이상 수치 발생 여부를 분석하며, 발생된 이상 수치를 적절하게 보정하도록 구성됨으로써 이상 수치 검출로 인한 불필요한 연산처리, 시간 및 비용을 절감시킬 수 있을 뿐만 아니라 예지정비 예측의 정확성 및 신뢰도를 극대화시킬 수 있는 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템에 관한 것이다.The abnormal value detection system 1 with periodicity of the present invention, when detecting abnormal traffic values of network equipment to be inspected, sets the period-anomaly value in advance, which is an abnormal value with periodicity, and at the same time maintains the period of the preset cycle-anomaly value. By analyzing the occurrence of abnormal values only in the relevant section and appropriately correcting the abnormal values, it not only reduces unnecessary processing, time, and cost due to detection of abnormal values, but also improves the accuracy and reliability of predictive maintenance predictions. This relates to an anomaly value detection system with periodicity using time series data that can maximize .

또한 본 발명의 주기성을 갖는 이상 수치 검출 시스템(1)은 도 1에 도시된 바와 같이, 점검대상인 네트워크 장비(5)와, 점검대상인 네트워크 장비(9)로부터 수집된 트래픽 값의 이상 수치 발생 여부를 검출함과 동시에 이를 보정하여 저장하며 저장된 보정데이터를 활용하여 생성된 AI모델을 통해 해당 네트워크 장비(5)의 예지정비 예측데이터를 출력하는 테스트 관리서버(3)와, 테스트 관리서버(3)에 접속하여 예측데이터 결과를 요청 및 제공받는 클라이언트(7)들과, 테스트 관리서버(3), 네트워크 장비(5) 및 클라이언트(7)들 사이의 데이터 이동경로를 제공하는 통신망(미도시)으로 이루어진다.In addition, as shown in FIG. 1, the abnormal value detection system 1 with periodicity of the present invention detects whether abnormal values occur in traffic values collected from the network equipment 5 to be inspected and the network equipment 9 to be inspected. At the same time as it is detected, it is corrected and stored, and the test management server (3) outputs predictive maintenance prediction data for the network equipment (5) through an AI model created using the stored correction data, and the test management server (3). It consists of clients (7) that connect to request and receive prediction data results, a test management server (3), network equipment (5), and a communication network (not shown) that provides a data movement path between the clients (7). .

통신망은 테스트 관리서버(3), 네트워크 장비(5) 및 클라이언트(7)들 사이의 데이터 통신을 지원하며, 상세하게로는 광역 통신망(WAN) 등의 유무선 네트워크-망 등으로 구성될 수 있다.The communication network supports data communication between the test management server (3), network equipment (5), and clients (7), and may be specifically composed of a wired or wireless network such as a wide area network (WAN).

네트워크 장비(9)는 네트워크 기반의 통신을 수행하는 노드를 의미하고, 통상의 게이트웨이(Gateway), 스위치 등의 네트워크 요소를 포함한다.Network equipment 9 refers to a node that performs network-based communication and includes network elements such as typical gateways and switches.

클라이언트(7)들은 통신망과의 접속을 지원하는 디지털 디바이스이며, 상세하게로는 스마트폰(Smart phone), 노트북(Notebook), 태블릿-PC(Tablet-PC) 등으로 구성될 수 있다. Clients 7 are digital devices that support connection to a communication network, and may specifically consist of a smart phone, laptop, tablet-PC, etc.

이때 도면에는 도시되지 않았으나, 클라이언트(5)는 통신모듈, 메모리, 모니터, 제어모듈 등으로 구성된다.At this time, although not shown in the drawing, the client 5 is composed of a communication module, memory, monitor, control module, etc.

또한 클라이언트(7)에는 테스트 관리서버(3)와 연동하여 테스트 관리서버(3)로 정보를 요청하거나 또는 요청에 따른 응답데이터를 전시하며 각종 GUI(Graphic User Interface)들을 구비한 응용 프로그램이 설치될 수 있다.In addition, an application program that requests information from the test management server (3) in conjunction with the test management server (3) or displays response data according to the request and has various graphic user interfaces (GUIs) may be installed on the client (7). You can.

도 2는 도 1의 테스트 관리서버를 나타내는 블록도이다.Figure 2 is a block diagram showing the test management server of Figure 1.

도 2의 테스트 관리서버(3)는 점검대상인 네트워크 장비(5)로부터 수집된 트래픽 값들을 분석하여 주기-이상치를 미리 설정함과 동시에 수집데이터 저장 시, 주기-이상치에 대응하는 구간에 한해서만 이상 수치를 판별하여 이를 보정하여 저장하며, 예지정비 예측데이터를 출력하는 예측 알고리즘의 학습 시, 보정된 값들을 활용하여 학습을 수행한다.The test management server 3 in FIG. 2 analyzes the traffic values collected from the network equipment 5, which is the inspection target, and sets the cycle-anomaly value in advance. At the same time, when storing the collected data, the abnormal value is set only in the section corresponding to the cycle-anomaly value. is determined, corrected, and stored, and when learning the prediction algorithm that outputs predictive maintenance prediction data, learning is performed using the corrected values.

또한 테스트 관리서버(3)는 도 2에 도시된 바와 같이, 제어부(30)와, 데이터베이스부(31), 통신 인터페이스부(32), 인공지능 학습부(33), 패킷 송출부(34), 데이터 수집부(35), 모니터링부(36), 이상 수치 검출부(37), 이상 수치 보정부(38), 주기-이상치 설정부(39), AI 기반 예지정비부(40)로 이루어진다.In addition, as shown in FIG. 2, the test management server 3 includes a control unit 30, a database unit 31, a communication interface unit 32, an artificial intelligence learning unit 33, a packet transmission unit 34, It consists of a data collection unit 35, a monitoring unit 36, an abnormal value detection unit 37, an abnormal value correction unit 38, a cycle-anomaly value setting unit 39, and an AI-based predictive maintenance unit 40.

제어부(30)는 테스트 관리서버(3)의 O.S(Operating system)이며, 제어대상(31), (32), (33), (34), (35), (36), (37), (38), (39), (40)들을 관리 및 제어한다.The control unit 30 is the operating system (OS) of the test management server 3, and the control objects 31, (32), (33), (34), (35), (36), (37), ( Manage and control 38), (39), and (40).

또한 제어부(30)는 관리자(User)의 요청에 따라, 해당 네트워크 장비(5)의 테스트가 개시되면, 패킷 송출부(35), 데이터 수집부(36) 및 모니터링부(37)를 실행시킨다.In addition, the control unit 30 executes the packet transmission unit 35, the data collection unit 36, and the monitoring unit 37 when the test of the corresponding network equipment 5 begins at the request of the administrator (User).

또한 제어부(30)는 데이터 수집부(35)에 의해 수집된 수집데이터를 데이터베이스부(31)에 저장한다. 이때 수집데이터는 네트워크 장비(5)의 트래픽 값으로 이루어진다.Additionally, the control unit 30 stores the collected data collected by the data collection unit 35 in the database unit 31. At this time, the collected data consists of traffic values of the network equipment (5).

또한 제어부(30)는 기 설정된 학습주기(T1) 마다 인공지능 학습부(33)를 실행시킨다.Additionally, the control unit 30 executes the artificial intelligence learning unit 33 every preset learning cycle (T1).

또한 제어부(30)는 기 설정된 설정주기(T2) 마다 주기-이상치 설정부(39)를 실행시키며, 주기-이상치 설정부(39)에 의해 설정된 주기-이상치의 기준정보를 데이터베이스부(31)에 저장한다.In addition, the control unit 30 executes the period-outlier setting unit 39 at each preset setting period (T2), and stores the reference information of the period-outlier value set by the period-outlier setting unit 39 in the database unit 31. Save.

또한 제어부(30)는 기 설정된 예측주기(T3) 마다 AI 기반 예지정비부(40)를 실행시킨다.Additionally, the control unit 30 executes the AI-based predictive maintenance unit 40 at every preset prediction cycle (T3).

데이터베이스부(31)에는 점검대상인 네트워크 장비(5)의 네트워크 구성정보가 저장된다.The database unit 31 stores network configuration information of the network equipment 5 to be inspected.

또한 데이터베이스부(31)에는 인공지능 학습부(33)에 의해 학습된 예측 알고리즘이 저장된다.Additionally, the database unit 31 stores the prediction algorithm learned by the artificial intelligence learning unit 33.

또한 데이터베이스부(31)에는 데이터 수집부(35)에 의해 수집된 데이터가 저장된다.Additionally, the data collected by the data collection unit 35 is stored in the database unit 31.

또한 데이터베이스부(31)에는 이상 수치 보정부(38)에 의해 이상 수치가 보정된 수집데이터(이하 보정데이터라고 함)가 저장된다.Additionally, the database unit 31 stores collected data (hereinafter referred to as correction data) whose abnormal values have been corrected by the abnormal value correction unit 38.

또한 데이터베이스부(31)에는 주기-이상치 설정부(34)에 의해 설정된 이상 수치의 기준정보가 저장된다.Additionally, the database unit 31 stores reference information on the abnormal value set by the period-outlier value setting unit 34.

통신 인터페이스부(32)는 점검대상인 네트워크 장비(5) 및 클라이언트(7)들과 데이터를 송수신한다.The communication interface unit 32 transmits and receives data with the network equipment 5 and clients 7 that are subject to inspection.

인공지능 학습부(33)는 제어부(30)의 제어에 따라, 기 설정된 학습주기(T1) 마다 실행되며, AI기반 예지정비부(40)에서 활용되는 예측 알고리즘을 학습한다.The artificial intelligence learning unit 33 is executed at every preset learning cycle (T1) under the control of the control unit 30 and learns the prediction algorithm used in the AI-based predictive maintenance unit 40.

이때 예측 알고리즘은 이상 수치가 보정된 수집데이터인 보정데이터를 입력데이터로 하여, 해당 네트워크 장비(5)의 예지정비 예측데이터를 출력하기 위한 머신러닝 알고리즘이다.At this time, the prediction algorithm is a machine learning algorithm that uses correction data, which is collected data in which abnormal values have been corrected, as input data and outputs predictive maintenance prediction data for the corresponding network equipment (5).

또한 인공지능 학습부(33)는 보정데이터와, 예지정비 예측데이터를 활용하여, 보정데이터와 예지정비 예측데이터의 상관관계를 학습할 수 있는 학습데이터를 생성하고, 생성된 학습데이터를 활용하여 보정데이터와 예지정비 예측데이터 간의 상관관계에 대한 파라미터 값들의 집합인 추출 모델을 도출한다.In addition, the artificial intelligence learning unit 33 uses the correction data and predictive maintenance prediction data to generate learning data that can learn the correlation between the correction data and predictive maintenance prediction data, and uses the generated learning data to make corrections. An extraction model, which is a set of parameter values for the correlation between data and predictive maintenance prediction data, is derived.

패킷 송출부(34)는 관리자(User)의 요청에 따라, 특정 네트워크 장비(5)에 대한 점검이 개시될 때 실행되며, 해당 네트워크 장비(5)로 패킷(Http request)을 송출한다.The packet transmission unit 34 is executed when an inspection of a specific network device 5 is initiated at the request of an administrator (User), and transmits a packet (Http request) to the network device 5.

데이터 수집부(35)는 패킷 송출부(34)에 의해 패킷을 수신 받은 네트워크 장비(5)의 트래픽 값을 수집한다.The data collection unit 35 collects traffic values of the network equipment 5 that receives packets from the packet transmission unit 34.

도 3은 도 2의 모니터링부에 의해 수집된 트래픽 값이 시계열 데이터로 정렬된 차트를 나타내는 예시도이다.Figure 3 is an example diagram showing a chart in which traffic values collected by the monitoring unit of Figure 2 are arranged as time series data.

모니터링부(36)는 데이터 수집부(35)에 의해 수집된 트래픽 값을 타임라인에 따라 정렬하여, 도 3의 시계열 데이터(910)를 생성한다.The monitoring unit 36 sorts the traffic values collected by the data collection unit 35 according to the timeline to generate time series data 910 of FIG. 3.

이때 시계열 데이터(910)에는 도 3에 도시된 바와 같이, 주기성을 가지면서 이상 수치를 갖는 주기-이상치(911)가 검출될 수 있다. 이때 주기-이상치(911)는 동일한 주기를 갖는 이상 수치들을 의미한다.At this time, as shown in FIG. 3, a period-outlier value 911 having periodicity and an abnormal value may be detected in the time series data 910. At this time, the period-outlier value 911 refers to abnormal values having the same period.

도 4는 도 2의 본 발명에 활용되는 주기-이상치 기준정보를 설명하기 위한 예시도이다.FIG. 4 is an exemplary diagram illustrating the period-outlier reference information used in the present invention of FIG. 2.

이상 수치 판별부(37)는 주기-이상치 설정부(39)에 의해 설정된 주기-이상치 기준정보를 데이터베이스부(31)로부터 추출한다.The abnormal value determination unit 37 extracts the period-outlier standard information set by the period-outlier value setting unit 39 from the database unit 31.

이때 주기-이상치 기준정보는 도 4에 도시된 바와 같이, 1)주기-이상치(911)의 이상 수치들이 반복되는 시간차인 주기(T)와, 2)주기-이상치(911)의 이상 수치들 중 가장 마지막에 발생된 이상 수치의 발생 시간인 기준시간(t3)과, 3)주기-편차(△T) 정보를 포함한다.At this time, as shown in FIG. 4, the cycle-outlier standard information includes 1) the cycle (T), which is the time difference between the repeated abnormal values of the cycle-outlier value 911, and 2) the abnormal values of the cycle-outlier value 911. It includes the reference time (t3), which is the occurrence time of the last abnormal value, and 3) cycle-deviation (△T) information.

즉 본 발명의 이상 수치 판별부(37)는 모니터링부(36)에 의해 생성된 트래픽의 시계열 데이터를 모니터링 할 때, 모든 구간을 대상으로 이상 수치를 검출하는 것이 아니라, 주기-이상치 기준정보에 포함된 기준시간(t)과, 주기(T), 주기-편차(△T)에 대응하는 구간에 대해서만 이상 수치가 발생하였는지를 판단한다.That is, when the abnormal value determination unit 37 of the present invention monitors the time series data of traffic generated by the monitoring unit 36, the abnormal value is not detected for all sections, but is included in the period-outlier standard information. Determine whether an abnormal value has occurred only in the section corresponding to the reference time (t), period (T), and period-deviation (△T).

이때 이상 수치라고 함은 트래픽 값이 일시적으로 급격하게 증가하거나 급격하게 낮아지거나 또는 진동이 이루어지는 데이터를 의미한다.At this time, abnormal values refer to data in which traffic values temporarily increase sharply, decrease sharply, or oscillate.

다시 말하면, 본 발명은 모든 구간에 대하여 이상 수치 여부를 판단하는 것이 아니라, 주기-이상치 설정부(39)에 의해 설정된 구간에 한해서만 이상 수치를 관찰함으로써 이상 수지를 검출하기 위한 연산처리량, 시간 및 비용소모를 현저히 절감시킬 수 있다.In other words, the present invention does not determine whether an abnormal value is present in all sections, but rather observes the abnormal value only in the section set by the period-outlier value setting unit 39 to determine the computational throughput, time, and cost for detecting the abnormal value. Consumption can be significantly reduced.

또한 제어부(30)는 이상 수치 판별부(37)에서 이상 수치가 검출되었다고 판단되면, 이상 수치 보정부(38)를 실행시킨다.Additionally, if the control unit 30 determines that an abnormal value has been detected in the abnormal value determination unit 37, it executes the abnormal value correction unit 38.

이상 수치 보정부(38)는 이상 수치 판별부(37)에서 이상 수치가 검출되었다고 판단될 때 실행된다.The abnormal value correction unit 38 is executed when the abnormal value determination unit 37 determines that an abnormal value has been detected.

또한 이상 수치 보정부(38)는 이상 수치가 검출된 구간의 전후 정상적인 트래픽 값들을 추출한 후, 추출된 트래픽 값들의 평균값을 산출한다.Additionally, the abnormal value correction unit 38 extracts normal traffic values before and after the section in which the abnormal value was detected, and then calculates the average value of the extracted traffic values.

또한 이상 수치 보정부(38)는 해당 이상 수치의 트래픽 값들을 산출된 평균값으로 대체하는 방식으로 이상 수치의 트래픽 값을 보정한다.Additionally, the abnormal value correction unit 38 corrects the traffic values of the abnormal value by replacing the traffic values of the abnormal value with the calculated average value.

이때 수집데이터의 정상 트래픽 값들과, 이상 수치의 트래픽 값을 보정한 트래픽 값들을 포함하는 데이터를 보정데이터라고 명칭하기로 하고, 보정데이터는 제어부(30)의 제어에 따라 데이터베이스부(31)에 저장된다.At this time, the data including the normal traffic values of the collected data and the traffic values corrected for the abnormal traffic values are called correction data, and the correction data is stored in the database unit 31 under the control of the control unit 30. do.

도 5는 도 2의 주기-이상치 설정부를 나타내는 블록도이다.Figure 5 is a block diagram showing the period-outlier setting unit of Figure 2.

주기-이상치 설정부(39)는 제어부의 제어에 따라, 기 설정된 설정주기(T2) 마다 실행된다.The cycle-outlier value setting unit 39 is executed at every preset setting period (T2) under the control of the control unit.

또한 주기-이상치 설정부(39)는 도 5에 도시된 바와 같이, 수집데이터 추출모듈(391)과, 시계열 데이터 변환모듈(392), 이상 수치 검출모듈(393), 주기성 여부 판단모듈(394), 기준시간 설정모듈(395), 주기 설정모듈(396), 최적 주기편차 설정모듈(397), 주기-이상치 기준정보 생성모듈(398)로 이루어진다.In addition, as shown in FIG. 5, the period-outlier value setting unit 39 includes a collection data extraction module 391, a time series data conversion module 392, an anomaly value detection module 393, and a periodicity determination module 394. , It consists of a reference time setting module 395, a period setting module 396, an optimal period deviation setting module 397, and a period-outlier reference information generation module 398.

수집데이터 추출모듈(391)은 현재 시점으로부터 설정주기(T2) 동안, 데이터 수집부(35)에 의해 수집된 수집데이터를 데이터베이스부(31)로부터 추출한다.The collection data extraction module 391 extracts the collection data collected by the data collection unit 35 from the database unit 31 during a set period (T2) from the current point in time.

이때 수집데이터는 네트워크 장비(5)의 트래픽 값이며, 상세하게로는 이상 수치 보정부(38)에 의해 이상 수치의 트래픽 값 보정이 이루어지지 않은 상태의 로우값들을 의미한다.At this time, the collected data is the traffic value of the network equipment 5, and more specifically, it means raw values in a state in which the traffic value of the abnormal value has not been corrected by the abnormal value correction unit 38.

시계열 데이터 변환모듈(392)은 수집데이터 추출모듈(391)에 의해 추출된 수집데이터를 타임라인에 따라 정렬하여, 시계열 데이터로 변환 및 정렬한다.The time series data conversion module 392 sorts the collected data extracted by the collected data extraction module 391 according to the timeline, and converts and sorts them into time series data.

이상 수치 검출모듈(393)은 시계열 데이터 변환모듈(392)에 의해 변환된 시계열 데이터의 트래픽 값들을 분석하여, 이상 수치를 검출한다.The abnormal value detection module 393 analyzes traffic values of time series data converted by the time series data conversion module 392 and detects abnormal values.

이때 이상 수치는 트래픽 값이 일시적으로 급격하게 증가하거나 급격하게 낮아지거나 또는 진동이 이루어지는 데이터를 의미한다.At this time, abnormal values refer to data in which traffic values temporarily increase sharply, decrease sharply, or oscillate.

주기성 여부 판단모듈(394)은 이상 수치 검출모듈(393)에 의해 검출된 이상 수치들의 시간정보를 활용하여, 이상 수치들 중 주기적인 특성을 갖는 이상 수치들이 존재하는지를 판단한다.The periodicity determination module 394 uses the time information of the abnormal values detected by the abnormal value detection module 393 to determine whether there are abnormal values with periodic characteristics among the abnormal values.

이때 주기성 여부 판단모듈(394)은 검출된 이상 수치들 중 주기성을 갖는 이상 수치들이 존재하지 않는다고 판단하면, 별도의 동작을 수행하지 않되, 검출된 이상 수치들 중 주기성을 갖는 이상 수치들이 존재하면, 기준시간 설정모듈(395), 주기 설정모듈(396) 및 최적 주기편차 설정모듈(397)을 실행시킨다.At this time, if the periodicity determination module 394 determines that there are no abnormal values with periodicity among the detected abnormal values, it does not perform a separate operation. However, if there are abnormal values with periodicity among the detected abnormal values, The standard time setting module 395, period setting module 396, and optimal period deviation setting module 397 are executed.

이때 주기-이상치는 동일한 주기(T)를 갖는 이상 수치들을 의미한다.At this time, period-outlier refers to abnormal values having the same period (T).

기준시간 설정모듈(395)은 주기성 여부 판단모듈(394)에 의해 검출된 주기-이상치의 이상 수치들 중 가장 마지막으로 검출된 이상 수치의 중간지점을 기준시간(t)으로 설정한다.The reference time setting module 395 sets the midpoint of the last detected abnormality value among the periodicity abnormality values detected by the periodicity determination module 394 as the reference time (t).

주기 설정모듈(395)은 인접한 주기-이상치 간의 시간차들을 산출한 후, 산출된 시간차들의 평균값을 해당 주기-이상치의 주기(T)로 설정한다.The period setting module 395 calculates the time differences between adjacent periods and outliers, and then sets the average value of the calculated time differences as the period (T) of the corresponding period and outlier.

최적 주기편차 설정모듈(397)은 주기-이상치의 각 이상 수치에, 기준시간(t)을 기준으로 주기(T)를 적용할 때, 각 이상 수치의 중간값을 기준으로 해당 이상 수치가 발생된 시점까지의 시간차들을 산출한 후, 산출된 시간차들 중 최대값을 최적 주기편차(△T)로 설정한다.When applying the period (T) based on the reference time (t) to each abnormal value of the cycle-anomaly value, the optimal period deviation setting module 397 determines whether the corresponding abnormal value is generated based on the median value of each abnormal value. After calculating the time differences up to the point in time, the maximum value among the calculated time differences is set as the optimal period deviation (△T).

주기-이상치 기준정보 생성모듈(398)은 기준시간 설정모듈(395), 주기 설정모듈(396) 및 최적 주기편차 설정모듈(397)에 의해 설정된 기준시간(t), 주기(T) 및 최적 주기편차(△T)를 매칭시켜 주기-이상치 기준정보를 생성한다.The period-outlier reference information generation module 398 includes the reference time (t), period (T), and optimal period set by the reference time setting module 395, the period setting module 396, and the optimal period deviation setting module 397. Period-outlier reference information is generated by matching the deviation (△T).

이때 주기-이상치 기준정보 생성모듈(398)에 의해 생성된 주기-이상치 기준정보는 제어부(30)의 제어에 따라 데이터베이스부(31)에 저장된다.At this time, the period-outlier reference information generated by the period-outlier reference information generation module 398 is stored in the database unit 31 under the control of the control unit 30.

다시 도 2로 돌아가서, AI 기반 예지정비부(40)를 살펴보면, AI 기반 예지정비부(40)는 제어부(30)의 제어에 따라 기 설정된 예측주기(T3) 마다 실행된다.Going back to FIG. 2, looking at the AI-based predictive maintenance unit 40, the AI-based predictive maintenance unit 40 is executed at every preset prediction cycle (T3) under the control of the control unit 30.

또한 AI 기반 예지정비부(40)는 예측주기(T3) 동안 수집된 보정데이터들을 추출한 후, 추출된 보정데이터들을 인공지능 학습부(33)에 의해 학습된 예측 알고리즘의 입력데이터로 하여, 예지정비 예측데이터를 출력한다.In addition, the AI-based predictive maintenance unit 40 extracts the correction data collected during the prediction cycle (T3) and then uses the extracted correction data as input data for the prediction algorithm learned by the artificial intelligence learning unit 33 to perform predictive maintenance. Output predicted data.

이와 같이 본 발명의 일실시예인 주기성을 갖는 이상 수치 검출 시스템(1)은 점검대상인 네트워크 장비의 트래픽 이상 수치 검출 시, 주기성을 갖는 이상 수치들인 주기-이상치를 사전에 미리 설정함과 동시에 기 설정된 주기-이상치의 주기에 해당하는 구간에 한해서만 이상 수치 발생 여부를 분석하며, 발생된 이상 수치를 적절하게 보정하도록 구성됨으로써 이상 수치 검출로 인한 불필요한 연산처리, 시간 및 비용을 절감시킬 수 있을 뿐만 아니라 예지 정비의 정확성 및 정밀도를 극대화시킬 수 있게 된다.In this way, the system for detecting abnormal values with periodicity (1), which is an embodiment of the present invention, sets the period-anomaly value in advance, which is abnormal values with periodicity, when detecting abnormal traffic values of network equipment to be inspected, and at the same time, sets the period-anomaly value in advance at the same time as the abnormal value with periodicity. -Analyzes whether abnormal values occur only in the section corresponding to the cycle of the abnormal values, and is configured to appropriately correct the abnormal values that occur, thereby not only reducing unnecessary computational processing, time, and cost due to detection of abnormal values, but also predictive maintenance. Accuracy and precision can be maximized.

또한 본 발명의 주기성을 갖는 이상 수치 검출 시스템(1)은 테스트 관리서버가 주기-이상치 설정 시, 기준시간(t), 주기(T), 최적 주기-편차(△T)를 검출한 후, 이들을 매칭시켜 주기-이상치 기준정보를 생성함과 동시에 수집데이터 모니터링 시, 주기-이상치 기준정보에 대응하는 구간에 한해서만 이상 수치 발생 여부를 판별하도록 구성됨으로써 이상 수치를 검출하기 위한 연산처리량, 비용 및 시간을 더욱 절감시킬 수 있다.In addition, the anomaly value detection system (1) with periodicity of the present invention detects the reference time (t), period (T), and optimal period-deviation (△T) when the test management server sets the period-anomaly value, and then detects them. It is configured to generate cycle-outlier standard information by matching and at the same time, when monitoring collected data, determine whether abnormal values occur only in the section corresponding to the cycle-outlier standard information, thereby reducing the computational throughput, cost, and time for detecting abnormal values. It can be reduced further.

또한 본 발명의 주기성을 갖는 이상 수치 검출 시스템(1)은 테스트 관리서버가 이상 수치 검출 시, 자동으로 이상 수치를 적절한 트래픽 값으로 보정하여 저장함과 동시에 예지정비를 예측하는 예측 알고리즘이 보정된 데이터들을 활용하여 학습하도록 구성됨으로써 예지정비 예측의 정확성 및 신뢰도를 높일 수 있다.In addition, the abnormal value detection system 1 with periodicity of the present invention automatically corrects and stores the abnormal value to an appropriate traffic value when the test management server detects an abnormal value, and at the same time, a prediction algorithm that predicts predictive maintenance collects the corrected data. By being configured to learn through use, the accuracy and reliability of predictive maintenance predictions can be increased.

1:주기성을 갖는 이상 수치 검출 시스템
3:테스트 관리서버 5:네트워크 장비
7:클라이언트 30:제어부
31:데이터베이스부 32:통신 인터페이스부
33:인공지능 학습부 34:패킷 송출부
35:데이터 수집부 36:모니터링부
37:이상 수치 판별부 38:이상 수치 보정부
39:주기-이상치 설정부 40:AI 기반 예지정비부
391:수집데이터 추출모듈 392:시계열 데이터 변환모듈
393:이상 수치 검출모듈 394:주기성 여부 판단모듈
395:기준시간 설정모듈 396:주기 설정모듈
397:최적 주기편차 설정모듈 398:주기-이상치 기준정보 생성모듈
1: Abnormal value detection system with periodicity
3: Test management server 5: Network equipment
7:Client 30:Control unit
31: database unit 32: communication interface unit
33: Artificial intelligence learning unit 34: Packet transmission unit
35: Data collection unit 36: Monitoring unit
37: Abnormal value determination unit 38: Abnormal value correction unit
39: Period-outlier setting unit 40: AI-based predictive maintenance unit
391: Collection data extraction module 392: Time series data conversion module
393: Abnormal value detection module 394: Periodicity determination module
395: Standard time setting module 396: Period setting module
397: Optimal cycle deviation setting module 398: Cycle-outlier standard information generation module

Claims (4)

점검대상인 네트워크 장비와, 상기 네트워크 장비로부터 트래픽 값을 수집하는 테스트 관리서버를 포함하는 이상 수치 검출 시스템에 있어서:
상기 테스트 관리서버는
데이터베이스부;
상기 네트워크 장비로부터 트래픽 값을 수집하는 데이터 수집부;
기 설정된 설정주기(T2) 마다 실행되며, 상기 설정주기(T2) 동안 수집된 수집데이터를 시계열 데이터로 변환한 후, 임계치 이상으로 트래픽 값이 증가 또는 감소할 때, 이를 이상 수치로 판별하되, 판별된 이상 수치들 중 주기적인 특성을 갖는 이상 수치가 검출될 때, 동일 주기(T)를 갖는 이상 수치들을 주기-이상치로 설정하며, 설정된 주기-이상치의 이상 수치들 중 가장 마지막 발생된 이상 수치의 중간값인 기준시간(t)과 이상 수치들의 주기(T)를 매칭시켜 주기-이상치 기준정보를 생성한 후, 상기 데이터베이스부에 저장하는 주기-이상치 설정부;
상기 데이터 수집부에 의해 수집된 수집데이터를 시계열 데이터로 변환하여 모니터링 하는 모니터링부;
상기 모니터링부의 상기 시계열 데이터에서, 상기 데이터베이스부에 저장된 주기-이상치 기준정보의 기준시간(t) 및 주기(T)에 대응하는 구간에 한해서만, 이상 수치가 발생하였는지를 판단하는 이상 수치 판별부;
상기 이상 수치 판별부에 의해 이상 수치가 검출될 때 실행되며, 검출된 이상 수치의 트래픽 값을 해당 이상 수치의 전후 구간의 트래픽 값의 평균값으로 보정하는 이상 수치 보정부를 포함하는 것을 특징으로 하는 이상 수치 검출 시스템.
In an abnormal value detection system that includes a network device to be inspected and a test management server that collects traffic values from the network device:
The test management server is
database part;
a data collection unit that collects traffic values from the network equipment;
It is executed every preset setting cycle (T2), and after converting the collected data collected during the setting period (T2) into time series data, when the traffic value increases or decreases above the threshold, this is determined as an abnormal value. When an abnormal value with periodic characteristics is detected among the abnormal values that have been set, the abnormal values with the same period (T) are set as cycle-outliers, and the last abnormal value that occurred among the abnormal values of the set cycle-outlier values is detected. a period-outlier setting unit that generates period-outlier reference information by matching the reference time (t), which is an intermediate value, and the period (T) of abnormal values, and then stores it in the database unit;
a monitoring unit that converts the collected data collected by the data collection unit into time series data and monitors it;
an abnormal value determination unit that determines whether an abnormal value has occurred in the time series data of the monitoring unit only in a section corresponding to the reference time (t) and period (T) of the period-outlier reference information stored in the database unit;
An abnormal value correction unit that is executed when an abnormal value is detected by the abnormal value determination unit and includes an abnormal value correction unit that corrects the traffic value of the detected abnormal value by the average value of traffic values in the section before and after the abnormal value. Detection system.
제1항에 있어서, 상기 주기-이상치 설정부는
상기 설정주기(T2) 동안, 상기 데이터 수집부에 의해 수집된 수집데이터를 상기 데이터베이스부로부터 추출하는 수집데이터 추출모듈;
상기 수집데이터 추출모듈에 의해 추출된 수집데이터를 타임라인에 따라 정렬하여, 시계열 데이터로 변환 및 정렬하는 시계열 데이터 변환모듈;
상기 시계열 데이터 변환모듈에 의해 변환된 시계열 데이터의 트래픽 값들을 분석하여, 이상 수치를 검출하는 이상 수치 검출모듈;
상기 이상 수치 검출모듈에 의해 검출된 이상 수치들의 시간정보를 활용하여, 이상 수치들 중 주기적인 특성을 갖는 이상 수치들인 주기-이상치가 존재하는지를 판단하는 주기성 여부 판단모듈;
상기 주기성 여부 판단모듈에 의해 주기-이상치가 존재한다고 판단될 때 실행되며, 검출된 주기-이상치의 이상 수치들 중 가장 마지막으로 검출된 이상 수치의 중간지점을 기준시간(t)으로 설정하는 기준시간 설정모듈;
상기 주기성 여부 판단모듈에 의해 주기-이상치가 존재한다고 판단될 때 실행되며, 인접한 주기-이상치의 이상 수치간의 시간차들을 산출한 후, 산출된 시간차들의 평균값을 해당 주기-이상치의 주기(T)로 설정하는 주기 설정모듈;
상기 기준시간 설정모듈 및 상기 주기 설정모듈에 의해 설정된 기준시간(t) 및 주기(T)를 매칭시켜 주기-이상치 기준정보를 생성하는 주기-이상치 기준정보 생성모듈을 포함하는 것을 특징으로 하는 이상 수치 검출 시스템.
The method of claim 1, wherein the period-outlier setting unit
a collection data extraction module that extracts the collected data collected by the data collection unit from the database unit during the setting period (T2);
a time series data conversion module that sorts the collected data extracted by the collected data extraction module according to a timeline and converts and sorts them into time series data;
an abnormal value detection module that detects abnormal values by analyzing traffic values of the time series data converted by the time series data conversion module;
a periodicity determination module that uses time information of the abnormal values detected by the abnormal value detection module to determine whether a period-outlier, which is an abnormal value with periodic characteristics, exists among the abnormal values;
It is executed when the periodicity determination module determines that a cycle-outlier exists, and sets the midpoint of the last detected anomaly value among the abnormal values of the detected cycle-anomaly as the reference time (t). Setting module;
It is executed when it is determined that a cycle-outlier exists by the periodicity determination module, and after calculating the time differences between the abnormal values of the adjacent cycle-outlier, the average value of the calculated time differences is set as the period (T) of the cycle-outlier. Cycle setting module;
An abnormal value comprising a period-outlier reference information generation module that generates period-outlier reference information by matching the reference time setting module and the reference time (t) and period (T) set by the period setting module. Detection system.
제2항에 있어서, 상기 주기-이상치 설정부는
상기 주기성 여부 판단모듈에 의해 주기-이상치가 존재한다고 판단될 때 실행되며, 주기-이상치의 각 이상 수치에, 기준시간(t)을 기준으로 주기(T)를 적용할 때, 각 이상 수치의 중간값을 기준으로 해당 이상 수치가 발생된 시점까지의 시간차들을 산출한 후, 산출된 시간차들 중 최대값을 최적 주기편차(△T)로 설정하는 최적 주기편차 설정모듈을 더 포함하고,
상기 이상 수치 판별부는
상기 주기-이상치 설정부에 의해 생성된 주기-이상치 기준정보의 기준시간(t), 주기(T) 및 최적 주기편차(△T)에 대응하는 구간에 한해서 이상 수치가 발생하였는지 여부를 판단하는 것을 특징으로 하는 이상 수치 검출 시스템.
The method of claim 2, wherein the period-outlier setting unit
It is executed when it is determined that a cycle-outlier value exists by the periodicity determination module, and when a period (T) is applied to each abnormal value of the cycle-outlier value based on the reference time (t), the middle of each abnormal value It further includes an optimal periodic deviation setting module that calculates the time differences up to the point when the abnormal value occurs based on the value, and then sets the maximum value among the calculated time differences as the optimal periodic deviation (△T),
The abnormal value determination unit
Determining whether an abnormal value has occurred only in the section corresponding to the reference time (t), period (T), and optimal period deviation (△T) of the period-outlier reference information generated by the period-outlier setting unit Characterized by an abnormal value detection system.
제3항에 있어서, 상기 테스트 관리서버는 인공지능 학습부와, AI 기반 예지정비부를 더 포함하고,
상기 인공지능 학습부는
기 설정된 학습주기(T1) 마다 실행되며, 상기 데이터 수집부에 의해 수집된 수집데이터에서 상기 이상 수치 보정부에 의해 보정된 값들로 대체된 수집데이터를 보정데이터라고 할 때, 상기 학습주기(T1) 동안 수집된 보정데이터와 예지정비 예측데이터를 활용하여, 수집된 보정데이터와 예지정비 예측데이터의 상관관계를 학습할 수 있는 학습데이터를 생성하고 생성된 학습데이터를 활용하여 보정데이터와 예지정비 예측데이터 간의 상관관계에 대한 파라미터 값들의 집합인 추출 모델을 도출하여 예측 알고리즘을 학습하고,
상기 AI 기반 예지정비부는
기 설정된 예측주기(T3) 마다 실행되며, 상기 예측주기(T3) 동안 수집된 보정데이터들을 추출한 후, 추출된 보정데이터들을 상기 예측 알고리즘의 입력데이터로 하여, 예지정비 예측데이터를 출력하는 것을 특징으로 하는 이상 수치 검출 시스템.
The method of claim 3, wherein the test management server further includes an artificial intelligence learning unit and an AI-based predictive maintenance unit,
The artificial intelligence learning department
It is executed every preset learning cycle (T1), and when the collected data replaced by the values corrected by the abnormal value correction unit in the collected data collected by the data collection unit is called correction data, the learning cycle (T1) By using the correction data and predictive maintenance prediction data collected during the period, learning data that can learn the correlation between the collected correction data and predictive maintenance prediction data is created, and the generated learning data is used to create correction data and predictive maintenance prediction data. A prediction algorithm is learned by deriving an extraction model, which is a set of parameter values for the correlation between
The AI-based predictive maintenance department
It is executed every preset prediction cycle (T3), and extracts correction data collected during the prediction period (T3), then uses the extracted correction data as input data for the prediction algorithm to output predictive maintenance prediction data. Abnormal value detection system.
KR1020210114944A 2021-08-30 2021-08-30 System for detecting abnormal value with periodicity using time-series data KR102624950B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210114944A KR102624950B1 (en) 2021-08-30 2021-08-30 System for detecting abnormal value with periodicity using time-series data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210114944A KR102624950B1 (en) 2021-08-30 2021-08-30 System for detecting abnormal value with periodicity using time-series data

Publications (2)

Publication Number Publication Date
KR20230032286A KR20230032286A (en) 2023-03-07
KR102624950B1 true KR102624950B1 (en) 2024-01-15

Family

ID=85512912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210114944A KR102624950B1 (en) 2021-08-30 2021-08-30 System for detecting abnormal value with periodicity using time-series data

Country Status (1)

Country Link
KR (1) KR102624950B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023064173A (en) * 2021-10-26 2023-05-11 富士通株式会社 Data processing device, data processing method, and data processing program
CN116989897B (en) * 2023-09-26 2023-12-22 山东聚亨源环保科技有限公司 Low-power-consumption vehicle-mounted remote abnormality monitoring system for dangerous waste warehouse

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102418892B1 (en) * 2015-06-15 2022-07-11 한국전자통신연구원 Method of saving energy based on confidence interval and apparatus using the same
KR102118670B1 (en) * 2017-03-23 2020-06-04 (주)모아데이타 System and method for management of ict infra
KR20190096706A (en) * 2018-02-09 2019-08-20 주식회사 케이티 Method and Apparatus for Monitoring Abnormal of System through Service Relevance Tracking

Also Published As

Publication number Publication date
KR20230032286A (en) 2023-03-07

Similar Documents

Publication Publication Date Title
US20210397501A1 (en) System and method for unsupervised prediction of machine failures
CN107409064B (en) Method and system for supporting detection of irregularities in a network
KR102624950B1 (en) System for detecting abnormal value with periodicity using time-series data
CN107707431A (en) The data safety monitoring method and system of a kind of facing cloud platform
US11243524B2 (en) System and method for unsupervised root cause analysis of machine failures
US10444121B2 (en) Fault detection using event-based predictive models
EP1738470B1 (en) Apparatus and method for improving reliability of collected sensor data over a network
Nováczki An improved anomaly detection and diagnosis framework for mobile network operators
CN105325023A (en) Method and network device for cell anomaly detection
CN110995468A (en) System fault processing method, device, equipment and storage medium of system to be analyzed
WO2013072232A1 (en) Method to manage performance in multi-tier applications
US20220321436A1 (en) Method and apparatus for managing prediction of network anomalies
WO2009110329A1 (en) Failure analysis device, failure analysis method, and recording medium
KR20190096706A (en) Method and Apparatus for Monitoring Abnormal of System through Service Relevance Tracking
US20190265088A1 (en) System analysis method, system analysis apparatus, and program
CN117131457B (en) AI model-based electric power big data acquisition and processing method and system
KR102561675B1 (en) Failure diagnosis and prediction system using condition monitoring of production site operation facilities
CN111989896A (en) Dependency control in a network of devices
KR101027242B1 (en) Method and Apparatus for Predicting Error in Process Control Network
CN112966785B (en) Intelligent constellation state identification method and system
US20230147470A1 (en) Failure prediction system
US20230336409A1 (en) Combination rules creation device, method and program
Malefaki et al. Modeling software rejuvenation on a redundant system using Monte Carlo simulation
Papataxiarhis et al. Event correlation and forecasting over high-dimensional streaming sensor data
CN110232482B (en) Equipment management method and device based on neural network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant