KR20230088265A

KR20230088265A - Apparatus for managing Internet of Things (IoT) based weather environment sensor and method therefor

Info

Publication number: KR20230088265A
Application number: KR1020220169888A
Authority: KR
Inventors: 명광민; 최성령
Original assignee: 디아이랩 주식회사
Priority date: 2021-12-10
Filing date: 2022-12-07
Publication date: 2023-06-19

Abstract

기상환경 센서를 관리하기 위한 방법은 데이터수집부가 복수의 서로 다른 위치에 설치된 복수의 기상환경 센서가 기상환경을 계측한 복수의 센서 데이터 및 상기 복수의 센서 데이터 각각에 대응하여 기상청의 장비를 통해 기상환경을 계측한 복수의 기준 데이터를 수집하는 단계와, 의심데이터검출부가 기준 데이터와 센서 데이터를 비교하여 상기 복수의 센서 데이터 중 이상이 있는 것으로 의심되는 센서 데이터가 존재하는지 여부를 판별하는 단계와, 관리부가 상기 의심되는 센서 데이터가 존재하면, 관리부가 상기 의심되는 센서 데이터에 해당하는 기상환경 센서를 의심 센서로 특정하는 단계를 포함한다. A method for managing a weather environment sensor is a plurality of sensor data in which a plurality of weather environment sensors installed at a plurality of different locations of a data collection unit measure the weather environment and weather conditions through equipment of the Korea Meteorological Agency in response to each of the plurality of sensor data. Collecting a plurality of reference data obtained by measuring the environment, and comparing the reference data and sensor data by a suspicious data detection unit to determine whether there is sensor data suspected of having an abnormality among the plurality of sensor data; and specifying, by the manager, a meteorological environment sensor corresponding to the suspected sensor data as a suspect sensor, if the suspect sensor data exists.

Description

Apparatus for managing Internet of Things (IoT) based weather environment sensor and method therefor}

본 발명은 기상환경 센서를 관리하기 위한 기술에 관한 것으로, 보다 상세하게는 IoT 기반 기상환경 센서를 관리하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to a technology for managing a weather environment sensor, and more particularly, to an apparatus for managing an IoT-based weather environment sensor and a method therefor.

최근 스마트시티, 스마트팩토리 사업 등이 활성화되면서 IoT(Internet of Things: 사물인터넷) 센서를 이용한 기상기후 및 환경 정보 센싱이 많아졌다. 그러나 저가형 센서이면서 사람의 활동 영향을 받는 공간에 설치하다 보니 다양한 오류가 발생하고 설치 환경에 따라 데이터 품질이 저하되거나 센서 수명이 짧아지기도 한다. Recently, with the activation of smart city and smart factory businesses, sensing of meteorological climate and environmental information using IoT (Internet of Things) sensors has increased. However, since it is a low-cost sensor and is installed in a space affected by human activity, various errors occur, and depending on the installation environment, data quality may deteriorate or sensor life may be shortened.

현재 광산란 방식의 미세먼지 간이측정기는 지자체나 민간기업 등에 의해 기상 센서와 함께 도심의 다양한 환경에 설치되어 운영되고 있다. 그런데 관측센서, 관측망, 데이터 품질의 관리가 제대로 이루어지지 않아 자료의 활용도를 높이는 데에는 한계가 있다. 이러한 문제를 해결하고 데이터 품질을 높여 자료의 활용도를 높이기 위한 비교관측과 데이터 분석을 결합한 품질 관리와 유지보수가 필요하다. Currently, simple light scattering fine dust measuring instruments are installed and operated in various environments in the city together with weather sensors by local governments or private companies. However, there is a limit to increasing the utilization of data because the observation sensor, observation network, and data quality are not properly managed. In order to solve these problems and improve the utilization of data by increasing data quality, quality control and maintenance that combines comparative observation and data analysis are needed.

한국등록특허공보 제2169452호 (2020년05월07일 공개)Korean Registered Patent Publication No. 2169452 (published on May 07, 2020)

본 발명의 목적은 IoT 기반 기상환경 센서를 관리하기 위한 장치 및 이를 위한 방법을 제공함에 있다. An object of the present invention is to provide a device for managing an IoT-based weather environment sensor and a method therefor.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 기상환경 센서를 관리하기 위한 방법은 데이터수집부가 복수의 서로 다른 위치에 설치된 복수의 기상환경 센서가 기상환경을 계측한 복수의 센서 데이터 및 상기 복수의 센서 데이터 각각에 대응하여 기상청의 장비를 통해 기상환경을 계측한 복수의 기준 데이터를 수집하는 단계와, 의심데이터검출부가 기준 데이터와 센서 데이터를 비교하여 상기 복수의 센서 데이터 중 이상이 있는 것으로 의심되는 센서 데이터가 존재하는지 여부를 판별하는 단계와, 관리부가 상기 의심되는 센서 데이터가 존재하면, 관리부가 상기 의심되는 센서 데이터에 해당하는 기상환경 센서를 의심 센서로 특정하는 단계를 포함한다. A method for managing a weather environment sensor according to a preferred embodiment of the present invention for achieving the above object is a plurality of sensors in which a plurality of weather environment sensors installed in a plurality of different locations of the data collection unit measure the weather environment. Collecting a plurality of reference data obtained by measuring the meteorological environment through equipment of the Korea Meteorological Administration in correspondence with each of the data and the plurality of sensor data; Determining whether there is sensor data suspected of having a problem, and if the suspected sensor data exists, the management unit specifying a meteorological environment sensor corresponding to the suspected sensor data as a suspect sensor. do.

상기 이상이 있는 것으로 의심되는 센서 데이터가 존재하는지 여부를 판별하는 단계는 편차분석모듈이 상기 기준 데이터와 상기 센서 데이터의 편차를 추출하는 단계와, 상관도분석모듈이 상기 기준 데이터와 상기 센서 데이터 간의 상관도를 도출하는 단계와, 분포분석모듈이 상기 기준 데이터 대비 상기 센서 데이터의 분포, 상기 기준 데이터와 상기 센서 데이터의 편차의 분포 및 상기 기준 데이터와 상기 센서 데이터 간 상관도의 분포를 도출하는 단계와, 시퀀스분석모듈이 시퀀스모델을 이용하여 상기 기준 데이터 대비 상기 센서 데이터를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 제1 합성곱분석모듈이 제1 합성곱모델을 이용하여 상기 기준 데이터 대비 상기 센서 데이터의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 제2 합성곱분석모듈이 제2 합성곱모델을 이용하여 상기 기준 데이터와 상기 센서 데이터의 편차의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 제3 합성곱분석모듈이 제3 합성곱모델을 이용하여 상기 기준 데이터와 상기 센서 데이터 간 상관도의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 앙상블모듈이 상기 시퀀스분석모듈, 상기 제1 합성곱분석모듈, 상기 제2 합성곱분석모듈 및 상기 제3 합성곱분석모듈 각각이 출력한 이상판단벡터를 종합하여 이상이 있는 것으로 의심되는 센서 데이터가 존재하는지 여부를 나타내는 의심검출벡터를 도출하는 단계를 포함한다. The step of determining whether the sensor data suspected of having the abnormality exists is the step of extracting the deviation between the reference data and the sensor data by a deviation analysis module, and the correlation analysis module between the reference data and the sensor data. Deriving a correlation, and deriving, by a distribution analysis module, a distribution of the sensor data against the reference data, a distribution of deviations between the reference data and the sensor data, and a distribution of the correlation between the reference data and the sensor data. And, a sequence analysis module analyzes the sensor data against the reference data using a sequence model to derive an abnormality determination vector indicating whether or not abnormal sensor data exists, and a first convolutional analysis module performs a first deriving an anomaly judgment vector indicating whether abnormal sensor data exists by analyzing the distribution of the sensor data compared to the reference data using a convolution model; and a second convolution analysis module performs a second convolution model; deriving an abnormality determination vector indicating whether there is abnormal sensor data by analyzing a distribution of deviations between the reference data and the sensor data using deriving an anomaly determination vector indicating whether there is anomaly sensor data by analyzing a distribution of correlations between the reference data and the sensor data using an ensemble module, the sequence analysis module, the first convolution Deriving a suspicion detection vector indicating whether or not there is sensor data suspected of having an abnormality by integrating the abnormality judgment vectors output by the analysis module, the second convolutional analysis module, and the third convolutional analysis module, respectively. include

상기 의심검출벡터는 의심되는 센서 데이터가 존재하는지 여부를 확률로 나타내는 연판정값이거나, 상기 확률을 원 핫 인코딩 벡터(one-hot-encoding vector)로 변환하여 나타내는 경판정값인 것을 특징으로 한다. The suspicion detection vector is characterized in that it is a soft decision value representing whether or not the suspicious sensor data exists or not, or a hard decision value representing the probability by converting the probability into a one-hot-encoding vector.

데이터수집부가 상기 의심 센서가 기상환경을 계측한 센서 데이터 및 상기 의심 센서의 센서 데이터에 대응하여 상기 의심 센서가 위치한 지점에 설치된 비교관측장치가 기상환경을 계측한 정밀 데이터를 수집하고, 상기 의심 센서가 위치한 지점에 설치된 감시영상장치가 의심 센서를 포함하는 소정 범위의 주변 영역에 대한 영상을 촬영한 영상 데이터를 수집하는 단계와, 오류데이터판단부가 정밀 데이터와 센서 데이터를 비교하고, 영상 데이터를 분석하여 의심 센서의 센서 데이터에 오류가 있는지 여부를 판단하는 단계와, 상기 관리부가 상기 판단 결과, 센서 데이터에 오류가 있으면, 상응하는 기상환경 센서에 대해 조치가 이루어지도록 오류 메시지를 출력하는 단계를 포함한다. The data collection unit collects sensor data obtained by measuring the meteorological environment by the suspected sensor and precise data obtained by measuring the weather environment by the comparison observation device installed at the location where the suspected sensor is located in response to the sensor data of the suspected sensor, and the suspected sensor Collecting image data obtained by taking images of a surrounding area within a predetermined range including suspected sensors by a surveillance imaging device installed at a location where the error data determination unit compares precise data and sensor data and analyzes the image data and determining whether there is an error in the sensor data of the suspected sensor, and outputting an error message so that the management unit takes action on the corresponding weather environment sensor if there is an error in the sensor data as a result of the determination. do.

상기 비교관측장치는 적어도 기상환경 센서 보다 정밀도가 기 설정된 수치 이상 높은 센서로 구성되는 것을 특징으로 한다. The comparative observation device is characterized in that it is composed of a sensor whose accuracy is higher than a preset value or higher than at least a meteorological environment sensor.

상기 의심 센서의 센서 데이터에 오류가 있는지 여부를 판단하는 단계는 편차분석모듈이 상기 정밀 데이터와 상기 센서 데이터의 편차를 추출하는 단계와, 상관도분석모듈이 상기 정밀 데이터와 상기 센서 데이터 간의 상관도를 도출하는 단계와, 분포분석모듈이 상기 정밀 데이터 대비 상기 센서 데이터의 분포, 상기 정밀 데이터와 상기 센서 데이터의 편차의 분포 및 상기 정밀 데이터와 상기 센서 데이터 간 상관도의 분포를 도출하는 단계와, 시퀀스분석모듈이 시퀀스모델을 이용하여 상기 정밀 데이터 대비 상기 센서 데이터를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 제1 합성곱분석모듈이 제1 합성곱모델을 이용하여 상기 정밀 데이터 대비 상기 센서 데이터의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 제2 합성곱분석모듈이 제2 합성곱모델을 이용하여 상기 정밀 데이터와 상기 센서 데이터의 편차의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 제3 합성곱분석모듈이 제3 합성곱모델을 이용하여 상기 정밀 데이터와 상기 센서 데이터 간 상관도의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 영상검출모듈이 영상 데이터로부터 의심 센서의 소정 범위 이내의 영상인 지역 영상 데이터와, 영상 데이터의 전체 영역을 나타내는 전역 영상 데이터를 추출하는 단계와, 제1 잠재분석모듈이 제1 잠재분석모델을 이용하여 지역 영상 데이터에 대해 학습된 가중치에 따른 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 제2 잠재분석모듈이 제2 잠재분석모델을 이용하여 전역 영상 데이터에 대해 학습된 가중치에 따른 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 단계와, 앙상블모듈이 상기 시퀀스분석모듈, 상기 제1 합성곱분석모듈, 상기 제2 합성곱분석모듈, 상기 제3 합성곱분석모듈, 상기 제1 잠재분석모듈 및 상기 제2 잠재분석모듈 각각이 출력한 이상판단벡터를 종합하여 센서 데이터에 오류가 있는지 여부를 나타내는 오류검출벡터를 도출하는 단계를 포함한다. The step of determining whether or not there is an error in the sensor data of the suspect sensor is the step of extracting the deviation between the precision data and the sensor data by a deviation analysis module, and the correlation between the precision data and the sensor data by a correlation analysis module. Deriving, by a distribution analysis module, a distribution of the sensor data versus the precise data, a distribution of deviations between the precise data and the sensor data, and a distribution of correlations between the precise data and the sensor data; A sequence analysis module analyzes the sensor data against the precision data using a sequence model to derive an anomaly judgment vector indicating whether sensor data with an anomaly exists, and a first convolution analysis module performs a first convolution Deriving an anomaly judgment vector indicating whether sensor data with anomalies exists by analyzing the distribution of the sensor data compared to the precise data using a model; and a second convolution analysis module uses a second convolution model. Analyzing the distribution of deviations between the precision data and the sensor data and deriving an anomaly judgment vector indicating whether sensor data with an anomaly exists, and a third convolution analysis module using a third convolution model Analyzing a distribution of correlation between the precision data and the sensor data to derive an anomaly judgment vector indicating whether or not there is an anomaly sensor data; extracting local image data and global image data representing the entire region of the image data, and a first latent analysis module performs an operation according to weights learned for the regional image data using a first latent analysis model, Deriving an anomaly judgment vector indicating whether there is sensor data with an anomaly, and a second latent analysis module using a second latent analysis model to perform an operation according to the learned weight on the global image data, Deriving an ideal decision vector indicating whether there is sensor data present, and an ensemble module comprising the sequence analysis module, the first convolution analysis module, the second convolution analysis module, the third convolution analysis module, and deriving an error detection vector indicating whether or not there is an error in sensor data by integrating abnormality determination vectors output from each of the first latent analysis module and the second latent analysis module.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 기상환경 센서를 관리하기 위한 장치는 복수의 서로 다른 위치에 설치된 복수의 기상환경 센서가 기상환경을 계측한 복수의 센서 데이터 및 상기 복수의 센서 데이터 각각에 대응하여 기상청의 장비를 통해 기상환경을 계측한 복수의 기준 데이터를 수집하는 데이터수집부와, 기준 데이터와 센서 데이터를 비교하여 상기 복수의 센서 데이터 중 이상이 있는 것으로 의심되는 센서 데이터가 존재하는지 여부를 판별하는 의심데이터검출부와, 상기 의심되는 센서 데이터가 존재하면, 관리부가 상기 의심되는 센서 데이터에 해당하는 기상환경 센서를 의심 센서로 특정하는 관리부를 포함한다. An apparatus for managing a weather environment sensor according to a preferred embodiment of the present invention for achieving the above object is a plurality of sensor data obtained by measuring a weather environment by a plurality of weather environment sensors installed at a plurality of different locations and the above In response to each of the plurality of sensor data, a data collection unit that collects a plurality of reference data obtained by measuring the meteorological environment through equipment of the Korea Meteorological Administration, and compares the reference data and sensor data to determine whether there is an abnormality among the plurality of sensor data. A suspicious data detection unit that determines whether sensor data exists, and if the suspicious sensor data exists, a management unit that specifies a meteorological environment sensor corresponding to the suspected sensor data as a suspicious sensor.

상기 의심데이터검출부는 상기 기준 데이터와 상기 센서 데이터의 편차를 추출하는 편차분석모듈과, 상기 기준 데이터와 상기 센서 데이터 간의 상관도를 도출하는 상관도분석모듈과, 상기 기준 데이터 대비 상기 센서 데이터의 분포, 상기 기준 데이터와 상기 센서 데이터의 편차의 분포 및 상기 기준 데이터와 상기 센서 데이터 간 상관도의 분포를 도출하는 분포분석모듈과, 시퀀스모델을 이용하여 상기 기준 데이터 대비 상기 센서 데이터를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 시퀀스분석모듈과, 제1 합성곱모델을 이용하여 상기 기준 데이터 대비 상기 센서 데이터의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 제1 합성곱분석모듈과, 제2 합성곱모델을 이용하여 상기 기준 데이터와 상기 센서 데이터의 편차의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 제2 합성곱분석모듈과, 제3 합성곱모델을 이용하여 상기 기준 데이터와 상기 센서 데이터 간 상관도의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 제3 합성곱분석모듈과, 상기 시퀀스분석모듈, 상기 제1 합성곱분석모듈, 상기 제2 합성곱분석모듈 및 상기 제3 합성곱분석모듈 각각이 출력한 이상판단벡터를 종합하여 이상이 있는 것으로 의심되는 센서 데이터가 존재하는지 여부를 나타내는 의심검출벡터를 도출하는 앙상블모듈을 포함한다. The suspicious data detection unit includes a deviation analysis module for extracting a deviation between the reference data and the sensor data, a correlation analysis module for deriving a correlation between the reference data and the sensor data, and a distribution of the sensor data compared to the reference data. , A distribution analysis module for deriving a distribution of deviations between the reference data and the sensor data and a distribution of correlations between the reference data and the sensor data, and analyzing the sensor data against the reference data using a sequence model, A sequence analysis module for deriving an abnormality determination vector indicating whether sensor data with an abnormality exists, and a distribution of the sensor data compared to the reference data are analyzed using a first convolutional model to determine whether or not abnormal sensor data exists. Determining abnormality indicating whether abnormal sensor data exists by analyzing the distribution of deviations between the reference data and the sensor data using a first convolutional analysis module for deriving an abnormality determination vector and a second convolutional model A second convolutional analysis module for deriving a vector and a third convolutional model are used to analyze the distribution of the correlation between the reference data and the sensor data to obtain an anomaly determination vector indicating whether or not abnormal sensor data exists. The deriving third convolution analysis module, the sequence analysis module, the first convolution analysis module, the second convolution analysis module, and the anomaly judgment vector output by each of the third convolution analysis modules are synthesized, and an ensemble module for deriving a suspicion detection vector indicating whether sensor data suspected to exist exists.

상기 데이터수집부는 상기 의심 센서가 기상환경을 계측한 센서 데이터 및 상기 의심 센서의 센서 데이터에 대응하여 상기 의심 센서가 위치한 지점에 설치된 비교관측장치가 기상환경을 계측한 정밀 데이터를 수집하고, 상기 의심 센서가 위치한 지점에 설치된 감시영상장치가 의심 센서를 포함하는 소정 범위의 주변 영역에 대한 영상을 촬영한 영상 데이터를 수집하고, 상기 장치는 정밀 데이터와 센서 데이터를 비교하고, 영상 데이터를 분석하여 의심 센서의 센서 데이터에 오류가 있는지 여부를 판단하는 오류데이터판단부를 더 포함한다. 이때, 상기 관리부는 상기 판단 결과, 센서 데이터에 오류가 있으면, 상응하는 기상환경 센서에 대해 조치가 이루어지도록 오류 메시지를 출력하는 것을 특징으로 한다. The data collection unit collects sensor data obtained by measuring the weather environment by the suspect sensor and precise data obtained by measuring the weather environment by the comparison observation device installed at the location where the suspected sensor is located in response to the sensor data of the suspected sensor, and A surveillance imaging device installed at the point where the sensor is located collects image data obtained by taking images of a surrounding area within a predetermined range including the suspect sensor, and the device compares precise data and sensor data, analyzes the image data, and collects image data. It further includes an error data determination unit that determines whether there is an error in the sensor data of the sensor. In this case, as a result of the determination, if there is an error in the sensor data, the management unit outputs an error message so that measures are taken for the corresponding weather environment sensor.

상기 오류데이터판단부는 상기 정밀 데이터와 상기 센서 데이터의 편차를 추출하는 편차분석모듈과, 상기 정밀 데이터와 상기 센서 데이터 간의 상관도를 도출하는 상관도분석모듈과, 상기 정밀 데이터 대비 상기 센서 데이터의 분포, 상기 정밀 데이터와 상기 센서 데이터의 편차의 분포 및 상기 정밀 데이터와 상기 센서 데이터 간 상관도의 분포를 도출하는 분포분석모듈과, 시퀀스모델을 이용하여 상기 정밀 데이터 대비 상기 센서 데이터를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 시퀀스분석모듈과, 제1 합성곱모델을 이용하여 상기 정밀 데이터 대비 상기 센서 데이터의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 제1 합성곱분석모듈과, 제2 합성곱모델을 이용하여 상기 정밀 데이터와 상기 센서 데이터의 편차의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 제2 합성곱분석모듈과, 제3 합성곱모델을 이용하여 상기 정밀 데이터와 상기 센서 데이터 간 상관도의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 제3 합성곱분석모듈과, 영상 데이터로부터 의심 센서의 소정 범위 이내의 영상인 지역 영상 데이터와, 영상 데이터의 전체 영역을 나타내는 전역 영상 데이터를 추출하는 영상검출모듈과, 제1 잠재분석모델을 이용하여 지역 영상 데이터에 대해 학습된 가중치에 따른 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 제1 잠재분석모듈과, 제2 잠재분석모델을 이용하여 전역 영상 데이터에 대해 학습된 가중치에 따른 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출하는 제2 잠재분석모듈과, 상기 시퀀스분석모듈, 상기 제1 합성곱분석모듈, 상기 제2 합성곱분석모듈, 상기 제3 합성곱분석모듈, 상기 제1 잠재분석모듈 및 상기 제2 잠재분석모듈 각각이 출력한 이상판단벡터를 종합하여 센서 데이터에 오류가 있는지 여부를 나타내는 오류검출벡터를 도출하는 앙상블모듈을 포함한다. The error data determination unit includes a deviation analysis module for extracting a deviation between the precise data and the sensor data, a correlation analysis module for deriving a degree of correlation between the precise data and the sensor data, and a distribution of the sensor data relative to the precise data. , A distribution analysis module for deriving a distribution of deviations between the precise data and the sensor data and a distribution of correlation between the precise data and the sensor data, and analyzing the sensor data against the precise data using a sequence model, Using a sequence analysis module for deriving an abnormality determination vector indicating whether or not sensor data with abnormality exists, and a first convolutional model, the distribution of the sensor data compared to the precise data is analyzed to determine whether or not abnormal sensor data exists. Determining abnormality indicating whether abnormal sensor data exists by analyzing the distribution of deviations between the precise data and the sensor data using a first convolutional analysis module for deriving an abnormality determination vector and a second convolutional model A second convolutional analysis module for deriving a vector and a third convolutional model are used to analyze the distribution of the correlation between the precision data and the sensor data to determine whether or not abnormal sensor data exists. A third convolutional analysis module that derives a third convolutional analysis module, an image detection module that extracts local image data, which is an image within a predetermined range of a suspect sensor, and global image data representing the entire region of the image data from image data, and a first latent analysis model A first latent analysis module that derives an anomaly judgment vector indicating whether sensor data with anomalies exists by performing an operation based on weights learned for local image data using A second latent analysis module for deriving an anomaly judgment vector indicating whether sensor data with anomalies exists by performing an operation according to weights learned for image data; the sequence analysis module; the first convolutional analysis module; Error detection indicating whether or not there is an error in sensor data by synthesizing anomaly judgment vectors output from each of the second convolution analysis module, the third convolution analysis module, the first latent analysis module, and the second latent analysis module Contains an ensemble module that derives vectors.

본 발명에 따르면, 기준 데이터와 센서 데이터를 비교하여 의심 데이터를 도출하고, 도출된 의심 데이터에 상응하는 IoT 기반 기상환경 센서와 동일한 환경에서 정밀 데이터를 도출한 후, 정밀 데이터와 센서 데이터를 비교함으로써, 보다 정밀하게 IoT 기반 기상환경 센서의 이상 여부를 검출할 수 있다. 이에 따라, 기상 환경 센서를 보다 효율적으로 관리할 수 있다. According to the present invention, by comparing reference data and sensor data to derive suspicious data, to derive precise data in the same environment as the IoT-based weather environment sensor corresponding to the derived suspicious data, and to compare the precise data and sensor data. , it is possible to more precisely detect the abnormality of the IoT-based weather environment sensor. Accordingly, the meteorological environment sensor can be managed more efficiently.

도 1은 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 장치의 세부적인 구성을 설명하기 위한 도면이다.
도 5 내지 도 8은 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 심층학습모델(DLM: Deep Learning Model)의 구성을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 실시예에 따른 의심 데이터 검출을 위한 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 실시예에 따른 의심 데이터 검출을 위한 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 1 is a diagram for explaining the configuration of a system for managing an IoT-based weather environment sensor according to an embodiment of the present invention.
2 is a diagram for explaining the configuration of an apparatus for managing an IoT-based weather environment sensor according to an embodiment of the present invention.
3 and 4 are diagrams for explaining a detailed configuration of an apparatus for managing an IoT-based weather environment sensor according to an embodiment of the present invention.
5 to 8 are diagrams for explaining the configuration of a deep learning model (DLM) for managing an IoT-based weather environment sensor according to an embodiment of the present invention.
9 is a flowchart illustrating a method for managing an IoT-based weather environment sensor according to an embodiment of the present invention.
10 is a flowchart illustrating a method for detecting suspicious data according to an embodiment of the present invention.
11 is a flowchart illustrating a method for detecting suspicious data according to an embodiment of the present invention.
12 is a diagram illustrating a computing device according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention, so at the time of this application It should be understood that there may be various equivalents and variations that may be substituted for them.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. At this time, it should be noted that the same components in the accompanying drawings are indicated by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size.

특히, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. In particular, the terms or words used in this specification and claims described below should not be construed as being limited to the usual or dictionary meanings, and the inventors use the concept of terms to explain their inventions in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be properly defined as .

먼저, 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 시스템에 대해 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 시스템의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 3 및 도 4는 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 장치의 세부적인 구성을 설명하기 위한 도면이다. 도 5 내지 도 8은 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 심층학습모델(DLM: Deep Learning Model)의 구성을 설명하기 위한 도면이다. First, a system for managing an IoT-based weather environment sensor according to an embodiment of the present invention will be described. 1 is a diagram for explaining the configuration of a system for managing an IoT-based weather environment sensor according to an embodiment of the present invention. 2 is a diagram for explaining the configuration of an apparatus for managing an IoT-based weather environment sensor according to an embodiment of the present invention. 3 and 4 are diagrams for explaining a detailed configuration of an apparatus for managing an IoT-based weather environment sensor according to an embodiment of the present invention. 5 to 8 are diagrams for explaining the configuration of a deep learning model (DLM) for managing an IoT-based weather environment sensor according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 센서관리시스템(1)은 센서관리장치(10), 기상청서버(20), 복수의 기상환경 센서(30), 비교관측장치(40) 및 감시영상장비(50)를 포함한다. Referring to FIG. 1, the sensor management system 1 according to an embodiment of the present invention includes a sensor management device 10, a Korea Meteorological Administration server 20, a plurality of weather environment sensors 30, a comparison observation device 40, and monitoring. It includes imaging equipment 50.

복수의 기상환경 센서(30)는 본 발명의 실시예에 따른 IoT 기반 기상환경 센서이며, 기상환경을 계측하여 센서 데이터를 생성하고, 생성된 센서 데이터를 센서관리장치(10)로 전송한다. 이러한 기상환경은 온도, 습도, 바람, 강수, 강우, 일조, 일사, 미세먼지, 오존 농도 등을 예시할 수 있다. The plurality of weather environment sensors 30 are IoT-based weather environment sensors according to an embodiment of the present invention, measure the weather environment to generate sensor data, and transmit the generated sensor data to the sensor management device 10. These meteorological environments may include temperature, humidity, wind, precipitation, rainfall, sunshine, solar radiation, fine dust, ozone concentration, and the like.

기상청서버(20)는 기상청에서 관리하는 서버이며, 기상청에서 기상환경을 계측한 데이터인 기준 데이터를 저장하기 위한 것이다. The Meteorological Administration server 20 is a server managed by the Korea Meteorological Administration, and is used to store reference data, which is data measured by the Korea Meteorological Administration.

비교관측장치(40)은 적어도 기상환경 센서(30) 보다 정밀도가 기 설정된 수치 이상 높은 센서로 구성되며, 센서 데이터의 이상이 의심되는 의심 센서로 판별된 기상환경 센서(30)가 위치한 지점에 설치되며, 설치된 지점에서 기상환경을 계측하여 정밀 데이터를 생성하고, 생성된 정밀 데이터를 센서관리장치(10)로 전달한다. The comparative observation device 40 is composed of a sensor whose accuracy is at least higher than the preset value than the meteorological environment sensor 30, and is installed at the location where the meteorological environment sensor 30 determined as a suspect sensor is suspected of having an abnormality in sensor data. It measures the meteorological environment at the installed point to generate precise data, and transmits the generated precise data to the sensor management device 10.

감시영상장비(50)는 센서 데이터의 이상이 의심되는 의심 센서로 판별된 기상환경 센서(30)가 위치한 지점에 설치되며, 비교관측장치(40)이 정밀 데이터를 생성하는 동안 해당하는 기상환경 센서(30)와 그 기상환경 센서(30)를 기준으로 소정 범위의 주변 영역을 촬영하여 영상 데이터를 생성하고, 생성된 영상 데이터를 센서관리장치(10)로 전달한다. The monitoring video equipment 50 is installed at the location where the weather environment sensor 30 determined as a suspect sensor is suspected of having an abnormality in sensor data, and the corresponding weather environment sensor while the comparison observation device 40 generates precise data. Based on (30) and the meteorological environment sensor (30), image data is generated by photographing a surrounding area within a predetermined range, and the generated image data is transmitted to the sensor management device (10).

센서관리장치(10)는 본 발명의 실시예에 따른 IoT 기반 기상환경 센서인 기상환경 센서(30)를 관리하기 위한 것이다. 센서관리장치(10)는 기상환경 센서(30)로부터 센서 데이터를 수신하면, 이러한 센서 데이터를 분석하여 해당 기상환경 센서(30)에 이상 여부를 판별한다. 센서 데이터와 비교하여 이상 여부를 판별하기 위하여, 센서관리장치(10)는 기상청서버(20)에 접속하여 기준 데이터를 수집할 수 있다. 또한, 센서관리장치(10)는 비교관측장치(40)로부터 정밀 데이터를 수집하고, 감시영상장비(50)로부터 영상 데이터를 수집한다. The sensor management device 10 is for managing the weather environment sensor 30, which is an IoT-based weather environment sensor according to an embodiment of the present invention. When sensor data is received from the weather environment sensor 30, the sensor management device 10 analyzes the sensor data to determine whether the weather environment sensor 30 is abnormal. In order to compare the sensor data and determine whether there is an abnormality, the sensor management device 10 may access the Korea Meteorological Administration server 20 and collect reference data. In addition, the sensor management device 10 collects precise data from the comparative observation device 40 and collects image data from the surveillance video equipment 50 .

도 2를 참조하면, 센서관리장치(10)는 데이터수집부(100), 의심데이터검출부(200), 오류데이터판단부(300) 및 관리부(400)를 포함한다. Referring to FIG. 2 , the sensor management device 10 includes a data collection unit 100 , a suspicious data detection unit 200 , an error data determination unit 300 and a management unit 400 .

데이터수집부(100)는 기상환경 센서(30)로부터 센서 데이터를 수집하고, 기상청서버(20)로부터 기준 데이터를 수집하고, 비교관측장치(40)로부터 정밀 데이터를 수집하고, 감시영상장치(50)로부터 영상 데이터를 수집하기 위한 것이다. The data collection unit 100 collects sensor data from the meteorological environment sensor 30, collects reference data from the Korea Meteorological Agency server 20, collects precise data from the comparative observation device 40, and monitors the video device 50. ) to collect image data.

의심데이터검출부(200)는 기준 데이터 대비 센서 데이터를 비교하여 복수의 센서 데이터 중 이상이 있는 것으로 의심되는 센서 데이터인 의심 데이터가 존재하는지 여부를 판별하기 위한 것이다. 도 3을 참조하면, 의심데이터검출부(200)는 편차분석모듈(210), 상관도분석모듈(220), 분포분석모듈(230), 시퀀스분석모듈(240), 제1 내지 제3 합성곱분석모듈(250, 260, 270) 및 앙상블모듈(280)을 포함한다. 편차분석모듈(210), 상관도분석모듈(220), 분포분석모듈(230), 시퀀스분석모듈(240), 제1 내지 제3 합성곱분석모듈(250, 260, 270) 및 앙상블모듈(280)을 포함하는 의심데이터검출부(200)의 구체적인 동작에 대해서는 아래에서 더 상세하게 설명될 것이다. The suspicious data detection unit 200 compares the reference data with the sensor data to determine whether or not suspicious data, which is sensor data suspected of having an abnormality, exists among a plurality of sensor data. Referring to FIG. 3, the suspicious data detection unit 200 includes a deviation analysis module 210, a correlation analysis module 220, a distribution analysis module 230, a sequence analysis module 240, and first to third convolutional analysis. modules 250, 260, 270 and an ensemble module 280. Deviation analysis module 210, correlation analysis module 220, distribution analysis module 230, sequence analysis module 240, first to third convolutional product analysis modules 250, 260, 270 and ensemble module 280 ) The specific operation of the suspicious data detection unit 200 including ) will be described in more detail below.

오류데이터판단부(300)는 정밀 데이터와 영상 데이터를 이용하여 센서 데이터에 오류가 있는지 여부를 판단하기 위한 것이다. 도 4를 참조하면, 오류데이터판단부(300)는 편차분석모듈(310), 상관도분석모듈(320), 분포분석모듈(330), 시퀀스분석모듈(340), 제1 내지 제3 합성곱분석모듈(350, 360, 370), 영상검출모듈(380), 제1 및 제2 잠재분석모듈(390, 400) 및 앙상블모듈(410)을 포함한다. 편차분석모듈(310), 상관도분석모듈(320), 분포분석모듈(330), 시퀀스분석모듈(340), 제1 내지 제3 합성곱분석모듈(350, 360, 370), 영상검출모듈(380), 제1 및 제2 잠재분석모듈(390, 400) 및 앙상블모듈(410)을 포함하는 오류데이터판단부(300)의 구체적인 동작에 대해서는 아래에서 더 상세하게 설명될 것이다. The error data determination unit 300 is for determining whether there is an error in the sensor data using precise data and image data. Referring to FIG. 4, the error data determination unit 300 includes a deviation analysis module 310, a correlation analysis module 320, a distribution analysis module 330, a sequence analysis module 340, and first to third convolutions. It includes analysis modules 350, 360, 370, an image detection module 380, first and second latent analysis modules 390, 400, and an ensemble module 410. Deviation analysis module 310, correlation analysis module 320, distribution analysis module 330, sequence analysis module 340, first to third convolutional product analysis modules 350, 360, 370, image detection module ( 380), the first and second latent analysis modules 390 and 400, and the ensemble module 410, the specific operation of the error data determination unit 300 will be described in more detail below.

관리부(400)는 의심 데이터가 존재하면, 의심 데이터에 해당하는 기상환경 센서(30)를 의심 센서로 특정하고, 의심 센서인 기상환경 센서(30)가 위치한 지점에 감시영상장치(50, 예컨대, CCTV) 및 비교관측장치(40)를 구축한 후, 비교관측을 수행하도록 하는 비교관측 실행 메시지를 출력한다. 관리부(400)는 비교 관측 결과에 따라 센서 데이터에 오류가 있으면, 해당하는 기상환경 센서(30)에 대해 조치가 이루어지도록 해당 기상환경 센서(30)에 대한 오류 메시지를 출력한다. If there is suspicious data, the management unit 400 specifies the weather environment sensor 30 corresponding to the suspicious data as a suspect sensor, and the surveillance imaging device 50 at the point where the weather environment sensor 30, which is the suspicious sensor, is located, for example, CCTV) and the comparison observation device 40 are built, and then a comparison observation execution message is output to perform the comparison observation. If there is an error in the sensor data according to the comparison observation result, the management unit 400 outputs an error message for the corresponding weather environment sensor 30 so that measures are taken for the corresponding weather environment sensor 30 .

본 발명의 실시예에 따르면, 센서관리장치(10)는 센서 데이터의 이상 여부를 검출하기 위하여, 복수의 서로 다른 심층학습모델(DLM: Deep Learning Model)을 이용한다. 이러한 심층학습모델(DLM)은 시퀀스모델(SM), 합성곱모델(CM: CM1, CM2, CM3) 및 잠재분석모델(LM: LM1, LM2)를 포함한다. 심층학습모델(DLM)은 서로 연결된 복수의 계층(혹은 모듈)을 포함하며, 복수의 계층(혹은 모듈)은 복수의 연산으로 이루어진다. 또한, 복수의 계층(혹은 모듈)은 가중치(W: weight)로 연결된다. 즉, 어느 하나의 계층(혹은 모듈)의 연산 결과에 따른 출력은 가중치가 적용되어 다음 계층의 연산에 입력된다. 심층학습모델(DLM)은 입력 데이터에 대해 복수의 계층(혹은 모듈) 간 가중치가 적용되는 복수의 연산을 수행하여 출력을 도출한다. 다른 말로, 복수의 계층(혹은 모듈) 간 가중치로 연결되는 복수의 연산을 수행한다. 이러한 심층학습모델(DLM)의 복수의 계층(혹은 모듈) 간 가중치로 연결되는 복수의 연산을 '가중치 연산'이라고 칭하기로 한다. According to an embodiment of the present invention, the sensor management device 10 uses a plurality of different deep learning models (DLMs) to detect whether sensor data is abnormal. These deep learning models (DLMs) include sequence models (SM), convolutional models (CM: CM1, CM2, CM3) and latent analysis models (LM: LM1, LM2). A deep learning model (DLM) includes a plurality of layers (or modules) connected to each other, and the plurality of layers (or modules) are composed of a plurality of operations. In addition, a plurality of layers (or modules) are connected by a weight (W). That is, the output according to the calculation result of one layer (or module) is input to the calculation of the next layer after applying a weight. A deep learning model (DLM) derives an output by performing a plurality of calculations to which weights between a plurality of layers (or modules) are applied to input data. In other words, a plurality of calculations connected to weights between a plurality of layers (or modules) are performed. A plurality of calculations connected to weights between a plurality of layers (or modules) of the deep learning model (DLM) will be referred to as 'weight calculation'.

한편, 본 발명의 실시예에 따르면, 시퀀스분석모듈(240, 340)은 심층학습모델(DLM: Deep Learning Model)인 시퀀스모델(SM)을 이용하여 기준 데이터(혹은 정밀 데이터) 대비 센서 데이터를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 도 5 및 도 6을 참조하면, 시퀀스모델(SM)은 RNN(Recurrent Neural Network), LTSM(Long Short-Term Memory) 등의 순환 신경망을 예시할 수 있다. 시퀀스모델(SM)은 복수의 스테이지(St)로 이루어진다. 도시된 바와 같이, 본 발명의 실시예에서는 4개의 스테이지(S1 내지 S4)를 가정한다. 도 5에 도시된 바와 같이, 시퀀스모델(SM)은 입력층(IL: Input Layer), 은닉층(HL: Hidden Layer) 및 출력층(OL: Outpu Layer) 및 이상검출계층(EDL)을 포함한다. 특히, 이상검출계층(EDL)은 복수의 노드로 이루어진 완전연결계층(Fully-connected Layer)이 될 수 있다. Meanwhile, according to an embodiment of the present invention, the sequence analysis modules 240 and 340 analyze sensor data against reference data (or precise data) using a sequence model (SM), which is a deep learning model (DLM). Thus, an abnormality determination vector indicating whether or not abnormal sensor data exists is derived. Referring to FIGS. 5 and 6 , the sequence model (SM) may exemplify a recurrent neural network such as a recurrent neural network (RNN) or long short-term memory (LTSM). The sequence model (SM) is composed of a plurality of stages (St). As shown, four stages S1 to S4 are assumed in the embodiment of the present invention. As shown in FIG. 5, the sequence model (SM) includes an input layer (IL), a hidden layer (HL), an output layer (OL), and an anomaly detection layer (EDL). In particular, the anomaly detection layer (EDL) may be a fully-connected layer composed of a plurality of nodes.

입력층(IL)은 스테이지(stage)의 수(예컨대, 4)에 해당하는 복수의 입력셀(IC1, IC2, IC3, IC4)을 포함한다. 복수의 입력셀(IC1, IC2, IC3, IC4) 각각은 스테이지 별로 입력 데이터(X1, X2, X3, X4)를 입력 받는다. 본 발명의 실시예에 따르면, 소정의 단위 시간(t1, t2, t3, t4) 별로 센서 데이터(d1, d2, d3, d4) 및 센서 데이터에 대응하는 기준 데이터(혹은 정밀 데이터)(s1, s2, s3, s4)를 포함하는 입력벡터(X1=d1+s1, X2=d2+s2, X3=d3+s3, X4=d4+s4)를 생성하고, 입력벡터가 시간 순서에 따라 순차로 연결된 입력벡터열 "[X1, X2, X3, X4]"을 구성하고, 해당하는 스테이지의 입력셀(IC1, IC2, IC3, IC4)에 입력된다. The input layer IL includes a plurality of input cells IC1 , IC2 , IC3 , and IC4 corresponding to the number of stages (eg, 4). Each of the plurality of input cells IC1 , IC2 , IC3 , and IC4 receives input data X1 , X2 , X3 , and X4 for each stage. According to an embodiment of the present invention, the sensor data (d1, d2, d3, d4) and the reference data (or precise data) (s1, s2) corresponding to the sensor data for each predetermined unit time (t1, t2, t3, t4) . A vector string "[X1, X2, X3, X4]" is formed and input to the input cells (IC1, IC2, IC3, IC4) of the corresponding stage.

은닉층(HL)은 스테이지(stage)의 수에 해당하는 복수의 은닉셀(HC1, HC2, HC3, HC4)을 포함한다. 복수의 은닉셀(HC1, HC2, HC3, HC4) 각각은 이전 스테이지의 가중치가 적용되는 상태값과 현 스테이지의 가중치가 적용되는 입력값에 대해 연산을 수행하여 현 스테이지에 대응하는 상태값을 산출한다. The hidden layer HL includes a plurality of hidden cells HC1 , HC2 , HC3 , and HC4 corresponding to the number of stages. Each of the plurality of hidden cells HC1, HC2, HC3, and HC4 calculates a state value corresponding to the current stage by performing an operation on a state value to which the weight of the previous stage is applied and an input value to which the weight of the current stage is applied. .

출력층(OL)은 스테이지(stage)의 수에 해당하는 복수의 출력셀(OC1, OC2, OC3, OC4)을 포함할 수 있지만, 마지막 스테이지(S4)의 하나의 출력셀(OC)만을 포함할 수도 있다. 출력층(OL)은 은닉층(HL)으로부터 가중치가 적용되는 상태값을 입력받고, 연산을 수행하여 출력값을 산출한다. The output layer OL may include a plurality of output cells OC1, OC2, OC3, and OC4 corresponding to the number of stages, but may include only one output cell OC of the last stage S4. there is. The output layer OL receives a state value to which a weight is applied from the hidden layer HL, and calculates an output value by performing an operation.

도 6을 참조하여 입력층(IL), 은닉층(HL) 및 출력층(OL)에 대해 보다 상세하게 설명하면 다음과 같다. t번째 스테이지(St)의 은닉셀(HCt)은 t번째 스테이지(St)의 입력셀(ICt)로부터 입력 가중치 Wx가 적용된 입력값 Xt을 입력받고, 이전 스테이지, 즉, t-1 번째 스테이지(St-1)의 은닉셀(HCt-1)로부터 상태가중치 Wht-1이 적용된 이전 스테이지의 상태값 Ht-1을 입력받고, 임계치 b를 적용하여 입력 가중치 Wx가 적용된 입력값 Xt과, 상태가중치 Wht-1이 적용된 이전 스테이지의 상태값 Ht-1에 대해 연산을 수행하여 현 스테이지의 상태값 Ht를 산출한다. 현 스테이지의 은닉셀(HCt)은 상태가중치 Wht를 적용하여 현 스테이지의 상태값 Ht를 다음 스테이지(St+1)로 전달할 수 있다. 또한, 현 스테이지의 은닉셀(HCt)은 출력가중치 Wyt를 적용하여 현 스테이지의 상태값 Ht를 현 스테이지의 출력셀(OCt)로 전달할 수 있다. 그러면, 현 스테이지의 출력셀(OCt)은 출력가중치 Wyt가 적용된 현 스테이지의 상태값 Ht에 대해 연산을 수행하여 현 스테이지의 출력값 Yt를 산출한다. Referring to FIG. 6 , the input layer IL, the hidden layer HL, and the output layer OL will be described in detail as follows. The hidden cell HCt of the t-th stage St receives the input value Xt to which the input weight Wx is applied from the input cell ICt of the t-th stage St, and the previous stage, that is, the t-1-th stage (St The state value Ht-1 of the previous stage to which the state weight Wht-1 is applied is received from the hidden cell (HCt-1) of -1), and the input value Xt to which the input weight Wx is applied by applying the threshold b, and the state weight Wht- The state value Ht of the current stage is calculated by performing an operation on the state value Ht-1 of the previous stage to which 1 was applied. The hidden cell HCt of the current stage may transfer the state value Ht of the current stage to the next stage St+1 by applying the state weight Wht. In addition, the hidden cell HCt of the current stage may transmit the state value Ht of the current stage to the output cell OCt of the current stage by applying the output weight Wyt. Then, the output cell OCt of the current stage calculates the output value Yt of the current stage by performing an operation on the state value Ht of the current stage to which the output weight Wyt is applied.

이상검출계층(EDL)은 마지막 스테이지의 출력값에 대해 가중치 연산을 통해 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 이상판단벡터는 이상이 있는 센서 데이터가 존재할 확률과 존재하지 않을 확률을 나타낸다. 이상판단벡터는 "(존재, 부재) = [0.981(98%), 0.019(2%)]"와 같이 확률을 나타내는 연판정값이거나, "(존재, 부재) = [1(100%), 0(0%)]"와 같이 확률을 원 핫 인코딩 벡터(one-hot-encoding vector)로 변환하여 나타내는 경판정값이 될 수 있다. The anomaly detection layer (EDL) derives an anomaly determination vector indicating whether or not sensor data with anomalies exists through weight calculation on the output value of the last stage. The anomaly determination vector represents the probability that abnormal sensor data exists and the probability that it does not exist. The ideal decision vector is a soft decision value representing a probability, such as "(existence, absence) = [0.981 (98%), 0.019 (2%)]", or "(existence, absence) = [1 (100%), 0 (0%)]" may be a hard decision value represented by converting the probability into a one-hot-encoding vector.

시퀀스모델(SM)의 모든 계층은 학습된 가중치가 적용되는 가중치 연산을 수행한다. 여기서, 연산은 활성화함수(Activation Function)를 적용한 연산을 의미한다. 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. All layers of the sequence model (SM) perform weight calculation to which learned weights are applied. Here, the operation means an operation to which an activation function is applied. Activation functions may include sigmoid, hyperbolic tangent (tanh), exponential linear unit (ELU), rectified linear unit (ReLU), leaky ReLU, Maxout, Minout, and Softmax.

한편, 본 발명의 실시예에 따르면, 제1 내지 제3 합성곱분석모듈(250, 260, 270, 350, 360, 370)은 합성곱 신경망(CNN: convolutional neural network) 기반 심층학습모델(DLM: Deep Learning Model)인 합성곱모델(CM: CM1, CM2, CM3)을 이용하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. Meanwhile, according to an embodiment of the present invention, the first to third convolutional analysis modules 250, 260, 270, 350, 360, and 370 are convolutional neural network (CNN)-based deep learning models (DLMs: Using a convolutional model (CM: CM1, CM2, CM3), which is a Deep Learning Model, an anomaly judgment vector indicating whether sensor data with anomalies exists is derived.

도 7을 참조하면, 합성곱모델(CM: CM1, CM2, CM3)은 CNN(Convolution Neural Network) 등과 같은 컨볼루션 신경망을 포함한다. 본 발명의 실시예에 따른 합성곱모델(CM)은 입력층(input layer: IL), 교번으로 반복되는 적어도 한 쌍의 컨벌루션층(convolution layer: CL)과 풀링층(pooling layer: PL), 적어도 하나의 완전연결층(fully-connected layer: FL) 및 출력층(output layer: OL)을 포함할 수 있다. 본 발명의 일 실시예에 따른 합성곱모델(CM)은 순차로 입력층(IL), 컨볼루션층(CL), 풀링층(PL), 완전연결층(FL) 및 출력층(OL)을 포함한다. Referring to FIG. 7 , convolutional models (CM: CM1, CM2, and CM3) include convolutional neural networks such as convolutional neural networks (CNNs). The convolution model (CM) according to an embodiment of the present invention includes an input layer (IL), at least one pair of alternately repeated convolution layers (CL) and a pooling layer (PL), at least It may include one fully-connected layer (FL) and one output layer (OL). The convolution model (CM) according to an embodiment of the present invention sequentially includes an input layer (IL), a convolution layer (CL), a pooling layer (PL), a fully connected layer (FL), and an output layer (OL). .

컨볼루션층(CL) 및 풀링층(PL)은 적어도 하나의 특징맵(FM: Feature Map)으로 구성된다. 특징맵(FM)은 이전 계층의 연산 결과에 대해 가중치 및 임계치를 적용한 값을 입력받고, 입력받은 값에 대한 연산을 수행한 결과로 도출된다. 이러한 가중치는 소정 크기의 가중치 행렬인 필터 혹은 커널(W)을 통해 적용된다. 본 발명의 실시예에서 컨볼루션층(CL)의 컨벌루션 연산은 제1 필터(W1)가 사용되며, 풀링층(PL)의 풀링 연산은 제2 필터(W2)가 사용된다. The convolution layer (CL) and the pooling layer (PL) are composed of at least one feature map (FM). The feature map (FM) is derived as a result of receiving values obtained by applying weights and thresholds to the calculation results of the previous layer and performing calculations on the input values. These weights are applied through a filter or kernel (W), which is a weight matrix of a predetermined size. In an embodiment of the present invention, the first filter W1 is used for the convolution operation of the convolution layer CL, and the second filter W2 is used for the pooling operation of the pooling layer PL.

입력층(IL)은 입력 데이터를 입력받기 위한 것이다. 이러한 입력 데이터는 기준 데이터(혹은 정밀 데이터) 대비 센서 데이터의 분포, 기준 데이터(혹은 정밀 데이터)와 센서 데이터의 편차의 분포, 또는, 기준 데이터(혹은 정밀 데이터)와 센서 데이터 간 상관도의 분포의 행렬(혹은 벡터열) 표현이 될 수 있다. 입력층(IL)에 입력데이터(소정 크기의 행렬 혹은 벡터열)가 입력되면, 컨볼루션층(CL)은 입력층(IL)의 입력 데이터에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징맵(FM1)을 도출한다. 이어서, 풀링층(PL)은 컨볼루션층(CL)의 적어도 하나의 제1 특징맵(FM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제2 특징맵(FM2)을 도출한다. The input layer IL is for receiving input data. Such input data may be the distribution of sensor data against reference data (or precision data), the distribution of deviation between reference data (or precision data) and sensor data, or the distribution of correlation between reference data (or precision data) and sensor data. It can be a matrix (or vector column) representation. When input data (matrix or vector column of a predetermined size) is input to the input layer IL, the convolution layer CL performs convolution using the first filter W1 on the input data of the input layer IL. At least one first feature map FM1 is derived by performing an operation using an operation and an activation function. Then, the pooling layer PL performs a pooling (or sub-sampling) operation using the second filter W2 on at least one first feature map FM1 of the convolution layer CL to obtain at least one feature map FM1. A second feature map FM2 is derived.

완결연결층(FL)은 복수의 연산노드(f1 내지 fn)로 이루어진다. 완결연결층(FL)의 복수의 연산노드(f1 내지 fn)는 풀링층(PL)의 적어도 하나의 제2 특징맵(FM2)에 대해 활성화함수에 의한 연산을 통해 복수의 연산값을 산출한다. The complete connection layer FL is composed of a plurality of operation nodes f1 to fn. The plurality of operation nodes f1 to fn of the fully connected layer FL calculate a plurality of operation values through an operation using an activation function for at least one second feature map FM2 of the pooling layer PL.

출력층(OL)은 복수의 출력노드(g1 내지 g6)를 포함한다. 완결연결층(FL)의 복수의 연산노드(f1 내지 fn) 각각은 가중치(W: weight)를 가지는 채널로 출력층(OL)의 출력노드(g1 내지 g6)와 연결된다. 다른 말로, 복수의 연산노드(f1 내지 fn)의 복수의 연산값은 가중치가 적용되어 복수의 출력노드(g1 내지 g6) 각각에 입력된다. 이에 따라, 출력층(OL)의 복수의 출력노드(g1 내지 g6)는 완결연결층(FL)의 가중치가 적용되는 복수의 연산값에 대해 활성화함수에 의한 연산을 통해 출력값을 산출한다. 여기서, 출력값은 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터이다. 이상판단벡터는 이상이 있는 센서 데이터가 존재할 확률과 존재하지 않을 확률을 나타낸다. 이상판단벡터는 "(존재, 부재) = [0.981(98%), 0.019(2%)]"와 같이 확률을 나타내는 연판정값이거나, "(존재, 부재) = [1(100%), 0(0%)]"와 같이 확률을 원 핫 인코딩 벡터(one-hot-encoding vector)로 변환하여 나타내는 경판정값이 될 수 있다. The output layer OL includes a plurality of output nodes g1 to g6. Each of the plurality of operation nodes f1 to fn of the complete connection layer FL is connected to the output nodes g1 to g6 of the output layer OL through a channel having a weight (W). In other words, the plurality of calculation values of the plurality of calculation nodes f1 to fn are inputted to each of the plurality of output nodes g1 to g6 after applying a weight. Accordingly, the plurality of output nodes g1 to g6 of the output layer OL calculates an output value through an operation by an activation function for a plurality of calculation values to which the weight of the fully connected layer FL is applied. Here, the output value is an abnormality determination vector indicating whether there is abnormal sensor data. The anomaly determination vector represents a probability that abnormal sensor data exists and a probability that it does not exist. The ideal decision vector is a soft decision value representing a probability, such as "(existence, absence) = [0.981 (98%), 0.019 (2%)]", or "(existence, absence) = [1 (100%), 0 (0%)]" may be a hard decision value represented by converting the probability into a one-hot-encoding vector.

전술한 컨벌루션층(CL), 완결연결층(FL) 및 출력층(OL)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 컨벌루션층(CL), 완결연결층(FL) 및 출력층(OL)에 이러한 활성화함수 중 어느 하나를 선택하여 적용할 수 있다. Activation functions used in the aforementioned convolutional layer (CL), fully connected layer (FL), and output layer (OL) are sigmoid, hyperbolic tangent (tanh), exponential linear unit (ELU), and ReLU. (Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax, etc. can be exemplified. Any one of these activation functions may be selected and applied to the convolutional layer (CL), the fully connected layer (FL), and the output layer (OL).

한편, 본 발명의 실시예에 따르면, 제1 및 제2 잠재분석모듈(390)은 오토인코더(Auto-Encoder) 기반의 기반 심층학습모델(DLM: Deep Learning Model)인 잠재분석모델(LM: LM1, LM2)을 이용하여 지역 영상 데이터 혹은 전역 영상 데이터에 대해 학습된 가중치에 따른 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 도 8을 참조하면, 잠재분석모델(LM)은 인코더(EN), 디코더(DE) 및 이상검출계층(EDL)을 포함한다. 잠재분석모델(LM)은 복수의 계층을 포함하며, 복수의 계층은 복수의 연산을 포함한다. 또한, 복수의 계층 간은 가중치(w: weight)로 연결된다. 어느 하나의 계층의 연산 결과는 가중치가 적용되어 다음 계층 노드의 입력이 된다. 즉, 잠재분석모델(LM)은 어느 한 계층은 이전 계층으로부터 가중치를 적용한 값을 입력 받고, 이에 대한 연산을 수행하고, 그 연산 결과를 다음 계층의 입력으로 전달한다. 즉, 잠재분석모델(LM)은 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행한다. 이러한 복수의 계층 간 가중치가 적용되는 복수의 연산을 가중치 연산이라고 칭하기로 한다. Meanwhile, according to an embodiment of the present invention, the first and second latent analysis modules 390 are auto-encoder-based deep learning models (DLM: Deep Learning Model), latent analysis model (LM: LM1) , LM2) to derive an anomaly determination vector indicating whether sensor data with anomalies exist or not by performing an operation according to weights learned for local image data or global image data. Referring to FIG. 8, the latent analysis model (LM) includes an encoder (EN), a decoder (DE), and an anomaly detection layer (EDL). The latent analysis model (LM) includes a plurality of layers, and the plurality of layers includes a plurality of operations. In addition, a plurality of layers are connected by a weight (w: weight). The calculation result of one layer is weighted and becomes the input of the node of the next layer. That is, in the latent analysis model (LM), one layer receives a weighted value from the previous layer, performs an operation on this value, and transfers the calculation result to the input of the next layer. That is, the latent analysis model (LM) performs a plurality of calculations to which weights between a plurality of layers are applied. A plurality of calculations to which weights between a plurality of layers are applied will be referred to as weight calculations.

인코더(EN)는 컨벌루션(Convolution) 연산 및 활성화함수에 의한 연산을 포함하는 복수의 컨벌루션층(Convolution Layer: CL)을 포함한다. 또한, 인코더(EN)의 복수의 컨벌루션층(CL) 사이에는 최대 풀링(Max Pooling) 연산을 수행하는 풀링층(Pooling Layer: PL)가 적용될 수 있다. 인코더(EN)는 지역 영상 데이터 혹은 전역 영상 데이터가 입력되면, 지역 영상 데이터 혹은 전역 영상 데이터에 대해 가중치 연산을 수행하여 잠재 벡터(Z: Latent Vector)를 산출한다. The encoder EN includes a plurality of convolution layers (CL) including convolution operations and operations using an activation function. In addition, a pooling layer (PL) performing a maximum pooling operation may be applied between the plurality of convolutional layers CL of the encoder EN. When local image data or global image data is input, the encoder EN calculates a latent vector (Z) by performing a weighting operation on the local or global image data.

디코더(DE)는 디컨벌루션(Deconvolution) 연산 및 활성화함수에 의한 연산을 포함하는 복수의 디컨벌루션층(Deconvolution Layer: DL)을 포함한다. 디코더(DE)는 짐재벡터(Z)를 입력받고, 입력된 잠재벡터(Z)에 대해 가중치 연산을 수행하여 지역 영상 데이터 혹은 전역 영상 데이터을 모사하는 모사 벡터를 산출한다. The decoder DE includes a plurality of deconvolution layers (DL) including a deconvolution operation and an operation using an activation function. The decoder (DE) receives the payload vector (Z) and calculates a simulated vector that simulates local image data or global image data by performing a weighting operation on the input latent vector (Z).

이상검출계층(EDL)은 복수의 노드로 이루어진 완전연결계층(Fully-connected Layer)이 될 수 있다. 이상검출계층(EDL)은 가설 벡터가 입력되면, 모사 벡터에 대해 가중치 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 이상판단벡터는 이상이 있는 센서 데이터가 존재할 확률과 존재하지 않을 확률을 나타낸다. 이상판단벡터는 "(존재, 부재) = [0.981(98%), 0.019(2%)]"와 같이 확률을 나타내는 연판정값이거나, "(존재, 부재) = [1(100%), 0(0%)]"와 같이 확률을 원 핫 인코딩 벡터(one-hot-encoding vector)로 변환하여 나타내는 경판정값이 될 수 있다. The anomaly detection layer (EDL) may be a fully-connected layer composed of a plurality of nodes. When a hypothesis vector is input, the anomaly detection layer (EDL) derives an anomaly determination vector indicating whether there is sensor data with anomaly by performing weight calculation on the simulated vector. The anomaly determination vector represents the probability that abnormal sensor data exists and the probability that it does not exist. The ideal decision vector is a soft decision value representing a probability, such as "(existence, absence) = [0.981 (98%), 0.019 (2%)]", or "(existence, absence) = [1 (100%), 0 (0%)]" may be a hard decision value represented by converting the probability into a one-hot-encoding vector.

정리하면, 잠재분석모델(LM)의 복수의 계층은 컨벌루션층(CL), 풀링층(PL), 디컨벌루션층(DL) 및 완전연결계층(Fully-connected Layer)을 포함하며, 복수의 계층은 디컨벌루션(Deconvolution) 연산, 컨벌루션 연산, 최대 풀링 연산 및 활성화함수에 의한 연산을 포함한다. 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. In summary, the plurality of layers of the latent analysis model (LM) include a convolution layer (CL), a pooling layer (PL), a deconvolution layer (DL), and a fully-connected layer, and the plurality of layers are It includes deconvolution operation, convolution operation, maximum pooling operation, and operation by activation function. Activation functions may include sigmoid, hyperbolic tangent (tanh), exponential linear unit (ELU), rectified linear unit (ReLU), leaky ReLU, Maxout, Minout, and Softmax.

다음으로, 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 방법에 대해서 설명하기로 한다. 도 9는 본 발명의 실시예에 따른 IoT 기반 기상환경 센서를 관리하기 위한 방법을 설명하기 위한 흐름도이다. Next, a method for managing an IoT-based weather environment sensor according to an embodiment of the present invention will be described. 9 is a flowchart illustrating a method for managing an IoT-based weather environment sensor according to an embodiment of the present invention.

도 9를 참조하면, 데이터수집부(100)는 S110 단계에서 복수의 서로 다른 위치에 설치된 복수의 기상환경 센서(30)가 기상환경을 계측한 복수의 센서 데이터 및 복수의 센서 데이터 각각에 대응하여 기상청서버(20)로부터 기상청의 장비를 통해 기상환경을 계측한 데이터인 복수의 기준 데이터를 수집한다. Referring to FIG. 9 , the data collection unit 100 corresponds to a plurality of sensor data and a plurality of sensor data obtained by measuring a weather environment by a plurality of weather environment sensors 30 installed at different locations in step S110, respectively. A plurality of reference data, which is data obtained by measuring the meteorological environment through the equipment of the Meteorological Agency, is collected from the Meteorological Administration server 20 .

그런 다음, 의심데이터검출부(200)는 S120 단계에서 기준 데이터 대비 센서 데이터를 비교하여 복수의 센서 데이터 중 이상이 있는 것으로 의심되는 의심 데이터가 존재하는지 여부를 판별한다. Then, the suspicious data detection unit 200 compares the reference data with the sensor data in step S120 to determine whether there is suspicious data suspected of having an abnormality among a plurality of sensor data.

S120 단계의 판별 결과, 의심 데이터가 존재하면, 관리부(400)는 S130 단계에서 의심 데이터에 해당하는 기상환경 센서(30)를 의심 센서로 특정하고, 의심 센서인 기상환경 센서(30)가 위치한 지점에 감시영상장치(40, 예컨대, CCTV) 및 비교관측장치(40)을 구축한 후, 비교관측을 수행하도록 하는 비교관측 실행 메시지를 출력한다. 여기서, 비교관측장치(50)는 적어도 의심 센서인 기상환경 센서(30) 보다 정밀도가 기 설정된 수치 이상 높은 센서로 구성된다. As a result of the determination in step S120, if suspicious data exists, the management unit 400 specifies the weather environment sensor 30 corresponding to the suspicious data as a suspect sensor in step S130, and the point where the weather environment sensor 30, which is the suspicious sensor, is located. After the monitoring video device 40 (eg, CCTV) and the comparison observation device 40 are built, a comparison observation execution message for performing the comparison observation is output. Here, the comparative observation device 50 is composed of a sensor whose accuracy is higher than a preset value or higher than that of the meteorological environment sensor 30, which is at least a suspicious sensor.

비교관측을 수행함에 따라 데이터수집부(100)는 S140 단계에서 의심 센서인 기상환경 센서(30)가 기상환경을 계측한 센서 데이터와 해당 기상환경 센서(30)가 위치한 지점에서 설치된 비교관측장치(40)이 기상환경을 계측한 정밀 데이터를 수집한다. 이와 함께, 데이터수집부(100)는 S150 단계에서 정밀 데이터를 수집하는 동안 감시영상장치(50)을 통해 영상 데이터를 수집한다. 이때, 감시영상장치(50)은 의심 센서인 기상환경 센서(30)를 포함하는 주변 영역에 대한 영상을 촬영한 영상 데이터를 생성하고, 이를 데이터수집부(100)에 제공한다. As the comparative observation is performed, the data collection unit 100 compares the sensor data obtained by measuring the meteorological environment by the meteorological environment sensor 30, which is a suspect sensor, in step S140, and the comparison observation device installed at the point where the meteorological environment sensor 30 is located ( 40) collects precise data measuring the meteorological environment. In addition, the data collection unit 100 collects image data through the surveillance video device 50 while collecting precise data in step S150. At this time, the surveillance imaging device 50 generates image data obtained by capturing an image of the surrounding area including the weather environment sensor 30 as a suspect sensor, and provides the image data to the data collection unit 100 .

그런 다음, 오류데이터판단부(300)는 S160 단계에서 정밀 데이터와 영상 데이터를 이용하여 의심 센서의 센서 데이터에 오류가 있는지 여부를 판단한다. Then, the error data determination unit 300 determines whether or not there is an error in the sensor data of the suspected sensor using the precise data and the image data in step S160.

S160 단계의 판단 결과, 센서 데이터에 오류가 있으면, 관리부(400)는 S170 단계에서 해당하는 기상환경 센서(30)에 대해 조치가 이루어지도록 해당 기상환경 센서(30)에 대한 오류 메시지를 출력한다. As a result of the determination in step S160, if there is an error in the sensor data, the management unit 400 outputs an error message for the corresponding weather environment sensor 30 so that measures are taken for the corresponding weather environment sensor 30 in step S170.

전술한 바와 같이, 의심데이터검출부(200)는 S120 단계에서 기준 데이터 대비 센서 데이터를 비교하여 복수의 센서 데이터 중 이상이 있는 것으로 의심되는 의심 데이터가 존재하는지 여부를 판별한다. 이러한 S120 단계에 대해 보다 상세하게 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 의심 데이터 검출을 위한 방법을 설명하기 위한 흐름도이다. 앞서 설명된 바와 같이, 의심데이터검출부(200)는 편차분석모듈(210), 상관도분석모듈(220), 분포분석모듈(230), 시퀀스분석모듈(240), 제1 내지 제3 합성곱분석모듈(250, 260, 270) 및 앙상블모듈(280)을 포함한다. As described above, the suspicious data detection unit 200 compares the reference data with the sensor data in step S120 to determine whether there is suspicious data suspected of having an abnormality among a plurality of sensor data. This step S120 will be described in more detail. 10 is a flowchart illustrating a method for detecting suspicious data according to an embodiment of the present invention. As described above, the suspicious data detection unit 200 includes the deviation analysis module 210, the correlation analysis module 220, the distribution analysis module 230, the sequence analysis module 240, and the first to third convolutional analysis. modules 250, 260, 270 and an ensemble module 280.

도 10을 참조하면, 편차분석모듈(210)은 S210 단계에서 기준 데이터 대비 센서 데이터의 편차를 분석한다. 즉, 편차분석모듈(210)은 센서 데이터와 기준 데이터 간의 편차를 추출한다. 정상 데이터의 경우 편차는 소정 범위 내에 있지만, 이상 데이터의 경우 편차가 소정 범위를 벗어난다. Referring to Figure 10, the deviation analysis module 210 analyzes the deviation of the sensor data compared to the reference data in step S210. That is, the deviation analysis module 210 extracts a deviation between sensor data and reference data. In the case of normal data, the deviation is within a predetermined range, but in the case of abnormal data, the deviation is outside the predetermined range.

다음으로, 상관도분석모듈(220)은 S220 단계에서 기준 데이터와 센서 데이터의 상관도를 분석한다. 즉, 상관도분석모듈(220)은 기준 데이터와 센서 데이터의 상관도를 도출한다. 예컨대, 상관도분석모듈(220)은 각 시점에 대해, 기준 시점(t)에서 일정 단위 시간 간격으로 이전 시점까지(t-k)의 센서 데이터와 기준 데이터의 피어슨 상관계수를 도출할 수 있다. 일정한 단위 시간 마다 상관계수를 구하면, 정상 데이터의 경우, 상관계수의 값이 기 설정된 임계치 이상을 유지하며, 이상 데이터가 존재하는 경우, 상관계수의 값이 임계치 미만으로 떨어지는 구간이 존재할 수 있다. Next, the correlation analysis module 220 analyzes the correlation between reference data and sensor data in step S220. That is, the correlation analysis module 220 derives a correlation between reference data and sensor data. For example, for each time point, the correlation analysis module 220 may derive a Pearson's correlation coefficient between sensor data and reference data from a reference point in time t to a previous point in time (t-k) at a predetermined unit time interval. When a correlation coefficient is obtained for each unit of time, in the case of normal data, the value of the correlation coefficient is maintained above a predetermined threshold value, and when there is abnormal data, there may be a section in which the value of the correlation coefficient falls below the threshold value.

다음으로, 분포분석모듈(230)은 S230 단계에서 기준 데이터, 센서 데이터, 편차분석모듈(210)이 도출한 편차, 상관도분석모듈(220)이 도출한 상관도(상관계수)를 입력 받고, 기준 데이터 대비 센서 데이터의 분포, 기준 데이터와 센서 데이터의 편차의 분포 및 기준 데이터와 센서 데이터 간 상관도의 분포를 도출한다. 이때, 분포분석모듈(230)은 기 설정된 범위 및 간격에 따라 센서 데이터의 분포, 편차의 분포 및 상관도의 분포를 출력한다. Next, the distribution analysis module 230 receives the reference data, the sensor data, the deviation derived by the deviation analysis module 210, and the correlation (correlation coefficient) derived by the correlation analysis module 220 in step S230, A distribution of reference data versus sensor data, a distribution of deviations between reference data and sensor data, and a distribution of correlations between reference data and sensor data are derived. At this time, the distribution analysis module 230 outputs the distribution of sensor data, the distribution of deviation, and the distribution of correlation according to the preset range and interval.

다음으로, 시퀀스분석모듈(240)은 S240 단계에서 심층학습모델(DLM: Deep Learning Model)인 시퀀스모델(SM)을 이용하여 기준 데이터 대비 센서 데이터를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 구체적으로, 시퀀스분석모듈(240)은 소정의 단위 시간 별로 센서 데이터 및 센서 데이터에 대응하는 기준 데이터를 포함하는 입력벡터를 생성하고, 시간 순서에 따라 순차로 연결된 입력벡터열을 구성한 후, 시퀀스모델(SM)에 입력한다. 시퀀스모델(SM)은 입력벡터열에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 상태 벡터를 산출한다. 센서 데이터에 이상이 있는지 여부를 나타내는 이상판단벡터를 도출한다. 이상판단벡터는 이상이 있는 센서 데이터가 존재할 확률과 존재하지 않을 확률을 나타낸다. 이상판단벡터는 "(존재, 부재) = [0.981(98%), 0.019(2%)]"와 같이 확률을 나타내는 연판정값이거나, "(존재, 부재) = [1(100%), 0(0%)]"와 같이 확률을 원 핫 인코딩 벡터(one-hot-encoding vector)로 변환하여 나타내는 경판정값이 될 수 있다. Next, the sequence analysis module 240 analyzes the sensor data against the reference data using a sequence model (SM), which is a deep learning model (DLM) in step S240, to determine whether abnormal sensor data exists. An abnormal judgment vector is derived. Specifically, the sequence analysis module 240 generates an input vector including sensor data and reference data corresponding to the sensor data for each predetermined unit of time, constructs an input vector sequence sequentially connected in time order, and then constructs a sequence model. Enter in (SM). The sequence model (SM) calculates a state vector by performing a weighting operation to which weights learned with respect to an input vector string are applied. An abnormality determination vector indicating whether there is an abnormality in the sensor data is derived. The anomaly determination vector represents a probability that abnormal sensor data exists and a probability that it does not exist. The ideal decision vector is a soft decision value representing a probability, such as "(existence, absence) = [0.981 (98%), 0.019 (2%)]", or "(existence, absence) = [1 (100%), 0 (0%)]" may be a hard decision value represented by converting the probability into a one-hot-encoding vector.

제1 합성곱분석모듈(250)은 S250 단계에서 합성곱 신경망(CNN: convolutional neural network) 기반 심층학습모델(DLM: Deep Learning Model)인 제1 합성곱모델(CM1)을 이용하여 기준 데이터 대비 센서 데이터의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 즉, 제1 합성곱분석모듈(250)은 기준 데이터 대비 센서 데이터의 분포를 제1 합성곱모델(CM1)에 입력하고, 제1 합성곱모델(CM1)은 기준 데이터 대비 센서 데이터의 분포에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. The first convolutional analysis module 250 uses the first convolutional model (CM1), which is a deep learning model (DLM) based on a convolutional neural network (CNN) in step S250, to compare the sensor to the reference data. The distribution of data is analyzed to derive an anomaly judgment vector indicating whether sensor data with anomalies exist. That is, the first convolution analysis module 250 inputs the distribution of sensor data versus reference data to the first convolution model CM1, and the first convolution model CM1 determines the distribution of sensor data versus reference data. An abnormality determination vector indicating whether there is abnormal sensor data is derived by performing weight calculation to which the learned weight is applied.

제2 합성곱분석모듈(260)은 S260 단계에서 합성곱 신경망(CNN: convolutional neural network) 기반 심층학습모델(DLM: Deep Learning Model)인 제2 합성곱모델(CM2)을 이용하여 기준 데이터와 센서 데이터의 편차의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 즉, 제2 합성곱분석모듈(260)은 기준 데이터와 센서 데이터의 편차의 분포를 제2 합성곱모델(CM2)에 입력하고, 제2 합성곱모델(CM1)은 기준 데이터와 센서 데이터의 편차의 분포에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. The second convolutional analysis module 260 uses the second convolutional model (CM2), which is a deep learning model (DLM) based on a convolutional neural network (CNN), in step S260 to obtain reference data and sensors. By analyzing the distribution of the deviation of the data, an anomaly judgment vector indicating whether sensor data with anomalies exists is derived. That is, the second convolution analysis module 260 inputs the distribution of the deviation between the reference data and the sensor data into the second convolution model CM2, and the second convolution model CM1 inputs the distribution of the deviation between the reference data and the sensor data. An anomaly determination vector indicating whether there is sensor data with an anomaly is derived by performing a weight calculation to which the learned weight is applied to the distribution of .

제3 합성곱분석모듈(270)은 S270 단계에서 합성곱 신경망(CNN: convolutional neural network) 기반 심층학습모델(DLM: Deep Learning Model)인 제3 합성곱모델(CM3)을 이용하여 기준 데이터와 센서 데이터 간 상관도의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 즉, 제3 합성곱분석모듈(270)은 기준 데이터와 센서 데이터 간 상관도의 분포를 제3 합성곱모델(CM3)에 입력하고, 제1 합성곱모델(CM1)은 기준 데이터와 센서 데이터의 편차의 분포에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. The third convolutional analysis module 270 uses the third convolutional model (CM3), which is a deep learning model (DLM) based on a convolutional neural network (CNN), in step S270 to obtain reference data and sensors. By analyzing the distribution of the correlation between the data, an anomaly judgment vector indicating whether there is an anomaly sensor data is derived. That is, the third convolution analysis module 270 inputs the distribution of the correlation between the reference data and the sensor data into the third convolution model (CM3), and the first convolution model (CM1) inputs the distribution of the reference data and the sensor data. An abnormality determination vector indicating whether there is abnormal sensor data is derived by performing weight calculation to which the learned weight is applied to the deviation distribution.

앙상블모듈(280)은 S280 단계에서 시퀀스분석모듈(240), 제1 합성곱분석모듈(250), 제2 합성곱분석모듈(260) 및 제3 합성곱분석모듈(270) 각각이 출력한 이상판단벡터를 종합하여 최종적으로 의심되는 센서 데이터인 의심 데이터가 존재하는지 여부를 나타내는 의심검출벡터를 도출한다. 일 실시예에 따르면, 앙상블모듈(280)은 이상판단벡터에 대한 가중합을 통해 의심검출벡터를 도출할 수 있다. 이때, 가중치는 이상판단벡터를 도출한 모델의 신뢰도에 따라 결정될 수 있다. 다른 실시예에 따르면, 앙상블모듈(280)은 이상판단벡터간 논리 연산에 따라 의심검출벡터를 도출할 수 있다. 논리 연산의 경우, 모든 이상판단벡터가 이상 데이터가 존재함을 나타내면 의심 데이터가 존재하는 것으로 판단하거나, 적어도 하나의 이상판단벡터가 이상 데이터가 존재함을 나타내면 의심 데이터가 존재하는 것으로 판단할 수 있다. 의심검출벡터는 의심 데이터가 존재할 확률과 존재하지 않을 확률을 나타낸다. 의심검출벡터는 "(존재, 부재) = [0.981(98%), 0.019(2%)]"와 같이 확률을 나타내는 연판정값이거나, "(존재, 부재) = [1(100%), 0(0%)]"와 같이 확률을 원 핫 인코딩 벡터(one-hot-encoding vector)로 변환하여 나타내는 경판정값이 될 수 있다. 이에 따라, 의심데이터검출부(200)는 이상판단벡터의 확률에 따라 의심 데이터가 존재하는지 여부를 판별한다. In the ensemble module 280, the sequence analysis module 240, the first convolution analysis module 250, the second convolution analysis module 260, and the third convolution analysis module 270 each output the above in step S280. Finally, a suspicious detection vector indicating whether suspicious data, which is suspicious sensor data, exists is derived by synthesizing the judgment vectors. According to an embodiment, the ensemble module 280 may derive a suspicious detection vector through a weighted sum of the anomaly determination vector. At this time, the weight may be determined according to the reliability of the model from which the abnormality determination vector was derived. According to another embodiment, the ensemble module 280 may derive a suspicion detection vector according to a logical operation between abnormal determination vectors. In the case of logic operation, it can be determined that suspicious data exists if all abnormality determination vectors indicate the existence of abnormal data, or if at least one abnormality determination vector indicates the existence of abnormal data, it can be determined that suspicious data exists. . The suspect detection vector represents the probability that suspicious data exists and the probability that suspicious data does not exist. The suspicion detection vector is a soft decision value representing a probability, such as "(existence, absence) = [0.981 (98%), 0.019 (2%)]", or "(existence, absence) = [1 (100%), 0 (0%)]" may be a hard decision value represented by converting the probability into a one-hot-encoding vector. Accordingly, the suspicious data detection unit 200 determines whether or not suspicious data exists according to the probability of the abnormal determination vector.

한편, 전술한 바와 같이, 오류데이터판단부(300)는 S160 단계에서 정밀 데이터와 영상 데이터를 이용하여 의심 센서 데이터에 오류가 있는지 여부를 판단한다. 이러한 S160 단계에 대해 보다 상세하게 설명하기로 한다. 도 11은 본 발명의 실시예에 따른 의심 데이터 검출을 위한 방법을 설명하기 위한 흐름도이다. 앞서 설명된 바와 같이, 오류데이터판단부(300)는 편차분석모듈(310), 상관도분석모듈(320), 분포분석모듈(330), 시퀀스분석모듈(340), 제1 내지 제3 합성곱분석모듈(350, 360, 370), 영상검출모듈(380), 제1 및 제2 잠재분석모듈(390, 400) 및 앙상블모듈(410)을 포함한다. Meanwhile, as described above, the error data determination unit 300 determines whether or not there is an error in the suspect sensor data using precise data and image data in step S160. This step S160 will be described in more detail. 11 is a flowchart illustrating a method for detecting suspicious data according to an embodiment of the present invention. As described above, the error data determination unit 300 includes the deviation analysis module 310, the correlation analysis module 320, the distribution analysis module 330, the sequence analysis module 340, and the first to third convolutions. It includes analysis modules 350, 360, 370, an image detection module 380, first and second latent analysis modules 390, 400, and an ensemble module 410.

도 11을 참조하면, 편차분석모듈(310)은 S310 단계에서 정밀 데이터 대비 센서 데이터의 편차를 분석한다. 즉, 편차분석모듈(210)은 센서 데이터와 정밀 데이터 간의 편차를 추출한다. 정상 데이터의 경우 편차는 소정 범위 내에 있지만, 이상 데이터의 경우 편차가 소정 범위를 벗어난다. Referring to FIG. 11 , the deviation analysis module 310 analyzes the deviation of sensor data against precision data in step S310. That is, the deviation analysis module 210 extracts the deviation between sensor data and precision data. In the case of normal data, the deviation is within a predetermined range, but in the case of abnormal data, the deviation is outside the predetermined range.

다음으로, 상관도분석모듈(320)은 S320 단계에서 정밀 데이터와 센서 데이터의 상관도를 분석한다. 즉, 상관도분석모듈(320)은 정밀 데이터와 센서 데이터의 상관도를 도출한다. 예컨대, 상관도분석모듈(320)은 각 시점에 대해, 기준 시점(t)에서 일정 단위 시간 간격으로 이전 시점까지(t-k)의 센서 데이터와 정밀 데이터의 피어슨 상관계수를 도출할 수 있다. 일정한 단위 시간 마다 상관계수를 구하면, 정상 데이터의 경우, 상관계수의 값이 기 설정된 임계치 이상을 유지하며, 이상 데이터가 존재하는 경우, 상관계수의 값이 임계치 미만으로 떨어지는 구간이 존재할 수 있다. Next, the correlation analysis module 320 analyzes the correlation between precise data and sensor data in step S320. That is, the correlation analysis module 320 derives a correlation between precise data and sensor data. For example, the correlation analysis module 320 may derive a Pearson's correlation coefficient of sensor data and precise data from a reference time point t to a previous time point (t-k) at a predetermined unit time interval for each time point. When a correlation coefficient is obtained for each unit of time, in the case of normal data, the value of the correlation coefficient is maintained above a predetermined threshold value, and when there is abnormal data, there may be a section in which the value of the correlation coefficient falls below the threshold value.

다음으로, 분포분석모듈(330)은 S330 단계에서 정밀 데이터, 센서 데이터, 편차분석모듈(310)이 도출한 편차, 상관도분석모듈(320)이 도출한 상관도(상관계수)를 입력 받고, 정밀 데이터 대비 센서 데이터의 분포, 정밀 데이터와 센서 데이터의 편차의 분포 및 정밀 데이터와 센서 데이터 간 상관도의 분포를 도출한다. 이때, 분포분석모듈(330)은 기 설정된 범위 및 간격에 따라 센서 데이터의 분포, 편차의 분포 및 상관도의 분포를 출력한다. Next, the distribution analysis module 330 receives precision data, sensor data, the deviation derived by the deviation analysis module 310, and the correlation (correlation coefficient) derived by the correlation analysis module 320 in step S330, The distribution of precision data versus sensor data, the distribution of deviation between precision data and sensor data, and the distribution of correlation between precision data and sensor data are derived. At this time, the distribution analysis module 330 outputs the distribution of sensor data, the distribution of deviation, and the distribution of correlation according to the preset range and interval.

다음으로, 시퀀스분석모듈(340)은 S340 단계에서 심층학습모델(DLM: Deep Learning Model)인 시퀀스모델(SM)을 이용하여 정밀 데이터 대비 센서 데이터를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 구체적으로, 시퀀스분석모듈(340)은 소정의 단위 시간 별로 센서 데이터 및 센서 데이터에 대응하는 정밀 데이터를 포함하는 입력벡터를 생성하고, 시간 순서에 따라 순차로 연결된 입력벡터열을 구성한 후, 시퀀스모델(SM)에 입력한다. 시퀀스모델(SM)은 입력벡터열에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 상태 벡터를 산출한다. 센서 데이터에 이상이 있는지 여부를 나타내는 이상판단벡터를 도출한다. 이상판단벡터는 이상이 있는 센서 데이터가 존재할 확률과 존재하지 않을 확률을 나타낸다. 이상판단벡터는 "(존재, 부재) = [0.981(98%), 0.019(2%)]"와 같이 확률을 나타내는 연판정값이거나, "(존재, 부재) = [1(100%), 0(0%)]"와 같이 확률을 원 핫 인코딩 벡터(one-hot-encoding vector)로 변환하여 나타내는 경판정값이 될 수 있다. Next, the sequence analysis module 340 analyzes sensor data against precision data using a sequence model (SM), which is a deep learning model (DLM) in step S340, to determine whether abnormal sensor data exists. An abnormal judgment vector is derived. Specifically, the sequence analysis module 340 generates an input vector including sensor data and precise data corresponding to the sensor data for each predetermined unit time, constructs an input vector sequence sequentially connected in time order, and then constructs a sequence model. Enter in (SM). The sequence model (SM) calculates a state vector by performing a weighting operation to which weights learned with respect to an input vector string are applied. An abnormality determination vector indicating whether there is an abnormality in the sensor data is derived. The anomaly determination vector represents a probability that abnormal sensor data exists and a probability that it does not exist. The ideal decision vector is a soft decision value representing a probability, such as "(existence, absence) = [0.981 (98%), 0.019 (2%)]", or "(existence, absence) = [1 (100%), 0 (0%)]" may be a hard decision value represented by converting the probability into a one-hot-encoding vector.

제1 합성곱분석모듈(250)은 S350 단계에서 합성곱 신경망(CNN: convolutional neural network) 기반 심층학습모델(DLM: Deep Learning Model)인 제1 합성곱모델(CM1)을 이용하여 정밀 데이터 대비 센서 데이터의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 즉, 제1 합성곱분석모듈(350)은 정밀 데이터 대비 센서 데이터의 분포를 제1 합성곱모델(CM1)에 입력하고, 제1 합성곱모델(CM1)은 정밀 데이터 대비 센서 데이터의 분포에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. The first convolutional analysis module 250 uses the first convolutional model (CM1), which is a deep learning model (DLM) based on a convolutional neural network (CNN) in step S350, to compare the precision data to the sensor. The distribution of data is analyzed to derive an anomaly judgment vector indicating whether sensor data with anomalies exist. That is, the first convolution analysis module 350 inputs the distribution of sensor data versus precision data to the first convolution model CM1, and the first convolution model CM1 determines the distribution of precision data versus sensor data. An abnormality determination vector indicating whether there is abnormal sensor data is derived by performing weight calculation to which the learned weight is applied.

제2 합성곱분석모듈(360)은 S360 단계에서 합성곱 신경망(CNN: convolutional neural network) 기반 심층학습모델(DLM: Deep Learning Model)인 제2 합성곱모델(CM2)을 이용하여 정밀 데이터와 센서 데이터의 편차의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 즉, 제2 합성곱분석모듈(360)은 정밀 데이터와 센서 데이터의 편차의 분포를 제2 합성곱모델(CM2)에 입력하고, 제2 합성곱모델(CM1)은 정밀 데이터와 센서 데이터의 편차의 분포에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. The second convolutional analysis module 360 uses the second convolutional model (CM2), which is a deep learning model (DLM) based on a convolutional neural network (CNN) in step S360, to provide precise data and sensors. By analyzing the distribution of the deviation of the data, an anomaly judgment vector indicating whether sensor data with anomalies exists is derived. That is, the second convolution analysis module 360 inputs the distribution of the deviation between the precision data and the sensor data into the second convolution model CM2, and the second convolution model CM1 inputs the distribution of the deviation between the precision data and the sensor data. An anomaly determination vector indicating whether there is sensor data with an anomaly is derived by performing a weight calculation to which the learned weight is applied to the distribution of .

제3 합성곱분석모듈(370)은 S370 단계에서 합성곱 신경망(CNN: convolutional neural network) 기반 심층학습모델(DLM: Deep Learning Model)인 제3 합성곱모델(CM3)을 이용하여 정밀 데이터와 센서 데이터 간 상관도의 분포를 분석하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. 즉, 제3 합성곱분석모듈(370)은 정밀 데이터와 센서 데이터 간 상관도의 분포를 제3 합성곱모델(CM3)에 입력하고, 제1 합성곱모델(CM1)은 정밀 데이터와 센서 데이터의 편차의 분포에 대해 학습된 가중치가 적용되는 가중치 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. The third convolutional analysis module 370 uses the third convolutional model (CM3), which is a deep learning model (DLM) based on a convolutional neural network (CNN) in step S370, to provide precise data and sensors. By analyzing the distribution of the correlation between the data, an anomaly judgment vector indicating whether there is an anomaly sensor data is derived. That is, the third convolutional analysis module 370 inputs the distribution of the correlation between the precision data and the sensor data into the third convolution model CM3, and the first convolution model CM1 converts the precision data and the sensor data. An abnormality determination vector indicating whether there is abnormal sensor data is derived by performing weight calculation to which the learned weight is applied to the deviation distribution.

다음으로, 영상검출모듈(380)은 S380 단계에서 영상 데이터로부터 의심 센서인 기상환경 센서(30)의 소정 범위 이내의 영상인 지역 영상 데이터와, 영상 데이터의 전체 영역(촬영된 전체 영역)을 나타내는 전역 영상 데이터를 추출한다. 예를 들면, 감시영상장비(50)가 의심 센서인 기상환경 센서(30)를 기준으로 제1 소정 범위의 주변 영역을 촬영한 전체 영상이 전역 영상 데이터이고, 의심 센서인 기상환경 센서(30)를 기준으로 제1 소정 범위 보다 작은 범위인 제2 소정 범위의 영상이 지역 영상 데이터가 될 수 있다. Next, the image detection module 380 indicates local image data, which is an image within a predetermined range of the meteorological environment sensor 30, which is a suspect sensor, from the image data in step S380, and the entire region (the entire captured region) of the image data. Extract global image data. For example, the entire image obtained by the surveillance video equipment 50 photographing the surrounding area of the first predetermined range based on the weather environment sensor 30, which is a suspicious sensor, is global image data, and the weather environment sensor 30, which is a suspicious sensor An image of a second predetermined range, which is a range smaller than the first predetermined range based on , may be local image data.

제1 잠재분석모듈(390)은 S390 단계에서 제1 잠재분석모델(LM1)을 이용하여 지역 영상 데이터에 대해 학습된 가중치에 따른 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. In step S390, the first latent analysis module 390 performs an operation according to the weight learned on the local image data using the first latent analysis model LM1 to determine whether abnormal sensor data exists or not. Derive the vector.

제2 잠재분석모듈(400)은 S400 단계에서 제2 잠재분석모델(LM2)을 이용하여 전역 영상 데이터에 대해 학습된 가중치에 따른 연산을 수행하여 이상이 있는 센서 데이터가 존재하는지 여부를 나타내는 이상판단벡터를 도출한다. In step S400, the second latent analysis module 400 uses the second latent analysis model LM2 to perform calculations based on weights learned on the global image data to determine whether there is abnormal sensor data or not. Derive the vector.

앙상블모듈(410)은 S410 단계에서 시퀀스분석모듈(340), 제1 합성곱분석모듈(350), 제2 합성곱분석모듈(360), 제3 합성곱분석모듈(370), 제1 잠재분석모듈(390) 및 제2 잠재분석모듈(400) 각각이 출력한 이상판단벡터를 종합하여 최종적으로 의심되는 센서 데이터에 오류가 있는지 여부를 나타내는 오류검출벡터를 도출한다. 일 실시예에 따르면, 앙상블모듈(410)은 이상판단벡터에 대한 가중합을 통해 오류검출벡터를 도출할 수 있다. 이때, 가중치는 이상판단벡터를 도출한 모델의 신뢰도에 따라 결정될 수 있다. 다른 실시예에 따르면, 앙상블모듈(410)은 이상판단벡터간 논리 연산에 따라 오류검출벡터를 도출할 수 있다. 논리 연산의 경우, 모든 이상판단벡터가 이상 데이터가 존재함을 나타내면 해당 센서 데이터에 오류가 있는 것으로 판단하거나, 적어도 하나의 이상판단벡터가 이상 데이터가 존재함을 나타내면 해당 센서 데이터에 오류가 있는 것으로 판단할 수 있다. 오류검출벡터는 의심 데이터가 존재할 확률과 존재하지 않을 확률을 나타낸다. 오류검출벡터는 "(존재, 부재) = [0.981(98%), 0.019(2%)]"와 같이 확률을 나타내는 연판정값이거나, "(존재, 부재) = [1(100%), 0(0%)]"와 같이 확률을 원 핫 인코딩 벡터(one-hot-encoding vector)로 변환하여 나타내는 경판정값이 될 수 있다. 이에 따라, 의심데이터검출부(200)는 오류검출벡터의 확률에 따라 최종적으로 해당 의심 센서의 센서 데이터에 오류가 있는지 여부를 판단한다. The ensemble module 410 includes the sequence analysis module 340, the first convolution analysis module 350, the second convolution analysis module 360, the third convolution analysis module 370, and the first latent analysis in step S410. Finally, an error detection vector indicating whether or not there is an error in the suspected sensor data is derived by synthesizing the abnormal determination vectors output by each of the module 390 and the second latent analysis module 400 . According to an embodiment, the ensemble module 410 may derive an error detection vector through a weighted sum of the abnormal determination vector. At this time, the weight may be determined according to the reliability of the model from which the abnormality determination vector was derived. According to another embodiment, the ensemble module 410 may derive an error detection vector according to a logical operation between abnormality determination vectors. In the case of logic operation, if all abnormality determination vectors indicate the existence of abnormal data, the corresponding sensor data is determined to have an error, or if at least one abnormality determination vector indicates the existence of abnormal data, the corresponding sensor data is determined to have an error. can judge The error detection vector represents the probability that suspicious data exists and the probability that it does not exist. The error detection vector is a soft decision value representing a probability, such as "(existence, absence) = [0.981 (98%), 0.019 (2%)]", or "(existence, absence) = [1 (100%), 0 (0%)]" may be a hard decision value represented by converting the probability into a one-hot-encoding vector. Accordingly, the suspicious data detection unit 200 finally determines whether there is an error in the sensor data of the corresponding suspicious sensor according to the probability of the error detection vector.

도 12는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 12의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치, 예컨대, 센서관리장치(10)가 될 수 있다. 12 is a diagram illustrating a computing device according to an embodiment of the present invention. The computing device TN100 of FIG. 12 may be a device described in this specification, for example, the sensor management device 10 .

도 12의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다. In the embodiment of FIG. 12 , the computing device TN100 may include at least one processor TN110, a transceiver TN120, and a memory TN130. In addition, the computing device TN100 may further include a storage device TN140, an input interface device TN150, and an output interface device TN160. Elements included in the computing device TN100 may communicate with each other by being connected by a bus TN170.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다. The processor TN110 may execute program commands stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed. Processor TN110 may be configured to implement procedures, functions, methods, and the like described in relation to embodiments of the present invention. The processor TN110 may control each component of the computing device TN100.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110. Each of the memory TN130 and the storage device TN140 may include at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory TN130 may include at least one of read only memory (ROM) and random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다. The transmitting/receiving device TN120 may transmit or receive a wired signal or a wireless signal. The transmitting/receiving device TN120 may perform communication by being connected to a network.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. On the other hand, the method according to the embodiment of the present invention described above may be implemented in the form of a program readable by various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include program commands, data files, data structures, etc. alone or in combination. Program instructions recorded on the recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in computer software. For example, recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks ( It includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, etc. Examples of program instructions may include high-level language wires that can be executed by a computer using an interpreter, as well as machine language wires such as those produced by a compiler. These hardware devices may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. The present invention has been described above using several preferred examples, but these examples are illustrative and not limiting. As such, those skilled in the art to which the present invention belongs will understand that various changes and modifications can be made according to the doctrine of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

10: 센서관리장치
20: 기상청서버
30: 기상환경 센서
40: 비교관측장치
50: 감시영상장비
100: 데이터수집부
200: 의심데이터검출부
300: 오류데이터판단부
400: 관리부 10: sensor management device
20: Korea Meteorological Administration server
30: weather environment sensor
40: comparative observation device
50: Surveillance video equipment
100: data collection unit
200: suspicious data detection unit
300: error data judgment unit
400: management department

Claims

In the method for managing the weather environment sensor,
A plurality of sensor data in which a plurality of meteorological environment sensors installed in a plurality of different locations of the data collection unit measure the meteorological environment and a plurality of reference data obtained by measuring the meteorological environment through the equipment of the Korea Meteorological Agency in correspondence with each of the plurality of sensor data collecting;
comparing reference data and sensor data by a suspicious data detection unit to determine whether there is sensor data suspected of having an abnormality among the plurality of sensor data; and
specifying, by a management unit, a meteorological environment sensor corresponding to the suspected sensor data as a suspect sensor, if the suspect sensor data exists;
characterized in that it includes
A method for managing weather environment sensors.

According to claim 1,
The step of determining whether sensor data suspected of having the abnormality exists
Extracting, by a deviation analysis module, a deviation between the reference data and the sensor data;
Deriving, by a correlation analysis module, a correlation between the reference data and the sensor data;
deriving, by a distribution analysis module, a distribution of the sensor data against the reference data, a distribution of deviations between the reference data and the sensor data, and a distribution of correlations between the reference data and the sensor data;
deriving an abnormality determination vector indicating whether there is abnormal sensor data by analyzing the sensor data compared to the reference data using a sequence model by a sequence analysis module;
deriving, by a first convolutional analysis module, an abnormality determination vector indicating whether there is abnormal sensor data by analyzing a distribution of the sensor data compared to the reference data using a first convolutional model;
deriving, by a second convolutional analysis module, an abnormality determination vector indicating whether there is abnormal sensor data by analyzing a distribution of deviations between the reference data and the sensor data using a second convolutional model;
deriving, by a third convolution analysis module, an abnormality determination vector indicating whether there is abnormal sensor data by analyzing a distribution of correlations between the reference data and the sensor data using a third convolution model; and
The ensemble module synthesizes abnormality determination vectors output from each of the sequence analysis module, the first convolutional analysis module, the second convolutional analysis module, and the third convolutional analysis module, and sensor data suspected of having an abnormality is obtained. deriving a suspicion detection vector indicating whether or not it exists;
characterized in that it includes
A method for managing weather environment sensors.

According to claim 2,
The suspicious detection vector is
It is a soft decision value indicating whether suspicious sensor data exists or not,
Characterized in that the hard decision value represented by converting the probability into a one-hot-encoding vector
A method for managing weather environment sensors.

According to claim 1,
The data collection unit collects sensor data obtained by measuring the meteorological environment by the suspected sensor and precise data obtained by measuring the weather environment by the comparison observation device installed at the location where the suspected sensor is located in response to the sensor data of the suspected sensor, and the suspected sensor Collecting image data obtained by taking images of a surrounding area of a predetermined range including a suspected sensor by a monitoring imaging device installed at a location where the is located;
Comparing the precise data with the sensor data and analyzing the image data by the error data determination unit to determine whether there is an error in the sensor data of the suspected sensor;
outputting an error message so that an action is taken on a corresponding meteorological environment sensor when the management unit has an error in the sensor data as a result of the determination;
characterized in that it includes
A method for managing weather environment sensors.

According to claim 4,
The comparative observation device
Characterized in that it consists of a sensor whose accuracy is at least higher than the preset value than the weather environment sensor
A method for managing weather environment sensors.

According to claim 4,
The step of determining whether there is an error in the sensor data of the suspected sensor is
Extracting, by a deviation analysis module, a deviation between the precise data and the sensor data;
Deriving, by a correlation analysis module, a correlation between the precision data and the sensor data;
deriving, by a distribution analysis module, a distribution of the sensor data against the precise data, a distribution of deviations between the precise data and the sensor data, and a distribution of correlations between the precise data and the sensor data;
deriving, by a sequence analysis module, an abnormality determination vector indicating whether there is abnormal sensor data by analyzing the sensor data against the precise data using a sequence model;
deriving, by a first convolution analysis module, an anomaly determination vector indicating whether or not abnormal sensor data exists by analyzing a distribution of the sensor data compared to the precision data using a first convolution model;
a second convolution analysis module analyzing a distribution of deviations between the precision data and the sensor data using a second convolution model to derive an anomaly judgment vector indicating whether or not abnormal sensor data exists;
deriving an abnormality determination vector indicating whether there is abnormal sensor data by analyzing a distribution of correlations between the precision data and the sensor data using a third convolution model by a third convolutional analysis module;
extracting, by an image detection module, local image data, which is an image within a predetermined range of a suspect sensor, and global image data representing an entire region of the image data, from the image data;
deriving, by a first latent analysis module, an anomaly determination vector indicating whether there is sensor data with an anomaly by performing an operation based on weights learned on local image data using a first latent analysis model;
deriving, by a second latent analysis module, an anomaly determination vector indicating whether there is sensor data with anomalies by performing an operation according to weights learned on global image data using a second latent analysis model; and
The ensemble module outputs the sequence analysis module, the first convolution analysis module, the second convolution analysis module, the third convolution analysis module, the first latent analysis module, and the second latent analysis module, respectively. deriving an error detection vector indicating whether there is an error in the sensor data by integrating the determination vectors;
characterized in that it includes
A method for managing weather environment sensors.

According to claim 6,
The suspicious detection vector is
It is a soft decision value indicating whether suspicious sensor data exists or not,
Characterized in that the hard decision value represented by converting the probability into a one-hot-encoding vector
A method for managing weather environment sensors.

In the device for managing the weather environment sensor,
A plurality of meteorological environment sensors installed in a plurality of different locations collects a plurality of sensor data measuring the meteorological environment and a plurality of reference data measuring the meteorological environment through the equipment of the Korea Meteorological Administration in response to each of the plurality of sensor data. collection department;
a suspicious data detection unit that compares reference data with sensor data to determine whether there is sensor data suspected of having an abnormality among the plurality of sensor data; and
a management unit for specifying a meteorological environment sensor corresponding to the suspected sensor data as a suspect sensor, if the suspect sensor data exists;
characterized in that it includes
A device for managing weather environment sensors.

According to claim 8,
The suspicious data detection unit
a deviation analysis module for extracting a deviation between the reference data and the sensor data;
a correlation analysis module for deriving a correlation between the reference data and the sensor data;
a distribution analysis module for deriving a distribution of the sensor data against the reference data, a distribution of deviations between the reference data and the sensor data, and a distribution of correlations between the reference data and the sensor data;
a sequence analysis module that analyzes the sensor data against the reference data using a sequence model to derive an anomaly determination vector indicating whether sensor data with an anomaly exists;
a first convolutional analysis module for deriving an abnormality determination vector indicating whether there is abnormal sensor data by analyzing a distribution of the sensor data compared to the reference data using a first convolutional model;
a second convolutional analysis module for deriving an abnormality determination vector indicating whether there is abnormal sensor data by analyzing a distribution of deviations between the reference data and the sensor data using a second convolutional model;
a third convolutional analysis module for deriving an abnormality determination vector indicating whether there is abnormal sensor data by analyzing a distribution of correlations between the reference data and the sensor data using a third convolutional model; and
Whether or not sensor data suspected of having an abnormality exists by integrating abnormality determination vectors output from each of the sequence analysis module, the first convolutional analysis module, the second convolutional analysis module, and the third convolutional analysis module. An ensemble module for deriving a suspicion detection vector representing
characterized in that it includes
A device for managing weather environment sensors.

According to claim 9,
The suspicious detection vector is
It is a soft decision value indicating whether suspicious sensor data exists or not,
Characterized in that the hard decision value represented by converting the probability into a one-hot-encoding vector
A device for managing weather environment sensors.

According to claim 8,
The data collection department
Corresponding to the sensor data of the meteorological environment measured by the suspect sensor and the sensor data of the suspect sensor, the comparative observation device installed at the location of the suspicious sensor collects precise data of the meteorological environment, and the location of the suspicious sensor The monitoring imaging device installed in collects image data obtained by capturing an image of a surrounding area of a predetermined range including a suspected sensor,
The device
an error data determination unit that compares precision data and sensor data and analyzes image data to determine whether there is an error in sensor data of a suspected sensor;
Including more,
the management department
As a result of the determination, if there is an error in the sensor data, an error message is output so that measures are taken for the corresponding weather environment sensor.
A device for managing weather environment sensors.

According to claim 11,
The comparative observation device
Characterized in that it consists of a sensor whose accuracy is at least higher than the preset value than the weather environment sensor
A device for managing weather environment sensors.

According to claim 11,
The error data judgment unit
a deviation analysis module for extracting a deviation between the precise data and the sensor data;
A correlation analysis module for deriving a correlation between the precise data and the sensor data;
a distribution analysis module for deriving a distribution of the sensor data versus the precise data, a distribution of deviations between the precise data and the sensor data, and a distribution of correlations between the precise data and the sensor data;
a sequence analysis module that analyzes the sensor data against the precise data using a sequence model to derive an abnormality determination vector indicating whether there is abnormal sensor data;
a first convolutional analysis module for deriving an abnormality determination vector indicating whether there is abnormal sensor data by analyzing the distribution of the sensor data compared to the precision data using a first convolutional model;
a second convolutional analysis module for deriving an anomaly determination vector indicating whether or not abnormal sensor data exists by analyzing a distribution of deviations between the precision data and the sensor data using a second convolution model;
a third convolutional analysis module for deriving an abnormality determination vector indicating whether there is abnormal sensor data by analyzing a distribution of correlations between the precision data and the sensor data using a third convolutional model;
an image detection module that extracts local image data, which is an image within a predetermined range of the suspect sensor, and global image data representing an entire region of the image data, from the image data;
a first latent analysis module for deriving an anomaly determination vector indicating whether there is sensor data with anomalies by performing an operation based on weights learned for local image data using a first latent analysis model;
a second latent analysis module for deriving an abnormality determination vector indicating whether there is abnormal sensor data by performing an operation according to weights learned for global image data using a second latent analysis model; and
The sequence analysis module, the first convolution analysis module, the second convolution analysis module, the third convolution analysis module, the first latent analysis module, and the second latent analysis module each output an abnormal decision vector An ensemble module that synthesizes and derives an error detection vector indicating whether or not there is an error in the sensor data;
characterized in that it includes
A device for managing weather environment sensors.

According to claim 13,
The suspicious detection vector is
It is a soft decision value indicating whether suspicious sensor data exists or not,
Characterized in that the hard decision value represented by converting the probability into a one-hot-encoding vector
A device for managing weather environment sensors.