KR102379390B1 - System for constructing 3d fine dust information capable of variavle area size and method thereof - Google Patents

System for constructing 3d fine dust information capable of variavle area size and method thereof Download PDF

Info

Publication number
KR102379390B1
KR102379390B1 KR1020210106122A KR20210106122A KR102379390B1 KR 102379390 B1 KR102379390 B1 KR 102379390B1 KR 1020210106122 A KR1020210106122 A KR 1020210106122A KR 20210106122 A KR20210106122 A KR 20210106122A KR 102379390 B1 KR102379390 B1 KR 102379390B1
Authority
KR
South Korea
Prior art keywords
fine dust
data
region
dust concentration
learning
Prior art date
Application number
KR1020210106122A
Other languages
Korean (ko)
Inventor
정규수
최우철
성홍기
나준엽
윤준희
임상훈
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020210106122A priority Critical patent/KR102379390B1/en
Application granted granted Critical
Publication of KR102379390B1 publication Critical patent/KR102379390B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N2015/0096—Investigating consistence of powders, dustability, dustiness
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

Disclosed are a system for constructing area-variable three-dimensional (3D) fine dust information to provide accurate fine dust spatial information for each detailed area in a wide range and a method thereof. According to the present invention, the system comprises: a data collection unit collecting weather environment data and image data for each predetermined region; and a data estimation unit selecting a size of a unit block to display 3D fine dust spatial information on the basis of the weather environment data, selecting a predetermined number of regions of interest (ROI) according to the size of the selected unit block, estimating the concentration of fine dust by inputting image data of the ROI area in the image data collected in real-time to a learned deep learning model, and generating the 3D fine dust spatial information on the basis of the estimated concentration of fine dust. The 3D fine dust spatial information has a cube shape formed of a plurality of unit blocks at least partially deformed according to the size of the selected unit block.

Description

영역 크기 가변이 가능한 3차원 미세 먼지 정보를 구축하기 위한 시스템 및 그 방법{SYSTEM FOR CONSTRUCTING 3D FINE DUST INFORMATION CAPABLE OF VARIAVLE AREA SIZE AND METHOD THEREOF}SYSTEM FOR CONSTRUCTING 3D FINE DUST INFORMATION CAPABLE OF VARIAVLE AREA SIZE AND METHOD THEREOF

실시예는 영역 크기 가변이 가능한 3차원 미세 먼지 정보를 구축하기 위한 시스템 및 그 방법에 관한 것이다.The embodiment relates to a system and method for constructing three-dimensional fine dust information with variable area size.

최근 기술이 발전됨에 따라 매연가스나 소각가스와 같은 각종 먼지에 의해 대기 오염에 대한 문제가 심각해지고 있다. 특히, 미세먼지는 크기가 2.5 마이크로미터 이하인 먼지이며, 이로 인해 인체의 코점막에서 걸러지지 못하고 그대로 폐포까지 침투되어 천식이나 폐질환 등의 질병을 유발하거나 또는 폐포를 통해 혈액 속으로 침투하여 각종 질병이 발생되는 원인을 제공한다.With the recent development of technology, the problem of air pollution due to various kinds of dust such as soot gas or incineration gas is getting serious. In particular, fine dust is dust with a size of 2.5 micrometers or less, and because of this, it cannot be filtered from the nasal mucosa of the human body and penetrates to the alveoli as it is, causing diseases such as asthma or lung disease, or various diseases by penetrating into the blood through the alveoli. The cause of this occurrence is given.

이러한 이유로 미세먼지에 의한 공기의 오염도를 측정하기 위한 다양한 연구가 진행되고 있다.For this reason, various studies are being conducted to measure the degree of air pollution caused by fine dust.

건물의 옥상이나 이동차량에 설치된 측정 장비를 이용하는 경우 고가의 장비 가격과 큰 부피로 인하여 측정 장비의 설치수량과 설치 장소에 한계가 있고, 측정 장비에서 커버하는 영역이 좁았으며, 이로 인하여 측정소 주변 이외의 지역에 대해서는 정확한 대기환경 측정을 수행할 수 없어 넓은 지역의 세밀한 대기환경 측정이 어려웠다.When using measuring equipment installed on the roof of a building or moving vehicle, there is a limit to the installation quantity and installation location of the measuring equipment due to the expensive equipment price and large volume, and the area covered by the measuring equipment is narrow. It was difficult to accurately measure the atmospheric environment in a large area because it was not possible to accurately measure the atmospheric environment in the

또한, 지형, 고도 등에 대한 고려를 하지 않고 대기환경을 측정하기 때문에 측정 정보를 토대로 발표되는 대기 환경 지표와 실제 시민들이 체감하는 것과는 상당한 차이가 있어, 넓은 범위의 세부 지역별로 정밀하게 측정하는데 한계가 있었다.In addition, since the atmospheric environment is measured without considering the topography and altitude, there is a significant difference between the air environment index announced based on the measurement information and the actual citizen's feeling, so there is a limit to precisely measuring it in a wide range of detailed regions. there was.

실시예는 영역 크기 가변이 가능한 3차원 미세 먼지 정보를 구축하기 위한 시스템 및 그 방법을 제공한다.The embodiment provides a system and method for constructing three-dimensional fine dust information with variable area size.

실시예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.The problem to be solved in the embodiment is not limited thereto, and it will be said that the purpose or effect that can be grasped from the method of solving the problem described below or the embodiment is also included.

실시예에 따른 3차원 미세먼지 정보 구축 시스템은 미리 정해진 지역별로 기상 환경 데이터와 영상 데이터를 수집하는 데이터 수집부; 상기 기상 환경 데이터를 기초로 3차원 미세먼지 공간정보를 표시할 단위 블록의 크기를 선택하고 상기 선택된 단위 블록의 크기에 따라 미리 정해진 개수의 ROI 영역을 선정하고, 상기 학습된 딥러닝 학습 모델에 실시간으로 수집되는 영상 데이터 내 ROI 영역의 이미지 데이터를 입력하여 미세먼지 농도를 추정하고, 상기 추정된 미세먼지 농도를 기초로 3차원 미세먼지 공간정보를 생성하는 데이터 추정부를 포함하고, 상기 3차원 미세먼지 공간정보는 상기 선택된 단위블록의 크기에 따라 적어도 일부가 변형된 다수의 단위블록으로 구성된 큐브 형태일 수 있다.A three-dimensional fine dust information construction system according to an embodiment includes a data collection unit that collects weather environment data and image data for each predetermined region; Based on the weather environment data, a size of a unit block to display 3D fine dust spatial information is selected, a predetermined number of ROI areas are selected according to the size of the selected unit block, and the learned deep learning model is applied in real time. and a data estimator for estimating the fine dust concentration by inputting image data of the ROI region in the image data collected by The spatial information may be in the form of a cube composed of a plurality of unit blocks, at least a part of which is deformed according to the size of the selected unit block.

상기 데이터 추정부는 상기 기상 환경 데이터 중 미세 먼지 농도에 따라 상기 단위 블록의 크기를 선택하되, 상기 미세 먼지 농도가 높아수록 단위 블록의 크기는 작아지고, 상기 미세먼지 농도가 낮아질수록 단위 블록의 크기는 커질 수 있다.The data estimator selects the size of the unit block according to the fine dust concentration of the weather environment data, but as the fine dust concentration increases, the size of the unit block decreases, and as the fine dust concentration decreases, the size of the unit block becomes can grow

상기 ROI 영역의 개수는 상기 선택된 단위 블록의 크기에 따라 달라질 수 있다.The number of the ROI regions may vary according to the size of the selected unit block.

상기 3차원 미세먼지 정보 구축 시스템은 상기 수집된 영상 데이터와 상기 기상 환경 데이터를 매칭시켜 데이터 셋으로 그룹화하는 데이터 전처리부; 및 상기 그룹화된 데이터 셋을 기초로 미리 정해진 딥러닝 학습 모델을 학습시키는 데이터 학습부를 더 포함할 수 있다.The three-dimensional fine dust information building system includes: a data preprocessor for grouping the collected image data and the weather environment data into a data set by matching; and a data learning unit configured to train a predetermined deep learning learning model based on the grouped data set.

상기 데이터 전처리부는 상기 영상 데이터로부터 프레임 단위의 이미지를 추출하고, 상기 추출된 프레임 단위의 이미지로부터 ROI 영역의 이미지 데이터를 추출하고, 상기 추출된 이미지 데이터와 상기 기상 환경 데이터의 미세먼지 농도를 시간과 공간에 따라 매칭시켜 데이터 셋으로 그룹화할 수 있다.The data preprocessor extracts a frame-by-frame image from the image data, extracts image data of an ROI region from the extracted frame-by-frame image, and calculates the fine dust concentration of the extracted image data and the weather environment data with time They can be grouped into data sets by matching them according to space.

상기 데이터 셋은 학습을 위한 제1 데이터 셋과 검증을 위한 제2 데이터 셋을 포함하고, 상기 데이터 학습부는 상기 제1 데이터 셋을 기초로 제1 딥러닝 학습 모델을 학습시켜 상기 학습된 제1 딥러닝 학습 모델에 제2 데이터 셋을 입력하여 학습용 미세먼지 농도를 추정하고, 상기 추정된 학습용 미세먼지 농도와 상기 기상환경 데이터를 포함하는 통합 데이터 셋을 생성하고, 상기 생성된 통합 데이터 셋을 기초로 제2 딥러닝 학습 모델을 학습시켜 상기 딥러닝 학습 모델로 결정할 수 있다.The data set includes a first data set for learning and a second data set for verification, and the data learning unit learns a first deep learning learning model based on the first data set to learn the first deep learning model. Estimate the fine dust concentration for learning by inputting a second data set to the learning learning model, generate an integrated data set including the estimated fine dust concentration for learning and the weather environment data, and based on the generated integrated data set By learning the second deep learning learning model, it can be determined as the deep learning learning model.

상기 데이터 셋은 상기 이미지 데이터와 상기 미세먼지 농도를 포함하고, 상기 통합 데이터 셋은 상기 이미지 데이터, 상기 미세먼지 농도, 미리 정해진 적어도 하나의 기상환경 인자를 포함할 수 있다.The data set may include the image data and the fine dust concentration, and the integrated data set may include the image data, the fine dust concentration, and at least one predetermined weather environment factor.

상기 지역은 상기 ROI 영역을 포함하는 제1 영역과 상기 ROI 영역을 포함하지 않는 제2 영역을 포함하고, 상기 데이터 추정부는 상기 지역의 제1 영역에 대한 미세먼지 농도를 상기 제1 영역 내 ROI 영역에 대한 미세먼지 농도로 추정하고, 상기 지역의 제2 영역에 대한 미세먼지 농도를 상기 제1 영역에 대한 미세먼지 농도를 이용하여 보간 방식으로 추정할 수 있다.The region includes a first region including the ROI region and a second region not including the ROI region, and the data estimator calculates the fine dust concentration for the first region of the region in the ROI region in the first region. It is possible to estimate the fine dust concentration of , and the fine dust concentration for the second region of the region may be estimated using the fine dust concentration for the first region in an interpolation method.

상기 데이터 추정부는 상기 지역별 3차원 지도 상에 상기 생성된 3차원 미세먼지 공간정보를 중첩시켜 상기 지역별 미세먼지 정보를 공간적으로 표시할 수 있다.The data estimator may spatially display the fine dust information for each region by superimposing the generated 3D fine dust spatial information on the regional 3D map.

실시예에 따른 3차원 미세 먼지 정보 구축 방법은 미리 정해진 지역별로 기상 환경 데이터와 영상 데이터를 수집하는 데이터 수집단계; 상기 수집된 영상 데이터와 상기 기상 환경 데이터를 매칭시켜 데이터 셋으로 그룹화하는 데이터 전처리단계; 상기 그룹화된 데이터 셋을 기초로 미리 정해진 딥러닝 학습 모델을 학습시키는 데이터 학습단계; 및 상기 기상 환경 데이터를 기초로 3차원 미세먼지 공간정보를 표시할 단위 블록의 크기를 선택하고 상기 선택된 단위 블록의 크기에 따라 미리 정해진 개수의 ROI 영역을 선정하고, 상기 학습된 딥러닝 학습 모델에 실시간으로 수집되는 영상 데이터 내 ROI 영역의 이미지 데이터를 입력하여 미세먼지 농도를 추정하고, 상기 추정된 미세먼지 농도를 기초로 3차원 미세먼지 공간정보를 생성하는 데이터 추정단계를 포함하고, 상기 3차원 미세먼지 공간정보는 상기 ROI 영역을 기준으로, 상기 추정된 미세먼지 농도가 부여된 다수의 단위블록으로 구성된 큐브 형태일 수 있다.A method for constructing three-dimensional fine dust information according to an embodiment includes a data collection step of collecting weather environment data and image data for each predetermined region; a data pre-processing step of matching the collected image data with the weather environment data and grouping them into a data set; a data learning step of learning a predetermined deep learning learning model based on the grouped data set; and selecting a size of a unit block to display three-dimensional fine dust spatial information based on the weather environment data, selecting a predetermined number of ROI areas according to the size of the selected unit block, and applying the learned deep learning model A data estimation step of estimating the fine dust concentration by inputting image data of an ROI region in the image data collected in real time, and generating three-dimensional fine dust spatial information based on the estimated fine dust concentration, wherein the three-dimensional The fine dust spatial information may be in the form of a cube composed of a plurality of unit blocks to which the estimated fine dust concentration is assigned based on the ROI area.

실시예에 따른 3차원 미세먼지 정보 구축 방법은 미리 정해진 지역별로 기상 환경 데이터와 영상 데이터를 수집하는 단계; 상기 기상 환경 데이터를 기초로 3차원 미세먼지 공간정보를 표시할 단위 블록의 크기를 선택하고 상기 선택된 단위 블록의 크기에 따라 미리 정해진 개수의 ROI 영역을 선정하는 단계; 및 미리 학습된 딥러닝 학습 모델에 실시간으로 수집되는 영상 데이터 내 ROI 영역의 이미지 데이터를 입력하여 미세먼지 농도를 추정하고, 상기 추정된 미세먼지 농도를 기초로 3차원 미세먼지 공간정보를 생성하는 단계를 포함하고, 상기 3차원 미세먼지 공간정보는 상기 선택된 단위블록의 크기에 따라 적어도 일부가 변형된 다수의 단위블록으로 구성된 큐브 형태일 수 있다.According to an embodiment, a method for constructing three-dimensional fine dust information includes collecting weather environment data and image data for each predetermined region; selecting a size of a unit block for displaying 3D fine dust spatial information based on the weather environment data and selecting a predetermined number of ROI regions according to the size of the selected unit block; and estimating the fine dust concentration by inputting image data of the ROI region within the image data collected in real time to the pre-trained deep learning learning model, and generating three-dimensional fine dust spatial information based on the estimated fine dust concentration. Including, the three-dimensional fine dust spatial information may be in the form of a cube composed of a plurality of unit blocks at least partially deformed according to the size of the selected unit block.

실시예에 따르면, 지역 내 미리 선정된 ROI 대상을 기반으로 측정기를 통해 얻은 기상 환경 데이터와 CCTV를 통해 얻은 영상 데이터를 기초로 미리 정해진 딥러닝 모델을 학습시키고, CCTV를 통해 영상 데이터가 입력되면 입력된 영상 데이터를 미리 학습된 딥러닝 모델에 입력하여 미세먼지 농도를 추정하고, 추정된 미세먼지 농도를 기초로 해당 지역에 대한 3차원 미세먼지 공간정보를 구축하도록 함으로써, 넓은 범위에서 세부 지역별로 정확한 미세먼지 공간정보를 제공할 수 있다.According to the embodiment, a predetermined deep learning model is trained based on the meteorological environment data obtained through a measuring instrument and image data obtained through CCTV based on a pre-selected ROI target within the region, and when the image data is input through the CCTV, the input By inputting the acquired image data into the pre-trained deep learning model to estimate the fine dust concentration, and to build three-dimensional fine dust spatial information for the area based on the estimated fine dust concentration, It can provide spatial information on fine dust.

실시예에 따르면, 기존 CCTV를 이용하여 획득된 영상 데이터를 기초로 미세먼지 농도를 추정하기 때문에 기존 미세먼지 측정기의 대체가 가능하고 이로 인해 비용 절감이 가능할 수 있다.According to the embodiment, since the fine dust concentration is estimated based on the image data obtained using the existing CCTV, it is possible to replace the existing fine dust meter, thereby reducing the cost.

실시예에 따르면, 세부 지역별로 정확한 미세먼지 공간정보를 제공하기 때문에 미세먼지로 인한 피해를 예방할 수 있어 시민의 삶의 질 개선이 가능할 수 있다.According to the embodiment, since accurate fine dust spatial information is provided for each region, damage caused by fine dust can be prevented, thereby improving the quality of life of citizens.

실시예에 따르면, 기상 환경 데이터를 기초로 3차원 미세먼지 공간정보를 표시할 단위 블록의 크기를 선택하고 그 선택된 단위 블록의 크기에 따라 지역 내 ROI 대상을 선정하여 선정된 ROI 대상을 기반으로 미세먼지 농도를 추정하도록 함으로써, 미세먼지 공간정보를 효율적으로 제공할 수 있다.According to the embodiment, a size of a unit block to display three-dimensional fine dust spatial information is selected based on meteorological environment data, an ROI target within the region is selected according to the size of the selected unit block, and fine particles are selected based on the selected ROI target. By estimating the dust concentration, it is possible to efficiently provide fine dust spatial information.

본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.Various and advantageous advantages and effects of the present invention are not limited to the above, and will be more easily understood in the course of describing specific embodiments of the present invention.

도 1은 본 발명의 제1 실시예에 따른 3차원 미세먼지 정보 구축 방법을 나타내는 도면이다.
도 2a 내지 도 2c는 실시예에 따른 3차원 미세먼지 공간정보를 나타내는 도면이다.
도 3은 본 발명의 제1 실시예에 따른 3차원 미세 먼지 정보 구축 시스템을 나타내는 도면이다.
도 4는 실시예에 따른 지역 내 ROI 대상 선정 원리를 설명하기 위한 도면이다.
도 5a 내지 도 5c는 드론 관측장비를 이용한 데이터 획득 원리를 설명하기 위한 도면이다.
도 6은 실시예에 따른 학습용 빅데이터를 구축하는 원리를 설명하기 위한 도면이다.
도 7a 내지 도 7c는 실시예에 따른 데이터 전처리 과정을 설명하기 위한 도면이다.
도 8은 이미지 데이터와 매칭되는 미세먼지 농도 산출 원리를 설명하기 위한 도면이다.
도 9는 실시예에 따른 딥러닝 학습 모델을 학습시키는 원리를 설명하기 위한 도면이다.
도 10은 딥러닝 학습 모델에 의한 추정값과 실측값을 비교한 그래프이다.
도 11a 내지 도 11b는 미세먼지 농도의 보간 원리를 설명하기 위한 도면이다.
도 12는 실시예에 따른 3차원 미세먼지 공간정보의 구축 형상을 나타내는 도면이다.
도 13은 실시예에 따른 3차원 미세먼지 공간정보의 표시 형상을 설명하기 위한 도면이다.1 is a diagram illustrating a method for constructing three-dimensional fine dust information according to a first embodiment of the present invention.
2A to 2C are diagrams illustrating three-dimensional fine dust spatial information according to an embodiment.
3 is a diagram illustrating a three-dimensional fine dust information construction system according to a first embodiment of the present invention.
4 is a diagram for explaining a principle of selecting an ROI target within a region according to an embodiment.
5A to 5C are diagrams for explaining a data acquisition principle using drone observation equipment.
6 is a diagram for explaining a principle of constructing big data for learning according to an embodiment.
7A to 7C are diagrams for explaining a data pre-processing process according to an embodiment.
8 is a diagram for explaining the principle of calculating the concentration of fine dust matched with image data.
9 is a diagram for explaining a principle of learning a deep learning learning model according to an embodiment.
10 is a graph comparing the estimated value and the measured value by the deep learning learning model.
11A to 11B are diagrams for explaining the interpolation principle of fine dust concentration.
12 is a diagram illustrating a construction shape of three-dimensional fine dust spatial information according to an embodiment.
13 is a view for explaining a display shape of three-dimensional fine dust spatial information according to an embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.However, the technical spirit of the present invention is not limited to some embodiments described, but may be implemented in various different forms, and within the scope of the technical spirit of the present invention, one or more of the components may be selected between the embodiments. It can be used by combining or substituted with .

또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.In addition, terms (including technical and scientific terms) used in the embodiments of the present invention may be generally understood by those of ordinary skill in the art to which the present invention belongs, unless specifically defined and described explicitly. It may be interpreted as a meaning, and generally used terms such as terms defined in advance may be interpreted in consideration of the contextual meaning of the related art.

또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.In addition, the terminology used in the embodiments of the present invention is for describing the embodiments and is not intended to limit the present invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, “A 및(와) B, C 중 적어도 하나(또는 한 개 이상)”로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.In this specification, the singular form may also include the plural form unless otherwise specified in the phrase, and when it is described as “at least one (or more than one) of A and (and) B, C”, it is combined with A, B, and C It may include one or more of all possible combinations.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.In addition, in describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.These terms are only for distinguishing the component from other components, and are not limited to the essence, order, or order of the component by the term.

그리고, 어떤 구성 요소가 다른 구성요소에 ‘연결’, ‘결합’ 또는 ‘접속’된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 ‘연결’, ‘결합’ 또는 ‘접속’ 되는 경우도 포함할 수 있다.And, when it is described that a component is 'connected', 'coupled' or 'connected' to another component, the component is not only directly connected, coupled or connected to the other component, but also with the component It may also include a case of 'connected', 'coupled' or 'connected' due to another element between the other elements.

또한, 각 구성 요소의 “상(위) 또는 하(아래)”에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, “상(위) 또는 하(아래)”으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.In addition, when it is described as being formed or disposed on “above (above) or under (below)” of each component, the top (above) or bottom (below) is one as well as when two components are in direct contact with each other. Also includes a case in which another component as described above is formed or disposed between two components. In addition, when expressed as “upper (upper) or lower (lower)”, the meaning of not only the upward direction but also the downward direction based on one component may be included.

실시예에서는, 지역 내 미리 선정된 ROI 대상을 기반으로 측정기를 통해 얻은 기상 환경 데이터와 CCTV를 통해 얻은 영상 데이터를 기초로 미리 정해진 딥러닝 모델을 학습시키고, CCTV를 통해 영상 데이터가 입력되면 입력된 영상 데이터를 미리 학습된 딥러닝 모델에 입력하여 미세먼지 농도를 추정하고, 추정된 미세먼지 농도를 기초로 해당 지역에 대한 3차원 미세먼지 공간정보를 구축하도록 한다.In an embodiment, a predetermined deep learning model is trained based on the weather environment data obtained through a measuring instrument and image data obtained through CCTV based on a pre-selected ROI target within the region, and when the image data is input through the CCTV, the input The image data is input into the pre-trained deep learning model to estimate the fine dust concentration, and based on the estimated fine dust concentration, three-dimensional fine dust spatial information for the area is built.

실시예에서는, 기상 환경 데이터를 기초로 3차원 미세먼지 공간정보를 표시할 단위 블록의 크기를 선택하고 그 선택된 단위 블록의 크기에 따라 지역 내 ROI 대상을 선정하여 선정된 ROI(Region of Interest) 대상을 기반으로 미세먼지 농도를 추정하도록 한다.In the embodiment, the selected ROI (Region of Interest) target is selected by selecting the size of a unit block to display 3D fine dust spatial information based on the weather environment data, and selecting an ROI target within the region according to the size of the selected unit block. to estimate the concentration of fine dust based on

도 1은 본 발명의 제1 실시예에 따른 3차원 미세먼지 정보 구축 방법을 나타내는 도면이다.1 is a diagram illustrating a method for constructing three-dimensional fine dust information according to a first embodiment of the present invention.

도 1을 참조하면, 제1 실시예에 따른 3차원 미세먼지 정보 구축 시스템(이하, 정보구축 시스템이라 한다) 은 미리 정해진 지역 내에 ROI별로 측정기로부터 획득된 기상 환경 데이터, CCTV(Closed-Circuit Television)로부터 획득된 영상 데이터를 수집할 수 있다(S101).Referring to FIG. 1 , the three-dimensional fine dust information construction system (hereinafter referred to as information construction system) according to the first embodiment includes weather environment data obtained from a measuring device for each ROI within a predetermined area, Closed-Circuit Television (CCTV) It is possible to collect the image data obtained from (S101).

다음으로, 정보구축 시스템은 수집된 각 영상 데이터 내 ROI 영역의 이미지 데이터를 추출하고(S102), 추출된 ROI 영역의 이미지 데이터와 기상 환경 데이터(미세먼지 농도)를 공간과 시간에 따라 매칭시켜 하나의 데이터 셋으로 그룹화할 수 있다(S103).Next, the information construction system extracts the image data of the ROI area within each collected image data (S102), and matches the extracted image data of the ROI area with the weather environment data (fine dust concentration) according to space and time to create one It can be grouped into a data set of (S103).

다음으로, 정보구축 시스템은 그룹화된 데이터 셋을 기초로 미리 정해진 딥러닝 학습 모델을 학습시킬 수 있다(S104). 실시예에서는 딥러닝 학습 모델로 제1 딥러닝 학습 모델과 제2 딥러닝 학습 모델을 사용하되, 제2 딥러닝 학습 모델을 학습시켜 사용하고자 한다. 즉, 정보구축 시스템은 데이터 셋을 기초로 제1 딥러닝 학습 모델을 학습시키고, 검증용 데이터 셋을 기초로 제1 딥러닝 학습 모델을 이용하여 ROI별로 미세먼지 농도를 추정할 수 있다. 그리고나서 정보구축 시스템은 추정된 미세먼지 농도와 기상 환경 데이터(온도, 습도 등)를 매칭시킨 하나의 데이터 셋을 기초로 제2 딥러닝 학습 모델을 학습시킬 수 있다.Next, the information building system may train a predetermined deep learning learning model based on the grouped data set (S104). In the embodiment, the first deep learning learning model and the second deep learning learning model are used as the deep learning learning model, but the second deep learning learning model is trained and used. That is, the information building system can learn the first deep learning learning model based on the data set, and estimate the fine dust concentration for each ROI using the first deep learning learning model based on the verification data set. Then, the information building system can train the second deep learning learning model based on one data set in which the estimated fine dust concentration and weather environment data (temperature, humidity, etc.) are matched.

다음으로, 정보구축 시스템은 기상 환경 데이터를 기초로 3차원 미세먼지 공간정보를 표시할 단위 블록의 크기를 선택하고(S105) 선택된 단위 블록의 크기에 따라 미리 정해진 개수의 ROI 대상을 선정할 수 있다(S106).Next, the information construction system selects the size of the unit block to display the three-dimensional fine dust spatial information based on the weather environment data (S105), and selects a predetermined number of ROI targets according to the size of the selected unit block. (S106).

이때, 단위 블록의 크기에 따라 선정되는 ROI 대상의 개수는 달라질 수 있다. 예컨대, 단위 블록의 크기가 커지게 되면 선정되는 ROI 대상의 개수는 적어지고, 단위 블록의 크기가 작아지게 되면 선정되는 ROI 대상의 개수는 많아질 수 있다.In this case, the number of ROI targets selected according to the size of the unit block may vary. For example, when the size of the unit block increases, the number of selected ROI objects may decrease, and if the size of the unit block decreases, the number of selected ROI objects may increase.

또한 단위 블록의 크기는 하나의 지역 내 세부 지역별로 다르게 선택될 수 있다.Also, the size of the unit block may be selected differently for each sub-region within one region.

다음으로, 정보구축 시스템은 미리 정해진 지역 내에 설치된 CCTV를 이용하여 미리 선정된 ROI 대상을 포함하는 영상 데이터를 수집할 수 있다(S107).Next, the information building system may collect image data including a pre-selected ROI target using a CCTV installed in a predetermined area (S107).

다음으로, 정보구축 시스템은 수집된 영상 데이터를 기초로 미리 학습된 딥러닝 학습 모델을 이용하여 해당 지역 내 제1 영역인 ROI 영역에 대한 제1 미세먼지 농도를 추정할 수 있다(S108).Next, the information construction system may estimate the first fine dust concentration in the ROI region, which is the first region in the corresponding region, using the deep learning learning model trained in advance based on the collected image data (S108).

다음으로, 정보구축 시스템은 제1 미세먼지 농도가 추정된 제1 영역을 제외한 제2 영역에서는 추정된 미세먼지 농도를 이용하여 보간 방식으로 제2 미세먼지 농도를 추정할 수 있다(S109).Next, the information building system may estimate the second fine dust concentration in an interpolation method using the estimated fine dust concentration in the second region except for the first region where the first fine dust concentration is estimated ( S109 ).

다음으로, 정보구축 시스템은 추정된 ROI 영역이 포함된 제1 영역에 대한 제1 미세먼지 농도와 제1 미세먼지 농도를 기초로 보간된 ROI 영역이 포함되지 않은 제2 영역에 대한 제2 미세먼지 농도를 기초로 해당 구역에 대한 3차원 미세먼지 공간정보를 구축할 수 있다(S110).Next, the information construction system calculates the first fine dust concentration for the first area including the estimated ROI area and the second fine dust for the second area not including the ROI area interpolated based on the first fine dust concentration. Based on the concentration, three-dimensional fine dust spatial information for the corresponding area can be constructed (S110).

다음으로, 정보구축 시스템은 미리 정해진 지역별로 3차원 지도 상에 3차원 미세먼지 공간정보를 중첩시켜 해당 지역에 대한 미세먼지 공간정보를 표시할 수 있다(S111).Next, the information construction system may display the fine dust spatial information for the region by superimposing the 3D fine dust spatial information on the 3D map for each predetermined region (S111).

도 2a 내지 도 2c는 실시예에 따른 3차원 미세먼지 공간정보를 나타내는 도면이다.2A to 2C are diagrams illustrating three-dimensional fine dust spatial information according to an embodiment.

도 2a를 참조하면, 미리 정해진 구역 내에서 선정된 ROI를 기준으로 추정된 미세먼지 농도를 기초로 구역 전체에 대한 3차원 미세먼지 공간정보를 구축할 수 있다.Referring to FIG. 2A , it is possible to construct three-dimensional fine dust spatial information for the entire area based on the fine dust concentration estimated based on the ROI selected within the predetermined area.

3차원 미세먼지 공간정보를 육면체의 큐브 형태로 형성되고, 육면체를 구성하는 다수의 단위 블록마다 미세먼지 농도를 부여할 수 있다. 미세먼지 농도가 부여된 단위 블록은 미세먼지 농도에 따라 미리 정해진 색상이 적용되어 표시될 수 있다.The three-dimensional fine dust spatial information is formed in the form of a cube of a hexahedron, and the concentration of fine dust can be given to each of a plurality of unit blocks constituting the hexahedron. The unit block to which the fine dust concentration is assigned may be displayed by applying a predetermined color according to the fine dust concentration.

이때, 육면체를 구성하는 다수의 단위 블록들은 동일한 크기로 형성될 수 있다.In this case, a plurality of unit blocks constituting the hexahedron may be formed to have the same size.

도 2b 내지 도 2c를 참조하면, 육면체를 구성하는 다수의 단위 블록들은 미세먼지 농도에 따라 서로 다른 크기로 형성될 수 있다. 즉, 단위 블록은 미세먼지의 농도에 따라 크기가 커지거나 작아지도록 형성될 수 있다.Referring to FIGS. 2B to 2C , a plurality of unit blocks constituting the hexahedron may be formed to have different sizes according to the concentration of fine dust. That is, the unit block may be formed to increase or decrease in size according to the concentration of fine dust.

예컨대, 미세먼지 농도가 제1 임계치와 제2 임계치 사이의 영역인 경우 제1 크기의 단위 블록으로 형성되고, 미세먼지 농도가 제1 임계치 이하의 영역인 경우 제1 크기보다 큰 제2 크기의 단위 블록으로 형성되고, 미세먼지 농도가 제2 임계치 이상의 영역인 경우 제1 크기보다 작은 제3 크기의 단위 블록으로 형성될 수 있다.For example, if the fine dust concentration is an area between the first threshold and the second threshold, it is formed as a unit block of a first size, and when the fine dust concentration is an area below the first threshold, a unit of a second size larger than the first size. It is formed as a block, and when the fine dust concentration is greater than or equal to the second threshold, it may be formed as a unit block having a third size smaller than the first size.

여기서는 육면체를 구성하는 다수의 단위 블록들의 크기가 동일하게 형성되는 경우를 일 예로 설명하고 있지만 반드시 이에 한정되지 않고 적어도 일부가 다르게 형성될 수 있다.Herein, a case in which a plurality of unit blocks constituting a hexahedron are formed to have the same size is described as an example, but the present invention is not limited thereto, and at least some may be formed differently.

도 3은 본 발명의 제1 실시예에 따른 3차원 미세 먼지 정보 구축 시스템을 나타내는 도면이다.3 is a diagram illustrating a three-dimensional fine dust information construction system according to a first embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에 따른 3차원 미세 먼지 정보 구축 시스템은 데이터 수집부(100), 데이터 전처리부(200), 데이터 학습부(300), 데이터 추정부(400), 데이터 표시부(500), 데이터 저장부(600)를 포함할 수 있다.Referring to FIG. 3 , the three-dimensional fine dust information construction system according to an embodiment of the present invention includes a data collection unit 100 , a data preprocessing unit 200 , a data learning unit 300 , a data estimation unit 400 , and data It may include a display unit 500 and a data storage unit 600 .

데이터 수집부(100)는 미리 정해진 지역 내에서 ROI를 설정하고, 선정된 ROI별로 기상 환경 데이터를 수집할 수 있다. 여기서 기상 환경 데이터는 예컨대, 미세먼지, 온도, 습도, UVI(Ultraviolet Index), 풍속, 풍향, 구름양을 포함하되, 크게 공공 데이터와 센싱 데이터로 구분될 수 있다. 공공 데이터는 기상청 등에서 획득한 미세먼지 데이터, 풍속, 강수량 등의 기상 데이터, GIS(Geographic Information System) 데이터를 포함할 수 있다. 센싱 데이터는 미세먼지 측정기에 의해 획득된 데이터, 드론 관측장비를 이용하여 획득된 데이터, 기상환경 관측기에 의해 획득된 데이터를 포함할 수 있다. 여기서 설명하는 데이터 이외에 다양한 경로를 통해 획득된 데이터가 적용될 수 있다.The data collection unit 100 may set an ROI within a predetermined area and collect weather environment data for each selected ROI. Here, the weather environment data includes, for example, fine dust, temperature, humidity, UVI (Ultraviolet Index), wind speed, wind direction, and cloud amount, but may be largely divided into public data and sensing data. The public data may include fine dust data obtained from the Meteorological Agency, etc., weather data such as wind speed and precipitation, and Geographic Information System (GIS) data. The sensing data may include data acquired by a fine dust measuring device, data acquired using a drone observation device, and data acquired by a weather environment observer. In addition to the data described herein, data obtained through various paths may be applied.

데이터 수집부(100)는 CCTV와 연동하여 ROI 대상을 포함하는 영상 데이터를 수집할 수 있다. 이때, 영상 데이터 내 적어도 하나의 ROI 영역은 미리 설정될 수 있다.The data collection unit 100 may collect image data including an ROI target in conjunction with CCTV. In this case, at least one ROI region in the image data may be preset.

도 4는 실시예에 따른 지역 내 ROI 대상 선정 원리를 설명하기 위한 도면이다.4 is a diagram for explaining a principle of selecting an ROI target within a region according to an embodiment.

도 4를 참조하면, ROI는 미리 정해진 지역의 미세먼지를 측정하기 위한 기준 대상으로, 건축물, 구조물일 수 있다. ROI 대상 또는 ROI 영역은 관리자에 의해 지역별로 미리 설정될 수 있고, 필요에 따라 변경될 수 있다. 따라서 ROI 대상별 환경 데이터는 기준 대상의 주변에서 측정된 환경 데이터일 수 있고, ROI 대상별 영상 데이터는 ROI 대상의 적어도 일부를 포함하는 영상 데이터일 수 있다.Referring to FIG. 4 , the ROI is a reference target for measuring fine dust in a predetermined area, and may be a building or a structure. The ROI target or ROI region may be preset for each region by an administrator, and may be changed as needed. Accordingly, the environment data for each ROI object may be environment data measured in the vicinity of the reference object, and the image data for each ROI object may be image data including at least a portion of the ROI object.

CCTV로 촬영하는 영상 데이터에 포함되도록 다수의 ROI 대상을 선정하되, 다수의 ROI 대상은 CCTV로부터 서로 다른 거리에 위치하도록 선정될 수 있다. 여기서는 4개의 ROI 대상이 선정되는데, 200m 전방의 ROI 대상(①), 350m 전방의 ROI 대상(②), 1000m 전방의 ROI 대상(③), 3200m 전방의 ROI 대상(④) 순으로 거리가 멀어지도록 위치한 ROI 대상이 선정될 수 있다.A plurality of ROI objects are selected to be included in the image data captured by CCTV, but a plurality of ROI objects may be selected to be located at different distances from the CCTV. Here, 4 ROI targets are selected, 200m forward (①), 350m forward (②), 1000m forward ROI object (③), 3200m forward ROI object (④), so that the distance increases in that order. An ROI target located may be selected.

이때, 다수의 ROI 대상을 선정하되, ROI 대상의 개수는 단위 블록의 크기에 따라 다르게 선정될 수 있다. 예를 들면, 단위 블록의 크기가 커질수록 ROI 대상의 개수가 더 적어지고, 단위 블록의 크기가 작아질수록 ROI 대상의 개수가 더 많아질 수 있다.In this case, a plurality of ROI objects are selected, but the number of ROI objects may be differently selected according to the size of the unit block. For example, as the size of the unit block increases, the number of ROI objects may decrease. As the size of the unit block decreases, the number of ROI objects may increase.

이때, 고도별 미세먼지 농도의 편차가 크게 나타나기 때문에 실시예에서는 관측이 어려운 고도가 높은 영역에서는 드론을 이용하여 미세먼지를 관측하고자 한다.At this time, since there is a large deviation in the concentration of fine dust by altitude, the embodiment intends to observe fine dust using a drone in a high-altitude area where observation is difficult.

도 5a 내지 도 5c는 드론 관측장비를 이용한 데이터 획득 원리를 설명하기 위한 도면이다.5A to 5C are diagrams for explaining a data acquisition principle using drone observation equipment.

도 5a를 참조하면, 데이터 수집부(100)는 지상에 설치된 미세먼지 측정기로 데이터를 획득하기 어려운 고도가 높은 영역에서는 드론을 이용하여 획득된 데이터를 수집할 수 있다.Referring to FIG. 5A , the data collection unit 100 may collect data obtained using a drone in a high-altitude area where it is difficult to obtain data with a fine dust meter installed on the ground.

이때, 데이터 수집부(100)는 미리 정해진 드론의 이동 경로를 제공할 수 있는데, 드론의 이동 경로는 해당 지역에서 관측되는 미세먼지 농도의 정도에 따라 변경될 수 있다. 여기서 미세먼지 농도가 미리 정해진 제1 임계치와 제2 임계치 사이인 경우 드론의 이동 경로들 간 간격이 제1 거리 간격만큼 이격되도록 설정될 수 있다.In this case, the data collection unit 100 may provide a predetermined movement path of the drone, and the movement path of the drone may be changed according to the degree of fine dust concentration observed in the corresponding area. Here, when the fine dust concentration is between the first and second thresholds, the distance between the moving paths of the drone may be set to be spaced apart by the first distance.

도 5b를 참조하면, 데이터 수집부(100)는 해당 지역에서 관측되는 미세먼지 농도가 미리 정해진 제1 임계치 이하인 경우, 드론의 이동 경로는 제1 거리 간격보다 큰 제2 거리 간격만큼 이격되도록 설정될 수 있다.Referring to FIG. 5B , when the fine dust concentration observed in the corresponding area is less than or equal to a predetermined first threshold, the data collection unit 100 is set to be spaced apart by a second distance interval greater than the first distance interval. can

도 5c를 참조하면, 데이터 수집부(100)는 해당 지역에서 관측되는 미세먼지 농도가 미리 정해진 제2 임계치 이상인 경우, 드론의 이동 경로는 제1 거리 간격보다 작은 제3 거리 간격만큼 이격되도록 설정될 수 있다.Referring to FIG. 5C , the data collection unit 100 is set to be spaced apart by a third distance interval smaller than the first distance interval when the fine dust concentration observed in the corresponding area is greater than or equal to a predetermined second threshold. can

즉, 실시예에서는 해당 지역에서 관측되는 미세먼지 농도의 정도에 따라 드론의 이동 거리들 간 거리 간격을 넓게 설정하거나 좁게 설정하여 측정할 수 있다.That is, in the embodiment, the distance between the moving distances of the drone may be set to be wide or set to be narrow according to the degree of the concentration of fine dust observed in the corresponding area.

데이터 수집부(100)는 수집된 데이터를 기초로 학습용 빅데이터를 구축할 수 있다. 학습용 빅데이터는 미리 정의된 카테고리에 따라 구분되어 구축될 수 있는데, 예컨대, 월별 또는 계절별, 시간별, 미세먼지 농도별, 수단별로 구분되어 구축될 수 있다.The data collection unit 100 may build big data for learning based on the collected data. Big data for learning may be divided and constructed according to a predefined category, for example, by month or season, by time, by fine dust concentration, by means, and by means of being divided and constructed.

도 6은 실시예에 따른 학습용 빅데이터를 구축하는 원리를 설명하기 위한 도면이다.6 is a diagram for explaining a principle of constructing big data for learning according to an embodiment.

도 6을 참조하면, 학습용 빅데이터는 예컨대, 월별 또는 계절별, 시간별, 미세먼지 농도별로 구분되어 구축될 수 있다. 1차로 월별 또는 계절별로 구분하고, 2차로 시간별로 구분하되, 3차로 미세먼지 농도별로 구분될 수 있다.Referring to FIG. 6 , big data for learning may be constructed, for example, divided by month or season, hourly, and fine dust concentration. First, it can be classified by month or season, secondly by time, and thirdly by fine dust concentration.

여기서, 시간은 예컨대, 0-6시, 6-12시, 12-18시, 18-24시로 구분될 수 있다. 미세먼지 농도는 예컨대, 좋음, 보통, 나쁨, 매우 나쁨으로 나타낼 수 있다.Here, the time may be divided into, for example, 0-6 o'clock, 6-12 o'clock, 12-18 o'clock, and 18-24 o'clock. The fine dust concentration may be expressed, for example, as good, normal, bad, or very bad.

이때, 학습용 빅데이터는 기상 요인을 고려하여 구축될 수 있는데, 기상 요인은 예컨대, 하늘 상태(맑음, 구름 많음, 흐림 등) 및 운량 등을 포함할 수 있다.In this case, the big data for learning may be constructed in consideration of weather factors, which may include, for example, sky conditions (sunny, cloudy, cloudy, etc.) and cloudiness.

데이터 전처리부(200)는 영상 데이터 내 ROI 영역을 설정하고, ROI 영역의 이미지 데이터를 추출하고, 추출된 RIO 영역의 이미지 데이터와 기상 환경 데이터를 시간과 공간에 따라 매칭시킬 수 있다.The data preprocessor 200 may set an ROI region in the image data, extract image data of the ROI region, and match the extracted image data of the RIO region and weather environment data according to time and space.

도 7a 내지 도 7c는 실시예에 따른 데이터 전처리 과정을 설명하기 위한 도면이다.7A to 7C are diagrams for explaining a data pre-processing process according to an embodiment.

도 7a를 참조하면, 데이터 전처리부(200)는 영상 데이터로부터 프레임 단위의 이미지를 추출할 수 있다. 데이터 처리부는 영상 데이터로부터 일정 프레임 단위의 이미지를 추출할 수 있다.Referring to FIG. 7A , the data preprocessor 200 may extract an image in units of frames from image data. The data processing unit may extract an image of a predetermined frame unit from the image data.

이때, 추출되는 프레임 단위의 이미지는 키 프레임에 해당하는 이미지일 수 있다.In this case, the extracted frame-by-frame image may be an image corresponding to a key frame.

도 7b를 참조하면, 데이터 전처리부(200)는 추출된 이미지로부터 미리 설정된 ROI를 포함하는 RIO 영역(ROI_1, ROI_2, ROI_3)을 설정하고, ROI 영역의 이미지 데이터를 추출할 수 있다. 여기서 ROI 영역은 사각형 형상을 일 예로 설명하고 있지만 반드시 이에 한정되지 않는다.Referring to FIG. 7B , the data preprocessor 200 may set RIO regions ROI_1 , ROI_2 , ROI_3 including a preset ROI from the extracted image, and extract image data of the ROI region. Here, although a rectangular shape is described as an example of the ROI region, the present invention is not limited thereto.

도 7c를 참조하면, 데이터 전처리부(200)는 추출된 ROI 영역의 이미지 데이터를 저장할 수 있다. 저장된 이미지 데이터는 학습용 데이터로 사용될 수 있다.Referring to FIG. 7C , the data preprocessor 200 may store the extracted image data of the ROI region. The stored image data may be used as learning data.

데이터 전처리부(200)는 동일한 시간과 공간에 따라, 추출된 ROI 영역의 이미지 데이터와 기상 환경 데이터를 매칭시켜 하나의 데이터 셋으로 그룹화할 수 있다.The data preprocessor 200 may group the extracted ROI image data and weather environment data into one data set according to the same time and space.

이때, ROI 영역에서의 미세먼지 농도는 직접 측정되지 않아, 해당 ROI의 주변에 설치된 미세먼지 측정기를 통해 얻은 미세먼지 농도를 이용하여 추정할 수 있다.In this case, the fine dust concentration in the ROI area is not directly measured, so it can be estimated using the fine dust concentration obtained through a fine dust meter installed around the ROI.

도 8은 이미지 데이터와 매칭되는 미세먼지 농도 산출 원리를 설명하기 위한 도면이다.8 is a diagram for explaining the principle of calculating the concentration of fine dust matched with image data.

도 8을 참조하면, 이미지 내 ROI 영역에서의 미세먼지 농도는 촬영 지점에서부터 해당 ROI까지의 공간에 존재하는 미세먼지를 포함하기 때문에 서로 다른 위치 각각에서 동일한 미세먼지 농도가 측정되더라도 거리에 따라 미세먼지 농도가 달라질 수 있다.Referring to FIG. 8 , since the fine dust concentration in the ROI area in the image includes fine dust existing in the space from the shooting point to the ROI, even if the same fine dust concentration is measured at each different location, the fine dust concentration depends on the distance. Concentration may vary.

이에 따라 위치 Ln에 있는 건축물 B1에서의 미세먼지 농도는 촬영 지점에서부터 해당 건축물까지의 미세먼지 그래프 상에서의 면적의 합과 같을 수 있다.Accordingly, the fine dust concentration in the building B1 at the location Ln may be equal to the sum of the areas on the fine dust graph from the photographing point to the corresponding building.

그 일예로, 위치 L1에 있는 건축물 B1에서의 미세먼지 농도는 다음의 수학식1과 같다.As an example, the concentration of fine dust in the building B1 at the location L1 is expressed by Equation 1 below.

[수학식1][Equation 1]

PM_B1 = PM_L0+((PM_L0+PM_L1')/2)*(L0-L1')+((PM_L1'+PM_L1)/2)*(L1'-L1)PM_B1 = PM_L0+((PM_L0+PM_L1')/2)*(L0-L1')+((PM_L1'+PM_L1)/2)*(L1'-L1)

다른 예로, 위치 L2에 있는 건축물 B1에서의 미세먼지 농도는 다음의 수학식1과 같다.As another example, the concentration of fine dust in the building B1 at the location L2 is expressed by Equation 1 below.

[수학식2][Equation 2]

PM_B2 = PM_L1+((PM_L1+PM_L2')/2)*(L1-L2')+((PM_L2'+PM_L2)/2)*(L2'-L2)PM_B2 = PM_L1+((PM_L1+PM_L2')/2)*(L1-L2')+((PM_L2'+PM_L2)/2)*(L2'-L2)

따라서 수학식1과 수학식2를 기초로 다음의 수학식3과 같이 일반화시킬 수 있다.Therefore, based on Equations 1 and 2, it can be generalized as in Equation 3 below.

[수학식3][Equation 3]

PM_Bn = PM_B(n-1) + ((PM_L(n-1)+PM_Ln')/2)*(L(n-1)-Ln) + ((PM_Ln'+PM_Ln)/2)*(Ln'-Ln)PM_Bn = PM_B(n-1) + ((PM_L(n-1)+PM_Ln')/2)*(L(n-1)-Ln) + ((PM_Ln'+PM_Ln)/2)*(Ln' -Ln)

여기서, Bn은 n번째 건축물을 나타내고, Ln은 n번째 건축물까지의 거리를 나타내고, Ln'은 (n-1)번째 건축물과 n번째 건축물 사이의 위치까지의 거리를 나타낼 수 있다.Here, Bn may represent the n-th building, Ln may represent the distance to the n-th building, and Ln' may represent the distance to the location between the (n-1)-th building and the n-th building.

따라서 ROI 영역에 대한 미세먼지 농도는 이를 고려하여 보정되어야 한다. 데이터 전처리부(200)는 ROI 영역의 이미지 데이터와 미세먼지 농도를 매칭시켜 하나의 데이터 셋으로 그룹화하되, 미세먼지 농도는 수학식3에 의해 보정된 값이다.Therefore, the fine dust concentration in the ROI area should be corrected in consideration of this. The data preprocessor 200 matches the image data of the ROI area with the fine dust concentration and groups them into one data set, but the fine dust concentration is a value corrected by Equation 3.

데이터 학습부(300)는 그룹화된 데이터 셋을 기초로 미리 정해진 학습 모델을 학습시킬 수 있다. 여기서 학습 모델은 미세먼지 관측 분석에 적합하고, 모델링하기 용이하고, 다양한 기상환경, 분석 요소조합을 위한 변경이 용이하고, 많은 양의 데이터 학습이 필요하여 학습 처리 속도가 빠르고, 분석 결과에 대한 오차가 적은 모델이 적용될 수 있다. 이러한 학습 모델로는 예컨대, Otsu, SVM, AlexNet, VGGNet(VGG-16), ResNet50, Inception-v3, CNN(Convolusional Neural Network), SVR(Support Vector Regression) 등을 포함하되, 반드시 이에 한정되지 않는다.The data learning unit 300 may train a predetermined learning model based on the grouped data set. Here, the learning model is suitable for fine dust observation and analysis, it is easy to model, it is easy to change for various weather environments and analysis element combinations, it requires a large amount of data to learn, so the learning processing speed is fast, and there is an error in the analysis result. A model with a small number can be applied. Examples of such learning models include, but are not limited to, Otsu, SVM, AlexNet, VGGNet (VGG-16), ResNet50, Inception-v3, Convolusional Neural Network (CNN), Support Vector Regression (SVR), and the like.

도 9는 실시예에 따른 딥러닝 학습 모델을 학습시키는 원리를 설명하기 위한 도면이고, 도 10은 딥러닝 학습 모델에 의한 추정값과 실측값을 비교한 그래프이다.9 is a diagram for explaining a principle of learning a deep learning learning model according to an embodiment, and FIG. 10 is a graph comparing an estimated value and an actual measured value by the deep learning learning model.

도 9를 참조하면, 실시예에 따른 데이터 학습부(300)는 데이터 셋을 기초로 학습을 위한 제1 데이터 셋과 검증을 위한 제2 데이터 셋으로 구분하여 저장할 수 있다.Referring to FIG. 9 , the data learning unit 300 according to the embodiment may divide and store the first data set for learning and the second data set for verification based on the data set.

다음으로, 데이터 학습부는 제1 데이터 셋을 이용하여 미리 정해진 제1 딥러닝 학습 모델을 학습시킬 수 있다. 여기서 제1 데이터 셋은 동일한 장소와 시간에 대한 한 쌍의 이미지 데이터와 미세먼지 농도를 포함할 수 있다.Next, the data learning unit may train a predetermined first deep learning learning model by using the first data set. Here, the first data set may include a pair of image data and fine dust concentration for the same place and time.

다음으로, 데이터 학습부는 학습시킨 제1 딥러닝 학습 모델에 제2 데이터 셋 중 ROI 영역의 이미지 데이터를 입력하여 미세먼지 농도(PM)를 추정할 수 있다.Next, the data learning unit may estimate the fine dust concentration (PM) by inputting image data of the ROI region among the second data sets to the trained first deep learning learning model.

다음으로, 데이터 학습부는 ROI 영역의 이미지 데이터, 추정된 미세먼지 농도, 기상 환경 데이터를 포함하는 통합 데이터 셋을 생성할 수 있다.Next, the data learning unit may generate an integrated data set including image data of the ROI area, the estimated fine dust concentration, and weather environment data.

다음으로, 데이터 학습부는 생성된 통합 데이터 셋을 이용하여 미리 정해진 제2 딥러닝 학습 모델을 학습시킬 수 있다. 여기서, 기상 환경 데이터는 미세먼지 농도에 영향을 미칠 수 있는 파라미터로, 예컨대, 온도, 습도 등을 포함할 수 있다.Next, the data learning unit may train a predetermined second deep learning learning model by using the generated integrated data set. Here, the weather environment data is a parameter that may affect the fine dust concentration, and may include, for example, temperature, humidity, and the like.

이때, 제2 딥러닝 학습 모델은 최종 딥러닝 학습 모델로, 제1 딥러닝 학습 모델과 서로 다른 경우를 일 예로 설명하고 있지만 반드시 이에 한정되지 않는다.In this case, the second deep learning learning model is the final deep learning learning model, and a case different from the first deep learning learning model is described as an example, but is not necessarily limited thereto.

그 일예로, 제1 딥러닝 학습 모델과 제2 딥러닝 학습 모델은 다를 수 있다. 예컨대, 제1 딥러닝 학습 모델은 CNN 모델이고, 제2 딥러닝 학습 모델은 SVR 모델일 수 있다.As an example, the first deep learning learning model and the second deep learning learning model may be different. For example, the first deep learning learning model may be a CNN model, and the second deep learning learning model may be an SVR model.

다른 예로, 제1 딥러닝 학습 모델과 제2 딥러닝 학습 모델은 같을 수 있다. 예컨대, 제1 딥러닝 학습 모델은 CNN 모델이고, 제2 딥러닝 학습 모델은 CNN 모델일 수 있다. 여기서 학습 모델이 같다는 것은 모델 종류가 동일하다는 것이지 모델 자체가 동일한 것은 아니다.As another example, the first deep learning learning model and the second deep learning learning model may be the same. For example, the first deep learning learning model may be a CNN model, and the second deep learning learning model may be a CNN model. Here, the same training model means the same model type, not the same model itself.

실시예에서는 제2 딥러닝 학습 모델을 이용하여 미세먼지 농도를 추정할 수 있다.In an embodiment, the fine dust concentration may be estimated using the second deep learning learning model.

도 10을 참조하면, ROI 영역의 이미지 데이터, 미세먼지 농도, 온도값과 습도값을 기초로 딥러닝 학습 모델에 의해 추정된 미세먼지 농도와 실측값을 거리에 따라 비교한 결과를 보여주고 있다. 여기서는 가장 가까운 거리와 가장 먼 거리에서 추정값과 실측값이 다소 차이가 있을 뿐 중간 거리에서는 동일한 값을 보여준다.Referring to FIG. 10 , it shows the results of comparing the fine dust concentration and the actual value estimated by the deep learning learning model based on the image data, the fine dust concentration, the temperature value and the humidity value in the ROI area according to the distance. Here, the estimated value and the measured value are slightly different at the nearest and farthest distances, but the same values are shown at the intermediate distances.

미세먼지 농도를 추정하는 딥러닝 학습 모델의 오차 및 정확도를 의미하는 표준편차 RMSE 값은 3.72로 나타나고, 상관관계를 의미하는 R의 제곱 값은 0.57로 나타난다.The standard deviation RMSE value, meaning the error and accuracy of the deep learning model for estimating fine dust concentration, is 3.72, and the square value of R, meaning the correlation, is 0.57.

데이터 추정부(400)는 실시간으로 획득된 영상 데이터를 기초로 미리 학습된 딥러닝 학습 모델을 이용하여 해당 ROI 영역에 대한 미세먼지 농도를 추정할 수 있다.The data estimator 400 may estimate the concentration of fine dust in the corresponding ROI region using a deep learning learning model trained in advance based on the image data acquired in real time.

데이터 추정부(400)는 영상 데이터를 기초로 미세먼지 농도가 추정된 지역 이외의 영역에서는 추정된 미세먼지 농도를 이용하여 보간하는 방식으로 추정할 수 있다. 부연 설명하면, 주로 교차로나 도로변에 설치된 CCTV를 이용하여 영상 데이터를 획득하기 때문에 영상 데이터를 기초로 도로변 위주로 미세먼지 농도를 추정하는 것은 가능하나, 도로변이 아닌 지역에서는 ROI를 포함하는 영상 데이터를 획득하는 것이 어렵다.The data estimator 400 may estimate by interpolating using the estimated fine dust concentration in an area other than the area where the fine dust concentration is estimated based on the image data. To elaborate, it is possible to estimate the concentration of fine dust mainly on the roadside based on the image data because image data is mainly acquired using CCTV installed at intersections or roadside, but image data including ROI is obtained in areas other than the roadside. It is difficult to do.

따라서, 교차로나 도로변에서 획득된 미세먼지 농도를 이용하여 추정하고자 한다.Therefore, we intend to estimate it using the fine dust concentration obtained from the intersection or roadside.

도 11a 내지 도 11b는 미세먼지 농도의 보간 원리를 설명하기 위한 도면이다.11A to 11B are diagrams for explaining the interpolation principle of fine dust concentration.

도 11a를 참조하면, 교차로에 설치된 CCTV를 이용하여 영역 A2, A4, A5, A6, A8의 도로변 위주로 미세먼지 농도를 추정할 수 있고, 영역 A1, A3, A6, A9는 미세먼지 농도를 추정할 수 있다.Referring to FIG. 11A , the fine dust concentration can be estimated mainly along the roadside in areas A2, A4, A5, A6, and A8 using CCTV installed at the intersection, and the fine dust concentration can be estimated in areas A1, A3, A6, and A9. can

영역 A1, A3, A6, A9의 미세먼지 농도는 주변 영역의 미세먼지 농도의 평균값으로 보간하여 추정할 수 있다. 예컨대, 영역 A1의 미세먼지 농도는 영역 A2, A4의 미세먼지 농도의 평균값이고, 영역 A3의 미세먼지 농도는 영역 A2, A6의 미세먼지 농도의 평균값이고, 영역 A7의 미세먼지 농도는 영역 A4, A8의 미세먼지 농도의 평균값이고, 영역 A9의 미세먼지 농도는 영역 A6, A8의 미세먼지 농도의 평균값이다.The fine dust concentration in areas A1, A3, A6, and A9 can be estimated by interpolating the average value of the fine dust concentration in the surrounding area. For example, the fine dust concentration in the area A1 is the average value of the fine dust concentrations in the areas A2 and A4, the fine dust concentration in the area A3 is the average value of the fine dust concentrations in the areas A2 and A6, and the fine dust concentration in the area A7 is the area A4, It is the average value of the fine dust concentration in A8, and the fine dust concentration in area A9 is the average value of the fine dust concentration in areas A6 and A8.

도 11b를 참조하면, ROI 영역에 대한 이미지 데이터를 이용하여 영역 V3, V5, V6, V7, V8, V9의 미세먼지 농도를 추정할 수 있고, 영역 V1, V2, V4는 미세먼지 농도를 추정할 수 없어 추정해야 한다.Referring to FIG. 11B , fine dust concentrations in regions V3, V5, V6, V7, V8, and V9 can be estimated using image data for the ROI region, and fine dust concentrations can be estimated in regions V1, V2, and V4. cannot be estimated.

영역 V1, V2, V4의 미세먼지 농도는 주변 영역의 미세먼지 농도의 평균값으로 보간하여 추정할 수 있다. 예컨대, 영역 V4의 미세먼지 농도는 영역 V5, V7의 미세먼지 농도의 평균값이고, 영역 V2의 미세먼지 농도는 영역 V3, V5의 미세먼지 농도의 평균값이고, 영역 V1의 미세먼지 농도는 영역 V2, V4의 미세먼지 농도의 평균값이다.The fine dust concentration in areas V1, V2, and V4 can be estimated by interpolating the average value of the fine dust concentration in the surrounding area. For example, the fine dust concentration in the region V4 is the average value of the fine dust concentrations in the regions V5 and V7, the fine dust concentration in the region V2 is the average value of the fine dust concentrations in the regions V3 and V5, and the fine dust concentration in the region V1 is the average value of the fine dust concentrations in the regions V2, It is the average value of the fine dust concentration of V4.

여기서는 주변 영역의 평균값을 이용하여 보간하고 있지만 반드시 이에 한정되지 않는다. 이러한 보간은 2차원 평면뿐 아니라 3차원 공간에도 적용될 수 있다.Here, the interpolation is performed using the average value of the surrounding area, but the present invention is not limited thereto. Such interpolation can be applied not only to a two-dimensional plane but also to a three-dimensional space.

데이터 추정부(400)는 추정된 ROI 영역이 포함된 구역에 대한 제1 미세먼지 농도와 제1 미세먼지 농도를 기초로 보간된 ROI 영역이 포함되지 않은 구역에 대한 제2 미세먼지 농도를 기초로 해당 구역에 대한 3차원 미세먼지 공간정보를 구축할 수 있다.The data estimator 400 based on the first fine dust concentration for the region including the estimated ROI region and the second fine dust concentration for the region not including the ROI region interpolated based on the first fine dust concentration It is possible to build three-dimensional fine dust spatial information for the relevant area.

도 12는 실시예에 따른 3차원 미세먼지 공간정보의 구축 형상을 나타내는 도면이다.12 is a view showing the construction shape of three-dimensional fine dust spatial information according to the embodiment.

도 12를 참조하면, 미리 정해진 구역 내에서 선정된 ROI를 기준으로 추정된 미세먼지 농도를 기초로 구역 전체에 대한 3차원 미세먼지 공간정보를 구축할 수 있다.Referring to FIG. 12 , it is possible to construct 3D fine dust spatial information for the entire area based on the fine dust concentration estimated based on the ROI selected within the predetermined area.

3차원 미세먼지 공간정보를 육면체의 큐브 형태로 형성되고, 육면체를 구성하는 다수의 단위 블록마다 미세먼지 농도에 따라 미리 설정된 색상을 부여할 수 있다. 여기서 미세먼지 농도는 색상으로 표현하고 있지만 반드시 이에 한정되지 않는다.The three-dimensional fine dust spatial information is formed in the form of a cube of a hexahedron, and a preset color can be given to each of a plurality of unit blocks constituting the hexahedron according to the concentration of fine dust. Here, the concentration of fine dust is expressed by color, but is not necessarily limited thereto.

데이터 표시부(500)는 해당 구역에 대한 3차원 미세먼지 공간정보를 표시할 수 있다.The data display unit 500 may display three-dimensional fine dust spatial information for the corresponding area.

도 13은 실시예에 따른 3차원 미세먼지 공간정보의 표시 형상을 설명하기 위한 도면이다.13 is a view for explaining a display shape of three-dimensional fine dust spatial information according to an embodiment.

도 13을 참조하면, 지역별로 3차원 지도 상에 3차원 미세먼지 공간정보를 중첩하여 표시함으로써, 해당 지역 내 위치에 따라 미세먼지 정보를 실시간으로 확인할 수 있다.Referring to FIG. 13 , by superimposing and displaying 3D fine dust spatial information on a 3D map for each region, it is possible to check fine dust information in real time according to a location in a corresponding region.

3차원 미세먼지 공간정보는 육면체의 큐브 형태이기 때문에, 육면체를 구성하는 단위 블록이 선택되면 선택된 단위 블록의 미세먼지에 대한 정보를 표시할 수 있다.Since the three-dimensional fine dust spatial information is in the form of a cube of a hexahedron, when a unit block constituting the hexahedron is selected, information on the fine dust of the selected unit block can be displayed.

데이터 저장부(600)는 기상 환경 데이터, 영상 데이터, 학습용 빅데이터, 3차원 지도 정보, 3차원 미세먼지 공간정보 등을 저장할 수 있다. 데이터 저장부(600)는 학습 및 검증을 위한 데이터를 저장하는 제1 데이터 저장부와 미세먼지 정보 구축을 위한 데이터를 저장하는 제2 데이터 저장부를 포함할 수 있다.The data storage unit 600 may store weather environment data, image data, big data for learning, 3D map information, 3D fine dust spatial information, and the like. The data storage unit 600 may include a first data storage unit that stores data for learning and verification and a second data storage unit that stores data for building fine dust information.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.The term '~ unit' used in this embodiment means software or hardware components such as field-programmable gate array (FPGA) or ASIC, and '~ unit' performs certain roles. However, '-part' is not limited to software or hardware. '~' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Accordingly, as an example, '~' indicates components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'. In addition, components and '~ units' may be implemented to play one or more CPUs in a device or secure multimedia card.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the preferred embodiment of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as described in the claims below. You will understand that it can be done.

100: 데이터 수집부
200: 데이터 전처리부
300: 데이터 학습부
400: 데이터 추정부
500: 데이터 표시부
600: 데이터 저장부100: data collection unit
200: data preprocessor
300: data learning unit
400: data estimation unit
500: data display unit
600: data storage unit

Claims (18)

미리 정해진 지역별로 기상 환경 데이터와 영상 데이터를 수집하는 데이터 수집부;
상기 기상 환경 데이터를 기초로 3차원 미세먼지 공간정보를 표시할 단위 블록의 크기를 선택하고 상기 선택된 단위 블록의 크기에 따라 미리 정해진 개수의 ROI 영역을 선정하고, 미리 학습된 딥러닝 학습 모델에 실시간으로 수집되는 영상 데이터 내 ROI 영역의 이미지 데이터를 입력하여 미세먼지 농도를 추정하고, 상기 추정된 미세먼지 농도를 기초로 3차원 미세먼지 공간정보를 생성하는 데이터 추정부를 포함하고,
상기 3차원 미세먼지 공간정보는 상기 선택된 단위블록의 크기에 따라 적어도 일부가 변형된 다수의 단위블록으로 구성된 큐브 형태이고,
상기 데이터 추정부는 상기 기상 환경 데이터 중 미세 먼지 농도에 따라 상기 단위 블록의 크기를 선택하되, 상기 미세 먼지 농도가 높아질수록 단위 블록의 크기는 작아지고, 상기 미세먼지 농도가 낮아질수록 단위 블록의 크기는 커지는, 3차원 미세먼지 정보 구축 시스템.a data collection unit that collects weather environment data and image data for each predetermined region;
Based on the weather environment data, a size of a unit block to display 3D fine dust spatial information is selected, a predetermined number of ROI regions are selected according to the size of the selected unit block, and a pre-trained deep learning learning model is applied in real time. and a data estimator for estimating the fine dust concentration by inputting image data of the ROI region in the image data collected by
The three-dimensional fine dust spatial information is in the form of a cube composed of a plurality of unit blocks, at least a part of which is deformed according to the size of the selected unit block,
The data estimator selects the size of the unit block according to the fine dust concentration in the weather environment data, but as the fine dust concentration increases, the size of the unit block decreases, and as the fine dust concentration decreases, the size of the unit block becomes A growing, three-dimensional fine dust information building system. 삭제delete 제1항에 있어서,
상기 ROI 영역의 개수는,
상기 선택된 단위 블록의 크기에 따라 달라지는, 3차원 미세먼지 정보 구축 시스템.According to claim 1,
The number of ROI regions is
A three-dimensional fine dust information construction system that varies depending on the size of the selected unit block. 제1항에 있어서,
상기 수집된 영상 데이터와 상기 기상 환경 데이터를 매칭시켜 데이터 셋으로 그룹화하는 데이터 전처리부; 및
상기 그룹화된 데이터 셋을 기초로 미리 정해진 딥러닝 학습 모델을 학습시키는 데이터 학습부를 더 포함하는, 3차원 미세먼지 정보 구축 시스템.According to claim 1,
a data pre-processing unit that matches the collected image data with the weather environment data and groups them into a data set; and
3D fine dust information construction system, further comprising a data learning unit for learning a predetermined deep learning learning model based on the grouped data set. 제4항에 있어서,
상기 데이터 전처리부는,
상기 영상 데이터로부터 프레임 단위의 이미지를 추출하고,
상기 추출된 프레임 단위의 이미지로부터 ROI 영역의 이미지 데이터를 추출하고,
상기 추출된 이미지 데이터와 상기 기상 환경 데이터의 미세먼지 농도를 시간과 공간에 따라 매칭시켜 데이터 셋으로 그룹화하는, 3차원 미세먼지 정보 구축 시스템.5. The method of claim 4,
The data preprocessor,
Extracting a frame-by-frame image from the image data,
Extracting the image data of the ROI region from the extracted frame unit image,
A three-dimensional fine dust information construction system for grouping the extracted image data and the fine dust concentration of the weather environment data into a data set by matching them according to time and space. 제4항에 있어서,
상기 데이터 셋은 학습을 위한 제1 데이터 셋과 검증을 위한 제2 데이터 셋을 포함하고,
상기 데이터 학습부는,
상기 제1 데이터 셋을 기초로 제1 딥러닝 학습 모델을 학습시켜 상기 학습된 제1 딥러닝 학습 모델에 제2 데이터 셋을 입력하여 학습용 미세먼지 농도를 추정하고,
상기 추정된 학습용 미세먼지 농도와 상기 기상 환경 데이터를 포함하는 통합 데이터 셋을 생성하고,
상기 생성된 통합 데이터 셋을 기초로 제2 딥러닝 학습 모델을 학습시켜 상기 딥러닝 학습 모델로 결정하는, 3차원 미세먼지 정보 구축 시스템.5. The method of claim 4,
The data set includes a first data set for learning and a second data set for verification,
The data learning unit,
A first deep learning learning model is trained based on the first data set, and a second data set is input to the learned first deep learning learning model to estimate the concentration of fine dust for learning,
generating an integrated data set including the estimated fine dust concentration for learning and the weather environment data;
A three-dimensional fine dust information construction system that learns a second deep learning learning model based on the generated integrated data set and determines it as the deep learning learning model. 제6항에 있어서,
상기 데이터 셋은 상기 이미지 데이터와 상기 미세먼지 농도를 포함하고,
상기 통합 데이터 셋은 상기 이미지 데이터, 상기 미세먼지 농도, 미리 정해진 적어도 하나의 기상환경 인자를 포함하는, 3차원 미세먼지 정보 구축 시스템.7. The method of claim 6,
The data set includes the image data and the fine dust concentration,
The integrated data set includes the image data, the fine dust concentration, and at least one predetermined weather environment factor, a three-dimensional fine dust information construction system. 제1항에 있어서,
상기 지역은 상기 ROI 영역을 포함하는 제1 영역과 상기 ROI 영역을 포함하지 않는 제2 영역을 포함하고,
상기 데이터 추정부는,
상기 지역의 제1 영역에 대한 미세먼지 농도를 상기 제1 영역 내 ROI 영역에 대한 미세먼지 농도로 추정하고,
상기 지역의 제2 영역에 대한 미세먼지 농도를 상기 제1 영역에 대한 미세먼지 농도를 이용하여 보간 방식으로 추정하는, 3차원 미세먼지 정보 구축 시스템.According to claim 1,
the region includes a first region including the ROI region and a second region not including the ROI region;
The data estimator,
estimating the fine dust concentration for the first region of the region as the fine dust concentration for the ROI region within the first region,
A three-dimensional fine dust information construction system for estimating the fine dust concentration of the second region of the region by an interpolation method using the fine dust concentration of the first region. 제1항에 있어서,
상기 데이터 추정부는,
상기 지역의 3차원 지도 상에 상기 생성된 3차원 미세먼지 공간정보를 중첩시켜 지역별로 미세먼지 정보를 공간적으로 표시하는, 3차원 미세먼지 정보 구축 시스템.According to claim 1,
The data estimator,
A three-dimensional fine dust information construction system for spatially displaying the fine dust information for each region by superimposing the generated three-dimensional fine dust spatial information on the three-dimensional map of the region. 미리 정해진 지역별로 기상 환경 데이터와 영상 데이터를 수집하는 단계;
상기 기상 환경 데이터를 기초로 3차원 미세먼지 공간정보를 표시할 단위 블록의 크기를 선택하고 상기 선택된 단위 블록의 크기에 따라 미리 정해진 개수의 ROI 영역을 선정하는 단계; 및
미리 학습된 딥러닝 학습 모델에 실시간으로 수집되는 영상 데이터 내 ROI 영역의 이미지 데이터를 입력하여 미세먼지 농도를 추정하고, 상기 추정된 미세먼지 농도를 기초로 3차원 미세먼지 공간정보를 생성하는 단계를 포함하고,
상기 3차원 미세먼지 공간정보는 상기 선택된 단위블록의 크기에 따라 적어도 일부가 변형된 다수의 단위블록으로 구성된 큐브 형태이고,
상기 생성하는 단계에서는 상기 기상 환경 데이터 중 미세 먼지 농도에 따라 상기 단위 블록의 크기를 선택하되, 상기 미세 먼지 농도가 높아수록 단위 블록의 크기는 작아지고, 상기 미세먼지 농도가 낮아질수록 단위 블록의 크기는 커지는, 3차원 미세먼지 정보 구축 방법.collecting weather environment data and image data for each predetermined region;
selecting a size of a unit block to display 3D fine dust spatial information based on the weather environment data and selecting a predetermined number of ROI regions according to the size of the selected unit block; and
The step of estimating the fine dust concentration by inputting image data of the ROI region within the image data collected in real time to the pre-trained deep learning learning model, and generating three-dimensional fine dust spatial information based on the estimated fine dust concentration including,
The three-dimensional fine dust spatial information is in the form of a cube composed of a plurality of unit blocks, at least a part of which is deformed according to the size of the selected unit block,
In the generating step, the size of the unit block is selected according to the fine dust concentration in the meteorological environment data, but as the fine dust concentration increases, the size of the unit block decreases, and as the fine dust concentration decreases, the size of the unit block is a growing, three-dimensional fine dust information construction method. 삭제delete 제10항에 있어서,
상기 ROI 영역의 개수는,
상기 선택된 단위 블록의 크기에 따라 달라지는, 3차원 미세먼지 정보 구축 방법.11. The method of claim 10,
The number of ROI regions is
A method for constructing three-dimensional fine dust information, which varies depending on the size of the selected unit block. 제10항에 있어서,
상기 수집된 영상 데이터와 상기 기상 환경 데이터를 매칭시켜 데이터 셋으로 그룹화하는 단계; 및
상기 그룹화된 데이터 셋을 기초로 미리 정해진 딥러닝 학습 모델을 학습시키는 단계를 더 포함하는, 3차원 미세먼지 정보 구축 방법.11. The method of claim 10,
grouping the collected image data with the weather environment data into a data set; and
3D fine dust information construction method, further comprising the step of learning a predetermined deep learning learning model based on the grouped data set. 제13항에 있어서,
상기 그룹화하는 단계는,
상기 영상 데이터로부터 프레임 단위의 이미지를 추출하고,
상기 추출된 프레임 단위의 이미지로부터 ROI 영역의 이미지 데이터를 추출하고,
상기 추출된 이미지 데이터와 상기 기상 환경 데이터의 미세먼지 농도를 시간과 공간에 따라 매칭시켜 데이터 셋으로 그룹화하는, 3차원 미세먼지 정보 구축 방법.14. The method of claim 13,
The grouping step is
Extracting a frame-by-frame image from the image data,
Extracting the image data of the ROI region from the extracted frame unit image,
A three-dimensional fine dust information construction method for grouping the extracted image data and the fine dust concentration of the weather environment data into a data set by matching them according to time and space. 제13항에 있어서,
상기 데이터 셋은 학습을 위한 제1 데이터 셋과 검증을 위한 제2 데이터 셋을 포함하고,
상기 학습시키는 단계는,
상기 제1 데이터 셋을 기초로 제1 딥러닝 학습 모델을 학습시켜 상기 학습된 제1 딥러닝 학습 모델에 제2 데이터 셋을 입력하여 학습용 미세먼지 농도를 추정하고,
상기 추정된 학습용 미세먼지 농도와 상기 기상 환경 데이터를 포함하는 통합 데이터 셋을 생성하고,
상기 생성된 통합 데이터 셋을 기초로 제2 딥러닝 학습 모델을 학습시켜 상기 딥러닝 학습 모델로 결정하는, 3차원 미세먼지 정보 구축 방법.14. The method of claim 13,
The data set includes a first data set for learning and a second data set for verification,
The learning step is
A first deep learning learning model is trained based on the first data set, and a second data set is input to the learned first deep learning learning model to estimate the concentration of fine dust for learning,
generating an integrated data set including the estimated fine dust concentration for learning and the weather environment data;
A method for constructing three-dimensional fine dust information, which is determined as the deep learning learning model by learning a second deep learning learning model based on the generated integrated data set. 제15항에 있어서,
상기 데이터 셋은 상기 이미지 데이터와 상기 미세먼지 농도를 포함하고,
상기 통합 데이터 셋은 상기 이미지 데이터, 상기 미세먼지 농도, 미리 정해진 적어도 하나의 기상환경 인자를 포함하는, 3차원 미세먼지 정보 구축 방법.16. The method of claim 15,
The data set includes the image data and the fine dust concentration,
The integrated data set includes the image data, the fine dust concentration, and at least one predetermined weather environment factor, a three-dimensional fine dust information construction method. 제10항에 있어서,
상기 지역은 상기 ROI 영역을 포함하는 제1 영역과 상기 ROI 영역을 포함하지 않는 제2 영역을 포함하고,
상기 생성하는 단계는,
상기 지역의 제1 영역에 대한 미세먼지 농도를 상기 제1 영역 내 ROI 영역에 대한 미세먼지 농도로 추정하고,
상기 지역의 제2 영역에 대한 미세먼지 농도를 상기 제1 영역에 대한 미세먼지 농도를 이용하여 보간 방식으로 추정하는, 3차원 미세먼지 정보 구축 방법.11. The method of claim 10,
the region includes a first region including the ROI region and a second region not including the ROI region;
The generating step is
estimating the fine dust concentration for the first region of the region as the fine dust concentration for the ROI region within the first region,
A three-dimensional fine dust information construction method for estimating the fine dust concentration in the second area of the region by an interpolation method using the fine dust concentration in the first area. 제10항에 있어서,
상기 생성하는 단계는,
상기 지역의 3차원 지도 상에 상기 생성된 3차원 미세먼지 공간정보를 중첩시켜 지역별로 미세먼지 정보를 공간적으로 표시하는, 3차원 미세먼지 정보 구축 방법.11. The method of claim 10,
The generating step is
A 3D fine dust information construction method for spatially displaying fine dust information for each region by superimposing the generated 3D fine dust spatial information on the 3D map of the region.
KR1020210106122A 2021-08-11 2021-08-11 System for constructing 3d fine dust information capable of variavle area size and method thereof KR102379390B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210106122A KR102379390B1 (en) 2021-08-11 2021-08-11 System for constructing 3d fine dust information capable of variavle area size and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210106122A KR102379390B1 (en) 2021-08-11 2021-08-11 System for constructing 3d fine dust information capable of variavle area size and method thereof

Publications (1)

Publication Number Publication Date
KR102379390B1 true KR102379390B1 (en) 2022-03-29

Family

ID=80997405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210106122A KR102379390B1 (en) 2021-08-11 2021-08-11 System for constructing 3d fine dust information capable of variavle area size and method thereof

Country Status (1)

Country Link
KR (1) KR102379390B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096332A (en) * 2015-02-05 2016-08-16 (주)유엔이 System and method for prediction of environmental pollution

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096332A (en) * 2015-02-05 2016-08-16 (주)유엔이 System and method for prediction of environmental pollution

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Jisong Ryu et.al, 3D grid-based fine dust information visualization technology, Journal of the Korean Society for Spatial Information, Vol.27, no.6, pp.35-42 (2019.11.) *
Taeyeon Won et.al, Effect of learning image combination and meteorological variable application on results in fine dust estimation from CCTV images, Journal of the Korean Society of Surveying, Vol.38, no.6, pp.573-581 (2020.12.) chapter 1.* *
류지송 et.al, 3차원 격자기반의 미세먼지 정보 가시화 기술, 대한공간정보학회지, 대한공간정보학회, Vol.27, no.6, pp.35-42(2019.11.) 1부.*
원태연 et.al, CCTV 영상으로부터 미세먼지 추정에서 학습영상조합, 기상변수 적용이 결과에 미치는 영향, 한국측량학회지 , 한국측량학회, Vol.38, no.6, pp.573-581(2020.12.) 1부.*

Similar Documents

Publication Publication Date Title
CN109059954B (en) Method and system for supporting high-precision map lane line real-time fusion update
US10168141B2 (en) Method for identifying air pollution sources based on aerosol retrieval and glowworm swarm algorithm
Yin et al. ‘Big data’for pedestrian volume: Exploring the use of Google Street View images for pedestrian counts
CN111553245A (en) Vegetation classification method based on machine learning algorithm and multi-source remote sensing data fusion
CN110533695A (en) A kind of trajectory predictions device and method based on DS evidence theory
CN110378909A (en) Single wooden dividing method towards laser point cloud based on Faster R-CNN
CN109238227B (en) Method for representing ground settlement space-time evolution
CN110363246A (en) A kind of fusion method of high-spatial and temporal resolution vegetation index NDVI
CN109948471A (en) Based on the traffic haze visibility detecting method for improving InceptionV4 network
CN106558051A (en) A kind of improved method for detecting road from single image
CN105279769A (en) Hierarchical particle filtering tracking method combined with multiple features
CN107316321A (en) Multiple features fusion method for tracking target and the Weight number adaptively method based on comentropy
CN103871081A (en) Method for tracking self-adaptive robust on-line target
CN113092684A (en) Air quality inference method based on space-time matrix decomposition
CN108596117A (en) A kind of scene monitoring method based on scanning laser range finder array
KR102326208B1 (en) System for constructing 3d fine dust information based on image analysis and method thereof
CN107808524A (en) A kind of intersection vehicle checking method based on unmanned plane
CN114758086B (en) Method and device for constructing urban road information model
CN113963259A (en) Street view ground object multi-dimensional extraction method and system based on point cloud data
CN113836808A (en) PM2.5 deep learning prediction method based on heavy pollution feature constraint
Tang et al. Assessing the visibility of urban greenery using MLS LiDAR data
CN113610040B (en) Paddy field weed density real-time statistical method based on improved BiSeNetV2 segmentation network
CN111259833A (en) Vehicle counting method based on traffic images
KR102379390B1 (en) System for constructing 3d fine dust information capable of variavle area size and method thereof
CN113781431A (en) Green vision rate calculation method based on urban point cloud data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant